Transmedia, VR e imersivo

Introdução

Esta é a unidade mais ambiciosa da componente criativa do curso. Junta dois mundos: a narrativa transmedia (uma história contada em múltiplos meios) e o imersivo (vídeo 360°, VR, áudio espacial). 50h é tempo suficiente para um projecto pequeno mas completo.

O objectivo não é dominar Unity VR em duas semanas — é perceber a linguagem do imersivo e escolher a tecnologia certa para uma história.

1. Transmedia storytelling

1.1 Definição (Henry Jenkins)

Transmedia = uma história contada em múltiplos meios em que cada meio acrescenta algo único e o conjunto é maior que a soma. Conceito popularizado por Henry Jenkins (MIT) no contexto de The Matrix.

Não confundir com: - Adaptação — livro → filme: o mesmo conteúdo, meio diferente. - Franchise — vários produtos no mesmo universo mas independentes. - Cross-media — mesmo conteúdo distribuído em vários canais.

Transmedia exige complementaridade: ver só o filme dá uma história completa, mas ler o comic acrescenta uma camada que só o comic podia dar.

1.2 Os 7 princípios de Jenkins

1. Spreadability vs drillability — fácil de partilhar e profundidade para fãs.
2. Continuity vs multiplicity — coerência geral, mas espaço para versões alternativas (multiverso).
3. Immersion vs extractability — entrar no mundo, e levar pedaços para o real (cosplay, props, brindes).
4. Worldbuilding — o mundo é mais importante que personagens individuais; comporta muitas histórias.
5. Seriality — narrativa em pedaços ao longo do tempo (séries, capítulos).
6. Subjectivity — múltiplos pontos de vista (personagens secundários, antagonistas, side stories).
7. Performance — fãs participam: fan-fiction, cosplay, comunidades.

1.3 Casos reais

• Star Wars — filmes + animação + livros + jogos + Disney+ + parques.
• MCU (Marvel) — filmes + séries Disney+ + comics + jogos.
• The Witcher — livros + jogos + Netflix.
• Pokémon — videojogos + anime + cartas + Pokémon Go + filmes.
• Harry Potter — livros + filmes + parques + Pottermore + Hogwarts Legacy.

1.4 Mapa transmedia

Antes de produzir, faz um mapa transmedia:

1.5 Para um projecto de escola

Em 50h não fazes franchise AAA. O exercício é:

Pegar 1 universo e distribuí-lo em 3+ meios complementares: vídeo + site + experiência imersiva (360° ou WebXR).

2. O gradiente imersivo

2.1 Níveis

foto fixa
   ↓
foto 360°
   ↓
vídeo 360° (3DoF)
   ↓
WebXR / A-Frame 3D real-time
   ↓
VR de jogo (Quest, SteamVR — 6DoF)
   ↓
Mixed Reality (Vision Pro, Quest 3 passthrough)

Mais alto = mais imersão, mais custo, mais conforto a perder, menos audiência.

2.2 Escolher o nível

2.3 Realidade económica

• Vídeo 360° — câmara de 500-1500 €; produção comparável a vídeo plano.
• WebXR — gratuito a fazer; preciso de modelos 3D.
• VR Quest — Unity/Unreal; muito mais horas; precisa de testes em hardware.
• MR Vision Pro — Apple ecosystem, custos elevados.

Para escola: 360° + WebXR dão um projecto credível.

3. Vídeo 360°

3.1 Captura

Câmaras 360° dual-lens (Insta360 X4/Ace, GoPro Max, Ricoh Theta Z1): - Duas lentes ultra-grande-angular gravam simultaneamente. - Software stitch as duas em uma única imagem equirectangular (projecção 2:1). - Resolução: 5.7K → 8K para qualidade decente em headset.

Câmaras 360° pro (Insta360 Pro 2, Z Cam V1 Pro): - Múltiplos sensores; qualidade superior; custos mais altos.

Render (Blender, Unity) — câmara virtual equirectangular para fazer 360° CGI.

3.2 Stitching e pós

• Maior parte das câmaras consumer faz stitch automático.
• Para câmaras pro: PTGui, Mistika VR.
• Esconder equipa e tripé: máscara + content-aware fill em zonas mortas.
• Não fazer cortes bruscos em 360° (desorienta, enjoa).
• Transições longas (fade ou hyperlapse de céu).

3.3 Exportar e distribuir

• Codec H.264 ou H.265, container MP4.
• Inserir metadata spatial-media (Google) para YouTube/Vimeo detectar como 360°.
• 5.7K @ 30fps é um bom mínimo; 8K @ 30/60fps se câmara o permite.
• Para web próprio: bitrate alto (40-60 Mbps), ou usar streaming adaptativo.

3.4 360° com hotspots

Híbrido vídeo 360° + áreas clicáveis para info, outros vídeos, navegação.

Ferramentas: WondaVR, Pano2VR, Lucid Pictures, Three.js (<videosphere> + raycasting), Eevo.

Excelente para virtual tours, museus, formação.

4. WebXR / A-Frame para imersivo

4.1 A-Frame em 5 minutos

<a-scene>
  <a-sky src="ceu-equirectangular.jpg"></a-sky>
  <a-entity position="0 1.6 -3">
    <a-text value="Bem-vindo" align="center"></a-text>
  </a-entity>
  <a-camera></a-camera>
</a-scene>

• <a-sky> — esfera com textura à volta.
• <a-camera> — automaticamente entra em modo VR num headset.
• Adicionar <a-videosphere> para vídeo 360°.

4.2 Cena 3D real-time

<a-scene>
  <a-assets>
    <a-asset-item id="house" src="casa.glb"></a-asset-item>
  </a-assets>
  <a-entity gltf-model="#house" position="0 0 -5"></a-entity>
  <a-light type="ambient" intensity="0.4"></a-light>
  <a-light type="directional" intensity="0.8" position="-1 2 1"></a-light>
  <a-camera>
    <a-cursor></a-cursor>
  </a-camera>
</a-scene>

WebXR Device API entra automático se o utilizador clicar no botão "VR" no canto.

4.3 Interacção

<a-box position="-1 1 -3"
       class="clickable"
       event-set__click="material.color: green">
</a-box>

<a-camera>
  <a-cursor raycaster="objects: .clickable"></a-cursor>
</a-camera>

Olhar para a caixa + cursor → "clicar" pelo olhar.

4.4 Three.js para mais controlo

Three.js é a biblioteca por baixo de muito do A-Frame. Para projectos avançados, ir direto a three.js com WebXRManager dá controlo total.

5. Cinematic VR — a nova linguagem

5.1 O problema do quadro

No cinema tradicional: realizador escolhe o que mostrar. No VR 360°: espectador escolhe para onde olhar.

Resultado: regras antigas não se aplicam. - Sem cortes contraplano — disorienta. - Sem zoom — não é o espectador a aproximar-se. - Sem campos/contra-campos — não há "fora do quadro".

5.2 Dirigir a atenção

Não controlas o olhar — sugeres:

• Movimento — algo que se move chama o olho.
• Som direccional — espectador vira a cabeça para a fonte.
• Luz — claros chamam mais do que escuros.
• Personagens — onde olham, espectador segue.
• Cor — saturação alta chama atenção.
• Tempo — cenas precisam de dobrar o tempo: espectador anda à descoberta.

5.3 Estilos cinematográficos

• Mosca-na-parede — espectador assiste a uma cena que decorre à volta.
• POV primeira pessoa — espectador é um personagem (corpo, mãos visíveis).
• Documentário imersivo — narrador conduz, espectador escolhe focar.
• Cinemagraph 360° — quase parado, vento, água, ambiente vivo.
• Tour guiado — voz orienta o que ver a seguir.

5.4 Production design

• Equipa fora do quadro — não há "atrás da câmara".
• Cabos escondidos.
• Tripé invisível — esconder com nadir patch.
• Iluminação 360° — não há "luz só do lado certo".
• Acção em camadas — vários planos de profundidade ao mesmo tempo, dando ao espectador escolha.

6. Áudio espacial

6.1 Estéreo vs espacial

Em VR, som estéreo "fixa-se à cabeça": vires a cabeça, a voz vira com. Quebra imersão.

Som espacial muda direcção com a cabeça: olhas para a direita e a voz que estava à direita passa para o centro do teu campo auditivo.

6.2 Ambisonic

Ambisonic = formato de codificação 3D do som: - 1st order — 4 canais (W, X, Y, Z), qualidade básica. - 2nd / 3rd order — mais canais (9, 16), precisão maior.

YouTube VR aceita 1st order ambisonic + vídeo 360°. Maior parte dos browsers WebXR suporta via Web Audio API + plugins.

6.3 Captura e mistura

• Câmaras 360° pro têm microfones ambisonic integrados (Insta360 X4, Theta V).
• Em pós: Reaper + IEM plug-ins (open source), Facebook Spatial Workstation.
• Mistura: música estéreo + ambiente ambisonic + voz/diálogos espacializados.

6.4 Boas práticas

• Foley importante; sem som de passos, mundo morto.
• Pausas — silêncio acumula expectativa.
• Headphone-first — pensar para auscultadores, não colunas.
• Não rebentar tímpanos — VR amplifica volumes percepcionados.

7. Conforto físico e cognitivo

7.1 Motion sickness

Quando o ouvido interno ("parado") contradiz a vista ("a mover-me") → enjoo.

Cuidados: - Não mover a câmara em 360° sem o utilizador. - Teleporte ou snap turning (rotações discretas) em VR de jogo. - FPS alto e estável — Quest pede 72/90 fps. - Vinhetes (escurecer periferia) durante movimento. - Horizonte estável — referência fixa reduz enjoo.

7.2 Conforto físico

• Sessões curtas (15-30 min máximo).
• Pausa visual entre cenas (1-2s preto).
• Texto grande, longe da câmara (1.5-3 m de distância virtual).
• Não fixar o utilizador num só ponto — modo sentado pede liberdade de rotação 360°.
• Headset pesado — máximo 60 min antes de retirar.

7.3 Acessibilidade em VR

• Legendas flutuantes ancoradas ao mundo (ou à cabeça com opção).
• Audiodescrição de cenas.
• Modo sentado (não exigir andar / rodar 360°).
• Velocidade ajustável em movimentos automáticos.
• Alternativa não-imersiva (vídeo 2D ou texto).
• Sem flashes.
• Comandos remappable.

8. Distribuir

8.1 Plataformas

8.2 Métricas

• Sessions completed — chegou ao fim?
• Drop-off — onde abandonam? (Cena específica? Tempo X?)
• Heatmap — para onde olham em cada momento.
• Conforto — taxa de remoção de headset / enjoo.
• Replays — voltam a entrar?

8.3 Marketing transmedia

A experiência imersiva é uma peça do transmedia. Suporta-a com: - Trailer 2D em redes sociais. - Site com lore e contexto. - Press kit para imprensa especializada (VRScout, RoadToVR). - Festivais (Venice Immersive, Sundance New Frontier, Cannes XR).

9. Workflow prático — 50h

9.1 Plano sugerido

9.2 Stack recomendada

• Captura: Insta360 X4 / GoPro Max / Blender (render equirectangular).
• Edição vídeo: Premiere com Skybox Studio plugin / DaVinci Resolve / Final Cut Pro.
• Áudio: Reaper + IEM ambisonic plugins.
• Imersivo web: A-Frame + WebXR; Three.js para casos avançados.
• Site transmedia: Next.js / Astro / qualquer SSG simples.
• Hosting: Vercel/Netlify (HTTPS automático).

10. Liga a outras UCs

• UC02233 / UC02633 — captação e edição de vídeo (princípios mantêm-se).
• UC02209 — modelos 3D para WebXR (Blender → glTF).
• UC02631 — animação 2D pode entrar em UI VR.
• UC02242 — formatos e exportação.
• UC02199 / UC02632 — narrativa, storyboard.
• UC02636 — acessibilidade no imersivo.
• UC02638 — AR é a outra ponta do XR.

11. Conclusão

Imersivo e transmedia são multiplicadores: pegam numa história que já é forte e amplificam-na. Não salvam um conceito fraco. O exercício desta UC é treinar o olhar (que história, em que meios, com que linguagem) mais do que dominar uma ferramenta exótica.

Para portfolio: 1 vídeo 360° de 2 min + 1 cena WebXR + 1 site transmedia coerente vale mais que um épico inacabado em Unity.

Apêndice A · Recursos

• Henry Jenkins — henryjenkins.org (textos fundadores de transmedia).
• VRScout, RoadToVR — notícias e crítica VR.
• Within — plataforma de cinematic VR.
• A-Frame — aframe.io.
• Three.js journey — threejs-journey.com.
• Facebook Spatial Workstation — para áudio ambisonic.
• IEM Plug-in Suite — ambisonic open source.
• Insta360 / GoPro / Ricoh — recursos das câmaras.
• Sundance New Frontier, Venice Immersive — festivais XR.

Apêndice B · Checklist de projecto imersivo

• [ ] Mapa transmedia (≥ 3 meios).
• [ ] Universo definido (lore mínima).
• [ ] Pelo menos uma peça 360° ou WebXR.
• [ ] Áudio com algum direccionamento (mesmo que mínimo).
• [ ] Onboarding em headset/web.
• [ ] Modo sentado funcional.
• [ ] Alternativa não-imersiva.
• [ ] Legendas quando há diálogo.
• [ ] Publicado HTTPS + QR.
• [ ] Testado em 3+ pessoas (com pausa).