MENU

Virtual Heart


Descrição

Ambiente Holográfico para a visualização interativa de um coração tridimensional utilizando técnicas de Realidade Aumentada e Visualização de Informação para simular e interagir com o coração virtual através do Microsoft HoloLens. Através deste ambiente holográfico é possível visualizar e interagir com o modelo do coração humano em diversas camadas e analisar diferentes tipos de informação, tornando o processo de aprendizagem da anatomia humana mais intuitivo e interessante, e no futuro, um melhor suporte em diagnósticos médicos. Além disso, foi desenvolvido um sensor de frequência cardíaca para monitorar o funcionamento do coração. Essa frequência é aplicada em tempo real na animação do modelo virtual do coração no ambiente holográfico. Como trabalho futuro, pretende-se gerar um modelo de um coração com base em informações de Tomografias Computadorizadas reais e ampliar o escopo do projeto para incluir outros órgãos.


Desenvolvimento

Virtual Heart foi desenvolvido em 2017, como projeto do Grupo de Realidade Virtual e Aumentada (GRVA) no laboratório de Computação Gráfica da UFU.

Os seguintes dispositivos/ferramentas foram utilizados no desenvolvimento:

Unity 3D: motor gráfico utilizado para a construção do ambiente holográfico e programação das interações. A linguagem C# foi utilizada.

Autodesk 3DS Max: software de modelagem utilizado para a modelagem do coração 3D.

Microsoft Visual Studio 2017: IDE utilizada para a programação em C# do ambiente e para a compilação para o dispositivo HoloLens.

Microsoft HoloLens: óculos inteligente de Realidade Aumentada/Mista utilizado como dispositivo para execução do ambiente holográfico.

Pulse Sensor e Monitor de Frequência Cardíaca: sensor com um microcontrolador utilizado em conjunto com um Arduino para capturar a frequência cardíaca do usuário.

ESP-8266 Wi-Fi module (NodeMCU): Microcontrolador com Wi-Fi integrado utilizando Arduino. Através de Wi-Fi integrado, os dados são enviados e recebidos através dos protocolos TCP ou UDP. O módulo ESP-8266 também é responsável por eliminar todo o ruído captado pelo sensor de pulso e pelo monitor de frequência cardíaca.

Os dados são capturados pelo Sensor de Pulso que lê os batimentos cardíacos usando um sensor óptico amplificado. Estes dados são enviados para o microcontrolador. Em seguida, o microcontrolador interpreta os sinais enviados através de um algoritmo implementado na linguagem C, no Arduino. Esses sinais são exibidos no visor OLED e roteados através da conexão Wi-Fi para o Microsoft HoloLens, que recebe os dados e os envia para o aplicativo instalado no dispositivo, que contém o modelo tridimensional do coração em suas várias camadas e uma interação interface. Na aplicação, os dados são interpretados de modo que o órgão replique o ritmo real da batida. O coração é então projetado no ambiente real por meio de uma holografia, juntamente com a interface de interação. A aplicação permite ao usuário realizar interações através de comandos de voz (rotação de 3 eixos, translação e movimento) que foram implementados.

Neste projeto, participei como designer e programador, fazendo toda a parte de desenvolvimento Unity e integração com HoloLens.

Para mais detalhes do projeto leia o artigo "An Interactive Holographic Environment for Visualization of Heart Structure and Activity", publicado na XVI CEEL 2018, e o artigo "Holographic Real Time 3D Heart Visualization from Coronary Tomography for Multi-place Medical Diagnostics", publicado no CyberSciTec 2017.


Demonstração


www.000webhost.com