MENU

Simulador em 3D com Interface Cérebro-Computador e Realidade Virtual


Descrição

Simulador em 3D com técnicas de Realidade Virtual, para reabilitação de pessoas com limitações motoras ou deficiências nos membros superiores, onde o indivíduo movimenta braços virtuais e executa uma série de testes cerebrais através de uma Interface Cérebro-Computador composta por um capacete neural que captura as ondas cerebrais e uma aplicação que interpreta essas ondas e converte comandos mentais em ações realizadas no ambiente virtual.


Desenvolvimento

Este projeto foi desenvolvido como trabalho de conclusão de curso da minha graduação.

As seguintes ferramentas foram utilizadas no desenvolvimento:

Unreal Engine 4: motor gráfico utilizado para a modelagem do ambiente 3D do simulador juntamente com os scripts do cenário.

Blender 3D: software de modelagem utilizado para a modelagem dos braços e objetos do ambiente.

Microsoft Visual Studio 2013: IDE utilizada para a programação dos algoritmos e desenvolvimento do software de interpretação de ondas e comandos mentais. A linguagem utilizada foi C++.

Oracle MySQL: sistema de gerenciamento de banco de dados, que utiliza a linguagem SQL para a persistência de dados.

Trinus VR: software utilizado para transmitir as imagens do simulador no computador para a tela do smartphone, possibilitando a geração da realidade virtual juntamente com as lentes do óculos.

Emotiv Epoc: conhecido como capacete neural (ou neuroheadset), é um dispositivo que possibilita a captura de ondas cerebrais do indivíduo através de 14 eletrodos de EEG.

Beenoculus: óculos de realidade virtual equipado com lentes de profundidade utilizado em conjunto com um smartphone para possibilitar a imersão no ambiente virtual.

Como primeiro passo, as ondas cerebrais são capturadas em sua forma bruta, ou seja, os dados (frequências) emitidos pelos neurônios são extraídos do capacete neural. Esses dados são divididos em 14 grupos numéricos, que correspondem aos 14 sensores de EEG do capacete. Esses grupos são dispostos em gráficos de linha gerados em tempo real para que possam ser analisados, formando, assim, ondas cerebrais do tipo beta. Pode-se, então, serem feitas análises da atividade cerebral do indivíduo em tempo real.

Em paralelo, são capturadas informações cognitivas do indivíduo, comandos mentais como concentração, foco e intenções de movimento. Esses comandos são interpretados e comparados com padrões implementados em funções. Dessa forma, quando um padrão de movimento for identificado, a animação correspondente ao movimento será ativada no simulador, gerando assim o feedback para o usuário.

As animações dos braços são controladas por padrões executados em tempo real por meio de um algoritmo, assim, caso seja identificado que o usuário não está concentrando no movimento dos braços de acordo com o requisitado pelo simulador, a animação correspondente não será acionada. Caso seja identificado que o usuário está concentrando na execução do movimento com uma força exercida para frente, a animação será acionada para frente de acordo com essa força. Do mesmo modo, quando identificado uma intenção de movimento com força para trás, a animação será executada inversamente de acordo com essa força.

Para mais detalhes, leia os artigos "Simulador em 3D com Interface Cérebro-Computador e Realidade Virtual" e "SBCI: 3D Simulator with Brain-Computer Interface and Virtual Reality".


Demonstração


www.000webhost.com