GIIP na revista UNESP Ciência

Dedicado ao desenvolvimento de tecnologias assistivas dirigidas à arte, o projeto “Interfaces físicas e digitais para as artes: da difusão à inclusão”, coordenado por Rosangella Leote, professora do Instituto de Artes (IA) da Unesp em São Paulo, proporciona a pessoas com diversas deficiências de movimento e incapacidade de fala a possibilidade de produção de atividades artísticas, seja nas artes plásticas, cênicas, sonoras ou outras manifestações, por interfaces, como o Kit Facilita, desenvolvido em projeto colaborativo, por Acordo de Intercâmbio Internacional entre Brasil (Unesp) e Espanha (Universidade de Barcelona – UB), e o projeto ARTIA, que está sendo desenvolvido no Brasil, em parceria entre a Unesp e a Unicamp, por meio de seus Institutos de Artes, cujas finalidades são similares.

Entre os objetivos está, com base na Neurociência, entender e ampliar o espaço perceptivo para o desenvolvimento e para a fruição da arte (analógica e/ou digital em modalidades diversas, conforme o interesse dos artistas com ou sem necessidades especiais). Este trabalho acontece no GIIP – Grupo Internacional e Interinstitucional de Pesquisa em Convergências entre Arte, Ciência e Tecnologia, certificado pela Unesp junto ao CNPq.

PROPÓSITO E DESAFIO O projeto se destina a fornecer tecnologia assistiva, de código aberto, com possibilidades escalonáveis de funcionalidades. O usuário, ou seus familiares e cuidadores, terá acesso aos manuais e rotinas para montagem de seus dispositivos, sem nenhum custo destinado ao projeto, operando no modelo “do it yourself”.

Um dos desafios no processo é conciliar a tecnologia aberta com recentes aplicações de biossensores, especialmente os neurossensores, visando a utilização do cérebro para ações sem realização de movimentos por parte do usuário. O projeto, nesse sentido, proporciona o diálogo entre multissensorialidade e multimodalidade para, por meio de ferramentas como o Kit Facilita e o ARTIA, proporcionar criação. “Gera assim interação de sujeitos, vinculando arte, ciência e tecnologia num contexto inclusivo”, diz a professora Rosangella.

O projeto engloba cinco subprojetos, como o “Criar sem limitações: Arte e tecnologia”, da Dra. Ana Amália Tavares Bastos Barbosa, brasileira, que realiza pós-doutoramento no IA (Bolsa CAPES PNPD), e o “Kit Facilita – Projeto de Pesquisa e Inovação em Interfaces Assistivas de Baixo Custo” (http://www.mobilitylab.net/facilita/), desenvolvido pelo Dr. Efraín Foglia, espanhol da Universidade de Barcelona, com colaboração do Dr. Josep Cerdá i Ferré (UB). Este subprojeto também é de pós-doutoramento. Ambos estão sob a supervisão da professora Leote.

O maior desafio, entretanto, foi desenvolver um projeto de tal natureza dirigido e originado na área de artes. Não há nenhum outro projeto desta natureza no Brasil e talvez até no Exterior.

Os testes na Espanha, realizados com pessoas sem necessidades especiais, apenas para a aferição dos modelos de calibragem e respostas do protótipo ao movimento ocular, também resultaram positivos. Sem verba, foi necessária a montagem de uma equipe interdisciplinar por engajamento político-social além do artístico. Alguns dos participantes do projeto, que não são da Unesp, não têm salários nem há patrocínio ou custeio de agências de fomento. A Unesp, através da Pró-reitoria de Pesquisa (Prope – edital 16/2013) custeou a compra de uma parte dos componentes. O restante foi obtido com aquisições feitas pelos membros da equipe.

TESTES Os pesquisadores já realizaram vários testes com sucesso: em 9 de julho de 2015, em Lisboa, com Pedro Almeida, artista português que sofre de degeneração precoce; em 16 de julho de 2015, em São Paulo, com a artista e arte-educadora Dra. Ana Amália Tavares Bastos Barbosa, que sofre de Síndrome de Locked-in (doença neurológica rara, em que ocorre paralisia de todos os músculos do corpo, com exceção dos músculos que controlam o movimento dos olhos ou das pálpebras e, na maioria dos casos, impede a fala), que vem aplicando as interfaces na arte-educação e na própria produção artística; em 15 de agosto de 2015, com Samara Andressa, jornalista paulistana, com paralisia cerebral.

Após esta sequência de testes, iniciaram, em 29 de outubro de 2015, testes/treino com as crianças e adolescentes da Fundação Nosso Sonho, em São Paulo, entidade filantrópica que promove a inclusão social de crianças e jovens com paralisia cerebral, onde Ana Amália desenvolve sua prática didática de arte. Os resultados com os adolescentes vêm criando altas expectativas quanto ao sucesso do trabalho.

Os testes na Espanha, realizados com pessoas sem necessidades especiais, apenas para a aferição dos modelos de calibragem e respostas do protótipo ao movimento ocular, também resultaram positivos.

TECNOLOGIA

O desenvolvimento do protótipo Kit Facilita (www.mobilitylab.net/facilita/), que opera com o rastreamento de movimentos dos olhos, foi desenvolvido com tecnologia reversa e customização de interfaces já disponíveis no mercado e com código aberto. Isto permitiu realizar mais rapidamente o trabalho. Para os realizadores do projeto, não fazia sentido desenvolver “do zero” um similar a uma solução já existente.

Foi, então, adquirido o dispositivo Pupil Dv (www.pupil-labs.com), que tem tecnologia aberta, para fazer a customização pretendida, usando a programação Pure-data. A partir daí a primeira etapa do Kit Facilita se concretizou. O dispositivo se mostrou muito eficiente na operação com projeção sonora. Isso permite ao usuário combinar sons, e até produzir música a partir de células gravadas de sequências musicais, ou comunicar-se com frases simples, como: “estou com fome”, “sim”, “não” e outras.

Sua principal qualidade hoje é a de fazer soar arquivos, que estão no computador, disparados a partir de inputs de marcadores que podem estar distribuídos pelo ambiente do usuário. O usuário pode, da mesma maneira, fazer reproduzir trechos de música, falas teatrais, vídeos e outros outputs com base em arquivos.

Um objetivo é prosseguir na evolução do kit para um protótipo de comunicação, falada e/ou digitada, através de até 64 marcadores de tamanhos diversos, quantidade que o dispositivo hoje pode ler. É possível criar, por exemplo, um teclado físico ou projetado, o que facilitaria a ação de pessoas que têm muita dificuldade de controle dos movimentos da cabeça, como uma grande parte dos paralíticos cerebrais. Como é um kit com propósito expansível modularmente, ele poderá servir para inúmeras outras aplicações.

Para resolver as dificuldades encontradas por Ana Amália para a aplicação de seus workshops de arte, com o uso do dispositivo (conforme o plano de trabalho do seu PD), foi utilizado, além do kit, o dispositivo Eyewriter (www.eyewriter.org), que também é tecnologia aberta, para testar suas vantagens para esta finalidade específica.

O projeto prevê a utilização de ondas cerebrais para a comunicação com o computador, especialmente para os casos mais críticos. Em relação à tecnologia utilizada, foi utilizado, inicialmente,o Epoc/Emotiv, dispositivo leitor (neurossensor) e conversor de ondas cerebrais em informação digital, para criar condições para o desenvolvimento de obras de arte pelos artistas escolhidos.

O usuário pode reproduzir trechos de música, falas teatrais, vídeos e outros outputs com base em arquivos

Após os primeiros testes feitos, com o software Pure-data controlando o dispositivo, foi possível criar comandos sonoros com a ativação das ondas cerebrais. Mas observamos que as operações com o dispositivo eram muito limitadas para as nossas intenções. “É uma ótima interface para games e outras situações de interação onde o detalhamento e a ordenação de sinais muito rápidos e quase simultâneos não são necessários. Ocorre que é a precisão que necessitamos para o público que enfocamos”, conclui a docente.

O Epoc/Emotiv (https://emotiv.com/) tem a tecnologia parcialmente aberta. Assim, não se tinha acesso a modificações mais incisivas, para que se pudesse customizá-lo de acordo com as especificidades do nosso trabalho”, conta. “A versão que utilizamos foi a educacional, que tem mais possibilidades de modificação do que a versão completa.”

Por essa razão, foi elegido outro equipamento, o OpenBCI (http://www.openbci.com), para a próxima etapa do trabalho, pois ele tem as tecnologias de hardware e software abertas, tanto quanto compatibilidade com o Pure-data. Sua função é, basicamente, a mesma do Epoc/Emotiv, mas aberta é customizável, fornece maior liberdade para as aplicações. “Isto percebido, a interface pode ser usada em espetáculos de dança, teatro ou música. Os dados sonoros podem ser substituídos por visuais, então o processo pode ocorrer misturando diferentes outputs além das ações na tela do computador, explica a docente do IA.

Uma dificuldade a ser resolvida nas próximas etapas do projeto é a necessidade de afinação do dispositivo para cada usuário. Embora haja disponíveis EEGs mais poderosos e de alta resolução e acuidade de leitura, estes não são acessíveis para a customização, ou para o acesso em amplitude social, tanto quanto não podem ser adquiridos dada a falta de financiamento que hoje o projeto tem.

AÇÕES

O projeto, até o presente momento, utilizou o laboratório de Arte e Tecnologia do IA, para identificação das práticas e tecnologias utilizadas no desenvolvimento de seus produtos, bem como para desenvolvimento de nossos projetos e aplicações das oficinas. A professora Rosangella também realizou visitas de estudo, aferição e desenvolvimento de obras colaborativas na Universidade de Barcelona, no grupo de pesquisa que ela integra – Barcelona Recerca, Art y Creació – BR: AC (UB) – e no Mobilitylab (mobilitylab.net), do qual fazem parte Efraín Foglia, designer do Kit Facilita, e o engenheiro de computação Jordi Sala, responsável pela programação do protótipo.

Durante o processo houve, no Brasil, a produção de uma análise comparativa quanto à eficiência dos recursos tecnológicos digitais assistivos que vêm sendo produzidos ou pesquisados e que estão voltados às necessidades do público alvo deste projeto; assim como a produção de obras plásticas, em oficinas, utilizando interfaces assistivas, envolvendo, também, a participação de pessoas que não têm limitações de movimento, como estratégia de facilitar o reconhecimento da problemática que o projeto envolve.

DIFICULDADES

Uma dificuldade a ser resolvida nas próximas etapas do projeto é a necessidade de afinação do dispositivo para cada usuário. O ideal seria que cada participante do projeto tivesse um dispositivo destinado a si. Numa situação controlada, como o laboratório ou uma sala de aula, isto é possível fazer sem maiores problemas, as respostas são mais garantidas. Entretanto, de um espaço do espetáculo, por exemplo, com toda a pressão psicológica que costuma haver, para qualquer artista mesmo sem deficiências, não é possível garantir que os estímulos exteriores não comprometam a ação do usuário caso haja um roteiro rígido pré-fixado. “Assim, qualquer trabalho neste campo deve ser experimental e permitir a incorporação do aleatório”, aponta a pesquisadora.

No caso de Ana Amália, o principal problema é que ela não teve a destreza necessária para a utilização do Kit com o olho direito Embora ela tenha conseguido operar o equipamento, sua instabilidade motora do olho faz com que o ajuste se perca. Assim, foi iniciada uma alteração do programa e do design, para seu uso mais confortável, inclusive alterando a câmera para que possa fazer a leitura do olho esquerdo.

Os testes mostraram plausibilidade de sucesso do novo protótipo. “As pessoas que não possuem problemas de comunicação, e que usaram o Kit Facilita, relatam simplicidade na utilização do mesmo, mas incômodo com a existência dos óculos. O mesmo se dá com as deficientes. Isto é uma questão a ser levada para a continuação desta pesquisa”, aponta Rosangella.

Grupo vem, por vários processos, produzindo obras com o intuito de encontrar poéticas compartilháveis e fruíveis

RESULTADOS

Todos os testes a aplicações da interface Kit Facilita apresentaram funcionamento. O teste aplicado em Portugal, na Fundação Liga Liga (www.fundacaoliga.pt), com Pedro Almeida, que é portador de degeneração precoce, deu ótimo resultado, levando à elaboração de processo criativo para artes cênicas (dança) e artes sonoras, naquela fundação.

Na Casa das Artes dessa Fundação, além do teste com o Kit Facilita, foi possível conhecer um espaço para atividades colaborativas de produção e realização artística a distância, inclusive em tempo real. “Neste caso, nossa parceria prevê desenvolvimento de obras cênicas, junto ao grupo de dança Plural, que tem bailarinos com e sem necessidades especiais, ao modo de valorização das atividades artísticas de todos”, manifesta a pesquisadora brasileira.

Dos testes realizados no Brasil, com Ana Amália Barbosa e Samara Andressa Del Monte, o da jornalista Samara, com paralisia cerebral, foi o mais bem-sucedido. “A aplicação do Workshop para crianças com paralisia cerebral, na Fundação Nosso Sonho (SP), por Ana Amália, em 28 de outubro de 2015, mostrou que se está no caminho certo”, avalia Rosangella.

PRÓXIMAS ETAPAS: ARTIA

“Diante das dificuldades encontradas com a interface Kit Facilita, até o momento, para as funções gráficas, será necessário desenvolver outra solução, para outros casos, desta vez com o design realizado pelos brasileiros. Isto não modifica, porém, nosso empenho para continuar nosso trabalho, tanto com o Kit, como com o BCI (leitor de ondas cerebrais)”, conclui a pesquisadora do IA.

Para as próximas etapas, a curto prazo, o engenheiro de sistemas Dr. Daniel Paz está utilizando o Pupil Dv, com programação Processing. Alguns testes, nesse sentido, mas usando componentes avulsos, foram feitos pelo Dr. Renato Hildebrand, ambos são da Unicamp e membros do GIIP.

O Grupo vem, por vários processos, produzindo obras com o intuito de encontrar poéticas, compartilháveis e fruíveis, apoiadas menos no espaço subjetivo das experiências do artista e muito mais em conhecimentos científicos, com grande ênfase na Neurociência. Uma das próximas ações será criar um projeto de crowdfunding a fim de buscar a colaboração financeira necessária para desenvolver e amplificar as ações

Assim, é imperativo o uso de biossensores, especialmente os de ondas cerebrais, para a continuidade do projeto.

Por isso, a etapa a médio prazo, estudam a aplicação do enfoque no uso do OpenBCI, visando o desenvolvimento do projeto agora nomeado ARTIA. Este não é uma substituição ou continuação do Kit Facilita, mas uma proposta paralela, cuja missão é trabalhar de duas maneiras desenvolvendo dois protótipos: o ARTIA-V e o ARTIA-C.

O primeiro para ações com rastreamento ocular, visando escrever, desenhar, pintar e projetar esculturas para serem impressas em 3D, gerando protótipos para as obras, que seriam construídas por pessoas contratadas ou parceiros de criação. O segundo, para a utilização de ondas cerebrais com finalidades similares e também aplicações com sons e imagens fora do computador, visando obras artísticas experimentais e processuais.

CROWDFUNDING

Enquanto a investigação não é suficientemente reconhecida e patrocinada pelas agências de fomento, uma das próximas ações será criar um projeto de crowdfunding a fim de buscar a colaboração financeira necessária para desenvolver e amplificar as ações, disponibilizando para a sociedade a possibilidade da inclusão, pela arte, a todos os sujeitos. Aqueles sem movimentos físicos e de fala, bem como aqueles que sem tais dificuldades quiserem usar tais dispositivos em parceria com aqueles ou individualmente. A Arte é livre e, mesmo sem os recursos adequados, se produz”, provoca Rosangella.

________________________________

SOBRE A COORDENADORA GERAL Rosangella da Silva Leote é artista/pesquisadora multimídia; Pós-doutora na Universidade Aberta (Lisboa-PT – Bolsa FAPESP); Doutora em Ciências da Comunicação (ECA/USP – CNPq). Integrante de Comitês Científicos/Editoriais e Associações nacionais e internacionais. Coordena o PPG em Artes – IA/UNESP. Atua com Instalações Multimídias Interativas (SCIArts-Equipe Interdisciplinar – Prêmio Sergio Motta 2000 e 2005); em tecnoperformances; esculturas sonoras; objetos interativos e vídeos. Possui prêmios e várias publicações na área. Tem alta atuação em Pesquisa e Extensão em Arte/Ciência/Tecnologia, que resultou em exposições, seminários e congressos nacionais e internacionais que contribuem para a divulgação e fortalecimento da Pesquisa e inovação brasileira.

e-mail: rosangellaleote@gmail.com

PARA SABER MAIS Os vídeos dos testes em versões não editadas estão em: Teste Andressa: https://goo.gl/VML5LI Teste Ana Amália: https://goo.gl/NV0CCn