Dedicado ao desenvolvimento de tecnologias assistivas
dirigidas à arte, o projeto ‘Interfaces físicas e digitais para as artes: da
difusão à inclusão’, coordenado pela Dra. Rosangella Leote, professora do
Instituto de Artes (IA) da Unesp em São Paulo, proporciona a pessoas com
diversas deficiências de movimento e incapacidade de fala, a possibilidade de
produção de atividades artísticas, seja nas artes plásticas, cênicas, sonoras
ou outras manifestações, por interfaces, como o Kit Facilita, desenvolvido em projeto
colaborativo, por Acordo de Intercâmbio Internacional entre Brasil (Unesp) e
Espanha (UB) e o outro projeto “ARTIA”, que está sendo desenvolvido no Brasil,
em parceria entre a Unesp e a Unicamp, por meio de seus Institutos de Artes,
cujas finalidades são similares.
Entre os objetivos está, com base na Neurociência, entender
e ampliar o espaço perceptivo para o desenvolvimento e para a fruição da arte
(analógicas e/ou digitais em modalidades diversas, conforme o interesse dos
artistas com ou sem necessidades especiais.
Este trabalho acontece no GIIP – “Grupo Internacional e
Interinstitucional de Pesquisa em Convergências entre Arte, Ciência e
Tecnologia”, certificado pela Unesp junto ao CNPq.
Propósito e desafio.
O projeto se destina a fornecer tecnologia assistiva, de código aberto, com
possibilidades escalonáveis de funcionalidades. O usuário, ou seus familiares e
cuidadores, terá acesso aos manuais e rotinas para montagem de seus
dispositivos, sem nenhum custo destinado ao projeto, operando ao modelo “do
it yourself”.
Um dos desafios no processo é conciliar a tecnologia aberta
com recentes aplicações de biosensores, especialmente os neurosensores, visando
a utilização do cérebro para ações sem realização de movimentos por parte do
usuário. O projeto nesse sentido, proporciona o diálogo entre
multisensorialidade e a multimodalidade para, por meio de ferramentas como o
Kit Facilita e o ARTIA, proporcionar criação. “Gera assim interação de sujeitos
vinculando arte, ciência e tecnologia num contexto inclusivo”, diz a professora
Rosangella.
O projeto engloba cinco subprojetos, como o “Criar sem
limitações: Arte e tecnologia”, da Dra. Ana Amália Tavares Bastos Barbosa,
brasileira, que realiza pós-doutoramento no IA (Bolsa CAPES PNPD), e “Kit
Facilita - Projeto de Pesquisa e Inovação em Interfaces Assistivas de Baixo
custo” (http://www.mobilitylab.net/facilita/),
desenvolvido pelo Dr. Efraín Foglia, espanhol da Universidade de Barcelona, com
colaboração do Dr. Josep Cerdá i Ferré (UB). Este subprojeto também é de
pós-doutoramento. Ambos estão sob a supervisão profa. Leote.
O maior desafio, entretanto, foi desenvolver um projeto de
tal natureza dirigido e originado na área de artes. Não há nenhum outro projeto
desta natureza no Brasil e talvez até no Exterior.
Sem verba, foi necessário a montagem de uma equipe
interdisciplinar por engajamento político-social além do artístico. Alguns dos
participantes do projeto, que não são da Unesp, não têm salários nem há
patrocínio ou custeio de agências de fomento. A Unesp, através da Pró-reitoria
de Pesquisa (Prope - edital 16/2013) custeou a compra de uma parte dos
componentes. O restante foi obtido com aquisições feitas pelos membros da
equipe.
Testes. Os
pesquisadores já realizaram vários testes com sucesso: em 9 de julho de 2015,
em Lisboa, com Pedro Almeida, artista português que sofre de degeneração
precoce; em 16 de julho de 2015, e São Paulo, com a artista e arte educadora
Dra. Ana Amália Tavares Bastos Barbosa, que sofre de Síndrome de Locked-in
(doença neurológica rara, em que ocorre paralisia de todos os músculos do
corpo, com exceção dos músculos que controlam o movimento dos olhos ou das pálpebras
e, na maioria dos casos, impede a fala) ela vem aplicando as interfaces na
arte-educação e na própria produção artística; em 15 agosto de 2015, com a
Samara Andressa, jornalista paulistana, com paralisia cerebral.
Após esta sequência de testes, iniciou-se, em 29 de outubro
de 2015, testes/treino com as crianças e adolescentes da Fundação Nosso Sonho,
em SP, entidade filantrópica que promove a inclusão social de crianças e jovens
com paralisia cerebral, onde Ana Amália desenvolve sua prática didática de
arte. Os resultados com os adolescentes vêm criando altas expectativas quanto
ao sucesso do trabalho.
Os testes na Espanha, realizados com pessoas sem
necessidades especiais, apenas para a aferição dos modelos de calibragem e
respostas do protótipo ao movimento ocular, também resultaram positivos.
Tecnologia. O
desenvolvimento do protótipo “Kit Facilita” (www.mobilitylab.net/facilita/)
que opera com o rastreamento de movimentos dos olhos foi desenvolvido com
tecnologia reversa e customização de interfaces já disponíveis no mercado e com
código aberto. Isto permitiu realizar mais rapidamente o trabalho. Para os
realizadores do projeto, não fazia sentido desenvolver “do zero” um similar a
uma solução já existente.
Foi, então, adquirido o dispositivo Pupil Dv (www.pupil-labs.com), que
tem tecnologia aberta, para fazer a customização pretendida, usando a
programação Pure-data. A partir daí a primeira etapa do Kit facilita se
concretizou. O dispositivo se mostrou muito eficiente na operação com projeção
sonora. Isso permite ao usuário combinar sons, e até produzir música a partir
de células gravadas de sequências musicais, ou comunicar-se com frases simples,
como: “estou com fome”, “sim”, “não’ e outras.
Sua principal qualidade hoje é a de fazer soar arquivos, que
estão no computador, dispararem a partir de inputs de marcadores que
podem estar distribuídos pelo ambiente do usuário. O usuário pode, da mesma
maneira, fazer reproduzir trechos de música, falas teatrais, vídeos e
outros outputs com base em arquivos.
Um objetivo é prosseguir na evolução do kit para um
protótipo de comunicação, falada e/ou digitada, através de até 64 marcadores de
tamanhos diversos, quantidade que o dispositivo hoje pode ler. É possível
criar, por exemplo, um teclado físico ou projetado, o que facilitaria a ação de
pessoas que têm muita dificuldade de controle dos movimentos da cabeça como uma
grande parte dos paralíticos cerebrais. Como é um kit com propósito
expansível modularmente, ele poderá servir para inúmeras outras aplicações.
Para resolver as dificuldades encontradas por Ana Amália,
para a aplicação de seus workshops de arte, com o uso do dispositivo (conforme
o plano de trabalho do seu PD), foi utilizado, além do kit, o dispositivo
Eyewriter (www.eyewriter.org),
que também é tecnologia aberta, para testar suas vantagens para esta finalidade
específica.
O projeto prevê a utilização de ondas cerebrais para a
comunicação com o computador, especialmente para os casos mais críticos. Em
relação à tecnologia utilizada, foi utilizado, inicialmente, o Epoc/ Emotiv,
dispositivo leitor (neurosensor) e conversor de ondas cerebrais em informação
digital, para criar condições para o desenvolvimento de obras de arte pelos
artistas escolhidos.
Após os primeiros testes feitos, com o software Pure Data
controlando o dispositivo, foi possível criar comandos sonoros com a ativação
das ondas cerebrais. Mas observamos que as operações com o dispositivo eram
muito limitadas para as nossas intenções “É uma ótima interface para games e
outras situações de interação onde o detalhamento e a ordenação de sinais muito
rápidos e quase simultâneos não são necessários. Ocorre que é a precisão que
necessitamos para o público que enfocamos”, conclui a docente.
O Epoc/Emotiv (https://emotiv.com/)
tem a tecnologia parcialmente aberta. Assim, não se tinha acesso a modificações
mais incisivas, para que se pudesse customizá-lo de acordo com as
especificidades do nosso trabalho”, conta. “A versão que utilizamos foi a
educacional, que tem mais possibilidades de modificação do que a versão
completa.”
Por essa razão, foi elegido outro equipamento, o OpenBCI (http://www.openbci.com) para
a próxima etapa do trabalho, pois ele tem a tecnologia de hardware e software
abertas, tanto quanto compatibilidade com o Pure-Data. Sua função é,
basicamente, a mesma do Epoc/Emotiv, mas aberta é customizável, fornece maior
liberdade para as aplicações. “Isto percebido, a interface pode ser usada em
espetáculos de dança, teatro ou música. Os dados sonoros podem ser substituídos
por visuais, então o processo pode ocorrer misturando diferentes outputs além
das ações na tela do computador, explica a docente do IA.
Embora haja disponíveis EEGs mais poderosos e de alta
resolução e acuidade de leituras, estes não são acessíveis para a customização,
ou para o acesso em amplitude social, tanto quanto não podem ser adquiridos
dada a falta de financiamento que hoje o projeto tem.
Ações. O projeto,
até o presente momento, utilizou o laboratórios laboratório de Arte e
Tecnologia do IA, para identificação das práticas e tecnologias utilizadas no
desenvolvimento de seus produtos, bem como para desenvolvimento de nossos
projetos e aplicações das oficinas. A professora Rosangella também realizou
visitas de estudo, aferição e desenvolvimento de obras colaborativas na
Universidade de Barcelona, no grupo de pesquisa que ela integra (Barcelona
Recerca, Art y Creació - BR:AC (UB) e no Mobilitylab (mobilitylab.net), do qual
fazem parte Efraín Foglia, designer do Kit Facilita e o engenheiro de
computação, Jordi Sala, responsável pela programação do protótipo.
Durante o processo houve, no Brasil, a produção de uma
análise comparativa quanto à eficiência dos recursos tecnológicos digitais
assistivos que vem sendo produzidos ou pesquisados e que estão voltados às
necessidades do público alvo deste projeto; assim como a produção de obras
plásticas, em oficinas, utilizando interfaces assistivas, envolvendo, também, a
participação de pessoas que não tem limitações de movimento, como estratégia de
facilitar o reconhecimento da problemática que o projeto envolve.
Dificuldades. Uma
dificuldade a ser resolvida nas próximas etapas do projeto é a necessidade de
afinação do dispositivo para cada usuário. O ideal seria que cada participante
do projeto tivesse um dispositivo destinado à si. Numa situação controlada,
como o laboratório ou uma sala de aula, isto é possível fazer sem maiores
problemas, as respostas são mais garantidas. Entretanto, de um espaço do
espetáculo, por exemplo, com toda a pressão psicológica que costuma haver, para
qualquer artista mesmo sem deficiências, não é possível garantir que os
estímulos exteriores não comprometam ação do usuário caso haja um roteiro
rígido pré-fixado. “Assim, qualquer trabalho neste campo deve ser experimental
e permitir a incorporação do aleatório”, aponta a pesquisadora.
No caso de Ana Amália, o principal problema é que ela não
teve a destreza necessária para a utilização do Kit com o olho direito Embora
ela tenha conseguido operar o equipamento, sua instabilidade motora do olho faz
com que o ajuste se perca. Assim, foi iniciada uma alteração de programa e do
design, para seu uso mais confortável, inclusive alterando a câmera para que
possa fazer a leitura do olho esquerdo.
Os testes mostraram plausibilidade de sucesso do novo
protótipo. “As pessoas que não possuem problemas de comunicação, e que usaram o
Kit Facilita, relatam simplicidade na utilização do mesmo, mas incômodo com a
existência dos óculos. O mesmo se dá com as deficientes. Isto é uma questão a ser
levada para a continuação desta pesquisa”, aponta Rosangella.
Resultados.Todos
os testes a aplicações da interface Kit Facilita apresentaram funcionamento. O
teste aplicado em Portugal, na Fundação Liga Liga (www.fundacaoliga.pt),
com Pedro Almeida, que +e portador de degeneração precoce, deu ótimo resultado,
levando à elaboração de processo criativo para artes cênicas (dança) e artes
sonoras, naquela fundação.
Na Casa das Artes dessa Fundação, além do teste com o Kit
Facilita, foi possível conhecer um espaço para atividades colaborativas de
produção e realização artística a distância, inclusive em tempo real. “Neste
caso, nossa parceria prevê desenvolvimento de obras cênicas, junto ao grupo de
dança Plural, que tem bailarinos com e sem necessidades especiais, ao modo de
valorização das atividades artísticas de todos”, manifesta a pesquisadora
brasileira.
Dos testes realizados no Brasil, com Ana Amália Barbosa e
Samara Andresa Del Monte, o da jornalista Samara (paralisia cerebral) foi o
mais bem-sucedido. “A aplicação do Workshop para crianças com paralisia
cerebral, na Fundação Nosso Sonho (SP), por Ana Amália, em 28 de outubro de
2015, mostrou que se está no caminho certo”, avalia Rosangella.
Artia vem aí. “Diante
das dificuldades encontradas com a interface Kit Facilita, até o momento, para
as funções gráficas, será necessário desenvolver outra solução, para outros
casos, desta vez com o design realizados pelos brasileiros. Isto não modifica,
porém, nosso empenho para continuar nosso trabalho, tanto com o Kit, como com o
BCI (leitor de ondas cerebrais)”, conclui a pesquisadora do IA.
Para as próximas etapas, a curto prazo, o engenheiro de
sistemas Dr. Daniel Paz está utilizando o Pupil Dv, com programação Processing.
Alguns testes, nesse sentido, mas usando componentes avulsos, foram feitos pelo
Dr. Renato Hildebrand, ambos são da Unicamp e membros do GIIP.
O Grupo vem, por vários processos, produzindo obras com o
intuito de encontrar poéticas, compartilháveis e fruíveis, apoiadas menos no
espaço subjetivo das experiências do artista e muito mais em conhecimentos
científicos, com grande ênfase na Neurociência.
Assim, é imperativo o uso de biosensores, especialmente os
de ondas cerebrais, para a continuidade do projeto.
Por isso, a etapa à médio prazo, estudam a aplicação do
enfoque no uso do OpenBCI, visando o desenvolvimento do projeto agora nomeado
ARTIA. Este não é uma substituição ou continuação do Kit Facilita, mas uma
proposta paralela, cuja missão é trabalhar de duas maneiras desenvolvendo dois
protótipos: o “ARTIA-V” e o ARTIA-C”.
O primeiro para ações com rastreamento ocular, visando
escrever, desenhar, pintar e projetar esculturas para serem impressas em 3D,
gerando protótipos para as obras que seriam construídas por pessoas contratadas
ou parceiros de criação. O segundo, para a utilização de ondas cerebrais com
finalidades similares e também aplicações com sons e imagens fora do
computador, visando obras artísticas experimentais e processuais.
Crowdfounding. Enquanto
a investigação não é suficientemente reconhecida e patrocinada pelas agências
de fomento, uma das próximas ações será criar um projeto de crowdfunding a
fim de buscar a colaboração financeira necessária para desenvolver e amplificar
o projeto como um todo, disponibilizando para a sociedade a possibilidade da
inclusão, pela arte, a todos aqueles sem movimentos físicos e de fala, bem como
quem não tem estas dificuldades e queiram usar tais dispositivos em parceria os
que têm ou individualmente. A Arte é livre e, mesmo sem os recursos adequados,
se produz”, provoca Rosangella.
Teste Ana Amália: https://www.youtube.com/watch?v=-pCRI4xv504&feature=youtu.be
Fonte: UnAN - Unesp Agência de Notícias
