quarta-feira, 20 de agosto de 2008
Semana 53 e 54
Nestas semanas, para alem da apresentacao de IMMI, realizei também testes com o Nuno Cabruja e acabei de escrever os dois capitulos (3 e 4) que ainda estava a escrever.
Nas proximas duas semanas vou estar fora, por isso, quando voltar terei cerca de uma semana e meia para acabar de escrever o capitulo 5 e 6 e começar a rever a Tese antes de começar a trabalhar no dia 1 de Setembro.
Nas proximas duas semanas vou estar fora, por isso, quando voltar terei cerca de uma semana e meia para acabar de escrever o capitulo 5 e 6 e começar a rever a Tese antes de começar a trabalhar no dia 1 de Setembro.
Semana 51 e 52
Estas duas semanas serviram para fazer já diferentes testes com o Pedro utilizando os prototipos, e para continuar a tratar da escrita do capitulo 3 e 4.
Semana 49 e 50
Nestas duas semanas continuei a escrever o 3º capitulo.
Acabei também de escrever o poster para ser submetido ao Interacção 2008.
Para além disso tratei dos resultados obtidos nas visitas que fiz ao Pedro Freitas, tendo definido algumas alteracoes a serem feitas ao prototipo para se adaptar mais a ele (utilização de som, movimentos mais lentos, etc)
Acabei também de escrever o poster para ser submetido ao Interacção 2008.
Para além disso tratei dos resultados obtidos nas visitas que fiz ao Pedro Freitas, tendo definido algumas alteracoes a serem feitas ao prototipo para se adaptar mais a ele (utilização de som, movimentos mais lentos, etc)
segunda-feira, 23 de junho de 2008
Semana 47 e 48
Durante a primeira semana infelizmente não tive muito tempo para dedicar à tese, pois tive dois exames, sendo um deles bastante trabalhoso e importante.
No segunda semana acabei então por ter mais trabalho para fazer, tendo escrito o poster/demo para enviar para a Interacção 2008.
Para além disso fui visitar o Pedro Freitas, para poder fazer uma analise de tarefas e efectuar uns testes preliminares. Confesso que não estava à espera que os movimentos dele fossem tão limitados e imprecisos, no entanto os testes que fiz utilizando a câmara como um switch correram bem.
O feedback que recebi dele foi positivo, tendo descrito como algo muito simples e fácil de usar.
Já a utilização da câmara como identificador de objectos de cor que correspondessem a determinadas acções não correu tão bem, devido ao facto de que não foi fácil para ele agarrar na câmara. O apontar para o local não demonstrou tantas dificuldades, no entanto não foi o resultado que estava à espera.
Para além disso tive a escrever um bocado do 3º capitulo que tinha que entregar na próxima reunião.
No segunda semana acabei então por ter mais trabalho para fazer, tendo escrito o poster/demo para enviar para a Interacção 2008.
Para além disso fui visitar o Pedro Freitas, para poder fazer uma analise de tarefas e efectuar uns testes preliminares. Confesso que não estava à espera que os movimentos dele fossem tão limitados e imprecisos, no entanto os testes que fiz utilizando a câmara como um switch correram bem.
O feedback que recebi dele foi positivo, tendo descrito como algo muito simples e fácil de usar.
Já a utilização da câmara como identificador de objectos de cor que correspondessem a determinadas acções não correu tão bem, devido ao facto de que não foi fácil para ele agarrar na câmara. O apontar para o local não demonstrou tantas dificuldades, no entanto não foi o resultado que estava à espera.
Para além disso tive a escrever um bocado do 3º capitulo que tinha que entregar na próxima reunião.
quarta-feira, 11 de junho de 2008
Semana 45 e 46
Escrita, apresentações, projectos e exames.
Estas duas semanas acabaram por ser apertadas em termos de tempo por causa da fase final das cadeiras que estou a fazer.
No inicio ainda peguei no prototipo para melhorar os metodos de detecção mas acabei por ter que o largar por causa do ultimo projecto de PA.
Depois vieram as apresentações, e o estudo para o primeiro exame.
Durante esse tempo acabei também por escrever os dois capitulos como era suposto, apesar de ainda achar que a parte dos trabalhos relacionado com camaras podia ser abordado de outro ponto de vista.
Estas duas semanas acabaram por ser apertadas em termos de tempo por causa da fase final das cadeiras que estou a fazer.
No inicio ainda peguei no prototipo para melhorar os metodos de detecção mas acabei por ter que o largar por causa do ultimo projecto de PA.
Depois vieram as apresentações, e o estudo para o primeiro exame.
Durante esse tempo acabei também por escrever os dois capitulos como era suposto, apesar de ainda achar que a parte dos trabalhos relacionado com camaras podia ser abordado de outro ponto de vista.
terça-feira, 27 de maio de 2008
Semana 44
Esta semana acabei a parte de detectar mais que uma cor ao mesmo tempo que tinha começado. Deparei-me com algumas dificuldades quando a camera está a apontar para cima e há um candeiro de tecto, visto que a luz incide com tanta força na camara que depois ao passar o dedo com cor por cima da camara esta apenas se apercebe que aquilo é uma sombra e não uma cor.
Na outra parte da detecção do movimento, comecei a utilizar uma imagem padrão fixa como background e os resultados foram melhores. O problema está em definir quando é que essa imagem é estabelecida automaticamente, visto que o telemovel/camara pode-se mover entretanto.
Continuei ainda a escrever mais um pouco no que já tinha começado.
Depois o resto da semana tive que tratar da entrega final do projecto de Marketing para 2ª feira à tarde.
Na outra parte da detecção do movimento, comecei a utilizar uma imagem padrão fixa como background e os resultados foram melhores. O problema está em definir quando é que essa imagem é estabelecida automaticamente, visto que o telemovel/camara pode-se mover entretanto.
Continuei ainda a escrever mais um pouco no que já tinha começado.
Depois o resto da semana tive que tratar da entrega final do projecto de Marketing para 2ª feira à tarde.
segunda-feira, 19 de maio de 2008
Semana 42 e 43
Na semana que estive cá, continuei a tratar do prototipo de teste que deverá ser utilizado para testes com tetraplegicos, nomeadamente a nivel de utilização da camara como switch e com a utilização da identificação de cores nas mãos para interagir com o sistema também.
Melhorei a detecção de diferença de imagens através de um filtro de Morph, que tem uma performance um pouco melhor que o que estava a usar. No entanto, a velocidade de detecção da câmara continua a influenciar bastante o resultado da detecção de movimento (pois há alturas em que se o movimento é muito rápido esta nem sequer o apanha).
Depois comecei a tratar do modo de detectar mais que uma cor ao mesmo tempo (visto que cada dedo pode ter uma cor diferente por exemplo).
Para além disso, passei o que tinha escrito para LateX e comecei a escrever um pouco na parte que fala sobre a biblioteca de imagem.
Tive ainda que reformular uma parte da biblioteca de imagem a nível de código, pois estava mal estruturada e a sua utilização era algo "pouco modular".
Melhorei a detecção de diferença de imagens através de um filtro de Morph, que tem uma performance um pouco melhor que o que estava a usar. No entanto, a velocidade de detecção da câmara continua a influenciar bastante o resultado da detecção de movimento (pois há alturas em que se o movimento é muito rápido esta nem sequer o apanha).
Depois comecei a tratar do modo de detectar mais que uma cor ao mesmo tempo (visto que cada dedo pode ter uma cor diferente por exemplo).
Para além disso, passei o que tinha escrito para LateX e comecei a escrever um pouco na parte que fala sobre a biblioteca de imagem.
Tive ainda que reformular uma parte da biblioteca de imagem a nível de código, pois estava mal estruturada e a sua utilização era algo "pouco modular".
segunda-feira, 5 de maio de 2008
Semana 41
Esta semana tive pouco tempo para dar à tese porque estive que entregar o projecto de Programação Avançada no domingo à noite.
Mesmo assim, acabei por ler a parte da tese de mestrado do Prof. Tiago Guerreiro relativa às técnicas de varrimento para ver como podia começar a pegar nisso.
Criei depois uma aplicação (através de timer's) que simula o comportamento de varrimento num dado ecrã(form) com vários botões.
Os botões vão piscando fila a fila até que se carregue numa tecla que selecciona a fila pretendida. O mesmo acontece depois para os botões daquela fila.
Para além disso, acabei por utilizar a biblioteca para detectar a passagem de objectos por cima da câmara de modo a que identifique movimento e que consiga seleccionar a fila/botão que se quer através da passagem da mão.
Ficou a funcionar relativamente bem, apesar da definição de tempo ainda estar mais desfasada do que eu quero.
No final adicionei ainda a detecção de luz através da biblioteca, para que o utilizador possa por exemplo cancelar o processo de selecção actual apenas colocando a mão em cima da câmara.
Mesmo assim, acabei por ler a parte da tese de mestrado do Prof. Tiago Guerreiro relativa às técnicas de varrimento para ver como podia começar a pegar nisso.
Criei depois uma aplicação (através de timer's) que simula o comportamento de varrimento num dado ecrã(form) com vários botões.
Os botões vão piscando fila a fila até que se carregue numa tecla que selecciona a fila pretendida. O mesmo acontece depois para os botões daquela fila.
Para além disso, acabei por utilizar a biblioteca para detectar a passagem de objectos por cima da câmara de modo a que identifique movimento e que consiga seleccionar a fila/botão que se quer através da passagem da mão.
Ficou a funcionar relativamente bem, apesar da definição de tempo ainda estar mais desfasada do que eu quero.
No final adicionei ainda a detecção de luz através da biblioteca, para que o utilizador possa por exemplo cancelar o processo de selecção actual apenas colocando a mão em cima da câmara.
quinta-feira, 1 de maio de 2008
Semana 40
Esta semana tive reunião com a responsável das tecnologias assistivas na APCL. Infelizmente a coisa não avançou muito.
Ela dizia que não sabia até que ponto este tipo de ajuda podia ser útil porque as pessoas com que lidava tinham muitas dificuldades a nível motor, mas dizia também que não percebia bem como é que isto funcionava porque não era desta área, etc.
Apercebi-me depois que ela era responsável pela parte das crianças com dificuldades severas e por isso é que dizia que com as pessoas com que lidava isto poderia não funcionar.
Esteve-me a mostrar vários aparelhos que utilizavam (quase todos vindo da Anditec http://anditec.pt/produtos/), e a dizer que este tipo de tecnologia (da câmara) era boa era para pessoas com deficiências mentais (sindroma de down, etc) e para idosos (demência). Sugeriu-me ir à Crinabel, CADI, Associação de Autistas e também a ver com idosos com demência.
À medida que depois lhe fui pondo mais questões (pois havia pessoas lá que utilizavam telemovel por exemplo, e fazia-me confusão ela estar a dizer que para esses também não dava) ela começou a perceber melhor a ideia das cores, e disse que se calhar era bom também testar com as tais pessoas lá do centro que eu tinha visto na 1ª visita (na parte de adultos). As colegas delas que lá estavam achavam que isto era mais útil do que ela estava achar, e foram elas que sugeriram continuar com a ideia de testar com os adultos que eu tinha visto na 1ª visita.
Mas continuou a dizer que isto era mais útil na parte das pessoas com deficiências mentais. Sugeriu-me também (o que acho que é engraçado, mas não sei se é viável ou não) que testasse esta tecnologia com várias populações (paralisia cerebral, síndroma de down, idosos, por exemplo) e se comparasse depois os resultados. Ainda lhe falei da possibilidade de ter a câmara parada mas ela não se mostrou muito interessada nessa solução.
Em suma, fiquei com a ideia de voltar a falar com as pessoas da 1ª visita para pelo menos tentar ver se isto é viável ou não naqueles indivíduos que utilizam o telemovel. Por outro lado vi que para interacção com o computador a ideia da câmara móvel não parece ser grande ajuda (pelo menos ainda não consegui pensar num cenário em que ajudasse mais que os switchs que eles têm actualmente), isto porque para mexerem a câmara e a apontarem para as cores acaba quase por ser mais fácil usar o rato, ou uma board com 5 botões grandes.
A ideia das pessoas com deficiências mentais é algo que poderei explorar também, apesar de por agora não saber nada sobre eles e não saber até que ponto isto pode ser uma ajuda para eles ou não.
Para além disso, e depois de falar com o Prof. Tiago Guerreiro, tivemos a ver como poderiamos resolver esta questão dos prototipos e dos testes e resolvemos apontar para dois prototipos.
Um com a ideia base do grannolers (cores), para a interacção com o telemóvel, em pessoas com dificuldades motoras/cognitivas (tetraplegicos, paralisia cerebral, ..)
A outra seria interligar esta tecnologia com o trabalho do David, e utilizar a camara do telemovel para atraves de diversas interfaces (varrimento, etc), poder interagir com o controlo de uma casa "inteligente".
Assim comecei a focar agora o trabalho nestes problemas.
Ela dizia que não sabia até que ponto este tipo de ajuda podia ser útil porque as pessoas com que lidava tinham muitas dificuldades a nível motor, mas dizia também que não percebia bem como é que isto funcionava porque não era desta área, etc.
Apercebi-me depois que ela era responsável pela parte das crianças com dificuldades severas e por isso é que dizia que com as pessoas com que lidava isto poderia não funcionar.
Esteve-me a mostrar vários aparelhos que utilizavam (quase todos vindo da Anditec http://anditec.pt/produtos/), e a dizer que este tipo de tecnologia (da câmara) era boa era para pessoas com deficiências mentais (sindroma de down, etc) e para idosos (demência). Sugeriu-me ir à Crinabel, CADI, Associação de Autistas e também a ver com idosos com demência.
À medida que depois lhe fui pondo mais questões (pois havia pessoas lá que utilizavam telemovel por exemplo, e fazia-me confusão ela estar a dizer que para esses também não dava) ela começou a perceber melhor a ideia das cores, e disse que se calhar era bom também testar com as tais pessoas lá do centro que eu tinha visto na 1ª visita (na parte de adultos). As colegas delas que lá estavam achavam que isto era mais útil do que ela estava achar, e foram elas que sugeriram continuar com a ideia de testar com os adultos que eu tinha visto na 1ª visita.
Mas continuou a dizer que isto era mais útil na parte das pessoas com deficiências mentais. Sugeriu-me também (o que acho que é engraçado, mas não sei se é viável ou não) que testasse esta tecnologia com várias populações (paralisia cerebral, síndroma de down, idosos, por exemplo) e se comparasse depois os resultados. Ainda lhe falei da possibilidade de ter a câmara parada mas ela não se mostrou muito interessada nessa solução.
Em suma, fiquei com a ideia de voltar a falar com as pessoas da 1ª visita para pelo menos tentar ver se isto é viável ou não naqueles indivíduos que utilizam o telemovel. Por outro lado vi que para interacção com o computador a ideia da câmara móvel não parece ser grande ajuda (pelo menos ainda não consegui pensar num cenário em que ajudasse mais que os switchs que eles têm actualmente), isto porque para mexerem a câmara e a apontarem para as cores acaba quase por ser mais fácil usar o rato, ou uma board com 5 botões grandes.
A ideia das pessoas com deficiências mentais é algo que poderei explorar também, apesar de por agora não saber nada sobre eles e não saber até que ponto isto pode ser uma ajuda para eles ou não.
Para além disso, e depois de falar com o Prof. Tiago Guerreiro, tivemos a ver como poderiamos resolver esta questão dos prototipos e dos testes e resolvemos apontar para dois prototipos.
Um com a ideia base do grannolers (cores), para a interacção com o telemóvel, em pessoas com dificuldades motoras/cognitivas (tetraplegicos, paralisia cerebral, ..)
A outra seria interligar esta tecnologia com o trabalho do David, e utilizar a camara do telemovel para atraves de diversas interfaces (varrimento, etc), poder interagir com o controlo de uma casa "inteligente".
Assim comecei a focar agora o trabalho nestes problemas.
Semana 38 e 39
Nestas duas semanas tive, e a nivel de biblioteca, estive a refazer uma parte da calibração que não estava a funcionar correctamente e a restruturar um pouco o código da mesma.
Para além disso tive uma reunião com o Sr. Antonio Barata na APCL. Apresentei o projecto e as ideias que tinha relativamente a ele.
Ao contrário do que estava à espera, para eles a ideia base é utilizar só cores. Ou seja, uma prancha com cores, e depois os "utilizadores" apontavam o telemóvel para a prancha. Isto porque grande parte deles tem muita dificuldade em agarrar e apontar com "firmeza" para um dado alvo.
Outra sugestão que deram (para esses que têm grande dificuldade em agarrar no telemovel) é a de virar o telemovel ao contrario e passar placas cores por cima da câmara (como estavamos a pensar fazer com a mão). Ficaram contente de aquilo depois se poder configurar, ou seja, dar para mudar os numeros que estão associados a cada cor/accção associada a cada cor.
Depois da reunião aproveitei e fui com eles visitar a população que lá vivia. No final apercebi-me que visitei só a parte de adultos e que aquilo tem lá uma parte de crianças também (não sei até que ponto será interessante testar neles ou não).
Do que vi fiquei impressionado. Estava à espera de um cenário pior. Quase metade deles tinha destreza suficiente para agarrar um telemóvel e aponta-lo para o colo/ou outro lugar perto deles. Alguns deles tinham mesmo um telemovel que usavam com alguma regularidade, uns com mais dificuldades que outros.
Isto porque, a maior parte vê bastante mal, e como tal tem dificuldade em conseguir ver as letras/números do teclado do telemovel.
Para todos os outros que não tinham grande capacidade motora, segundo o senhor que lá estava, só a opção de deixar o telemovel virado para cima e passar cartões de cores. Mas mesmo assim eu achei que isso ia ser complicado, pois o movimento deles era bastante descontrolado.
Além disso estive a reformular algumas coisas no guião para a analise de tarefas que irei fazer posteriormente lá.
A visita/reunião à APCL acabou por me fazer pensar melhor na tese e reestrutura-la em 2 partes. Fiz um esquema com as várias "zonas" da tese, e o que dizer em cada uma delas.
A 1ª Parte iria estar relacionada com o facto de haver a possibilidade de utilizar a camara do telemovel como metodo de interacção, levando a que tenha feito a biblioteca.
Enquanto que a 2ª Parte iria estar focada em como este tipo de tecnologia pode ajudar pessoas com dificuldades cognitivas/motoras.
Para além disso tive uma reunião com o Sr. Antonio Barata na APCL. Apresentei o projecto e as ideias que tinha relativamente a ele.
Ao contrário do que estava à espera, para eles a ideia base é utilizar só cores. Ou seja, uma prancha com cores, e depois os "utilizadores" apontavam o telemóvel para a prancha. Isto porque grande parte deles tem muita dificuldade em agarrar e apontar com "firmeza" para um dado alvo.
Outra sugestão que deram (para esses que têm grande dificuldade em agarrar no telemovel) é a de virar o telemovel ao contrario e passar placas cores por cima da câmara (como estavamos a pensar fazer com a mão). Ficaram contente de aquilo depois se poder configurar, ou seja, dar para mudar os numeros que estão associados a cada cor/accção associada a cada cor.
Depois da reunião aproveitei e fui com eles visitar a população que lá vivia. No final apercebi-me que visitei só a parte de adultos e que aquilo tem lá uma parte de crianças também (não sei até que ponto será interessante testar neles ou não).
Do que vi fiquei impressionado. Estava à espera de um cenário pior. Quase metade deles tinha destreza suficiente para agarrar um telemóvel e aponta-lo para o colo/ou outro lugar perto deles. Alguns deles tinham mesmo um telemovel que usavam com alguma regularidade, uns com mais dificuldades que outros.
Isto porque, a maior parte vê bastante mal, e como tal tem dificuldade em conseguir ver as letras/números do teclado do telemovel.
Para todos os outros que não tinham grande capacidade motora, segundo o senhor que lá estava, só a opção de deixar o telemovel virado para cima e passar cartões de cores. Mas mesmo assim eu achei que isso ia ser complicado, pois o movimento deles era bastante descontrolado.
Além disso estive a reformular algumas coisas no guião para a analise de tarefas que irei fazer posteriormente lá.
A visita/reunião à APCL acabou por me fazer pensar melhor na tese e reestrutura-la em 2 partes. Fiz um esquema com as várias "zonas" da tese, e o que dizer em cada uma delas.
A 1ª Parte iria estar relacionada com o facto de haver a possibilidade de utilizar a camara do telemovel como metodo de interacção, levando a que tenha feito a biblioteca.
Enquanto que a 2ª Parte iria estar focada em como este tipo de tecnologia pode ajudar pessoas com dificuldades cognitivas/motoras.
domingo, 30 de março de 2008
Semana 36 e 37
Estas 2 semanas estive fora, na viagem de finalistas, e como tal não estive a trabalhar na tese.
terça-feira, 11 de março de 2008
Semana 35
Esta semana acabei por não trabalhar muito na tese.
Como tinha que deixar o projecto de Programação Avançada despachado antes de ir para a viagem de finalistas por causa da data da entrega, acabei por estar de volta dele.
No entanto, depois de procurar um bocado, acabei por encontrar um método de "correcção de luminosidade" em real-time para cada imagem.
Basicamente trata-se de um filtro que, depois de transformada a imagem para o formato HSL, e de fornecer um valor de ajuste (de 0 a 1), percorre a imagem toda, e para cada pixel, se o valor da luminosidade estiver acima do valor máximo menos o valor de ajuste, ou abaixo do valor mínimo este coloca-o como o esse valor.
Acaba por funcionar um pouco como um filtro passa-baixo / passa-alto, transformando assim os valores de luminosidade da imagem. No final, esse pixel tem de ser novamente convertido para RGB para fornecer a imagem final já corrigida.
Para além disso, estive a finalizar a parte da calibração da semana passada.
Como tinha que deixar o projecto de Programação Avançada despachado antes de ir para a viagem de finalistas por causa da data da entrega, acabei por estar de volta dele.
No entanto, depois de procurar um bocado, acabei por encontrar um método de "correcção de luminosidade" em real-time para cada imagem.
Basicamente trata-se de um filtro que, depois de transformada a imagem para o formato HSL, e de fornecer um valor de ajuste (de 0 a 1), percorre a imagem toda, e para cada pixel, se o valor da luminosidade estiver acima do valor máximo menos o valor de ajuste, ou abaixo do valor mínimo este coloca-o como o esse valor.
Acaba por funcionar um pouco como um filtro passa-baixo / passa-alto, transformando assim os valores de luminosidade da imagem. No final, esse pixel tem de ser novamente convertido para RGB para fornecer a imagem final já corrigida.
Para além disso, estive a finalizar a parte da calibração da semana passada.
Semana 34
Esta semana estive a ler um TFC sobre o Multi-Modal Painter, que usa a tecnica de marcadores florescentes para detectar os dedos na mão através de uma camara.
Andei depois a fazer 2 coisas que li no TFC que achei interessantes e que não tinha ainda feito no meu.
A primeira era a utilização de, no espaço de cor HSL, o Hue e a Saturation. Isso pode aumentar a capacidade de detecção de uma cor especifica o que em principio é bom. Há sempre o medo da cor se tornar tão especifica que uma pequena mudança de luz/sombras/etc possa fazer com que a mesma não seja detectada. Mas com uma margem razoavel tal não deve acontecer.
A outra coisa era a calibração. Que eu não tinha na minha biblioteca. Achei interessante o facto deles no TFC meterem 4 pontos em diferentes zonas do ecrã e calibrarem a cor em função desses pontos. Isto tem como objectivo ver se pode melhorar a detecção da Cor que se pretende e da margem a fornecer, para assim detectar melhor os objectos dessa cor.
Andei também a ver um bocado a parte de movimentos sem movimento da câmara (para as tais interacções para pessoas com maiores dificuldades motoras que cognitivas), porque segundo li o filtro de diferença de imagens nem sempre é o mais adequado, sendo também interessante tentar calibrar a câmara para uma determinada imagem de fundo.
Penso que juntar o filtro de diferença de imagens mas tendo como imagem base uma imagem de alguns bons segundo atrás, ou mesmo uma imagem que seja tirada no inicio, quando o programa é iniciado, pode ser uma boa hipótese.
Depois quero ir ver se encontro alguma coisa que consiga fazer mais ou menos o ajuste da luminosidade em "real-time", para que os movimentos com a câmara não afectem tanto o resultado.
Acabei por não procurar por mais papers de sistemas parecidos por este para pessoas com paralisia cerebral, mas queria ver isso nas próximas semanas também.
Andei depois a fazer 2 coisas que li no TFC que achei interessantes e que não tinha ainda feito no meu.
A primeira era a utilização de, no espaço de cor HSL, o Hue e a Saturation. Isso pode aumentar a capacidade de detecção de uma cor especifica o que em principio é bom. Há sempre o medo da cor se tornar tão especifica que uma pequena mudança de luz/sombras/etc possa fazer com que a mesma não seja detectada. Mas com uma margem razoavel tal não deve acontecer.
A outra coisa era a calibração. Que eu não tinha na minha biblioteca. Achei interessante o facto deles no TFC meterem 4 pontos em diferentes zonas do ecrã e calibrarem a cor em função desses pontos. Isto tem como objectivo ver se pode melhorar a detecção da Cor que se pretende e da margem a fornecer, para assim detectar melhor os objectos dessa cor.
Andei também a ver um bocado a parte de movimentos sem movimento da câmara (para as tais interacções para pessoas com maiores dificuldades motoras que cognitivas), porque segundo li o filtro de diferença de imagens nem sempre é o mais adequado, sendo também interessante tentar calibrar a câmara para uma determinada imagem de fundo.
Penso que juntar o filtro de diferença de imagens mas tendo como imagem base uma imagem de alguns bons segundo atrás, ou mesmo uma imagem que seja tirada no inicio, quando o programa é iniciado, pode ser uma boa hipótese.
Depois quero ir ver se encontro alguma coisa que consiga fazer mais ou menos o ajuste da luminosidade em "real-time", para que os movimentos com a câmara não afectem tanto o resultado.
Acabei por não procurar por mais papers de sistemas parecidos por este para pessoas com paralisia cerebral, mas queria ver isso nas próximas semanas também.
terça-feira, 19 de fevereiro de 2008
Semana 33
Esta semana, e depois de ter posto o filtro HSL a funcionar correctamente, tive a testa-lo. A utilização de cores forte (azul florescente, rosa choque, etc) funciona bastante bem.
Assim passei para a detecção de objectos mas agora com o filtro HSL. Depois de definida a cor do objecto a detectar, a performance é bastante melhor que a anterior detecção de objectos, notando-se que acaba por detectar apenas os objectos daquela cor e não objectos de cores pouco semelhantes como acontecia com a outra solução.
No entanto há sempre o factor iluminação, visto que se a luz bate de maneira diferente no objecto este por vezes deixa de ser reconhecido. A webcam em questão também é bastante antiga, e com uma qualidade relativamente má, no entanto as cameras dos telemóveis não são comparáveis a máquinas fotográficas também.
Apesar disso fiquei relativamente contente com o que este filtro acabou por fazer, sendo que o mesmo está por enquanto apenas a utilizar o Hue para filtragem, não utilizando por enquanto ainda a Saturation nem a Luminance.
Estive a limpar algumas funções e com base no HSL criei um filtro para HSV também, que irá variar no seu comportamente relativamente ao primeiro, apenas quando se utilizar também como parametros a Saturation e o Value.
Depois de ler alguma informação decidi ir investigar acerca do reconhecimento da cor da pele, para possiveis movimentos com as maos ou cabeça à frente da camara do telemovel.
Descobri o paper do Peer (Human skin colour clustering for face detection), tendo criado um filtro com o algoritmo que ele apresentou. Os resultados em fotos foram bastante melhores do que estava à espera, tendo uma performance bastante boa.
Na utilização com webcam acabei por não ter tão bons resultados, mas também apenas testei num quarto à noite, com pouca luz, e tendo em conta que o algoritmo foi feito para imagens na rua estava à espera que tal acontecesse.
Isso fez-me pensar que talvez hajam soluções de uniformização de imagem/luminosidade, para que os filtros não sejam tão afectados pelas diferenças de luz. Também que talvez a utilização de outros tipos de espaços de cor possam facilitar na detecção de objectos por exemplo.
Tenho ainda esta semana que fazer a apresentação e preparar a demo para a reunião na próxima semana, e de fazer uma página para o projecto.
Assim passei para a detecção de objectos mas agora com o filtro HSL. Depois de definida a cor do objecto a detectar, a performance é bastante melhor que a anterior detecção de objectos, notando-se que acaba por detectar apenas os objectos daquela cor e não objectos de cores pouco semelhantes como acontecia com a outra solução.
No entanto há sempre o factor iluminação, visto que se a luz bate de maneira diferente no objecto este por vezes deixa de ser reconhecido. A webcam em questão também é bastante antiga, e com uma qualidade relativamente má, no entanto as cameras dos telemóveis não são comparáveis a máquinas fotográficas também.
Apesar disso fiquei relativamente contente com o que este filtro acabou por fazer, sendo que o mesmo está por enquanto apenas a utilizar o Hue para filtragem, não utilizando por enquanto ainda a Saturation nem a Luminance.
Estive a limpar algumas funções e com base no HSL criei um filtro para HSV também, que irá variar no seu comportamente relativamente ao primeiro, apenas quando se utilizar também como parametros a Saturation e o Value.
Depois de ler alguma informação decidi ir investigar acerca do reconhecimento da cor da pele, para possiveis movimentos com as maos ou cabeça à frente da camara do telemovel.
Descobri o paper do Peer (Human skin colour clustering for face detection), tendo criado um filtro com o algoritmo que ele apresentou. Os resultados em fotos foram bastante melhores do que estava à espera, tendo uma performance bastante boa.
Na utilização com webcam acabei por não ter tão bons resultados, mas também apenas testei num quarto à noite, com pouca luz, e tendo em conta que o algoritmo foi feito para imagens na rua estava à espera que tal acontecesse.
Isso fez-me pensar que talvez hajam soluções de uniformização de imagem/luminosidade, para que os filtros não sejam tão afectados pelas diferenças de luz. Também que talvez a utilização de outros tipos de espaços de cor possam facilitar na detecção de objectos por exemplo.
Tenho ainda esta semana que fazer a apresentação e preparar a demo para a reunião na próxima semana, e de fazer uma página para o projecto.
Semana 32
Ainda relativamente ao QRCode, percebi que o facto das cameras não terem autofocus diminui muito a performance de reconhecimento.
Outra questão é o facto de que este tipo de tecnologia não me pareceu (ao contrario do que estava à espera) capaz de funcionar em tempo real.
Depois de falar com uma pessoa relativamente a isso decidi experimentar a utilização de codigos de barras "normais" (code39), tendo conseguido arranjar uma biblioteca para tal através dessa mesma pessoa.
No entanto também aqui os resultados não foram grande coisa, porque era necessário ou a imagem ser muito grande, ou a camera focar. Porque para os ditos codigos de barras normais que vêm nas embalagens não era possivel a deteccao de qualquer um deles, visto que ficavam muito pequenos e desfocados.
Entretanto tive a reunião quinzenal com o Prof. Tiago Guerreiro e com o Hugo e o David, onde se decidiu que tinhamos agora que nos focar mais no que o projecto realmente ia ser, e que na proxima reunião iriamos apresentar uma demo e uma apresentacao do projecto em si.
Ficou também decidido que se ia tentar marcar uma analise de tarefas para eu poder perceber melhor o ambiente em que este tipo de solução poderia ser utilizado.
Após isto virei-me de novo para a biblioteca de imagem, nomeadamente o filtro HSL que não estava ainda a funcionar correctamente.
No final da semana acabei por deixar o HSL e experimentar com HSV, visto que tinha mais ferramentas de comparação para este espaço de cor, tendo conseguido arranjar uma solução (que acabava por ser também a solução para o problema do filtro HSL).
Entretanto chegou finalmente o portatil! :D
Já posso aumentar o ritmo outra vez.
Outra questão é o facto de que este tipo de tecnologia não me pareceu (ao contrario do que estava à espera) capaz de funcionar em tempo real.
Depois de falar com uma pessoa relativamente a isso decidi experimentar a utilização de codigos de barras "normais" (code39), tendo conseguido arranjar uma biblioteca para tal através dessa mesma pessoa.
No entanto também aqui os resultados não foram grande coisa, porque era necessário ou a imagem ser muito grande, ou a camera focar. Porque para os ditos codigos de barras normais que vêm nas embalagens não era possivel a deteccao de qualquer um deles, visto que ficavam muito pequenos e desfocados.
Entretanto tive a reunião quinzenal com o Prof. Tiago Guerreiro e com o Hugo e o David, onde se decidiu que tinhamos agora que nos focar mais no que o projecto realmente ia ser, e que na proxima reunião iriamos apresentar uma demo e uma apresentacao do projecto em si.
Ficou também decidido que se ia tentar marcar uma analise de tarefas para eu poder perceber melhor o ambiente em que este tipo de solução poderia ser utilizado.
Após isto virei-me de novo para a biblioteca de imagem, nomeadamente o filtro HSL que não estava ainda a funcionar correctamente.
No final da semana acabei por deixar o HSL e experimentar com HSV, visto que tinha mais ferramentas de comparação para este espaço de cor, tendo conseguido arranjar uma solução (que acabava por ser também a solução para o problema do filtro HSL).
Entretanto chegou finalmente o portatil! :D
Já posso aumentar o ritmo outra vez.
Semana 31
Esta semana acabei por desistir da OpenCV, visto que não a estava a conseguir por a funcionar com o telemovel. Depois de muito pesquisar, penso que uma das razoes possa ser o facto da mesma estar desenhada para uma arquitectura x86 e os telemóvel em questão ter uma arquitectura ARM.
Depois de ler um paper enviado pelo Prof. Tiago Guerreiro, acabei por comecar à procura de uma solução para utilização de códigos visuais.
Estes códigos seriam uteis para substituir por exemplo as pranchas utilizadas por alguns individuos com dificuldades cognitivas, podendo assim estar presentes nas mesmas ou mesmo estarem ao lado de uma fotografia com uma dada acção, bastando para tal que a pessoa em questão apontasse o telemovel para esse código na foto.
Após não ter tido resposta ao mail que tinha enviado à kaywa, e de ter descoberto que a OpenNETCF tinha retirado há umas semanas a solução que disponibilizavam de uma biblioteca QRCode para Windows Mobile, comecei à procura de outras soluções.
Acabei por descobrir a source na qual a OpenNETCF se baseou, uma biblioteca em java feita por uns japoneses, e que me permitiu chegar à ThoughWorks. A ThoughtWorks, tinha portado grande parte do código para C#.
Assim consegui inclui-la no meu projecto, e testar mesmo com o telemovel através da tiragem de fotografias. Os resultados dependiam um pouco do tamanho do texto que o QRCode continha e da luz existente.
Terminei em grande parte o QRCode, que me pareceu funcionar relativamente bem para ambientes em que se pudesse estar parado e apontar a camera do telemovel ao código.
Depois de ler um paper enviado pelo Prof. Tiago Guerreiro, acabei por comecar à procura de uma solução para utilização de códigos visuais.
Estes códigos seriam uteis para substituir por exemplo as pranchas utilizadas por alguns individuos com dificuldades cognitivas, podendo assim estar presentes nas mesmas ou mesmo estarem ao lado de uma fotografia com uma dada acção, bastando para tal que a pessoa em questão apontasse o telemovel para esse código na foto.
Após não ter tido resposta ao mail que tinha enviado à kaywa, e de ter descoberto que a OpenNETCF tinha retirado há umas semanas a solução que disponibilizavam de uma biblioteca QRCode para Windows Mobile, comecei à procura de outras soluções.
Acabei por descobrir a source na qual a OpenNETCF se baseou, uma biblioteca em java feita por uns japoneses, e que me permitiu chegar à ThoughWorks. A ThoughtWorks, tinha portado grande parte do código para C#.
Assim consegui inclui-la no meu projecto, e testar mesmo com o telemovel através da tiragem de fotografias. Os resultados dependiam um pouco do tamanho do texto que o QRCode continha e da luz existente.
Terminei em grande parte o QRCode, que me pareceu funcionar relativamente bem para ambientes em que se pudesse estar parado e apontar a camera do telemovel ao código.
Semana 30
Esta semana houve a reunião magna do IMMI, onde apresentámos todos os nossos projectos. Foi interessante ver os diferentes estilos de projectos e as oportunidades que cada um deles tinha para evoluir.
Acabei por falar com a Sara que me aconselhou uns links para o uso da biblioteca da Intel OpenCV no reconhecimento de objectos e imagens.
Estive a fazer a refazer uma parte do Relatório Intercalar, e tambem a meter já as referências bibliográficas e formatando-o de acordo com o que irá ser pedido na entrega da Tese.
Depois de entregue o relatório, estive durante o resto da semana a tentar explorar a OpenCV para tentar perceber se conseguia utilizar alguma função que me pudesse ajudar no reconhecimento de objectos, mas não tive muito sucesso.
Acabei por falar com a Sara que me aconselhou uns links para o uso da biblioteca da Intel OpenCV no reconhecimento de objectos e imagens.
Estive a fazer a refazer uma parte do Relatório Intercalar, e tambem a meter já as referências bibliográficas e formatando-o de acordo com o que irá ser pedido na entrega da Tese.
Depois de entregue o relatório, estive durante o resto da semana a tentar explorar a OpenCV para tentar perceber se conseguia utilizar alguma função que me pudesse ajudar no reconhecimento de objectos, mas não tive muito sucesso.
Semana 29
Esta semana estive a alterar a apresentação para o IMMI e a tentar pensar um pouco em que é que a tese se deveria focar mesmo.
Estive o resto da semana quase sempre de volta do estudo para exames das cadeiras do IST e acabei por não pegar muito na tese.
Estive o resto da semana quase sempre de volta do estudo para exames das cadeiras do IST e acabei por não pegar muito na tese.
segunda-feira, 21 de janeiro de 2008
Semana 28
Ainda sem portatil, a produtividade foi menor, mas esta semana fiz a apresentação para a reunião do IMMI, para ver com o Prof. Tiago Guerreiro na reunião de 3ª feira.
Para além disso tive que refazer os filtros de cor, tanto ao nivel RGB como a HSV, porque no computador onde trabalhei comecei a obter resultados diferentes do que estava a espera. Cada pixel RGB, comecou a aparecer como BGR. Não sei se será do Visual Studio 2008 ou mesmo da API, mas depois vou confirmar quando tiver o portatil.
No entanto isto levou-me a refazer e optimizar tanto o filtro de cor RGB como também o modo como era detectada a cor RGB que servia de base a esse filtro de cor. E apesar de não estar à espera, obtive um resultado bastante melhor no desempenho do filtro de cor, e como tal na detecção de objectos, mesmo via GS.
Acabei por refazer toda a função que fazia a conversão RGB->HSL, porque estava a obter resultados de Saturation diferentes daqueles que o Photoshop me estava a dar. E também refiz a função que detectava a cor que servia de base ao filtro HSL puro (e não via RGB->HSL). Tinha esperança que isso melhorasse o filtro HSL que tinha feito, mas o comportamento deste continua ainda bastante inconstante. Os resultados deste filtro ao nivel puro HSL (e não via RGB->HSL) ainda não estão estáveis e continuam piores do que o novo filtro de cor RGB que fiz esta semana.
Tive a ver também o que havia a nivel se software de QR-Code, para a tal ideia de utilização em pictogramas/pranchas, e acabei até por falar com http://qrcode.kaywa.com/ a ver se é possivel arranjarem uma API ou um dll que possa servir de base, para este tipo de interacção.
Uma das ideias que me apareceu foi a de por exemplo ler um livro num ecra por exemplo, através deste tipo de etiquetas visuais, onde uma dada etiqueta faz virar a pagina, ou fecha o livro. Isto também funcionaria com etiquetas de cores simples.
Para além disso fiz uma primeira versão do relatorio que é para entregar no fenix no final do mes, agarrando na versão do survey que tinha feito no final do verão. Acrescentei depois o planeamento e a abordagem, para depois discutir com o Prof. Tiago Guerreiro.
Para além disso tive que refazer os filtros de cor, tanto ao nivel RGB como a HSV, porque no computador onde trabalhei comecei a obter resultados diferentes do que estava a espera. Cada pixel RGB, comecou a aparecer como BGR. Não sei se será do Visual Studio 2008 ou mesmo da API, mas depois vou confirmar quando tiver o portatil.
No entanto isto levou-me a refazer e optimizar tanto o filtro de cor RGB como também o modo como era detectada a cor RGB que servia de base a esse filtro de cor. E apesar de não estar à espera, obtive um resultado bastante melhor no desempenho do filtro de cor, e como tal na detecção de objectos, mesmo via GS.
Acabei por refazer toda a função que fazia a conversão RGB->HSL, porque estava a obter resultados de Saturation diferentes daqueles que o Photoshop me estava a dar. E também refiz a função que detectava a cor que servia de base ao filtro HSL puro (e não via RGB->HSL). Tinha esperança que isso melhorasse o filtro HSL que tinha feito, mas o comportamento deste continua ainda bastante inconstante. Os resultados deste filtro ao nivel puro HSL (e não via RGB->HSL) ainda não estão estáveis e continuam piores do que o novo filtro de cor RGB que fiz esta semana.
Tive a ver também o que havia a nivel se software de QR-Code, para a tal ideia de utilização em pictogramas/pranchas, e acabei até por falar com http://qrcode.kaywa.com/ a ver se é possivel arranjarem uma API ou um dll que possa servir de base, para este tipo de interacção.
Uma das ideias que me apareceu foi a de por exemplo ler um livro num ecra por exemplo, através deste tipo de etiquetas visuais, onde uma dada etiqueta faz virar a pagina, ou fecha o livro. Isto também funcionaria com etiquetas de cores simples.
Para além disso fiz uma primeira versão do relatorio que é para entregar no fenix no final do mes, agarrando na versão do survey que tinha feito no final do verão. Acrescentei depois o planeamento e a abordagem, para depois discutir com o Prof. Tiago Guerreiro.
Semana 27
Esta semana tive reunião com o Prof. Tiago Guerreiro, onde discutimos qual o caminho que queria seguir no meu trabalho.
Identificamos dois grupos de individuos nos quais nos este projecto poderá ter maior impacto, individuos com paralesia cerebral e com dificuldades motoras, sendo portanto um dos grupos nos quais se poderá efectuar testes com utilizadores.
Para além disso falamos outra vez da possibilidade de, através da biblioteca do CALI, tentar a detecção de formas via telemovel.
Falamos também da possibilidade da utilização de etiquetas visuais (QR-Code por exemplo) para substituir pictogramas ou pranchas em sujeitos com dificuldades a nivel motor/cerebral.
Fiquei de fazer a apresentação para a reunião magna do IMMI e de começar a fazer o relatório que se tem que entregar no fenix no final do mes de Janeiro.
O resto da semana estive a estudar para os exames que tive na 3ª e no sabado.
Identificamos dois grupos de individuos nos quais nos este projecto poderá ter maior impacto, individuos com paralesia cerebral e com dificuldades motoras, sendo portanto um dos grupos nos quais se poderá efectuar testes com utilizadores.
Para além disso falamos outra vez da possibilidade de, através da biblioteca do CALI, tentar a detecção de formas via telemovel.
Falamos também da possibilidade da utilização de etiquetas visuais (QR-Code por exemplo) para substituir pictogramas ou pranchas em sujeitos com dificuldades a nivel motor/cerebral.
Fiquei de fazer a apresentação para a reunião magna do IMMI e de começar a fazer o relatório que se tem que entregar no fenix no final do mes de Janeiro.
O resto da semana estive a estudar para os exames que tive na 3ª e no sabado.
domingo, 6 de janeiro de 2008
Semana 26
O portatil já foi para a assistencia e estou à espera de resposta, para saber quando o têm pronto.
Acabei por estar a tratar da entrega da apresentacao de AOSI e comecar a estudar para os dois exames que tenho para a semana.
Acabei por estar a tratar da entrega da apresentacao de AOSI e comecar a estudar para os dois exames que tenho para a semana.
Semana 25
Apesar de estar em ferias de Natal, no final da semana, voltei a pegar na parte do filtro de cor para HSV.
Não durou muito porque no fim de semana tive um verdadeiro azar. O parte electrica do portatil deixou de funcionar bem, derretendo o carregador que tinha e outro que acabei por comprar para remediar a situação.
Para a semana quando voltar para Lisboa vai para a assistencia tecnica da LG para ver qual é o problema e qual o orçamento.
Não durou muito porque no fim de semana tive um verdadeiro azar. O parte electrica do portatil deixou de funcionar bem, derretendo o carregador que tinha e outro que acabei por comprar para remediar a situação.
Para a semana quando voltar para Lisboa vai para a assistencia tecnica da LG para ver qual é o problema e qual o orçamento.
Semana 24
Esta semana acabei por não ter tempo para pegar na tese.
Tive o caso final de AOSI na 2ª feira e depois que fazer o projecto de AS para entregar na 6ª.
Tive o caso final de AOSI na 2ª feira e depois que fazer o projecto de AS para entregar na 6ª.
Semana 23
No inicio desta semana comecei a tratar do filtro de cor utilizando o novo metodo de RBG para HSV.
No entanto, depois de efectuar uns quantos testes a meio da semana, o resultado não foi o esperado.
Ainda não percebi bem o que não está a fazer funcionar correctamente este filtro, mas irei em prinicpio para a semana tentar experimentar outra abordagem.
Comecei também a investigar um pouco o OpenCV e acabei mesmo por instala-lo no pc para o começar a testar. Parece-me que pode dar uma ajuda relativamente interessante em alguns aspectos se o conseguir utilizar.
No entanto, depois de efectuar uns quantos testes a meio da semana, o resultado não foi o esperado.
Ainda não percebi bem o que não está a fazer funcionar correctamente este filtro, mas irei em prinicpio para a semana tentar experimentar outra abordagem.
Comecei também a investigar um pouco o OpenCV e acabei mesmo por instala-lo no pc para o começar a testar. Parece-me que pode dar uma ajuda relativamente interessante em alguns aspectos se o conseguir utilizar.
Subscrever:
Mensagens (Atom)