Camera Phone

Semana 55 e 56

2008-08-20T10:58:00.001-07:00

Estive de ferias nos USA.

Semana 53 e 54

2008-08-20T10:56:00.001-07:00

Nestas semanas, para alem da apresentacao de IMMI, realizei também testes com o Nuno Cabruja e acabei de escrever os dois capitulos (3 e 4) que ainda estava a escrever.

Nas proximas duas semanas vou estar fora, por isso, quando voltar terei cerca de uma semana e meia para acabar de escrever o capitulo 5 e 6 e começar a rever a Tese antes de começar a trabalhar no dia 1 de Setembro.

Semana 51 e 52

2008-08-20T10:54:00.000-07:00

Estas duas semanas serviram para fazer já diferentes testes com o Pedro utilizando os prototipos, e para continuar a tratar da escrita do capitulo 3 e 4.

Semana 49 e 50

2008-08-20T10:43:00.000-07:00

Nestas duas semanas continuei a escrever o 3º capitulo.

Acabei também de escrever o poster para ser submetido ao Interacção 2008.

Para além disso tratei dos resultados obtidos nas visitas que fiz ao Pedro Freitas, tendo definido algumas alteracoes a serem feitas ao prototipo para se adaptar mais a ele (utilização de som, movimentos mais lentos, etc)

Semana 47 e 48

2008-06-23T16:29:00.001-07:00

Durante a primeira semana infelizmente não tive muito tempo para dedicar à tese, pois tive dois exames, sendo um deles bastante trabalhoso e importante.

No segunda semana acabei então por ter mais trabalho para fazer, tendo escrito o poster/demo para enviar para a Interacção 2008.

Para além disso fui visitar o Pedro Freitas, para poder fazer uma analise de tarefas e efectuar uns testes preliminares. Confesso que não estava à espera que os movimentos dele fossem tão limitados e imprecisos, no entanto os testes que fiz utilizando a câmara como um switch correram bem.

O feedback que recebi dele foi positivo, tendo descrito como algo muito simples e fácil de usar.

Já a utilização da câmara como identificador de objectos de cor que correspondessem a determinadas acções não correu tão bem, devido ao facto de que não foi fácil para ele agarrar na câmara. O apontar para o local não demonstrou tantas dificuldades, no entanto não foi o resultado que estava à espera.

Para além disso tive a escrever um bocado do 3º capitulo que tinha que entregar na próxima reunião.

Semana 45 e 46

2008-06-11T03:55:00.000-07:00

Escrita, apresentações, projectos e exames.

Estas duas semanas acabaram por ser apertadas em termos de tempo por causa da fase final das cadeiras que estou a fazer.

No inicio ainda peguei no prototipo para melhorar os metodos de detecção mas acabei por ter que o largar por causa do ultimo projecto de PA.

Depois vieram as apresentações, e o estudo para o primeiro exame.

Durante esse tempo acabei também por escrever os dois capitulos como era suposto, apesar de ainda achar que a parte dos trabalhos relacionado com camaras podia ser abordado de outro ponto de vista.

Semana 44

2008-05-27T01:14:00.000-07:00

Esta semana acabei a parte de detectar mais que uma cor ao mesmo tempo que tinha começado. Deparei-me com algumas dificuldades quando a camera está a apontar para cima e há um candeiro de tecto, visto que a luz incide com tanta força na camara que depois ao passar o dedo com cor por cima da camara esta apenas se apercebe que aquilo é uma sombra e não uma cor.

Na outra parte da detecção do movimento, comecei a utilizar uma imagem padrão fixa como background e os resultados foram melhores. O problema está em definir quando é que essa imagem é estabelecida automaticamente, visto que o telemovel/camara pode-se mover entretanto.

Continuei ainda a escrever mais um pouco no que já tinha começado.

Depois o resto da semana tive que tratar da entrega final do projecto de Marketing para 2ª feira à tarde.

Semana 42 e 43

2008-05-19T04:36:00.000-07:00

Na semana que estive cá, continuei a tratar do prototipo de teste que deverá ser utilizado para testes com tetraplegicos, nomeadamente a nivel de utilização da camara como switch e com a utilização da identificação de cores nas mãos para interagir com o sistema também.

Melhorei a detecção de diferença de imagens através de um filtro de Morph, que tem uma performance um pouco melhor que o que estava a usar. No entanto, a velocidade de detecção da câmara continua a influenciar bastante o resultado da detecção de movimento (pois há alturas em que se o movimento é muito rápido esta nem sequer o apanha).

Depois comecei a tratar do modo de detectar mais que uma cor ao mesmo tempo (visto que cada dedo pode ter uma cor diferente por exemplo).

Para além disso, passei o que tinha escrito para LateX e comecei a escrever um pouco na parte que fala sobre a biblioteca de imagem.

Tive ainda que reformular uma parte da biblioteca de imagem a nível de código, pois estava mal estruturada e a sua utilização era algo "pouco modular".

Semana 41

2008-05-05T16:40:00.000-07:00

Esta semana tive pouco tempo para dar à tese porque estive que entregar o projecto de Programação Avançada no domingo à noite.

Mesmo assim, acabei por ler a parte da tese de mestrado do Prof. Tiago Guerreiro relativa às técnicas de varrimento para ver como podia começar a pegar nisso.

Criei depois uma aplicação (através de timer's) que simula o comportamento de varrimento num dado ecrã(form) com vários botões.

Os botões vão piscando fila a fila até que se carregue numa tecla que selecciona a fila pretendida. O mesmo acontece depois para os botões daquela fila.

Para além disso, acabei por utilizar a biblioteca para detectar a passagem de objectos por cima da câmara de modo a que identifique movimento e que consiga seleccionar a fila/botão que se quer através da passagem da mão.

Ficou a funcionar relativamente bem, apesar da definição de tempo ainda estar mais desfasada do que eu quero.

No final adicionei ainda a detecção de luz através da biblioteca, para que o utilizador possa por exemplo cancelar o processo de selecção actual apenas colocando a mão em cima da câmara.

Semana 40

2008-05-01T07:06:00.000-07:00

Esta semana tive reunião com a responsável das tecnologias assistivas na APCL. Infelizmente a coisa não avançou muito.

Ela dizia que não sabia até que ponto este tipo de ajuda podia ser útil porque as pessoas com que lidava tinham muitas dificuldades a nível motor, mas dizia também que não percebia bem como é que isto funcionava porque não era desta área, etc.

Apercebi-me depois que ela era responsável pela parte das crianças com dificuldades severas e por isso é que dizia que com as pessoas com que lidava isto poderia não funcionar.

Esteve-me a mostrar vários aparelhos que utilizavam (quase todos vindo da Anditec http://anditec.pt/produtos/), e a dizer que este tipo de tecnologia (da câmara) era boa era para pessoas com deficiências mentais (sindroma de down, etc) e para idosos (demência). Sugeriu-me ir à Crinabel, CADI, Associação de Autistas e também a ver com idosos com demência.

À medida que depois lhe fui pondo mais questões (pois havia pessoas lá que utilizavam telemovel por exemplo, e fazia-me confusão ela estar a dizer que para esses também não dava) ela começou a perceber melhor a ideia das cores, e disse que se calhar era bom também testar com as tais pessoas lá do centro que eu tinha visto na 1ª visita (na parte de adultos). As colegas delas que lá estavam achavam que isto era mais útil do que ela estava achar, e foram elas que sugeriram continuar com a ideia de testar com os adultos que eu tinha visto na 1ª visita.

Mas continuou a dizer que isto era mais útil na parte das pessoas com deficiências mentais. Sugeriu-me também (o que acho que é engraçado, mas não sei se é viável ou não) que testasse esta tecnologia com várias populações (paralisia cerebral, síndroma de down, idosos, por exemplo) e se comparasse depois os resultados. Ainda lhe falei da possibilidade de ter a câmara parada mas ela não se mostrou muito interessada nessa solução.

Em suma, fiquei com a ideia de voltar a falar com as pessoas da 1ª visita para pelo menos tentar ver se isto é viável ou não naqueles indivíduos que utilizam o telemovel. Por outro lado vi que para interacção com o computador a ideia da câmara móvel não parece ser grande ajuda (pelo menos ainda não consegui pensar num cenário em que ajudasse mais que os switchs que eles têm actualmente), isto porque para mexerem a câmara e a apontarem para as cores acaba quase por ser mais fácil usar o rato, ou uma board com 5 botões grandes.

A ideia das pessoas com deficiências mentais é algo que poderei explorar também, apesar de por agora não saber nada sobre eles e não saber até que ponto isto pode ser uma ajuda para eles ou não.

Para além disso, e depois de falar com o Prof. Tiago Guerreiro, tivemos a ver como poderiamos resolver esta questão dos prototipos e dos testes e resolvemos apontar para dois prototipos.

Um com a ideia base do grannolers (cores), para a interacção com o telemóvel, em pessoas com dificuldades motoras/cognitivas (tetraplegicos, paralisia cerebral, ..)

A outra seria interligar esta tecnologia com o trabalho do David, e utilizar a camara do telemovel para atraves de diversas interfaces (varrimento, etc), poder interagir com o controlo de uma casa "inteligente".

Assim comecei a focar agora o trabalho nestes problemas.

Semana 38 e 39

2008-05-01T06:26:00.000-07:00

Nestas duas semanas tive, e a nivel de biblioteca, estive a refazer uma parte da calibração que não estava a funcionar correctamente e a restruturar um pouco o código da mesma.

Para além disso tive uma reunião com o Sr. Antonio Barata na APCL. Apresentei o projecto e as ideias que tinha relativamente a ele.

Ao contrário do que estava à espera, para eles a ideia base é utilizar só cores. Ou seja, uma prancha com cores, e depois os "utilizadores" apontavam o telemóvel para a prancha. Isto porque grande parte deles tem muita dificuldade em agarrar e apontar com "firmeza" para um dado alvo.

Outra sugestão que deram (para esses que têm grande dificuldade em agarrar no telemovel) é a de virar o telemovel ao contrario e passar placas cores por cima da câmara (como estavamos a pensar fazer com a mão). Ficaram contente de aquilo depois se poder configurar, ou seja, dar para mudar os numeros que estão associados a cada cor/accção associada a cada cor.

Depois da reunião aproveitei e fui com eles visitar a população que lá vivia. No final apercebi-me que visitei só a parte de adultos e que aquilo tem lá uma parte de crianças também (não sei até que ponto será interessante testar neles ou não).

Do que vi fiquei impressionado. Estava à espera de um cenário pior. Quase metade deles tinha destreza suficiente para agarrar um telemóvel e aponta-lo para o colo/ou outro lugar perto deles. Alguns deles tinham mesmo um telemovel que usavam com alguma regularidade, uns com mais dificuldades que outros.

Isto porque, a maior parte vê bastante mal, e como tal tem dificuldade em conseguir ver as letras/números do teclado do telemovel.

Para todos os outros que não tinham grande capacidade motora, segundo o senhor que lá estava, só a opção de deixar o telemovel virado para cima e passar cartões de cores. Mas mesmo assim eu achei que isso ia ser complicado, pois o movimento deles era bastante descontrolado.

Além disso estive a reformular algumas coisas no guião para a analise de tarefas que irei fazer posteriormente lá.

A visita/reunião à APCL acabou por me fazer pensar melhor na tese e reestrutura-la em 2 partes. Fiz um esquema com as várias "zonas" da tese, e o que dizer em cada uma delas.

A 1ª Parte iria estar relacionada com o facto de haver a possibilidade de utilizar a camara do telemovel como metodo de interacção, levando a que tenha feito a biblioteca.

Enquanto que a 2ª Parte iria estar focada em como este tipo de tecnologia pode ajudar pessoas com dificuldades cognitivas/motoras.

Semana 36 e 37

2008-03-30T16:30:00.000-07:00

Estas 2 semanas estive fora, na viagem de finalistas, e como tal não estive a trabalhar na tese.

Semana 35

2008-03-11T17:14:00.000-07:00

Esta semana acabei por não trabalhar muito na tese.

Como tinha que deixar o projecto de Programação Avançada despachado antes de ir para a viagem de finalistas por causa da data da entrega, acabei por estar de volta dele.

No entanto, depois de procurar um bocado, acabei por encontrar um método de "correcção de luminosidade" em real-time para cada imagem.

Basicamente trata-se de um filtro que, depois de transformada a imagem para o formato HSL, e de fornecer um valor de ajuste (de 0 a 1), percorre a imagem toda, e para cada pixel, se o valor da luminosidade estiver acima do valor máximo menos o valor de ajuste, ou abaixo do valor mínimo este coloca-o como o esse valor.

Acaba por funcionar um pouco como um filtro passa-baixo / passa-alto, transformando assim os valores de luminosidade da imagem. No final, esse pixel tem de ser novamente convertido para RGB para fornecer a imagem final já corrigida.

Para além disso, estive a finalizar a parte da calibração da semana passada.

Semana 34

2008-03-11T16:48:00.000-07:00

Esta semana estive a ler um TFC sobre o Multi-Modal Painter, que usa a tecnica de marcadores florescentes para detectar os dedos na mão através de uma camara.

Andei depois a fazer 2 coisas que li no TFC que achei interessantes e que não tinha ainda feito no meu.

A primeira era a utilização de, no espaço de cor HSL, o Hue e a Saturation. Isso pode aumentar a capacidade de detecção de uma cor especifica o que em principio é bom. Há sempre o medo da cor se tornar tão especifica que uma pequena mudança de luz/sombras/etc possa fazer com que a mesma não seja detectada. Mas com uma margem razoavel tal não deve acontecer.

A outra coisa era a calibração. Que eu não tinha na minha biblioteca. Achei interessante o facto deles no TFC meterem 4 pontos em diferentes zonas do ecrã e calibrarem a cor em função desses pontos. Isto tem como objectivo ver se pode melhorar a detecção da Cor que se pretende e da margem a fornecer, para assim detectar melhor os objectos dessa cor.

Andei também a ver um bocado a parte de movimentos sem movimento da câmara (para as tais interacções para pessoas com maiores dificuldades motoras que cognitivas), porque segundo li o filtro de diferença de imagens nem sempre é o mais adequado, sendo também interessante tentar calibrar a câmara para uma determinada imagem de fundo.

Penso que juntar o filtro de diferença de imagens mas tendo como imagem base uma imagem de alguns bons segundo atrás, ou mesmo uma imagem que seja tirada no inicio, quando o programa é iniciado, pode ser uma boa hipótese.

Depois quero ir ver se encontro alguma coisa que consiga fazer mais ou menos o ajuste da luminosidade em "real-time", para que os movimentos com a câmara não afectem tanto o resultado.

Acabei por não procurar por mais papers de sistemas parecidos por este para pessoas com paralisia cerebral, mas queria ver isso nas próximas semanas também.

Semana 33

2008-02-19T17:39:00.001-08:00

Esta semana, e depois de ter posto o filtro HSL a funcionar correctamente, tive a testa-lo. A utilização de cores forte (azul florescente, rosa choque, etc) funciona bastante bem.

Assim passei para a detecção de objectos mas agora com o filtro HSL. Depois de definida a cor do objecto a detectar, a performance é bastante melhor que a anterior detecção de objectos, notando-se que acaba por detectar apenas os objectos daquela cor e não objectos de cores pouco semelhantes como acontecia com a outra solução.

No entanto há sempre o factor iluminação, visto que se a luz bate de maneira diferente no objecto este por vezes deixa de ser reconhecido. A webcam em questão também é bastante antiga, e com uma qualidade relativamente má, no entanto as cameras dos telemóveis não são comparáveis a máquinas fotográficas também.

Apesar disso fiquei relativamente contente com o que este filtro acabou por fazer, sendo que o mesmo está por enquanto apenas a utilizar o Hue para filtragem, não utilizando por enquanto ainda a Saturation nem a Luminance.

Estive a limpar algumas funções e com base no HSL criei um filtro para HSV também, que irá variar no seu comportamente relativamente ao primeiro, apenas quando se utilizar também como parametros a Saturation e o Value.

Depois de ler alguma informação decidi ir investigar acerca do reconhecimento da cor da pele, para possiveis movimentos com as maos ou cabeça à frente da camara do telemovel.

Descobri o paper do Peer (Human skin colour clustering for face detection), tendo criado um filtro com o algoritmo que ele apresentou. Os resultados em fotos foram bastante melhores do que estava à espera, tendo uma performance bastante boa.

Na utilização com webcam acabei por não ter tão bons resultados, mas também apenas testei num quarto à noite, com pouca luz, e tendo em conta que o algoritmo foi feito para imagens na rua estava à espera que tal acontecesse.

Isso fez-me pensar que talvez hajam soluções de uniformização de imagem/luminosidade, para que os filtros não sejam tão afectados pelas diferenças de luz. Também que talvez a utilização de outros tipos de espaços de cor possam facilitar na detecção de objectos por exemplo.

Tenho ainda esta semana que fazer a apresentação e preparar a demo para a reunião na próxima semana, e de fazer uma página para o projecto.

Semana 32

2008-02-19T17:26:00.000-08:00

Ainda relativamente ao QRCode, percebi que o facto das cameras não terem autofocus diminui muito a performance de reconhecimento.

Outra questão é o facto de que este tipo de tecnologia não me pareceu (ao contrario do que estava à espera) capaz de funcionar em tempo real.

Depois de falar com uma pessoa relativamente a isso decidi experimentar a utilização de codigos de barras "normais" (code39), tendo conseguido arranjar uma biblioteca para tal através dessa mesma pessoa.

No entanto também aqui os resultados não foram grande coisa, porque era necessário ou a imagem ser muito grande, ou a camera focar. Porque para os ditos codigos de barras normais que vêm nas embalagens não era possivel a deteccao de qualquer um deles, visto que ficavam muito pequenos e desfocados.

Entretanto tive a reunião quinzenal com o Prof. Tiago Guerreiro e com o Hugo e o David, onde se decidiu que tinhamos agora que nos focar mais no que o projecto realmente ia ser, e que na proxima reunião iriamos apresentar uma demo e uma apresentacao do projecto em si.

Ficou também decidido que se ia tentar marcar uma analise de tarefas para eu poder perceber melhor o ambiente em que este tipo de solução poderia ser utilizado.

Após isto virei-me de novo para a biblioteca de imagem, nomeadamente o filtro HSL que não estava ainda a funcionar correctamente.

No final da semana acabei por deixar o HSL e experimentar com HSV, visto que tinha mais ferramentas de comparação para este espaço de cor, tendo conseguido arranjar uma solução (que acabava por ser também a solução para o problema do filtro HSL).

Entretanto chegou finalmente o portatil! :D

Já posso aumentar o ritmo outra vez.

Semana 31

2008-02-19T17:19:00.001-08:00

Esta semana acabei por desistir da OpenCV, visto que não a estava a conseguir por a funcionar com o telemovel. Depois de muito pesquisar, penso que uma das razoes possa ser o facto da mesma estar desenhada para uma arquitectura x86 e os telemóvel em questão ter uma arquitectura ARM.

Depois de ler um paper enviado pelo Prof. Tiago Guerreiro, acabei por comecar à procura de uma solução para utilização de códigos visuais.

Estes códigos seriam uteis para substituir por exemplo as pranchas utilizadas por alguns individuos com dificuldades cognitivas, podendo assim estar presentes nas mesmas ou mesmo estarem ao lado de uma fotografia com uma dada acção, bastando para tal que a pessoa em questão apontasse o telemovel para esse código na foto.

Após não ter tido resposta ao mail que tinha enviado à kaywa, e de ter descoberto que a OpenNETCF tinha retirado há umas semanas a solução que disponibilizavam de uma biblioteca QRCode para Windows Mobile, comecei à procura de outras soluções.

Acabei por descobrir a source na qual a OpenNETCF se baseou, uma biblioteca em java feita por uns japoneses, e que me permitiu chegar à ThoughWorks. A ThoughtWorks, tinha portado grande parte do código para C#.

Assim consegui inclui-la no meu projecto, e testar mesmo com o telemovel através da tiragem de fotografias. Os resultados dependiam um pouco do tamanho do texto que o QRCode continha e da luz existente.

Terminei em grande parte o QRCode, que me pareceu funcionar relativamente bem para ambientes em que se pudesse estar parado e apontar a camera do telemovel ao código.

Semana 30

2008-02-19T17:14:00.000-08:00

Esta semana houve a reunião magna do IMMI, onde apresentámos todos os nossos projectos. Foi interessante ver os diferentes estilos de projectos e as oportunidades que cada um deles tinha para evoluir.

Acabei por falar com a Sara que me aconselhou uns links para o uso da biblioteca da Intel OpenCV no reconhecimento de objectos e imagens.

Estive a fazer a refazer uma parte do Relatório Intercalar, e tambem a meter já as referências bibliográficas e formatando-o de acordo com o que irá ser pedido na entrega da Tese.

Depois de entregue o relatório, estive durante o resto da semana a tentar explorar a OpenCV para tentar perceber se conseguia utilizar alguma função que me pudesse ajudar no reconhecimento de objectos, mas não tive muito sucesso.

Semana 29

2008-02-19T16:58:00.000-08:00

Esta semana estive a alterar a apresentação para o IMMI e a tentar pensar um pouco em que é que a tese se deveria focar mesmo.

Estive o resto da semana quase sempre de volta do estudo para exames das cadeiras do IST e acabei por não pegar muito na tese.

Semana 28

2008-01-21T13:43:00.000-08:00

Ainda sem portatil, a produtividade foi menor, mas esta semana fiz a apresentação para a reunião do IMMI, para ver com o Prof. Tiago Guerreiro na reunião de 3ª feira.

Para além disso tive que refazer os filtros de cor, tanto ao nivel RGB como a HSV, porque no computador onde trabalhei comecei a obter resultados diferentes do que estava a espera. Cada pixel RGB, comecou a aparecer como BGR. Não sei se será do Visual Studio 2008 ou mesmo da API, mas depois vou confirmar quando tiver o portatil.

No entanto isto levou-me a refazer e optimizar tanto o filtro de cor RGB como também o modo como era detectada a cor RGB que servia de base a esse filtro de cor. E apesar de não estar à espera, obtive um resultado bastante melhor no desempenho do filtro de cor, e como tal na detecção de objectos, mesmo via GS.

Acabei por refazer toda a função que fazia a conversão RGB->HSL, porque estava a obter resultados de Saturation diferentes daqueles que o Photoshop me estava a dar. E também refiz a função que detectava a cor que servia de base ao filtro HSL puro (e não via RGB->HSL). Tinha esperança que isso melhorasse o filtro HSL que tinha feito, mas o comportamento deste continua ainda bastante inconstante. Os resultados deste filtro ao nivel puro HSL (e não via RGB->HSL) ainda não estão estáveis e continuam piores do que o novo filtro de cor RGB que fiz esta semana.

Tive a ver também o que havia a nivel se software de QR-Code, para a tal ideia de utilização em pictogramas/pranchas, e acabei até por falar com http://qrcode.kaywa.com/ a ver se é possivel arranjarem uma API ou um dll que possa servir de base, para este tipo de interacção.

Uma das ideias que me apareceu foi a de por exemplo ler um livro num ecra por exemplo, através deste tipo de etiquetas visuais, onde uma dada etiqueta faz virar a pagina, ou fecha o livro. Isto também funcionaria com etiquetas de cores simples.

Para além disso fiz uma primeira versão do relatorio que é para entregar no fenix no final do mes, agarrando na versão do survey que tinha feito no final do verão. Acrescentei depois o planeamento e a abordagem, para depois discutir com o Prof. Tiago Guerreiro.

Semana 27

2008-01-21T13:33:00.000-08:00

Esta semana tive reunião com o Prof. Tiago Guerreiro, onde discutimos qual o caminho que queria seguir no meu trabalho.

Identificamos dois grupos de individuos nos quais nos este projecto poderá ter maior impacto, individuos com paralesia cerebral e com dificuldades motoras, sendo portanto um dos grupos nos quais se poderá efectuar testes com utilizadores.

Para além disso falamos outra vez da possibilidade de, através da biblioteca do CALI, tentar a detecção de formas via telemovel.

Falamos também da possibilidade da utilização de etiquetas visuais (QR-Code por exemplo) para substituir pictogramas ou pranchas em sujeitos com dificuldades a nivel motor/cerebral.

Fiquei de fazer a apresentação para a reunião magna do IMMI e de começar a fazer o relatório que se tem que entregar no fenix no final do mes de Janeiro.

O resto da semana estive a estudar para os exames que tive na 3ª e no sabado.

Semana 26

2008-01-06T06:38:00.000-08:00

O portatil já foi para a assistencia e estou à espera de resposta, para saber quando o têm pronto.

Acabei por estar a tratar da entrega da apresentacao de AOSI e comecar a estudar para os dois exames que tenho para a semana.

Semana 25

2008-01-06T06:33:00.000-08:00

Apesar de estar em ferias de Natal, no final da semana, voltei a pegar na parte do filtro de cor para HSV.

Não durou muito porque no fim de semana tive um verdadeiro azar. O parte electrica do portatil deixou de funcionar bem, derretendo o carregador que tinha e outro que acabei por comprar para remediar a situação.

Para a semana quando voltar para Lisboa vai para a assistencia tecnica da LG para ver qual é o problema e qual o orçamento.

Semana 24

2008-01-06T06:32:00.000-08:00

Esta semana acabei por não ter tempo para pegar na tese.

Tive o caso final de AOSI na 2ª feira e depois que fazer o projecto de AS para entregar na 6ª.

Semana 23

2008-01-06T06:21:00.000-08:00

No inicio desta semana comecei a tratar do filtro de cor utilizando o novo metodo de RBG para HSV.

No entanto, depois de efectuar uns quantos testes a meio da semana, o resultado não foi o esperado.

Ainda não percebi bem o que não está a fazer funcionar correctamente este filtro, mas irei em prinicpio para a semana tentar experimentar outra abordagem.

Comecei também a investigar um pouco o OpenCV e acabei mesmo por instala-lo no pc para o começar a testar. Parece-me que pode dar uma ajuda relativamente interessante em alguns aspectos se o conseguir utilizar.

Semana 22

2007-12-10T16:34:00.000-08:00

Esta semana apesar de ter decidido que não ia pegar na tese porque tinha 1 exame e 2 entregas de projectos, acabei por ainda dar uma olhada.

Acabei por organizar todo o projecto e junta-lo num programa com o modulo de webcam.

Tive reunião com o Prof. Tiago Guerreiro, que acabou por ser bastante produtiva. Testamos o prototipo que tinha feito e discutimos algumas ideias. Acabei por vir com boas sugestões, nomeadamente ao nivel do filtro de cor em que deveria passar a imagem de RGB para o espaco de cor HSV de modo a ter um desempenho melhor e também ver o projecto de OpenCV - Open Computer Vision Library, uma biblioteca de processamento de imagem que me poderá dar bastante jeito.

Para além disso fui assistir à apresentação do Prof. Tiago Guerreiro sobre Assistive Technologies for Spinal Cord Injured Individuals que me deu uma noção diferente do que existe sobre a area e do que se poderá fazer na mesma.

Li também o paper sobre Computer Vision Interaction for People with Disabilities, o qual vou seguir até ao final do ano.

No final da semana acabei por criar o tal metodo de converter imagens RGB em HSV, que vou utilizar para o filtro de cores de modo a tentar melhora-lo.

Espero ter até ao Natal ter um prototipo que satisfaça as condições descritas no paper.

Semana 21

2007-12-10T15:42:00.000-08:00

Esta semana consegui voltar à carga.

Tal como já tinha ficado combinado, comecei a trabalhar com a webcam ligada ao computador.

Depois de alguma procura, consegui arranjar uma biblioteca que funcionasse com a maior parte das webcam's e comecei a fazer os primeiros testes.

Apliquei a biblioteca de processamento que já tinha vindo a contruir (ImageProcessorMobile) para o HTC, e esta funcionou bem. Tem como base a Compact Framework e por isso limita um pouco os calculos por não ter grande parte das funções.

Perdi mais de metade da semana de volta da detecção de objectos. Depois de procurar e ler alguns foruns da especialidade, a melhor opção pareceu-me seguir o que o Andrew tinha feito na biblioteca dele (aforge). O grande problema foi que eu tinha que por aquela funcao a funcionar, mas com a compact framework, o que implicava não usar alguns tipos de dados importantes.

Depois de falar com ele e tirar algumas duvidas e ao fim de bastantes tentativas consegui no final implementar um detector de objectos (blobcounter), que baseado numa imagem binarizada, identifica objectos de um dado tamanho (que podemos definir).

O algoritmo funciona bastante bem caso a imagem binariazada que lhe é passada tenha bem definidas as áreas a preto e branco. Quando a imagem não tem uma fronteira bem definida entre objectos é complicado para essa função detecta-los.

Ao detectar os objectos, estes são catalogados como rectângulos, que permite assim analisa-los relativamente à sua posição, extremos e tamanho.

Depois disto passei para o filtros de (uma determinada) cor. Este filtro funciona basicamente como um filtro de threshold, em que o que fica a branco é o que está dentro do valor de cor e a preto o que está fora desse valor.

Implementei uma função que permitia receber um valor de margem e que analisava um conjunto de 20 pixeis no centro da imagem, detectava a sua cor média e aplicava o dado filtro com base nessa cor. Para facilitar o processo, a imagem era convertida para preto e branco, donde apenas se extraia o valor do pixel da mesma (visto que os 3 pixeis têm o mesmo valor).

Comecei por aplicar um filtro de preto e branco básico, no qual o valor de um pixel cinzento = (r + g + b)/3. Isto trouxe bastantes problemas, pois o filtro detectava até 3 vezes na imagem uma cor diferente para cada valor. (por exemplo, tudo vermelho, ou tudo verde, ou tudo azul, ambos davam 255/3).

Para resolver isto apliquei um filtro de preto e branco RMY, em que cinzento = (r * 0.3 + g * 0.59 + b * 0.11). Isto melhorou o desempenho, no entanto o mesmo ainda só funciona bem em locais em que a iluminação não é muito intensa e em que haja uma grande diferença entre a cor do objecto a que queremos aplicar e a cor do fundo.

De seguida passei para a detecção de movimento. Comecei tal como sugerido por dividir a imagem em 4 partes e analisar a intensidade de luz em cada uma delas. Através da analise da movimentação dos histogramas tentava detectar para onde é que a imagem se tinha mexido.

Mesmo depois de ter criado vários filtros para limpar a imagem, como o filtro de erosão e o de pixelate, o resultado não foi o que esperava. A taxa de sucesso era baixa, e so funcionava em fundos escuros e com luz bastante controlada.

Passei para outra aproximação, que foi utilizar a detecção de objectos que já tinha feito e ver para onde o objecto se mexia. O algoritmo apesar de bastante simples, apenas analisa o objecto de maior tamanho, teve resultados muito satisfatórios.

Depois de ver isso resolvi então juntar ainda o filtro de cor a esse algoritmo e o resultado foi bastante bom. Nota-se que quando o filtro de cor é bem aplicado a detecção da movimentação do objecto é bastante mais precisa.

Consegui então chegar ao pretendido e ter um sistema que tem a funcionar, de um modo ainda simples, a detecção de objectos, como a detecção de movimentos, como a detecção de cores.

Para as proximas semanas tenho que juntar tudo isto num programa e tentar começar a melhora-lo.

Semana 20

2007-11-25T12:04:00.001-08:00

Esta semana tive muito pouco tempo para pegar na tese, devido às entregas de dois projectos das 4 cadeiras que estou a fazer.

Depois da reunião da semana com o Prof. Tiago Guerreiro, vimos que como ainda não havia novidades por parte da disponibilização da API via Novabase, e tendo em conta a qualidade e o tempo de espera entre imagens que eram possíveis obter através do directshow o melhor seria comecar a criar uma aplicação no PC, utilizando uma webcam e depois "porta-la" para o PDA. Isto tempo em conta todos os problemas que possam advir, nomeadamente as incompatibilidades entre algumas das bibliotecas da .NET Compact Framework e da .NET Framework normal. Começar também a ver a algoritmos que possibilitem a detecção de gamas de cor, detecção de objectos e de objectos com uma determinada cor e no final detecção de movimento (nomeadamente as 4 direcções).

Fui também ver a discussão da tese de mestrado do Ricardo Gamboa, que gostei bastante e que se assemelhava um pouco à minha. Permitiu-me ter uma noção mais real do que me espera daqui a uns meses, tendo tirado algumas notas com algumas coisas que achei importantes.

Semana 19

2007-11-25T11:46:00.000-08:00

Consegui finalmente utilizar a câmara do telefone directamente! Depois de mais pesquisa e mais troca de mensagens em foruns descobri uma aplicação feita pelo Marcus Perryman (http://blogs.msdn.com/marcpe/archive/2006/03/03/542941.aspx) que serviu de base para conseguir arranjar uma forma de ir buscar as imagens directamente à camera de forma mais "crua".

Depois de tanto entusiasmo veio de novo a desilusão, já esperada, de que as fotos acabam por ser tiradas apenas de 4 em 4 segundos (3 e pouco, mas algumas ficam a meio se escolher os tais 3 segundos) e a sua qualidade é bastante má.

No entanto isto permitiu-me avançar bastante no que queria, e que já tinha começado a fazer para o próprio PDA. Assim, com isto a funcionar consegui por a funcionar as seguintes funções no PDA automaticamente:

- Detectar se fica escuro de repente e desligar o ecrã se tal acontecer (como se alguém pusesse o telefone no bolso/mala/etc)

- Detectar uma determinada cor predominante na imagem, por exemplo quando alguém associa a cor verde a um amigo e aponta para um papel verde, o telemovel liga automaticamente para esse amigo.

- Detectar que houve movimento acima de um determinado valor.

Isto tudo recorrendo a funções que fiz, tendo como base a AForge.net, através de processamento de imagem nomeadamente, transformações para preto & branco, threshold, diferenca de imagens, estatísticas de cor, conversores de RGB para Luminância.

Foi um bom avanço, permitindo-me explorar directamente outra ferramentas, visto que comecei a fazer processamento de imagem em tempo real e também comecei a mexer com bibliotecas que lidam directamente com o telefone.

Semana 18

2007-11-12T12:59:00.000-08:00

Depois de já ter algumas das funçoes feitas, para o processamento de imagem, descobri o AForge.net.

Esta biblioteca tem uma quantidade enorme de filtros e funções de processamento de imagem. Depois de a testar vi que a velocidade de processamento era muito mais rapida que a das funçoes que tinha feito.

Como tal, comecei a utiliza-la e fiz uma aplicação em windows que recebia um video e ia analisando as frames, através desses filtros, fornecendo informações relativas às caracteristicas da frame actual, nomeadamente luminancia, cor dominante, media de cinzentos, etc.

Depois de alguns melhoramentos no programa, e de melhor perceber a plataforma AForge.net resolvi então passar essa aplicação que tinha feito para o Pocket PC.

No entanto, e devido ao facto da .NET Compact Framework ter algumas funções bastante limitadas relativamente à .NET Framework normal, o programa não funcionou.

Como tal, tive que abandonar a biblioteca AForge.net, e criar manualmente as funções de processamento de imagem. Depois de encontrar o código fonte da mesma, tive a tentar percebe-lo para poder utilizar algum do conhecimento no programa para PocketPC.

Um dos principais problemas foi o facto da .NET Compact Framework nao ter o modo de 8bits na classe Bitmap, isto faz com que grande parte das funções de tratamento de imagem a preto e branco tenha deixado de funcionar.

Tive que arranjar uma soluçao para esse problema, e consegui implementar algumas das funções que utilizava no programa inicial.

No entanto, algumas funçoes, nomeadamente a Luminancia, não mostraram grande performance no telefone, e penso que não poderão ser utilizadas, numa altura em que se analise várias imagens por segundo, quando a interface com a camera seja fornecida pela HTC.

Semana 17

2007-11-12T12:22:00.000-08:00

Esta semana andei de volta da ligação entre a camera e o futuro programa em C# de tratamento da imagens obtidas por ela.

Visto que não ha nenhuma API fornecida pela HTC, andei a tentar encontrar em vários foruns da especialidade ser havia alguma alternativa.

Passados dois dias, as respostas eram sempre as mesmas, que a unica hipotese era criar uma API para em C++, utilizando o directshow.

Como tal, decidi esperar pela resposta da HTC, apesar de ter arranjado alguns exemplos que me podem ajudar.

Decidi comecar a investigar algoritmos de processamento de imagem para utilizar no processamento das imagens vindas da camera mais tarde.

Comecei então a fazer uma classe com algumas funções para esse propósito.

Semana 16

2007-11-12T12:02:00.000-08:00

Esta semana tivemos o Workshop Móvel no Tagus Park.

Tivemos a rever as plataformas e a testar alguns programas, nomeadamente o LorretoTTS.

Discuti com o Prof. Tiago Guerreiro algumas ideias interessantes, como a utilização da camera para interacção no carro, ou noutros cenários em que estejamos mais ocupados.

Falamos também do facto deste trabalho ter que ter um objectivo concreto e uma linha condutora ao longo da evolução do trabalho. No entanto, e dado o facto do trabalho ainda não estar num estado muito evoluido, não ficou decidido nada de concreto relativamente a qual o caminho a seguir concretamente.

A hipotese de utilizar este tipo de interacção com pessoas com algumas dificuldades motoras pareceu-me bastante interessante, mas estas opções irão ser aprofundadas ao longo do tempo.

Durante o resto da semana não pude trabalhar mais na Dissertação, porque tive a 1ª entrega do projecto de GPI e a entrega da pesquisa temática de AOSI.

Semana 15

2007-10-19T07:58:00.000-07:00

Esta semana explorei melhor a plataforma a utilizar, nomeadamente o Visual Studio + Windows Mobile 6 Professional SDK + Compact Framework 2.0

Comecei a ver as possibilidades de utilização da camara dos telemoveis através desta plataforma. Descobri então que a Microsoft criou aparir do Windows Mobile 5 uma framework para esse tipo de acessos.

Relativamente às cameras a utilização do directshow é a mais utilizada/recomendada, apesar de ser em c++.

No entanto, e depois de vários testes, os resultados obtidos não foram satisfatorios, tendo conseguido obter uma imagem com qualidade muito pequena e videos muito lentos e espaçados.

Descobri no final que o problema estava relacionado com o facto da HTC ter limitado na API que forneceu à Microsoft do HTC P3600 (dispositivo no qual estava a testar) e na maior parte dos seus dispositivos apenas a utilização de video/imagens a 160x120 pixeis (7.5 Hz).

Como tal torna-se assim complicado muito utilizar este tipo de acesso à camera para produzir alguns resultados positivos.

Na próxima semana irei reunir-me com o Prof. Tiago Guerreiro para tentarmos arranjar uma solução para o problema, ou arranjar um telemovel em que não haja essa limitação ou contactar a HTC na tentativa de nos ser fornecida outra API com menos "limitações"

Semana 14

2007-10-19T07:55:00.000-07:00

Esta semana tive a reuniao com o Prof. Tiago Guerreiro onde foram decididas algumas alterações/adições ao survey, nomeadamente a inclusão de referências a outros trabalhos feitas na area na zona de comparação de tecnologias e na elaboração de algumas caracteristicas comuns que permitissem comparar depois tecnologias e algoritmos ao nivel da interacção por telefone.

Foram também discutidas as ideias que tinha vindo a escrever sobre as possiveis metaforas de utilização do telefone através da sua camara no dia a dia.

Para além disso comecei a ver um pouco a plataforma que irei usar no desenvolvimento deste projecto.

Semana 13

2007-10-03T16:57:00.000-07:00

Esta semana acabei por ler mais uns papers, nomeadamente sobre interacção.

Achei o paper do Ken Hinckley bastante interessante, tendo focado aspectos relativos ao poder de interacção com aparelhos com vários sensores muito interessantes.

A possibilidade de saber a proximidade do utilizador do telefone, se o mesmo está a andar ou a agarrar no aparelho ou mesmo a detecção do som permitem que a quantidade de informação disponivel para "trabalhar" seja enorme. Isto propencia o aparecimento de aplicações com um enorme poder de adaptação ao dia-a-dia do utilizador.

Fiz algum "brain storming" relativamente a possiveis casos de uso para o Camera-Phone, tendo chegado a algumas ideias, que irei discutir mais tarde com o Prof. Tiago Guerreiro para ver a sua viabilidade.

Semana 12

2007-09-28T02:25:00.000-07:00

Acabei de escrever a primeira versão do survey.

1ª Reunião com o Prof. Tiago Guerreiro:

- Melhor noção do que era suposto fazer durante as próximas semanas
- Alguns conselhos interessantes no que toca à area a investigar
- Bastante ideias engraçadas que poderão ser utilizadas no futuro caso se opte por um trabalho mais focado nas interfaces.
- Possibilidade de ajudar o dia a dia de pessoas com deficiencias por exemplo através de simples mecanismos de detecção de movimentos.
- Fiquei de melhorar o survey e pensar em casos de utilização

Semana 11

2007-09-28T02:24:00.001-07:00

Acabei por não ter tempo muito tempo para pegar no survey, por causa dos trabalhos que tive que entregar no IST e das confusões das inscrições na secretaria por causa de Bolonha e dos alunos com epoca especial.

Acabei por apenas voltar à escrita no final da semana.

Semana 10

2007-09-28T02:22:00.000-07:00

Comecei a escrever a primeira parte do survey.

Semana 8 e 9

2007-09-28T02:21:00.000-07:00

Estive a estudar para os exames de Época Especial em Setembro, e acabei por não pegar na dissertação.

Semana 7

2007-09-28T02:12:00.001-07:00

Mais uns artigos interessantes sobre jogos utilizando a camera.

Alguns pormenores que poderão ser úteis como por exemplo ter um botão de reset ao nível do movimento (em que ao se carregar nele o documento volta ao inicio, não precisando de andar a mover a camera para a esquerda várias vezes).

Alguns estudos mostraram que a técnica de varrimento era mais imprecisa que a de point & shoot.

Paper interessante por parte de Hansen e Eriksoon no que toca ao "mundo envolvente" da movimentação da camera. Referiram a criação de uma esfera com centro na camera, dividida em 3 camadas, correspondentes a 3 zonas. A primeira zona, era a zona estável, a segunda, a zona de movimento lento e a ultima a zona de movimento rápido.

Semana 6

2007-09-28T02:03:00.000-07:00

Comecei a fazer um rascunho por alto do esquema que devia ter o meu survey.

De focar no facto de todos os telemoveis terem camera hoje em dia. Do tipo de complexidade ao nivel do processamento da informação ser menor que os acelerometros. De haver já soluções a nivel academico a funcionar a este nivel. Temos também o exemplo do iPhone, que utiliza apenas um acelerometro e um touch-screen, acelerometro esse que poderá ser substituido pela camera.

Li mais um papers, nomeadamente um da Nokia, com uma investigação bastante aprofundada. Alguns detalhes engraçados como o facto de se estar limitado fisicamente quando se quer andar para o lado num documento através da camera.

Semana 5

2007-09-28T01:56:00.000-07:00

Depois de ler o email do Tiago Guerreiro sobre o tipo de documento que é suposto o survey ser, acabei por ver um pouco o estilo da tese do Prof. Manuel da Fonseca.

Vi com especial atenção o survey do Ricardo Gamboa, que me irá ajudar bastante na primeira parte do esquema do meu survey.

Li mais alguns papers, como por exemplo o do Thomas Hansen, com a ideia do Mixed Interaction Space que acabaram por contruibuir um pouco para o aprofundamento das possiveis técnicas a utilizar no futuro ao nivel da implementação para o tratamento das imagens).

Semana 4

2007-09-28T01:52:00.001-07:00

Li os papers que tinha impresso.

Acabei por imprimir mais referencias desses mesmos papers.

Especial atenção para as etiquetas visuais estudadas pelo Rohs e o modo de interacção que ele falou.

Deu-me algumas ideias como por exemplo a utilização de etiquetas visuais (através da ligação a um servidor) para por exemplo pessoas estrangeiras utilizarem no pais que estão a visitar e não conseguem perceber a lingua local.

Semana 3

2007-09-28T01:49:00.000-07:00

Li o paper do Wang, sobre o TinyMotion. Acabei por ir visitar a página desse projecto e ver por alto o código deles e o outro artigo que tinham feito. Imprimi também os papers que ele tinha utilizado como referencias para ler posteriormente

Semana 2

2007-07-21T14:27:00.000-07:00

Ainda com exames de 2º semestre acabei por imprimir alguns papers mas o tempo que tive foi dedicado a estudar para os exames.

Agora, já de férias e com motivação para avançar!

Semana 1

2007-07-21T14:25:00.000-07:00

Na semana passada:

- Comecei a investigar e a ler alguns papers sobre "camera phone interaction"

- Reunião com o Prof. Tiago Guerreiro para tirar algumas duvidas com que fiquei durante a leitura dos papers, relacionadas com a direcção a tomar sobre o tema.

Início

2007-07-09T15:50:00.000-07:00

Neste blog irá estar presente toda a evolução do projecto "Camera Phone", nomeadamente os vários processos efectuados na realização do mesmo.