reacTIVision software livre de marcadores para o desenvolvimento rápido de mesa à base de TUI (tangible user interfaces)
|
|
Para baixar o reacTIVision clique aqui
Veja o video da aplicação funcioando:
Veja mais videos clicando aqui
NOTA IMPORTANTE: reacTIVision é o sensor de visão computacional que é um componente do projeto reacTable . O reacTable sintetizador e o componente de feedback visual não estão disponíveis para uso público, e não há planos para publicar este software no momento!
reacTIVision é uma standalone application, que envia mensagens OpenSound Control via porta UDP 3333 conectado a qualquer aplicação cliente. Implementa o TUIO protocol, que foi especialmente concebido para a transmissão do estado de objetos materiais e eventos multi-toque sobre uma superfície. O framework inclui um conjunto de exemplo livre em diversas linguagens de programação, que servirá de base para o desenvolvimento de aplicativos interface tangíveis. Alternativamente reacTIVision também é capaz de enviar mensagens MIDI.
A ReacTIVision aplicação está disponível para os seguintes sistemas operacionais: Windows, MacOS X e Linux. No Windows ele suporta qualquer câmera com uma boa WDM driver, como USB, USB2, FireWire e câmeras DV. Igualmente no âmbito MacOS X FireWire todas as câmeras e qualquer câmera suportado pelo QuickTime irá trabalhar em reacTIVision. No Linux, FireWire câmaras são melhores apoiados, bem como alguns Video4Linux e Video4Linux2 câmeras USB.
reacTIVision screenshot fiducial marker example
TUIO simulator
Como funciona?
Vários documentos foram publicados que descrevem a estrutura interna do reacTIVision e libfidtrack em grande detalhe. Em poucas palavras o sistema funciona como este: reacTIVision trilha (specially designed fiducial markers) marcadores em um vídeo em tempo real. O frame fonte de imagem é primeiro convertido para uma imagem em preto e branco em um algoritmo adaptativo “thresholding”. Então, essa imagem é segmentado em uma árvore de preto e branco, alternando regiões (região adjacência gráfico). Este gráfico é, então, pesquisados por sequências únicas left heavy depth sequences, que foram codificados em fiducial símbolo. Por último, a seqüências de árvore encontrada são associados a um dicionário para recuperar um número exclusivo de identificação. O design permite que seja feito um eficiente cálculo do ponto central do marcador, bem como a sua orientação. OSC mensagens é uma implementação do TUIO protocol que codificar a fiducials’ presença, localização, orientação e identidade e transmitir esses dados para as aplicações clientes.
Construção da Superficie
mesa & superfície
Uma câmera e um projetor com lentes de grande ângulo precisa ser colocado debaixo da mesa, para que ambos possam cobrir a totalidade da superfície. Alternativamente um espelho pode ser usado a fim de alcançar uma maior distância de projeção. Uma “perspex board” pode ser usada em conjunto com alguns papéis traçado no canto superior lateral para a projeção. Este material é totalmente transparente para os objetos e as mãos em contato direto com a superfície.
Iluminação
Para o monitoramento, os objetos devem estar devidamente iluminados, de modo que a câmara e, aplicação visual possa vê-los corretamente. Para a projeção para uma mesa, a superfície deve ser escura, assim o usuário poderá ver a imagem projetada bem o suficiente. A projeção tem de ser visível para o usuário, o componente visão computacional necessita de uma forma diferente para funcionar , de um invisível espectro infravermelho. A maioria das câmeras CCD são perfeitamente sensíveis dentro do próximo IR spectrum, portanto LED de lâmpadas infravermelhas pode ser utilizado para iluminar a mesa. Toda luz a partir do espectro visível precisa ser filtrada na câmara, de forma a que algoritmo de visão computacional não é perturbado pela projeção. Eventualmente um bloqueador infravermelho existente precisa ser removido do sensor da câmera.
Câmera
Em geral, câmeras com sensores CCD deverá executar melhor do que aqueles com um chip CMOS. Além disso, você deve se certificar de que a câmera tenha uma lente aceitável. Estes dois critérios basicamente excluir câmeras US $ 50 abaixo. DV câmeras apoiando modo full-frame são adequados, enquanto que aquelas com modo entrelaçado, não irá funcionar em todas. Para mais baixa latência e melhor desempenho, é recomendado firewire cameras a partir do top range, tais como câmeras industriais com um elevado framerate, resolução e tamanho do sensor . Estas câmaras também costumam vir com lentes de alta qualidade. firewire câmeras mais baratas, como o incêndio unibrain fire-i também permitir muitas opções de angulo .
Utilizando reacTIVision
Fiducial Símbolos
Esta aplicação trabalha com fiducial marcadores. Você vai encontrar o padrão “amoeba” conjunto de 180 fiducials dentro do documento “default.pdf” dentro da pasta símbolos. Imprima este documento e anexe os rótulos de qualquer objeto que você deseja acompanhar. O padrão de monitoramento fiducial motor está usando Ross Bencina’s fidtrack library que é basicamente uma nova alta performance de implementação de Enrico Costanza d-toque do conceito. Alternativamente, você pode usar o “clássico” ou o original “dtouch” conjuntos. Veja abaixo como configurar a aplicação usando estes símbolos mais antigos conjuntos.
O amoeba desde fiducials são livres para ser usada em conjunto com o software reacTIVision apenas. Qualquer outra utilização destes símbolos não é permitida sem o prévio consentimento por escrito pelos autores.
Aplicação Manuseio
configurações Comuns podem ser editados dentro do arquivo “reacTIVision.xml” onde todas as mudanças são armazenados automaticamente quando encerrar a aplicação. Sobre Mac OS X o aquivo de configuração XML pode ser encontrada dentro da aplicação na pasta de recursos. Selecione “Mostrar Conteúdo do pacote” a partir da aplicação do menu contexto, a fim de acessar e editar o arquivo.
O pedido reacTIVision usualmente envia mensagens para o TUIO porta 3333 em locahost (127.0.0.1) Você pode alterar esta definição, acrescentando ou editando a tag XML para a configuração.
A tag XML permite que você selecione a fiducial motor ou uma alternativa amoeba ordem(arvore). O padrão é usar o motor mais rápidos e eficazes “amoeba” fiducial conjunto. Acrescentar o “clássico” opção para usar Ross’ inicial d-toque reimplementação. Você pode selecionar Enrico original da d-toque do motor através da prestação de ‘dtouch’ opção.
O visor define o padrão screen após o inicio do programa. Os permite ajustar o valor padrão gradiente portão. reacTIVision vem com um módulo subtração de fundo, que, em alguns casos, pode simplificar o reconhecimento desempenho de ambos os dedos e monitoramento fiducial. Dentro do aplicativo você pode alternar executando-o com a “E” chave ou recalcular subtração de fundo ao bater na barra de espaços.
TUIO vs MIDI
O pedido pode alternativamente enviar mensagens MIDI, que permite a qualquer mapa de dimensão de objeto(xpos, ypos, ângulo) para um MIDI controle via um arquivo de configuração XML . Adicionando e removendo objetos podem ser mapeados com um simples ON / OFF. Tenha em mente que embora MIDI tem menos largura de banda e comparados com os dados resolução Open Sound Contol, de forma a nova funcionalidade MIDI se entende como uma alternativa conveniente, em alguns casos, mas ainda TUIO será a principal camada de mensagem.
Adicionando a reacTIVision.xml uma mudança para MIDI modo e especifica o arquivos de configuração MIDI que contém os mapeamentos e dispositivo de seleção MIDI. Um exemplo de arquivo de configuração, juntamente com um exemplo PD patch pode ser encontrado na pasta midi. Você pode listar todos os dispositivos MIDI disponíveis com o “l-midi” opção.
Um usuário postou no fórum reaktor este breve tutorial(ingles) de como usar reacTIVision em conjunto com software de áudio comercial como reaktor.
Calibração e Distorção
Algumas Tables, como a reacTable estão usando um espelho convexo, a fim de aumentar a área visível para a câmera a uma distância mínima. Este espelho, assim como uma lente olho de peixe, infelizmente, distorcer a imagem. reacTIVision pode corrigir a distorção e alinhamento da imagem. Para a calibração é preciso imprimir e colocar um destes quadrada ou rectangular, folhas de calibração sobre a mesa e ajustar o grid para a grade de impressos na folha.
Para calibrar reacTIVision e mudar para o modo de calibração pressione ‘C’. Para verificar se a distorção está funcionando corretamente pressione “R”. Isto irá mostrar a imagem totalmente distorcida na janela do alvo. Claro que o algoritmo apenas corrige as distorções de posições encontradas em vez de a imagem completa.
Utilize as teclas A, D, W, X para se deslocar dentro grid, movendo com as teclas do cursor irá ajustar a grid point.
‘J’ reseta toda a rede de calibração, ‘U’ redefine o ponto selecionado e ‘K’ revertem para o salve grid.
compilação reacTIVision
O arquivo fonte reacTIVision vem com o IDE para todos os projectos apoiados por três sistemas operacionais. Para o Windows Visual Studio 2005 um projeto está prevista, para o Mac OS X 2,4 Xcode há um projeto e para o Linux um simples Makefile faz este trabalho. Compilação no Windows não exige a instalação de qualquer bibliotecas adicionais, enquanto que o MacOS X e Linux instalado um porto depender da SDL development library. O Linux ainda precisa libdc1394-2,0 ou posterior para apoio da câmara fire.
LICENCIAMENTO
O reacTIVision software e os clientes são exemplo os TUIO software livre licenciado sob a licença GPL. Você pode usar livremente este software para qualquer privadas, académicas ou finalidade comercial, desde que você está disposto a publicar o código fonte de seu trabalho derivado, mediante solicitação.
fidtrack a biblioteca (incluído com reacTIVision) © por Ross Bencina é licenciado sob a licença LGPL
dtouch a biblioteca © por Enrico Costanza é licenciado sob a licença GPL
oscpack a biblioteca © por Ross Bencina está licenciado sob uma licença estilo BSD
DsVideoLib a biblioteca © por Thomas Pintaric é licenciado sob a licença GPL
Posts Relacionados:
- Software para pen drive, instale e execute softwares essenciais em qualquer disco portátil.
- Galleon servidor multimidia, traz conteúdos da Internet e aplicações para a sua TV.
- Converter doc para pdf com o PDFCreator, conversão para pdf de forma bem simples
- Lançado mundo virtual que auxilia o desenvolvimento cientifico.
Se você gostou deste post, escreva um comentário e/ou cadastre-se em nosso feed.
Comentários
Ainda não há comentários.
Desculpe, este post está fechado para comentários.