Voir la source de Conseils, HowTo, FAQ sur Interaction temps réel

== Joystick sous Linux HID Pure Data ==
* voir ce tuto : http://wiki.puredata.info/en/hid (obsolète)
https://puredata.info/docs/faq/how-can-i-set-permissions-so-hid-can-read-devices-in-gnu-linux
http://askubuntu.com/questions/15570/configure-udev-to-change-permissions-on-usb-hid-device

== Config et test audio et vidéo sous linux ==
* une belle papage de la SAT à ce propos pour le logiciel scenic : http://svn.sat.qc.ca/trac/scenic/wiki/TestAudiovisualInputOutput

== Controle paramètres webcam Linux ==
''from julian oliver (thks)'' :
The Logitech Quickcam Pro 9000 looks like a good fit for you but only if you turn off the automagical features.

I use libwebcam's uvcdynctrl to set various paramaters, like focus, contrast,auto exposure etc.

http://www.quickcamteam.net/software/libwebcam
  uvcdynctrl-0.2 -s "Focus" 137
  uvcdynctrl-0.2 -s "Exposure, Auto" 1 #(this is 'off' believe it or not)
  uvcdynctrl-0.2 -s "Exposure (Absolute)" 320

My solution for mounting it in the last dozen or so installations has been this:

http://www.ljudmila.org/~julian/share/movies/levelHead-secured-camera.mpg

++
  guvcview -o

you can control the settings while running the camera with another 
application.

== Open_Cv ==
* http://www.pascsaq.org/weblog/archives/2009/01/17/index.html
for pix_opencv you must add [pix_rgba] in help-example
" In order to make the pix_opencv objects work You always had to set colorspace RGB. otherwise, You will not see any effect."

== Les espaces de couleur dans GEM / Pure data ==
http://gem.iem.at/documentation/GemWiki/ColorSpace


== Captation d'émotion, reconnaissance de visage ==
http://vida.limsi.fr/index.php/VidaRANAteliers : atelier du Réseau Art Numérique, compte rendu, essais et réflexions théoriques...


== Installer la wiimote avec Pure Data & ubuntu (feisty) ==
Sous Hardy, il suffit d'installer du paquet http://doc.ubuntu-fr.org/wiimote
Sous feisty, Suivre le tuto en anglais : https://help.ubuntu.com/community/CWiiD?highlight=%28wiimote%29<br>
tuto plus simple pour ubuntu gusty (en bas de page) en français : http://doc.ubuntu-fr.org/wiimote<br>
'''/!\ la compilation de l'external a marché (pour moi) en compilant CWiid library (version 0.4.01) et non pas la dernière version'''<br>
compilation de l'external wiimote : http://mikewoz.com/index.php?page=pd-stuff<br>
qd tout a marché, ouvrir le patch help-wiimote.pd et appuyer sur le btn 1 et 2 de la wiimote pour reconnaissance<br>
si la reconnaissance ne marche pas, taper dans un terminal : <br>
hciconfig<br>
hciconfig hci0 up (pour monter le réseau bluetooth)<br>
hcitool -i hci0 scan<br>
résultat :::: (il faut appuyer sur btn 1 et 2 de la wiimote)<br>
Scanning ...<br>
00:1E:35:01:F1:D7 Nintendo RVL-CNT-01<br>
on peut ensuite dans le patch help-wiimote.pd connecter la wiimote à Pd en indiquant '''00:1E:35:01:F1:D7''' dans un message (l'adresse MAC de la wiimote)<br>

== Enregistrer une vidéo de la fenetre GEM==
the single magic line i use to create a movie is :<br>
mencoder -oac mp3lame -lameopts cbr:br=256:aq=0  -audiofile rec_.wav -fps 50 -ss 0 -ovc xvid -xvidencopts bitrate=5000 -vop scale=640:480  mf://*.jpg -o out.avi<br>
msg de cyrille henry du 13.02.2008 liste Pd + patch d'enregistrement

désormais (06.2008), le pix_record marche plutot bien, au moins sous Mac OS et Linux, donc la manip ci-dessus ne doit plus être nécessaire...

== GEM dv 1394 et linux (from Pd mailing list)==
Tim Boykett
Summary: I think I have a fix for the problem with pix_video that
has effected several people on some linux distributions. Please
read on if this matters to you.

Note: this is probably for the pd-dev list, but I am not on it, so I  
hope
that one of the PD-dev people can pick up on this and say "aha! I can
do this!"

I am using a machine with udev on it, so the device names are
not the ones expected by the pix_video object. In particular around
line 213 of videoDV4L.cpp I see that /dev/ieee1394/dv/host0/PAL/in is  
being looked at, then
/dev/dv1394.

The error that I think I am seeing is that buf is being set to /dev/ 
ieee1394/dv/host0/PAL/in
then this is not working (it doesn't exist) and the next attempt to  
access /dev/dv1394
is finding that this is a directory (on my machine). So I get the  
nonsensical
error:
/dev/ieee1394/dv/host0/PAL/in: Is a directory

On my machine at least, the
devices are  /dev/dv1394/0 and /dev/dv1394/1. When I make a link from
/dev/ieee1394/dv/host0/PAL/in to /dev/dv1394/0 then all is well.

'''Notes benjamin :'''<br>
pour faire marcher camera dv avec Pd extended GEM sous ubuntu festy : <br>
1. creation du répertoire :<br>
sudo mkdir /dev/ieee1394/dv/host0/PAL (il faut creer les répertoires les uns après les autres = sudo mkdir /dev/ieee1394 puis sudo mkdir /dev/ieee1394/dv jusquau rep PAL mais on ne crée pas le /in final<br>
2. creation du lien symbolique :<br>
ln -s /dev/dv1394/0 /dev/ieee1394/dv/host0/PAL/in<br>
3. Pour moi ça marche !!!!!<br>
4. j'avais auparavant fais une commande du type (pour faire marche TSS encodage camera dv en theora) :<br>
cd /dev/<br>
chmod 777 raw1394<br>
chgrp benjamin raw1394<br>
sudo adduser benjamin disk<br>

== Les Espaces de couleur ==

[http://poynton.com/papers/Guided_tour/abstract.html Abstract sur les espaces colorimétriques]

== Encodage video sous linux ==
'''Gem-audio_record'''

 mencoder "mf://*.jpg" -mf fps=25 -o output.avi -ovc lavc -lavcopts vcodec=mpeg4:vbitrate=1600 -audiofile asynth.wav -oac mp3lame

 mencoder "mf://*.jpg" -mf fps=25 -o output.flv -ovc lavc -lavcopts vcodec=flv:vbitrate=1000 -ffourcc FLV1 -audiofile asynth.wav -oac mp3lame

recalage audio
 mplayer -delay xx video.avi
 "delay": delai audio  
 xx: valeur positive ou négative selon les besoins (en seconde). Ici il faut jouer la video et essayer de déterminer la bonne valeur par tatonnement ou en utilisant pendant la lecture les touches +/- du clavier.  
 
Une fois la bonne valeur récupérée, on "réencode" (une simple copie en fait mais en incluant un délai) avec mencoder:  

 mencoder -oac copy -ovc copy -audio-delay -xx in.avi -o out.avi

 gmplayer -delay -0.195 output.flv -ao jack
 mencoder -oac copy -ovc copy -audio-delay -0.195 output.flv -o outputwithdelay.flv

Le "-" devant xx est le signe mathématique moins, c'est à dire que la valeur obtenue est à multiplier par -1 mais mencoder ne prend pas la valeur négative dans mon cas, j'ai été obligé de passer par avidemux auquel il convenait d'indiquer le délais en positif = 195, ça marche !

'''From emoc''''
[http://codelab.fr/membre-2 emoc codelab]

 ffmpeg -i img-%04d.png -i son.wav -map 0:0 -map 1:0 -r 25 -ac 2 -b 360k -ab 192k -s 360x288 -f flv video.flv

(traduction : prendre les images numérotées de  img-0001.png à img-XXXX.png, les assembler avec son.wav et enregistrer le tout en flv, 25 images / secondes, débit vidéo 360k, débit audio 192k, son stéréo, résolution 360x288)

'''Tests perso :'''

 http://www.mplayerhq.hu/DOCS/HTML/fr/encoding-guide.html

 aide : ffmpeg -formats

 ffmpeg -i train.avi -vcodec mjpeg -b 10000k -g 5 -deinterlace -acodec pcm_s16le -ar 44100 trainmjpeg.avi

XUL OK

 mencoder ho07.dv -mf fps=25 -o ho07mencoder441.avi -oac pcm -srate 44100 -af lavcresample=44100 -ovc lavc -lavcopts vcodec=mjpeg:mbd=1:vbitrate=4500 -vf pp=lb

XUL OK Vision R 2010

 ffmpeg -i a02.dv -r 25 -vcodec mjpeg -pix_fmt yuvj420p -deinterlace -acodec pcm_s16le -ar 44100 a02test.mov

option -srate et -af lavcresample pour conversion à 44100 hz

 mencoder ho07.dv -mf fps=25 -o outputMJPEGDI.mov -oac pcm -ovc lavc -lavcopts vcodec=mjpeg:mbd=1:vbitrate=3000 -vf pp=fd pp=fd pour deinterlaced
 mencoder ho07.dv -mf fps=25 -o outputMJPEGDIlb.mov -oac pcm -ovc lavc -lavcopts vcodec=mjpeg:mbd=1:vbitrate=4500 -vf pp=lb

 mencoder SubliminalInfluence001.mov -mf fps=25 -o SubliminalInfluence003mjpeg.mov -nosound -ovc lavc -lavcopts vcodec=mjpeg -of lavf -lavfopts format=mov -vf pp=ci,scale=640:480 -ofps 25

 mencoder SubliminalInfluence001.mov -o SubliminalInfluence001mjpeg.mov -nosound -ovc lavc -lavcopts vcodec=mjpeg -of lavf -lavfopts format=mov 

----

Les tests de Patrick de 11h11.com - merci à lui !<br>
quicktime - jpeg (4.0M)<br>
http://www.workinprogress.ca/pd/gem/codec/out_jpeg.mov<br>

gem 22% cpu - showing the video<br>
gem 17% cpu - just decoding the video<br>
mplayer xv 5% cpu<br>
mplayer gl 9% cpu<br>

transcode -i dvd.vob -c 500-1000 -y mov,null -F jpeg,,jpeg_quality=70 -G 
1.1 --pre_clip 6,18,6,18 -J denoise3d=2,pp=lb -Z 640x480 --zoom_filter 
Mitchell -o out_jpeg.mov

----------------------------
avi - mjpeg (4.1M)<br>
http://www.workinprogress.ca/pd/gem/codec/out_mjpeg.avi<br>

gem 19% cpu - showing the video<br>
gem 14% cpu - just decoding the video<br>
mplayer xv 5% cpu<br>
mplayer gl 9% cpu<br>
transcode -i dvd.vob -c 500-1000 -y ffmpeg,null -F mjpeg -G 1.1 
--pre_clip 6,18,6,18 -J denoise3d=2,pp=lb -Z 640x480 --zoom_filter 
Mitchell -o out_mjpeg.avi

----------------------------
avi - xvid (933K)<br>
http://www.workinprogress.ca/pd/gem/codec/out_xvid.avi<br>

gem 90% cpu - just decoding the video<br>
mplayer xv 3% cpu<br>
mplayer gl 7% cpu<br>
transcode -i dvd.vob -c 500-1000 -y ffmpeg,null -F xvid -G 1.1 
--pre_clip 6,18,6,18 -J denoise3d=2,pp=lb -Z 640x480 --zoom_filter 
Mitchell -o out_xvid.avi<br>

----------------------------
ffmpeg / mpeg4 (977K)<br>
http://www.workinprogress.ca/pd/gem/codec/out_mpeg4.avi<br>
 
gem 90% cpu - just decoding the video<br>
mplayer xv 3% cpu<br>
mplayer gl 7% cpu<br>
transcode -i dvd.vob -c 500-1000 -y ffmpeg,null -F mpeg4 -G 1.1 
--pre_clip 6,18,6,18 -J denoise3d=2,pp=lb -Z 640x480 --zoom_filter 
Mitchell -o out_mpeg4.avi<br>

i tested some mpeg2video, but since gem is crashing when loading the 
.toc file i cannot know if there's more consumption of cpu in gem vs 
mplayer / ffplay etc...


----

Message de la liste PD from Patrick  plus ancien :
the best codec for quicktime is jpeg:<br>
transcode -i yourvideo -y mov,null -F jpeg,,jpeg_quality=70 -o gem.mov<br>

gem cpu usage is 38%<br>
mplayer cpu usage is 27%<br>
ffplay cpu usage is 16%<br>
lqtplay cpu usage is 1% **<br>

---------------------------------------
for avi i tried ffmpeg / mjpeg:<br>
transcode -i yourvideo -y ffmpeg,null -F mjpeg -o gem.avi<br>

gem cpu usage is 33%<br>
mplayer cpu usage is 33%<br>
ffplay cpu usage is 22%<br>

---------------------------------------
the really best codec around is mpeg4:<br>
transcode -i yourvideo -y ffmpeg,null -F mpeg4 -o gem.avi<br>

gem cpu usage is: crashed**<br>
mplayer cpu usage is 16%<br>
ffplay cpu usage is 11%<br>

-------------------------

mencoder input.<whatever> -o output.mov -nosound -ovc lavc -lavcopts vcodec=mjpeg -of lavf -lavfopts format=mov

mencoder 08389ainthome.avi -o ainthome.mov -oac pcm -ovc lavc -lavcopts vcodec=mjpeg -of lavf -lavfopts format=mov

encoder AGPZY3GhtWA.flv -o AGPZY3GhtWA.mov -oac pcm -ovc lavc -lavcopts vcodec=mjpeg -of lavf -lavfopts format=mov -lavfopts i_certify_that_my_video_stream_does_not_use_b_frames

[http://thiscow.eu/tiki-index.php?page=encoding-with-linux] une bonne ressource pour des configurations d'encodage


  Note ::::: codec Quicktime codec PHOTO Jpeg ok pour windows pour install yvan hesbois
  ::::: codec Quicktime RVB Plan millions de couleurs + ok pour install lino avec video transparente

== Acquisition Vidéo ==

----

* les tests sous linux de cartes d'acquisition vidéo effectués pour le développement du logiciel scenic : https://svn.sat.qc.ca/trac/scenic/installation-manual/installation.video-hardware-specifications.html
* Des tests d'interfaces pour la vidéo (ethernet, firewire, ...) http://www.i2s-vision.fr/upload/BAS1108_Interfaces.pdf

== Kit d'abstractions Pdmtl ==

----

http://wiki.dataflow.ws/PdMtlAbstractions
Ensemble d'abstractions construit par la communauté Pd de Montréal : un must à ne pas rater !<br>
Pour la partie SAmpler, pour utiliser le système d'ID de reconnaissance et classification des samples, utiliser sample.handler<br>

Pour compiler Flext et Xsample sous ubuntu Feisty :<br>
télécharger les sources de Pd correspondantes à la version installées et placer le répertoire src ds le rép de Pd<br>
télécharger les sources de flext et xsample depuis : http://grrrr.org/ext/<br>
puis sh build.sh pd gcc<br>
sh build.sh pd gcc install<br>
<br>
puis compiler xsample :<br>
sh ../flext/build.sh pd gcc<br>
sh ../flext/build.sh pd gcc install<br>


== Captation gestuelle ==
=== Références ===
* [http://www.didascalie.net/tiki-download_file.php?fileId=1549 Un doc ressource très bien fait sur captation Infrarouge]
* [http://recherche.ircam.fr/equipes/temps-reel/movement/muller/static.php?page=thermal_infrared Comparaison infrarouge thermique]
* [http://colinbouvry.com/PDF/ProjetMaster1ISIS.pdf Suivi de mouvements Application à la scénographie intéractive et à l'installation intéractive]
* [http://www.palindrome.de/d2/C13.pdf Strategies for Designing Interactive Sound Environments in particular for a movement-to-music tool for handicapped people]

=== Conseils ===
''juste pour se simplifier encore plus la vie, si vous pouvez vous permettre d'éclairer en lumière visible la zone active : en éclairant les êtres humains par des éclairages de type jour (blanc, jaune ou orangâtre), ces êtres humains réfléchissent fortement les infrarouges et sont donc bien visibles comme très 'infrarouges' dans la caméra CCD (avec filtre IR enlevé et filtre visible ajouté comme le dit JNM par ailleurs). C'est la technique qu'on a utilisé avec K. Danse (Anne Holst et Jean-Marc Matos) pour notre spectacle Gameplay (pour des vidéos de démo : http://www.gratin.org/as/gameplay/ ).Ceci évite l'achat de spots IR, finalement assez chers et relativement inutiles et difficiles à régler pour éclairer une large surface. (Antoine Schmitt)''

Cette question de la reconnaissance de trajectoire par caméra étant très récurente en ce moment dans les questions posées par les visiteurs du CRAS, je me permet de synthétiser ici les techniques et logiciels employés par les artistes depuis 6 ou 7 ans:

* '''La technique est la suivante:'''

-Une caméra grand angle filmant dans l'infra rouge est dirigée vers sol, cadrant la surface à 
observer
- Un videoprojecteur dirigé verticalement vers le sol, projette sur la même surface
- Un éclairage infrarouge éclaire invisiblement (pour nos yeux) cette même surface au sol.
- L'image de la caméra est envoyée à l'ordinateur 
-Un logiciel de vision par ordinateur analyse l'image, extrait la forme et/ou ses déplacements, 
puis envoie ses données au module gérant le traitement video ou le traitement 3D interactif.

Les logiciels les plus utilisés par les artistes pouvant effectuer cette opération sans difficulté:

Libres et multiplateformes:
- Pure Data: objets de GEM "pix_movement et pix_movement2, pix_blob" et "pix_multiblob",
entre autres techniques et autres librairies pour le tracking avec PD (Myron, Gridflow, etc)
-Processing: Librairie Myron

Tous les logiciels utilisant OpenCV 
http://sourceforge.net/projects/opencvlibrary/

Gratuits mais non libres: Eyesweb ( windows seulement)

Payants:
Isadora, avec les objets Eyes et Eyes++, MaxMsp avec Jitter/VNS et Myron, Director avec TTC et 
Myron, etc, certains logiciels de VJing.


*'''Quelques conseils pour réussir son dispositif:
'''
-utiliser une caméra ou une chaine d'acquisition video avec temps de latence réduit ( webcam 
firewire non compressé de chez unibrain, ou caméra firewire non compréssée industrielle, ou 
caméra analogique+ carte d'acquisition, qui offre de loin le meilleur résultat qualité prix.  Une DV sony en nightshot avec un filtre lumière visible est également un très bon choix en 
matière de latence et de précision optique.

-Les caméras CCD ( webcam et quasiment toutes les sortes de caméras actuelles) sont pour la plupart capables de ne voir que les infra rouges, à condition d'ôter le filtre infrarouge puis de rajouter à la place un filtre lumière visible. 
Voir goggle " IR cam hacks"

-Les projecteurs IR se trouvent chez les milliers d'entreprises en France commercialisant des 
sytèmes d'alarme et de sécurité. On peut également se les fabriquer soi-même avec des LEDs IR en matrice, et même avec des projecteurs de théatre traditionnels.

On peut ainsi donc, avec certaines configurations matérielles, pour moins de 500 euros tout 
compris, (avec matériel d'occasion+ bricolages) avoir une qualité équivalente ou supérieure à 
toutes les sociétés commerciales qui prétendent avoir inventé la poudre, et qui vendent cela à 
plusieurs ( dizaines) de milliers d'euros. Pour une qualité très basique, parfois suffisante 
dans certains dispositifs une simple webcam de 5 euros à 100 euros à bricoler suffit.

-autres techniques: pilotes de certaines webcams disposant d'un algo de vision ( cf liste sensitif JNM/11mars2004) , tracking direct par cellules photo-electriques sur écran, consoles de jeu avec module de vision, etc.

L'intérêt actuel  suscité par ses techniques ne va pas se tarir, bien au contraire maintenant que ces techniques sont intégrées en matériel dans des caméras industrielles ou des webcams, et 
bientôt, dans la totalité de nos caméras ( téléphones, app photos, ordis etc). La puissance 
actuelle des ordis et des logiciels de traitement d'événements interactifs temps réel permet 
actuellement de concevoir de magnifiques dispositifs.
Ainsi que je l'ai déja précisé ici depuis plusieurs années, au terme d'une dizaine d'années, la quasi-totalité des capteurs traditionnels utilisés dans l'art contemporain seront remplacés par des technologies de vision.

Un exemple de réalisations actuelles dans ce domaine, par le duo le plus connu utilisant ces 
techniques ( avec Processing) http://tmema.org/messa/messa.html#videos et sur l'aspect technique: http://tmema.org/messa/installation.html

Jean Noel Montagné via la liste Art Sensitif http://www.artsens.org/

== Caméras rapides pour captation gestuelle ==
(ressources tirées de la mailing list art sens)
" Nous savons tous qu'il faut une caméra CCD (sensible aux infrarouges, IR), qu'il faut lui enlever le filtre IR qu'elle a souvent par défaut (bricolage délicat parfois impossible), et éventuellement lui rajouter des gélatines rouges foncé, proche de l'IR, pour se focaliser sur l'IR. Souvent, il faut aussi un bon grand angle pour voir large, une solution USB pour faciliter la connectique, et un driver Mac, car on travaille tous sur Mac (!) voir logiciel macam pour faire tourner les webcams Pc sur mac" Antoine Schmitt
* http://www.theimagingsource.com/fr_FR/topics/firewire-cameras-at-the-imaging-source/
* http://www.unibrain.com/Products/VisionImg/1394bcam.htm
* http://createdigitalmotion.com/2009/08/06/trick-out-your-ps3-eye-webcam-best-cam-for-vision-augmented-reality/ : hacker la eye-webcam PS3
* http://stores.ebay.com/SecurityCamera2000 grand angles non "IR coated" sur Ebay
* http://www.conrad.fr/objectifs_speciaux_pour_modules_cameras_p_19247_19277_214583_364431_FAS : objectifs webcam

== Trucs et Astuces pour faire marcher des webcam v4l2 retordes ==
d'après Pd list d'après Baastian van den berg :
 Here is a little trick I use for getting webcams working in different linux programs :
 - to get 'weird' v4l2 cameras working with 'normal v4l2 expecting' programs, you can do this:

 LD_PRELOAD=/usr/lib/libv4l/v4l2convert.so pdextended

 this starts pdextended, but first overloads some v4l2 functions with the ones in that library, which help in format conversion etc.
 - to get v4l2 support in programs that are using the v4l interface :

 LD_PRELOAD=/usr/lib/libv4l/v4l1compat.so pdextended

 these tricks work with many many programs ;)

[[Catégorie:Interactivité_Généralités]]