Raspberry Pi prevodi govor u znakovni jezik pomoću robotske ruke
Raspberry Pi se koristi za spajanje različitih veza, ali danas delimo projekat sa Raspberry Pi-jem koji prevazilazi jaz u ljudskoj komunikaciji.
Ovaj projekat premošćava kritični jaz u komunikaciji
Kreator i programer Prabhjot Singh stvorio je ono što naziva Deaf Link. Koristi Raspberry Pi kao središnji uređaj za prevod koji vam omogućava da pretvorite znakovni jezik u audio govor i govor u znakovni jezik koristeći robotsku ruku.
Prvi režim se naziva znak u govor. Da bi zabeležio znakovni jezik, Raspberry Pi koristi kameru. Ulazni podaci se obrađuju koristeći OpenCV i MediaPipe sa Google TensorFlow-om i stotinama slika znakovnog jezika. Kada se znak identifikuje, prevodi se u zvuk koji se reprodukuje na zvučniku.
Drugi režim je govor u znak, gde stvari postaju pomalo neverovatne. Audio se detektuje pomoću mikrofona, koji se zatim analizira putem Google-ove API platforme za prevođenje govora u tekst. Tekst se obrađuje putem MQTT posrednika koji ga šalje Arduino uređaju. Ovaj Arduino pokreće servomotore u robotskoj ruci kako bi recreirao tekst u znakovni jezik.
Glavna ploča koja pokreće ovaj projekat je Raspberry Pi 4 B zajedno sa Arduino Nano 33 IoT. Raspberry Pi je povezan sa Raspberry Pi Camera Module 3 i Razer Seiren Mini mikrofonom. Arduino je povezan sa šest servomotora koji se koriste unutar proteze za ruku. Sve je smešteno unutar prilagođenog kućišta.
Što se tiče softvera, Singh koristi nekoliko alatki, uključujući MQTT, OpenCV i Tensorflow. Ako želite saznati više o tome kako je ovaj projekat programiran, imate sreće. Singh je odlučio da projekat bude otvorenog koda, tako da možete pronaći više detalja u vodiču projekta koji je podelio na Hacksteru kako se sve povezuje.
Ako želite videti ovaj Raspberry Pi projekat u akciji, možete pogledati demo video koji je podelio na YouTube-u. Obavezno pratite Singha za još cool kreacija, kao i za sve buduće nadogradnje ovog projekta.
Izvor: Tomshardware
