Googles realtidsalgoritme til håndsporing bruger smartphone til at forbedre tegnsproggenkendelse

Håndsporing i realtid

Tegnsprog bruges af millioner af mennesker over hele verden. Forskere har arbejdet med at opbygge teknologier, der kan forstå bevægelserne og automatisk konvertere dem til menneskeligt forståeligt sprog. Sådanne projekter har dog ikke fået stor succes med hensyn til nøjagtighed.

Google har for nylig udviklet en algoritme, der kan bruges til realtids håndsporing. Det intelligente system udnytter maskinindlæring til at skabe et kort over hånden. Kortet oprettes ved hjælp af et kamera eller en smartphone. Vi kan ikke benægte det faktum, at de fleste af systemerne ikke nøjagtigt fanger hurtige håndbevægelser. Google har specifikt behandlet dette problem i denne forskning. Interessant nok har de begrænset mængden af ​​data, der tidligere blev behandlet af algoritmerne.

Hvordan fungerer håndsporing i realtid?

De fleste af de eksisterende projekter oversætter tegnsprog ved at registrere størrelsen og placeringen af ​​den komplette hånd. Med denne forskning. forskerne har fjernet behovet for at håndtere rektangulære former i forskellige størrelser. Googles system genkender bare håndfladen, der er firkantet i form. For det andet udføres en separat analyseproces for fingrene.

Håndbevægelser

Forskerne brugte omkring 30.000 håndbilleder til at træne maskinlæringsalgoritmen. Disse billeder blev taget under forskellige lysforhold og udgør. Systemet registrerer derefter gesten ved at foretage en sammenligning mellem håndpositionen og en liste over kendte enheder såsom en bold eller lykke. Google beskriver bevægelsesgenkendelse i en blogindlæg .

Derefter kortlægger vi fingertilstandene til et sæt foruddefinerede bevægelser. Denne ligefrem, men alligevel effektive teknik giver os mulighed for at estimere grundlæggende statiske bevægelser med rimelig kvalitet. Den eksisterende rørledning understøtter tælling af bevægelser fra flere kulturer, f.eks. Amerikanske, europæiske og kinesiske og forskellige håndskilte, herunder “Thumb up”, lukket knytnæve, “OK”, “Rock” og “Spiderman”.

Windows 10 sidder fast i tablet -tilstand

Den endelige håndsporingsalgoritme producerer avancerede resultater med hensyn til dens hastighed og nøjagtighed. Algoritmen bruger MediaPipe framework til at køre. Denne teknik virker som et stort fremskridt inden for tegnsprogdomænet. Selvom der stadig er meget plads til forbedringer. at skabe en bedre forståelse af tegnsproget. Alle kan udvide dette arbejde til at bruge ansigtsudtryk og begge hænder for at opnå bedre resultater.

Selvom der ikke er noget ord fra Google, er der en mulighed for, at Google kan forbedre denne realtids håndsporingsteknologi til at bruge den i sine produkter. I mellemtiden, hvis du vil lege med koden, er det offentligt tilgængelig på GitHub .