Hvordan oversættes tegnsprog til tekst ved hjælp af Arduino?

Vi har konsekvent accepteret, at teknologien burde være tilgængelig for alle og til godt, hvad enten de er normale mennesker eller specielt dygtige individer. Den grundlæggende fordel ved innovation er at engagere enkeltpersoner og forbedre dem, ikke at erobre dem, men snarere at hjælpe dem.



Log på tekst

Mennesker med manglende evne til at tale bruger forskellige kommunikationsmidler til at formidle deres budskaber. Den mest almindelige af dem er tegnsprog. Tegnsprog er et sprog, der bruger gestusmodalitet til at formidle en besked. Tegnsprog er almindeligt blandt de mennesker, der ikke er i stand til at tale eller lytte. Så her er et projekt, der hjælper dig med at oversætte tegnsproget til en tekst, som andre mennesker kan forstå.



Hvordan bruges Arduino til at lave en Sign to text-oversætter?

Lad os nu bevæge os mod at indsamle yderligere data, analysere det, skabe et kredsløb og brænde koden på mikrocontrolleren.



Trin 1: Forudsætninger

Før vi begynder at arbejde, er det bedre at samle og studere om det apparat, vi skal bruge. En liste nedenfor viser alle de ting, vi har brug for i dette projekt.



  • Arduino UNO
  • Mandlige / kvindelige jumpertråde
  • Modstande (470 ohm)
  • Brødbræt / Veroboard
  • Kvindelige overskrifter
  • Handske

Trin 2: Opsætning af apparatet

Vi bruger Flex-sensorer til at registrere gestus. Flex-sensoren er en sensor, der giver en anden modstand og en anden vinkel, hver gang den bøjes. Den har to ben, der er forbundet i en spændingsdelerkonfiguration. Forbindelsen af ​​disse stifter til Arduino er vist nedenfor.

Kredsløbsdiagram

FLEX 1, FLEX 2, FLEX 3, FLEX 4, FLEX 5 er flexsensorerne, og RES1, RES2, RES3, RES4, RES5 er de 470 ohm modstande. Et punkt af alle flex-sensorer er almindelige, og der anvendes 5V til det. I den anden ende er det ene ben af ​​alle modstandene fælles og forbundet til jorden. Indgangen til Arduino-stifterne modtager analoge data fra 0 til 1023, som konverteres til den digitale form i koden.



Nu, som vi ved, hvordan en flex-sensor fungerer, skal du fastgøre hver flex-sensor på handskens fingre (undgå at bruge klæbemidler). Loddejumperkabler til alle flex-sensorer og forbinder dem på Veroboard som vist i ovenstående billede. Lod forsigtigt forbindelserne ud og udfør en kontinuitetstest. Hvis kontinuitetstesten mislykkes, skal du kontrollere dine loddede forbindelser og rette dem.

Trin 3: Kom godt i gang med Arduino

Hvis du ikke har Arduino IDE, skal du downloade den nyeste version fra Arduino

  1. Forbind Arduino med din pc, og gå til Kontrolpanel> Hardware og lyd> Enheder og printere for at kontrollere navnet på den port, som Arduino er tilsluttet. På min pc er det COM14. Det kan være anderledes på din pc.

    Find portnummer

  2. Åbn din Arduino IDE, og sæt tavlen til 'Arduino / Genuino Uno'.

    Indstillingsbræt

  3. Åbn din Arduino IDE, og indstil den port, som du observerer på din pc før.

    Indstilling af port

  4. Download nu koden, der er vedhæftet nedenfor, og upload den til dit Arduino Board ved at klikke på knappen Upload.

    Upload

Download link: Klik her

Trin 4: Kode

Koden er kommenteret godt, men her er en generel forklaring på, hvordan den fungerer.

  1. I starten f koden initialiseres 5 analoge ben fra Arduino til brug sammen med flex-sensorer. End Vcc fra Arduino og 4.7k ohm-modstand initialiseres, der bruges i kredsløbet. Derefter initialiseres modstanden af ​​den lige flekssensor og modstanden i en 90-graders vinkel. Disse initialiseringer vil være nyttige ved skrivning af koden.
  2. ugyldig opsætning () er en funktion, hvor vi initialiserer Arduino's baudrate og alle de fem analoge ben initialiseres til brug som INPUT. Baudrate er den hastighed, hvormed mikrokontrolleren kommunikerer.
  3. ugyldig sløjfe () er en funktion, der kører kontinuerligt igen og igen i en cyklus. I denne funktion læses og konverteres alle de analoge værdier til digitale værdier. Derefter beregnes modstanden ved hjælp af spændingsdelerformlen, og gennem denne modstand beregnes flex-sensorens bøjningsvinkel.

Når du har forstået og uploadet koden, skal du bære handskerne og gøre forskellige bevægelser for at oversætte dem til tekst. I koden kan du tilføje flere kombinationer af fingerbevægelse efter eget valg og vise meddelelsen i overensstemmelse hermed. Du vil se, at dit tegnsprog nu konverteres til tekst.

Trin 5: Avanceret

Dette projekt handler om at konvertere tegnsprog til tekst og vise det på den serielle skærm. Da den anvendte mikrokontroller er Arduino, fungerer denne enhed kun, når Arduino er tilsluttet pc'en via et datakabel, fordi Arduino ikke har et indbygget WiFi-modul. For at gøre dette projekt lidt mere interessant kan du tilføje et eksternt WiFi-modul eller bruge et ESP-modul i stedet for Arduino og slippe af med datakablet og nyde et tegn til tale-oversættelse via WiFi.