ถุงมือแปลงท่าทางเป็นคำพูด/ข้อความ: 5 ขั้นตอน

2024 ผู้เขียน: John Day | [email protected]. แก้ไขล่าสุด: 2024-01-30 13:03

แนวคิด/แรงผลักดันเบื้องหลังการดำเนินการโครงการนี้คือการช่วยเหลือผู้ที่มีปัญหาในการสื่อสารโดยใช้คำพูดและสื่อสารโดยใช้ท่าทางของมือหรือที่รู้จักกันแพร่หลายในชื่อภาษามือแบบอเมริกัน (ASL) โครงการนี้สามารถก้าวไปสู่การเปิดโอกาสให้คนเหล่านี้ได้ทำงานร่วมกับคนอื่นๆ ที่ไม่เข้าใจภาษามือในสภาพแวดล้อมการทำงานร่วมกัน นอกจากนี้ โครงการนี้จะช่วยให้พวกเขาสามารถกล่าวสุนทรพจน์ในที่สาธารณะได้โดยไม่ต้องใช้นักแปลที่เป็นมนุษย์จริงๆ ในตอนเริ่มต้น ฉันแค่พยายามตรวจจับท่าทางที่ง่ายกว่าบางอย่าง เช่น ตัวอักษร A, B, I และอื่นๆ และยังกำหนดท่าทางบางอย่างให้กับคำ/คำทักทายทั่วไป เช่น 'สวัสดี', 'อรุณสวัสดิ์' เป็นต้น

ขั้นตอนที่ 1: การประกอบวงจร

ขั้นตอนที่ 2: รายละเอียดโครงการ

โปรเจ็กต์นี้ประกอบด้วยถุงมือที่สวมใส่ได้พร้อมเซ็นเซอร์แบบยืดหยุ่น 4 ตัวที่ติด/ฝังอยู่ในถุงมือ โดยอย่างละชิ้นสำหรับนิ้วก้อย นิ้วกลาง นิ้วชี้ และนิ้วหัวแม่มือ ไม่ใช้เซ็นเซอร์แบบยืดหยุ่นสำหรับนิ้วนางเนื่องจากข้อจำกัดเกี่ยวกับความพร้อมใช้งานของ Analog Input Pins บน Arduino Uno R3 และโดยทั่วไปเนื่องจากไม่มีการเคลื่อนไหวอิสระที่แสดงโดยนิ้วในภาษามือ นอกจากนี้ยังใช้มาตรความเร่ง MMA8452Q ซึ่งติดอยู่ที่ด้านหลังของฝ่ามือเพื่อวัดทิศทางของมือ อินพุตจากเซ็นเซอร์เหล่านี้ได้รับการวิเคราะห์และใช้เพื่อรับรู้ท่าทางสัมผัส เมื่อสัมผัสได้ถึงท่าทางแล้ว อักขระ/ข้อความที่เกี่ยวข้องจะถูกบันทึกลงในตัวแปร อักขระและข้อความเหล่านี้ยังคงเชื่อมต่อกันจนกว่าจะมีการทำท่าทางที่กำหนดไว้ล่วงหน้าซึ่งบ่งชี้ว่าประโยคนั้นสมบูรณ์ เมื่อตรวจพบท่าทางพิเศษนั้นแล้ว สตริงประโยคที่บันทึกไว้จะถูกส่งไปยัง Raspberry Pi ผ่านสาย USB โดย Arduino จากนั้น Raspberry Pi จะส่งสตริงที่ได้รับไปยัง Amazon Cloud Service ชื่อ Polly เพื่อแปลงประโยคที่ได้รับในรูปแบบข้อความเป็นรูปแบบคำพูด จากนั้นสตรีมคำพูดที่ได้รับบนลำโพงที่เชื่อมต่อกับ Raspberry Pi ผ่านสาย AUX

โปรเจ็กต์นี้เป็นเพียงการพิสูจน์แนวคิด และด้วยชิ้นส่วนอุปกรณ์และการวางแผนที่ดีขึ้น และปรับเทียบให้ดีขึ้นเพื่อตรวจจับท่าทางและการเคลื่อนไหวของมืออื่นๆ จำนวนมาก ในปัจจุบัน มีการตั้งโปรแกรมฟังก์ชันการทำงานที่จำกัดไว้ในโปรเจ็กต์นี้เท่านั้น เช่น สำหรับการตรวจจับท่าทางสัมผัสพื้นฐานและเอาต์พุตข้อความเป็นคำพูด

ขั้นตอนที่ 3: รหัส

ขั้นตอนที่ 4: ขั้นตอน

1. เชื่อมต่อเซ็นเซอร์แบบยืดหยุ่นและมาตรความเร่ง MMA8452Q กับ Arduino ตามแผนภาพวงจรที่ให้มา

2. ดัมพ์โปรแกรม Final_Project.ino (พบในไฟล์ Arduino_code.zip) ไปยัง Arduino

3. เชื่อมต่อ Arduino กับ Raspberry Pi ด้วยสาย USB (สายเคเบิลชนิด A/B).

4. เพิ่มพลังให้ Raspberry Pi คัดลอกไฟล์ Raspberry_pi_code.zip ลงใน Raspberry Pi แล้วแตกไฟล์ เชื่อมต่อลำโพงกับ Raspberry Pi

5. คัดลอกข้อมูลประจำตัวของบัญชี AWS เช่น aws_access_key_id, aws_secret_access_key และ aws_session_token ลงในไฟล์ ~/.aws/credentials ขั้นตอนนี้จำเป็นในการสื่อสารกับ AWS Cloud และใช้บริการของ AWS

6. เรียกใช้โปรแกรม seria_test.py ที่พบในโฟลเดอร์ที่แยกออกมาในขั้นตอนที่ 4

7. ตอนนี้ทำท่าทางเพื่อสร้างประโยคแล้วทำท่าทางพิเศษ (ให้นิ้วและฝ่ามือของคุณตรงและอยู่ในแนวเดียวกับฝ่ามือหันออกจากคุณแล้วหมุนข้อมือให้หมุนลงเพื่อให้ตอนนี้ฝ่ามือของคุณ กำลังหันหน้าเข้าหาคุณและปลายนิ้วชี้ลงไปที่เท้าของคุณ) เพื่อส่งสัญญาณว่าประโยคนั้นสมบูรณ์

8. หมั่นตรวจสอบเทอร์มินัลเพื่อดูข้อมูลที่เป็นประโยชน์

9. และฟังคำพูดที่แปลงแล้วถูกสตรีมบนลำโพง

ขั้นตอนที่ 5: การอ้างอิง

1.

2.

3.

4.