IoT: ควบคุม HoloLens โดยใช้คิ้วของคุณ (EMG): 5 ขั้นตอน

2024 ผู้เขียน: John Day | [email protected]. แก้ไขล่าสุด: 2024-01-30 13:04

โครงการนี้เป็นส่วนหนึ่งของโครงการ NASA SUITS ของมหาวิทยาลัยโคโลราโด โบลเดอร์ ที่นำเสนอและทดสอบที่ NASA JSC ในเดือนเมษายน 2019 สำหรับโครงการในปีนั้น ฉันเป็นหัวหน้าโครงการด้านการพัฒนาฮาร์ดแวร์ และนี่เป็นหนึ่งในผลงานของฉัน อ่านเพิ่มเติมเกี่ยวกับความท้าทายของ NASA SUTS ที่นี่

ด้วยโครงการนี้ ฉันต้องการอนุญาตให้ทุกคน (ในกรณีนี้คือนักบินอวกาศของ EVA) สามารถเชื่อมต่อกับ Heads-Up-Display (HUD) ที่ปรับใช้ใน Microsoft HoloLens โดยไม่ต้องใช้ท่าทางมือหรืออินพุตเสียงในตัว ฉันจัดการกับเป้าหมายนี้จากมุมมองด้านความสามารถในการเข้าถึง ฉันต้องการพัฒนาอุปกรณ์ต่อพ่วง/สวมใส่ได้ ที่จะช่วยให้นักบินอวกาศของ EVA เชื่อมต่อกับจอแสดงผลได้โดยไม่ต้องอาศัยการสื่อสารกับการควบคุมภาคพื้นดิน และเนื่องจากการเชื่อมต่อด้วยท่าทางสวมถุงมือที่มีแรงดันสูงจึงไม่สมเหตุสมผล แม้ว่าโดเมนนี้จะเป็นโดเมนที่ฉันไม่ค่อยคุ้นเคย แต่ฉันก็เห็นว่าอุปกรณ์ต่อพ่วงนี้มีประโยชน์สำหรับผู้ทุพพลภาพ ทำให้พวกเขาสามารถใช้ HoloLens หรืออุปกรณ์ AR/VR อื่นๆ และละเว้นอินพุตการเชื่อมต่อที่กีดกันหรือน่ากลัว

แม้ว่ารายการสำหรับโปรเจ็กต์นี้จะยกเว้นในตัวเอง (HoloLens มีราคาแพงมาก!) อุปกรณ์ต่อพ่วงสามารถใช้กับอุปกรณ์ AR/VR อื่นๆ ได้

หากคุณมีคำถามใด ๆ ต้องการติดตามงานของฉันหรือเพียงแค่โยนความคิด โปรดทำบน Twitter ของฉัน: @4Eyes6Senses

เสบียง

Microsoft HoloLens (หรืออุปกรณ์ AR/VR อื่นๆ)

อนุภาคโฟตอน

MyoWare Muscle Sensor - เซ็นเซอร์ MyoWare สามารถใช้แทนบอร์ด EMG breakout อื่นๆ ได้ หากคุณไม่แน่ใจว่า EMG คืออะไร เราขอแนะนำให้คุณอ่านเพิ่มเติมที่นี่

แผ่นเซ็นเซอร์ชีวการแพทย์

ความสามัคคี (ฟรี)

ประสบการณ์บางอย่างกับการสร้างโครงการในความสามัคคี

ลวด

ขั้นตอนที่ 1: เชื่อมต่อ MyoWare กับอนุภาคโฟตอน

การเชื่อมต่ออนุภาคโฟตอนกับบอร์ด MyoWare ค่อนข้างตรงไปตรงมา สำหรับขั้นตอนนี้ คุณจะต้องประสานการเชื่อมต่อระหว่าง Particle Photon และ MyoWare board ตรวจสอบให้แน่ใจว่าคุณมีการเชื่อมต่อที่แน่นหนาเพื่อไม่ให้สายขาดขณะสวมอุปกรณ์ เพื่อหลีกเลี่ยงไม่ให้สายขาด ฉันแนะนำให้ถักเปียสายเคเบิลก่อนที่จะบัดกรีเข้าไปในโฟตอน

- บัดกรีลวดเข้ากับพอร์ต "+" ของบอร์ด MyoWare จากนั้นบัดกรีปลายอีกด้านของสายเคเบิลเข้ากับพิน "3v3" ของโฟตอน

- บัดกรีลวดเข้ากับพอร์ต "-" ของบอร์ด MyoWare จากนั้นบัดกรีปลายอีกด้านของสายเคเบิลเข้ากับพิน "GND" ของโฟตอน

- บัดกรีลวดเข้ากับพอร์ต "SIG" ของบอร์ด MyoWare จากนั้นบัดกรีปลายอีกด้านของสายเคเบิลเข้ากับพิน "A0" ของโฟตอน

ขั้นตอนที่ 2: การอัปโหลดรหัสไปยังอนุภาคโฟตอน

ใช้ IDE ของ Particle Photon อัปโหลดไฟล์.ino วางกระดาน MyoWare ลงบนกลุ่มกล้ามเนื้อ และตรวจสอบค่าเพื่อให้แน่ใจว่าอุปกรณ์ของคุณทำงาน เมื่อดูโค้ด คุณจะสังเกตเห็นว่ามีการตั้งค่าตัวแปร "threshold" ไว้แล้ว ตัวแปรนี้เป็นค่าต่ำสุดที่ MyoWare อ่านจากกล้ามเนื้อเมื่อเลิกคิ้วจนสุด ฉันยังตั้งค่าตัวแปรเป็น "600" เพราะมันทำให้ฉันสามารถสนทนาได้ตามปกติในขณะที่สวม MyoWare โดยไม่ต้องสร้างผลบวกที่ผิดพลาด (ทริกเกอร์โดยไม่ได้ตั้งใจ) คุณอาจต้องการเล่นกับค่าต่างๆ จนกว่าคุณจะพบเกณฑ์ที่ต้องการสำหรับการใช้งานของคุณ

ขั้นตอนที่ 3: การจัดวาง MyoWare

สำหรับโครงการ NASA SUITS ของเรา ฉันเลือกที่จะวาง MyoWare Board ไว้เหนือคิ้ว ฉันได้รับแรงบันดาลใจที่จะวาง MyoWare ไว้ที่นั่นหลังจากดูโครงการ "'Sup Brows" ที่ทำโดย Adafruit หลังจากการทดสอบบางอย่าง เป็นที่ชัดเจนว่าคิ้วเป็นสถานที่ที่ดีเยี่ยมสำหรับโครงการนี้โดยเฉพาะ เป็นสถานที่ที่ดีเพราะเซ็นเซอร์จะไม่ได้รับผลกระทบจากการเคลื่อนไหวของกล้ามเนื้ออย่างต่อเนื่องผ่านแขน ขา และลำตัวที่นักบินอวกาศ EVA ทำระหว่างการเดินในอวกาศ

ขั้นตอนที่ 4: เชื่อมต่อ MyoWare ด้วย Unity

ถึงเวลาสำหรับขั้นตอนสุดท้าย มาเชื่อมต่อ MyoWare กับ Unity กันเถอะ! สิ่งที่รวมอยู่ในคำแนะนำนี้คือสคริปต์ที่คุณจะต้องรวมไว้ในโปรเจ็กต์ Unity ของคุณ แต่ก่อนอื่น คุณจะต้องเปลี่ยนบางสิ่งในโค้ด ขั้นแรก คุณจะต้องเพิ่มปลั๊กอิน JSON Object Unity ในโครงการของคุณ ถัดไป คุณจะต้องเพิ่มรหัสอุปกรณ์ของคุณและโทเค็นการเข้าถึงในบรรทัดที่ 19: particleURI = "https://api.particle.io/v1/devices/[Insert your device id]/Next?access_token=[Insert your device id]/Next?access_token=[Insert your device id] โทเค็นการเข้าถึง]". คุณสามารถรับ ID อุปกรณ์ของคุณจาก Particle IDE ตามรูปที่ 2 คลิกที่แท็บอุปกรณ์ของคุณ (กล่องสีแดง) และดูที่ใต้ชื่ออุปกรณ์ของคุณเพื่อค้นหา ID ของคุณ (กล่องสีน้ำเงิน) ถัดไป เพื่อค้นหาโทเค็นการเข้าถึงของคุณ ให้คลิกที่แท็บการตั้งค่าใน IDE

ขั้นตอนที่ 5: เสร็จแล้ว

หลังจากเสร็จสิ้นโครงการ Unity ของคุณ คุณจะมี HoloLens ที่ควบคุมด้วย EMG!

หากคุณมีคำถามเชิงลึก ต้องการเรียนรู้เกี่ยวกับการเสริมมนุษย์ ต้องการติดตามงานของฉัน หรือเพียงแค่โยนความคิดต่างๆ โปรดทำใน Twitter ของฉัน:

@4Eyes6Senses ค่ะ

หากคุณสนใจที่จะร่วมงานกับทีมงานของเราสำหรับการแข่งขัน NASA SUITS ปี 2019 - 2020 โปรดส่งอีเมลมาที่:

ขอขอบคุณเป็นพิเศษกับนางแบบในภาพแรก ดาร์เรน ผู้ทดสอบการออกแบบที่ NASA ด้วย ขอขอบคุณพาร์ทเนอร์การเขียนโปรแกรมของฉันอีกครั้งสำหรับโครงการ AJ ที่ทำให้สิ่งนี้เป็นไปได้มากมาย