ผู้ฝึกสอนภาษาอังกฤษส่วนบุคคล - ผู้ช่วยเสียง AI: 15 ขั้นตอน

2024 ผู้เขียน: John Day | [email protected]. แก้ไขล่าสุด: 2024-01-30 13:05

โครงงานนี้จะช่วยนักเรียนที่กำลังเตรียมตัวสำหรับการสอบภาษาศาสตร์ ซึ่งพวกเขาสามารถฝึกได้โดยการโต้ตอบกับ Snips AI

ขั้นตอนที่ 1: เรื่องราว

ทำไมเราถึงสร้างสิ่งนี้?

จากประสบการณ์ส่วนตัวของฉัน ฉันได้เห็นผู้คนมากมายเตรียมตัวสอบภาษาต่างๆ เช่น GRE, TOEFL, IELTS พวกเขาต้องการคนมาช่วยพวกเขาในการท่องจำและทำความเข้าใจคำศัพท์ โดยทั่วไปเมื่อบุคคลเตรียมตัวสำหรับการสอบดังกล่าว พวกเขาต้องการบุคคลที่จะตรวจสอบและแก้ไขหากพวกเขาทำผิดพลาด ด้วยวิธีนี้ เราสามารถลดกำลังคนได้โดยใช้ระบบสั่งงานด้วยเสียง

ขั้นตอนที่ 2: การสร้างฮาร์ดแวร์

ก่อนอื่น ฉันขอขอบคุณ SNIPS และ SEEED ที่สนับสนุนโครงการนี้ด้วย Snips Voice Interaction Development Kit (Base Kit) ที่น่าตื่นตาตื่นใจ ฉันรู้สึกมีข้อมูลมากเมื่อใช้บอร์ดนี้ และสามารถบรรลุโครงการที่ซับซ้อนบางอย่างที่รวมอยู่ใน PCB

คุณสามารถซื้อ Snips Voice Interaction Base Kit ได้ในราคา $115 และ Snips Voice Interaction Satellite Kit ในราคา $85

ขั้นตอนที่ 3: เริ่มต้นใช้งาน SNIPS

ก่อนเริ่มต้น เรามาทบทวนสิ่งที่คุณต้องการกันก่อน

• Raspberry Pi 3B/B+ (แนะนำ) หรือ Pi 2 Model B (รองรับ)
• สาย Micro-USB และอะแดปเตอร์แปลงไฟ Micro-USB สำหรับ Raspberry Pi
• การ์ด Micro SD (ขั้นต่ำ 8 GB) - จำเป็นต้องมีระบบปฏิบัติการเพื่อเริ่มต้น คุณสามารถดาวน์โหลด Raspbian Stretch และใช้คำแนะนำสำหรับ Mac OS, Linux และ Windows ในเว็บไซต์ Raspberry Pi
• แป้นพิมพ์และเมาส์ USB และจอภาพ HDMI ภายนอก - เรายังแนะนำให้มีแป้นพิมพ์และเมาส์ USB รวมถึงจอภาพ HDMI ที่มีประโยชน์
• การเชื่อมต่ออินเทอร์เน็ต (อีเธอร์เน็ตหรือ WiFi)

Snips ชุดฐานโต้ตอบด้วยเสียง

ชุดพัฒนาการโต้ตอบด้วยเสียงของ Snips ช่วยให้ผู้ใช้สามารถเริ่มต้นการพัฒนาอินเทอร์เฟซด้วยเสียงและผสานรวม Snips AI Voice Platform กับฮาร์ดแวร์ได้อย่างง่ายดาย Snips ทำงานบนอุปกรณ์ หมายความว่าคำสั่งเสียงและข้อมูลทั้งหมดของคุณได้รับการประมวลผลภายในเครื่อง แทนที่จะถูกส่งไปยังระบบคลาวด์ การประมวลผลในอุปกรณ์นี้ส่งผลให้เกิดผู้ช่วยเสียงออฟไลน์ที่ปลอดภัยอย่างสมบูรณ์ ซึ่งจะรักษาข้อมูลส่วนบุคคลของคุณให้เป็นส่วนตัวตามที่ควรจะเป็น

ชุดฐานการโต้ตอบด้วยเสียงช่วยให้คุณสามารถเรียกใช้แพลตฟอร์ม Snips AI Voice ทั้งหมดได้ ขับเคลื่อนโดย Raspberry Pi 3 รุ่น B+ และ ReSpeaker 2-Mics Pi HAT สามารถทำหน้าที่เป็นลำโพงอัจฉริยะในบ้านของคุณ นอกจากชุดอุปกรณ์แล้ว ยังมีลำโพง Grove - Temperature & Humidity Sensor (SHT31), Grove - Relay และ pegboard สำหรับแขวนไว้บนผนังหรือสร้างขาตั้งที่สวยงาม

แต่นั่นไม่ใช่ทั้งหมด! ชุดดาวเทียมโต้ตอบด้วยเสียงจะขยายสถานีฐานของคุณเพื่อไปยังแต่ละห้องในบ้านของคุณ และอนุญาตให้คุณโต้ตอบกับฮาร์ดแวร์ตามตำแหน่งที่คุณออกคำสั่งของคุณ!

ชุดนี้ประกอบด้วยบอร์ด Raspberry Pi3 B+, ReSpeaker 2-Mics Pi HAT, Grove – Relay, Grove - Temperature&Humidity Sensor (SHT31), Speaker 6 Ohm 2W, MicroSD Card, Power adapter with Micro USB connector, Grove cable x 2, Acrylic Base แผงหน้าปัด.

ขั้นตอนการประกอบ: (เนื้อหาจาก SNIPS) ภาพต่อไปนี้เป็นภาพรวมของชิ้นส่วนประกอบ

ที่นี่ชิ้นส่วนประกอบจะติดตั้งอยู่บนแผงฐาน

จากนั้นจึงติดตั้งชิ้นส่วนอิเล็กทรอนิกส์ทั้งหมดบนบอร์ด

หลังจากนั้นติดตั้งฝาครอบป้องกันอะคริลิกที่ด้านบนของ Grove -Relay

2 ส่วนนี้ใช้ทำชุดคิทเป็นขาตั้งโต๊ะ

ในที่สุด คุณก็พร้อมที่จะเล่นกับ Snips แล้ว

ชุดนี้มีการจัดวางสองวิธี สามารถวางบนพื้นผิวแนวนอนเช่นขาตั้งหรือแขวนบนผนังโดยใช้สายไฟหรือด้าย โปรดใช้ความระมัดระวังกับรีเลย์เมื่อเปิดเครื่องเนื่องจากแรงดันไฟฟ้าในการทำงานจะสูง

หมายเหตุ: เรายังมี Snips Voice Interaction Satellite Kit ซึ่งมี Raspberry Pi zero แทนที่ Raspberry Pi 3B+

ขั้นตอนที่ 4: เชื่อมต่อกับ Snips AI (โครงการพื้นฐาน)

• จ่ายไฟให้กับชุดอุปกรณ์โดยใช้อะแดปเตอร์จ่ายไฟเริ่มต้นในชุดหรือใช้อะแดปเตอร์ DC 5V-2A พร้อมขั้วต่อ Micro USB
• ขั้นตอนต่อไปคือการติดตั้งตัวช่วย Snips ลงใน Raspberry Pi เพื่อประหยัดเวลาในการตั้งค่า การ์ด MicroSD ในชุดอุปกรณ์ได้รับการแฟลชด้วยอิมเมจระบบที่ใช้งานได้เต็มรูปแบบ ซึ่งหมายความว่าผู้ช่วย Snips พร้อมสำหรับคำเรียกของคุณ
• เราขอแนะนำให้คุณศึกษาคู่มือการติดตั้งทีละขั้นตอนโดยไปที่ https://docs.snips.ai/getting-started/quick-start… และเรียนรู้เครื่องมือ sam ในบรรทัดคำสั่ง
• เรียกผู้ช่วยโดยพูดว่า "Hey-snips" และทำตามคำสั่ง:

คุณสามารถค้นหาวิดีโอของตัวอย่างที่ติดตั้งไว้ล่วงหน้าในชุดฐาน Snips Voice Interaction ด้านล่าง

ขั้นตอนที่ 5: การเชื่อมต่อกับ Snips AI (Project AI)

นี่คือวิธีการทำงาน ขั้นแรก เราใช้คำสั่งให้ดำเนินการเพื่อเริ่มต้นการจดจำ Snips เข้าใจประโยคโดยใช้ Snips NLU และกำหนดเจตนา ถัดไปโดยใช้เจตนา แยกช่องตามลำดับ ด้วยรหัสการดำเนินการ เราตั้งโปรแกรมการตอบสนองของ AI ตามลำดับช่อง

ขั้นตอนที่ 6: การสร้างแอพและความตั้งใจ

• สร้างผู้ช่วย ในกรณีของฉัน ฉันได้สร้างผู้ช่วยที่ชื่อ JARVIS และคำที่นิยม JARVIS
• สร้างแอปพลิเคชันแบบกำหนดเองหรือสำหรับผู้เริ่มต้นใช้แอปพลิเคชันจากไลบรารี
• ฉันได้สร้างแอปพลิเคชั่นชื่อ Words
• สร้างความตั้งใจและเริ่มฝึก AI สิ่งนี้มีบทบาทสำคัญในการทำให้ AI ของคุณแข็งแกร่ง ฝึกฝนด้วยปัจจัยการผลิตที่เป็นไปได้ทั้งหมด
• สร้างช่องเพื่อระบุคำ วางช่องไว้ที่วลีที่ต้องการของประโยค สำหรับตัวอย่างของฉัน คำที่กำหนดคือชื่อช่องและเน้นด้วยสีน้ำเงิน
• เมื่อเสร็จแล้ว ASR ที่กำหนดเองของคุณจะพร้อม ลองกับอินพุต เราสามารถค้นหาคำตอบได้ที่ด้านขวาของคุณ ด้านล่างผู้ช่วย ซึ่งจะให้การแยกมูลค่าดิบ ชื่อเจตนา และช่อง
• กำหนดสล็อตพร้อมตัวอย่างเพิ่มเติมตามที่ระบุด้านล่าง
• สุดท้าย ปรับใช้ผู้ช่วยของคุณเพื่อสัมผัสประสบการณ์ AI ในแบบของคุณ

ขั้นตอนที่ 7: เบิร์น Raspbian ลงในการ์ด SD

Raspbian คือตัวเลือกการกระจาย Linux ที่ทำงานบน Raspberry Pi ในคู่มือนี้ เราจะใช้เวอร์ชัน Lite แต่เวอร์ชันเดสก์ท็อป (ซึ่งมาพร้อมกับสภาพแวดล้อมแบบกราฟิก) ก็สามารถใช้ได้เช่นกัน

• ดาวน์โหลด Etcher และติดตั้ง
• เชื่อมต่อเครื่องอ่านการ์ด SD กับการ์ด SD ด้านใน
• เปิด Etcher แล้วเลือกไฟล์ Raspberry Pi.img หรือ.zip จากฮาร์ดไดรฟ์ที่คุณต้องการเขียนลงในการ์ด SD
• เลือกการ์ด SD ที่คุณต้องการเขียนภาพของคุณ
• ตรวจสอบการเลือกของคุณและคลิก 'Flash!' เพื่อเริ่มเขียนข้อมูลลงในการ์ด SD

เชื่อมต่ออุปกรณ์กับเครือข่ายของคุณ

• เปิดใช้งานการเข้าถึง SSH โดยเพิ่ม ssh ไฟล์เปล่า วางอีกครั้งที่รูทของวอลลุมสำหรับบูทบนการ์ด SD ของคุณ
• ใส่การ์ด SD ลงใน Raspberry Pi มันจะบูตในเวลาประมาณ 20 วินาที ตอนนี้คุณควรมีสิทธิ์เข้าถึง SSH สำหรับ Raspberry Pi ของคุณ โดยค่าเริ่มต้น ชื่อโฮสต์จะเป็น raspberrypi.local บนคอมพิวเตอร์ของคุณ ให้เปิดหน้าต่างเทอร์มินัลแล้วพิมพ์ดังต่อไปนี้:

ssh [email protected]

รหัสผ่านเริ่มต้นคือราสเบอร์รี่

ขั้นตอนที่ 8: ติดตั้งแพลตฟอร์ม Snips

หากคุณยังไม่ได้ติดตั้ง ให้ติดตั้ง Sam Command Line Interface บนคอมพิวเตอร์ของคุณ เปิดหน้าต่างเทอร์มินัลแล้วป้อน:

sudo npm install -g snips-samor npm install -g snips-sam //Windows

ค้นหา Raspberry Pi ของคุณบนเครือข่ายโดยเรียกใช้:

อุปกรณ์แซม

ถัดไป สร้างการเชื่อมต่อกับอุปกรณ์ คุณจะได้รับแจ้งชื่อผู้ใช้และรหัสผ่านของอุปกรณ์ (ค่าเริ่มต้นคือ pi และ raspberry ตามลำดับ):

แซม คอนเนค

ตอนนี้เราพร้อมที่จะติดตั้งแพลตฟอร์ม Snips บน Raspberry Pi แล้ว ป้อนคำสั่ง:

sam init

ขั้นตอนที่ 9: กำหนดค่าฮาร์ดแวร์

แซมมีคำสั่งบางอย่างเพื่อตั้งค่าและกำหนดค่าส่วนประกอบฮาร์ดแวร์อย่างง่ายดาย ในส่วนนี้เราจะตั้งค่าลำโพงและไมโครโฟน ขึ้นอยู่กับการตั้งค่าของคุณ การกำหนดค่าแบบกำหนดเองบางอย่างต้องทำ

แซมตั้งค่าเสียง

ทดสอบลำโพง

หากต้องการตรวจสอบว่าลำโพงทำงานหรือไม่ ให้เรียกใช้

แซมลำโพงทดสอบ

หากทุกอย่างทำงานได้ดี คุณควรได้ยินเสียงพูดสองสามคำจากลำโพง กำหนดค่าไมโครโฟน คุณสามารถตรวจสอบว่าไมโครโฟนของคุณใช้งานได้:

แซมทดสอบไมโครโฟน

สมมติว่าคุณมีลำโพง หากคุณสามารถได้ยินสิ่งที่คุณเพิ่งพูดได้อย่างชัดเจน คุณสามารถดำเนินการต่อได้โดยไม่ต้องกำหนดค่าไมโครโฟนเพิ่มเติม

เมื่อคุณพอใจที่การตั้งค่าฮาร์ดแวร์ของคุณใช้งานได้ คุณก็พร้อมที่จะไปยังขั้นตอนถัดไป ซึ่งคุณจะปรับใช้ผู้ช่วยคนแรกของคุณ

ขั้นตอนที่ 10: การนำเข้าโมเดล AI จากคอนโซล

เมื่อคุณสร้างผู้ช่วยของคุณจากขั้นตอนก่อนหน้านี้แล้ว ให้เข้าสู่ระบบคอนโซลจากหน้าต่างเทอร์มินัลโดยเรียกใช้:

sam เข้าสู่ระบบ

คุณจะถูกขอให้ป้อนข้อมูลประจำตัว Snips Console ของคุณ

ถัดไป ติดตั้งผู้ช่วย:

ผู้ช่วยติดตั้งแซม

หากคุณได้สร้างผู้ช่วยหลายคนในคอนโซล ระบบจะขอให้คุณเลือกตัวช่วยที่จะติดตั้งจากรายการ

ขั้นตอนที่ 11: รหัสตัวจัดการและการดำเนินการ

เพื่อให้ Raspberry Pi ตอบสนอง เราจะต้องเขียนโค้ดตัวจัดการ นี่คือรหัสที่ดำเนินการเมื่อมีเหตุการณ์บางอย่างเกิดขึ้นบนแพลตฟอร์ม Snips เช่น เมื่อตรวจพบความตั้งใจ

คุณมีวิธีการต่างๆ ในการสร้าง Handler ขึ้นอยู่กับการทำงาน

สร้างโฟลเดอร์ในคอมพิวเตอร์ของคุณซึ่งคุณต้องการเก็บรหัสตัวจัดการของคุณ จากหน้าต่างเทอร์มินัล เปลี่ยนเป็นไดเร็กทอรีนั้น และป้อน:

npm init

สิ่งนี้จะสร้างไฟล์ชื่อ package.json ซึ่งมีคำอธิบายโปรเจ็กต์ การขึ้นต่อกัน และอื่นๆ ถัดไป เพิ่มการพึ่งพาแพ็คเกจ mqtt:

npm ติดตั้ง mqtt --save

ตอนนี้ สร้างไฟล์ชื่อ index.js และวางโค้ดต่อไปนี้ แทนที่ตัวแปรชื่อโฮสต์ด้วยชื่อโฮสต์ของ Raspberry Pi ของคุณ (หากแตกต่างจาก raspberrypi เริ่มต้น):

var mqtt = ต้องการ ('mqtt');

var ชื่อโฮสต์ = "mqtt://raspberrypi.local"; ไคลเอ็นต์ var = mqtt.connect (ชื่อโฮสต์); client.on('connect', function () { console.log ("[Snips Log] เชื่อมต่อกับโบรกเกอร์ MQTT แล้ว " + ชื่อโฮสต์); client.subscribe ('hermes/#'); }); client.on ('message', ฟังก์ชัน (หัวข้อ, ข้อความ) { if (topic === "hermes/asr/startListening") { onListeningStateChanged (true); } else if (topic === "hermes/asr/stopListening") { onListeningStateChanged(false); } else if (topic.match(/hermes\/hotword\/.+\/detected/g) !== null) { onHotwordDetected() } else if (topic.match(/hermes) /intent\/.+/g) !== null) { onIntentDetected (JSON.parse (ข้อความ)); } }); ฟังก์ชั่น onIntentDetected (เจตนา) { console.log ("[บันทึก Snips] ตรวจพบเจตนา: " + JSON.stringify (เจตนา)); } ฟังก์ชั่น onHotwordDetected () { console.log ("[บันทึกย่อบันทึก] ตรวจพบคำที่นิยม"); } ฟังก์ชั่น onListeningStateChanged (ฟัง) { console.log ("[Snips Log] " + (ฟัง ? "เริ่ม": "หยุด") + " กำลังฟัง"); }

เรียกใช้รหัสนี้โดยใช้โหนด:

โหนด index.js

คุณควรเห็นข้อความของการเชื่อมต่อที่ประสบความสำเร็จกับโบรกเกอร์ Snips MQTT เช่นเคย ให้โต้ตอบด้วยเสียงกับ Raspberry Pi ของคุณ:

เฮ้ สนิปส์ อากาศที่เจนไนเป็นอย่างไรบ้าง

คุณควรเห็นบันทึกกำลังอัปเดต:

[บันทึกสนิป] เชื่อมต่อกับโบรกเกอร์ MQTT mqtt://raspberrypi.local

[บันทึก Snips] ตรวจพบ Hotword [บันทึก Snips] เริ่มฟัง [บันทึก Snips] หยุดฟัง [บันทึก Snips] ตรวจพบเจตนา: {"sessionId":"c84b5aa5-3f14-4218-975e-8872b9217933", "customData":null, "siteId ": "default", "input":"สภาพอากาศในเจนไน", "intent":{"intentName":"searchWeatherForecast", "probability":0.73845243}, "slots":[{"rawValue":" chennai", "value":{"kind":"Custom", "value":"chennai"}, "range":{"start":44, "end":53}, "entity":"locality", "slotName":"forecast_locality"}]}

ขั้นตอนที่ 12: การแก้ไขปัญหา

ลบผู้ช่วยก่อนหน้าถ้ามี

$ sudo rm -rf /usr/share/snips/assistant/

ในการเปลี่ยนไดเร็กทอรีเป็น Assistant

cd /var/lib/snips/skills/

ในการโคลนเนื้อหาของ repo ไปยังท้องถิ่น

git โคลน

วิธีเรียกใช้สคริปต์ setup.sh

./setup.sh

เปิดใช้งานสภาพแวดล้อมเสมือน

แหล่งที่มา venv/bin/activate

เรียกใช้รหัสการกระทำ

./action-.py

ในการอนุญาตให้ใช้ Python Script

chmod +x การกระทำ-.py

ขั้นตอนที่ 13: สิ่งที่แนบมา

• ฉันเคยใช้กล่องหุ้มที่ได้รับการจัดอันดับ IP สำหรับโปรเจ็กต์นี้
• ขั้นแรก ฉันทำรูที่จำเป็นในการติดตั้งวงจรและช่องเสียบสำหรับสายไฟและสาย HDMI
• จากนั้นฉันก็วาง Raspberry Pi ทั้งหมดไว้ในกล่องหุ้มแล้วขันให้แน่น
• ฉันทำช่องเล็กๆ สำหรับลำโพงและไมโครโฟน แล้วปิดโดยใช้แผ่นอะครีลิกชิ้นเล็กๆ
• เชื่อมต่อลำโพงเข้ากับหมวก ReSpeaker อย่างแน่นหนา
• สุดท้าย สกรูทั้งหมดติดตั้งอย่างแน่นหนา และเสียบสายไฟผ่านช่องเสียบ
• นี่คือลักษณะของ AI ในที่สุด:D

ขั้นตอนที่ 14: การทำงานของ AI

คุณสามารถค้นหาข้อมูลที่ตรวจสอบโดยใช้ Snips-watch

ตอนนี้เป็นเวลาฉาย ฉันเริ่มสร้างด้วย AI ทักทายอย่างง่าย มีลักษณะการทำงาน

Trainer AI ได้รับการตั้งโปรแกรมสำหรับคำที่จำกัด สามารถขยายได้โดยมีการปรับเปลี่ยนเล็กน้อย ช่วยให้นักเรียนจดจำความหมายได้เร็วกว่าวิธีการแบบเดิม

Kind Attention: โครงการนี้ได้รับการฝึกฝนประมาณ 25 คำโดยประมาณ สามารถขยายเพิ่มเติมได้โดยทำการปรับแต่งเล็กน้อยในโค้ดการดำเนินการ

คุณสามารถค้นหาสคริปต์การดำเนินการบน Github Repository ของฉันที่แนบมา

โครงการ Repo สำหรับการทักทาย AI -

โครงการ Repo สำหรับ Trainer AI -

ลิงก์ไปยังแอปพลิเคชันของฉัน:

การตั้งค่าทั้งหมดมีราคาประมาณ 115 ดอลลาร์ซึ่งสามารถซื้อได้จาก SNIPS และโซลูชันนี้มีราคาถูกและมีประสิทธิภาพมากเมื่อเทียบกับวิธีการแบบเดิม มีการทดสอบมากกว่า 100,000 ครั้งในอินเดียและผลิตภัณฑ์นี้จะเป็นอาหารเสริมที่ดีที่สุดสำหรับผู้สอบ GRE

ยกนิ้วให้ถ้ามันช่วยคุณได้จริงๆ และติดตามช่องของฉันสำหรับโครงการที่น่าสนใจ:) แชร์วิดีโอนี้หากคุณต้องการ ดีใจที่มีคุณสมัครรับข่าวสาร: https://console.snips.ai/store/en/skill_xBKlxnE5K… ขอบคุณสำหรับการอ่าน!