STEM - การควบคุมด้วยเสียงและภาพ: 13 ขั้นตอน

2024 ผู้เขียน: John Day | [email protected]. แก้ไขล่าสุด: 2024-01-30 13:07

ในช่วงไม่กี่ปีที่ผ่านมา การทำบางสิ่งด้วยการจดจำเสียงหรือภาพทำได้ง่ายขึ้น ทั้งสองถูกใช้มากขึ้นเรื่อย ๆ ในปัจจุบัน และนี่เป็นหัวข้อยอดนิยมในโครงการ DIY ส่วนใหญ่สร้างด้วยซอฟต์แวร์/API จากบริษัทใดบริษัทหนึ่งต่อไปนี้:

• Google วอยซ์
• อเมซอน อเล็กซ่า.
• บริการทางปัญญาของ Microsoft

มีแม้กระทั่งชุดอุปกรณ์ DIY เช่น Google AIY Voice Kit เพื่อรองรับผู้ที่ชอบทำงานอดิเรก ผลิตภัณฑ์เหล่านี้ส่วนใหญ่ใช้ Raspberry Pi หรือบอร์ดที่คล้ายกัน น่าเสียดายที่สิ่งนี้ไม่เหมาะสำหรับผู้ที่ไม่ทราบวิธีจัดการภาษาโปรแกรมเช่น Python

คำแนะนำนี้เกี่ยวกับการจดจำเสียงและ OCR ของภาพโดยไม่มีความรู้ภาษาการเขียนโปรแกรม อย่างไรก็ตาม การคิดเชิงตรรกะยังคงเป็นข้อกำหนด ด้วยเหตุนี้จึงใช้ผลิตภัณฑ์ Makeblock Neuron ร่วมกับสภาพแวดล้อมการเขียนโปรแกรมแบบโฟลว์

ผลิตภัณฑ์ Neuron นี้เริ่มต้นจากโครงการ Kickstarter ในปี 2560 เป็นแพลตฟอร์ม Electronic Building Block โดยใช้ 'บล็อก' อิเล็กทรอนิกส์ทุกประเภทซึ่งสามารถเชื่อมต่อด้วยขั้วต่อแม่เหล็ก และมีความหมายโดยทั่วไปว่าเป็นผลิตภัณฑ์ STEM (วิทยาศาสตร์ เทคโนโลยี วิศวกรรม และคณิตศาสตร์) ผลิตภัณฑ์นี้จึงมุ่งเน้นไปที่การคิดเชิงตรรกะและ (เรียนรู้) ในการเขียนโปรแกรม

มีบล็อคเซลล์ประสาทประมาณ 30 ชนิด เช่นเครื่องส่งและตัวรับสัญญาณประเภทต่างๆ ปุ่ม LED เซ็นเซอร์และมอเตอร์ บล็อกส่วนใหญ่สื่อสารกันเท่านั้น แต่หนึ่งในบล็อก บล็อก WiFi สามารถเชื่อมต่อกับอินเทอร์เน็ตได้ ทำให้สามารถเข้าถึงแอปพลิเคชันอินเทอร์เน็ต เช่น Microsoft Cognitive Services

ขั้นตอนแรกของคำแนะนำนี้เริ่มต้นด้วยการแนะนำสั้น ๆ เกี่ยวกับผลิตภัณฑ์ Neuron และวิธีการตั้งโปรแกรม ซึ่งรวมถึงการเขียนโปรแกรมแบบโฟลว์และส่วนประกอบอิเล็กทรอนิกส์บางส่วนที่พร้อมใช้งาน ตามด้วยตัวอย่างบางส่วนด้วยการมองเห็นและการรู้จำเสียง และในที่สุดหุ่นยนต์เต่าตัวเล็ก ซึ่งสามารถควบคุมจากระยะไกลได้โดยใช้จอยสติ๊ก สามารถใช้การจดจำเสียงกับหุ่นยนต์ตัวนี้ได้ อย่างไรก็ตาม ต้องคำนึงถึงเวลาตอบสนองของการควบคุมด้วยเสียงด้วย

นอกจากนี้ยังมีข้อมูลทางเทคนิคเพิ่มเติมบางประการ ขั้นตอนเหล่านี้ให้ข้อมูลพื้นฐานและให้ข้อมูลเชิงลึกเกี่ยวกับผลิตภัณฑ์ Neuron

G o s e A d e m a

ขั้นตอนที่ 1: Neuron Explorer Kit

บล็อกเซลล์ประสาทเป็นเหมือนอิฐอิเล็กทรอนิกส์ และสีของแต่ละเซลล์ประสาทแสดงว่าเป็นหน้าที่หลัก บล็อกพลังงานและการสื่อสารเป็นสีเขียว บล็อคอินพุตเป็นสีเหลือง บล็อคควบคุมเป็นสีส้ม และบล็อคเอาต์พุตจะเป็นสีน้ำเงิน เซลล์ประสาทแต่ละเซลล์มีหน้าที่เฉพาะของตัวเอง และพวกเขาเริ่มสื่อสารกันเมื่อเชื่อมต่อถึงกัน

ผลิตภัณฑ์เริ่มต้นเป็นโครงการ Kickstarter ในเดือนเมษายน 2017 และคำแนะนำนี้ใช้ Explorer Kit ชุดนี้ประกอบด้วยส่วนต่างๆ ดังต่อไปนี้:

• WiFi (เซลล์ประสาท)
• พลัง (เซลล์ประสาท)
• ไมโครโฟนและลำโพง (USB)
• แผงไฟ LED 8x8 RGB (นีออน)
• จอยสติ๊ก (เซลล์ประสาท)
• ลูกบิด (เซลล์ประสาท)
• ไดร์เวอร์ Led Strip (เซลล์ประสาท)
• แถบไฟ LED 50 ซม. (15 LEDs)
• ตัวขับมอเตอร์ DC คู่ (เซลล์ประสาท)
• มอเตอร์กระแสตรง (2x)
• ขายึดมอเตอร์ (2x)
• ล้อ (2x)
• ล้อมินิ
• ไดร์เวอร์เซอร์โวมอเตอร์คู่ (เซลล์ประสาท)
• เซอร์โวมอเตอร์ (2x)
• การรู้จำเสียง (เซลล์ประสาท)
• เซ็นเซอร์อุตตราโซนิก (เซลล์ประสาท)
• เครื่องส่งสัญญาณไร้สาย (เซลล์ประสาท)
• ตัวรับสัญญาณไร้สาย (เซลล์ประสาท)
• กล้อง (USB)
• ตัวชี้เลเซอร์
• กระดานประสาท (4x)
• ลวดแม่เหล็ก 10 ซม. (2x)
• ลวดแม่เหล็ก 20 ซม. (2x)
• สายไมโคร USB 20 ซม. (2x)
• สายไมโคร USB 100 ซม. (2x)

ชุดนี้ประกอบด้วยชิ้นส่วนอิเล็กทรอนิกส์ทั้งหมดสำหรับโครงการ STEM ทุกประเภท จุดโฟกัสหลักดูเหมือนว่าจะสร้างหุ่นยนต์ขนาดเล็ก แต่การจดจำกล้องและเสียงทำให้มีความเป็นไปได้มากกว่าแค่หุ่นยนต์

เซลล์ประสาทแต่ละเซลล์มีแม่เหล็ก และสามารถวางบนวัตถุที่เป็นโลหะหรือบนแผงเซลล์ประสาทที่จัดมาให้

ส่วนเดียวที่ "หายไป" ใน Explorer Kit นี้คือเซ็นเซอร์ติดตามสาย นี่เป็นส่วนหนึ่งของชุด "All in One" เซ็นเซอร์นี้จะเป็นทางเลือกที่สมเหตุสมผลมากกว่า แทนที่จะเป็นแถบ LED หรือเมทริกซ์ LED

ขั้นตอนที่ 2: Neuron Blocks

แพ็คเกจ Neuron หลายชุดถูกขายผ่านแคมเปญ Kickstarter และในขณะนี้ แพ็คเกจแรกก็มีวางจำหน่ายตามปกติแล้ว

มีบล็อกต่างๆ ประมาณ 30 บล็อก ซึ่งสามารถเชื่อมต่อกันด้วยขั้วต่อแม่เหล็ก สิ่งนี้จะสร้างแนวบล็อก ที่สื่อสารกันผ่าน App (Android, iOS)

มีบล็อกไฟแบบชาร์จใหม่ได้ซึ่งจะจ่ายไฟให้กับบล็อกที่เชื่อมต่อทั้งหมด และบล็อกการสื่อสารทั้งหมดมีขั้วต่อไมโคร USB ซึ่งสามารถใช้เพื่อจ่ายไฟให้กับบล็อกได้ โซ่มักจะเริ่มต้นด้วยบล็อกการสื่อสาร และหากไม่ได้ใช้พลังงานจาก USB บล็อกถัดไปควรเป็นบล็อกพลังงาน

พลังงานที่บล็อกการสื่อสารมีสีเขียวและมี 5 อย่าง:

• พลัง.
• ตัวรับสัญญาณไร้สาย
• เครื่องส่งสัญญาณไร้สาย
• อินเตอร์เน็ตไร้สาย
• บลูทู ธ.

โปรแกรม App และ Scratch ต้องใช้การเชื่อมต่อ WiFi หรือ BlueTooth สามารถใช้บล็อกไร้สาย 2 บล็อกสำหรับโครงการควบคุมระยะไกลในระยะทางสั้น ๆ

Explorer Kit ประกอบด้วยบล็อคควบคุมสีส้มสามบล็อค:

• ลูกบิด.
• จอยสติ๊ก
• การจดจำเสียง

และเซ็นเซอร์สีเหลืองสองตัว:

• กล้อง
• เซ็นเซอร์อัลตราโซนิก

บล็อกควบคุมและเซ็นเซอร์ให้อินพุตสำหรับโปรแกรมของคุณ ลูกบิดให้ค่าระหว่าง 0 ถึง 100 และสามารถใช้เป็นสวิตช์หรี่ไฟหรือเพื่อควบคุมความเร็วของมอเตอร์ได้ จอยสติ๊กให้ค่าสองค่าระหว่าง -100 และ 100 หนึ่งค่าสำหรับแต่ละทิศทาง เซ็นเซอร์อัลตราโซนิกวัดระยะทางเป็นเซนติเมตร ค่าเอาต์พุตอยู่ระหว่าง 0 ถึง 400

บล็อคเอาท์พุตสีน้ำเงินห้าบล็อคในชุดอุปกรณ์นี้คือ:

• ตัวขับแถบ LED + แถบ LED
• แผงไฟ LED
• ตัวขับมอเตอร์กระแสตรง
• เซอร์โวมอเตอร์ไดร์เวอร์
• ไมโครโฟนและลำโพง

บล็อกเอาต์พุตมีความหลากหลายมาก สิ่งนี้ทำให้มีโครงการหลายประเภท เช่นเดียวกับหลอดไฟ LED หุ่นยนต์เคลื่อนที่และ/หรือเครื่องบันทึกเสียง

บล็อค Neuron ทั้งหมดแสดงอยู่ในหน้า Kickstarter

ขั้นตอนที่ 3: การเขียนโปรแกรมเซลล์ประสาท

มีหลายวิธีในการใช้บล็อก Neuron

1. ออฟไลน์
2. ออนไลน์ด้วยแอพ
3. ออนไลน์กับ mBlock Scratch

ออฟไลน์นำเสนอวิธีง่ายๆ ในการแนะนำส่วนต่างๆ สิ่งนี้ไม่จำเป็นต้องมีการเขียนโปรแกรม การเขียนโปรแกรมออนไลน์สามารถทำได้ด้วยแอพ (Android/iOS) หรือโปรแกรมคอมพิวเตอร์ (mBlock 4.0) บล็อก WiFi มีความสามารถในการบันทึกโปรแกรม โปรแกรมนี้จะทำงานต่อไปจนกว่าแอปจะหยุดทำงาน

แอปนี้ใช้งานง่ายกว่าซอฟต์แวร์ mBlock 4.0 และขณะนี้ไม่มีบล็อก Neuron ทั้งหมดอยู่ในซอฟต์แวร์ mBlock

มีการ์ดพร้อมโปรเจ็กต์ตัวอย่างในกล่อง Neuron สิ่งเหล่านี้สามารถนำมารวมกันด้วยความช่วยเหลือของแอพและแสดงหลักการพื้นฐานของบล็อคต่างๆ

ขั้นตอนที่ 4: โหมดออฟไลน์

โหมดนี้มีไว้เพื่อทำความคุ้นเคยกับผลิตภัณฑ์เป็นหลัก และไม่ต้องมีการตั้งโปรแกรมใดๆ

เซ็นเซอร์ของบล็อกเอาต์พุตแต่ละตัวสามารถให้เอาต์พุตไปยังบล็อกที่ติดอยู่ทางด้านขวา และแต่ละช่องแสดงผลสามารถรับสัญญาณอินพุตจากด้านซ้ายได้ ให้ผลลัพธ์; และส่งสัญญาณอินพุตไปยังบล็อกเพิ่มเติมที่เชื่อมต่อทางด้านขวา

โดยสิ่งนี้ ห่วงโซ่ออฟไลน์ประกอบด้วยหลายบล็อกในลำดับที่แน่นอนเสมอ: บล็อกพลังงานสีเขียว; บล็อกสีเหลืองหรือสีส้ม (อินพุตหรือตัวควบคุม) และบล็อกเอาต์พุตสีน้ำเงินอย่างน้อยหนึ่งบล็อก และโหมดออฟไลน์นี้ใช้งานได้จากซ้ายไปขวาเท่านั้น (พร้อมตัวอักษรที่อ่านได้)

บล็อกอินพุตหรือตัวควบคุมควบคุมบล็อกเอาต์พุตทั้งหมดต่อไปนี้ และผลลัพธ์ขึ้นอยู่กับประเภทของบล็อกอินพุต ตัวอย่างเช่น ปุ่มหมุนทำหน้าที่เหมือนหรี่ไฟเมื่อเชื่อมต่อกับเมทริกซ์ LED และจอยสติ๊กแสดงทิศทางบนเมทริกซ์ LED สัญญาณจากบล็อกอินพุตหลายช่องไม่สามารถรวมกันในโหมดออฟไลน์ได้ เฉพาะสัญญาณของบล็อกสุดท้ายเท่านั้นที่ส่งผ่านไปยังบล็อกเอาต์พุต

การรวมอินพุตและ/หรือบล็อคควบคุมต้องใช้โหมดออนไลน์ (การเขียนโปรแกรม)

ขั้นตอนที่ 5: การเขียนโปรแกรมตามกระแส

เมื่อบล็อก Neuron เชื่อมต่อกับแท็บเล็ต (iPad) บล็อกดังกล่าวจะทำงานในโหมดออนไลน์โดยอัตโนมัติ ตอนนี้บล็อกที่เชื่อมต่อทั้งหมดสามารถใช้เพื่อโต้ตอบกันได้ ในขณะที่สภาพแวดล้อมของโปรแกรมเพิ่มการดำเนินการทางตรรกะและคณิตศาสตร์

เอกสารเกี่ยวกับการเขียนโปรแกรมบล็อก Neuron มีให้ที่เว็บไซต์ Makeblock นอกจากนี้ยังมีกระดานสนทนาที่ให้ข้อมูลมากมาย เนื่องจากผลิตภัณฑ์นี้ค่อนข้างใหม่ จึงมีการอัปเดตและเพิ่มเติมในเอกสารประกอบเป็นประจำบนเว็บไซต์ Makeblock

แอป Neuron ใช้การเขียนโปรแกรมแบบโฟลว์ นอกจากบล็อก Neuron ที่ให้ค่าเอาต์พุตหรือต้องการค่าอินพุตแล้ว ยังมีโหนดการเขียนโปรแกรมที่แตกต่างกันทุกประเภท สิ่งเหล่านี้แบ่งออกเป็นหลายพื้นที่และถูกวางไว้บนแท็บต่าง ๆ ภายในแอพ ตามค่าเริ่มต้น มี 4 แท็บ:

• ขั้นพื้นฐาน
• การควบคุม
• เวลา
• ขั้นสูง

โหนดการเขียนโปรแกรมเหล่านี้สามารถใช้ได้โดยไม่มีบล็อกของ Neuron

เอกสารประกอบออนไลน์ของ Makeblock แสดงคุณสมบัติของอินเทอร์เฟซแอพ

ตรรกะและคณิตศาสตร์

เหล่านี้เป็นฟังก์ชันพื้นฐาน และมีหนึ่งหรือสองอินพุตและหนึ่งค่าเอาต์พุต มีการคำนวณและการเปรียบเทียบง่ายๆ หลายประการ

ฟังก์ชันสลับจะเปลี่ยนสถานะทุกครั้งที่ได้รับ 'Y'

ตัวเลข

มีโหนดตัวเลขสองโหนด หนึ่งเวอร์ชัน "พื้นฐาน" และหนึ่งเวอร์ชัน "การควบคุม" (อยู่ในแท็บที่ต่างกัน) เวอร์ชันการควบคุมเป็นตัวเลขคงที่ ในขณะที่หมายเลขพื้นฐานมีสถานะ "เปิด" และ "ปิด" ตัวอย่างต่อไปนี้แสดงความแตกต่าง ช่วงเวลาเปิด ('Y') และปิด ('N') ในแต่ละวินาที เอาต์พุตของตัวเลขสีเขียวคือ 5 เมื่ออินพุตเป็น 'Y' มิฉะนั้น ค่าจะเป็น 0

โหนดโค้งแสดงกราฟ ที่เป็นประโยชน์ในการแสดงค่าเอาต์พุตต่างๆ ตัวบ่งชี้ที่มีประโยชน์อื่น ๆ ได้แก่ โหนดป้ายกำกับและตัวบ่งชี้

ลำดับ

ลำดับรันซ้ำหรือเพียงครั้งเดียวเมื่ออินพุตเป็น 'Y' นี้จะช่วยให้ลำดับของการกระทำ

ลำดับจะได้รับสัญญาณเมื่อเปิดสวิตช์ เอาต์พุตของลำดับจะถูกส่งไปยังตัวบ่งชี้

สังเกตสีของเส้น: เส้นสีน้ำเงินแสดงถึงกระแสปัจจุบัน และวงกลมทางด้านขวาของโหนดจะแสดงเอาต์พุตปัจจุบันเสมอ

มาตราส่วน

โหนดมาตราส่วนแปลช่วงอินพุตเป็นช่วงเอาต์พุต ตัวอย่างเช่น 0 ถึง 100 สามารถแปลเป็นค่าระหว่าง 0 ถึง 255

ค่าที่สูงกว่าค่าสูงสุดของช่วงอินพุตส่งผลให้ค่าที่สูงกว่ามาตราส่วนเอาต์พุตสูงสุด! สามารถใช้ตัวกรองเพื่อจำกัดค่าได้

วาล์ว

นี่คือโหนดที่ส่งผ่านค่าอินพุตที่ต่ำกว่าหากค่าอินพุตบนเป็นจริง อธิบายได้ดีที่สุดด้วยตัวอย่าง:

โหนดช่วงเวลาสีเขียวจะสลับระหว่าง 0 ถึง 1 ในแต่ละครึ่งวินาที เอาต์พุตของโหนดนี้จะมองเห็นได้บนกราฟบน โหนดพัลส์สีม่วงให้เอาต์พุตไซนัส โดยมีค่าระหว่าง -255 ถึง 255 ซึ่งแสดงในกราฟด้านล่าง

อินพุตทั้งช่วงและไซนัสสำหรับโหนดวาล์ว และค่าเอาต์พุตคือ 0 เมื่อค่าช่วงเป็น 'N' เมื่อค่าช่วงเป็น 'Y' ค่าเอาต์พุตจะเท่ากับค่าอินพุตไซนัส นี่ทำให้กราฟตรงกลาง

ขั้นตอนที่ 6: ตัวอย่างการไหล

วิธีที่ดีที่สุดในการแสดงโปรแกรมโฟลว์คือการยกตัวอย่าง ตัวอย่างนี้ไม่ใช้บล็อกของ Neuron และทุกคนสามารถตั้งโปรแกรมได้หลังจากดาวน์โหลดแอป เปิดสภาพแวดล้อมโค้ดและสร้างโปรแกรมใหม่ เลือก '(X)' เมื่อถูกถามถึงการเชื่อมต่อ และเริ่มตั้งโปรแกรม

เพียงลากโหนดที่ต้องการลงในพื้นที่โปรแกรมและเชื่อมต่อสายต่างๆ คลิกที่โหนดเพื่อดูความเป็นไปได้ และเพื่อแก้ไขค่า/การตั้งค่า

เอาต์พุตของปุ่มคือ 'N' โดยค่าเริ่มต้น การกดปุ่มจะทำให้ 'Y' เป็นเอาต์พุต ผลลัพธ์นี้จะถูกส่งต่อไปยังเครื่องกำเนิดตัวเลขสุ่ม สิ่งนี้จะสร้างตัวเลขใหม่ (ตั้งแต่ 0 ถึง 100) ทุกครั้งที่อินพุตมีค่า 'Y' และส่งผ่านเอาต์พุตไปยังโหนดถัดไป

โหนดเปรียบเทียบต้องใช้ 2 อินพุตและคืนค่า 'Y' หากตรงตามเงื่อนไข โหนดเปรียบเทียบด้านบนตรวจสอบว่าค่าของพอร์ต A มากกว่าค่าของพอร์ต B หรือไม่ หากเป็นจริง หลอดไฟจะเปลี่ยนเป็นสีเขียว ปัจจุบันโคมด้านล่างเป็นสีเขียว เนื่องจาก 21 อยู่ต่ำกว่า 23

ต้องใช้การฝึกฝนในการเขียนโปรแกรมด้วยวิธีนี้ ข้อได้เปรียบที่สำคัญคือคุณไม่ต้องนึกถึงรูปแบบของโค้ด และแต่ละโหนดจะแสดงค่าเอาต์พุต นอกจากนี้ เส้นสีน้ำเงินแสดงถึงการไหลของข้อมูล

ขั้นตอนที่ 7: การควบคุมภาพ

มีบล็อค Neuron สองบล็อคซึ่งสามารถต่อเข้ากับบล็อค WiFi ได้โดยใช้สาย USB: กล้องและไมโครโฟน/ลำโพง อุปกรณ์ทั้งสองเป็นอุปกรณ์ USB ปกติและสามารถเชื่อมต่อกับพีซีได้ กล้องต้องการไดรเวอร์เพิ่มเติมบางตัว แต่ลำโพงทำงานเหมือนลำโพง USB ปกติ

แท็บกล้องและไอคอนปรากฏขึ้นภายในแอปเมื่อต่อกล้องเข้ากับบล็อก WiFi ไอคอนจะเปิดหน้าต่างแสดงตัวอย่างพร้อมภาพของกล้อง

มีโหนดภาพถ่าย/กล้องอยู่ภายในแท็บกล้อง สิ่งนี้จะถ่ายภาพเมื่อมีสัญญาณอินพุตที่มีค่า 'Y' (จริง) หลังจากวางโหนดนี้ในพื้นที่โปรแกรมแล้ว จะมีสามตัวเลือก (คลิกที่โหนด):

• กรอบรูป
• OCR
• การทดสอบอิโมติคอน

กรอบรูปแสดงผลลัพธ์ของโหนดรูปภาพ สามโหนดถัดไปเป็น "กล้องถ่ายรูป" กล้องจะถ่ายภาพเมื่อกดปุ่ม (ซึ่งจะทำให้ 'Y' เป็นเอาต์พุต) และสิ่งนี้จะแสดงอยู่ในกรอบรูป รูปภาพถูกเก็บไว้ในบล็อก WiFi แต่จะถูกเขียนทับเมื่อถ่ายภาพใหม่

เป็นไปได้ที่จะใช้ตัวจับเวลาเพื่อป้อนข้อมูลไปยังกล้อง แต่อย่าทำให้ช่วงเวลาสั้นเกินไป (> 1 วินาที) มิฉะนั้น บล็อก WiFi ไม่สามารถจัดการข้อมูล และแฮงค์ชั่วขณะหนึ่ง

โหนด OCR แปลรูปภาพเป็นข้อความ นี้ใช้บริการความรู้ความเข้าใจของ Microsoft บล็อก WiFi ต้องเชื่อมต่อกับอินเทอร์เน็ต และแอปต้องเชื่อมต่อกับบล็อก WiFi

โปรแกรมถัดไปจะถ่ายภาพเมื่อกดปุ่ม รูปภาพนี้แสดงและประมวลผลโดยโหนด OCR ผลลัพธ์จะถูกเปรียบเทียบโดยโหนดเปรียบเทียบข้อความสามโหนด สิ่งเหล่านี้ตรวจสอบค่า "หนึ่ง" "สอง" และ "สาม" และแต่ละค่าจะแสดงภาพที่แตกต่างกันบนแผง LED เอาต์พุตของโหนด OCR จะแสดงโดยโหนด "ป้ายกำกับ" ด้วย สิ่งนี้แสดง "ไม่" (เท็จ) เมื่อระบบไม่รู้จักสิ่งใด

เส้นสีน้ำเงินแสดงถึงการไหลของข้อมูลภายในโปรแกรม และ 'Y' และ 'N' หลังจากแต่ละโหนดแสดงถึงค่าเอาต์พุต วิธีนี้ช่วยลดความยุ่งยากในการแก้ไขปัญหาภายในโปรแกรม ขออภัย เอาต์พุตของเมทริกซ์ LED ไม่แสดงในแอพ

ตัวเลือกโหนดกล้องขั้นสุดท้ายคือการทดสอบอิโมติคอน สิ่งนี้แปลใบหน้าบนภาพเป็นอารมณ์

ตัวอย่างข้างต้นนั้นเรียบง่าย แต่แสดงให้เห็นหลักการพื้นฐาน สามารถเพิ่มตรรกะพิเศษและบล็อกเซลล์ประสาทเพื่อสร้างโปรแกรมที่ซับซ้อนมากขึ้น

ขั้นตอนที่ 8: การจดจำเสียง (ไมโครโฟน)

นอกจากกล้องแล้ว ไมโครโฟน/ลำโพง Neuron ยังสามารถเชื่อมต่อกับบล็อก WiFi ได้อีกด้วย สามารถใช้บันทึกและเล่นชิ้นส่วนเสียงได้ การเชื่อมต่อเซลล์ประสาทนี้จะทำให้แท็บ "เสียง" เพิ่มเติมในแอป

โหนดบันทึกจะบันทึกเสียงเฉพาะในกรณีที่อินพุตเป็น "Y" ซึ่งต้องใช้ปุ่มหรือสวิตช์ ส่วนเสียงที่บันทึกคือเอาต์พุตของโหนดบันทึก การเพิ่มโหนด "เล่นเสียง" จะเล่นเอาต์พุตนี้ทันที สามารถใช้ได้ เพื่อทำนกแก้ว:

การคลิกที่โหนดไมโครโฟนจะมี 2 ตัวเลือก: "เสียงเป็นข้อความ" และ "บันทึกบันทึก"

โหนด "บันทึกบันทึก" จะบันทึกไฟล์เสียงบนระบบไฟล์ภายในบล็อก WiFi ไฟล์นี้จะถูกเขียนทับทุกครั้งที่เริ่มการบันทึกใหม่

โหนด "เล่นเสียง" สามารถเล่นเสียงอินพุตได้ แต่ก็สามารถเลือกเอฟเฟกต์เสียงหรือไฟล์ที่บันทึกไว้ได้เช่นกัน ต้องใช้ทริกเกอร์อินพุตเพื่อเริ่มเสียงที่กำหนด และจะหยุดทันทีเมื่ออินพุตเป็น 'N' (เท็จ) ตัวอย่างต่อไปนี้เป็นเครื่องอัดเสียงชนิดหนึ่ง ปุ่มบนทำการบันทึกและปุ่มล่างเล่นการบันทึกนี้

ตัวเลือกเสียงเป็น tekst ของโหนดไมโครโฟนใช้บริการความรู้ความเข้าใจของ Microsoft เพื่อแปลการบันทึกเป็นข้อความ โหนดฉลากสามารถแสดงผลได้ บันทึกและเล่นโหนดเสียงไม่จำเป็นต้องแปลเสียงเป็นข้อความ แต่สิ่งเหล่านี้มีประโยชน์ในระหว่างการตั้งโปรแกรมเพื่อตรวจสอบผลลัพธ์

การดีบักของคุณลักษณะนี้สามารถทำได้โดยลงชื่อเข้าใช้บล็อก WiFi (คุณลักษณะขั้นสูง)

[2018-01-19 23:00:35] [คำเตือน] ตัวจัดการคำขอ 'เซิร์ฟเวอร์เสียง' ถูกเรียก:

เป็นไปได้ที่จะตรวจสอบคำหลายคำ และโหนดเปรียบเทียบทำงานเหมือนกับ OCR ของกล้อง

บางครั้งคำเดียวกันก็ให้ผลลัพธ์ที่แตกต่างกัน ตัวอย่างเช่น "ลาก่อน" อาจให้ค่าใดค่าหนึ่งต่อไปนี้: "ลาก่อน" หรือ "ลาก่อน" สิ่งนี้ต้องการโหนดข้อความหลายโหนดที่มีเอาต์พุตเดียวกัน:

หมายเหตุ: ค่าเริ่มต้นของคำพูดเป็นภาษาข้อความคือภาษาอังกฤษ

ขั้นตอนที่ 9: การรู้จำเสียง (เซลล์ประสาท)

นี่คือเซลล์ประสาทเฉพาะเพื่อแปลงเสียงเป็นข้อความ ยอมรับ 22 คำสั่งที่ฮาร์ดโค้ดอยู่ภายในบล็อกและโค้ด Neuron:

var COMMAND = {'เปิดไฟ': 3, 'Turn Red': 4, 'Turn Blue': 5, 'Turn Green': 6, 'Turn White':7, 'More light':8, 'Less light':9, 'Lights off':10, 'Motor Forward':11, 'Motor Backward':12, 'Speed Up':13, 'Speed Down':14, 'Love':15, 'Smile':16, 'Angry':17, 'Sad': 18, 'ร็อกแอนด์โรล':19, 'Fire Fire':20, 'เริ่มเกม':21, 'Winter is coming':22, 'Start':23, 'Shut down':24};

บล็อกนี้รับเฉพาะภาษาอังกฤษเท่านั้น และต้องใช้การออกเสียงที่ถูกต้อง มีช่องว่างไม่มากสำหรับข้อผิดพลาด และแม้แต่เอาต์พุตเสียงของ Google Voice Translate ก็ไม่ได้เปิดใช้งานคำสั่งที่เกี่ยวข้องเสมอไป แต่การใช้คำพูดของ Google ยังคงเป็นจุดเริ่มต้นที่ดี เริ่มต้นด้วย "Hello Makeblock", "Hello Makeblok" และ/หรือ "Helo makeblok" ตามด้วย "ฤดูหนาวกำลังจะมาถึง" หรือ "เปลี่ยนเป็นสีเขียว"

คำสั่งเหล่านี้ถูกใช้ในโค้ดของอิมเมจแรกในขั้นตอนนี้ ตัวบ่งชี้ทางด้านขวาของโหนดคำสั่งเสียงบนคือ 'Y' (จริง) สิ่งนี้บ่งชี้ว่าคำสั่งนั้นได้รับการยอมรับ

ต้องใช้การฝึกฝนในการทำงานกับเซลล์ประสาทนี้ โชคดีที่บล็อกจะทำซ้ำข้อความหลังจากได้รับข้อความ (มีลำโพงและไมโครโฟน)

ขั้นตอนที่ 10: LEGO Turtle ที่ควบคุมจากระยะไกล

Neuron Explorer Kit ประกอบด้วยมอเตอร์กระแสตรง 2 ตัวและเซอร์โวมอเตอร์ 2 ตัว สิ่งนี้เรียกร้องให้หุ่นยนต์: เต่าสามล้อ ใช้มอเตอร์และล้อจากชุดอุปกรณ์ที่มีชิ้นส่วนเลโก้บางส่วนเป็นโครง

มีคาน 8 อันเป็นวงกลมติดอยู่ที่ด้านบนของเฟรมนี้ คานเหล่านี้รองรับแถบ LED แผงเซลล์ประสาทแม่เหล็กสามแผ่นวางอยู่บนคานทั้ง 8 อัน เหล่านี้ถือส่วนของเซลล์ประสาทต่อไปนี้:

• ตัวรับสัญญาณไร้สาย
• พลัง
• สาย 10 ซม.
• ตัวขับเซอร์โวมอเตอร์
• ตัวขับมอเตอร์กระแสตรง
• ตัวขับแถบ LED
• สาย 10 ซม.

สายเคเบิล 10 ซม. สุดท้ายติดอยู่กับเซ็นเซอร์อัลตราโซนิกซึ่งวางอยู่บนหัวเต่า หัวนี้ประกอบด้วยกระดานแม่เหล็กเซลล์ประสาทที่สี่ ท้ายสุด หางประกอบด้วยเซอร์โวมอเตอร์ โดยมีบีมเลโก้ติดอยู่

ผลลัพธ์จะดูเหมือน "สายไฟและอุปกรณ์อิเล็กทรอนิกส์" เท่านั้น แต่เกราะป้องกันเต่าครอบคลุมอุปกรณ์อิเล็กทรอนิกส์เกือบทั้งหมด

หุ่นยนต์สามารถควบคุมได้ด้วยจอยสติ๊ก สิ่งนี้ต้องใช้บล็อก WiFi (หรือ Bluetooth) จอยสติ๊กและตัวส่งสัญญาณไร้สาย รีโมตคอนโทรลต้องใช้แหล่งพลังงาน USB มีบล็อกพลังงานเพียงอันเดียวซึ่งอยู่ภายในหุ่นยนต์

ภาพแรกแสดงโปรแกรมที่เป็นไปได้สำหรับหุ่นยนต์ตัวนี้ จอยสติ๊กเชื่อมต่อกับบล็อกมอเตอร์กระแสตรง ขึ้น/ลงสำหรับความเร็ว และซ้าย/ขวาสำหรับทิศทาง

เอาต์พุตของเซ็นเซอร์อัลตราโซนิกเปรียบเทียบกับค่า 100 ซม. หากระยะห่างมากกว่า ไฟ LED สีเขียว/สีเหลืองจะแสดงบน LED ทั้งหมด สีจะเปลี่ยนเป็นสีแดง/ส้มเมื่อระยะห่างต่ำกว่า 100 ซม.

ส่วนท้ายใช้โหนดพัลส์ระหว่าง -180 ถึง 180 ฟังก์ชัน ABS ทำให้ค่าลบเป็นบวก ค่านี้ถูกส่งไปยังเซอร์โวมอเตอร์ และหางเริ่มกระดิก

การรวมบล็อคของเซลล์ประสาทและโหนดฟังก์ชันทำให้สามารถเขียนโปรแกรมที่ซับซ้อนมากขึ้นได้ ความเร็วของหางขึ้นอยู่กับความเร็วของหุ่นยนต์ หรือหุ่นยนต์จะหยุดได้หากเซ็นเซอร์อัลตราโซนิกมีขนาดน้อยกว่า 30 ซม.

ขั้นตอนที่ 11: เต่า 2.0

เต่า LEGO รุ่นก่อนสามารถทำให้ง่ายขึ้นได้โดยใช้กระดาษแข็ง/ไม้ ฉันเคยใช้ไม้อัดหนา 8 มม. ใช้จิ๊กซอว์สร้างวงกลมที่มีเส้นผ่านศูนย์กลาง 19 ซม. เจาะรูทั้งหมดด้วยดอกสว่านขนาด 4,8 มม. ใช้สว่านและจิ๊กซอว์เพื่อสร้างช่องสี่เหลี่ยม สำหรับล้อและสายไฟ

ฉันเคยใช้ชิ้นส่วน LEGO เพื่อติดชิ้นส่วน Neuron เข้ากับจานไม้ มีตัวเชื่อมต่อที่ใช้ร่วมกันได้ภายใน Explorer Kit แต่ยังสามารถใช้สลักเกลียว m4 สำหรับการเชื่อมต่อส่วนใหญ่ได้

มอเตอร์ DC สองตัว (พร้อมล้อ) ติดอยู่ที่ด้านล่าง (สี่เหลี่ยมสีแดงเข้ม) เช่นเดียวกับล้อหลัง (สี่เหลี่ยมสีดำ) ลำแสงเทคนิคของ LEGO ใช้สำหรับระยะห่างเพิ่มเติมระหว่างจานและล้อหลัง สี่เหลี่ยมสีม่วงสามช่องมีไว้สำหรับกระดานเซลล์ประสาทแม่เหล็ก กระดานแม่เหล็กเซลล์ประสาทที่สี่ใช้สำหรับเซ็นเซอร์ศีรษะ/อัลตราโซนิก (สี่เหลี่ยมผืนผ้าสีส้ม) วงกลมสีแดงแสดงตำแหน่งของแถบ LED ใช้แถบยางเส้นเล็กๆ (แถบเครื่องทอผ้า) เพื่อยึดแถบ LED

หุ่นยนต์ตัวนี้ใช้รหัสเดียวกับเต่าเลโก้

ขั้นตอนที่ 12: ซอฟต์แวร์ภายใน

การเขียนโปรแกรมบล็อก Neuron เป็นเรื่องง่าย ไม่จำเป็นต้องเขียนโค้ดใดๆ ข้อมูลต่อไปนี้จึงเป็นข้อมูลสำหรับผู้ใช้ขั้นสูงเท่านั้น ให้ข้อมูลเชิงลึกเกี่ยวกับการทำงานของผลิตภัณฑ์ Neuron

หน้า Makeblock Github มีรหัส Neuron คุณสามารถดาวน์โหลดและสำรวจรหัส มันเขียนด้วย Javascript และใช้ nodeJS

บล็อก WiFi ควรเชื่อมต่อกับอินเทอร์เน็ต เมื่อแอปเชื่อมต่อกับ SID ของบล็อก WiFi แอปจะได้รับที่อยู่ IP จากบล็อก WiFi บล็อก WiFi ทำหน้าที่เหมือนเกตเวย์

ที่อยู่ IP ของบล็อก WiFi คือ 192.168.100.1 มีเว็บเซิร์ฟเวอร์ที่ทำงานบนพอร์ต 80 ซึ่งแสดงอินเทอร์เฟซการกำหนดค่า (รหัสผ่าน = makeblock) ซึ่งช่วยให้เปลี่ยนการตั้งค่าและตัวเลือกต่างๆ

คุณสามารถเปลี่ยนเขตเวลาและ/หรือ WiFi SSID ได้ แต่ระวัง มีเอกสารเพียงเล็กน้อยเกี่ยวกับการตั้งค่าอื่นๆ

แท็บบริการ/แชร์เครือข่ายแสดงการแชร์เครือข่ายทั้งหมด ฉันได้ทำการแชร์ "เซิร์ฟเวอร์" เพิ่มเติมในโฟลเดอร์ "/tmp/run/mountd/mmcblk0p1/neurons-server" โฟลเดอร์นี้ (และโฟลเดอร์ย่อย) มีไฟล์บันทึก เสียง และรูปภาพทั้งหมด

ทำให้สามารถเรียกดูไฟล์ทั้งหมดด้วย Windows file explorer ได้ การเปิดแชร์ "\192.168.100.1\Server" จะช่วยให้เข้าถึงไฟล์ทั้งหมดของเอ็นจิน Neuron ในการอ่านและอ่านได้ รวมถึงไฟล์บันทึกของเซิร์ฟเวอร์:

อุปกรณ์ uuid:6A1BC6-AFA-B4B-C1C-FED62004

ลอง mqtt.connect เชื่อมต่อกับ iot cloud ตกลง… [2018-01-19 22:56:43] [WARN] serverLog - ตัวจัดการคำขอ 'เซิร์ฟเวอร์เสียง': {"startRecord"} [2018-01-19 22:56:43 น.] [WARN] serverLog - บันทึกการเริ่มต้น [2018-01-19 22:56:45] [WARN] serverLog - ตัวจัดการคำขอ 'เซิร์ฟเวอร์เสียง': {"stopRecord"} [2018-01-19 22:56:45] [WARN] serverLog - หยุดบันทึก [2018-01-19 22:56:46] [WARN] serverLog - ตัวจัดการคำขอ 'เซิร์ฟเวอร์เสียง': {"speakerRecognize"} ขอผลคำพูด: สวัสดี

ไฟล์ config.js มีการตั้งค่าทั้งหมด ซึ่งรวมถึง Microsoft Keys และระดับบันทึกปัจจุบัน สิ่งเหล่านี้สามารถเปลี่ยนแปลงได้ แต่ให้เก็บสำเนาของไฟล์ต้นฉบับไว้เสมอ

ระดับการบันทึกเริ่มต้นคือ "WARN" สามารถเปลี่ยนแปลงได้เมื่อจำเป็น:

* `loglevel': ระดับบันทึกที่จะตั้งค่า จะไม่พิมพ์บันทึกที่มีลำดับความสำคัญต่ำกว่าที่ตั้งไว้

* ปัจจุบันรองรับระดับบันทึก * **ติดตาม**, * **ดีบัก**, * **ข้อมูล**, * **เตือน**, * **ข้อผิดพลาด**, * **ร้ายแรง**

ฉันได้ทำการแชร์เครือข่ายแบบอ่านอย่างเดียว การแชร์แบบอ่าน-เขียนทำให้สามารถวางรูปภาพ -j.webp

นอกจากนี้ยังมีเซิร์ฟเวอร์ ssh ที่ทำงานที่พอร์ต 22 ซึ่งทำให้สามารถเข้าสู่ระบบในเชลล์ Linux ได้ ใช้ Putty เพื่อเชื่อมต่อกับ 192.168.100.1 และเข้าสู่ระบบด้วยผู้ใช้ root และรหัสผ่าน makeblock แต่ต้องระวังให้มาก

บล็อก WiFi ทำงาน OpenWrt นี่คือการแจกจ่าย Linux สำหรับอุปกรณ์ฝังตัว ซอฟต์แวร์ Neuron อยู่ในไดเร็กทอรี "/tmp/run/mountd/mmcblk0p1/neurons-server"

เป็นไปได้ที่จะตั้งโปรแกรมบล็อก Neuron ส่วนใหญ่ด้วยซอฟต์แวร์ mBlock ต้องใช้ซอฟต์แวร์เวอร์ชัน 4.0.4 บริการของ Microsoft ไม่พร้อมใช้งานในเวอร์ชันเริ่มต้นนี้ สามารถใช้ Neuron การรู้จำเสียงซึ่งไม่ต้องการบริการเหล่านี้ได้ mBlock เวอร์ชัน 5 ไม่รองรับบล็อก Neuron ในขณะนี้ (มกราคม 2018)

บล็อคโค้ด Neuron มีอยู่ในส่วน Robots (สีน้ำเงิน) และซอฟต์แวร์ mBlock มีข้อได้เปรียบที่ไม่เพียงแต่สามารถใช้บล็อกที่เชื่อมต่อได้ มันไม่สมเหตุสมผลเลยที่จะใช้บล็อกที่คุณไม่มี แต่สิ่งนี้ทำให้สามารถเขียนโค้ดได้โดยไม่ต้องเชื่อมต่อบล็อกของ Neuron

ควรเปลี่ยนรหัสผ่านเริ่มต้นเมื่อใช้ Neuron ในเครือข่าย WiFi แบบเปิด

ขั้นตอนที่ 13: ฮาร์ดแวร์ภายใน

ข้อมูลฮาร์ดแวร์นี้ใช้สำหรับข้อมูลพื้นหลังเท่านั้น ยังไม่ได้รับการยืนยันโดย Makeblock!

ฮาร์ดแวร์ส่วนใหญ่จากผลิตภัณฑ์ Makeblock ได้รับการจัดทำเป็นเอกสารไว้อย่างดี แต่ไม่มีข้อมูลฮาร์ดแวร์เกี่ยวกับผลิตภัณฑ์ Neuron มากนัก มีภาพบางภาพใน Kickstarter แต่สิ่งนี้แสดงให้เห็นภายในของต้นแบบ ตัวนี้มีขั้วต่อ USB เพียงตัวเดียว และผลิตภัณฑ์จริงมีขั้วต่อ USB สองตัว

เว็บเซิร์ฟเวอร์ภายในบล็อก WiFi จะเปิดเผยฮาร์ดแวร์จริงที่ใช้สำหรับบล็อกนี้ นี่คือ MediaTek LinkIt Smart 7688 คุณสมบัติหลักของบอร์ดนี้คือ:

• รัน OpenWrt Linux และรองรับการพัฒนาแอปพลิเคชันใน Python, Node.js และภาษาการเขียนโปรแกรม C ดั้งเดิม
• ใช้ MT7688AN เป็น MPU แบบสแตนด์อโลนและรองรับโหมดการทำงานสองโหมด – เกตเวย์ IoT และโหมดอุปกรณ์ IoT
• รองรับ Wi-Fi, โฮสต์ USB และการ์ด SD
• พินเอาต์สำหรับ PWM, I2C, SPI, UART, อีเธอร์เน็ต และ I2S
• รองรับ RAM สูงสุด 256MB พร้อมพื้นที่จัดเก็บการ์ด SD เพิ่มเติม

ระบบไฟล์ Linux แสดงที่เก็บข้อมูลดิสก์ภายใน:

root@makeblock_linkit:~# df -h

ขนาดระบบไฟล์ที่ใช้ พร้อมใช้งาน % ติดตั้งบน rootfs 17.9M 644.0K 17.3M 4% / /dev/root 12.8M 12.8M 0 100% /rom tmpfs 61.7M 812.0K 60.9M 1% /tmp /dev/mtdblock6 17.9M 644.0K 17.3M 4% /โอเวอร์เลย์โอเวอร์เลย์:/โอเวอร์เลย์ 17.9M 644.0K 17.3M 4% / tmpfs 512.0K 0 512.0K 0% /dev /dev/mmcblk0p1 1.8G 101.4M 1.7G 5% /tmp/run/mountd/mmcblk0p1/

มีดิสก์โวลุ่มชื่อ mmcblk01 ภายในบล็อก ชื่อนี้ส่วนใหญ่จะใช้สำหรับการ์ดหน่วยความจำ ดูเหมือนว่ามีการ์ด SD 2 Gbyte ภายใน (1.7 Gbyte + 256 Mbyte สำหรับ LinkIt 7688)

หมุด pogo มีตัวเชื่อมต่อ 4 ตัว: หนึ่งตัวสำหรับ VCC หนึ่งตัวสำหรับกราวด์และอีกสองตัวสำหรับการสื่อสาร บล็อกของ Neuron อาจสื่อสารกับโปรโตคอล I2c จะต้องมีบอร์ดที่เข้ากันได้กับ Arduino ภายในเซลล์ประสาทแต่ละเซลล์