เริ่มต้นใช้งานกล้อง M5StickV AI + IOT: 6 ขั้นตอน (พร้อมรูปภาพ)

2024 ผู้เขียน: John Day | [email protected]. แก้ไขล่าสุด: 2024-01-30 13:04

ภาพรวมโดยย่อ

M5StickV เป็นกล้อง AI + IOT ขนาดเล็กที่มีขนาดเกือบเส้นผ่านศูนย์กลาง 2 เหรียญ ราคาอยู่ที่ประมาณ $27.00 ซึ่งสำหรับกล้องบางตัวอาจดูแพงสำหรับกล้องขนาดเล็กเช่นนี้ แต่ก็มีสเปกที่ดีพอสมควร กล้องนี้ขับเคลื่อนโดยชิป AI แห่งการเรียนรู้ของเครื่องที่ทรงพลังอย่างเหลือเชื่อ Kendryte K210 ซึ่งเป็นระบบประมวลผลแบบ edge-on-chip พร้อมด้วย CPU RISC-V แบบดูอัลคอร์ 64 บิต และโปรเซสเซอร์เครือข่ายประสาทที่ล้ำสมัย ซึ่งทำให้กล้องสมบูรณ์แบบและพร้อมใช้งาน ใช้สำหรับ:

• การจดจำใบหน้า/การตรวจจับ
• การตรวจจับ/จำแนกวัตถุ
• รับขนาดและพิกัดของเป้าหมายแบบเรียลไทม์
• ได้รับประเภทของเป้าหมายที่ตรวจพบในเวลาจริง
• การจดจำรูปร่าง
• เกมจำลอง

M5StickV มาในแพ็คเกจที่ดีซึ่งประกอบด้วย M5StickV และสาย USB-A to USB-C

คุณสมบัติของฮาร์ดแวร์

SoC – Kendryte K210 dual-core 64-bit RISC-V processor @ 400MHz พร้อมด้วย FPU dual-precision อิสระคู่, 8MB on-chip SRAM, Neural Network Processor (KPU) @ 0.8Tops, Field-Programmable IO Array (FPIOA) และ มากกว่า

• พื้นที่เก็บข้อมูล – แฟลช 16MB, ช่องเสียบการ์ด microSD
• จอแสดงผล - จอแสดงผล SPI ขนาด 1.14 นิ้ว ความละเอียด 240×135 (ไดรเวอร์ ST7789)
• กล้อง – กล้อง VGA (640×480) ผ่านเซ็นเซอร์ OV7740
• เสียง – MAX98357 เครื่องขยายเสียงโมโน, ลำโพง
• เซนเซอร์ – MPU6886 ไจโรสโคป 3 แกน, มาตรความเร่ง 3 แกน
• USB – 1x พอร์ต USB-C สำหรับจ่ายไฟและตั้งโปรแกรม
• เบ็ดเตล็ด – ปุ่มด้านหน้าและด้านข้าง (A / B), ปุ่มเปิดปิด, RGBW LED
• ส่วนขยาย – พอร์ต “CONNEXT” 4 พิน
• พาวเวอร์ซัพพลาย
• แบตเตอรี่ 200 mAh
• AXP192 PMIC

สามารถดูข้อกำหนดโดยละเอียดเพิ่มเติมได้จากเว็บไซต์ทางการของ M5Stack ก่อนอื่นเราต้องดาวน์โหลดเฟิร์มแวร์เวอร์ชันล่าสุด

ขั้นตอนที่ 1: วิธีเบิร์นเฟิร์มแวร์บน M5StickV

• เชื่อมต่อ M5StickV กับคอมพิวเตอร์ผ่านสาย Type-C
• ดาวน์โหลดเฟิร์มแวร์ล่าสุดสำหรับ M5StickV จากลิงค์นี้

สำหรับ Windows:

มี 3 วิธีในการเขียนเฟิร์มแวร์สำหรับระบบปฏิบัติการ Windows:

การใช้เครื่องมือ EasyLoader

1. เลือกพอร์ต COM ที่เหมาะสม
2. กดเบิร์น
3. หลังจากอัปเดตเฟิร์มแวร์เสร็จแล้ว คุณจะเห็นว่าเบิร์นสำเร็จแล้ว

การใช้ Kflash GUI

1. เปิดเฟิร์มแวร์ที่ดาวน์โหลดโดยใช้ปุ่มเปิดไฟล์
2. เลือกบอร์ดเป็น M5StickV
3. คลิกดาวน์โหลด

การใช้พรอมต์คำสั่ง

• ตรวจสอบพอร์ต COM สำหรับ M5StickV ของคุณที่ Device Manager ของ Windows
• บน Windows คุณต้องมี Python3 ที่ติดตั้ง pip3 และแพ็คเกจ pyserial ด้วย คุณสามารถดาวน์โหลด Python เวอร์ชันล่าสุดได้จากเว็บไซต์ทางการ
• เปิดพรอมต์คำสั่งในฐานะผู้ดูแลระบบ แล้วพิมพ์คำสั่งต่อไปนี้

pip3 ติดตั้ง kflash

หลังจากติดตั้งเสร็จแล้ว ให้รันคำสั่งต่อไปนี้

kflash.exe -p COM3 M5StickV_Firmware_1022_beta.kfpkg

สำหรับลินุกซ์:

• การใช้ Kflash GUI
• การใช้เทอร์มินัล

รันคำสั่งต่อไปนี้บนเทอร์มินัล:

sudo pip3 ติดตั้ง kflash

การใช้อิมเมจเฟิร์มแวร์เบิร์น Kflash

sudo kflash -b 150,000 -B goE M5StickV_Firmware_1022_beta.kfpkg

สำหรับ MacOS:

เปิดเทอร์มินัลแล้วรันคำสั่งต่อไปนี้

sudo pip3 ติดตั้ง kflash

หากคุณได้รับข้อผิดพลาดหลังการติดตั้ง ให้ลองใช้คำสั่งต่อไปนี้:

sudo python -m pip ติดตั้ง kflash

sudo python3 -m pip ติดตั้ง kflash sudo pip ติดตั้ง kflash sudo pip2 ติดตั้ง kflash

ป้อนคำสั่งต่อไปนี้

sudo kflash -b 150,000 -B goE M5StickV_Firmware_1022_beta.kfpkg

ขั้นตอนที่ 2: การบูต M5stickV เป็นครั้งแรก

สำหรับ MacOS และ Linux:

1. เปิดเทอร์มินัล ติดตั้งยูทิลิตี้หน้าจอสำหรับ MacOS และ Linux
2. สามารถติดตั้งได้โดยคำสั่งต่อไปนี้:

หน้าจอ sudo apt-get ติดตั้ง

การใช้ยูทิลิตี้หน้าจอเชื่อมต่อกับ M5stickV ผ่านการสื่อสารแบบอนุกรม

หน้าจอ sudo /dev/ttyUSB0 115200

มันจะพิมพ์:

[MAIXPY]Pll0:freq:832000000[MAIXPY]Pll1:freq:398666666 [MAIXPY]Pll2:freq:45066666 [MAIXPY]cpu:freq:416000000 [MAIXPY]kpu:freq:398666666 [MAIXPY]Flash:0xc8:0x17 เปิดวินาที แกนหลัก… gc heap=0x80215060-0x80295060 [MaixPy] init end _ _ _ _ _ _ _ _ | \/ | /\ |_ _| / \ / / | _ / \ / / / | / / | / / | | / V / | |_) | / \_/ / | | |\/| | //\ / | | > < | _/ / / | | | | / _ / _| |_ /. / | | | | |_| |_| /_/ \_\ |_| /_/ \_\ |_| |_| M5StickV โดย M5Stack: https://m5stack.com/ M5StickV Wiki: https://m5stack.com/ Co-op by Sipeed: https://m5stack.com/ [MAIXPY]: result = 0 [MAIXPY]: numchannels = 1 [MAIXPY]: samplerate = 44100 [MAIXPY]: byterate = 88200 [MAIXPY]: blockalign = 2 [MAIXPY]: bitspersample = 16 [MAIXPY]: datasize = 158760 init i2c2 [MAIXPY]: find ov7740

เมื่อเชื่อมต่อ มันจะเข้าสู่ Maixpy UI โดยอัตโนมัติ ขณะนี้อุปกรณ์กำลังเรียกใช้รหัสโปรแกรมเริ่มต้น คุณสามารถยกเลิกได้โดยใช้ Ctrl+C

สำหรับ Windows

1. ดาวน์โหลด PuTTY - ไคลเอ็นต์ SSH และ telnet ฟรีสำหรับ Windows
2. ติดตั้งและเปิด PuTTY
3. เลือกพอร์ต COM และอัตราบอด
4. คลิกปุ่มเปิดและคุณจะส่งออกหน้าจอเดียวกันกับด้านบน
5. ยุติโดย Ctrl+C

ขั้นตอนที่ 3: พิมพ์ตัวอย่าง Hello World บนจอแสดงผลของ M5StickV

ป้อนคำสั่งต่อไปนี้ในเทอร์มินัลของ MacOS และ Linux สำหรับ Windows ให้ใช้ PuTTY

นำเข้า lcdlcd.init() lcd.draw_string(100, 100, "hello world", lcd. RED, lcd. BLACK)

ขั้นตอนที่ 4: MaixPy IDE

MaixPY IDE เป็นเวอร์ชันโคลนของ OpenMV IDE M5StickV รองรับสภาพแวดล้อมการพัฒนา OpenMV และ MicroPython

• ดาวน์โหลด MaixPy IDE จากที่นี่
• ติดตั้ง MaixPy IDE
• เปิดตัว MaixPy IDE
• เลือกรุ่นของบอร์ดพัฒนา - Tools-> Select Board-> M5StickV
• คลิกปุ่มเชื่อมต่อสีเขียวที่มุมล่างซ้ายและเลือกพอร์ตการเชื่อมต่ออนุกรม USB คลิกตกลง
• เมื่อปุ่มเชื่อมต่อเปลี่ยนจากสีเขียวเป็นสีแดง แสดงว่าเชื่อมต่อสำเร็จแล้ว
• คลิกปุ่มเรียกใช้ที่มุมล่างซ้ายเพื่อรันโค้ดและยืนยัน
• คลิกแท็บเทอร์มินัลอนุกรมด้านล่าง
• สุดท้าย คุณจะเห็นผลลัพธ์ในหน้าต่าง MaxPy

ขั้นตอนที่ 5: การตรวจจับใบหน้าโดยใช้ M5StickV

• โดยค่าเริ่มต้น โมเดลการตรวจจับใบหน้าและรหัสโปรแกรมได้รับการติดตั้งไว้ล่วงหน้าแล้ว นี่คือวิธีการทำงาน
• ตัวอย่างการตรวจจับใบหน้าทำงานได้ดีทีเดียว
• เพื่อให้สามารถใช้โมเดลอื่นได้ เราจำเป็นต้องเบิร์นมันลงในหน่วยความจำแฟลชของ M5StickV โดยใช้ kflash_gui สามารถดาวน์โหลดรุ่นอื่นๆ ได้จากที่นี่ มีโมเดลที่ฝึกฝนไว้ล่วงหน้าแล้วคือ mobilenet ซึ่งได้รับการฝึกฝนล่วงหน้าเพื่อจดจำวัตถุ 1,000 ชิ้น สามารถตรวจจับวัตถุในชีวิตประจำวันจำนวนมากได้อย่างง่ายดาย
• คัดลอกโค้ดด้านล่างลงใน MaixPy IDE

นำเข้าเซ็นเซอร์นำเข้ารูปภาพนำเข้า KPU เป็น kpu sensor.reset() sensor.set_pixformat(sensor. RGB565) sensor.set_framesize(sensor. QVGA) sensor.run(1) task = kpu.load(0x30000) anchor = (1.889, 2.5245, 2.9465, 3.94056, 3.99987, 5.3658, 5.155437, 6.92275, 6.718375, 9.01025) a = kpu.init_yolo2(task, 0.5, 0.3, 5, anchor) while(True): img = sensor.snapshot() code = kpu.run_yolo2(task, img) ถ้ารหัส: สำหรับฉันในรหัส: print(i) a = img.draw_rectangle(i.rect()) a = kpu.deinit(task)

• กดปุ่ม Run และบอร์ดจะแสดงวิดีโอสดจากกล้องไปที่ MaixPyIDE
• ความแม่นยำค่อนข้างดีเมื่อพิจารณาว่าเราใช้งานบนกระดานราคา $27 นี่เป็นสิ่งที่น่าประทับใจและปฏิวัติวงการอย่างแท้จริง

ขั้นตอนที่ 6: บทสรุป

บอร์ดนี้ไม่เหมาะ แต่ขาดอินพุตแบบอะนาล็อก ไมโครโฟน WiFi และ Bluetooth อย่างไรก็ตาม เป็นกล้องที่ยอดเยี่ยมที่มีความสามารถด้าน AI ที่สามารถใช้สำหรับการจดจำใบหน้า การตรวจจับวัตถุหรือรูปร่าง และกิจกรรมการตรวจจับอื่นๆ อีกมากมาย นอกจากนี้ ยังเป็นชุดเครื่องมือสำหรับนักพัฒนาที่ยอดเยี่ยมในการเริ่มต้นใช้งาน Kendryte K210 RISC-V core

ฉันหวังว่าคุณจะพบว่าคู่มือนี้มีประโยชน์และขอขอบคุณที่อ่าน หากคุณมีคำถามหรือข้อเสนอแนะ? แสดงความคิดเห็นด้านล่าง คอยติดตาม!