โดรนอัตโนมัติพร้อมกล้องอินฟราเรดเพื่อช่วยเหลือผู้ตอบสนองครั้งแรก: 7 ขั้นตอน

2024 ผู้เขียน: John Day | [email protected]. แก้ไขล่าสุด: 2024-01-30 13:04

ตามรายงานขององค์การอนามัยโลก ทุกๆ ปี ภัยธรรมชาติคร่าชีวิตผู้คนไปประมาณ 90,000 คน และส่งผลกระทบต่อผู้คนเกือบ 160 ล้านคนทั่วโลก ภัยธรรมชาติ ได้แก่ แผ่นดินไหว สึนามิ ภูเขาไฟระเบิด ดินถล่ม พายุเฮอริเคน น้ำท่วม ไฟป่า คลื่นความร้อน และภัยแล้ง เวลามีความสำคัญเนื่องจากโอกาสของการเอาชีวิตรอดเริ่มลดลงทุกนาทีที่ผ่านไป ผู้เผชิญเหตุครั้งแรกอาจประสบปัญหาในการหาผู้รอดชีวิตในบ้านที่ได้รับความเสียหายและเสี่ยงชีวิตขณะค้นหาพวกเขา การมีระบบที่สามารถระบุตำแหน่งผู้คนได้จากระยะไกลจะเพิ่มความเร็วอย่างมากในการที่เจ้าหน้าที่กู้ภัยในเบื้องต้นจะสามารถอพยพพวกเขาออกจากอาคารได้ หลังจากค้นคว้าระบบอื่น ๆ ฉันพบว่าบางบริษัทได้สร้างหุ่นยนต์ที่ทำงานบนบกหรือได้สร้างโดรนที่สามารถติดตามผู้คนได้ แต่ทำงานนอกอาคารเท่านั้น การรวมกันของกล้องความลึกและกล้องอินฟราเรดพิเศษช่วยให้สามารถติดตามพื้นที่ในร่มได้อย่างแม่นยำและตรวจจับการเปลี่ยนแปลงของอุณหภูมิที่เป็นตัวแทนของไฟ คน และสัตว์ การใช้เซ็นเซอร์ด้วยอัลกอริธึมแบบกำหนดเองบนอากาศยานไร้คนขับ (UAV) จะสามารถตรวจสอบบ้านเรือนโดยอัตโนมัติและระบุตำแหน่งของผู้คนและสัตว์เพื่อช่วยชีวิตพวกเขาได้โดยเร็วที่สุด

โปรดลงคะแนนให้ฉันในการประกวด Optics!

ขั้นตอนที่ 1: ข้อกำหนดการออกแบบ

หลังจากค้นคว้าเทคโนโลยีที่มีอยู่ ฉันได้หารือเกี่ยวกับวิธีแก้ปัญหาที่เป็นไปได้กับผู้เชี่ยวชาญด้านวิชันซิสเต็มและผู้เผชิญเหตุคนแรกเพื่อค้นหาวิธีที่ดีที่สุดในการตรวจจับผู้รอดชีวิตในพื้นที่อันตราย ข้อมูลด้านล่างแสดงรายการคุณสมบัติที่สำคัญที่สุดที่จำเป็นและองค์ประกอบการออกแบบสำหรับระบบ

• การประมวลผลด้วยภาพ - ระบบจำเป็นต้องให้ความเร็วในการประมวลผลที่รวดเร็วสำหรับข้อมูลที่แลกเปลี่ยนระหว่างเซ็นเซอร์และการตอบสนองของปัญญาประดิษฐ์ (AI) ตัวอย่างเช่น ระบบจำเป็นต้องสามารถตรวจจับกำแพงและสิ่งกีดขวางเพื่อหลีกเลี่ยงสิ่งกีดขวางได้ในขณะเดียวกันก็ค้นหาผู้คนที่ตกอยู่ในอันตรายด้วย
• อิสระ - ระบบจะต้องสามารถทำงานได้โดยไม่ต้องรับข้อมูลจากผู้ใช้หรือผู้ปฏิบัติงาน บุคลากรที่มีประสบการณ์ขั้นต่ำเกี่ยวกับเทคโนโลยี UAV ควรจะสามารถกดปุ่มหนึ่งหรือสองสามปุ่มเพื่อให้ระบบเริ่มสแกนด้วยตัวเอง
• พิสัย - พิสัยคือระยะห่างระหว่างระบบกับอ็อบเจ็กต์อื่นๆ ทั้งหมดในบริเวณใกล้เคียง ระบบควรสามารถตรวจจับทางเดินและทางเข้าได้ในระยะอย่างน้อย 5 เมตร ช่วงต่ำสุดที่เหมาะคือ 0.25 ม. เพื่อให้สามารถตรวจจับวัตถุที่อยู่ใกล้ได้ ยิ่งช่วงการตรวจจับกว้าง เวลาในการตรวจจับผู้รอดชีวิตก็ยิ่งสั้นลง
• ความแม่นยำในการนำทางและการตรวจจับ - ระบบควรจะสามารถค้นหาทางเข้าทั้งหมดได้อย่างแม่นยำและไม่ชนวัตถุใด ๆ ในขณะที่ยังตรวจจับลักษณะที่ปรากฏอย่างกะทันหันของวัตถุ ระบบจำเป็นต้องค้นหาความแตกต่างระหว่างคนกับวัตถุไม่มีชีวิตผ่านเซ็นเซอร์ต่างๆ
• ระยะเวลาการทำงาน - ระบบควรใช้งานได้นาน 10 นาทีหรือนานกว่านั้นขึ้นอยู่กับจำนวนห้องที่ต้องการสแกน
• ความเร็ว - ควรจะสามารถสแกนอาคารทั้งหลังได้ภายในเวลาไม่ถึง 10 นาที

ขั้นตอนที่ 2: การเลือกอุปกรณ์: วิธีการเคลื่อนย้าย

ควอดคอปเตอร์ได้รับเลือกให้เหนือกว่ารถควบคุมระยะไกล เพราะถึงแม้ควอดคอปเตอร์จะบอบบาง แต่ก็สามารถควบคุมและเปลี่ยนความสูงได้ง่ายกว่าเพื่อหลีกเลี่ยงสิ่งกีดขวาง Quadcopter สามารถจับเซ็นเซอร์ทั้งหมดและทำให้เสถียรเพื่อให้มีความแม่นยำมากขึ้นในขณะที่เคลื่อนที่ไปรอบ ๆ ห้องต่างๆ ใบพัดทำจากคาร์บอนไฟเบอร์ที่ทนความร้อน เซ็นเซอร์ส่งตรงจากผนังเพื่อป้องกันอุบัติเหตุ

• ยานพาหนะทางบกรีโมทคอนโทรล

  • ข้อดี - เคลื่อนที่ได้เร็วโดยไม่ล้มและไม่ได้รับผลกระทบจากอุณหภูมิ
  • ข้อเสีย - รถจะวางเซ็นเซอร์ให้ต่ำลงบนพื้นโดยครอบคลุมพื้นที่น้อยลงในแต่ละครั้งและอาจถูกกีดขวางโดยสิ่งกีดขวาง

• Quadcopter

  • ข้อดี - ยกเซ็นเซอร์ขึ้นไปในอากาศเพื่อชมทิวทัศน์รอบด้านแบบ 360 องศา
  • ข้อเสีย - ถ้าชนกำแพงก็ล้มได้ไม่หาย

ขั้นตอนที่ 3: การเลือกอุปกรณ์: ไมโครคอนโทรลเลอร์

ข้อกำหนดหลักสองประการสำหรับไมโครคอนโทรลเลอร์คือขนาดที่เล็กเพื่อลดน้ำหนักบรรทุกบนควอดคอปเตอร์และความเร็วในการประมวลผลข้อมูลเข้าอย่างรวดเร็ว การผสมผสานระหว่าง Rock64 และ DJI Naza เป็นการผสมผสานที่ลงตัวของไมโครคอนโทรลเลอร์ เนื่องจาก Rock64 มีพลังการประมวลผลเพียงพอที่จะตรวจจับผู้คนได้อย่างรวดเร็ว และป้องกันไม่ให้ quadcopter วิ่งชนกำแพงและสิ่งกีดขวาง DJI Naza ชมเชยได้ดีด้วยการรักษาเสถียรภาพและการควบคุมมอเตอร์ทั้งหมดที่ Rock64 ไม่สามารถทำได้ ไมโครคอนโทรลเลอร์สื่อสารผ่านพอร์ตอนุกรมและอนุญาตให้ผู้ใช้ควบคุมหากจำเป็น Raspberry Pi น่าจะเป็นทางเลือกที่ดี แต่เนื่องจาก Rock64 มีโปรเซสเซอร์ที่ดีกว่าและการเชื่อมต่อกับเซ็นเซอร์ที่แสดงในตารางถัดไปได้ดีขึ้น Pi จึงไม่ถูกเลือก ไม่ได้เลือก Intel Edison และ Pixhawk เนื่องจากขาดการสนับสนุนและการเชื่อมต่อ

• ราสเบอร์รี่ปี่

  • ข้อดี - สามารถตรวจจับกำแพงและวัตถุคงที่
  • ข้อเสีย - มีปัญหาในการติดตามข้อมูลจากเซ็นเซอร์ทั้งหมด จึงไม่สามารถมองเห็นทางเข้าได้เร็วพอ ไม่สามารถส่งสัญญาณมอเตอร์และไม่มีเซ็นเซอร์ที่มีเสถียรภาพสำหรับ quadcopter

• Rock64

  • ข้อดี - สามารถตรวจจับผนังและทางเข้าโดยมีเวลาแฝงเล็กน้อย
  • จุดด้อย - ยังสามารถนำทางระบบไปทั่วทั้งบ้านได้โดยไม่ต้องใช้เซ็นเซอร์ทั้งหมด ไม่สามารถส่งสัญญาณได้เร็วพอที่จะควบคุมความเร็วของมอเตอร์และไม่มีเซ็นเซอร์ที่เสถียรสำหรับควอดคอปเตอร์

• อินเทล เอดิสัน

  • ข้อดี - สามารถตรวจจับผนังและทางเข้าที่มีความล่าช้าบ้าง
  • ข้อเสีย - เทคโนโลยีที่เก่ากว่า เซ็นเซอร์จำนวนมากต้องการไลบรารีใหม่ซึ่งใช้เวลานานมากในการสร้าง
• DJI Naza
  • ข้อดี - มีไจโรสโคป มาตรความเร่ง และแมกนีโตมิเตอร์ ในตัวเพื่อให้ควอดคอปเตอร์มีความเสถียรในอากาศด้วยการปรับความเร็วมอเตอร์เล็กน้อย
  • ข้อเสีย - ไม่สามารถประมวลผลภาพใดๆ ได้

• Pixhawk

  • ข้อดี - กะทัดรัดและเข้ากันได้กับเซ็นเซอร์ที่ใช้ในโครงการโดยใช้ General Purpose Input Output (GPIO)
  • ข้อเสีย - ไม่สามารถประมวลผลภาพใดๆ ได้

ขั้นตอนที่ 4: การเลือกอุปกรณ์: เซ็นเซอร์

มีการใช้เซ็นเซอร์หลายตัวร่วมกันเพื่อให้ได้ข้อมูลที่จำเป็นในการค้นหาบุคคลในพื้นที่อันตราย เซ็นเซอร์หลักสองตัวที่เลือก ได้แก่ กล้องอินฟราเรดสเตอริโอควบคู่ไปกับ Sound Navigation And Ranging (SONAR) หลังจากการทดสอบบางอย่าง ฉันได้ตัดสินใจใช้กล้อง Realsense D435 เพราะมันมีขนาดเล็กและสามารถติดตามระยะทางได้อย่างแม่นยำถึง 20 เมตร มันทำงานที่ 90 เฟรมต่อวินาที ซึ่งช่วยให้สามารถทำการวัดได้หลายอย่างก่อนที่จะตัดสินใจว่าวัตถุอยู่ที่ไหนและทิศทางใดที่จะชี้ควอดคอปเตอร์ไป เซ็นเซอร์ SONAR ถูกวางไว้ที่ด้านบนและด้านล่างของระบบเพื่อให้ Quadcopter รู้ว่าอนุญาตให้ขึ้นหรือลงได้สูงหรือต่ำเพียงใดก่อนที่จะสัมผัสกับพื้นผิว นอกจากนี้ยังมีตำแหน่งหนึ่งที่หันไปข้างหน้าเพื่อให้ระบบตรวจจับวัตถุเช่นแก้วซึ่งเซ็นเซอร์กล้องอินฟราเรดสเตอริโอไม่สามารถตรวจจับได้ ตรวจจับคนและสัตว์โดยใช้อัลกอริธึมการรู้จำการเคลื่อนไหวและวัตถุ กล้อง FLIR จะถูกนำมาใช้เพื่อช่วยให้กล้องสเตอริโออินฟราเรดติดตามสิ่งมีชีวิตและสิ่งที่ไม่เป็นไปเพื่อเพิ่มประสิทธิภาพในการสแกนในสภาวะที่ไม่เอื้ออำนวย

• Kinect V1

  • ข้อดี - สามารถติดตามวัตถุ 3D ได้อย่างง่ายดายสูงสุด 6 เมตร
  • จุดด้อย - มีเซ็นเซอร์อินฟราเรดเพียง 1 ตัวและหนักเกินไปสำหรับควอดคอปเตอร์

• Realsense D435

  • ข้อดี - มีกล้องอินฟราเรด 2 ตัว และกล้องสีแดง เขียว น้ำเงิน ลึก (RGB-D) สำหรับการตรวจจับวัตถุ 3D ที่มีความแม่นยำสูงในระยะไกลสูงสุด 25 เมตร ความกว้าง 6 ซม. ช่วยให้ใส่ควอดคอปเตอร์ได้ง่าย
  • ข้อเสีย - ร้อนได้และอาจต้องใช้พัดลมระบายความร้อน

• ลีดาร์

  • ข้อดี - ลำแสงที่สามารถติดตามสถานที่ได้ไกลถึง 40 เมตรในระยะสายตา
  • จุดด้อย - ความร้อนในสภาพแวดล้อมอาจส่งผลต่อความแม่นยำในการวัดค่า

• โซนาร์

  • ข้อดี - ลำแสงที่สามารถติดตามได้ไกล 15 เมตร แต่สามารถตรวจจับวัตถุโปร่งใส เช่น แก้วและอะคริลิกได้
  • จุดด้อย - มีเพียงจุดเดียวในสายตา แต่สามารถเคลื่อนย้ายโดย quadcopter เพื่อสแกนพื้นที่

• Ultrasonic

  • ข้อดี - มีพิสัยถึง 3 ม. และราคาไม่แพงมาก
  • ข้อเสีย - มีจุดเดียวในสายตาและสามารถอยู่นอกระยะการตรวจจับได้ง่ายมาก

• กล้อง FLIR

  • ข้อดี - สามารถถ่ายภาพระยะชัดลึกผ่านควันได้โดยไม่มีการรบกวน และสามารถตรวจจับสิ่งมีชีวิตผ่านสัญญาณความร้อนได้
  • ข้อเสีย - หากมีสิ่งใดรบกวนเซ็นเซอร์ การคำนวณระยะทางอาจคำนวณไม่ถูกต้อง

• เซ็นเซอร์ PIR

  • ข้อดี - สามารถตรวจจับการเปลี่ยนแปลงของอุณหภูมิได้
  • ข้อเสีย - ไม่สามารถระบุได้ว่าความแตกต่างของอุณหภูมิอยู่ที่ใด

ขั้นตอนที่ 5: การเลือกอุปกรณ์: ซอฟต์แวร์

ฉันใช้ Realsense SDK ควบคู่ไปกับระบบปฏิบัติการหุ่นยนต์ (ROS) เพื่อสร้างการผสานรวมที่ราบรื่นระหว่างเซ็นเซอร์ทั้งหมดกับไมโครคอนโทรลเลอร์ SDK ให้กระแสข้อมูลแบบ point cloud ซึ่งเหมาะอย่างยิ่งสำหรับการติดตามวัตถุทั้งหมดและขอบเขตของ quadcopter ROS ช่วยให้ฉันส่งข้อมูลเซ็นเซอร์ทั้งหมดไปยังโปรแกรมที่ฉันสร้างขึ้นซึ่งใช้ปัญญาประดิษฐ์ AI ประกอบด้วยอัลกอริธึมการตรวจจับวัตถุและอัลกอริธึมการตรวจจับการเคลื่อนไหว ซึ่งช่วยให้ quadcopter สามารถค้นหาการเคลื่อนไหวในสภาพแวดล้อมได้ คอนโทรลเลอร์ใช้ Pulse Width Modulation (PWM) เพื่อควบคุมตำแหน่งของ quadcopter

• ฟรีเน็ก

  • ข้อดี - มีระดับการเข้าถึงที่ต่ำกว่าสำหรับการควบคุมทุกอย่าง
  • ข้อเสีย - รองรับ Kinect V1. เท่านั้น

• Realsense SDK

  • ข้อดี - สามารถสร้างข้อมูล point cloud จากสตรีมข้อมูลจาก Realsense Camera. ได้อย่างง่ายดาย
  • ข้อเสีย - รองรับเฉพาะกล้อง Realsense D435

• FLIR ไดร์เวอร์ลินุกซ์

  • ข้อดี - สามารถดึงข้อมูลสตรีมจากกล้อง FLIR
  • ข้อเสีย - เอกสารมีจำกัด

• ระบบปฏิบัติการหุ่นยนต์ (ROS)

  • ข้อดี - ระบบปฏิบัติการที่เหมาะสำหรับการตั้งโปรแกรมฟังก์ชั่นของกล้อง
  • ข้อเสีย - จำเป็นต้องติดตั้งบนการ์ด SD ที่รวดเร็วเพื่อการรวบรวมข้อมูลที่มีประสิทธิภาพ

ขั้นตอนที่ 6: การพัฒนาระบบ

“ดวงตา” ของอุปกรณ์คือเซ็นเซอร์อินฟราเรดสเตอริโอ Realsense D435 ซึ่งเป็นเซ็นเซอร์แบบถอดได้ซึ่งส่วนใหญ่ใช้สำหรับการใช้งานหุ่นยนต์ เช่น การทำแผนที่ 3 มิติ (ภาพที่ 1) เมื่อติดตั้งเซ็นเซอร์นี้บนควอดคอปเตอร์ กล้องอินฟราเรดจะนำทางและปล่อยให้ควอดคอปเตอร์เคลื่อนที่ได้โดยอัตโนมัติ ข้อมูลที่สร้างโดยกล้องเรียกว่า point cloud ซึ่งประกอบด้วยชุดของจุดในพื้นที่ที่มีข้อมูลเกี่ยวกับตำแหน่งของวัตถุบางอย่างในการมองเห็นของกล้อง จุดเมฆนี้สามารถแปลงเป็นแผนที่ความลึกที่แสดงสีเป็นความลึกที่แตกต่างกัน (รูปที่ 2) สีแดงอยู่ไกลออกไป ในขณะที่สีน้ำเงินอยู่ใกล้เมตรกว่า

เพื่อให้แน่ใจว่าระบบนี้ราบรื่น ระบบปฏิบัติการโอเพ่นซอร์สที่เรียกว่า ROS ซึ่งโดยทั่วไปใช้กับหุ่นยนต์จึงถูกนำมาใช้ อนุญาตให้ทำการควบคุมอุปกรณ์ระดับต่ำและเข้าถึงเซ็นเซอร์ทั้งหมดและรวบรวมข้อมูลที่จะใช้โดยโปรแกรมอื่น ROS จะสื่อสารกับ Realsense SDK ซึ่งช่วยให้เปิดและปิดกล้องต่างๆ เพื่อติดตามว่าวัตถุอยู่ห่างจากระบบมากเพียงใด ลิงก์ระหว่างทั้งสองทำให้ฉันสามารถเข้าถึงสตรีมข้อมูลจากกล้องซึ่งสร้าง point cloud ข้อมูลจุดบนคลาวด์สามารถกำหนดว่าขอบเขตและวัตถุอยู่ที่ใดภายใน 30 เมตร และมีความแม่นยำ 2 ซม. เซ็นเซอร์อื่นๆ เช่น เซ็นเซอร์ SONAR และเซ็นเซอร์แบบฝังในตัวควบคุม DJI Naza ช่วยให้จัดตำแหน่ง quadcopter ได้แม่นยำยิ่งขึ้น ซอฟต์แวร์ของฉันใช้อัลกอริธึม AI เพื่อเข้าถึง point cloud และผ่านการโลคัลไลเซชัน สร้างแผนที่ของพื้นที่ทั้งหมดรอบๆ อุปกรณ์ เมื่อระบบเปิดตัวและเริ่มสแกน ระบบจะเดินทางผ่านโถงทางเดินและหาทางเข้าห้องอื่นๆ เพื่อกวาดล้างห้องเพื่อหาคนโดยเฉพาะ ระบบจะทำซ้ำขั้นตอนนี้จนกว่าจะสแกนห้องทั้งหมดแล้ว ปัจจุบัน ควอดคอปเตอร์สามารถบินได้ประมาณ 10 นาที ซึ่งเพียงพอสำหรับการกวาดแบบเต็มรูปแบบ แต่สามารถปรับปรุงได้ด้วยการจัดการแบตเตอรี่ที่แตกต่างกัน ผู้เผชิญเหตุคนแรกจะได้รับการแจ้งเตือนเมื่อมีคนพบเห็น เพื่อให้พวกเขาสามารถมุ่งความสนใจไปที่อาคารที่เลือกได้

ขั้นตอนที่ 7: การอภิปรายและข้อสรุป

หลังจากการทดลองหลายครั้ง ฉันได้สร้างต้นแบบที่ใช้งานได้ซึ่งตรงตามข้อกำหนดที่ระบุไว้ในตารางที่ 1 โดยใช้กล้องอินฟราเรดสเตอริโอ Realsense D435 กับ Realsense SDK แผนผังความลึกที่มีความละเอียดสูงของด้านหน้าของ quadcopter ถูกสร้างขึ้น ตอนแรกฉันมีปัญหาบางอย่างกับกล้องอินฟราเรดที่ไม่สามารถตรวจจับวัตถุบางอย่างเช่นแก้วได้ การเพิ่มเซ็นเซอร์ SONAR ทำให้ฉันสามารถเอาชนะปัญหานี้ได้ การผสมผสานระหว่าง Rock64 และ DJI Naza ประสบผลสำเร็จเนื่องจากระบบสามารถทำให้ควอดคอปเตอร์มีเสถียรภาพในขณะที่สามารถตรวจจับวัตถุและผนังผ่านอัลกอริธึมการมองเห็นด้วยคอมพิวเตอร์ที่สร้างขึ้นเองโดยใช้ OpenCV แม้ว่าระบบปัจจุบันจะใช้งานได้และตรงตามข้อกำหนด แต่ก็อาจได้ประโยชน์จากต้นแบบในอนาคต

ระบบนี้สามารถปรับปรุงได้โดยใช้กล้องคุณภาพสูงขึ้นเพื่อให้สามารถตรวจจับคนได้แม่นยำยิ่งขึ้น กล้อง FLIR ที่มีราคาแพงกว่าบางรุ่นมีความสามารถในการตรวจจับสัญญาณความร้อน ซึ่งช่วยให้ตรวจจับได้แม่นยำยิ่งขึ้น ระบบยังสามารถทำงานได้ในสภาพแวดล้อมที่แตกต่างกัน เช่น ห้องที่มีฝุ่นและเต็มไปด้วยควัน ด้วยเทคโนโลยีใหม่และการป้องกันอัคคีภัย ระบบนี้สามารถส่งไปในบ้านที่ไฟไหม้และตรวจจับได้อย่างรวดเร็วว่าผู้คนอยู่ที่ไหน เพื่อให้หน่วยกู้ภัยในเบื้องต้นสามารถดึงผู้รอดชีวิตจากอันตรายได้

ขอบคุณที่อ่าน! อย่าลืมโหวตให้ฉันในการประกวด Optics!