โมเดล 3 มิติจากฟุตเทจ Freestyle Drone: 4 ขั้นตอน

2024 ผู้เขียน: John Day | [email protected]. แก้ไขล่าสุด: 2024-01-30 13:07

การถ่ายวิดีโอด้วยโดรนได้ระเบิดขึ้นอย่างมากในช่วงไม่กี่ปีที่ผ่านมา และมีนักบินที่มีความสามารถจำนวนมากที่สร้างวิดีโอกายกรรมมากที่สุดโดยใช้ควอดคอปเตอร์และชุดหูฟังแบบมุมมองบุคคลที่หนึ่ง จอห์นนี่ เอฟพีพี น้องชายของฉันเป็นหนึ่งในนักบินเหล่านี้ ดังนั้นฉันจึงต้องการดูว่าเป็นไปได้ไหมที่จะสร้างสภาพแวดล้อมที่เขาบินเข้าไปใหม่จากฟุตเทจฟรีสไตล์ของเขา

ฟุตเทจที่ถูกล็อคโดยยึดจุดสนใจที่มั่นคงและมั่นคงสามารถสร้างโมเดล 3 มิติที่มีความเที่ยงตรงสูงได้อย่างแน่นอน ตามที่กล่าวไว้ในที่นี้ แต่จะเกิดอะไรขึ้นเมื่อฟุตเทจมีความตื่นเต้นเช่นนี้

ขั้นตอนที่ 1: ประมวลผลวิดีโอของคุณล่วงหน้า

เมื่อคุณได้ฟุตเทจทางอากาศแล้ว จำเป็นต้องมีการประมวลผลล่วงหน้า ฉันใช้ Adobe Media Encoder แต่ซอฟต์แวร์ตัดต่อวิดีโอเกือบทั้งหมดควรดูแลสิ่งนี้ได้

ฉันเลือกคลิปสั้นๆ (~11 วินาที) และเปลี่ยนอัตราเฟรมจาก 29.77 เป็น 30fps และบันทึกวิดีโอใหม่ลงในโฟลเดอร์ที่ต้องการ

ต่อไป ฉันใช้ FFMPEG เพื่อส่งออกทุกเฟรมของวิดีโอเป็น-j.webp

คำแนะนำที่ดีในการติดตั้ง FFMPEG มีให้ที่นี่

คุณจะต้องเปลี่ยนไดเร็กทอรีของคุณเป็นตำแหน่งของไฟล์รูปภาพ (cd) จากนั้นใช้สคริปต์ต่อไปนี้:

ffmpeg -i (ชื่อไฟล์วิดีโอของคุณ) -vf fps = 15 exp%03d.jpg

การเปลี่ยน fps จะเปลี่ยนจำนวนภาพที่ส่งออกต่อวินาทีของวิดีโอโดยธรรมชาติ สิ่งนี้ย้อนกลับไปที่สาเหตุที่ฉันเปลี่ยน fps ของวิดีโอจาก 29.97 เป็น 30- ที่จับภาพได้ 15 ภาพต่อวินาที ตอนนี้จะดึงเฟรมอื่นๆ ทุกเฟรมจากวิดีโอได้อย่างง่ายดาย หากคุณต้องการทุกๆ เฟรมที่หก คุณต้องตั้งค่าเป็น 5 fps… เป็นต้น

"exp%03d.jpg" จะส่งผลให้รูปภาพถูกบันทึกเป็น exp000-j.webp

(หมายเหตุ: "ffmpeg -i (ชื่อไฟล์วิดีโอของคุณ) -r (framerate) -f image2 exp%03d.jpg" ยังใช้งานได้สำหรับการแยกเฟรมจากวิดีโอ แต่ด้วยเหตุผลใดก็ตาม ฉันได้รับ point clouds ที่ดีขึ้นจากภาพที่ประมวลผลใน วิธีเดิม)

ขั้นตอนที่ 2: นำเข้ารูปภาพและสร้าง Point Cloud

เมื่อคุณได้ชุดรูปภาพแล้ว คุณสามารถเริ่มเวิร์กโฟลว์โฟโตแกรมเมทรีแบบปกติได้ ฉันใช้ Agisoft PhotoScanPro แต่โปรแกรมอื่นๆ เช่น Autodesk Remake น่าจะประสบความสำเร็จเท่ากัน (ถ้าไม่มากกว่านั้น)

หลังจากนำเข้ารูปภาพของฉันแล้ว ฉันยังตั้งค่าการปรับเทียบกล้องเป็น Fisheye เนื่องจากฟุตเทจนี้มาจาก GoPro ประมวลผลไม่กี่นาทีต่อมา และข้อมูล 3 มิติก็เริ่มปรากฏขึ้น! point cloud อาจดูไม่มากนัก และประกอบด้วยจุดเพียงไม่กี่พันจุด ดังนั้นจึงยังไม่เพียงพอสำหรับการคำนวณเมช จากนี้ไป ฉันได้สร้างจุดคลาวด์ที่หนาแน่น และตอนนี้มีจุดที่ต้องใช้งานประมาณ 200,000 จุด

ขั้นตอนที่ 3: สร้างตาข่าย

ตอนนี้เรามีจุดที่ต้องใช้งานทั้งหมดแล้ว ก็สามารถคำนวณเมชได้ ฉันกำลังใช้จำนวนใบหน้าที่ค่อนข้างสูงและเปิดใช้งานการแก้ไข ซึ่งจะทำให้ตาข่าย "คลุมเครือ" ขึ้นเล็กน้อย แต่จะมีพื้นผิวและรูที่ขาดหายไปในตาข่ายในตอนท้ายน้อยกว่ามาก หลังจากประมวลผลไม่กี่นาที เราก็เริ่มได้ผลลัพธ์ที่คล้ายกับสถาปัตยกรรมที่โดรนกำลังบินอยู่!

ขั้นตอนที่ 4: พื้นผิวและผลลัพธ์สุดท้าย

Photoscan ยังช่วยให้คุณสร้างพื้นผิวสำหรับตาข่ายของคุณจากภาพที่ป้อนเข้าไป ซึ่งให้รายละเอียดขั้นสุดท้ายสำหรับโมเดล ฉันมีความรู้สึกผสมปนเปเกี่ยวกับผลลัพธ์ของกระบวนการนี้ (มีวิธีที่ดีกว่าในการสร้างแบบจำลองที่แม่นยำ) แต่โดยรวมแล้ว ฉันคิดว่ามันน่าทึ่งมากที่โมเดลใดๆ ก็ตามสามารถออกมาจากฟุตเทจที่น่ากลัวได้!

แนวทางเพิ่มเติมที่ฉันอาจใช้ในโครงการนี้อาจเป็นการทำให้พื้นผิวหนาขึ้นเป็นแบบจำลองกันน้ำสำหรับการพิมพ์ 3 มิติ หรืออาจกลายเป็นส่วนหนึ่งของภูมิทัศน์ VR แบบเซอร์เรียลลิสต์