การใช้โฟโตแกรมเมทรีเพื่อสร้างแบบจำลอง: 9 ขั้นตอน

2024 ผู้เขียน: John Day | [email protected]. แก้ไขล่าสุด: 2024-01-30 13:03

ฉันเป็นใคร?

ฉันชื่อ Samuel Conklin และฉันเป็นนักเรียนปีที่สองที่ E. L. โรงเรียนมัธยมเมเยอร์ส ฉันได้ทดลองใช้ photogrammetry ในช่วงสองสามเดือนที่ผ่านมาและหวังว่าจะช่วยคุณได้หากคุณเลือกที่จะสร้างผลิตภัณฑ์นี้ขึ้นมาใหม่ ฉันสนใจที่จะเห็นว่าคนอื่น ๆ สามารถใช้เทคโนโลยีที่ใหม่และที่พัฒนาตลอดเวลานี้ได้อย่างไร

Virtual Reality และ SteamVR คืออะไร?

Virtual Reality เป็นรูปแบบใหม่ของการแสดงออกทางศิลปะและประสบการณ์ ยังคงเป็นพรมแดนใหม่ของเทคโนโลยีเนื่องจากบริษัทและผู้คนนับไม่ถ้วนทำงานเพื่อปรับปรุงสื่อ คุณกำลังสร้างความเสียหายให้กับตัวเองอย่างมากหากคุณไม่เคยลองใช้ VR มาก่อน เนื่องจากมันปิดบังความรู้สึกของภาพและเสียงของผู้ใช้โดยสิ้นเชิง หนึ่งในแพลตฟอร์มหลักสำหรับ Virtual Reality คือ SteamVR ของ Valve SteamVR ให้ผู้ใช้แบ่งปันสภาพแวดล้อมได้อย่างอิสระและสร้างชิ้นส่วนร่วมกันโดยไม่มีค่าใช้จ่าย ส่วนใหญ่เป็นโอเพ่นซอร์สและอนุญาตให้มีชุดหูฟังมากมาย ซึ่งรวมถึงแต่ไม่จำกัดเฉพาะซีรีส์ HTC Vive, Oculus Rifts, Oculus Quest, Valve Index, Windows Mixed Reality เป็นต้น SteamVR เป็นแพลตฟอร์มที่เราใช้เพื่อสร้างสภาพแวดล้อมของเรา

Photogrammetry คืออะไรและใช้งานอย่างไร?

Photogrammetry เป็นกระบวนการในการถ่ายภาพหรือวิดีโอและเปลี่ยนรูปภาพให้เป็นแบบจำลอง 3 มิติ ตัวอย่างที่มีชื่อเสียงที่สุดในการใช้เทคโนโลยีนี้คือ Google Earth Google ใช้ภาพถ่ายดาวเทียมและมุมมองถนนเพื่อสร้างภูมิทัศน์และอาคารขึ้นใหม่ เมื่อดูจาก Google Earth จะเห็นได้ชัดเจนว่าพวกเขามีภาพให้ใช้งานเพียงไม่กี่ภาพ ดังนั้นอาคารบางหลังจึงดูผิดรูปร่าง เมื่อใช้อย่างถูกต้อง photogrammetry เป็นวิธีที่น่าเชื่อถืออย่างยิ่งในการสร้างแบบจำลอง 3 มิติ โครงการนี้ใช้เทคโนโลยีนี้เพื่อรักษาสถานที่สำคัญทางประวัติศาสตร์ การกัดเซาะและการสัมผัสกับองค์ประกอบต่างๆ หมายความว่าสถานที่สำคัญทางประวัติศาสตร์จะทรุดโทรมในที่สุดและผู้คนจะลืมไป การใช้โฟโตแกรมเมทรีทำให้เราสามารถรักษาทุกอย่างไว้ในรูปแบบดิจิทัล ดังนั้นคนรุ่นต่อๆ ไปจะได้สัมผัสและชื่นชมโครงสร้างเหล่านี้ นอกจากนี้ยังหมายความว่าผู้คนทั่วโลกสามารถสัมผัสกับวัฒนธรรมอื่น ๆ ได้โดยไม่มีค่าใช้จ่ายหรือเสี่ยงต่อการเดินทาง

ฉันต้องการเสบียงอะไรบ้าง?

สำหรับโปรเจ็กต์นี้ ฉันใช้ Reality Capture, SteamVR และ Krita มีโปรแกรม Autodesk, Agisoft และ Zephyr ที่สามารถใช้แทน Reality Capture ได้ หากคุณไม่มี Nvidia GPU ที่จำเป็นในการรัน สามารถใช้ Photoshop หรือโปรแกรมแก้ไขภาพอื่นๆ แทน Krita ได้ แต่เนื่องจากใช้งานฟรีและเป็นสาธารณะ ฉันจึงเลือกใช้สำหรับโครงการนี้ คุณจะต้องใช้ชุดหูฟัง Desktop VR ที่สามารถเสียบเข้ากับคอมพิวเตอร์ของคุณได้โดยตรง สุดท้ายนี้ จำเป็นต้องมีกล้องคุณภาพสูง กล้องมือถือใช้งานได้ดี แต่ฉันใช้ Nikon D7000 เนื่องจาก Reality Capture สามารถตรวจจับรูรับแสงของกล้องได้โดยอัตโนมัติ ซึ่งทำให้ได้รุ่นที่มีคุณภาพสูงขึ้น

ขั้นตอนที่ 1: การถ่ายภาพ

นี่เป็นส่วนที่สำคัญที่สุดของโครงการนี้ เนื่องจากคุณจำเป็นต้องแก้ไขให้ถูกต้องในช็อตเดียว หากคุณไม่ทำเช่นนั้น คุณจะต้องกลับไปที่ตำแหน่งและเก็บทุกอย่างใหม่

ขั้นแรก คุณจะต้องค้นหาตำแหน่งและโครงสร้างที่เหมาะสม โครงสร้างควรมีขนาดใหญ่และสามารถระบุได้ง่าย สิ่งนี้หมายความว่าซอฟต์แวร์ photogrammetry จะสามารถตรวจจับความแตกต่างระหว่างโครงสร้างและพื้นหลังได้

โดยปกติ การถ่ายภาพในวันที่มีเมฆมากเป็นวิธีที่ดีที่สุด นี่เป็นเพราะวันที่แดดจ้ามีโอกาสที่ภาพบางภาพจะเปิดรับแสงมากเกินไปและทำให้ภาพอื่นๆ เปิดรับแสงน้อยเกินไป นอกจากนี้ยังสามารถสร้างเงาที่ไม่ต้องการได้ โมเดลที่มีเงาเพียงเล็กน้อยหรือไม่มีเลยจะทำให้การจัดแสงง่ายขึ้นในส่วนการพัฒนาระดับ นอกจากนี้ ซอฟต์แวร์ยังต้องการความสมดุลของสีให้คงเดิมกับภาพถ่ายทุกภาพ เนื่องจากใช้สีในการคำนวณขนาดของวัตถุ อย่างไรก็ตาม การถ่ายภาพในวันที่มีเมฆมากจะช่วยปรับปรุงคุณภาพของโครงสร้าง เมฆบนท้องฟ้าจะทำหน้าที่เป็นตัวกระจายแสงตามธรรมชาติของกล้อง มันจะกระจายแสงอย่างสม่ำเสมอมากขึ้น และหมายความว่าโมเดลจะมีความแม่นยำในระหว่างกระบวนการเรนเดอร์

คำแนะนำสุดท้ายคือการถ่ายภาพให้ได้มากที่สุด โปรแกรมส่วนใหญ่จะเลือกและเลือกรูปภาพที่จะใช้สำหรับผลิตภัณฑ์ขั้นสุดท้าย เมื่อถ่ายภาพมากขึ้น ทุกอย่างจะแม่นยำยิ่งขึ้นและทำให้โปรแกรมมีพื้นที่หายใจ ฉันมีรูปถ่ายประมาณ 150-300 รูปสำหรับแต่ละรุ่น

ขั้นตอนที่ 2: เริ่มต้นใช้งานซอฟต์แวร์โฟโตแกรมเมทรี

ตอนนี้ เราจะนำเข้ารูปภาพลงในซอฟต์แวร์ โปรดทราบว่า Reality Capture ต้องใช้การ์ดกราฟิก Nvidia คุณไม่สามารถผ่านส่วน Align Images ได้หากไม่มีมัน

หากคุณมีโฟลเดอร์ที่มีรูปภาพทั้งหมดที่คุณต้องการใช้ ให้เลือกตัวเลือกโฟลเดอร์ที่มุมซ้ายบน ซึ่งจะนำคุณไปยัง File Manager และคุณสามารถเลือกโฟลเดอร์ได้ อินพุตจะช่วยให้คุณสามารถเลือกภาพถ่ายแต่ละภาพด้วยตัวจัดการไฟล์

ต่อไป เราจะเริ่มกระบวนการสร้างแบบจำลอง ที่ด้านบนของหน้าจอ ภายใต้เวิร์กโฟลว์ มีส่วนกระบวนการ เราต้องการกดปุ่ม Start ที่ใหญ่ขึ้น การดำเนินการนี้จะเริ่มจัดแนวรูปภาพ ภาพที่สี่แสดงสั้น ๆ ว่าเกิดอะไรขึ้นในระหว่างกระบวนการนี้ มันจะจดจำตาซ้ายของกวางและเปรียบเทียบระยะทางกับภาพถ่ายอื่นๆ จะทำการเปรียบเทียบรูปภาพต่างๆ ต่อไปจนกว่าจะผ่านชุดค่าผสมที่เป็นไปได้ทั้งหมด ขั้นตอนนี้เสร็จสมบูรณ์ หากคุณเห็นจุดเล็กๆ ที่คล้ายกับโครงสร้าง

ขั้นตอนที่ 3: คำนวณและลดความซับซ้อน

ขั้นตอนต่อไปคือการคำนวณแบบจำลอง ในการดำเนินการนี้ เราคลิกที่ คำนวณแบบจำลอง ในส่วน กระบวนการ การดำเนินการนี้จะแปลสิ่งที่พบในรูปภาพโดยตรงเป็นรูปแบบ 3 มิติ ผลลัพธ์ใกล้เคียงกับสิ่งที่เราต้องการให้โมเดลมีหน้าตาอย่างเหมาะสม แต่มีสามประเด็นสำหรับรุ่นของรุ่นนี้ อย่างแรก มีรูในโมเดลที่ไม่ได้อยู่ในโครงสร้างในชีวิตจริง ประการที่สองพื้นผิวเป็นหลุมเป็นบ่อเกินไป เนื่องจากโปรแกรมกำลังประมาณการคำนวณ มันจะทำให้พื้นผิวเรียบเป็นหลุมเป็นบ่ออย่างไม่ถูกต้อง สาม มีสามเหลี่ยมมากเกินไป ทุกโมเดลใน Reality Capture สร้างขึ้นด้วยสามเหลี่ยมขนาดเล็ก สามเหลี่ยมแต่ละอันแสดงถึงพื้นผิวขนาดเล็กของแบบจำลอง เราต้องการสามเหลี่ยมน้อยที่สุดเท่าที่จะทำได้เพื่อปรับโมเดลให้เหมาะสม หากมีรูปสามเหลี่ยมมากเกินไป ก็อาจทำให้เกิดปัญหาด้านประสิทธิภาพได้

ปัญหาเหล่านี้สามารถแก้ไขได้ด้วยเครื่องมือ Simplify โมเดลทั้งหมดจะมีสามเหลี่ยม 3, 000, 000 รูปหลังจากขั้นตอน Calculate Model และเราสามารถเลือกที่จะทำให้ตัวเลขนั้นสูงหรือต่ำลงได้ สำหรับทุกรุ่นที่คล้ายกับที่พบในโครงการนี้ ฉันลดจำนวนสามเหลี่ยมลงเหลือ 1, 000, 000 ผลลัพธ์สามารถพบได้ในภาพที่สอง ซึ่งพื้นผิวที่เป็นหลุมเป็นบ่อทั้งหมดจะเรียบขึ้นและมีรูน้อยลง นอกจากนี้ ด้วยสามเหลี่ยมที่จะแสดงน้อยลง ประสิทธิภาพจะดีขึ้นเมื่อเราเข้าสู่ VR

ขั้นตอนที่ 4: สีและพื้นผิว

ตอนนี้โมเดลจะต้องใช้สีและพื้นผิวเพื่อให้ดูสมจริงยิ่งขึ้น ทั้งสองส่วนนี้มีความคล้ายคลึงกันในสิ่งที่พวกเขาบรรลุ แต่วิธีการทำงานต่างกัน การใช้ Color ซึ่งพบได้ในส่วน Process โปรแกรมจะทำสีในโมเดล เครื่องมือนี้จะถ่ายภาพที่ใช้สร้างแบบจำลองและห่อภาพของคุณไว้รอบพื้นผิวต่างๆ ของแบบจำลองของคุณ ในทางกลับกัน พื้นผิวจะเป็นสีในส่วนที่เรียบง่ายของแบบจำลอง เมื่อดูภาพแรก จะมองเห็นได้ชัดเจนว่าโปรแกรมล้อมรอบภาพไว้อย่างไร แต่ในภาพที่สองหลังจากกระบวนการพื้นผิว ด้านที่คมชัดของภาพจะปรับให้เรียบขึ้น

ขั้นตอนที่ 5: การส่งออกและ SteamVR

ใน Reality Capture เราจะถ่ายโอนโมเดลไปยัง SteamVR ที่ด้านบนของหน้าจอ ภายใต้ ส่งออก ให้เลือก ตาข่าย ซึ่งอยู่ถัดจากส่วน กระบวนการ คุณควรเห็นป๊อปอัปนี้ซึ่งช่วยให้คุณเปลี่ยนการตั้งค่าและพารามิเตอร์ของโมเดลได้ วิธีที่ดีที่สุดคือให้การตั้งค่าทั้งหมดเป็นค่าเริ่มต้น ยกเว้นการเปลี่ยนรูปแบบพื้นผิว JPEG ตอนนี้โปรแกรมจะส่งออกไฟล์ในรูปแบบ OBJ ซึ่งเป็นไฟล์ตาข่าย และ JPEG ซึ่งเป็นไฟล์พื้นผิวสำหรับโมเดล เพื่อวัตถุประสงค์ในการอ้างอิง JPEG ควรมีลักษณะเหมือนภาพที่สองในขั้นตอนนี้

ตอนนี้ เราต้องนำเข้าโมเดลของเราไปยัง SteamVR ขั้นแรก เปิด SteamVR จากนั้นไปที่ Create/Modify an Environment ซึ่งอยู่ใต้แท็บ Workshop เครื่องมือเวิร์กชอป SteamVR จะเปิดขึ้นแล้ว เลือก Create Empty Addon และคลิกที่ Launch Tools

ขณะนี้ Asset Browser จะเปิดขึ้นพร้อมกับวัสดุและรุ่นต่างๆ ที่มีอยู่แล้ว ที่ด้านบนซ้ายมีไอคอนพร้อมสัญลักษณ์ค้อน นี่คือตัวแก้ไข SteamVR Hammer ในตัว ซึ่งช่วยให้คุณสามารถสร้างแผนที่ได้ แผนที่คือสภาพแวดล้อมที่ผู้ใช้ VR จะอาศัยอยู่ระหว่างการเล่นเกม

ขั้นตอนที่ 6: การสร้างแผนที่ SteamVR ของคุณ

เมื่อเปิดโปรแกรมแก้ไข Hammer ใน SteamVR เราสามารถสร้างคิวบ์ได้แล้ว เราต้องการสร้างลูกบาศก์เพื่อเริ่มสร้างสิ่งแวดล้อม โปรแกรมอนุญาตให้คุณเปลี่ยนขนาดของคิวบ์ก่อนที่จะยึดเข้าที่ ขณะนี้ มองเห็นได้เฉพาะพื้นผิวด้านนอกของลูกบาศก์เท่านั้น เมื่อกด CTRL+F พื้นผิวทั้งหมดจะกลับด้านและจะเปลี่ยนลูกบาศก์ให้เป็นห้อง นอกจากนี้ คุณจะต้องเพิ่มวัตถุที่เรียกว่า info_player_start ซึ่งจะบอกให้ Hammer ทราบว่าจะวางไข่ที่ใดเมื่อโหลดโปรแกรม

เพื่อให้ห้องดูสมจริงยิ่งขึ้น เราต้องเพิ่มพื้นผิวด้วย เราสามารถเพิ่มรูปภาพที่กำหนดเองได้ผ่านตัวแก้ไขวัสดุ นี่คือไอคอนวงกลมทางด้านขวาของปุ่ม Hammer ใน Asset Browser การเลือก Material Editor จะนำคุณไปยังหน้าต่างใหม่ ซึ่งจะช่วยให้คุณนำเข้ารูปภาพเพื่อสร้างเป็นพื้นผิวได้ คุณสามารถใช้ภาพของคุณเองหรือรับภาพจากเว็บไซต์พื้นผิวสต็อก เช่น textures.com คลิกปุ่มไฟล์ใต้การเลือกสีเพื่อเลือกภาพที่คุณต้องการใช้ หลังจากเลือกรูปภาพของคุณแล้ว อย่าลืมบันทึกโดยกดที่ไอคอน Floppy Disk ที่ด้านบนซ้ายของหน้าต่าง Material Editor ตอนนี้ ปิดตัวแก้ไขวัสดุแล้วกลับไปที่หน้าต่างเลือกเนื้อหา ที่นี่ ค้นหาไฟล์พื้นผิวที่คุณต้องการใช้ จากนั้นคลิกและลากไปยัง Hammer Editor ในหน้าต่างนี้ คุณสามารถใช้พื้นผิวของคุณกับใบหน้าต่างๆ ของลูกบาศก์ได้

เรายังต้องเพิ่มแสงสว่างให้กับห้อง ในการทำเช่นนี้ เราใส่ light_omni หรือ light_spot บนแผนที่ของเรา ซึ่งพบได้ในส่วนเอนทิตีทางด้านซ้ายของมุมมองแผนที่ light_omni จะส่องแสงในทุกทิศทาง ในขณะที่ light_spot จะส่องแสงในทิศทางใดทิศทางหนึ่งโดยเฉพาะ สำหรับโครงการนี้ ฉันใช้ light_spots อย่างน้อยสองจุดสำหรับแต่ละวัตถุและหนึ่ง light_omni เพื่อช่วยให้ห้องสว่างขึ้น

ขั้นตอนที่ 7: การเพิ่มวัตถุของเราลงในแผนที่

ตอนนี้ ได้เวลาเริ่มย้ายวัตถุของเราไปยังแผนที่ของเราแล้ว ในหน้าต่างเลือกเนื้อหา ทางด้านขวาของไอคอน Material Editor คือ Model Editor ซึ่งคล้ายกับไอคอนฮิวแมนนอยด์ เมื่อเปิด Model Editor ขึ้นมา คุณจะได้รับตัวเลือกในการเรียกดูหรือสร้าง VDML ใหม่ ซึ่งเป็นไฟล์ OBJ เวอร์ชันของ Hammer Editor เลือกตัวเลือกเพื่อสร้าง VDML ใหม่และคุณจะต้องสร้างโฟลเดอร์ โฟลเดอร์นี้จะเก็บไฟล์ VDML ตรวจสอบให้แน่ใจว่าอยู่ในโฟลเดอร์ Add On แล้วกดดำเนินการต่อ

การดำเนินการนี้จะนำคุณไปยังหน้าจอของโมเดลของคุณ ซึ่งมีพื้นผิวเป็นสีขาว หากต้องการเพิ่มพื้นผิวสำหรับรุ่นนี้ ให้เลือกวัสดุจากแถบเครื่องมือทางด้านซ้าย การดำเนินการนี้จะนำคุณไปที่ Material Editor และคุณสามารถเลือก JPEG จากการส่งออก Reality Capture ได้ ตรวจสอบให้แน่ใจว่าได้บันทึกพื้นผิวและโมเดลโดยคลิกที่ไอคอนฟลอปปีดิสก์ กลับไปที่เครื่องมือแก้ไขค้อน

ใน Hammer คุณสามารถลากและวางโมเดลจาก Asset Browser ไปที่แผนที่ได้ โมเดลมักจะมีขนาดเล็กและคุณจะต้องปรับขนาด เมื่อกด T บนแป้นพิมพ์ คุณสามารถเปลี่ยนตำแหน่งบนแผนที่ได้ การกด E จะเปลี่ยนสัดส่วนของรุ่นในขณะที่ R จะหมุน

ขั้นตอนที่ 8: การสร้างป้ายกำกับวัตถุ

ป้ายวัตถุที่เห็นข้างจุดสังเกตแต่ละจุดมีบริบทและประวัติเพื่อปรับปรุงประสบการณ์ของผู้ใช้ สำหรับ Object Labels ของฉัน ฉันเพียงแค่ถ่ายภาพโล่แสดงข้อมูลในแต่ละสถานที่เพื่อบันทึกข้อมูลสำคัญที่ฉันต้องการใช้ในภายหลังได้อย่างง่ายดาย จากนั้นฉันก็ใช้ Krita ซึ่งเป็นโปรแกรมซอฟต์แวร์แก้ไขรูปภาพฟรี เพื่อสร้าง Object Labels รวมถึงรูปภาพและข้อความเพิ่มเติม

สำหรับฝั่ง Miner Park และ Anchor ของห้อง ไม่มีปัญหาในการเพิ่มป้ายกำกับเป็นพื้นผิว เพียงเพิ่มลงใน Asset Browser ของคุณผ่าน Material Editor และเพิ่มรูปภาพลงในบล็อกที่สามารถสร้างได้ใน Hammer Editor ปัญหาเกิดขึ้นเมื่อฉันสร้างบอร์ดสำหรับอีกด้านหนึ่งของห้อง ข้อความและรูปภาพทั้งหมดเป็นแบบย้อนกลับ และไม่มีวิธีที่ชัดเจนในการย้อนกลับพื้นผิวภายในเครื่องมือแก้ไข เพื่อแก้ไขปัญหานี้ ฉันกลับไปที่ Krita และกลับกระดานสำหรับกวางและหมี และโชคดีที่สิ่งนี้แก้ไขปัญหาได้

นอกจากนี้ ฉันยังเพิ่มรูปภาพอื่นๆ ของ Wilkes-Barre เนื่องจากฉันต้องการสร้างห้องที่ให้ความรู้สึกและบรรยากาศของพิพิธภัณฑ์บูติก

ขั้นตอนที่ 9: สรุป

โดยสรุป ทั้ง Virtual Reality และ Photogrammetry มีพลังในการปรับปรุงอุตสาหกรรมมากมายนับไม่ถ้วน ซึ่งรวมถึงแต่ไม่จำกัดเพียงกีฬา อสังหาริมทรัพย์ และนิติวิทยาศาสตร์ วันนี้ ฉันใช้โฟโตแกรมเมทรีเพื่อรักษาส่วนเล็กๆ ที่สำคัญบางอย่างของประวัติศาสตร์ท้องถิ่นในบ้านเกิดของฉัน VR และ Photogrammetry ยังคงเป็นเทคโนโลยีทดลองที่บางครั้งอาจท้าทายคุณ แม้จะมีข้อบกพร่องอยู่บ้าง แต่ปริมาณการใช้นวัตกรรมสำหรับทั้งสองกระบวนการนั้นน่าตื่นเต้นและไร้ขีดจำกัด ฉันขอขอบคุณที่อ่านเกี่ยวกับโครงการนี้ และฉันหวังว่าสิ่งนี้จะเป็นแรงบันดาลใจให้คุณลองสิ่งใหม่ๆ กับ Virtual Reality

ลิงค์ดาวน์โหลดสำหรับโครงการสามารถพบได้ที่นี่