Multimodal Music Stand: 9 ขั้นตอน (พร้อมรูปภาพ)

2024 ผู้เขียน: John Day | [email protected]. แก้ไขล่าสุด: 2024-01-30 13:08

Multimodal Music Stand (MMMS) เป็นวิธีใหม่ในการควบคุมการสังเคราะห์เสียงและเอฟเฟกต์ในขณะที่เล่นเครื่องดนตรีแบบดั้งเดิม (แซ็กโซโฟน ฟลุต ไวโอลิน หรือคุณเรียกมันว่า) และให้โอกาสพิเศษอีกสองสามอย่างสำหรับเทคนิคเพิ่มเติมที่สามารถใช้ในขณะที่เล่น ! มีหน้าเว็บเกี่ยวกับโครงการกลุ่มของเราที่ UC Santa Barbara ซึ่งเราพัฒนา MMMS อยู่แล้ว ดังนั้นแทนที่จะทำซ้ำที่นี่ ฉันจะโพสต์ลิงก์ - ลองดูสิ เว็บไซต์ Multimodal Music Stand คลิปสั้นๆ ของ MMMS ที่กำลังดำเนินการอยู่คือ ที่นี่ แต่มีวิดีโอที่ดีกว่าในไซต์ด้านบน… Multimodal หมายถึงความสามารถของการตรวจจับอินพุตในรูปแบบมากกว่าหนึ่งรูปแบบ (อินพุตเสียง อินพุตวิดีโอ และอินพุตแบบเซ็นเซอร์) อินพุตเสียงและวิดีโอค่อนข้างตรงไปตรงมา โดยเกี่ยวข้องกับไมโครโฟนปกติและเว็บแคมที่เชื่อมต่อกับคอมพิวเตอร์ของคุณ แต่อินพุตเซ็นเซอร์นั้นซับซ้อนกว่าเล็กน้อย ดังนั้นจึงแนะนำได้…เราใช้ CREATE USB Interface ซึ่งเป็นวงจรง่ายๆ ที่ฉันพัฒนาขึ้นสำหรับชั้นเรียน ฉันสอนที่ UCSB พร้อมกับชุด ThereminVision II สำหรับ E-field (หรือที่รู้จักในชื่อ capacitive sensing) ดังที่แสดงไว้ที่นี่: CREATE USB InterfaceThereminVisionII kit หากคุณไม่รู้ว่า Theremin คืออะไร ลองทำเองและค้นหา Youtube คุณจะชนะ ไม่ผิดหวัง! โดยทั่วไปแล้ว MMMS นั้นเทียบเท่ากับ 2 Theremins เนื่องจากมีเสาอากาศ E-field sensing 4 เสา นอกเหนือจากอินพุตเสียง/วิดีโอแน่นอน หากคุณสนใจที่จะขยายเทคนิคการแสดงของคุณด้วยเครื่องมือของคุณโดยการโต้ตอบกับคอมพิวเตอร์ แต่ ไม่อยากใช้เท้าเหยียบง่ายๆ ให้สร้าง Multimodal Music Stand ขึ้นมาเองแล้วเริ่มฝึกกับมัน!

ขั้นตอนที่ 1: เกี่ยวกับ CREATE USB Interface

CREATE USB Interface (CUI) เป็นวงจรที่ตั้งโปรแกรมได้โดยใช้ PIC อย่างง่าย ซึ่งสามารถสร้าง DIY ได้ทั้งหมด หรือคุณอาจซื้อแบบที่สร้างไว้ล่วงหน้าจากฉันโดยตรงในราคา $50 (+5 สำหรับการจัดส่ง) และคุณไม่จำเป็นต้อง เพื่อซื้อโปรแกรมเมอร์ PIC เนื่องจากฉันใส่ bootloader ให้คุณ… ดูเว็บไซต์สำหรับรายละเอียด หรือเพียงแค่ส่งอีเมลถึงฉันเพื่อขอหนึ่ง:สร้างเว็บไซต์ CREATE USB InterfaceCUI สามารถทำงานได้หลายอย่าง และตอนนี้มีการใช้งานในหลายร้อย โครงการที่น่าสนใจทั่วโลก… ตัวอย่างบางส่วนจากนักศึกษาที่ UC Santa Barbara อยู่ในเอกสารการประชุม (PDF) นี้ CUI สามารถตั้งโปรแกรมใหม่ผ่านสาย USB โดยใช้ bootloader ซึ่งเป็นสาเหตุที่ทำให้ปรับเปลี่ยนได้ง่าย - เพียงแค่เปลี่ยนเฟิร์มแวร์และเป็นอย่างอื่น ตัวอย่างเช่น ง่ายต่อการทำให้ CUI เป็นอินเทอร์เฟซเซ็นเซอร์ไร้สายโดยใช้ตัวใดตัวหนึ่ง โมดูล Bluetooth จาก spark fun - หากใครสนใจทำสิ่งนี้ให้โพสต์ข้อความในความคิดเห็นเพื่อขอคำแนะนำอื่น CUI มี 13 ช่องสัญญาณอนาล็อก 10 บิตและหมุดอินพุต/เอาต์พุตเอนกประสงค์ 16 ช่อง เฟิร์มแวร์เริ่มต้นที่มาพร้อมกับบอร์ด CUI v1.0 จะส่งทั้งหมดเป็นอินพุตไปยังคอมพิวเตอร์โฮสต์ และทำงานได้ดีกับสภาพแวดล้อมการสร้างงานศิลปะเชิงโต้ตอบ เช่น Max/MSP/Jitter, Pd/Gem, SuperCollider, Chuck ฯลฯ ฉันใช้ หนึ่งในบอร์ด CUI v1.0 เพื่อสร้าง Multimodal Music Stand ในคำแนะนำนี้ เราใช้ Max/MSP/Jitter เป็นสภาพแวดล้อม แต่อย่างไรก็ตาม อย่าลังเลที่จะปรับให้เข้ากับ Pd หรือซอฟต์แวร์ที่คุณเลือก ฉันเป็นแฟนตัวยงของโอเพ่นซอร์ส (CUI นั้นเป็นโอเพ่นซอร์ส) และมันช่วยได้มากถ้าเราทุกคนยืนหยัดเคียงข้างกันและปรับปรุงสิ่งที่เรากำลังทำอยู่!

ขั้นตอนที่ 2: เกี่ยวกับ ThereminVision II Kit

ThereminVision II มีจำหน่ายทั้งแบบเป็นชุด ($50) และแบบสำเร็จรูป ($80) จากเว็บไซต์ผู้จำหน่าย RobotLand และยังเป็นโอเพ่นซอร์ส - คู่มือ ThereminVision II (PDF) รวมถึงแผนภาพวงจร สำหรับ MMMS ฉันซื้อชุดอุปกรณ์แล้วตัดสินใจใช้ชุดที่สร้างไว้ล่วงหน้าในครั้งนี้ (นี่คือ MMMS ตัวที่สองที่ฉันสร้างขึ้น) นอกจากนี้ ในกรณีที่คุณสงสัยว่าทำไมฉันไม่เสนอ รูปแบบชุดคิทของ CREATE USB Interface นั่นเป็นเพราะว่า CUI bootloader จะต้องถูกตั้งโปรแกรมด้วยโปรแกรมเมอร์ PIC แบบเดิมก่อนจึงจะสามารถส่งเฟิร์มแวร์ใหม่ผ่าน USB ได้ มิฉะนั้น ผมจะเสนอชุดคิทให้แน่นอน แม้ว่ามันจะเกี่ยวข้องกับการบัดกรีแบบยึดพื้นผิว…ดังนั้นกลับไป ThereminVision II - หากคุณซื้อในรูปแบบ Kit ให้ทำตามคำแนะนำ (เยี่ยมมาก!) ใน pdf: คู่มือ ThereminVision II มีไดอะแกรมที่ดีมากมายของการเดินสายที่คุณต้องทำ - สิ่งเดียวที่มันไม่แสดง เป็นการเชื่อมต่อกับ CREATE USB Interface ดังนั้นฉันจะโพสต์รูปภาพที่ฉันถ่ายในไม่กี่ขั้นตอนถัดไป… โอ้ และฉันได้รับเสาอากาศสำหรับ ThereminVision (ไม่รวม) จาก All Electronics

ขั้นตอนที่ 3: เตรียมขาตั้งดนตรี

ทำให้ดนตรีหลายรูปแบบของคุณโดดเด่นจากขาตั้งดนตรีดีๆ เช่น "ขาตั้งคอนดักเตอร์" ที่แสดงไว้ที่นี่หรือใช้สิ่งที่คุณมีอยู่แล้ว - ดีกว่านั้น ให้ทำเอง!

ไม่ว่าคุณจะใช้ขาตั้งแบบใดก็ตาม คุณจะต้องมีที่ยึดแบบแยกสำหรับเสาอากาศทั้งสี่ที่มุมของขาตั้ง เริ่มต้นด้วยการเจาะรูที่มุม - อุปกรณ์สำหรับติดตั้งที่ฉันวางไว้รอบๆ นั้นใช้งานได้กับดอกสว่าน 1/4 ของคุณอาจจะแตกต่างออกไป พยายามรักษาพื้นผิวด้านหน้าให้เรียบที่สุดเพื่อหลีกเลี่ยงการรบกวนกับแผ่นเพลง

ขั้นตอนที่ 4: การเชื่อมต่อโมดูลเซ็นเซอร์ ThereminVision

การเชื่อมต่อโมดูล "เซ็นเซอร์" ของ ThereminVision (วงจรจับเวลา 555 วงจร) กับโมดูล "ตัวประมวลผล" ของ ThereminVision ยังได้กล่าวถึงในรายละเอียดเพิ่มเติมในคู่มือ ThereminVision II แต่นี่เป็นภาพบางส่วนของกระบวนการ…

ขั้นตอนที่ 5: เชื่อมต่อ ThereminVision กับ CREATE USB Interface

ดังที่เราเห็นในขั้นตอนสุดท้าย มี 4 สายเชื่อมต่อโมดูลเซ็นเซอร์แต่ละโมดูลกับโมดูลโปรเซสเซอร์ ThereminVision นอกจากนี้ยังมีสายไฟ 6 เส้นที่เชื่อมต่อโมดูลโปรเซสเซอร์ ThereminVision กับอินเทอร์เฟซ CREATE USB ได้แก่ สายไฟ กราวด์ เอาต์พุตเซนเซอร์ เซนเซอร์เลือก A เซนเซอร์เลือก B และเซนเซอร์หยุด

เนื่องจาก ThereminVision II จะได้รับพลังงานจากอินเทอร์เฟซ CREATE USB (ซึ่งจะได้รับพลังงานจาก USB) ฉันจึงตัดสินใจเชื่อมต่อพลังงานสำหรับโมดูลเซ็นเซอร์ ThereminVision แต่ละโมดูลโดยตรงกับ CREATE USB Interface - ทำให้น้อยลงเล็กน้อย รังนกบนสายไฟเนื่องจากมีสายไฟจำนวนมากที่ต่อเข้ากับบอร์ดโปรเซสเซอร์ TherminVision เชื่อมต่อ "+" บน ThereminVision กับ "5V" บน CUI Connect "-" บน ThereminVision กับ "GND" บน CUI Connect "4" (เอาต์พุตหารด้วย 4) บน ThereminVision ถึง "D7" บน CUI Connect "SEL B" บน ThereminVision ถึง "D5" บน CUI เชื่อมต่อ "SEL A" บน ThereminVision กับ "D4" บน CUI Connect "S" บน ThereminVision ถึง "D6" บน CUI

ขั้นตอนที่ 6: ติดตั้งทุกอย่างเข้ากับขาตั้ง

ดังนั้นอุปกรณ์อิเล็กทรอนิกส์ก็เสร็จเรียบร้อย ตอนนี้เพียงแค่ติดตั้งเข้ากับขาตั้ง - มีหลายวิธีในการทำเช่นนี้ และคุณอาจต้องการใส่อุปกรณ์อิเล็กทรอนิกส์ของคุณในกล่องป้องกัน ฯลฯ….

นี่คือภาพถ่ายบางส่วนของวิธีการติดตั้งที่ง่ายที่สุด

ขั้นตอนที่ 7: การบูตเฟิร์มแวร์สำหรับ ThereminVision ลงใน CUI

ThereminVision ส่งสัญญาณเวลาสำหรับเซ็นเซอร์แทนเอาต์พุตแบบอะนาล็อก (หรือโปรโตคอลดิจิทัลมาตรฐานใดๆ เช่น I2C หรือ SPI) ดังนั้นจำเป็นต้องมีเฟิร์มแวร์แบบกำหนดเองบางตัวเพื่อวัดเวลาของสัญญาณเหล่านี้…เฟิร์มแวร์ Multimodal Music Stand เวอร์ชันแรกอยู่ในไฟล์ zip ด้านล่าง ทั้งซอร์สโค้ดและไฟล์ hex ที่คอมไพล์แล้วจะรวมอยู่ด้วย (พร้อมกับแพตช์ทดสอบสำหรับ Max/ MSP/Jitter):เฟิร์มแวร์ CUI-ThereminVision ภาพหน้าจอด้านล่างแสดงโปรแกรม OS X Boot Down โดย Craig Schimmel - โปรแกรมอรรถประโยชน์การบูต Macintosh สำหรับ CUI หากคุณใช้ Windows สิ่งที่ง่ายที่สุดคือการใช้เครื่องมือของ Microchip นั่นคือ PDFSUSB.exe ที่สามารถดาวน์โหลดได้จากเว็บไซต์ของพวกเขา หรือรวมอยู่ในโค้ดตัวอย่างนี้สำหรับ CREATE USB Interface หากต้องการให้ CUI อยู่ใน "โหมด bootloader" ให้กดค้างไว้ ปุ่มโปรแกรมแล้วกดปุ่มรีเซ็ต (หรือเพียงแค่เสียบสาย USB ในขณะที่กดปุ่มโปรแกรมค้างไว้) ไฟ LED สถานะของ CUI จะกะพริบอย่างต่อเนื่องเพื่อระบุว่าอยู่ในโหมดบูตโหลดเดอร์ ตอนนี้คุณสามารถใช้ Boot Down เพื่อส่งไฟล์ CUIEfieldBootDown.hex ไปยัง CREATE USB Interface ได้ หากคุณต้องการเปลี่ยนเฟิร์มแวร์สำหรับ CREATE USB Interface กลับเป็นต้นฉบับ อยู่ที่นี่ และมีตัวอย่างอื่นๆ ของเฟิร์มแวร์สำหรับ CUI ที่นี่เช่นกัน

ขั้นตอนที่ 8: ทดสอบ Multimodal Music Stand ใน Max/MSP/Jitter

เปิดตัวอย่างแพตช์ใน Max/MSP/Jitter (สามารถดาวน์โหลดเดโม 30 วันได้จาก www.cycling74.com และมีเวอร์ชัน "รันไทม์" ที่ไม่อนุญาตให้บันทึกแพตช์) หรือปฏิบัติตามข้อตกลงในแพตช์ Max และสร้างแพตช์ของคุณเองใน PureData (Pd)…Jitter ใช้เพื่อแสดงตำแหน่ง 3D ของอินพุตด้วยท่าทางสัมผัส โดยที่แกน z (ไปทางและห่างจากขาตั้ง) ถูกแมปกับความเข้มโดยรวมของเสาอากาศทั้ง 4 อัน - ไม่ค่อยเป็นวิทยาศาสตร์มากนัก แต่ได้ผล! ข้อมูลจากเซ็นเซอร์แต่ละตัวจะถูกส่งไปยัง OSC ถึง 127.0.0.1 (localhost) เพื่อใช้งานโดยแอพพลิเคชั่นอื่น ๆ หากจำเป็น วัตถุที่มีประโยชน์ใน Max/MSP/Jitter สำหรับกรองข้อมูลของเซ็นเซอร์ (เกิดจากการรบกวนทางไฟฟ้า) คือ "เรียบ" ของ Tristan Jehan ซึ่งสามารถดาวน์โหลดได้ที่นี่:smoother max object ไซต์ของ Tristan ยังมี MSP ภายนอกจำนวนมากสำหรับ Max ที่เราใช้สำหรับส่วนการวิเคราะห์เสียงของอินพุต Multimodal Music Stand - รวมถึง pitch~, loudness~, brightness~, ความดัง~ และวัตถุวิเคราะห์แบบ all-in-one~ เมื่อคุณมีข้อมูลเข้าสู่ Max แล้ว คุณจะต้องปรับความไวของเซ็นเซอร์ ThereminVision ทีละตัวด้วยไขควงขนาดเล็ก ทำได้โดยขยายเสาอากาศออกไปจนสุด จากนั้นหมุน trimpot สีน้ำเงินทวนเข็มนาฬิกาจนกว่าจะเข้าสู่โหมด "reverse sensing" - จากนั้นหมุนกลับตามเข็มนาฬิกาจนกว่าคุณจะกลับมาอยู่ในช่วงการตรวจจับปกติ การปรับเล็กน้อย (การปรับความไวเช่นเดียวกับการจูนกีตาร์) สามารถทำได้โดยการเปลี่ยนความยาวของเสาอากาศ ดังนั้นคุณจึงไม่ต้องพกไขควงเล็กๆ ไปไหนมาไหนด้วย

ขั้นตอนที่ 9: ใช้การแสดงดนตรีต่อเนื่องหลายรูปแบบ! (และขยาย)

อย่าลืมว่าเทคนิคการแสดงแบบใหม่ที่ Multimodal Music Stand ช่วยให้จำเป็นต้องฝึกฝน และการพัฒนาแผนที่และแนวคิดใหม่ๆ สำหรับสิ่งที่คุณต้องการควบคุมด้วย! นอกจากนี้ หากคุณต้องการขยาย MMMS ของคุณเพื่อรวมเซ็นเซอร์ประเภทอื่นๆ จะสามารถใช้อินพุตแบบอะนาล็อก 13 ตัวบน CUI เพิ่มเติมจากเซ็นเซอร์ ThereminVision ในเฟิร์มแวร์ MMMS เวอร์ชันต่อๆ ไปได้ ดังนั้นด้วยเซ็นเซอร์ธรรมดาบางตัว (ตัวเลื่อน/ปุ่ม/แป้นเหยียบ) หรือเซ็นเซอร์ประเภทอื่นๆ (IR/อัลตราซาวนด์/อื่นๆ) ซึ่งสามารถใช้ร่วมกับอินพุตเสียงและวิดีโอไปยังคอมพิวเตอร์ได้ ขณะนี้เฟิร์มแวร์ใช้โปรโตคอล "serial-over-USB" แต่ในที่สุดแผนจะเปลี่ยนไปใช้โปรโตคอล "HID" (Human Input Device) ซึ่งปกติแล้วจะใช้โดย CREATE USB Interface โปรดอย่าลังเลที่จะมีส่วนร่วมในความพยายาม…มีโครงการโอเพ่นซอร์สที่คล้ายกันสำหรับ E-field sensing (หรือที่เรียกว่า capacitive sensing) ที่ใช้โครงสร้างวงจรเดียวกัน (ตามการออกแบบ ThereminVision) ที่เรียกว่า CapToolKit - ใช้ "น้องชายคนเล็ก" " ของ PIC18F4550 ซึ่งเป็น PIC18F2550 ซึ่งมีอินพุตแบบอะนาล็อกไม่มากนัก (10 แทนที่จะเป็น 13) เฟิร์มแวร์สำหรับ CapToolKit จะแตกต่างออกไปเล็กน้อยเนื่องจากไม่ได้ใช้บอร์ดโปรเซสเซอร์ ThereminVision เราใช้กล้อง Firewire แบบธรรมดา (สไตล์เว็บแคม) ซึ่งติดตั้งอยู่ที่ด้านบนของขาตั้งเพลงเพื่อการจดจำท่าทางสัมผัสทางกายภาพและการตรวจจับการจ้องมองด้วยแสง - หากคุณ สนใจในแง่มุมของคอมพิวเตอร์วิทัศน์หรือการวิเคราะห์และการสังเคราะห์เสียงของการวิจัยของกลุ่มของเรา โปรดดูเอกสารที่เว็บไซต์ Multimodal Music Stand และโปรดโพสต์ประสบการณ์ของคุณหากคุณสร้าง Multimodal Music Stand… ตอนนี้เรามีสองคนที่ UCSB ดังที่แสดงในภาพด้านล่าง - คงจะดีถ้ามีการเรียบเรียง การแสดง และนักดนตรีมากกว่านี้! Dr. JoAnn Kuchera-Morin เขียนบทประพันธ์แรกที่เกี่ยวข้องกับ MMMS ซึ่งบรรเลงโดยนักเป่าขลุ่ย Jill Felber ที่ Eastman School of Music ในเดือนมีนาคม 2007