การแสดงข้อมูลจาก Magicbit ใน AWS: 5 ขั้นตอน

2024 ผู้เขียน: John Day | [email protected]. แก้ไขล่าสุด: 2024-01-30 13:02

ข้อมูลที่รวบรวมจากเซ็นเซอร์ที่เชื่อมต่อกับ Magicbit จะถูกเผยแพร่ไปยัง AWS IOT core ผ่าน MQTT เพื่อให้แสดงผลแบบกราฟิกแบบเรียลไทม์ เราใช้ magicbit เป็นบอร์ดพัฒนาในโปรเจ็กต์นี้ ซึ่งใช้ ESP32 ดังนั้นสามารถใช้บอร์ดพัฒนา ESP32 ในโครงการนี้ได้

เสบียง:

Magicbit

ขั้นตอนที่ 1: เรื่องราว

โปรเจ็กต์นี้เกี่ยวกับการเชื่อมต่ออุปกรณ์ Magicbit ของคุณกับ AWS Cloud ผ่าน MQTT ข้อมูลที่ส่งผ่าน MQTT จะได้รับการวิเคราะห์และแสดงภาพในระบบคลาวด์โดยใช้บริการของ AWS มาเริ่มกันเลย

ก่อนอื่น คุณควรไปที่ AWS Console และลงชื่อเข้าใช้ เพื่อจุดประสงค์ในการเรียนรู้ คุณสามารถใช้ตัวเลือก Free Tier ที่ AWS เสนอให้ มันจะเพียงพอสำหรับโครงการนี้

เพื่อให้ง่ายขึ้นฉันจะแบ่งโครงการออกเป็นสองส่วน

นี่จะเป็นขั้นตอนแรกของโครงการของเรา เมื่อสิ้นสุดขั้นตอนแรก ข้อมูลจะถูกเก็บไว้ในบัคเก็ต S3

บริการของ AWS ที่จะใช้ในส่วนแรก

• Kinesis Firehose
• กาว AWS
• AWS S3

ก่อนอื่นให้ไปที่บริการ AWS Kinesis

เลือก Kinesis Data Firehose ดังที่แสดงด้านล่างและคลิกสร้าง

จากนั้นคุณจะถูกนำไปยังขั้นตอนที่ 1 ของการสร้างบริการ Firehose ป้อนชื่อสตรีมการส่งและเลือก Direct Put หรือแหล่งที่มาอื่นๆ คลิกถัดไป

ในหน้าต่างขั้นตอนที่ 2 ปล่อยให้ทุกอย่างเป็นค่าเริ่มต้นแล้วคลิกถัดไป หลังจากสร้าง AWS Glue Service แล้ว เราจะกลับมาแก้ไขขั้นตอนนี้

ในขั้นตอนที่ 3 เลือกบัคเก็ต S3 หากคุณเคยสร้างมาก่อน หรือคลิกสร้างและสร้างที่เก็บข้อมูล ในส่วนคำนำหน้า S3 ให้ใช้ dest/ และในคำนำหน้าข้อผิดพลาด ให้ป้อน error/ คุณสามารถป้อนชื่อใดก็ได้สำหรับสองคนข้างต้น แต่เพื่อความง่ายเราจะดำเนินการต่อด้วยชื่อสามัญ อย่าลืมสร้างโฟลเดอร์ชื่อ dest ภายในบัคเก็ตที่คุณเลือก คลิกถัดไป

ในขั้นตอนที่ 4 ให้เลือกขนาดบัฟเฟอร์ต่ำสุดและช่วงบัฟเฟอร์สำหรับการถ่ายโอนข้อมูลแบบเรียลไทม์ ในส่วนสิทธิ์ ให้เลือกสร้างหรืออัปเดตบทบาท IAMKinesisFirehoseServiceRole ให้ทุกอย่างเป็นค่าเริ่มต้น คลิกถัดไป

ในส่วนถัดไป การตรวจทานการเปลี่ยนแปลงที่คุณทำจะแสดงขึ้น คลิกตกลง จากนั้นคุณจะมี Kinesis Firehose ที่ใช้งานได้

หากคุณสร้างบริการ Firehose สำเร็จ คุณจะได้รับสิ่งนี้

ขั้นตอนที่ 2: ทดสอบ Firehose และ S3 Bucket

หากต้องการทดสอบว่าท่อดับเพลิงและบัคเก็ต S3 ทำงานอย่างถูกต้อง ให้เลือกแกน IOT ในคอนโซล คุณจะถูกนำไปที่หน้าเช่นนี้ เลือกกฎและสร้างกฎ

กฎ AWS IOT คืออะไร

ใช้เพื่อส่งต่อข้อมูลใดๆ ที่ได้รับจาก MQTT ไปยังบริการเฉพาะ ในตัวอย่างนี้ เราจะส่งต่อไปยัง Kinesis Firehose

เลือกชื่อสำหรับกฎ ปล่อยให้กฎและคำชี้แจงการสืบค้นเป็นอยู่ สิ่งนี้บอกเราว่าทุกสิ่งที่เผยแพร่ไปยังหัวข้อ iot/หัวข้อ จะถูกส่งต่อไปยัง kinesis Firehose ผ่านกฎนี้

ภายใต้ส่วน ตั้งค่าการดำเนินการอย่างน้อยหนึ่งรายการ คลิก เพิ่มการดำเนินการ เลือกส่งข้อความไปยัง Amazon Kinesis Firehose Stream เลือกกำหนดค่า จากนั้นเลือกชื่อของสตรีม firehose ที่สร้างไว้ก่อนหน้านี้ จากนั้นคลิกสร้างบทบาทและสร้างบทบาท ตอนนี้คุณได้สร้างบทบาทใน AWS สำเร็จแล้ว

ข้อความใดๆ ที่คุณเผยแพร่จะถูกส่งต่อผ่าน Kinesis Firehose ไปยังบัคเก็ต S3

โปรดทราบว่า Firehose จะส่งข้อมูลเมื่อบัฟเฟอร์เต็มหรือเมื่อถึงช่วงบัฟเฟอร์ ช่วงเวลาบัฟเฟอร์ขั้นต่ำคือ 60 วินาที

ตอนนี้เราสามารถย้ายไปส่วนที่สองของโครงการได้แล้ว นี่จะเป็นไดอะแกรมกระแสข้อมูลของเรา

ขั้นตอนที่ 3: การกำหนดค่า AWS Glue

ทำไมเราถึงต้องการ AWS Glue และ AWS Athena

ข้อมูลที่จัดเก็บในบัคเก็ต S3 ไม่สามารถใช้เป็นอินพุตไปยัง AWS Quicksight ได้โดยตรง อันดับแรก เราต้องจัดเรียงข้อมูลในรูปแบบของตาราง สำหรับสิ่งนี้เราใช้บริการทั้งสองข้างต้น

ไปที่ AWS กาว เลือกโปรแกรมรวบรวมข้อมูลบนแถบเครื่องมือด้านข้าง จากนั้นเลือกเพิ่มโปรแกรมรวบรวมข้อมูล

ในขั้นตอนแรก ให้ป้อนชื่อสำหรับโปรแกรมรวบรวมข้อมูลของคุณ คลิกถัดไป ในขั้นตอนถัดไปปล่อยให้เป็นค่าเริ่มต้น ในขั้นตอนที่สาม ให้ป้อนเส้นทางไปยังบัคเก็ต S3 ที่คุณเลือก ปล่อยให้หน้าต่างถัดไปเป็นค่าเริ่มต้น ในหน้าต่างที่ห้า ให้ป้อนบทบาท IAM ในขั้นตอนต่อไป ให้เลือกความถี่ในการใช้บริการ

ขอแนะนำให้เลือกกำหนดเองในกล่องแบบเลื่อนลงและเลือกเวลาขั้นต่ำ

ในขั้นตอนถัดไป ให้คลิก เพิ่มฐานข้อมูล จากนั้นคลิกถัดไป คลิกเสร็จสิ้น

ตอนนี้ เราควรผสานรวม Kinesis Firehose กับ AWS Glue ที่เราสร้างขึ้น

ไปที่ท่อส่งน้ำ AWS Kinesis ที่เราสร้างและคลิกแก้ไข

เลื่อนลงไปที่ส่วน Convert Record Format และเลือก Enabled

เลือกรูปแบบเอาต์พุตเป็น Apache Parquet สำหรับรายละเอียดที่เหลือ ให้กรอกรายละเอียดของฐานข้อมูล Glue ที่คุณสร้างขึ้น ควรสร้างตารางในฐานข้อมูลและควรเพิ่มชื่อในส่วนนี้ คลิกบันทึก

ขั้นตอนที่ 4: การกำหนดค่า AWS Athena

เลือกฐานข้อมูลและตารางข้อมูลที่คุณสร้างขึ้น ในส่วนการสืบค้นควรเพิ่มรหัสนี้

ควรแทนที่ชื่อตารางด้วยชื่อจริงของตารางกาวที่คุณสร้างขึ้น

คลิกเรียกใช้แบบสอบถาม หากใช้งานได้ ข้อมูลที่จัดเก็บไว้ในบัคเก็ต AWS S3 ควรแสดงเป็นตารางข้อมูล

ตอนนี้เราพร้อมที่จะเห็นภาพข้อมูลที่เราได้รับแล้ว

ขั้นตอนที่ 5: การกำหนดค่า QuickSight

ไปที่ AWS Quicksight

คลิก การวิเคราะห์ใหม่ที่มุมบนขวา แล้วคลิก ชุดข้อมูลใหม่

เลือก Athena จากรายการ ป้อนชื่อแหล่งข้อมูลบนการ์ดป๊อปอัป

เลือกฐานข้อมูลกาวจากกล่องดรอปดาวน์และตารางที่เกี่ยวข้อง การดำเนินการนี้จะนำทางคุณไปยังหน้านี้

ลากและวางฟิลด์ใดก็ได้จากรายการฟิลด์และเลือกประเภทภาพใดก็ได้

ตอนนี้คุณสามารถเห็นภาพข้อมูลที่ส่งจาก MagicBit ของคุณโดยใช้บริการของ AWS !!!

อย่าลืมอนุญาตให้เข้าถึงสำหรับ Quicksight สำหรับบัคเก็ต S3 ตามลำดับ เพื่อให้เห็นภาพข้อมูลในบัคเก็ตเหล่านั้น