PiTextReader - โปรแกรมอ่านเอกสารที่ใช้งานง่ายสำหรับผู้พิการทางสายตา: 8 ขั้นตอน (พร้อมรูปภาพ)

2024 ผู้เขียน: John Day | [email protected]. แก้ไขล่าสุด: 2024-01-30 13:06

ภาพรวม

อัปเดต: วิดีโอสาธิตสั้น ๆ:

PiTextReader ช่วยให้ผู้ที่มีความบกพร่องทางการมองเห็นสามารถ "อ่าน" ข้อความจากซองจดหมาย จดหมาย และรายการอื่นๆ โดยจะจับภาพของรายการ แปลงเป็นข้อความธรรมดาโดยใช้ OCR (การรู้จำอักขระด้วยแสง) แล้วพูดข้อความโดยใช้การแปลงข้อความเป็นคำพูด

Reader ได้รับการออกแบบมาให้ใช้งานง่ายที่สุดเท่าที่จะเป็นไปได้ ไม่จำเป็นต้องใช้อินเทอร์เน็ต ไม่มีส่วนต่อประสานกราฟิก เพียงปุ่มเดียว เพียงวางรายการที่ต้องการอ่านไว้บนขาตั้งแล้วกดปุ่ม หลังจากนั้นครู่หนึ่ง ข้อความจะถูกอ่านกลับมา

ฉันออกแบบสิ่งนี้สำหรับผู้ปกครองสูงอายุที่มีปัญหาสายตา เช่น จอประสาทตาเสื่อม แต่สามารถใช้ได้ในวงกว้างมากขึ้นสำหรับทุกคนที่ต้องการแปลข้อความที่พิมพ์ออกมาเป็นเสียงพูด

มีผู้อ่านจำนวนมาก แต่ส่วนใหญ่มีค่าใช้จ่ายหลายพันดอลลาร์หรือสำหรับผู้ที่เข้าใจเทคโนโลยีที่ต้องการการเชื่อมต่ออินเทอร์เน็ตและการใช้สมาร์ทโฟน เครื่องอ่านนี้ได้รับการออกแบบมาให้เป็นแบบสแตนด์อโลนโดยสมบูรณ์โดยไม่มีอินเทอร์เน็ตและไม่มีอินเทอร์เฟซอื่นใดนอกจากปุ่มกดขนาดใหญ่

ข้อดี

• ปุ่มเดียวเพื่อควบคุม
• ไม่จำเป็นต้องเชื่อมต่ออินเทอร์เน็ต
• ไม่มีส่วนต่อประสานกราฟิกกับผู้ใช้เพื่อนำทาง
• ค่าใช้จ่ายทั้งหมดน้อยกว่า $100
• พร้อมเสมอที่จะไป

ข้อเสีย

• OCR อาจถูกจำกัดเนื่องจากแบบอักษร สี ขนาดตัวอักษร ฯลฯ
• คำพูดเหมือนสตีเฟ่น ฮอว์คิง
• เหมาะสำหรับส่วนเล็กๆ ของข้อความสีดำบนกระดาษขาว

ขั้นตอนที่ 1: ฮาร์ดแวร์

• Raspberry Pi 3 (ต้องการแรงม้า!)
• 8GB + การ์ด micro SD
• แหล่งจ่ายไฟ DC 5v 2A สำหรับ Raspberry
• กล้อง Raspberry Pi (ปกติหรือ NoIR)https://www.adafruit.com/product/3099
• สายกล้อง Raspberry Pi 24”https://www.adafruit.com/product/1731
• ขายึดกล้องหรือเคสhttps://www.adafruit.com/product/3253 orhttps://www.adafruit.com/product/1434
• เครื่องมือปรับเลนส์ (เพื่อโฟกัสกล้อง)https://www.adafruit.com/product/3518
• ลำโพงโมโนแบบใช้ USB (ขนาดเล็กกว่า!)https://www.adafruit.com/product/1363
• ปุ่มกดขนาดใหญ่ – ชั่วขณะพร้อมไฟ LEDhttps://www.adafruit.com/product/1440
• ตัวต้านทาน 330 โอห์มสำหรับปุ่ม LED ด้านบน
• กล่องไม้ 8”x8”x2” จาก Michaels หรือร้านขายอุปกรณ์ศิลปะขนาดใหญ่อื่นๆ
• เศษไม้สำหรับสร้างขาตั้งกล้อง:
• 8”Lx1”Wx1/2”T แถบแบน
• 5”Lx1”Wx1/4”T แถบแบน
• เดือยสี่เหลี่ยมขนาด 6”Lx1/2”x1/2” สำหรับคู่มือการจัดวาง
• สกรู กาว ลวด บัดกรี ฯลฯ

ขั้นตอนที่ 2: การสร้างฮาร์ดแวร์

ใช้กล่องขนาด 8”x8”:

1. เจาะรูด้านหลังสำหรับสายไฟ

2. เจาะรูที่มุมขวาด้านหน้าสำหรับปุ่มชั่วขณะ3. เจาะรูสำหรับลำโพง (ดูขั้นตอนเสียง 12 ด้านล่าง)

4. ฉันใช้แถบอลูมิเนียมขนาด 2”x1/4”x13” สำหรับตัวยึดกล้อง แต่แถบไม้ก็ใช้ได้เช่นกัน

NS. ติดตั้งแถบไม้แบนขนาด 8” ที่ด้านหลังของฝากล่อง (ตรวจสอบให้แน่ใจว่าได้แนบมากับฝาปิดและไม่ใช่ด้านล่างของกล่อง มิฉะนั้น คุณจะไม่สามารถเปิดได้!)

NS. ยึดแถบไม้แบนขนาด 5” ที่ด้านบนของแนวตั้ง 8” ด้วยสกรูและกาว โปรดทราบว่าความสูงของกล้องเป็นตัวกำหนดขนาดของเอกสารและโฟกัสที่ต้องการ คุณอาจต้องการไปที่สูงขึ้นสำหรับเอกสารพื้นที่ขนาดใหญ่

5. ตัดช่องขนาด 1”x1/16” ที่ด้านบนของกล่องใกล้กับแนวตั้ง 8” เพื่อให้สายกล้องผ่าน

หมายเหตุ: สำหรับอุปกรณ์อิเล็กทรอนิกส์ ฉันไม่แนะนำให้ติดตั้งส่วนประกอบอย่างถาวร เพื่อให้คุณทำการปรับเปลี่ยนได้อย่างง่ายดาย

6. ต่อสายกล้อง 24” เข้ากับกล้อง อย่าเพิ่งเชื่อมต่อกับราสเบอร์รี่

ขั้นตอนที่ 3: ต่อฮาร์ดแวร์…

7. ติดตั้งกล้องโดยคว่ำหน้าลงจากปลายแถบไม้ขนาด 5 นิ้ว ฉันแนะนำให้รอก่อนที่จะวางกล้องลงในเคสเพื่อให้คุณสามารถโฟกัสเลนส์ได้ง่ายขึ้นเมื่อวิ่ง!

สำหรับการโฟกัสครั้งแรก ให้ใช้เครื่องมือ Adjustment แล้วหมุนเลนส์ทวนเข็มนาฬิกา 1/4! เปลี่ยน.

8. เสียบสายกล้องผ่านช่องแล้วต่อเข้ากับ Pi (ต้องแน่ใจว่า Pi ปิดอยู่!)

9. ติดตั้งปุ่มชั่วขณะและเชื่อมต่อสายไฟระหว่างมันกับพิน Pi GPIO 24 และ GND และเชื่อมต่อ LED ของปุ่มผ่านตัวต้านทาน 220 โอห์มกับพิน Pi GPIO 18 และ GND

10. เรียกใช้แหล่งจ่ายไฟลงในกล่องแล้วเสียบเข้ากับ Pi คุณต้องใช้การคลายความเครียด เช่น กาวร้อนละลายหรือสิ่งที่คล้ายคลึงกันเพื่ออุดรูในกล่องเพื่อไม่ให้สายดึงออก

ขั้นตอนที่ 4: ติดตั้งฮาร์ดแวร์เสียง…

11. สำหรับเสียง ฉันใช้ลำโพงโมโนที่ใช้พลังงาน USB และมินิแจ็คออดิโอ ฉันถอดอุปกรณ์อิเล็กทรอนิกส์และลำโพงออกจากกล่องพลาสติกเดิม และเสียบปลั๊กเสียงเข้ากับแจ็คเสียง Pi และสาย USB เข้ากับ Pi USB ฉันยังแทนที่ลำโพงขนาดเล็กดั้งเดิมด้วยลำโพงขนาดใหญ่ 3” เพื่อคุณภาพเสียงที่ดีขึ้นมาก

เนื่องจากฉันติดตั้งลำโพงไว้ใต้ฝากล่อง ฉันจึงเจาะรูเล็กๆ หลายรูในรูปของตะแกรงลำโพง

12. สุดท้าย ตรวจสอบการเชื่อมต่อ โดยเฉพาะสายกล้องและการเชื่อมต่อ GPIO

อย่าเพิ่งเปิดเครื่อง PI เลย ดำเนินการตั้งค่าซอฟต์แวร์ต่อไปก่อน…

ไม่มีสวิตช์เปิด/ปิด เนื่องจากสันนิษฐานว่า Pi ควรจะทำงานตลอดเวลา ดังนั้นมันจึงพร้อมที่จะอ่านบางสิ่งในทันที ใช้กำลังไฟเพียงไม่กี่วัตต์และสามารถทำงานได้ตลอด 24 ชั่วโมงทุกวันโดยไม่มีปัญหา

เป็นไปได้ที่การ์ด SD จะเสียหายหากไม่ได้เสียบปลั๊กหรือไฟฟ้าขัดข้อง แต่หาได้ยาก ฉันไม่เคยมีการ์ด SD ที่ไม่สามารถบู๊ตได้ แต่อย่าเสียบปลั๊กไฟที่ปิด/เปิดอยู่เป็นประจำ

ขั้นตอนที่ 5: การตั้งค่าและกำหนดค่าระบบปฏิบัติการ

ฟอร์แมตการ์ด microSD ขนาด 8GB หรือใหญ่กว่าด้วย Raspbian Jessie (หรือ Stretch) Lite (ไม่มี GUI สำหรับโปรเจ็กต์นี้)

www.raspberrypi.org/downloads/raspbian/

คุณจะต้องเข้าถึง Raspberry จากระยะไกลผ่าน SSH บน Windows คุณสามารถใช้โปรแกรมเทอร์มินัล PUTTY SSH บน Mac ให้เปิดหน้าต่างเทอร์มินัลคำสั่งขึ้นมา อีกวิธีหนึ่ง คุณสามารถเสียบแป้นพิมพ์และจอภาพ HDMI ชั่วคราวเพื่อสร้างมันขึ้นมาได้ แต่ SSH ช่วยให้ทำงานได้ง่ายขึ้นในภายหลัง

คุณรู้หรือไม่ หากคุณติดตั้ง Raspbian Jessie บนการ์ด SD โดยใช้ Windows PC คุณสามารถสร้างไฟล์สองไฟล์บนการ์ดเพื่อกำหนดค่าการเข้าถึง WiFi และ SSH ก่อนที่คุณจะบูตบน Raspberry

สำหรับสิ่งนี้ สมมติว่าขณะนี้การ์ด SD ของคุณต่อเชื่อมเป็น K: บนพีซีของคุณ:

1) ติดตั้งอิมเมจ Raspbian Jessie ล่าสุดลงใน SD สำหรับโครงการนี้ Jessie Lite น่าจะใช้ได้

2) ด้วยแผ่นจดบันทึก ให้สร้างไฟล์ที่เรียกว่า "ssh" และใช้บันทึกเป็น "ไฟล์ทั้งหมด" ไปที่ K:\ssh ไฟล์สามารถมีอะไรก็ได้ เป็นชื่อไฟล์ที่สำคัญ ต้องไม่เป็น “ssh.txt” !!!

3) ด้วยแผ่นจดบันทึก ให้สร้างไฟล์ชื่อ “wpa_supplicant.conf” โดยมีรายละเอียดดังนี้:

ctrl_interface=DIR=/var/run/wpa_supplicant GROUP=netdevupdate_config=1

เครือข่าย={

ssid="mySSID" psk="mypassword" key_mgmt=WPA-PSK }

ใช้ Save As “All files” เป็น K:\wpa_supplicant.confAgain อีกครั้ง อย่าให้ Notepad เปลี่ยนเป็น “wpa_supplicant.conf.txt”!!

เมื่อคุณบูต Raspberry ครั้งแรก Jessie จะมองหาสิ่งเหล่านี้และเชื่อมต่อกับ Wifi ของคุณ คุณจะต้องมองหาที่อยู่ IP บนเราเตอร์ของคุณ เนื่องจากมันถูกกำหนดโดยอัตโนมัติโดยใช้ DHCP

พร้อมติดตั้งลงใน Pi ของคุณแล้ว:

1. ใส่การ์ด microSD ลงใน Pi แล้วเสียบปลั๊กไฟทันที

2. ในการเข้าสู่ระบบ Raspberry Pi จากระยะไกล คุณจะต้องค้นหาที่อยู่ IP คุณสามารถลอง:

$ ssh [email protected]

หรือจาก Putty ให้ป้อนชื่อโฮสต์: [email protected]

มิฉะนั้น คุณจะต้องดูว่าเราเตอร์ของคุณจะแสดงที่อยู่ IP ของอุปกรณ์ในพื้นที่ของคุณหรือไม่

เมื่อเข้าสู่ระบบในฐานะผู้ใช้ pi:

3. อัปเดตระบบปฏิบัติการ Raspbian ของคุณ:

$ sudo apt update

$ sudo apt อัพเกรด

4. กำหนดค่า Raspberry และเปิดใช้งานกล้อง:

$ sudo raspi-config

NS. เปลี่ยนรหัสผ่านผู้ใช้

NS. ตัวเลือกการเชื่อมต่อ -> กล้อง -> เปิดใช้งาน

ค. เสร็จสิ้น

NS. รีบูต

ขั้นตอนที่ 6: การติดตั้งซอฟต์แวร์แอปพลิเคชัน

ตอนนี้กลับเข้าสู่ระบบ Pi ของคุณและคุณพร้อมที่จะติดตั้งแอปพลิเคชัน PiTextReader

1. ติดตั้งซอฟต์แวร์เริ่มต้นที่จำเป็น:$ sudo apt install git –y

2. ดาวน์โหลดซอฟต์แวร์:

$ cd /home/pi

$ git clone

$ cd PiTextReader

$ sh install.sh

คุณสามารถรัน install.sh อีกครั้งได้อย่างปลอดภัยหลายครั้ง หากจำเป็น

3. วางเอกสารอย่างง่ายที่จะอ่านและรันโปรแกรมทดสอบซึ่งกำหนดระดับเสียง เล่นเสียงการแปลงข้อความเป็นคำพูด และถ่ายภาพ

$ sh test.sh

หากคุณได้รับข้อความแสดงข้อผิดพลาด ให้ตรวจสอบการแก้ไขปัญหาด้านล่าง แก้ไขโปรแกรม test.sh เพื่อปรับระดับเสียงหากจำเป็น

4. โปรแกรมทดสอบจะบันทึกรูปภาพไปที่ “test.jpg” คุณจะต้องคัดลอกภาพนี้ไปยังพีซีเพื่อให้คุณสามารถเห็นโฟกัสและขอบเขตการมองเห็น วิธีที่รวดเร็วและสกปรกในการทำเช่นนี้คือการเริ่มต้นเว็บเซิร์ฟเวอร์ขนาดเล็กบน Pi ของคุณและใช้เบราว์เซอร์:

$ python -m SimpleHTTPServer 8080 &

จากนั้นไปที่

คลิกที่ test.jpg

ใช้เครื่องมือปรับเลนส์เพื่อโฟกัสกล้อง

เรียกใช้โปรแกรม test.sh อีกครั้งได้บ่อยเท่าที่ต้องการ

หมายเหตุ: หากคุณต้องการปรับการตั้งค่ากล้อง raspistill คุณจะต้องแก้ไขโปรแกรม pitextreader.py ด้วยการตั้งค่าใหม่ด้วย

CAMERA = "raspistill -cfx 128:128 --awb อัตโนมัติ -rot 90 -t 500 -o /tmp/image.jpg"

5. $ sudo รีบูต

Pi ควรขึ้นมาและทำงานโดยอัตโนมัติ พร้อมสำหรับการใช้งาน

ขั้นตอนที่ 7: การทำงาน

เมื่อคุณบูต Pi คุณจะได้ยิน "OK Ready" และไฟ LED ของปุ่มจะสว่างขึ้น

ทุกครั้งที่ไฟ LED สว่าง เครื่องก็พร้อมใช้งาน

ใส่ข้อความที่พิมพ์ไว้ใต้กล้อง โดยควรเป็นข้อความสีดำสองสามบรรทัดบนกระดาษสีขาว

โปรดทราบว่ากล้องไม่ต้องการแสงมากนัก โดยเฉพาะ NoIR แสงในห้องโดยรอบนั้นดีสำหรับฉัน แสงมากเกินไปทำให้เกิดแสงที่ไม่สม่ำเสมอและบิดเบือน OCR

กดปุ่ม.

ไฟ LED ควรสว่างและกล้องจะมีเสียงคลิก เช่นเดียวกับคำพูดว่า "ใช้งานได้ปกติ" ควรส่งเสียง

หลังจากนั้นไม่กี่วินาที ข้อความควรจะอ่าน หากข้อความผิดเพี้ยน แบบอักษรมืดหรือสว่างเกินไป ไปด้านข้างหรือกลับหัว ผลลัพธ์ที่ได้จะเป็นคำพูดที่ไร้สาระ!

อาจใช้เวลาประมาณ 5-30 วินาทีในการแปลงและเริ่มอ่าน ดังนั้นโปรดอดทนรอ ยิ่งข้อความมาก ยิ่งใช้เวลานาน

หากคุณต้องการหยุดอ่าน คุณสามารถกดปุ่มในขณะที่เสียงยังคงเล่นอยู่ (ไฟ LED ดับ)

เมื่อคำพูดเสร็จสิ้น หลังจากผ่านไปสองสามวินาที ไฟ LED จะสว่างขึ้นและคุณจะได้ยิน "OK Ready" อีกครั้ง พร้อมที่จะทำการสแกนอีกครั้ง

โปรดทราบว่าระยะที่กล้องตั้งไว้สำหรับกล้อง Raspi และสำหรับเอกสารขนาด 8x10 ส่วนหนึ่งเท่านั้น ฉันพบว่าควรอ่านส่วนต่างๆ ของเอกสารในแต่ละครั้ง เนื่องจากอาจเป็นเรื่องยากที่จะฟังทั้งหน้า หลายสิ่งจำเป็นต้องอ่านเป็นข้อความที่เล็กกว่า ดังนั้นหากกล้องอยู่ไกลเกินไปก็แก้ไขไม่ได้

ในการแก้ไขปัญหา ให้ตรวจสอบด้านล่าง โดยเฉพาะส่วนการสแกนและ OCR

ถ้าทุกอย่างเรียบร้อยดี ให้ติดตั้งส่วนประกอบทั้งหมดอย่างถาวรเพื่อให้การก่อสร้างเสร็จสมบูรณ์

ขั้นตอนที่ 8: การแก้ไขปัญหา

1. กล้อง

ตรวจสอบว่ากล้องเปิดใช้งานผ่าน

$ sudo raspi-config

ตัวเลือกการเชื่อมต่อ -> กล้อง

ใส่สายแพอีกครั้งเนื่องจากมีความละเอียดอ่อนและต้องอยู่ในแนวเดียวกัน หากจำเป็น ให้ google “raspberry pi camera Troubleshooting” เพื่อค้นหาปัญหาที่คล้ายกัน google ข้อความแสดงข้อผิดพลาดที่คุณได้รับเมื่อรันโปรแกรม test.sh

2. เสียง

คุณมีปริมาณขึ้น?

$ sudo amixer -q sset PCM, 0 100%

เรียกใช้การทดสอบเสียง

$ aplay /usr/share/sounds/alsa/Front_Center.wav

ยังไม่มีเสียง? บังคับเสียงออกจากแจ็ค:

$ sudo raspi-config ตัวเลือกขั้นสูง -> เสียง -> บังคับแจ็คหูฟัง

3. คำพูด

หากเสียงด้านบนฟังดูดี ให้ลอง:

$ flite -t TEST

ข้อความแสดงข้อผิดพลาดของ Google หากมี

รัน install.sh. อีกครั้ง

ใช่ คำพูดฟังดูเหมือนสตีเฟน ฮอว์คิง

4. การสแกนและ OCR

นี่คือพื้นที่ที่ใหญ่ที่สุดของการปรับแต่งที่จำเป็น เพื่อให้ OCR ทำงานได้อย่างถูกต้อง ภาพของกล้องจะต้องมีคุณภาพดี เอกสารต้องสว่างอย่างราบรื่น ไม่จำเป็นต้องสว่างเสมอไป

ข้อความจะต้องเรียบและชัดเจน ไม่สามารถอ่านแบบอักษรทั้งหมดได้

ในการตรวจสอบคุณภาพ ให้ตรวจสอบไฟล์สองไฟล์:

/tmp/text.txt และ /tmp/image.jpg

คุณสามารถเริ่มต้นเว็บเซิร์ฟเวอร์ขนาดเล็กและใช้เบราว์เซอร์:

$ cd /tmp $ python -m SimpleHTTPServer 8080 &

ข้อความในภาพควรเป็นแบบธรรมดาและอ่านได้ รูปภาพควรหันขวาขึ้น คอนทราสต์ดี อยู่ในโฟกัส คุณอาจต้องพลิกเอกสารไปรอบๆ หากกลับด้าน (เตือนผู้ใช้ว่าหากพวกเขาได้ยิน gobbly-gook ให้ลองพลิกเอกสารไปรอบๆ) หากภาพมีความเปรียบต่างต่ำ คุณจะต้องปรับปรุงการจัดแสง มากเกินไปหรือน้อยเกินไปอาจทำให้เกิดปัญหาได้ แสงที่ไม่สม่ำเสมอจะทำให้บางส่วนของข้อความล้มเหลว คุณสามารถหาความช่วยเหลือเพิ่มเติมได้โดย googling “tesseract-ocr help”

5. HDMI MONITOR/คีย์บอร์ด

ได้ คุณสามารถเสียบแป้นพิมพ์และจอภาพเข้ากับ Pi ได้ หากคุณไม่พบที่อยู่ IP หรือไม่สามารถเข้าถึงได้ผ่าน SSH ไม่มีอินเทอร์เฟซ GUI และอาจปิดเสียงเว้นแต่จอภาพของคุณจะมีลำโพง

6. อินเทอร์เน็ต/WIFI

หาก WIFI ไม่ทำงาน คุณสามารถเชื่อมต่อสายอีเทอร์เน็ตชั่วคราวและใช้งานได้

โปรเจ็กต์นี้ไม่ต้องการอินเทอร์เน็ตหรือ WiFi เมื่อคุณติดตั้งและตั้งค่าเสร็จแล้ว