図1. 指文字デバイスの回路図(左)と外観(右)
指文字表示デバイスを試作しました。盲ろうの方の利用を想定しています。
3元符号化で、デバイスの5本の指それぞれ3通りの曲げ具合いの組み合わせで指文字を模擬しています。
試作した指文字表示デバイスは図1のようなものです。
指の部分はサーボモータにビニールチューブを固定した簡素なものです。
主な仕様は表1のとおりです。
| 項目 | 適用 |
|---|---|
| サーボモータ | GWS servo PICO (5個) をPET樹脂板に固定 |
| 電源 | モバイルバッテリー |
| スマホやパソコンとの接続 | BLE(Bluetooth Low Energy) |
| 指 | サーボモータに5mmφ×6cmのビニールチューブを固定 |
| 指の曲げ角度 | 0-30-60 / 0-45-90 / 0-60-120(度)からアプリ上で選択 |
| 文字表示間隔 | 0.5～1.5(秒)でアプリ上で設定 |
| 制御CPUとプログラム | ESP32S3, Arduino IDE 2.3.7, Arduino-BLE-MIDI, webio2.ino |
| 操作用Webアプリ | fingercoding.html, fingercoding.js, webio2.js ブラウザの機能としてWebBluetoothAPIおよびWebMidiAPIを利用 パソコン(Windows11), スマートホン(Android)のChromeブラウザで動作確認 |
ブラウザの操作画面を図2に示します。初めに画面上のを押すと、左の画面が現れるのでデバイスを選択し、接続します。その後、入力欄に文字を入力し(図では「こんにちは」)、を押すと、指文字デバイスは1文字ずつ、指文字の形に変化します。利用者はこれを触って読み取ります。画面には、指の動きに連動して指文字の形が表示されます。
なお、スライダーで指文字表示の時間間隔(0.5～1.5秒)と、指の曲げ角度(0-30-60, 0-45-90, 0-60-120)を設定できます。
以下は動作の様子です。
この方法では 35=243通りの指文字の表現ができます。しかし、実際に使われている指文字は手の向きや回転や動きなど、もっと複雑ですから、忠実に表現できるわけではありません。まずはこの方法で、文字の読み取りがどの程度可能かを試してみたいと思っています。
今はようやくデバイスやアプリが動作するようになった段階です。私自身、これまで盲ろうの方と接することはなかったので、今後、当事者や支援者の方々のお話を伺いながら、改善していきたいと思っています。
今のところ「指文字表示デバイス」しかありませんが、今後「指文字入力デバイス」も検討したいと思っています。3元符号化で指文字の表現を簡素化することで、指文字を模擬した入力デバイスも作れるのではないかと考えています。
検討課題はたくさんありますが、いつか、このようなデバイスをポケットに入れて、移動先でメールを読んだり書いたりできる日がくるといいのですが。
[1] 安, 濱, 中津, 村岡: ホビー用ロボットハンドを用いた指文字表現, IPSJ Vol.2018-AAC-8 No.6, 2018.
[2] 關, 森, 横井: ろうベースの盲ろう者の自立した情報獲得を目指した触指文字ロボットの開発, WIT2016-87, 2017.
[3] 河村(編): 盲ろう者と触手話, 国立リハビリテーションセンター, 2005