２．4複合感覚（マルチモーダル）の特性
2.4.1　　聴覚と触覚の併用による情報取得の効果　−触覚ジョグダイアルを例に−
（１）　視覚障害者における話速の最高速度
　日本では、マイクロソフト社のＯＳ「Windows 95」が発売された次の年（1996年）に、テキストを音声にして聞かせる視覚障害者用読書器「95リーダ」が、労働省（現：厚労省）の開発事業（代表：伊福部）の一環として開発され、安価なスクリーンリーダが本格的に普及しようとしていた（文献2.4.1）。しかし、情報獲得速度は晴眼者によるテキスト読み速度に比べると遥かに遅いという大きな問題があった。晴眼者は視線を動かして高速に視野内の情報を探索する「飛ばし読み」ができるのに、視覚障害者はキーボードを使って行単位により音声で確認しながら探索しなければならない。自ら盲でありIBMの研究所の女性研究者でもあった浅川智恵子らは、自らの経験から視覚障害者にとって、もっと速くて最適なテキスト速度があるのではないかと考えた。そこで、音声化された文章の話速だけを高速にし、どの話速で聞き取りやすいかを、被験者を厳選し、詳細かつ定量的に調べた（文献2.4.2）。
　実験では、色々な話速を持つ無意味文章の音声をランダムに被験者に聞かせた直後に、復唱により再現させ、その正答率(recall Rate)を求めた。学習効果による影響を避けるため、すべて異なる文を用い、また、難易度のばらつきについては、「音素バランス文」を用いることで中立性を保つよう考慮した。実験結果から、図2.3.1に示すように、7名の全盲の被験者のうちコンピュータ使用歴が5年以上の上級者の聞き取り最高速度は、約1400〜1500モーラ/分と有意に高く、使用歴5年以下の初級者でも約1000〜1150モーラ/分となることが分かった。代表的な音声合成エンジン（TTS：Text to Speech）の読み上げ最高提示速度は約878モーラ/分であるから、それを大きく上回ることになる。
　視覚障害者の音声聞き取りが速い訳は、日ごろ情報の多くを「音」を手がかりにして情報を獲得しようとしているため、知らずしらず晴眼者よりも音声言語の情報処理速度が速くなるという「代償機能」が働いたためであろう。さらに、浅川らは、本実験の結果に基づいて「TAJODA（Tactile JogDial）」インタフェースと名付けた聴覚と触覚を利用した音声速度制御方式を提案し、評価実験を通してマルチモーダル呈示の有用性を示している（文献2.4.3）。

(2)触覚ジョグダイアル「TAJODA」の原理と評価
従来は、文字を修飾する、色情報、大きさ、フォントなど「リッチテキスト」は音声で「フォント１２、赤、ボールド」のように読み上げていたが、それでは折角話速を速くしても結果として情報獲得の速度はあまり変わらなくなってしまう。そこで、リッチテキストの部分では、例えば文字の大きさを音声の大きさで、文字色を男声女声のように音色の種類で伝えたり、点字で表示したりするなどの工夫をした。しかし、音色や点字でリッチテキストを表す方法は文の理解に混乱をきたすだけに過ぎなかった。
　試行錯誤の結果、浅川らはビデオ編集などで使われる「ジョグダイアル」の操作で話速を自ら制御できるようにし、リッチテキストを指先の触覚に提示する方法を提案した。次に、どのようなリッチテキストが使われているのかを新聞などで現れるリッチテキストの割合と頻度の観点から調べた。その結果、文字の大きさとして3種類、括弧、アンダーライン、ボールド、改行などの7種類が特に多いことが分かった。
そこで、上記の７つのリッチテキストを指先の触覚で区別がつくような振動パターンに変換し、ジョグダイアルと一緒に使うインタフェースを開発し、それを「タジョダ」と命名した(図2.3.2の左上)。2行×8列からなる振動子マトリクスをジョグダイアルに装着し、文字の大きさ、「・」、ボールドなど7種類のリッチテキストに対して、異なった振動パターンが発生するようにした（図2.3.2の右）。例えば、ボールドは全ての振動子が、「・」は真ん中だけが振動し、文字の大きさには下から上へ移動する振動を用い大文字で速く移動する、などである。
　タジョダの有用性を調べるために、ジョグダイアルで話速を調整しながら、文章の読み上げ中のどこかで指先に振動が伝わるようにして、そこでどのリッチテキストであるかを答えさせるという実験を行った。実験では、①従来の普通の速度の音声だけの場合、それに②タジョダを併用した場合、③高速音声にした場合、④高速音声とタジョダを併用した場合について文章の獲得時間と使い勝手を調べた。上記と同じ被験者により、ランダムに文章を提示するときに、１文章の１数字だけリッチテキストを表す触覚刺激を指先に提示し、その部分の数字を答えさせた。
　その結果、文章獲得時間については図2.3.3の左、使い勝手については同図の右のようになり、両者ともに高速音声にタジョダを併用した場合に有効であることが裏付けられた。
　音声のようなバーバル情報は聴覚領野を経て言語を理解する脳にダイレクトに伝わり、リッチテキストのようなノンバーバル情報は触覚を経由して言語中枢以外のところに伝わっていると想像される。このように2つの情報の経由先が異なるので情報間の干渉が起きにくいのかも知れない。逆に、音声を聞きながらリッチテキストを音色に変えて聞いてもうまくいかないのは、バーバル情報とノンバーバル情報が経由する感覚チャンネルが類似するからであろう。
　一方、点字は2次元平面に書かれていることから文書全体の構成を把握する点では墨字で書いた文書と似ている。しかし、音声化してしまうと時間軸の上を1次元で流れる情報となり、音声化された文書は2次元としては捉えにくくなる。ときどき触覚に提示される刺激は次に内容が大きく変わる分かれ目を示している場合が多いことから、文書の構造を知る上での役割をしているのであろう。タジョダインタフェースにより、晴眼者が飛ばし読みするように「飛ばし聴き」する効果が生れてくるともいえる。このように複合感覚の利用の仕方によっては情報取得の速度を上げることができると言えよう。（文責 伊福部 達）

文献　（2．4）
（2.4.1）渡辺哲也, 岡田伸一, 伊福部達:「GUIに対応した視覚障害者用スクリーンリーダの設計」,『電子情報通信学会論文誌D-II』, J81-D-II(1), pp.137-145(1998)　
（2.4.2）浅川智恵子, 高木啓伸, 井野秀一, 伊福部達: 「視覚障害者への音声提示における最適・最高速度」, ヒューマンインタフェース学会論文誌, 7(1)  pp.105-111 (2005)
（2.4.3）Asakawa, C. Takagi, H. Ino, S. and Ifukube, T.,: "TAJODA: Proposed tactile and jog-dial Interface for the Blind,” IEICE Trans. on Info. and Systems, Vol.E87-D(6)  pp.1045-1014 (2004)