4.2. コミュニケーションのための代行技術
4.2.1.触覚による聴覚代行
（1）基本的な問題
　聴覚を触覚など皮膚感覚で代行させるといっても、受け取れる情報の量や質は感覚によって大きく異なるので、次の3点について調べておく必要がある。まず、①どこの部位の皮膚感覚がどの程度の情報量を伝達できるか、すなわち「伝達情報量」を定量的に把握し、どの位の情報圧縮が必要かを推定する。次に、②聴覚と皮膚感覚の「特徴抽出」の違いを調べて、どのような刺激に情報変換すれば音声や環境音の情報が認識しやすくなるかを追求する。さらに、③訓練によって皮膚を介して伝達された音響情報が聴覚の中枢に流れ込むのか、すなわち可塑性による「感覚連合」が成立するのかを推察する。その場合、障害の程度や生じた時期、とくに先天性か後天性かによって大きく異なるので、それらのことを考慮しながら研究開発を進めるべきである（文献4.2.1）。
　なお、感覚連合については、1990年代の終わり頃、大脳生理学の観点から、触覚と視・聴覚の結び付きについて幾つかの興味深い結果が報告されている。例えば、後天性全盲者の手掌に点字パターンを提示して大脳皮質の活動をPET　(Positoron Emmision Tomography)で調べた結果、明らかに大脳後頭部の視覚領野(visual cortex)が活性化したという報告がある（文献4.2.2）（図4.2.1の左）。また、後天性ろう者の指先に音声を振動刺激に変換して提示しながら大脳のfMRI（Functional MRI）を計測したところ、左半球の言語野に結びつく聴覚野(auditory cortex)が活性化したという報告（図4.2.1の右）もある（文献4.2.3）。これらの発見から皮膚感覚による感覚代行の可能性や重要性が見直されてきている。

（2）聴覚と触覚の類似性
　音を皮膚刺激に変えて伝える方法は一般にタクタイルエイド(tactile aids)と呼ばれているが、その研究の歴史は古いものの、決して普及し定着した聴覚補助代行法ではない。しかし、そこには感覚補助代行の本質的な課題が内包されているので、少し詳しく述べる。
　生理学者のベケシーは、聴覚と触覚における抑制機構あるいはシャープニング機構の類似性を示すために、蝸牛管を30cmほどの長さの流体管で置き換え、その上に張った薄い膜で基底膜を模擬した蝸牛メカニズムのモデルを作っている（図4.2.2）（文献4.2.4）。その膜を被験者の腕に当てて、流体管の一方から振動を加えて膜に進行波を発生させながら、その進行波の大きさと広がりを被験者に答えさせた。被験者はブロードな振動パターンでも主観的にはシャープな振動パターンとして知覚されると答えたことから、その振動パターンを受け取る触覚系でも聴覚系と同様のシャープニングが行われているという仮説を導いた。ベケシーは、このような皮膚感覚と聴覚の類似性を示す一連の実験を通じて、触覚による聴覚代行の可能性に言及していることから、この流体管モデルはタクタイルエイドの原型といえよう。 
　なお、神経生理学者の勝木は、ネコの耳に音を聴かせながら聴神経系の蝸牛神経や下丘という部位に微小電極を当てて神経活動を計測した結果から、下丘で側抑制神経回路があることを予測している(図4.2.3)（文献4.2.5）。前述したように、振動刺激により左半球の聴覚中枢が活性化するという発見からも、タクタイルエイドの研究は脳における可塑性など脳機能との関係で論じられるべきであろう。

（3）タクタイルエイドの歴史　　

　タクタイルエイドは、1970年代に、様々な方式が開発され、その優劣が評価されていた。例えば、ピッチ周波数に対応して振動する場所を変化させる方法、音声のスペクトルを10分割し、10個の振動子で10本の指に与える「タクトホン」と呼ばれる方法（文献4.2.6）、電極アレイを介して腹の皮膚に提示する方法、さらに話者の口元に幾つかの位置センサや振動センサを付けて口形の動きなどを検出し、聾者の手に触覚刺激で伝えるという方式（Tadoma法）などがあった（文献4.2.7）。図4.2.4はその中でも実際に製品化され、現場で利用されている3例を示したものである。上の左図は1983年にスウェーデンで製品化されたミニビブ(MiniVib)と呼ばれるもので、一個の振動子で音声強度を振動強度に変換している。上の右図は、米国で1991年に製品化されたタクタイド（Tactaid7）と呼ばれるもので、音声スペクトルを7分割し、それぞれを７個のモーターによる振動に変換している。下図は、オーストラリアで開発されたティクルトーカ(Tickle Talker)と呼ばれるもので、8個の電気刺激電極を4本の指の根元に装着してスペクトルを提示するものである。
　スウェーデンの研究者が幾つかのタクタイルエイドを自ら装着して、スウェーデン数字音声の識別実験を行っている。その結果、指先に振動子アレイを当てた方法で最も識別率が高いことを報告している。

（4）触知ボコーダの原理と効果
①　回路構成と振動パターン
　1974年の前半、伊福部らは、聴覚と触覚の空間・時間分解能や情報受容能力に関する基礎的な研究をした後、１本の指に振動パターンを与える「触知ボコーダ」と名付けたタクタイルエイドを開発し、実用化させたことがある（文献4.2.8）。基本構成としては図4.2.5 に示したように、まずマイクロホンで得た音声を、内耳と同じような周波数分解をするバンドパスフィルタ群へ導く。ここでは、臨界帯域と呼ばれている聴覚系の中に仮想されている24個のバンドパスフィルタをモデルとしている。
　触知ボコーダでは、24個のバンドパスフィルタの中から、200-4400Hzの中にある16個を選んだ。この16チャンネルは、音声識別に必要な成分が含まれている周波数帯である。次に、バンドパスフィルタの各出力波形からその包絡を検出し、側抑制回路に送っている。この側抑制回路の働きは、ベケシーの提案した「ニューラル・ユニット」の機能に相当し、勝木が示したようなシャープニングの役割を果たす。これにより、ホルマントやその変化を強調したり、強度の弱い子音成分を増強したりすることができる。
　さらに、側抑制回路の出力の強度に比例した200Hz振動を発生させるようにした。振動子アレイは１mmおきに16行、3mmおきに3列、合計48本のピエゾ素子のバイモルフ型振動子を配列し、ピエゾ素子の先端にプラスチックのピンを立てて、垂直振動に変換している（図4.2.6の右）。列の3mmは指先の２点閾値を超える距離であり、列の1mmは、振動する場所が移動するのがやっとわかる間隔が1㎜である、ということに基づく。これにより、幾つかの子音ホルマント遷移部の動きが識別できる。なお、３行にしたのは振動を点でなく線で知覚されるようにして、ホルマントやその変化を識別しやすいようにしたためである。
　また、皮膚上を振動がスウィープする刺激と聴覚の基底膜上を進行波がスウィープする刺激、すなわちFM音（Frequency Modulation Tone）が両感覚で生理学的にも知覚上でも類似する刺激であると考えた。その仮説を基に、子音から母音に至るホルマント遷移部は10Hz〜100Hz/ms程度で変化する一種の周波数変調音（FM音）であるので、このFM音を指先の触覚で識別しやすい5cm/sec〜50Hz/secで移動する振動刺激に対応させた。実際、振動子アレイを指に当てていると、スウィープ刺激はちょうど指先がなでられたような感覚として明瞭に感じ取られた。本装置は、図4.2.6のような形で製品化され、我が国ではどこまで日本語音声の認識に役に立つかが盛んに議論された。

②　音声の識別特性
　まず、日本語５母音の識別結果、手のひらなど指頭以外の部位に振動板を当てた母音識別率を求めた結果、どの被験者でも指頭で最も識別率が高かいことが分かった（図4.2.7の左）。母音識別能は触覚のニューラル・ユニットの受容野（あるいは空間分解能）を反映している2点閾値が小さいほど認識能力が高くなることが確認された。一方、子音の場合、短時間で終わってしまう破裂音/p/、/t/、/k/などの単音節音声を識別するのは困難であった。そこで、コンピュータの処理でスローモーションにして提示すると、3〜4倍の時間的な引き延ばしで子音の/ku/、/nu/、/ru/などは識別率が急上昇した（図4.2.7の右）。触覚の時間分解能は聴覚に比べて3〜4倍大きいことを推測されているが、子音部の時間的な伸長により、触覚の時間分解能の低さを補う効果が生まれることが確認された。

また、話者の口の動きを読み取る「読話」を補助するためには極めて有効であった。例えば、識別の難しい/ku/、/tsu/、/su/、/nu/、/yu/、 /ru/、/fu/という７個の子音を聾の学生4名にランダムに与えて、読話だけでどの子音であったかを答えさせると、平均27％と低い識別率であった。しかし、触知ボコーダを併用して１日１時間で１週間ほど訓練すると、約70％位に識別率が上昇した。さらに「はい」、「いいえ」、「もう一度」など、電話でよく使う音声を覚えさせ、その後実際に電話を使うという実験を行ったことがある。その結果から、被験者のろう学校の生徒（10歳男子）が自分の親に電話をかけ、覚えた言葉である程度の会話ができることを確認している。なお、この訓練課程や電話による会話の様子は1976年のNHKのドキュメンタリーテレビ「指で聞いたアイウエオ」で放送された。
　さらに、和田らは、横の3列の上を振動パターンが移動するような、ちょうど電光掲示板のようにスウィープ呈示させると、子音の中でも特に破裂音の識別率が上昇することを見出している（文献4.2.9）。スウィープ提示は触覚の時間分解能の低さを補う効果があることが裏付けられる。

③ 触感とその利用
　一方、本間らは振動刺激の波形や周波数など時間パターンを変えることによっても色々な「触感」を提示できることを示している（文献4.2.10）。バイモルフ型ピエゾ素子による3行×4列の振動子アレイにバースト状の振動をスウィープさせながら提示し、キャリア振動の周波数や波形によってどのような触感が得られるかを形容詞で答えさせている。その結果、キャリアの波形や周波数を変えることによって、ヌメヌメ、ゴロゴロ、キリキリ、など色々な触感が得られたと報告している。
　それらを、木戸・粕谷が声質の聴取印象の因子として提示した「明瞭性因子」「迫力性因子」「美的因子」の３要素すなわち「声質の印象の3因子」と対応付けることにより、振動周波数、波形、強度の違いで得られる触感を3次元的に表現することも試みている（図4.2.8）。逆に、音色の表現の多くは触感に由来するものと考えることができることなど、聴覚代行の研究はバーチャルリアリティや認知科学とを結びつける興味深いものといえる。子音の音質をどのような触感に変換すれば良いかは今後の課題となる。
　また、一般に人間の聴覚・言語処理系には、連続的に話した言葉をセグメンテーションという方法で１音１音を頭の中で分離できる能力がある。また、話し手によって言葉のスペクトルが大きく変わっても同じ言葉として理解する能力もある。このセグメンテーションや話者認識は音声自動認識の研究でも難題であり、それらが触覚を経由した情報で実現されるのかは未だに不明である。
　タクタイルエイドの役割は音声の認識というよりは、音声言語に付随するイントネーション、リズム、アクセントなど韻律的な情報を提示する上では効果的である。現時点では、発声のフィードバックや環境音の情報を得る上でその有用性を見出すべきであろう。さらに、盲ろう者支援や、視覚や聴覚を利用できないような場面で利用するのが有効であると言える。

（4）触覚による発声フィードバック
①　聴覚障害に伴う発音障害
　感覚-脳-運動の情報循環が切れたのを繋ぐという視点は生体機能代行を考える上で必須である。このことを示す例として、発声のフィードバックに触覚を利用した研究について述べる。発声を特徴付ける要素としては、舌、唇、顎などがあり、これらの構造的な特徴は視覚を介して知ることができる。古くから、教育現場では視覚を介した口話法による伝統的な訓練方法が使われている。
　一方、音声の強度やピッチは肺や声帯筋の制御によるものであり、発声器官の構造的な変化として視覚的にはとらえ難い。特に聾児の場合、極端に高いピッチ（頭声）や低いピッチ（胸声）になりがちであり、そのために発音の明瞭性が著しく低下してしまう。発音訓練のための補助機器が最も威力を発揮するのは、音声ピッチ訓練の場合であろう。

②　触知発声制御装置と制御理論によるその評価
　伊福部らは、触知によるピッチ制御のために、PCを中心とした訓練システムを開発したことがある（文献4.2.11）。システムでは、発声者の音声から前処理部で100〜400Hzの範囲にあるピッチと強度を抽出し、ピッチを16段階に分けて振動子アレイ（16列）の振動部位に対応させ、それぞれの音圧（dB）を振動強度に対応させて提示した。12歳男子（聴力損失90dB以上）に本システムにより音声ピッチの訓練をさせたことがある。ステップ的に変化するピッチ周波数（目標値）にできるだけ正確に追従するように訓練させた結果、音声ピッチが立ち上がりは目標値の立ち上がりから約0.2〜0.3secの遅れが生じることが分かった。その後、数100msecの後オーバーシュートが現れ、周期的な変動を繰り返しながら目標値に近づいた。また、短期間の訓練により遅れ時間が短くなるとともに、オーバーシュートが小さくなり、明らかに有意な学習効果が認められた。
　その後、坂尻らは、盲ろう者のための「触覚フィードバックによる歌唱支援システム」を開発し、その評価を行っている(文献4.2.12)。これは40歳のときに聴力と視力を失った謡いの教師女性（67歳）が歌う機能を取り戻すのを支援するために開発したもので、本人がもう一度、歌を歌いたいという希望に応えたものである。本システムでは、図4.2.9の左図に示したように、1.5オクターブの音程を12音階に従って分解して、１mmおきに4行16列からなる振動子アレイを介して音程に対応する部位に振動を提示した。ただし、4行の内2行には教師の音程が提示され、他の2行には本人の音程が提示される。音程フィードバック実験では、教師の音程にできるだけ早く自己の音程を合わせるよう指示し、目標音程にどこまで正確に合わせることができるかを評価した。
　評価データを分析した結果、発声した音声ピッチ周波数の平均値が目標音程の範囲内で制御できるようになり、「カエルの歌」や「赤とんぼ」などの童謡を歌えるようになった（図4.2.9右図）。訓練により教師との音程差は少なくなり、最終的にピッチ差の平均は117.5　[cent]となったが、これは健聴者の平均的な音程の正確さと同程度である。このことは、触覚による音程フィードバック情報が脳内を経由して音声ピッチ制御のために有効に利用されていることを示している。
　。
　この例でも分かるように、触覚系経由による発声制御系は「触覚—脳—発声」のフィードバック系（図4.2.10の下図）として捉えると、装置や訓練の効果を制御工学の観点から評価できるといえよう。

（5）危険な環境音を知らせる触知音像定位
　重度難聴や盲ろう者たちは警報音や自動車の走行音を聞き取れなかったり、呼びかけの声に気がつかなかったりすることで、生活を送る上で不便な思いをしている。そのため、古くから、視野外からの警報音や呼びかけ声などの情報を触覚に与え、それがどちらの方向から到来したかを知らせる研究がある。新岡・伊福部らは聴覚で行っている音源定位のメカニズムを調べて、それを触覚で模擬して音源方向を知覚させる「触知音像定位」を提案している（文献4.2.13）。　
　ベケシーは方向定位についても五感に共通する処理過程があることを、巧みな心理物理実験に基づいて示している。図4.2.11の左のAは、腕の2箇所に時間差Δtを付けてパルス状の振動刺激を与えたときに、Δtによって知覚される部位が2点の中間に移り、同時に知覚される像の広がりも変化する様子を示している。これは刺激のないところで生じる感覚なので、お化け感覚「ファントムセンセーション(Phantom Sensation)」と呼ばれる。2点の刺激の時間差を固定し、強度だけを変えても同じように、強度差に依存して同様のファントムセンセーションが生じる。なお、知覚される像が中央に偏移するほど広がる現象は、ニューラル・ユニットの抑制野により、互いに他の刺激による感覚を抑制し合うためである。
　一方、両耳に時間差Δtのあるパルス音を与えたときに知覚される音像も一種のファントムセンセーションである（図4.2.11の左のB）。新岡・伊福部らは、手掌に与えた2つの振動刺激に強度差を付けると容易にファントムセンセーションを知覚させ得ることを実験的に確認しているが、時間差だけではその知覚は困難であったと報告している。ただし、ファントムセンセーションが左右に移動して知覚されるようにしたとき、やっとその移動が分かるときの移動周波数を調べた結果、振動覚も聴覚もその移動周波数は2Hz前後とほぼ同じであることを示している（図4.2.11の右）。
　さらに、彼らは2個のマイクロホンで検出した音源情報の時間差と強度差を2つの振動の聴覚による音源定位を触覚で代行させる「触知音源定位装置」を開発している（図4.2.12）。
　この装置では、音源の基本周波数が800Hz以下では時間差を振動刺激の強度差に変換し、800Hz以上では強度差のみが異なる2個の振動刺激を皮膚面の2点に提示している。2個の振動子を手の平に約4cm間隔で、腹、胸、背などに10〜20cmの間隔で当てた場合、いずれの部分でも、自動車が数十kmで近づいてくる場合ならば、その方向および車の動きを触覚で十分知覚できることを確かめている。

（6）ウェアラブル触覚デバイスによるコミュニケーションと
　2010年頃から、伊福部らは、聴覚障害者や盲ろう者が環境情報を知るのを支援することを目的として、カメラ、マイクロホンおよび触覚センサが内蔵した携帯電話用のウェアラブル触覚ディスプレイ(32チャンネル)を開発し（図4.2.13）（文献4.2.14）、その有用性を評価している。ウェアラブル化にするために積層バイモルフ型ピエゾ素子を開発し、振動子が10V 程度で100?mの振幅を発生できるようにしている。視覚障害者でもある松尾らは、アクションゲーム内のキャラクターの動きを音の高さや音の方向で判別できるように表示するとともに、この触覚デバイスを同時併用（図4.2.14）することで、ゲームに臨場感を与えることを示している（文献4.2.15）。
　さらに、この装置はカメラやマイクで捉えた情報を触覚ディスプレイに提示するだけでなく、触覚センサをなぞったり叩いたりした情報も相手の触覚ディスプレイに提示される。スマートホンなどと連動したウェアラブル触覚情報端末は、将来、感覚障害支援だけでなく視覚や聴覚が使えない環境における感覚・コミュニケーションの一つのツールとなると考えている。
　（文責　伊福部 達）

文献　（4.2）

（4.2.1）伊福部達，湊博，吉本千禎:心理物理実験によるタクタイル・ボコーダの基礎的研究，音響会誌，31(3) pp.170-178 (1975)
（4.2.2）Sadato, N., Pascual-Leone, A., Grafman, J., Ibanez, V., Deiber, M. P., Dold, G., and Hallett, M., "Activation of the primary visual cortex by Braille reading in blind subjects," Nature, 380(6574), 526-528  (1996). 
（4.2.3）Levanen, S., Jousmaki, V., Hari, R.,:"Vibration-induced auditory-cortex activation a congenitally deaf adult," Current Biology, 8(15), 869-872　(1998).
(4.2.4) G.B?k?sy, Neural funneling along the skin and between the inner and outer hair cells of the cochlea. J.Acoust.Soc.Am.31(9),1236?1249(1959).doi:10.1121/1.1907851
(4.2.5) N.Suga, Sharpening of frequency tuning by inhibition in the central auditory system: tribute to Yasuji Katsuki’s paper. Neurosci.Res.21(4),287?299(1995)
(4.2.6) Suzuki，H. et al. :“ TACTPHONE as an aid for the deaf"，Proc. of 6th ICA　(1968)
(4.2.7) Norton，S. J.，Shultz，M. C.，Reed，C. M. et al. :“ Analytic study of the Tadoma method : Background and preliminary results"，J. Speech Hear. Res.，20，pp.574 595 (1977)
(4.2.8) Ifukube，T. and  Yoshimoto，C., : “A sono.tactile deaf-aid made of piezoelectric  vibrator array"，]. Acoust. Soc. Jpn，30，pp.461 462 (1974)
(4.2.9) 和田親宗，井野秀一，伊福部達:“高度難聴者用タクタイルボコーダにおけ
る音声スペクトルのスイープ呈示方式の提案と評価"，信学論、J78-A-3，pp.305-313 (1995)
(4.2.10) 本間健，井野秀一，泉隆，黒木速人，伊福部達: “指先皮膚の機械特性を考慮した触覚ディスプレイ用圧電アクチュエータの製作”,VR学会論文誌, 9(3)  pp.249-258　(2004)
(4.2.11）伊福部達：「発音訓練における感覚代行」,人間工学会誌，16(1) pp.5-17(1980)
(4.2.12）Sakajiri, M. Miyoshi, S., Nakamura, K, Fukushima, S. and Ifukube,T.,: “Development of voice pitch control system using two dimensional tactile display for the deaf-blind or the hearing impaired persons”; NTUT Education of Disabilities, 9, pp.9-12 (2011).
(4.2.13) 新岡 正，伊福部達，吉本千禎:“ろう者用触知音像定位装置の基礎的研究"，
　　　　音響学会誌， 33(5) pp.250 258 (1977)
(4.2.14) Yabu, K., Sakajiri, M. and Ifukube,　“Development of a wearable haptic tactile interface as an aid for the hearing and/or visually impaired, NTUT Education of Disabilities, 13, 5-12 (2014) ,
　　　　
(4.2.15) Matsuo, M., Miura, Yabu,　K., Katagiri, A., Sakajiri,　M., Onishi,J.,　Kurata,　T., Ifukube, T., “Inclusive Action Game Presenting Real-time Multimodal Presentations for Sighted and Blind Persons?Inclusive Action Game Presenting Real-time Multimodal Presentations for Sighted and Blind Persons”, Proc. of the 2021 Inter. Conf. on Multimodal Interaction, Dec. (2021)