児童教育実践に
ついての研究助成

研究という海原を縦横無尽に波乗りする自由人 — 鳥居さんに会った人の多くが抱く第一印象ではないだろうか。
CG映像制作を専門とする鳥居さんが、畑違いとも思える、障害児のためのコミュニケーション支援ツールの開発を手がけるようになったきっかけは何だったのだろう。
「愛知県内にある特別支援学校の先生から依頼を受けたのがそもそもの始まりです。 ICTの活用に積極的な学校で、そのアドバイスを求められて先生方と親しくなるうちに相談をもちかけられたのです」。
すでにスマートフォンやタブレットなどの携帯情報端末は自閉症やコミュニケーション障害がある児童の支援ツールとしてもよく使われており、様々な支援アプリも出ていたが、既存のものは高価なうえ、機能や使い方が複雑で扱いづらい、といった現場の声があった。そこで安価で利便性の高いものをと最初に作ったのが、コミュニケーション支援ツール『ねぇ、きいて。』【参照1】だ。
これを使うと、言語を使わなくても簡単に意思の疎通ができる。たとえば「たべたい」というアイコンを指でタッチすると「ごはん」「パン」「お弁当」などのアイコンが幾つか表れ、「パン」のアイコンをタッチすると「パンたべたい」と音声が出るようになっている。
この時に培ったノウハウを活かし、鳥居さんが助成研究で取り組んだのが、脳性まひや筋ジストロフィーなど肢体不自由の子どもたちのために「まばたき」で作動するアプリの開発だ。特別支援学校の教師たちから、肢体不自由児のために触らなくても動かせるツールは作れないものかと強く切望され、なんとか応えたいと着目したのが「まばたき」を使う方法だったという。
当時「まばたき」を利用したコミュニケーション支援ツールはすでにあったが、高性能なレンズを備えたかなり高額な機器で、しかも扱いが難しく、教育現場への導入は容易ではなかった。そこで鳥居さんが思いついたのが、安価で使いやすい一般的なタブレット端末を用いること。内蔵されたフロントカメラで「まばたき」をとらえることができればと考えた。しかしタブレット端末のカメラは感度が悪く処理能力も限られている。これを用いて「まばたき」を正確に検出できる手法の開発が助成研究の一番の課題となった。

【参照１】 自閉症児のための代替コミュニケーションツール『ねぇ、きいて。』

しかし、その手法にたどり着くまでの鳥居さんの苦心は並大抵のものではなかった。
依頼を受けた特別支援学校の協力を得て、何度も臨床実験を行ったが、そのたびに新しい壁に突きあたったのだ。

• まばたきする時の黒目の面積の変化でまぶたが閉じたかを判別しようとしたが、肢体不自由児は常にまぶたが下がっている子が多く、黒目の正確な測定自体が困難だった。
• 目と目の周りの明度を利用してまぶたが閉じたかを判別しようとしたが、特別支援学校の教室内は児童の負担にならないよう外光を遮断しているためベッド上が暗く、測定可能な光量が得られず断念した。「それに、この時の子どもがとても色の白い子で、白目と肌の明度が区別できなかったのです。肢体不自由児には寝たきりの子も少なくなく、陽に当たることがあまりないからでしょう。臨床実験をさせてもらって初めてわかったことです」。
• その後、感度良くまばたきを検出できる方法を見つけたが、ちょっとした黒目や顔の動きにも反応してしまい、それらの動きとまばたきをどう区別するかに苦心した。
• まつ毛の長い子の場合、目を閉じるとまつ毛や、まつ毛の影に反応してしまい、誤作動が生じる場合があった。
• まばたきには、無意識にしている自然なまばたきがある。そのまばたきとツールを作動させるための意識的なまばたきを区別し、意識的なまばたきにだけ反応するようにしなければならない。実はこの区別がいちばん難しい課題だった。

なんとか打開策を見出しながら、鳥居さんはこれまでの壁を乗り越えるところまでこぎつけた。この段階では、自然なまばたきと意識的なまばたきを区別することも可能になっていた。
「意気揚々と学校へ出かけ、校長や教頭、保護者にも囲まれて臨床実験を行ったのですが、全く作動しませんでした。しっかりとまぶたを閉じる強いまばたきができる子なら、この方法で検出できたのですが、その時の子どもは筋力が非常に弱く、まぶたが半閉じのまばたきしかできなかったのです。半閉じのまばたきでは自然なまばたきか意識的なまばたきかの判別ができませんでした」。
つまり、「まぶたが閉じたか否か」という基準では、まばたきを検出できない子どもがいたのだ。
「正直、もう諦めようかと思いました」。
が、鳥居さんはそこからさらに粘り、ついに新しい方法にたどり着いた。
それは、「まぶたが開いている状態→（半閉じでも）閉じている状態→再度開いた状態」の一連の動きを「まばたき判別」の基準に据えたもので、“閉じる”と“再度開く” の両方が行われた場合を「まばたき」と判定するというものだ。さらにそのまばたきを「短いまばたき」「長いまばたき」「目を閉じ続けている状態」の3種類に分けて判別することで、自然なまばたきと意識的なまばたきを区別させることに成功した。
「動画は1秒間に24～30フレームの静止画像を連続で流しているものですが、閉眼の静止画像の数を数える事で『長いまばたき（意識的なまばたき）』を認識させる手法を開発しました。数の少ないフレームの中に『閉眼→再度開眼』までの一連の画像が並んでいれば『短いまばたき』だと判定して除外します。たとえ筋力が弱い子でも、自然なまばたきは、意識的なまばたきに比べて速度が速く『短いまばたき』になるのです。一方、かなり数の多いフレームの中に『閉眼→再度開眼』の画像が並んでいる場合は『目を閉じ続けている状態』と判別して、これも排除する。これら3種類の一連の動きの違いを数値化し『長いまばたき（意識的なまばたき）』だけに作動する手法を開発したのです」。

この手法を組み込んで完成させたのが、 "まばたきによるコミュニケーションアプリ"『あいとーく』【参照2】だ。この時に開発した手法は現在特許を取得している。

【参照２】
『あいとーく』は現在、まばたきで作動する『あいとーくVer.1.0』、学習機能が付いた『あいとーくPro Ver.1.0～2.0』、視線方向で文字を選べる『あいとーくPro Ver.2.0』とシリーズ化している。「まばたき」を使って文字を選択する方法 ①はじめに、「あ～な」「は～わ」のどちらかのブロックをまばたきして選ぶ　②選んだブロック内からさらに青色のカーソルで"あ行""か行"などのタテの列をまばたきして選ぶ　③続いて緑色のカーソルでヨコの列をまばたきして選ぶとクロスした部分の文字が選ばれる。※『あいとーく』シリーズは市販のアームで固定して使うと手ぶれがなくなり、スムーズに作動する。

『あいとーく』はタブレット端末の画面に表示される50 音表を見ながら、まばたきで文字を選択することで複雑な文章が音声で出るようになっている。4 回のまばたきで文字が選べる簡便さは既存のアプリにはなかった点で、発表直後から多数ダウンロードされた。しかも、がん末期で筆談すらできなくなった人の家族や、アルツハイマーで口を動かしたり発声することが困難になってしまった奥さんと会話がしたい、といった想定外のユーザーからの反響も大きく、使用者からは多くの感謝が寄せられたという。
それにしても鳥居さんが、ここまで精緻な「まばたき検出」にこだわった理由は何だったのだろう。
「肢体不自由の子が何かを訴えようとしたとき、教師は○（はい）と×（いいえ）の描かれた2枚のカードを見せながら『のどがかわいたの？』『飲みたいのはお茶？』と質問して2択で答えさせるような方法を使います。しかしこの方法では、教師や保護者が経験値やその場の状況から、多分これだろうなと想定した事柄に対する正誤を尋ねているだけなので、彼らの本来の要求とはズレている場合も多いのです」。
そこで鳥居さんは肢体不自由児が、自分の力（＝まばたき）で自分の本当の要求を伝えられるコミュニケーション支援ツールを作りたかったのだと言う。
「『ねぇ、きいて。』を開発した時の気づきが『あいとーく』には大いに反映されています。『ねぇ、きいて。』を使った自閉症の子どもの例ですが、自分で操作できる達成感と、自分の要求が他者に伝わる喜びを学ぶことで発語が始まり、もっと伝えたいという欲求を持つようになった。つまりコミュニケーションマインドが養われたのです。肢体不自由の子たちにも同じような達成感や喜びをぜひ感じて欲しい、もっと多くのコミュニケーションを欲するようになってくれればと思いました」。
そのためには、どんなまばたきでも検出できなければ意味がない、と鳥居さんは考えたのだ。
また、日ごろから鳥居さんが肝に銘じているのが「研究者目線ではなく実際に使用する人たちからの切実な要望に応え、改良していく」というやり方だ。たとえば『あいとーく』を、文章を作れるツールにしようと思いたったのは次のようなエピソードがあったからだという。
『あいとーく』作製当時、鳥居さんは、事故で一時的に肢体不自由になったのちに快復した成人男性にインタビューをしたことがあったそうだ。
「その人から、『あの時は、暑いか？寒いか？とか、食べたいか？食べたくないか？といったレベルではなく、ハンコと通帳はあそこにあるぞ、といったことを伝えたかったんだ』という話を聞いて、肢体不自由児・者がもっと込み入ったコミュニケーションがとれるよう、50音から文字を選べるようにしたのです」。
このような「使用者の切実な要望」に耳を傾けて自分たちが気づかなかったことを知り、研究者と使用者が双方向のコミュニケーションによって理解しあい、より改良されたツール開発へとつなげていくことが大切だと鳥居さんは言う。
「我々が考えていることは本当に視野が狭く、使用者から教えられることがたくさんあります」。
そのようにして『あいとーく』はさらに実用的に改善されていった。あるとき、『あいとーく』を使ってもらった縁で、言語聴覚士の人たちに招かれ講演をした鳥居さんは「脊髄系の病気の子はまばたきをすると痙攣が起きて体が動いてしまうので、『あいとーく』が使えない。なんとかならないだろうか」と新たな相談を受けた。「そこで大学院生と一緒に考えたのが、視線でした」。
鳥居さんは『あいとーく』で開発した「まばたき検出法」を発展させ、眼球運動を測定できるよう精度を上げた。その技術を補助機能として搭載したのが最新バージョンの『あいとーくPro Ver.2.0』だ。具体的にはまばたきのかわりに左方向に視線を向けることで文字を選択できるようになった。
また、「よく使う言葉は、いちいち全ての文字を選ばなくても予測で出てくるようにしてほしい」という要望に応え、「あ」をひと文字選択するだけで、「ありがとう」「あたまが痛い」などの候補が画面に表れる学習機能もつけた。
「これは使用者が話した言葉を1000回分記憶させ、使用頻度に応じて重要度を定めたデータベースを構築し、そこから予測される言葉が選べるようにしたものです」。
なぜそこまで徹底して使用者の要望に応えようとするのか、鳥居さんはその理由を、こうしたアプリは使用者にとっては生活必需品であり体の一部になるからだと言う。
「眼鏡や補聴器や車椅子と同じことです。ねじ一本ゆるんでも使っている本人は困りますよね。製作者は世に出した責任を背負っていかなければならないと感じています」。
OS のバージョンアップに対する対応もそのうちの一つだ。『あいとーく』シリーズが現在も使用され続けているのは、使用者目線に立った実用性と利便性に加え、鳥居さんがメンテナンスをし続けていることも非常に大きい。「世に出した責任だから」と言うのは簡単だが、実行するのは生半可なことではないだろう。

助成研究後、鳥居さんは眼球運動計測技術を用いて、発達障害を判定するアセスメントツールを完成させた。
このツールは子どもにPCモニターを見せ、動く点を目で追わせるものだが、発達障害のある子はその点を追い切れず視線がはずれてしまうことがある。そのはずれ方に明らかに特徴があるので、医師が診断をする際の補助的なアセスメントとして非常に有効だという。しかも子どもの身体を拘束しないで行えるため、比較的低年齢の子どもでも検査することができる。
「同様のツールで150万円ほどする高額なものはあります。大学病院で使っているところもありますが、我々はそれをPCのフロントカメラでできるようにしました」。
この研究論文『自閉症児の眼球運動におけるピクセル数の変化の異常の測定』はアメリカの神経学会『Journal of Neurology & Experimental Neuroscience』に掲載され、サンフランシスコで開かれる学会のサミットからゲスト講演のオファーも来ているそうだ。
また、この眼球運動の研究はさらにふたつの次の研究へと発展している。
「ひとつは高齢者の運転事故防止に使えないかな、と。眼球運動の測定はいま左右それぞれの振動まで検出できる精度になっています。左右の振動のブレは疲労感や眠気、集中力のなさに関係していることがわかっているので、車の中に高性能赤外線カメラをつけて眼球振動を撮り分析することで、眠気がきていますよとか、注意散漫になっていますよ、と警告ができるツールを作れないか、という研究を進めています」。
もうひとつは、東京オリンピック会場の上空を飛んでみよう、というFly－wingプロジェクトだ。
「東京オリンピックの前年に、スポーツを科学するワンダーランド（仮称）の開催が予定されています。それに向けて、全身の傾きを映像に反映させることができるフライトシミュレータとVRを融合させ、浮遊感を再現するコンテンツの開発・制作を始めたところです。VRに視線検出技術を仕込み、使用者が左を見たらスイッチが入って何か面白い事が起こるなどの企画を練っている最中です」。
まばたき検出から発展した技術は、スマホやタブレットの中にとどまらず、海外の神経学会や東京オリンピックにまで広がりを見せている。

発達障害の診断を補助するアセスメントツール。手前のタブレットに表示される、動く青い点を目で追わせる。

このような、実社会で使われることを前提としたさまざまな研究を、鳥居さんは研究室の学生たちにも積極的に関わらせている。
「研究と学生の教育が私の2本柱です。どちらも、目的を達成したり結果を出すために一番重要なのは、結局人を育てることだと気づいたからです」。
その経緯を鳥居さんは、こう話してくれた。
「優秀な学生を輩出しているCG系の専門学校があるのですが、その専門学校では4月から9月までデッサンしか教えないそうです。要はテクニックを教えるのではなく、人を育てているのだということです。絵の良し悪しはどう教えていくかというと、まず描いたもののおかしいところを指摘します。そこを直すとそれまで見えなかったおかしいところが見えてくる、これを繰り返して直していくのです。実は作品やコンテンツも同じ。これをリテイクといいますが、その専門学校では半年間そのリテイクをデッサンで教え込んでいるのです。社会へ出たり制作会社に入るとリテイクの嵐ですよ。それを素直にハイと受け入れてリテイクできる人間を育てているのです。僕の学生の指導法にも大きな影響を与えてくれた発想です」。
鳥居さんはそれまでの「鳥居研究室」を「メディア情報研究会」通称「Team AI」へと発展させ、学部1年生から研究会に入れるようにした。鳥居さん率いる「Team AI」のメンバーは総勢80名。プロジェクションマッピング制作は世界的なレベルで、昨秋は国際大会のベスト16に選ばれモスクワの本選で上映された。
まばたき検出法を活かしてドライアイを予防するアプリを開発した学生もいるという。
「挑戦と実践の場を学生に提供し、僕の仕事はダメ出しをすること。その繰り返しで学生たちはリテイクしながらクオリティを高めていくやり方を学び、身につけていると実感しています」。
鳥居さんが「Team AI」の目的として掲げている「ものづくりを通しての人づくり」「リテイクに耐えうる人を育てる」「コミュニケーション能力を鍛える」「相手の気持ちを汲み取る、相手のことを思いやる気持ち」、これらが形になったものが『ねぇ、きいて。』『あいとーく』『あいとーくPro』なのかもしれない。
「コミュニケーション能力の基本は、人の気持ちを思いやることだと思います。いま、 8分くらいあるパイプオルガンの曲に合わせたプロジェクションマッピングを『Team AI』で制作していますが、各チームがパートごとに、徹底的に作者の歴史や時代背景、ほかの作品の音楽観まで調べてそれに合わせて映像を作っています。1年生から4年生まで、男子も女子も、いろんな学生がいますが、作品は協力しないとできません。どんなに優秀な学生がいたとしても一人ですべてをやることは無理ですし、リーダーであっても自分の主張ばかりは通らないのです。では、協力とは何かというと、相手の気持ちをわかって、自分を抑えてでも皆のことを考える、ほかの子たちがどういう気持ちかを考える、それが真のコミュニケーション能力なのかな、という気がします」。
縦横無尽に波乗りするには先を見据え、絶え間なく変わる世の中の波を読み取ることができなければならない。時には船頭のように、学生たちを導く鳥居さんの眼に、次に映るもの、それが実現される日が楽しみだ。

2年生を対象とした、3Dでアニメーション動画を作成する授業。教室のデスクは鳥居さんがデザインした。

Team AIはAIT（Aichi Institute of Technolo-gy：愛知工業大学）とAI（人工知能）の意味合いを込めている。