ENGLISH
		矢谷 浩司 (博士) Koji Yatani, Ph.D.
		Microsoft Research Asia (MSR Asia) Human-Computer Interaction group Associate Researcher 私の研究分野は、ヒューマン・コンピュータ・インタラクション(Human-Computer Interaction; HCI)とユビキタスコンピューティングです。特に、ユビキタスコンピューティング環境や携帯端末における、センシング技術の開発とその応用、それから、自然言語処理技術を用いたインタラクティブなシステムの構築を現在の研究の主軸としています。また、質・量的評価手法を用いたインタラクティブシステムの評価にも興味があります。HCIとユビキタスコンピューティング以外では、機械学習、統計的分析手法、自然言語処理、心理学、生理学に興味を広げています。
現在、MSRAで私と一緒に研究をしてくれるインターンを募集しています。HCIの分野(特に以下のテーマ)で、海外での研究経験を積みたい、あるいは、面白い研究アイデアをMSRAで実現してみたい、という学生さんは、英文履歴書を添付の上、私までメールしてください。 自然言語処理技術を用いたインタラクティブなシステムの構築 新しいウェアラブルなセンシング技術の開発 触覚、温度、嗅覚など、新しい情報出力方法の開発 音声認識や音響分析を用いたインタフェースの構築 さまざまなタイプの文書データを視覚的に分析するツールの開発 機械学習の手法を用いたインテリジェントなインタフェースの開発 その他、世界にインパクトを与えられそうなもの何でも :) 連絡先 オフィス: Tower 2, No. 5, Dan Ling St., Haidian District, Beijing, PRC, 100080 メールアドレス: [my_first_name]@microsoft.com

正確な行動認識技術は様々なユビキタスコンピューティングのアプリケーション(例えば、状況を理解し、それに応じたサービスを提供するシステムや、ライフログ、個人健康管理システム)の実現に有用である。ウェアラブルなセンサ技術は環境にセンサを設置する必要なく、ユーザの行動認識に必要なデータを収集することができる。他方、様々な行動を認識しようとする場合、ユーザは幾つものセンサを身に着ける必要がある。我々は、BodyScopeという、ウェアラブルな音響センサを実装した。このセンサは、ユーザの口や喉のあたりで発生する音を用いて、食べる、飲む、話す、笑う、咳をする、といった行動の認識を行う。BodyScopeのみを用いて12種類の行動の分類をサポート・ベクタ・マシンで行ったところ、F値による精度が79.5%であった。また、我々が行った小規模の実生活における実験では、4種類の行動(食べる、飲む、話す、笑う)の分類が、F値で71.5%であった。

身の回りの環境を把握することは視覚障碍者にとって、大変労力のかかることがある。点字マップは、これらのユーザが複数の場所の空間的関係を理解するのを助ける。しかし、物理的な点字マップは費用がかかる場合があったり、調べている場所に関して詳細な情報が欠けていたり、最新の情報が反映されていないことがある。我々は、SpaceSenseという、地理的な情報を提示する、携帯端末を用いたシステムを構築した。このシステムは、空間的触覚フィードバックハードウェアという、携帯タッチスクリーン端末の背面の様々な場所に振動モータが取り付けられたデバイスを用いている。SpaceSenseは振動フィードバックによって、目的地やブックマークに登録されている場所に対する、おおまかな距離や方向を提示する。SpaceSenseは、公共の場所や商業施設に関するWeb上にあるレビューコメントを要約する技術も用いて、周辺の情報を提供する。ユーザによる評価実験では、SpaceSenseを用いることで、触覚フィードバックを用いない同様のシステムと比較して、実験参加者が複数の場所の空間的な関係をより正確に把握できることが明らかになった。また、参加者からのコメントからも、触覚フィードバックが認知地図の形成と保持に役立ったことがわかった。

遠隔での協調作業の基盤システムとして、携帯端末が使われてきている。しかし、端末の画面サイズが限られているため、同期的な協調作業において相手側の状況を知るために使われる、視覚的なフィードバックの効果が制限される可能性がある。そこで我々は、共同の作業空間での同期的な動作の調整において、視覚と触覚フィードバックがどのよう影響するかを調査した。2つのユーザ実験により、それぞれのフィードバックが異なる利点を持つことが明らかとなった。視覚的なフィードバックは相手側の正確な空間的な情報を提供できるが、フィードバック自体が手や指で隠れてしまうことや、ユーザの注意を引きすぎることで、協調作業を阻害することが観察された。他方、空間的触覚フィードバックは視覚領域の情報過負荷を和らげ、ユーザの注意を穏やかに引くことができた。さらに、両フィードバックを組み合わせることで、より効率的な同期的な動作の調整ができることが示された。

キーボードとマウスを使うインタラクションにおいて、右クリックで表示されるメニューに代表される、コンテクストメニューは頻繁に使われている。コンテクストメニューはアプリケーションにあるいくつかのコマンドを簡便に使えるように設計される。しかし、テーブルトップのような環境では、それらが存在しないことも多い。我々は、効率的な片手でのマルチタッチを用いたコンテクストメニューの設計を行った。設計に際し、我々は腕、手首および指の動作範囲を考慮し、それらがマルチタッチの環境での複数ターゲットの選択にどのように関係するかを調査した。我々の実験により、同時に複数の指で複数ターゲットを選択することは、1本の指で選択を行うよりも選択時間は短くなるが、同時に精度が悪くなることがわかった。これらの結果により、テーブルトップ環境における、片手の複数の指を使ったコンテクストメニューの設計を議論する。

現在のソフトウェアQWERTYキーボードは、携帯タッチスクリーン端末においては、多くのディスプレイ領域を使ってしまう。これにより、全体的なシステムやデバイスの使い勝手が悪化してしまうことがある。我々は、1Line keyboardという縦140ピクセル(横画面の場合、iPadのキーボードの40%の大きさ)のソフトウェアQWERTYキーボードを設計した。このキーボードは、通常のQWERTYの3列のキーを1列8個のキーに縮約したものである。8個のキーのサイズは、iPadのQWERTYキーボードのユーザの認知モデルに基づいている。さらに、キーボードは押されたキーの組み合わせに基づいて、ユーザの意図する言葉を判断する。このキーボードでは、指ではじくことでバックスペースと改行を、キーボードの下に位置する縁をタップすることでスペースを入力できるようになっている。ユーザ実験により、我々は実験参加者が1Line Keyboardを簡単に学習できることが確認でき、20分のトレーニング後、約30WPMのスピードで入力できることがわかった。また、KLMモデルを用いた分析により、熟練者の入力スピードのピークは66から68WPMになることが予想された。

Web上にあるレビューコメントは、製品や場所に関する情報を得るのに有益である。しかし、これらのレビューの量は多大であることがあり、また、長さや詳細さ、質にもばらつきがある。このため、有益な情報をそれらから手早く得ることは難しい。我々は、この問題を解決すべく、Review Spotlightというシステムを構築した。このシステムでは、形容詞と名詞のセットを用いることにより、レビューコメントの概要を示す。レビューコメントを読んでレストランを選ぶ実験において、実験参加者が詳細な理由づけとともに選択を行うことがわかった。また、通常のWebページのコメントを用いた場合と比較して、実験参加者がより速く選択を行えることがわかった。

携帯端末のインタフェースは視覚的な注意をひきすぎることがあり、歩行などの他の動作を阻害したり、視覚に障碍のあるユーザに向かない場合がある。ユーザが歩いている際、携帯端末はユーザのポケットに入っていることがあるので、端末内のセンサにより、、足によるジェスチャが視覚も手も用いない入力として用いることができる。本研究ではまず、かかとやつま先を上げたり回転させる足のジェスチャの能力に関して調査を行った。その結果をもとに、ポケットの中や腰の横に取り付けた普通の携帯電話のみを用いて、足のジェスチャを認識するシステムを構築した。我々のシステムでは、携帯電話に入っている加速度センサを用い、機械学習の手法により、ジェスチャを認識する。実験により、10種類のジェスチャを最大86%の精度で認識できることが分かった。

本研究ではペンとタッチによる直接入力を組み合わせたインタラクション手法を提案する。我々はユーザが紙やノートをどのように用いるかをまず調査した。それらの知見をもとに、ノートやスクラップブックのようなアプリケーションをMicrosoft Surfaceに実装した。これらにより、ペンとタッチの役割の分け方について次のように提案する: ペンは筆記に、タッチは操作に、そして、ペンとタッチの組み合わせは機能に割り当てる。この割り当て方は、ペンのみ、タッチのみ、そして、ペンとタッチの複数の入力を、本システムがどのように使っているかを、よく表現している。例えば、ユーザは写真を指で押さえて、ペンでドラッグすることで、その写真のコピーを作ることができる。また、同じようにして、ペンで切ることで、2つに分けることができる。さらに、写真を選んで押さえてから、ペンでタップすると、複数の写真を山積みにまとめることができる。このように、タッチはペンとは違い、オブジェクトの選択に使用できるが、指でオブジェクトを押さえている際は、ペンとともに様々な道具を実行につながる。この仕組みをうまく利用することで、物理的なボタンや、モードの切り替え、ウィジェットなどを用意する必要がなく、様々な機能を実現することができる。

携帯タッチスクリーン端末の1つの問題点は、ユーザに対して触覚的なフィードバックがかけていることである。このため、ユーザはこれら端末の画面を見て捜査しなければならない。本研究では、SemFeelという、ユーザが画面上の何かのオブジェクトを触っているかどうかだけでなく、そのものの意味的な情報を提示できる、触覚フィードバックのシステムを構築した。SemFeelは、携帯タッチスクリーン端末の裏側に取り付けられた複数の振動モータを用いて、縦や横に流れる振動パターンを生成することができる。ユーザ実験により、ユーザが直線的、円的な振動パターンも含めた10種類のパターンをおよそ90%の精度で識別でき、また、SemFeelが画面を視野に入れることなく操作することを実現できることが分かった。

オープンソースソフトウェアと商業ソフトウェアの開発においては、開発者間でのコミュニケーションや共同作業の方法に、興味深い違いが現れていることがある。特に、図式の使い方に関しては、同じ場所で行われるソフトウェア開発の様々な場面で重要であり、よく研究されているが、それらのオープンソース開発での役割は解明されていない。本研究では、オープンソース開発に関わる人間がどのように図式を使うかを調査した。さらに、図式の使い方の違い、その理由、そして、オープンソース開発に向けた図式を用いた共同作業を支援するシステムを設計する際において、考慮すべき点を議論する。

携帯電話の加入者数は2007年時点で、ほぼ33億となっており、今日において、使用されているユビキタスコンピューティング技術の最も顕著な例である。2005年での予測によると、毎年消費者は約1.25億台もの携帯電話を埋立てにより処分している。端末が今後も増加する中、環境に配慮した処分方法は、ユーザに不明瞭であったり、実行不可能、あるいは、知られていないものであることがある。我々は、ユーザの使用を終えた直後の端末をどのように扱うかを調査した。この研究では、北アメリカ、日本、そしてドイツのユーザにおける違いや共通点を明確にし、携帯電話の持続可能性における地域に基づく制限が及ぼす影響について議論する。

多くの携帯端末が指で操作できるタッチスクリーンを備えている。しかし、タッチを用いる場合、ターゲットが指が隠れてしまったり、指による入力解像度が限られているため、ターゲットの選択が難しい場合がある。視覚的なフィードバックを用いて、ターゲットが覆われてしまう問題を解決手法が実現されているが、指による入力解像度の低さによって、選択速度が遅くなってしまう。本研究では、Escapeというターゲット選択技術によって、この選択速度の問題を解決する。Escapeでは、アイコンの場所と見た目によって提示されるジェスチャによって、選択が行われる。ユーザ実験では、6から12ピクセル幅のターゲットに関して、EscapeはShiftと同程度の精度でありながら、少なくとも30%速く選択が行えることが分かった。さらに、Escapeの性能を様々な条件において評価するとともに、Escapeの性能を保つために、画面上のアイテムにアイコンを適切に割り当てるアルゴリズムを議論する。

携帯端末において効率的な文字入力は大きな課題である。PDAのような端末では、文字入力は利き手で持ったスタイラスを用いて行われることが多い。本研究では、利き手ではないほうの親指を利用した、PDA向けの両手の文字入力手法を開発した。我々は、他の文字入力手法と合わせ、ユーザが動いていない状況と動いている状況で、評価を行った。実験の結果、QWERTYキーボードが最も速く、我々のキーボードが最も精度がよかった。さらに、ユーザが動いていない状況と動いている状況では、QWERTYキーボードの性能に大きな違いがみられたが、我々のキーボードでは、その差は見られなかった。

ARHunterは複数プレイヤーのもぐらたたきゲームである。ARHunterはジェスチャ入力と位置認識技術を組み合わせた、没入型のゲーム環境で、ユーザの楽しさを高める目的がある。

我々が実装した超音波を用いる位置認識システムでは、一度のみの超音波パケットを用いることで、デバイス間の相対的な距離と位置を正確に測定できる。我々の技術では、超音波における通信で2つ以上の搬送波を用いる。パケット内のヘッダにある同期パターンと呼ばれる、特別な超音波の信号によって、測量の基準点を設ける。実験により、3メートルの測量で、1mm前後の精度が、30度以内の角度で、0.5度前後の精度が実現できることが分かった。

Toss-Itは、携帯端末の携帯性を利用した、情報送受信技術である。Toss-Itでは、ユーザはPDAを相手に向かって、ボールを投げたり、カードを配るように、振り上げる、あるいは横に振ることで、データを送信できる。本システムは、慣性センサと光学マーカーを用いて、ユーザの位置や動作を認識している。

我々は、Pi_bookという、博物館での子供の探索を支援するシステムを構築した。Pi_bookはPDAを用いて、展示物に関するコンテンツを提示する。これらのコンテンツは、展示物に対する子供の興味や理解を高めるために、インタラクティブになっている。本システムは子供たちが難解な科学的事象を理解することを手助けすることを目指している。

MusexはPDAを用いたシステムで、子供の博物館における協調学習と探索を支援するシステムである。Musexはインタラクティブではない展示物に関して、クイズを出すことにより、子供が展示物に目を向けるようにする。ユーザ実験により、子供が展示物と積極的に関わり、Musexの質問に答えようとすることが確認された。