JP6197012B2 - 情報処理装置および情報処理方法 - Google Patents

Description

本発明は、ユーザの操作に応じて表示画像を生成する情報処理装置、および情報処理方法に関する。

近年、携帯ゲーム機、携帯電話、ＰＤＡ（Personal Data Asistance）、タブレット端末など、携帯を想定した情報機器が普及している。このような情報処理装置は大容量のメモリおよび高速プロセッサを搭載しており、ユーザは、アプリケーションプログラムをインストールすることで、様々なアプリケーションを楽しめるようになっている（例えば特許文献１参照）。

携帯が可能な比較的小型の装置では、サイズ上の制約や携帯した際の利便性などの観点からその入力手段が制約される。結果として、このような機器に特化した入力手段や機能が独自の発達を遂げてきた。その一端として近年では、ディスプレイとしてタッチパネルを実装することにより、表示と入力を同じ領域で行える装置が主流となっている。当該装置では、アイコン、ウェブページ、書籍、地図、書類など表示対象の物を、あたかも現物が存在するかのように扱うことができ、直感的な操作が可能となる。

米国特許第７，５５８，８２０号公報

タッチパネルを備えるか否かに関わらず、装置が小型化するほど入力手段のサイズも自ずと小さくなる。タッチパネルを用いた場合はアイコンなどディスプレイに表示される対象領域が小さくなり、物理キーを用いた場合は搭載可能な数が限定されたりキー自体が小さくなったりして、いずれの場合も意図した操作を行うのが困難になってくる。操作が容易な比較的大きなディスプレイを備えた装置では、片手で把持し同じ手でタッチパネルを操作するには指の到達範囲や装置の安定性の観点から限界がある。そのため装置を机などに置いて操作するか両手を使用せざるを得なく、使用できる環境が限定されるという特有の問題がある。

本発明はこのような課題に鑑みてなされたものであり、その目的は、情報処理装置の大きさや使用環境によらず多様な操作を容易に実現できる技術を提供することにある。

本発明のある態様は情報処理装置に関する。この情報処理装置は、タッチパッドと、タッチパッドが検知した情報に基づきユーザの手指のポーズを特定し、それに対応して設定された操作内容を取得する操作内容取得部と、取得された操作内容に応じて前記ディスプレイに表示させた画像を変化させる出力データ生成部と、を備えたことを特徴とする。

本発明の別の態様も情報処理装置に関する。この情報処理装置は、ディスプレイと相対するユーザの顔を撮影するカメラと、撮影画像におけるユーザの顔の像のうち所定の部位の像の位置を検出する画像解析部と、所定の部位の像の変位に応じて、ディスプレイに表示させた画像上のカーソルを移動させるカーソル制御部と、を備えたことを特徴とする。

本発明のさらに別の態様も情報処理装置に関する。この情報処理装置は、ディスプレイと相対するユーザの顔を撮影するカメラと、撮影画像におけるユーザの顔の像のうち所定の２箇所の像を検出する画像解析部と、所定の２箇所の像の間隔の変化に応じて、ディスプレイに表示させた画像のズーム倍率を変化させるズーム処理部と、を備えたことを特徴とする。

本発明のさらに別の態様は情報処理方法に関する。この情報処理方法は、タッチパッドから検知情報を取得するステップと、検知情報に基づきユーザの手指のポーズを特定し、それに対応して設定された操作内容を取得するステップと、取得された操作内容に応じてディスプレイに表示させた画像を変化させるステップと、を含むことを特徴とする。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを記録した記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によると、装置の大きさや使用環境によらず多様な操作を容易に実現できる。

（ａ）は本実施の形態における情報処理装置の前面を示す図であり、（ｂ）は当該情報処理装置の背面を示す図である。 （ａ）は本実施の形態における情報処理装置の上面を示す図であり、（ｂ）は当該情報処理装置の下面を示す図であり、（ｃ）は当該情報処理装置の左側面を示す図である。 本実施の形態における情報処理装置の回路構成を示す図である。 本実施の形態における情報処理装置の機能ブロックを示す図である。 本実施の形態における情報処理装置を片手で把持したときの装置の背面と手の状態を例示する図である。 本実施の形態において背面タッチパッドが検知する指の状態を例示する図である。 本実施の形態において背面タッチパッドが検知する指の状態を例示する図である。 本実施の形態における各操作モードと、それを実現するための指の状態、および表示画像の具体的な変化を例示する図である。 本実施の形態において、「標準」モード等で撮影画像から検出される鼻の像の位置と、その変化に応じて移動するカーソルとの関係を説明するための図である。 本実施の形態における「選択」モードでの表示画像の変遷を例示する図である。 本実施の形態において、「スクロール」モードで撮影画像から検出される鼻の像の変位に応じて表示領域を移動させる様子を例示する図である。 本実施の形態において、「ズーム」モードで撮影画像から取得されるユーザの距離と、その変化に応じた拡大／縮小処理を説明するための図である。 本実施の形態における「ズーム」モードでユーザが情報処理装置の距離を変化させたときのズーム倍率の実測値の変化を示す図である。 本実施の形態における「選択」モードの評価結果を示す図である。 本実施の形態における「選択」モードの評価結果を示す図である。 本実施の形態における「ズーム」モードの評価結果を示す図である。

まず本実施の形態の情報処理装置の外観構成例および回路構成例を説明する。ただし以下に示す情報処理装置は一例であり、形状を限定するものではない。また他の種類の電子機器、端末装置であってもよい。

図１（ａ）は、情報処理装置１０の前面を示す。情報処理装置１０は、横長の筐体により形成され、左右の領域は円弧状の外郭を有している。情報処理装置１０の前面には、矩形のタッチパネル５０が設けられる。タッチパネル５０は、表示装置２０と、表示装置２０の表面を覆う透明な前面タッチパッド２１から構成される。表示装置２０は有機ＥＬ（Electro-Luminescence）パネルであり、画像を表示する。なお表示装置２０は液晶パネルなどの表示手段であってもよい。前面タッチパッド２１は、同時にタッチされた複数ポイントの検出機能をもつマルチタッチパッドであって、タッチパネル５０はマルチタッチスクリーンとして構成される。

タッチパネル５０の右側には、菱形の頂点にそれぞれ位置する△ボタン２２ａ、○ボタン２２ｂ、×ボタン２２ｃ、□ボタン２２ｄ（以下、総称する場合には「操作ボタン２２」とよぶ）が設けられ、タッチパネル５０の左側には、上キー２３ａ、左キー２３ｂ、下キー２３ｃ、右キー２３ｄ（以下、総称する場合には「方向キー２３」とよぶ）が設けられる。ユーザは方向キー２３を操作して、上下左右および斜方の８方向を入力できる。

方向キー２３の下側には左スティック２４ａが設けられ、また操作ボタン２２の下側には右スティック２４ｂが設けられる。ユーザは左スティック２４ａまたは右スティック２４ｂ（以下、総称する場合には「ジョイスティック２４」とよぶ）を傾動して、方向および傾動量を入力する。筐体の左右頂部には、Ｌボタン２６ａ、Ｒボタン２６ｂが設けられる。操作ボタン２２、方向キー２３、ジョイスティック２４、Ｌボタン２６ａ、Ｒボタン２６ｂは、ユーザが操作する操作手段を構成する。

操作ボタン２２の近傍に、前面カメラ３０が設けられる。左スティック２４ａの左側および右スティック２４ｂの右側には、それぞれ音声を出力する左スピーカ２５ａおよび右スピーカ２５ｂ（以下、総称する場合には「スピーカ２５」とよぶ）が設けられる。また左スティック２４ａの下側にＨＯＭＥボタン２７が設けられ、右スティック２４ｂの下側にＳＴＡＲＴボタン２８およびＳＥＬＥＣＴボタン２９が設けられる。

図１（ｂ）は、情報処理装置１０の背面を示す。情報処理装置１０の背面には、背面カメラ３１および背面タッチパッド３２が設けられる。背面タッチパッド３２は、前面タッチパッド２１と同様に、マルチタッチパッドとして構成される。情報処理装置１０は、前面および背面において、２つのカメラおよびタッチパッドを搭載している。

図２（ａ）は、情報処理装置１０の上面を示す。既述したように、情報処理装置１０の上面の左右端側に、Ｌボタン２６ａ、Ｒボタン２６ｂがそれぞれ設けられる。Ｌボタン２６ａの右側には電源ボタン３３が設けられ、ユーザは、電源ボタン３３を押下することで、電源をオンまたはオフする。なお情報処理装置１０は、操作手段が操作されない時間（無操作時間）が所定時間続くと、サスペンド状態に遷移する電力制御機能を有している。情報処理装置１０がサスペンド状態に入ると、ユーザは電源ボタン３３を押下することで、情報処理装置１０をサスペンド状態からアウェイク状態に復帰させることができる。

ゲームカードスロット３４は、ゲームカードを差し込むための差込口であり、この図では、ゲームカードスロット３４がスロットカバーにより覆われている状態が示される。なおゲームカードスロット３４の近傍に、ゲームカードがアクセスされているときに点滅するＬＥＤランプが設けられてもよい。アクセサリ端子３５は、周辺機器（アクセサリ）を接続するための端子であり、この図ではアクセサリ端子３５が端子カバーにより覆われている状態が示される。アクセサリ端子３５とＲボタン２６ｂの間には、ボリュームを調整するための−ボタン３６ａと＋ボタン３６ｂが設けられている。

図２（ｂ）は、情報処理装置１０の下面を示す。メモリカードスロット３７は、メモリカードを差し込むための差込口であり、この図では、メモリカードスロット３７が、スロットカバーにより覆われている状態が示される。情報処理装置１０の下面において、音声入出力端子３８、マイク３９およびマルチユース端子４０が設けられる。マルチユース端子４０はＵＳＢ（Universal Serial Bus）に対応し、ＵＳＢケーブルを介して他の機器と接続できる。

図２（ｃ）は、情報処理装置１０の左側面を示す。情報処理装置１０の左側面には、ＳＩＭカードの差込口であるＳＩＭカードスロット４１が設けられる。

図３は、情報処理装置１０の回路構成を示す。各構成はバス９２によって互いに接続されている。無線通信モジュール７１はＩＥＥＥ８０２．１１ｂ／ｇ等の通信規格に準拠した無線ＬＡＮモジュールによって構成され、無線アクセスポイントなどを介してインターネットなどの外部ネットワークに接続する。なお無線通信モジュール７１は、ブルートゥース（登録商標）プロトコルの通信機能を有してもよい。携帯電話モジュール７２は、ＩＴＵ（International Telecommunication Union；国際電気通信連合）によって定められたＩＭＴ−２０００（International Mobile Telecommunication 2000）規格に準拠した第３世代（3rd Generation）デジタル携帯電話方式に対応し、携帯電話網４に接続する。ＳＩＭカードスロット４１には、携帯電話の電話番号を特定するための固有のＩＤ番号が記録されたＳＩＭカード７４が挿入される。ＳＩＭカード７４がＳＩＭカードスロット４１に挿入されることで、携帯電話モジュール７２は、携帯電話網４との間で通信可能となる。

ＣＰＵ（Central Processing Unit）６０は、メインメモリ６４にロードされたプログラムなどを実行する。ＧＰＵ（Graphics Processing Unit）６２は、画像処理に必要な計算を実行する。メインメモリ６４は、ＲＡＭ（Random Access Memory）などにより構成され、ＣＰＵ６０が使用するプログラムやデータなどを記憶する。ストレージ６６は、ＮＡＮＤ型フラッシュメモリ（NAND-type flash memory）などにより構成され、内蔵型の補助記憶装置として利用される。

モーションセンサ６７は、情報処理装置１０の動きを検出し、地磁気センサ６８は、３軸方向の地磁気を検出する。ＧＰＳ制御部６９は、ＧＰＳ衛星からの信号を受信し、現在位置を算出する。前面カメラ３０および背面カメラ３１は、画像を撮像し、画像データを入力する。前面カメラ３０および背面カメラ３１は、ＣＭＯＳイメージセンサ（Complementary Metal Oxide Semiconductor Image Sensor）によって構成される。

表示装置２０は、有機ＥＬ表示装置であり、陰極および陽極に電圧を印加することで発光する発光素子を有する。省電力モードでは、電極間に印加する電圧を通常よりも低くすることで、表示装置２０を減光状態とすることができ、電力消費を抑えられる。なお表示装置２０はバックライトを備えた液晶パネル表示装置であってもよい。省電力モードでは、バックライトの光量を下げることで、液晶パネル表示装置を減光状態として、電力消費を抑えることができる。

インタフェース９０において、操作部７０は、情報処理装置１０における各種操作手段を含み、具体的には、操作ボタン２２、方向キー２３、ジョイスティック２４、Ｌボタン２６ａ、Ｒボタン２６ｂ、ＨＯＭＥボタン２７、ＳＴＡＲＴボタン２８、ＳＥＬＥＣＴボタン２９、電源ボタン３３、−ボタン３６ａ、＋ボタン３６ｂを含む。前面タッチパッド２１および背面タッチパッド３２は、マルチタッチパッドであり、前面タッチパッド２１は、表示装置２０の表面に重ね合わせて配置される。スピーカ２５は、情報処理装置１０の各機能により生成される音声を出力し、マイク３９は、情報処理装置１０の周辺の音声を入力する。音声入出力端子３８は、外部のマイクからステレオ音声を入力し、外部のヘッドホンなどへステレオ音声を出力する。

ゲームカードスロット３４には、ゲームファイルを記録したゲームカード７６が差し込まれる。ゲームカード７６は、データの書込可能な記録領域を有しており、ゲームカードスロット３４に装着されると、メディアドライブにより、データの書込／読出が行われる。メモリカードスロット３７には、メモリカード７８が差し込まれる。メモリカード７８は、メモリカードスロット３７に装着されると、外付け型の補助記憶装置として利用される。マルチユース端子４０は、ＵＳＢ端子として利用でき、ＵＳＢケーブル８０を接続されて、他のＵＳＢ機器とデータの送受信を行う。アクセサリ端子３５には、周辺機器が接続される。

本実施の形態において情報処理装置１０は、ゲームや通信機能のほか、ウェブページ、電子書籍、地図、ビデオ、音楽など各種電子コンテンツを出力する携帯端末として機能する。コンテンツの電子データは、ネットワークを介してコンテンツ提供サーバからダウンロードされストレージ６６やメインメモリ６４に格納される。あるいはメモリカードスロット３７に差し込まれるメモリカード７８に格納されている。また完成されたコンテンツに限らず、ユーザが作成中の文書や画像などの電子データであってもよい。これらのデータは、ユーザからの出力要求に従い読み出され、適宜デコード処理などが施されることにより、表示装置２０やスピーカ２５から出力される。なおデータの出力処理のうち一般的な技術を適用できる部分については適宜説明を省略する。

図４は、情報処理装置１０の機能ブロックを示す。この図では特に、図３のＣＰＵ６０、ＧＰＵ６２、メインメモリ６４、ストレージ６６によって実現される機能を制御部１００として示している。制御部１００に含まれる各機能ブロックは、ハードウェア的には、上記のとおりＣＰＵ６０、ＧＰＵ６２、メインメモリ６４、ストレージ６６などで構成することができ、ソフトウェア的には、情報処理装置１０内の各種記憶装置や装着された記録媒体からメインメモリ６４にロードしたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

制御部１００は、ユーザによる手操作入力に係る情報を受け付ける操作受付部１０２、前面カメラ３０が撮影した画像のデータを取得する撮影画像取得部１０４、撮影画像を解析する画像解析部１０６、ユーザの操作内容を取得する操作内容取得部１０８、取得した操作内容に基づき実施すべき処理の内容を決定する処理内容判定部１１１、決定した処理を実施し出力すべきデータを生成する出力データ生成部１１２を含む。制御部１００はさらに、ユーザの手操作入力および撮影画像から得られる情報を操作内容や実施すべき処理内容に変換する規則を格納する変換規則記憶部１１０、および、出力データの生成に必要な電子コンテンツに係るデータを格納するコンテンツデータ記憶部１１４を含む。

操作受付部１０２は、ユーザが情報処理装置１０に対し行った手操作の内容を示す信号を、背面タッチパッド３２、前面タッチパッド２１、操作部７０からそれぞれ受信し、操作内容取得部１０８に供給する。撮影画像取得部１０４は、前面カメラ３０が撮影した動画像のフレームデータを即時取得し、画像解析部１０６へ供給する。ユーザがタッチパネル５０を見ながら操作している場合、前面カメラ３０はユーザの顔を撮影することになる。画像解析部１０６は、そのようにして撮影されたユーザの顔の画像を解析し、所定のパラメータを取得する。

このパラメータは、操作内容取得部１０８において操作内容の取得に用いられる。すなわち本実施の形態では各タッチパッドや操作部７０に対する操作に加え、ユーザの顔の動きや情報処理装置との距離の変化などを撮影画像に基づき特定し、それを操作手段として利用する。パラメータの具体例は後に述べる。画像解析部１０６は、撮影画像のフレームレートなど所定の頻度で当該パラメータを取得し、順次、操作内容取得部１０８に供給する。

操作内容取得部１０８は、操作受付部１０２から取得した手操作入力に係る信号、および画像解析部１０６から取得したユーザの顔に係るパラメータに基づき、変換規則記憶部１１０に格納しておいた設定情報を参照し、ユーザが意図する操作の内容を特定する。本実施の形態では、ユーザが情報処理装置１０を片手で把持し、その手で操作が完結するように構成する。具体的には上述のとおり、ユーザの顔の撮影画像を用いるとともに、背面タッチパッド３２を主たる操作手段とする。ただし実施する情報処理の内容によって適宜、入力手段を切り替えてよく、その際は従来技術と同様、前面タッチパッド２１や操作部７０に対する操作内容を取得してよい。

処理内容判定部１１１は、ユーザ操作の内容に対応して実施すべき情報処理の内容を決定する。例えば背面タッチパッド３２における指の状態に対して設定された処理の内容を、変換規則記憶部１１０に格納しておいた設定情報を参照して決定する。そして当該処理を実施するように、出力データ生成部１１２が備える機能ブロックの少なくともいずれかに要求する。処理内容判定部１１１はまた、撮影画像から取得されたユーザの顔に係るパラメータに応じた変化が実現されるように、要求に応じた処理を実施中の機能ブロックにさらに要求する。このとき処理内容判定部１１１は画像解析部１０６に対しても、必要とする画像解析を実施するよう要求する。これにより、背面タッチパッド３２における指の状態と、ユーザの顔の状態との組み合わせに応じて情報処理が進捗する。ただし利用する操作内容や処理手順をこれに限る主旨ではない。

出力データ生成部１１２は、処理内容判定部１１１からの要求に従い情報処理を実施し、表示画像や音声などの出力データを生成して表示装置２０およびスピーカ２５に出力する。その結果、表示装置２０にはユーザ操作を反映した画像が表示され、スピーカ２５からは音声が適宜出力される。表示画像の生成処理に関し、出力データ生成部１１２は、基本画像生成部１１６、カーソル制御部１１８、選択処理部１２０、スクロール処理部１２２、およびズーム処理部１２４を備える。

基本画像生成部１１６は、メニュー画面、アイコン配列、地図、ウェブページ、電子書籍、ゲーム画面、各種情報を表す画像など、表示対象の画像のデータを生成する。生成に必要なデータはコンテンツデータ記憶部１１４から読み出す。以後、このように主たる表示対象とされる画像を「基本画像」と呼ぶ。カーソル制御部１１８は、ユーザが位置を指示するためのカーソルを必要に応じて基本画像上に表示させる。そしてユーザ操作に応じてカーソルを移動させる。具体的には、撮影画像におけるユーザの顔あるいは特定の部位の像の位置の変化をカーソルの移動に反映させる。

選択処理部１２０は、基本画像としてメニュー、アイコン、キャラクタオブジェクトなど選択が可能な項目が表示されている場合に、ユーザによる選択操作に応じた処理を実行する。具体的には、背面タッチパッド３２におけるユーザの指が、選択操作に対応した状態となったとき、カーソルが位置する項目の拡大や選択の確定処理を実施する。スクロール処理部１２２は、ユーザ操作に応じて基本画像の表示範囲を移動させるスクロール処理を実施する。具体的には、背面タッチパッド３２におけるユーザの指が、スクロール操作に対応した状態となったとき、上述のカーソルの動きと連動するように表示範囲を移動させる。

ズーム処理部１２４は、ユーザ操作に応じて基本画像を拡大したり縮小したりする。具体的には、背面タッチパッド３２におけるユーザの指が、ズーム操作に対応した状態となったとき、ユーザと情報処理装置１０の距離の変化を拡大／縮小の方向性およびズーム倍率の大きさに反映させる。当該距離は、撮影画像におけるユーザの顔の像の大きさや特定の部位の像の間隔などに基づき特定する。上述のとおり処理内容判定部１１１は、背面タッチパッド３２における指の状態に応じて、カーソル制御部１１８、選択処理部１２０、スクロール処理部１２２、ズーム処理部１２４に、その後の処理を振り分ける。そして撮影画像から得られたパラメータや指の状態変化を随時、詳細な処理内容に変換し、振り分けた機能ブロックに通知することにより、各種ユーザ操作が表示画像に反映される。

図５は情報処理装置１０を片手で把持したときの装置の背面と手の状態を例示している。（ａ）は図１で示したような小型の携帯端末の場合、（ｂ）はタブレット端末など比較的大きな端末の場合を示している。いずれの場合も、片手での自然な把持形態として、装置の背面を人差し指、中指、薬指で、装置下部を小指で支え、親指は装置の大きさによって装置上部や装置前面を押さえることにより、安定した把持が可能となる。このような状況を利用し、本実施の形態では、背面タッチパッド３２における接触位置および接触面積から、人差し指、中指、薬指それぞれの状態を特定し、その組み合わせ、すなわち手指のポーズによって操作内容を区別する。

図６は背面タッチパッド３２が検知する指の状態を例示している。この例では特に、人差し指の３つの状態を示しており、（ａ）は指の腹全体が背面タッチパッド３２に接している状態、（ｂ）は指を曲げたことにより指先のみが背面タッチパッド３２に接している状態、（ｃ）は指を持ち上げたことにより背面タッチパッド３２に接していない状態である。このような大きな状態変化は、ユーザにとって切り替えが容易であるとともに、接触面積や接触位置が大きく異なることから、背面タッチパッド３２による検出でも高精度に区別できる。なお背面タッチパッド３２はこのために、静電容量方式など、接触位置とともに接触面積を検出できる方式の物を用いる。一方、図示するような３つの状態は接触位置自体が大きく異なることから、接触位置の情報のみで区別することも可能である。この場合、接触面積を検出しない方式のタッチパッドも利用できる。

図６では人差し指の３つの状態を示したが、３本の指でのそれらの状態を組み合わせれば、原理的には２７の状態（ポーズ）を形成できる。図７はそのうち中指のみを持ち上げた状態を例示している。ただし指によって動かしやすさの特性が多少、異なることや、各指は操作と同時に装置を支えていることなどを考慮し、操作の容易性および装置の安定性が得られる状態を優先して利用することが望ましい。例えば薬指を曲げようとすると中指も連動してしまう可能性が高いため、薬指のみを曲げたポーズと、中指と薬指を同時に曲げたポーズを併用しないようにすることで誤検出を避けられる。

図８は、本実施の形態における各操作モードと、それを実現するための指のポーズ、および表示画像の具体的な変化を例示している。このような対応情報は変換規則テーブル２００としてあらかじめ作成しておき、変換規則記憶部１１０に格納しておく。ただし実際には、後述するような位置座標の変換式など、より細かい情報も格納しておく。図示する変換規則テーブル２００の「指のポーズ」は、人差し指、中指、薬指の順で、各指の状態を「Ｆ」、「Ｈ」、または「Ｒ」で表している。

「Ｆ」は「フル（Ｆｕｌｌ）」の略であり、図６の（ａ）の人差し指のように指の腹全体がタッチパッドに接触している状態を表す。「Ｈ」は「ハーフ（Ｈａｌｆ）」の略であり、図６の（ｂ）の人差し指のように指先のみがタッチパッドに接触している状態を表す。「Ｒ」は「リリース（Ｒｅｌｅａｓｅ）」の略であり、図６の（ｃ）の人差し指のように指がタッチパッドに接触していない状態を表す。

これらを３本の指で組み合わせた「指のポーズ」は、各ポーズにおいて背面タッチパッド３２が検知すべき指の接触位置、あるいは接触位置と接触面積の組み合わせを表すパターンと対応づけて変換規則記憶部１１０に格納しておく。これにより操作内容取得部１０８が、背面タッチパッド３２の検知結果から実際の指のポーズを導出する。そして処理内容判定部１１１が、当該指のポーズに対応して実現すべき処理内容を、変換規則テーブル２００を参照して決定する。

まず変換規則テーブル２００の１行目は「標準」モードであり、指のポーズが「ＦＦＦ」のとき、すなわち３本の指の腹が背面タッチパッド３２に接触している図６の（ａ）の状態で実現される。このモードでは、基本画像生成部１１６が生成した基本画像上に、カーソル制御部１１８がカーソルを表示させる。そして上述のとおり、撮影画像における顔あるいは所定の部位の像の動きを反映させるように当該カーソルを動かす。図示する例では、特定の部位として鼻の像を利用する。これは、撮影画像において鼻の像は特に輝度が得られやすく、検出精度が他の部位より高いためである。ただしカーソルの移動に用いる部位をこれに限定する主旨ではない。

以下の操作モードは基本的に、「標準」モードを初期状態とし、そこからの状態変化に応じてモードを切り替える。ただし状況に応じて例外を設定してもよい。２行目の「リセット」モードは、指のポーズが「ＦＦＲ」のとき、すなわち薬指のみが非接触で他の２本の指は腹全体が接触している状態で実現される。このポーズとなったらカーソル制御部１１８は、カーソルを画面中央などあらかじめ設定されたホームポジションに戻す。

３行目〜５行目は「選択」モードであり、上述のとおり基本画像として表示された複数の項目から１つを選択するため、「ステップ１」〜「ステップ３」の３段階の操作で構成する。まず「ステップ１」として、「標準」モードから「ＨＦＦ」、すなわち背面タッチパッド３２において人差し指は指先のみが接触し、他の２本の指は腹全体が接触している図６の（ｂ）のポーズとなったら、選択処理部１２０が「選択」モードを開始する。そして撮影画像における鼻の像の位置に応じてカーソルを移動させる。

「ステップ２」として「ＲＦＦ」、すなわち背面タッチパッド３２において人差し指のみが非接触である図６の（ｃ）のポーズとなったら、選択処理部１２０は、その時点でカーソルの位置にある項目をターゲットとして拡大表示する。次に「ステップ３」として「ＦＦＦ」、すなわち背面タッチパッド３２において３本の指の腹全体が接触している図６の（ａ）のポーズとなったら、選択処理部１２０は、拡大表示していた項目の選択が確定されたと判定し、それに応じた処理を起動する。例えばメニューから１つの項目が選択されたらそれに対応する情報処理を開始する。

変換規則テーブル２００の６行目は「スクロール」モードであり、「標準」モードから「ＲＦＦ」、すなわち背面タッチパッド３２において人差し指のみを持ち上げた図６の（ｃ）のポーズとなったときに開始される。そしてそのポーズが維持されている期間は「スクロール」モードを継続する。このときスクロール処理部１２２は、撮影画像における鼻の像の位置に応じてカーソルを移動させ、その動きと連動するように基本画像をスクロールさせる。

７〜９行目は「自動スクロール」モードであり、「スクロール」モードの途中で、それまでのスクロールと同方向に、比較的高速の所定速度で自動的に表示画像をスクロールさせる。これは一般的な操作手法における、前面タッチパッド２１に対するフリック操作に対応する。まず「ステップ１」として「標準」モードから「ＲＦＦ」、すなわち背面タッチパッド３２において人差し指のみを持ち上げた図６の（ｃ）のポーズとなったら、スクロール処理部１２２は「スクロール」モードと同様、カーソル移動とともに基本画像をスクロールさせる。

この状態で「ステップ２」として「ＦＦＦ」、すなわち背面タッチパッド３２において３本の指の腹全体が接触している図６の（ａ）のポーズとなったら、スクロール処理部１２２はそれまでのスクロール方向を維持したままスクロールを継続する。この期間、カーソルの移動操作は必要ないため、ユーザは装置に向かって顔の位置を移動させ続けるといったことをしなくてすむ。そして「ステップ３」として、再び「ＲＦＦ」のポーズとなったら、スクロール処理部１２２はカーソルとともに基本画像をスクロールさせる状態へ処理を戻す。したがってカーソルを移動させなければスクロールも停止する。

変換規則テーブル２００の１０行目は「ズーム」モードであり、「標準」モードから「ＦＲＦ」、すなわち背面タッチパッド３２において中指のみを持ち上げた図７のポーズとなったときに開始される。そしてそのポーズが維持されている期間は「ズーム」モードを継続する。このときズーム処理部１２４は、上述のとおり撮影画像における顔の像の大きさや所定の部位の像の間隔、ひいてはユーザと情報処理装置１０との距離の変化に応じて、基本画像の拡大／縮小処理を実施する。図示する例では、撮影画像における両目の間隔に基づきユーザと情報処理装置１０との距離の変化を特定する。

次に各モードにおける表示画像の変化について説明する。図９は、「標準」モード等において撮影画像から検出される鼻の像の位置と、その変化に応じて移動するカーソルとの関係を説明するための図である。同図のうち左側の画像１５０ａ〜１５０ｃは前面カメラ３０による撮影画像、ただしタッチパネル５０と相対する状態で顔とカーソルを連動させることを想定し、実際の撮影画像を左右反転させた画像である。右側の画像１５２は、出力データ生成部１１２が生成し表示装置２０に表示される画像を示している。ただし基本画像は図示を省略している。

まず初期状態として画像１５０ａが撮影されたとする。この初期状態は例えば、図８における「標準」モードの開始時、あるいは「リセット」モードにおいて定義される。すると画像解析部１０６は処理内容判定部１１１からの要求に応じて、特徴点検出など既存の顔検出処理により鼻の像の領域を抽出し、その中心の位置座標ｐ（０）を特定する。ここでｐは２次元のベクトル値である。そしてその時点でのカーソルの位置と鼻の像の位置座標ｐ（０）とを対応づける。例えば指が「ＦＦＲ」となった時点で「リセット」モードとなり、そのときの鼻の像の位置座標ｐ（０）とカーソルのホームポジションが対応づけられる。「選択」モードや「スクロール」モードにおいても、それらのモードが開始されたときの鼻の像の位置座標とカーソルの位置座標が基準となる。

なお鼻の像の位置座標は撮影画像の座標系で定義され、カーソルの位置座標は表示画像の座標系で定義される。また初期状態におけるカーソルの位置座標を原点とする。初期状態を０番目としたときｋ番目のサンプリング（時間ステップ）において、画像１５０ｂに示すように、ユーザの鼻の像が左上の位置座標ｐ（ｋ）に移動したら、カーソル制御部１１８は、カーソルを同様に左上の位置座標ｑ（ｋ）に移動させる（カーソル１５４ｂ）。逆に画像１５０ｃに示すように、ユーザの鼻の像が右下の位置座標ｐ’（ｋ）に移動したら、カーソル制御部１１８はカーソルを右下の位置座標ｑ’（ｋ）に移動させる（カーソル１５４ｃ）。

ｋ番目の時間ステップにおけるカーソルの位置座標ｑ（ｋ）は、鼻の位置座標ｐ（ｋ）に基づき次の式で求める。
ｑ（ｋ）＝Ｍ（ｐ（ｋ）−ｐ（０））
ここでＭは２×２の行列であり、表示対象の画像や情報処理の内容などに応じて適切な値をあらかじめ設定しておく。行列Ｍの要素が１０など大きい値であるほど、小さい顔の動きでカーソルを大きく動かすことができる。行列Ｍの要素が１に近い小さい値であるほどカーソルを細かく動かすことができる。

このような計算を、ｋ＝１、２、３、・・・と、フレームレートなどから定まる所定の頻度で繰り返し、カーソルを移動させることにより、顔の位置移動に追随するようにカーソルを動かすことができる。なお撮影画像における鼻の像の移動は、情報処理装置１０を固定して顔を平行移動させたり顔の向きを変化させたりして実現できるほか、情報処理装置１０を平行移動させたり向きを変化させたりしても実現できる。例えば情報処理装置１０の向きを微妙に変化させるのみでも、ユーザの負担を少なくカーソルをダイナミックに動かすことができる。

さらに次のようなフィルタ式を用いて最終的な位置座標ｑ_ｆ（ｋ）を求めることにより、顔の微妙な振動等がカーソルにそのまま反映されないようにしてもよい。

ここでｎは０以上の値を有するフィルタ係数であり、操作モードや表示対象の画像、情報処理の内容などに応じて適切な値をあらかじめ設定しておく。例えば選択モードにおいてｎ＝３とすることにより、細かいブレの発生を抑え選択対象の項目に的確にカーソルを移動させることができる。

図１０は「選択」モードにおける表示画像の変遷を例示している。まず表示画像１６０ａにおいて、選択候補となる複数の項目１６２ａ、１６２ｂ、１６２ｃ、・・・を含む基本画像と、カーソル１６４が表されている。項目１６２ａ、１６２ｂ、１６２ｃ、・・・は実際にはメニュー項目、アイコン、キャラクタオブジェクトなど様々であってよく、それに応じて形状も異なっていてよい。

ユーザが、背面における指を上述の「ＨＦＦ」として、顔の位置を変化させることによりカーソル１６４の移動操作を行うと、選択処理部１２０は、図９で説明したように鼻の像の変位を反映させてカーソルを移動させる。ユーザが所望の項目でカーソルを停止させ、背面における指のポーズを「ＲＦＦ」とすると、選択処理部１２０は当該項目１６６のみを拡大表示させた表示画像１６０ｂを生成し出力する。

この状態で背面における指のポーズを「ＦＦＦ」とすると、表示画像１６０ｃのように、当該項目１６６に対する選択が確定される。実際には選択処理部１２０が選択された項目に対応する処理を起動させることにより、基本画像自体が別のものとなってよい。前面タッチパッド２１を用いた一般的な操作では、手指による隠蔽領域が発生し、正確な接触位置が分かりづらくなったり項目自体が見にくくなったりすることがある。図示するように各項目を示す領域が小さかったり項目同士が接近していたりする場合は特に操作が困難になりやすい。本実施の形態では表示画像に隠蔽領域が発生しないため選択操作が容易である。

図１１は、「スクロール」モードにおいて撮影画像から検出される鼻の像の変位に応じて表示領域を移動させる様子を例示している。同図のうち左側の画像１７０は、前面カメラ３０による撮影画像の左右反転画像、右側は表示対象の地図１７２のうちのスクロールの始点の表示領域１７４ａ、終点の表示領域１７４ｂを示している。また表示領域１７４ａ、１７４ｂを表示しているときに同時に表示されるカーソル１７６ａ、１７６ｂも示している。

表示領域１７４ａを表示している状態で、ユーザが背面において指を「ＲＦＦ」の状態とすると、スクロール処理部１２２は、以後のカーソル移動に連動するように表示領域を移動させる。カーソル移動には、図９で説明したようにして鼻の像の変位を反映させる。例えば図示するように、撮影画像１７０において黒矢印が示すように、鼻の像が左下に移動したら、表示対象の地図１７２がそれと同じ方向（黒矢印）にスクロールするように表示領域を移動させる。つまり表示対象の地図１７２に対し、鼻の像の動きと逆方向である右上（白矢印）に表示領域を移動させる。結果として鼻の像の変位量に対応する移動量で表示対象の地図１７２がスクロールされ、表示領域１７４ｂに到達する。

本実施の形態では直接カーソルを操作しその移動に応じて徐々に表示領域を移動させるのでなく、鼻の像の変位からカーソルの変位を計算し、それに基づき表示領域が決定される。したがって実質上、カーソルの移動を追わずとも、ひいてはカーソルが表示されなくとも、新たな表示領域への移動か可能である。すなわち撮影画像１７０に鼻など所定の部位が写っている限りはスクロールが可能なため、所望の領域へ表示を素早く移動させることができる。

図１２は、「ズーム」モードにおいて撮影画像から取得されるユーザの距離と、その変化に応じた拡大／縮小処理を説明するための図である。同図のうち左側の画像１８０ａ〜１８０ｃは前面カメラ３０による撮影画像、右側の画像１８２は出力データ生成部１１２が生成し表示装置２０に表示される画像を模式的に示している。「ズーム」モードは上述のとおり、背面における指のポーズが「ＦＲＦ」となったときに開始され、その状態が維持されている期間において継続する。

例えば「標準」モードである「ＦＦＦ」のポーズから「ＦＲＦ」のポーズへと遷移したとき、画像解析部１０６は処理内容判定部１１１からの要求に応じて、特徴点検出など既存の顔検出処理により、その時点での画像１８０ａから目の領域を抽出する。そしてその間隔ｅ（ｄ_０）を基準値として取得する。なおｄ_０はそのときのユーザの顔面と情報処理装置１０前面との距離である。同図では両眼の垂直方向の中心軸同士の距離を間隔ｅとして示しているが、距離の基準をそれに限る主旨ではない。

また上述のように、ユーザと情報処理装置１０の距離の変化が判明すれば、その根拠に用いる部位は目でなくてもよく、顔の輪郭や部位のうち２箇所を適宜選択すればよい。画像１８０ａから画像１８０ｂの状態になったとき、ズーム処理部１２４は、両目の間隔ｅ（ｄ）が元の間隔ｅ（ｄ_０）より大きくなったことから、ユーザと情報処理装置１０の距離ｄが小さくなったと判定し、表示画像１８２を拡大する。図では、元のオブジェクト１８４ａがオブジェクト１８４ｂに拡大される様子を示しているが、拡大対象は画像全体でよい。

一方、画像１８０ａから画像１８０ｃの状態になったとき、ズーム処理部１２４は、両目の間隔ｅ’（ｄ）が元の間隔ｅ（ｄ_０）より小さくなったことから、ユーザと情報処理装置１０の距離ｄが大きくなったと判定し、表示画像１８２を縮小する。その結果、図示する例では元のオブジェクト１８４ａがオブジェクト１８４ｃに縮小されている。ただし縮小対象は画像全体でよい。なお拡大中心や縮小中心は、「ズーム」モードが開始されたときのカーソル１８６の位置とする。またユーザと情報処理装置１０の距離は、ユーザが把持した腕を伸縮させることにより情報処理装置１０自体を遠ざけたり近づけたりしてもよいし、腕をそのままの状態として顔を遠ざけたり近づけたりしてもよい。あるいは双方を動かしてもよい。

両目の間隔ｅ（ｄ）は、ユーザと情報処理装置１０の距離ｄと反比例の関係にある。したがって、次式において両目の間隔の変化率ｒ（ｄ）＝ｅ（ｄ）／ｅ（ｄ_０）の増加に対し単調増加するような関数ｆを設定してズーム倍率ｚ（ｄ）を決定することにより、上述のように距離が近づいたら拡大させ、遠ざかったら縮小するような態様を実現できる。
ｚ（ｄ）＝ｆ（ｒ（ｄ））
またカーソルの位置座標ｑ_ｃを中心に拡縮操作を行う場合、表示されているオブジェクトの位置座標ｑ（ｄ）は次のように決定できる。
ｑ（ｄ）＝（ｑ（ｄ_０）−ｑ_ｃ）・ｚ（ｄ）＋ｑ_ｃ

図１３は、「ズーム」モードにおいてユーザが情報処理装置１０の距離を変化させたときのズーム倍率の実測値の変化を示している。実験においては、ユーザが情報処理装置１０を把持した状態で徐々に遠ざけていき、５ｃｍごとに停止させてズーム倍率ｚ（ｄ）を測定した。またズーム倍率を求める関数ｆとして、次の２種類を設定した。
（ａ） ｚ（ｄ）＝−１８／ｒ（ｄ）＋１９
（ｂ） ｚ（ｄ）＝ｒ（ｄ）^４

図示するように、人手による距離の変化と見かけ上の両目の間隔、という幾分不安定と考えられるパラメータを用いているにも関わらず、それから導き出されるズーム倍率ｚ（ｄ）は、距離ｄに対し設定に従った規則性で制御が可能であることがわかる。（ａ）のような線形の変化とするか（ｂ）のような高次の変化とするかは、表示対象の画像や情報処理の内容などに応じて適宜切り替えて設定してよい。

以下、本実施の形態の操作効率について評価した結果を示す。
Ａ．「選択」モードの評価
表示装置２０に表示させたターゲットの選択を繰り返し、選択操作に要する時間と正確性を評価した。評価に際しては、一辺のサイズがＷの正方形を、画面の水平方向に間隔Ｄを有する左右の位置に交互に表示させ、それを順次選択する試行を繰り返した。操作手法は次の４通りとした。

（ａ）上述の「選択」モードと同様、鼻の位置によるカーソル移動と背面での指のポーズ変化により、モードの開始、ターゲットの拡大、選択確定を行った場合
（ｂ）拡大させるステップをなくし、鼻の位置によるカーソル移動と背面での指のポーズ変化により、モードの開始および選択確定を行った場合
（ｃ）装置を把持する手の親指で前面タッチパッド２１に２度触れることによりターゲットの拡大、選択確定を行った場合
（ｄ）装置を把持する手の親指で前面タッチパッド２１に１度触れることにより選択確定を行った場合

前後に表示されるターゲットの間隔Ｄは１００、２００、４００、６００画素の４通り、ターゲットの一辺のサイズＷは１０、２０、４０画素の３通りとする。図１４は、各手法による選択操作の所要時間の評価結果を、Index of Difficulty（ＩＤ）に対するMovement Time（ＭＴ）の変化として表している。ここでＩＤは操作の困難性を表す指標、ＭＴは１回の操作に要する時間であり、入力デバイスの評価方法として一般的に用いられるフィッツの法則、すなわち下式で導入されるパラメータである。
ＩＤ＝ｌｏｇ_２（Ｄ／Ｗ＋１）
ＭＴ＝ａ＋ｂ・ＩＤ
なおａおよびｂは実測値を法則に当てはめたときに得られる操作手法ごとの値であり、ｂの逆数が処理効率を表す指標ＩＰ（Index of Performance）となる。

図示するように、顔の位置と背面における指のポーズを利用した本実施の形態の操作手法（ａ）、（ｂ）は、前面タッチパッド２１を用いた従来の操作手法（ｃ）、（ｄ）と比較しても、ほぼ同等の所要時間で選択操作が完了することがわかる。またどちらの場合でも、ターゲットを拡大する処理が挿入されることにより多少、所要時間が増加する。

さらに従来の操作手法（ｃ）、（ｄ）では、ＩＤが大きくなるほどＭＴが顕著に増加する。これは、ターゲットの距離Ｄが大きくなることにより、操作する親指を届かせるために多少の持ち替えが必要となることによる。本実施の形態の操作手法（ａ）、（ｂ）ではこのような持ち替えの必要がないため、特にＩＤが大きい領域では所要時間の観点で有利となる。またＩＰ（ｂｉｔｓ／ｓ）は、（ａ）が４．４、（ｂ）が４．６、（ｃ）が２．７、（ｄ）が３．５となり、本実施の形態が従来手法より高い効率性を示した。

図１５は、各手法での選択操作の正確性の評価を、前後のターゲットの間隔ＤおよびターゲットのサイズＷに対する平均エラー率として表している。なお、上述した試行においてターゲットの領域内を指示できなかった場合など、正確な選択がなされない場合をエラーとしてカウントしている。本実施の形態の操作手法および従来の操作手法のどちらにおいても、ターゲットを一旦、拡大する処理を挿入する（ａ）および（ｃ）の手順は、拡大を行わない（ｂ）および（ｄ）の手順と比較し格段にエラーの発生を抑えることができる。

また拡大する処理を挿入する場合で比較すると、前面タッチパッド２１を用いた従来手法（ｃ）は、ターゲットの間隔Ｄが離れるほど、またターゲットのサイズＷが小さくなるほど、エラー率が顕著に高くなる。これは上述したような指の可動範囲の問題と、指のサイズによって生じる接触位置の誤差に起因する。本実施の形態の操作手法（ａ）ではそれらの問題が生じないため、ターゲットの間隔ＤやサイズＷの影響を比較的受けにくい。

上述のようにカーソル位置を決定する際のフィルタ式を適切に設定することにより、エラー率をより抑えることができると考えられる。また図１４で示した結果によれば、拡大処理を挿入することにより所要時間はおよそ０．２７秒長くなるが、図１５に示した正確性を考慮すると拡大処理を挿入することが有効であることもわかる。

Ｂ．「ズーム」モードの評価
表示装置２０に表示させた矩形を拡縮させる操作を繰り返し、ズーム操作に要する時間を評価した。評価に際しては、操作対象となる矩形とともにターゲットのズーム倍率を表す参照矩形を表示させ、操作対象の矩形を参照矩形に近づけるようにサイズ調整する試行を様々なズーム倍率で繰り返した。操作手法は次の２通りとした。
（ａ）上述の「ズーム」モードと同様、背面における指を「ＦＲＦ」のポーズとした状態でユーザと情報処理装置１０の距離を変化させて拡縮させる場合
（ｂ）装置を把持する手の親指で前面タッチパッド２１の端を２回タッチ（ダブルタップ）し当該２回目を画面の上下にスライドさせて拡縮させる場合

操作手法（ｂ）は、携帯端末における地図表示アプリケーションなどで実用化されている一般的なズーム手法である。ズーム操作を上述のフィッツの法則に当てはめるため、ターゲットとなるズーム倍率Ｚを３倍、５倍、９倍と振ったとき、それらと交互にターゲットとなるズーム倍率１との差をズーム距離ＺＤとする。すなわちズーム距離ＺＤは２、４、８倍の３通りとする。またサイズが適切に調整されたと判定するための許容誤差Ｒを０．４、０．８、１．６倍の３通りとする。つまりズーム距離ＺＤが選択操作におけるターゲットの間隔Ｄに、許容誤差Ｒが選択操作におけるターゲットのサイズＷに対応する。

例えばズーム距離ＺＤが４倍、許容誤差Ｒが０．８倍のとき、ズーム倍率１倍と５倍の参照矩形が順次表示され、ズーム操作の対象とする矩形がそれぞれ１±０．４倍、５±０．４倍となったとき、サイズ調整が成功したと判定する。図１６は、各手法によるズーム操作の所要時間の評価結果を、ＩＤに対するＭＴの変化として表している。この場合、ＩＤ＝ｌｏｇ_２（ＺＤ／Ｒ＋１）と定義する。またこの実験では、ユーザと情報処理装置１０の距離に対しズーム倍率が線形に変化するように設定している。

図示するように、ユーザと情報処理装置１０の距離を利用した本実施の形態の操作手法（ａ）は、特にＩＤの小さい領域で、前面タッチパッド２１を用いた従来の操作手法（ｂ）より短い時間でズーム操作が完了する。全領域の平均所要時間も従来手法より６％改善する。このときのＩＰ（ｂｉｔｓ／ｓ）は（ａ）が１．６、（ｂ）が１．８と、ほぼ同等となる。

平均エラー率は（ａ）が２．３３％、（ｂ）が１．４４％と、若干の悪化がみられる。しかしながら従来手法（ｂ）では、拡縮中心を指示する手段を持たないため、画面中央など所定の位置に固定せざるを得ない。一方、本実施の形態では、カーソル位置を変化させれば拡縮の中心位置を自由に変化させられる。この点を考慮した場合、所望の領域を正確にズーム操作するトータルでの効率としては、本実施の形態が有利であると考えられる。

以上、述べた本実施の形態によれば、表示装置に表示させた画像に対する操作、具体的にはカーソル移動、スクロール、項目の選択、ズームなどの操作を、前面カメラによる撮影画像と背面タッチパッドが検知する指の状態を利用して実現する。例えば装置を携帯端末とした場合、それを把持する状態において背面に位置する３本の指に着目し、腹が接しているか、指先のみが接しているか、接していないか、といった大きな状態変化を利用する。これにより、ユーザは無理のない体勢で容易に指のポーズを切り替えられるとともに、背面タッチパッドでそれらの状態変化を高精度に検出できる。また各指の状態を組み合わせることによりポーズが多様化し、多くの操作内容に割り当てることができる。

また、そのような指のポーズと組み合わせて、装置に対する顔の位置や距離を前面カメラによる撮影画像から取得することにより、カーソルを移動させたり表示画像を拡縮させたりする比較的細かい制御も実現できる。これにより表示画像に対する多くの操作を、ディスプレイを覆う前面タッチパッドや物理キーを利用することなく実現できる。結果として、装置を把持する片手のみで十分に操作が可能となるとともに、指による画面の隠蔽で細かい操作が困難となることもなくなる。

このような独特の操作手法であっても、その操作効率は従来技術と遜色ないか、むしろ改善が認められる場合もある。本実施の形態ではカーソルの移動やズーム操作に、撮影画像から得られる情報を間接的に利用するため、ポインティングデバイスや指の位置を直接反映させる態様と比較し計算式に調整の余地がある。そのため表示対象の画像、情報処理の内容、求められる性能などを考慮して臨機応変に最適な動作環境を設定できる。

以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

１０ 情報処理装置、 ２０ 表示装置、 ３０ 前面カメラ、 ３２ 背面タッチパッド、 ６０ ＣＰＵ、 ６２ ＧＰＵ、 ６４ メインメモリ、 ６６ ストレージ、 １００ 制御部、 １０２ 操作受付部、 １０４ 撮影画像取得部、 １０６ 画像解析部、 １０８ 操作内容取得部、 １１１ 処理内容判定部、 １１０ 変換規則記憶部、 １１２ 出力データ生成部、 １１４ コンテンツデータ記憶部、 １１６ 基本画像生成部、 １１８ カーソル制御部、 １２０ 選択処理部、 １２２ スクロール処理部、 １２４ ズーム処理部。

Claims (12)

1. タッチパッドと、
   ディスプレイと相対するユーザの顔を撮影するカメラと、
   撮影画像におけるユーザの顔の像から所定のパラメータを取得する画像解析部と、
   前記タッチパッドが検知した情報に基づきユーザの手指のポーズを特定する操作内容取得部と、
   前記手指のポーズが維持されている期間における前記パラメータの変化に応じて、当該手指のポーズに対応づけられた種類の変化を、前記ディスプレイに表示させた画像に与える出力データ生成部と、
   を備えたことを特徴とする情報処理装置。
2. 前記操作内容取得部は、複数の指の前記タッチパッドに対する接触面積の組み合わせに基づき前記手指のポーズを特定することを特徴とする請求項１に記載の情報処理装置。
3. 前記操作内容取得部は、指の全体が接触しているか、一部のみが接触しているか、接触していないか、の３つの状態を複数の指で組み合わせてなるポーズに対応する操作内容を取得することを特徴とする請求項１または２に記載の情報処理装置。
4. 前記出力データ生成部は、前記表示させた画像上のカーソルを移動させるべき操作に対応する手指のポーズが維持されている期間において、撮影画像におけるユーザの顔の像のうち所定の部位の像の変位に応じて、カーソルを移動させることを特徴とする請求項１から３のいずれかに記載の情報処理装置。
5. 前記出力データ生成部は、前記変位が生じたときの前記手指のポーズに応じて、前記表示させた画像の表示領域を固定としたまま前記カーソルのみを移動させるか、前記表示させた画像の表示領域を前記カーソルの移動に対応するように移動させるか、を切り替えることを特徴とする請求項４に記載の情報処理装置。
6. 前記出力データ生成部は、初期状態を定義するための手指のポーズがなされたときの撮影画像における前記所定の部位の像の位置を基準とし、当該位置からの像の変位量および変位方向と対応するように前記カーソルを移動させることを特徴とする請求項４または５に記載の情報処理装置。
7. 前記出力データ生成部は、前記ディスプレイに表示させた、選択対象の複数の項目を含む画像上で、前記所定の部位の像の変位に応じてカーソルを移動させるとともに、その状態において、手指のポーズが拡大操作に対応するポーズに遷移したときに当該カーソルが位置した項目を拡大表示し、さらに選択確定操作に対応する手指のポーズに遷移したときに、当該項目の選択を確定させることを特徴とする請求項４から６のいずれかに記載の情報処理装置。
8. 前記出力データ生成部は、ズーム操作に対応する手指のポーズが維持されている期間において、ユーザの顔のうち所定の２箇所の、撮影画像における像の間隔の変化に応じて、前記表示させた画像のズーム倍率を変化させることを特徴とする請求項１から３のいずれかに記載の情報処理装置。
9. 前記出力データ生成部は、ズーム操作に対応する手指のポーズがなされたときの撮影画像における前記像の間隔を基準とし、当該基準からの間隔の変化率と対応するように前記ズーム倍率を変化させることを特徴とする請求項８に記載の情報処理装置。
10. 前記出力データ生成部は、ズーム操作に対応する手指のポーズがなされたときのカーソルの位置を中心として前記表示させた画像のズーム倍率を変化させることを特徴とする請求項８または９に記載の情報処理装置。
11. タッチパッドから検知情報を取得するステップと、
    ディスプレイと相対するユーザの顔を撮影した画像を取得し、当該画像におけるユーザの顔の像から所定のパラメータを取得するステップと、
    前記検知情報に基づきユーザの手指のポーズを特定するステップと、
    前記手指のポーズが維持されている期間における前記パラメータの変化に応じて、当該手指のポーズに対応づけられた種類の変化を、前記ディスプレイに表示させた画像に与えるステップと、
    を含むことを特徴とする情報処理装置による情報処理方法。
12. タッチパッドから検知情報を取得する機能と、
    ディスプレイと相対するユーザの顔を撮影した画像を取得し、当該画像におけるユーザの顔の像から所定のパラメータを取得する機能と、
    前記検知情報に基づきユーザの手指のポーズを特定する機能と、
    前記手指のポーズが維持されている期間における前記パラメータの変化に応じて、当該手指のポーズに対応づけられた種類の変化を、前記ディスプレイに表示させた画像に与える機能と、
    をコンピュータに実現させることを特徴とするコンピュータプログラム。