JP5550670B2 - 情報処理装置 - Google Patents

Description

本発明は、情報処理装置に関し、特に、入力部及び表示部を備えた情報処理装置に関するものである。

スマートフォンやタブレットなどの携帯情報処理装置や、カーナビゲーション等の車載情報処理装置では、ユーザが入力を行なうインターフェースとして、タッチ操作インターフェースが採用されている。タッチ操作インターフェースは、表示パネルにタッチパネルが設けられることで実現される。タッチパネルは、そこに接触したユーザの指やスタイラスを検出する。特に、指の接触を検出するタッチパネルは、ユーザは、入力をするのにスタイラスを用意する必要がなく、便利である。

しかしながら、手が濡れていたり汚れていたりする場合には、タッチパネルに直接触れたくない場合もある。また、指がタッチパネルまで届かず、物理的にタッチパネルにタッチできないこともある。一方、タッチパネルに触れなくてもユーザの動き撮影して、画像処理によりユーザの動きを認識して、それを入力とするジェスチャ認識装置が知られている（例えば、特許文献１を参照）。

特開２００９−７６２５５号公報

しかしながら、従来のジェスチャ認識装置では、ジェスチャを認識させるために、ユーザは何らかの動作をしなければならない。また、ジェスチャ認識装置にジェスチャを認識させるために、ユーザは大きな動作をしなければならない。即ち、ユーザは、ジェスチャ認識装置が画像処理によってそのジェスチャを認識できるようにするために、腕等を大きく動かす必要がある。

本発明は、上記の問題に鑑みてなされたものであり、ハードウェアを追加することなく小さな動作や静止状態のジェスチャでも入力できる情報処理装置を提供することを目的とする。

本発明の情報処理装置は、入力認識用パターンの表示を行なう表示部と、撮影を行って撮影画像を生成する撮像部と、前記表示部にて表示された入力認識用パターンを反射する物体を前記撮像部にて撮影して得られた撮影画像から、前記入力認識用パターンを抽出するパターン抽出部と、前記パターン抽出部における前記入力認識用パターンの抽出結果に基づいて、入力を認識する入力認識部とを備えた構成を有している。

この構成によれば、物体で反射した入力認識用パターンを抽出するので、物体が静止状態にあり、物体自体の動きがなくとも、表示部にかざされた物体の存在を入力として認識できる。また、入力認識用パターンは表示部にて表示されるので、特別なハードウェアを追加することなく、上記の入力認識を行なうことができる。さらに、入力認識用パターンが抽出された撮影画像内の位置の変化によって物体の移動（動作）を認識できるので、ユーザはジェスチャ認識が可能なように大きな動作を行なう必要もない。

上記の情報処理装置において、前記入力認識部は、前記入力認識用パターンが抽出された前記撮影画像内の位置に応じて、入力の内容を認識してよい。

この構成によれば、撮影画像において入力認識用パターンが抽出された位置に入力操作があったものと認識できる。

上記の情報処理装置において、前記入力認識用パターンは、位置によって種類が異なるパターンであってよく、前記入力認識部は、前記パターン抽出部によって抽出された前記入力認識用パターンの種類に応じて、入力の内容を認識してよい。

この構成によれば、抽出された入力認識用パターンの種類によって、当該種類に対応する位置に入力操作があったものと認識できる。

上記の情報処理装置において、前記パターン抽出部は、異なる時間に得られた複数の撮影画像について、前記入力認識用パターンを抽出してよく、前記入力識別部は、前記パターン抽出部における前記入力認識用パターンの抽出結果の時間経過に伴う変化に応じて、入力の内容を認識してよい。

この構成によれば、物体の動きを入力の内容として認識できる。

上記の情報処理装置において、前記入力認識用パターンは、格子パターンであってよく、ドットパターンであってもよい。

上記の情報処理装置において、前記入力認識用パターンは、所定の配置パターンで配置された互いに異なる複数のコードパターンであってよい。

この構成によれば、抽出されたコードパターンのコード内容によって、物体の位置を把握できる。

上記の情報処理装置は、原画像に対して前記入力認識用パターンを重畳するパターン重畳部をさらに備えていてよい。

この構成によれば、原画像を表示しながら入力認識用パターンを表示して、上記の入力認識を行なうことができる。

上記の情報処理装置において、前記パターン重畳部は、前記原画像に電子透かしの形態で前記入力認識用パターンを重畳してよい。

この構成によれば、入力認識用パターンをユーザに意識させることなく上記の入力認識を行なうことができる。

本発明によれば、表示部にて表示されて物体で反射した入力認識用パターンが撮影されて、撮影画像から入力認識用パターンが抽出されて入力が認識されるので、表示部及び撮像部を有する情報処理装置に対して特別なハードウェアを追加することなく、小さな動作や静止状態のジェスチャでも入力を行なうことができる。

本発明の実施の形態の情報処理装置の斜視図 本発明の実施の形態の情報処理装置の構成を示すブロック図 本発明の実施の形態の情報処理装置の入力認識用パターン例（同種線格子）を示す図 本発明の実施の形態の情報処理装置で撮影される画像の例を示す図 本発明の実施の形態の第１の変形例の情報処理装置の入力認識用パターン例（ドット）を示す図 本発明の実施の形態の第２の変形例の情報処理装置の入力認識用パターン例（異種線格子）を示す図 本発明の実施の形態の第３の変形例の情報処理装置の入力認識用パターン例（コードパターン配置）を示す図

以下、本発明の実施の形態の情報処理装置について、図面を参照しながら説明する。本実施の形態の情報処理装置は、データ通信機能を有し、かつ各種の情報処理を実行可能な携帯端末である。但し、本発明の情報処理装置は、これに限られず、固定式のものであってもよく、データ通信機能を有しないものであってもよい。

図１は、本発明の実施の形態の情報処理装置の斜視図である。情報処理装置１００は、表示パネル２０とカメラ１０を備えている。表示パネル２０は、方形である。カメラ１０は、表示パネル２０と同一平面に設けられる。カメラ１０は、表示パネル２０の表示画面に垂直な方向の上方を撮影可能である。即ち、表示パネル２０の上方は、カメラ１０の画角内に含まれる。但し、表示パネル２０事態はカメラ１０の画角には含まれていない。カメラ１０は、図示しないレンズ等を含む光学系、ＣＣＤやＣＭＯＳ等の撮像素子、及び信号処理回路を備えている。カメラ１０は、静止画のほか、動画を撮影することもできる。表示パネル２０は、液晶パネル、有機ＥＬパネル等の公知のパネルであってよい。情報処理装置１００には図示しない各種のボタンやコネクタが設けられてよい。

なお、以下に説明するように、カメラ１０及び表示パネル２０は、本発明の実施の形態の入力認識に用いられるが、これらのカメラ１０及び表示パネル２０は、専ら入力認識のために設けられたものではない。例えば、カメラ１０は、被写体を撮影してその画像を保管しておくことを主な目的とするものであり、表示パネル２０は、情報処理装置１００の各種の処理において必要な表示画像（原画像）を表示するためのものである。本発明の実施の形態は、これらの通常の用途に使用するカメラ１０及び表示パネル２０を入力認識用にも用いるものである。この意味で、本発明の実施の形態の情報処理装置は、入力認識のために特別なハードウェアを必要としないものである。なお、本発明の入力認識に用いられるカメラや表示パネルは、専ら入力認識に用いられるものであってもよい。

図２は、本発明の実施の形態の情報処理装置の構成を示すブロック図である。図２には、入力を認識するための構成のみを示している。情報処理装置１００は、撮像部１０、表示部２０、パターン抽出部３０、入力認識部４０、制御部５０、パターン重畳部６０、及び表示制御部７０を備えている。撮像部１０は、図１のカメラ１０に対応する。撮像部１０は、撮影を行なって、撮影画像を示す画像データを生成する。撮像部１０で生成された画像データは、パターン抽出部３０に出力される。パターン抽出部３０は、撮像部１０で生成された画像データが示す撮影画像から入力認識用パターンを抽出する。このために、パターン抽出部３０には、撮影画像から抽出すべきパターンが記憶されている。入力認識用パターンについては後述する。

入力認識部４０は、パターン抽出部３０で抽出された入力認識用パターンに基づいて、入力内容を認識する。具体的には、入力認識部４０は、抽出された入力認識用パターンの撮影画像内での位置、及び／又は位置の時間の経過に伴う変化に基づいて、入力内容を認識する。制御部５０は、情報処理装置１００における各種の動作を制御する。図２には図示していないが、情報処理装置１００には、入力に基づいて各種の処理、例えば、Ｗｅｂブラウザやメーラを含む各種アプリケーションを実行するための構成を有している。本発明に関連する処理として、制御部５０は、表示制御部７０及びパターン重畳部６０を制御する。

表示制御部７０は、表示部２０にて表示する原画像を表す表示用データを生成する。原画像とは、情報処理装置１００において通常の処理を実行する際に表示する画像をいい、例えばウェブブラウズをする際のウェブ画面である。表示用データは、制御部５０からの命令に基づいて生成される。パターン重畳部６０は、表示制御部７０にて生成される表示用データの原画像に入力認識用パターンを重畳する。この入力認識用パターンは、原画像に電子透かしの形態で埋め込まれる。図３は、本発明の実施の形態の情報処理装置の入力認識用パターン例（同種線格子）を示す図である。図３の入力認識用パターンは、縦及び横に等間隔に同一種の線分が並べられた格子パターンである。

表示部２０は、図１の表示パネル２０に対応する。表示部２０は、表示制御部７０で生成された表示用データに従って表示を行なう。表示部２０は、原画像に入力認識用パターンが重畳されている場合には、入力認識用パターンが重畳された原画像を表示する。

以上のように構成された情報処理装置１００について、その動作を説明する。図１に示すように、ユーザは、入力認識用パターンが重畳された原画像が表示されているときに、その表示パネル２０の上方に指Ｆをかざす。このとき、指Ｆを表示パネル２０に接触させないようにする。そうすると、表示パネル２０の画像が指Ｆに反射してカメラ１０に入射する。

このとき、図１に示すように、表示される原画像には入力認識用パターンＰＴが重畳されており、指Ｆで反射してカメラ１０に入射する光には入力認識用パターンＲＰＴが含まれている。なお、図１では、表示パネル２０に表示される入力認識用パターンＰＴ及び指で反射する入力認識用パターンＲＰＴをいずれも線分で表しているが、実際には、上述のように入力認識用パターンＰＴは、電子透かしの態様で原画像に埋め込まれるので、ユーザ（人）が視認できないものである。

撮像部１０は、このような入力認識用パターンＲＰＴを反射する指Ｆを撮影して、撮影画像を表す画像データを生成する。パターン抽出部３０は、この撮影画像から入力認識用パターンＲＰＴを抽出する。図４は、本発明の実施の形態の情報処理装置で撮影される画像の例を示す図である。撮影画像には、指Ｆが映っている。原画像に埋め込まれた入力認識用パターンＰＴは、指Ｆの部分のみで反射して、画像内に、指Ｆから反射した入力認識用パターンＲＰＴとして映り込んでいる。指Ｆ以外の部分については、入力認識用パターンＰＴを反射する物体がないため、撮影画像にも反射した入力認識用パターンＲＰＴは現れない。

パターン抽出部３０は、この撮影画像内に現れた入力認識用パターンを抽出し、入力認識用パターンが抽出された撮影画像内の位置を入力認識部４０に出力する。パターン抽出部３０は、時間的に連続する複数のフレームに対して、連続してパターンの抽出を行なう。入力認識部４０は、パターン抽出部３０からパターン抽出の結果を受けて、入力内容を認識する。

本実施の形態の入力認識部４０は、画面内を縦及び横にそれぞれ４分割して、入力認識用パターンＲＰＴが抽出された部分（抽出部分）の上部の時間経過に伴う移動を認識する。抽出部分の上部は、例えば、抽出部分の最上端から所定画素数下の部分であってよい。例えば、抽出部分の上部が４分割された右上領域にある状態から右下領域にある状態に変化したときには、入力認識部４０は、右側での上から下へのスライド操作の入力があったものと認識する。入力認識部４０は、認識した入力を制御部５０に出力する。制御部５０は、入力認識部４０より取得した入力に基づいて各種の処理を行なう。

また、制御部５０は、各種の情報処理に応じて表示制御部７０を制御して、表示部２０に表示する原画像を生成させる。また、制御部５０は、各種の情報処理に応じて上述のように入力認識用パターンを用いた入力認識を行なう場合に、パターン重畳部６０を制御して、原画像に入力認識用パターンを重畳させる。

以上説明したように、本実施の形態の情報処理装置１００によれば、表示部２０にて入力認識用パターンを表示して、撮像部１０にてその入力認識用パターンを反射する物体（指）を撮影するので、当該物体の位置や位置の変化を認識することができ、表示部２０に触れていない物体によっても、その位置や位置の変化による入力を行なうことができる。

なお、上記の実施の形態では、入力認識用パターンは、等間隔及び同一線種の複数の線分からなる格子パターンであったが、入力認識用パターンは、これに限られない。以下、入力認識用パターンの変形例を説明する。

図５は、本発明の実施の形態の第１の変形例の情報処理装置の入力認識用パターン例を示す図である。この入力認識用パターンは、ドットが縦及び横に等間隔で配置されたドットパターンである。パターン抽出部３０は、画像の中からドットパターンを抽出し、入力認識部４０は、ドットパターンが抽出された画像内の位置及びその時間経過に伴う変化に応じて入力内容を認識する。

図３及び図５の例の入力認識用パターンは、繰り返しパターンであり、入力認識用パターンを反射する物体がどこにあるかは、入力認識用パターンが抽出された撮影画像内の位置によって判断したが、本発明はこれに限られない。入力認識用パターンを位置によって変化させることにより、抽出したパターンの内容から、入力認識用パターンを反射する物体の位置を判断してもよい。

図６は、本発明の実施の形態の第２の変形例の情報処理装置の入力認識用パターン例を示す図である。図６に示す入力認識用パターンは、縦及び横方向に等間隔で配列された複数の線分からなる格子状のパターンであるが、線種が縦及び横方向に一定の周期で繰り返されている。このように、複数の線種を用いることで、抽出された入力認識用パターンの線種に応じて、それを反射した物体の位置を把握することができる。

なお、図６の例では、線種が一定周期で繰り返されているので、抽出された入力認識用パターンの線種のみから判断すると、それを反射した物体の位置が、一定間隔ごとに繰り返される複数の位置のいずれであるかを判断できないことになるが、入力認識用パターンが抽出された撮像画像内における位置の情報から物体のおおよその位置が判断できる。よって、入力認識部４０は、入力認識用パターンが抽出された画像内の位置で物体の大まかな位置を判断し、その入力認識用パターンの種類（線種）に基づいて、物体の正確な位置を判断する。

入力認識用パターンは、図３、図５、及び図６に示すように、表示部２０の表示画面の全面に一様に表示されるものでなくてもよい。図７は、本発明の実施の形態の第３の変形例の情報処理装置の入力認識用パターン例を示す図である。図７の例では、表示部２０の表示画面の９箇所に入力認識用パターンとして、互いに異なるコードパターンが所定の配置パターンで配置されている。パターン抽出部３０は、撮影画像からコードパターンを抽出する。入力認識部４０は、パターン抽出部３０にて抽出されたコードパターンのコード内容から、その入力認識用パターンを反射した物体の位置を判断する。なお、コードパターンは、それぞれ異なる形状のパターン（例えば、丸、四角、三角等）であってもよい。

なお、なお、図６及び図７の例のように、上下方向又は左右方向に対称でないパターンの場合には、パターン抽出部３０は、表示部２０に表示される入力認識用パターンを反転したパターンを抽出すべきパターンとして記憶している。

なお、上記の実施の形態では、カメラ１０が表示パネル２０と同一平面に設けられたが、表示パネル２０にかざされた物体で反射した入力認識用パターンを撮影できるように（但し、表示パネル２０の表示画面自体を撮影しないように）、表示パネル２０の面と角度をなす面にカメラ１０が設けられてもよい。

また、上記の実施の形態では、入力認識用パターンを反射する物体がユーザの指である例を説明したが、入力認識用パターンを反射する物体は指に限られない。表示パネル２０によって照射される入力認識用パターンを効率よく反射する物質を用いた物体（スタイラス等）であってもよい。

また、上記の実施の形態では、入力認識用パターンは、表示用データに電子透かしの形態で重畳されたが、本発明の入力認識用パターンはこれに限られない。例えば、入力を行なう際に、入力認識用パターンを視認可能なように、表示パネル２０に表示してもよい。また、入力認識用パターンを表示させるときに、原画像は表示せずに、入力認識用パターンのみを表示させるようにしてもよい。さらに、上記の実施の形態では、情報処理に応じて入力認識用パターンを重畳させるようにしたが、常に入力認識用パターンを表示するようにしてもよい。

また、上記の実施の形態において、表示パネル２０はタッチパネルであってよい。この場合に、タッチパネルへの入力がないことを条件に、上記の入力認識用パターンによる入力認識を行なうようにしてよい。また、上記の入力認識用パターンによる入力を行なう旨のユーザからの指示を受けて、入力認識用パターンの重畳及び入力認識用パターンによる入力の認識を行なうようにしてもよい。

さらに、上記の実施の形態では、図３、図５ないし図７に示すような専ら入力認識に用いるためのパターンを原画像に埋め込んで表示したが、原画像自体を入力認識用パターンとして用いてもよい。この場合には、図３、図５ないし図７に示すような専ら入力認識に用いるためのパターンを原画像に埋め込む必要はない。この例では、パターン抽出部３０は、撮影画像から原画像を反射した部分を抽出し、入力認識部４０は、パターン抽出部３０にて抽出された反射された原画像の内容に基づいて、原画像を反射する物体（指）の位置を判断することで入力内容を認識する。即ち、入力認識用パターンは、その反射画像がパターン抽出部３０にて入力認識のために抽出される画像であれば、どのような画像であってもよい。

また、上記の実施の形態では、入力認識部４０は、抽出された入力認識用パターンの位置や位置の変化、及び／又は抽出された入力認識用パターンの種類（線種やコード内容）に応じて入力の内容を判断したが、入力認識部４０は、単に、入力認識用パターンが抽出されたか否かによって入力の有無を判断するものであってよい。

本発明は、表示部にて表示されて物体で反射した入力認識用パターンが撮影されて、撮影画像から入力認識用パターンが抽出されて入力が認識されるので、ハードウェアを追加することなく小さな動作や静止状態のジェスチャでも入力できるという効果を有し、入力部及び表示部を備えた情報処理装置等として有用である。

１００ 情報処理装置
１０ 撮像部
２０ 表示部
３０ パターン抽出部
４０ 入力認識部
５０ 制御部
６０ パターン重畳部
７０ 表示制御部

Claims (7)

1. 入力認識用パターンの表示を行なう表示部と、
   撮影を行って撮影画像を生成する撮像部と、
   前記表示部にて表示された入力認識用パターンを反射する物体を前記撮像部にて撮影して得られた撮影画像から、前記入力認識用パターンを抽出するパターン抽出部と、
   前記パターン抽出部における前記入力認識用パターンの抽出結果に基づいて、入力を認識する入力認識部と、
   を備え、
   前記入力認識部は、前記入力認識用パターンが抽出された前記撮影画像内の位置に応じて、入力の内容を認識することを特徴とする情報処理装置。
2. 入力認識用パターンの表示を行なう表示部と、
   撮影を行って撮影画像を生成する撮像部と、
   前記表示部にて表示された入力認識用パターンを反射する物体を前記撮像部にて撮影して得られた撮影画像から、前記入力認識用パターンを抽出するパターン抽出部と、
   前記パターン抽出部における前記入力認識用パターンの抽出結果に基づいて、入力を認識する入力認識部と、
   を備え、
   前記入力認識用パターンは、位置によって種類が異なるパターンであり、
   前記入力認識部は、前記パターン抽出部によって抽出された前記入力認識用パターンの種類に応じて、入力の内容を認識する
   ことを特徴とする情報処理装置。
3. 入力認識用パターンの表示を行なう表示部と、
   撮影を行って撮影画像を生成する撮像部と、
   前記表示部にて表示された入力認識用パターンを反射する物体を前記撮像部にて撮影して得られた撮影画像から、前記入力認識用パターンを抽出するパターン抽出部と、
   前記パターン抽出部における前記入力認識用パターンの抽出結果に基づいて、入力を認識する入力認識部と、
   を備え、
   前記パターン抽出部は、異なる時間に得られた複数の撮影画像について、前記入力認識用パターンを抽出し、
   前記入力識別部は、前記パターン抽出部における前記入力認識用パターンの抽出結果の時間経過に伴う変化に応じて、入力の内容を認識する
   ことを特徴とする情報処理装置。
4. 前記入力認識用パターンは、格子パターンであることを特徴とする請求項１ないし３のいずれか一項に記載の情報処理装置。
5. 前記入力認識用パターンは、ドットパターンであることを特徴とする請求項１又は３に記載の情報処理装置。
6. 前記入力認識用パターンは、所定の配置パターンで配置された互いに異なる複数のコードパターンであることを特徴とする請求項１に記載の情報処理装置。
7. 入力認識用パターンの表示を行なう表示部と、
   撮影を行って撮影画像を生成する撮像部と、
   前記表示部にて表示された入力認識用パターンを反射する物体を前記撮像部にて撮影して得られた撮影画像から、前記入力認識用パターンを抽出するパターン抽出部と、
   前記パターン抽出部における前記入力認識用パターンの抽出結果に基づいて、入力を認識する入力認識部と、
   原画像に対して前記入力認識用パターンを重畳するパターン重畳部と、
   を備え、
   前記パターン重畳部は、前記原画像に電子透かしの形態で前記入力認識用パターンを重畳することを特徴とする情報処理装置。
   

Images