JP5118663B2

JP5118663B2 - 情報端末装置

Info

Publication number: JP5118663B2
Application number: JP2009085663A
Authority: JP
Inventors: 晴久加藤; 恒河井
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2009-03-31
Filing date: 2009-03-31
Publication date: 2013-01-16
Anticipated expiration: 2029-03-31
Also published as: JP2010237979A

Description

本発明は、情報を提示する情報端末装置に関し、特に、カメラと撮影対象の空間的位置関係の変化によって表示部に表示される情報を制御できる情報端末装置に関するものである。

携帯型情報端末において、電子機器回路の集積化に伴って小型・軽量化が進んでいるため、キーパッドの面積を十分に確保できないまま細かな操作を強いられている。一方で処理性能の向上および記録容量の増大に伴い、情報端末が扱えるサービスやメニュー、アプリケーションの操作は複雑化の一途を辿っている。

上記のような状況下においては、情報端末のキーパッドに代わるインタフェースが必要になっている。上記操作を簡単にする方法としては、以下のような方法が公開されている。

特許文献１では、カメラで検出した指領域をタッチパネルに重畳して誤操作を軽減する手法が提案されている。

特許文献２では、手形状データベースに格納される手形状と入力画像を比較し、少数のジェスチャを用いて多くの機能を実行する。

特許文献３では、ユーザの顔の部分領域画像をテンプレート画像として登録し、一致する領域を実時間で抽出することでマウスカーソルの座標を制御する。

特開２００８−２３４５９４号公報特開２００８−１４６２４３号公報特開２００７−３１０９１４号公報

しかしながら、前記した先行技術には、次のような課題がある。

特許文献１では、指はそのサイズや形状がマウスポインタよりもかなり大きいため、タッチパネルに対して指そのものはマウスポイントほど正確にはなり得ない。また、タッチパネルの搭載は端末のコスト上昇を招く。さらに、既存端末では利用できないという問題がある。

特許文献２では、空中で手をひらひらさせるため、ジェスチャでの操作時に触覚的なフィードバックを得られないという問題がある。

特許文献３では、首を回した場合にテンプレートと入力画像が一致しなくなるため、テンプレートの逐次更新が必要となり処理負荷が大きくなる可能性がある。

さらに、特許文献１、２および３では、それぞれ指、手、顔の検出が必要であるため、光源の色調によっては肌色が正しく検出できないことがあり、認識が困難になる場合があるという問題がある。また、いずれの検出対象も個人差が大きいこと、形状の変形により見かけの変化が大きいことから安定した検出精度が見込めないことが多い。さらに、暗い所では、指領域、手形、顔などが認識できないまたは認識するのが難しいので、信頼性のある使用をすることができない。

以上のように、前記先行技術は、いずれも正確な操作が難しく、装置の信頼性が低いという課題があった。

本発明は上記実情に鑑みて提案されたものであり、情報端末装置に対する撮影対象の空間的な動作によって、情報端末装置の表示部に表示される情報を制御できる、信頼性の高い情報端末装置を提供することを目的とする。

前記した目的を達成するために、本発明は、情報を表示する表示部と、該表示部に表示する情報を記憶するメモリとを少なくとも有する情報端末装置であって、空間的位置関係の基準となる撮影対象と、一定間隔で画像を入力する撮像部と、前記撮影対象に光量を照射する光源部と、前記情報端末装置と前記撮影対象の空間的位置関係の変化を推定する推定部と、前記推定部により推定された空間位置関係の変化に応じて、前記メモリから読み出された前記表示部に表示する情報を制御する制御部とを備え、前記推定部は、前記撮像部に入力された光源の前記撮影対象に関する反射画像の高輝度値領域の面積及び円形度特徴量を基に、前記撮影対象の反射画像の候補を選択し、該候補となった撮影対象の反射画像により、前記撮像部と前記撮影対象との間の空間的位置関係を推定する機能を有し、前記撮影対象の空間的位置関係の変化に応じて表示情報を制御するようにした点に特徴がある。

また、前記撮影対象は、反射率の高い物体、または、高反射率または高透過率の特性を持つ球形状で構成されている点に他の特徴がある。

また、前記推定部は、前記光源部と前記撮像部の位置関係を高透過率の撮影対象に写り込む複数反射光の位置関係に反映することで、前記撮像部と撮影対象との間の空間的位置関係を判断する精度を高める機能を備えて成る点に他の特徴がある。

本発明によれば、撮影対象を動かすことによる空間的位置関係の変化により、情報端末装置の入力画像から空間的な相対的位置関係を推定し、表示部で表示される情報又は情報画面におけるカーソルの位置を、推定部により推定された空間位置関係の変化に応じて制御するので、ユーザは撮影対象の空間的位置を変化させるという直観的な操作で、表示される情報を制御できる。

したがって、情報端末装置の利用者は、撮影対象の動きに対応づけられた表示部でのカーソル位置の移動について、直感的に行うことが可能となり、信頼性の高い情報端末装置を提供することができる。

情報端末装置の表示部で表示される情報の制御は、撮像部に入力された画像を解析することにより推定される撮像部と撮影対象との間の空間的位置関係の変化を基に行うのでソフトウェアで可能であり、ジャイロや加速度センサなどの特別なハードウェアを情報端末に組み込む必要がない。

本発明の一実施形態の概略の機能ブロック図である。本発明が適用されることのできる携帯電話機の概略の構成を示す概念図である。 (a)図は撮影対象に対する照射光と反射光の光路を示し、(b)図は撮像部で得られる撮影対象の画像例を示す。 (a)図は撮影対象の水平方向の移動を示し、(b)図はそれに対応する表示情報の変化を示す。 (a)図は撮影対象の奥行き方向の移動を示し、(b)図はそれに対応する表示情報の変化を示す。光源部と撮像部との位置関係と、表面反射光領域と内部反射光領域の位置関係とを示す一例の図である。光源部と撮像部との位置関係と、表面反射光領域と内部反射光領域の位置関係とを示す他の例の図である。

以下に、本発明を図面を参照して詳細に説明する。図１は、本発明の情報端末装置の第１の実施形態を示す機能ブロック図である。また、図２は情報端末装置として携帯電話機を想定した場合の外観図であり、図２(a)は正面図、(b)は側面図である。また、図２(b)の左側は表面、右側は裏面である。

情報端末装置１０は、図１及び図２に示すように、画像を取り込む撮像部１と、撮影対象Sに光を照射する光源部２と、撮像部１からの画像信号により撮影対象Sの動きを推定する推定部３と、文字情報や地図情報等の情報を表示するための表示部５と、表示部５に表示させるための情報を記録するメモリ６と、推定部３およびメモリ６からの信号を受けて表示部５に表示する情報の制御を行う制御部４を備えている。なお、図２の推定部３、制御部４およびメモリ６は、携帯電話機中の大体の位置を示す大雑把な概念図である。

本実施形態では、撮影対象Sとして球体（例えば、ビー玉等）を利用し、ユーザは撮影対象Sを保持しながら、撮像部の撮影範囲内を移動させる例により説明するが、本発明はこれに限定されず、撮影対象Sとして平面状のもの（例えば、鏡等の光を反射する平面状物体）であってもよい。また、撮影対象Sは保持されずに台の上に置かれていてもよい。

光源部２は、情報端末装置に設置されたライト（例えば、LED）で構成され、撮影対象Sを十分な光量で照射することで、撮影対象Sから反射光を発生させるようになっている。光源２を点灯することで撮影対象Sは照らされるため、周囲の明るさに影響されることなく撮影対象Sを画像として撮影できる。また、周囲が暗くても撮影できる。

撮像部１は、情報端末装置に設置されたデジタルカメラで構成され、撮影対象Sからの反射光を含む画像を一定間隔で入力し、入力画像を推定部３に出力するようになっている。携帯電話での構成では撮像部１は情報端末装置内に備えられているが、ＰＣとカメラを組み合わせた構成のように情報端末装置外に備えることも可能である。

撮影対象Sは球形状で構成され、高反射率または高透過率の特性を持つものとする。球形状である撮影対象Sには光源部２から照射される光を撮像部１へと反射する面が必ず存在するため、撮像部１は前記撮影対象Sに写り込む反射光の位置と面積の変化を画像として常に撮影することになる。

さらに、撮影対象Sが十分に透明であれば、図３(a)に示されているように、光源部２から照射される光は撮影対象Sの表面（表面反射光２２ａ）だけでなく、撮影対象Sを透過した後に反対面から抜けるときにも一部が反射するため、撮影対象S内部からも反射光（内部反射光２３ａ）が生じることになる。特に、撮影対象Sが半透明で着色されている球体２１の場合、表面反射光２２は光源部２から照射される光の色が写し出されるが、内部反射光２３ａは撮影対象Sの色と光源部２の光の色とが混ざり合った色として写し出されることになる。また、この時、撮像部１で撮影された球体２１の画像は図３(b)のようになり、球体２１の円の中に、表面反射光領域２２と内部反射光領域２３が発生する。ここに、図３(a)は光源部２から球体２１を照射した光が撮像部１に至る光路を示す図であり、同図(b)は撮像部１で撮影された球体２１の画像の概念図である。なお、図４以降の図では、説明を分かりやすくするために、照射光及び反射光の光路と、表面反射光領域（実線で図示）と内部反射光領域（点線で図示）とを含む球体の画像とが同時に描かれている。

撮影対象Sと撮像部１との相対的な位置が利用者によって変化させられると、撮影対象Sの画像中の座標や見かけの大きさが変化を受けるようになっている。すなわち、利用者が撮影対象Sを撮像部１の撮影面に対して垂直方向や水平方向などに移動させると、撮像部１と撮影対象Sとの間の空間的位置関係が該移動に応じて変化することになり、同じ変化が画像中で認識される。

本実施形態の情報端末装置は、上記の操作が行われると、例えば、利用者が撮影対象Sを撮像部１の撮影面（撮像部１の軸に垂直な平面）に対して垂直方向や水平方向などに移動させると、表示部５に、例えば文字一覧や画像、地図、Web ページなどが表示されている場合に、表示されている文字や地図の表示位置について、表示部５内に表示される画像のスクロール移動に際して、又は、表示部５内に表示されたカーソル位置の移動に際して、撮像部１と撮影対象Sとの間の空間的位置関係に応じて画像がスクロール移動、又は、画像内のカーソル位置が移動するように構成されている。

また、該情報端末装置は、利用者が撮影対象Sを撮像部１の撮影面に対して奥行き方向に移動させると、撮像部１と撮影対象Sとの間の空間的位置関係に応じて画像が拡大または縮小するように構成されている。なお、撮影対象Sが球体の場合、指で直接持って移動させてもよいが、球体に棒体等の把持手段を接着剤などで取り付けると、把持手段を指で摘んで球体を移動させることができ、操作性が向上する。

図４(a)に示されているように、撮影対象Sである球体２１が撮影面内を任意の方向に移動されると、同図(b)に示されているように、表示部５上の表示情報２５を該移動方向にかつ移動量に応じたスクロールをすることができる。例えば、球体２１を操作面内を垂直あるいは水平方向に移動すると、表示部５上の表示情報２５を垂直あるいは水平方向に、球体２１の相対移動量に応じたスクロールをすることができる。

また、図５(a)に示されているように、奥行き方向に移動されると、表示部５上の表示情報２５を、同図(b)のように相対移動量に応じて拡大または縮小（ズーム）させることができる。

別の実施形態としては、表示部５にお絵かきソフトが表示されている場合に、ペンによる描画に際して、利用者が撮影対象Sを撮像部１の撮影面に対して水平方向に移動させることで線を描画することができる。ペンの移動による描画と表示情報の操作（カーソル位置の操作、スクロール、ズームなど）の区別は予め設定しておいたキーが押下されているか否かで判断できる。または、撮影対象Sが高透過率の素材であれば、机などに接地させることで透過光も反射させることができるため、内部反射光の変化によって判断することができる。例えば、内部反射光の光量が多いときは接地していると判断して撮影対象Sの軌跡に沿って線を描画し、光量が少ないときは接地していないと判断して線を描画せず撮影対象Sの軌跡に沿ってカーソルを移動させる。また、奥行き方向の移動によって見かけの大きさに合わせてペンの太さを選択できるように構成することができる。または、撮影対象Sが着色された半透明の球形状であれば内部反射光の色に応じてペンの色を変更させるように構成することもできる。

図１の推定部３は、撮像部１により入力された画像を解析して撮像部１と撮影対象Sとの間の空間的位置関係の変化を推定する。この推定の手法については後述する。メモリ６上には表示部５で表示する表示情報２５が予め展開されている。制御部４は、推定部３で推定された撮像部１と撮影対象Sとの間の空間的位置関係の変化に応じてメモリ６上の該当する情報を読み出し、表示部５に送る。表示部５は、制御部４から送出されてきた表示情報２５と前記空間的位置関係の変化により変化するカーソル等を表示する。

上記の構成により、利用者が情報端末装置を、例えばその空間的位置を任意方向に変化させれば表示画面や画面内のカーソル位置がアナログ的に変化するので、表示部５に表示されるカーソル位置の操作や画面スクロール等の操作を直感的に行うことができる。また、利用者が情報端末装置の空間的位置を連続的に変化させれば、表示部５の表示もそれに応じて連続的に変化するように切り替えられる。

次に、前記推定部３で撮像部１と撮影対象Sとの間の空間的位置関係の変化を推定する動作について、図６及び図７を参照しながら説明する。

撮像部１と撮影対象Sとの間の空間的位置関係の変化は、利用者が情報端末装置あるいは撮影対象Sの相対的な位置を変化させる動作に基づいて発生する。以下では動作の一例として、片手に情報端末装置を持って保持させたまま、他方の手で撮像部１の撮影範囲内で撮影対象S（２１）を移動させる動作を利用者の動作として説明する。

利用者の動作は、撮像部１で入力された画像から撮影対象Sの変化に基づいて推定できる。入力された画像から検出される座標及び面積の情報は、以下の手順で算出される。

例えば、着色された半透明な撮影対象Sを撮像部１にかざした場合、一定の時間間隔で撮像部１に入力される画像には光源部２から照射される光として表面反射光と内部反射光が生じているため、各画像から撮影対象Sについての座標と面積情報を抽出する。

まず、撮像部１で取得された画像から最大輝度値を持つ領域の重心座標Xsおよび面積As、周囲長Ls、平均色Csを算出する。該面積Asが予め設定された大きさより小さい場合は表面反射光の候補として選択する。逆に大きい場合は候補から排除する。次に、光源部２が点光源である場合は円形度C を次式で算出し、予め設定された閾値以上であれば表面反射光の候補として選択する。逆に以下である場合は候補から排除する。

C = 4πAs/(Ls² )

本発明者は、撮像部１で撮影された画像中の表面反射光領域２２と内部反射光領域２３の位置関係は撮影対象Sと撮像部１との位置関係に依存せず、ただ撮像部１と光源部２との位置関係に依存することを発見した。つまり、撮像部１と光源部２の位置関係が既知であれば、内部反射光領域がどこに位置するかは表面反射光領域から容易に導かれること、すなわち、光源部２から撮像部１への位置的方向と、表面反射光領域から内部反射光領域への方向は一致することを発見した。例えば、図６、図７に示されているように、光源部２が撮像部１の上の位置にあれば、撮像部１から見て内部反射光領域は表面反射光領域の下側に位置する。なお、撮影対象Sが所定の領域外に移動すると内部反射光は撮像部１に入射しなくなる。

携帯電話を用いた実現例では、撮像部１と光源部２の相対的な位置は携帯電話が特定されれば決まるため、表面反射光候補を起点として光源部２から撮像部１に向かう方向へ内部反射光領域を探索する。まず、当該方向の画素値を抽出し、表面反射光候補から該方向へ辿って行き、次のピークが予め設定された閾値と表面反射光の強度との乗算値を越える画素であれば当該画素を内部反射光の候補として設定する。また、撮影対象Sが着色された半透明の球形状であれば内部反射光の色も内部反射光領域の探索に用いることができる。また、光源部２から照射される光の色と前記撮影対象Ｓの色とが重畳された色を基準に領域を探索することもできる。

次に、内部反射光候補を含む同色領域の、重心座標Xtおよび面積At、平均色Ct を算出する。該面積At が予め設定された大きさより小さければ、両者をそれぞれ表面反射光領域と内部反射光領域と推定する。逆に大きい場合は、表面反射光候補および内部反射光候補から排除する。大きい場合は、光源部２から出力された光の反射光ではなく、他の光源、例えば室内の蛍光灯等からの光の反射光の可能性が大きいからである。表面反射光領域及び内部反射光領域の座標及び面積、平均色情報等は制御部４へ送られる。

ところで、内部反射光は撮影対象Sを透過する光の一部が撮像部１の方向へ反射されている状態であるが、その大半は撮影対象Sを完全に透過する。撮像部１に対して撮影対象Sの背後に別の物体が存在すると、透過光も反射されるため、撮像部１には強い反射光として入力される。推定部３では内部反射光の検出に際して、ピーク値に近い画素が探索方向に連続する数を数え上げ、予め設定された数を超えた場合は、撮影対象Sの背後にある物体と撮影対象Sとが接触していると判断し、物体との接触情報を制御部４へ送る。

推定部３において推定された２領域の座標および面積、接触情報等は、空間的な位置関係を表す情報として制御部４へ出力される。制御部４では、推定部３で推定された撮像部１と撮影対象Sとの間の空間的位置関係の変化、例えば２領域間の距離の変化、面積の変化などに合わせてメモリ６上の該当する表示情報を読み出し、表示部５に送出する。なお、前記２領域の空間的位置関係の変化は、前記推定部３で求めてもよいし、また前記制御部で求めるようにしてもよい。

この結果、利用者は、情報端末装置に対して撮影対象Ｓを移動させることにより、所望の画像操作をすることができる。なお、撮影対象Ｓを固定させておいて、情報端末装置を移動させても、また情報端末装置と撮影対象Ｓの両方を移動させても、同様に画像操作をすることができるのは勿論である。

１・・・撮像部、２・・・光源部、３・・・推定部、４・・・制御部、５・・・表示部、６・・・メモリ、１０・・・情報端末装置、S・・・撮影対象、２１・・・球体、２２・・・表面反射光領域、２３・・・内部反射光領域、２５・・・表示情報。

Claims

情報を表示する表示部と、該表示部に表示する情報を記憶するメモリとを少なくとも有する情報端末装置であって、
空間的位置関係の基準となる撮影対象と、
一定間隔で画像を入力する撮像部と、
前記撮影対象に光量を照射する光源部と、
前記情報端末装置と前記撮影対象の空間的位置関係の変化を推定する推定部と、
前記推定部により推定された空間位置関係の変化に応じて、前記メモリから読み出された前記表示部に表示する情報を制御する制御部とを備え、
前記推定部は、前記撮像部に入力された光源の前記撮影対象に関する反射画像の高輝度値領域の面積及び円形度特徴量を基に、前記撮影対象の反射画像の候補を選択し、該候補となった撮影対象の反射画像により、前記撮像部と前記撮影対象との間の空間的位置関係を推定する機能を有し、
前記撮影対象の空間的位置関係の変化に応じて表示情報を制御するようにしたことを特徴とする情報端末装置。
前記撮影対象は、反射率の高い物体であることを特徴とする請求項1 の情報端末装置。
前記撮影対象は、高反射率または高透過率の特性を持つ球形状で構成されていることを特徴とする請求項1 または２の情報端末装置。
前記推定部は、前記該撮影対象の反射画像の領域の座標及び面積を評価することで、前記撮像部と前記撮影対象との間の空間的位置関係を推定することを特徴とする請求項１の情報端末装置。
前記推定部は、前記光源部と前記撮像部の空間的位置関係を、高透過率の撮影対象に写り込む複数反射光領域の位置関係に反映することで、前記撮像部と撮影対象との間の空間的位置関係を判断する精度を高める機能を備えて成ることを特徴とする請求項３の情報端末装置。
前記推定部は、高透過率の撮影対象からの複数反射光において、前記光源部から照射される光の色と前記撮影対象の色とが重畳された色を基準に領域を探索することで、前記撮像部と撮影対象との間の空間的位置関係を判断する精度を高める機能を備えて成ることを特徴とする請求項３または５の情報端末装置。
前記推定部は、高透過率の撮影対象に写り込む複数反射光の一部の形状変化によって、前記撮影対象が他の物体と接触しているか否かを判断する機能を備えて成ることを特徴とする請求項３または５の情報端末装置。
前記推定部は、時間的に異なる画像において前記撮影対象からの反射光を時系列に沿って検出し複数の反射光領域の座標変化から移動量を算出することで、前記撮像部と撮影対象との間の空間的位置関係を判断する機能を備えて成ることを特徴とする請求項３または５の情報端末装置。
前記推定部は、時間的に異なる画像において前記撮影対象からの反射光を時系列に沿って検出し複数の反射光領域の距離変化あるいは相対的な面積比から倍率を算出することで、前記撮像部と撮影対象との間の空間的位置関係を判断する機能を備えて成ることを特徴とする請求項３または５の情報端末装置。
前記制御部は、前記推定部で検出された空間的な動作に応じて、前記表示部に表示される内容が異なるように制御する機能を備えて成ることを特徴とする請求項１の情報端末装置。