JP5252579B2

JP5252579B2 - 情報端末装置

Info

Publication number: JP5252579B2
Application number: JP2009227120A
Authority: JP
Inventors: 晴久加藤; 恒河井
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2009-03-02
Filing date: 2009-09-30
Publication date: 2013-07-31
Anticipated expiration: 2029-09-30
Also published as: JP2010231758A

Description

本発明は情報を提示する情報端末装置に関し、特に、カメラと指の空間的位置関係の変化によって表示部に表示される情報を制御できる情報端末装置に関するものである。

携帯型情報端末において、電子機器回路の集積化に伴って小型・軽量化が進んでいるため、キーパッドの面積を十分に確保できないまま細かな操作を強いられている。一方で処理性能の向上および記録容量の増大に伴い、情報端末が扱えるサービスやメニュー、アプリケーションの操作は複雑化の一途を辿っている。

上記のような状況下においては、情報端末のキーパッドに代わるインタフェースが必要になっている。上記操作を簡単にする方法としては、以下のような方法が公開されている。

特許文献１では、カメラで検出した指領域をタッチパネルに重畳して誤操作を軽減する手法が提案されている。

特許文献２では、手形状データベースに格納される手形状と入力画像を比較し、少数のジェスチャを用いて多くの機能を実行する。

特許文献３では、ユーザの顔の部分領域画像をテンプレート画像として登録し、一致する領域を実時間で抽出することでマウスカーソルの座標を制御する。

特開２００８−２３４５９４号公報特開２００８−１４６２４３号公報特開２００７−３１０９１４号公報

しかしながら、前記した先行技術には、次のような問題がある。

特許文献１では、指はそのサイズや形状がマウスポインタよりもかなり大きいため、タッチパネルに対して指そのものはマウスポイントほど正確にはなり得ない。また、タッチパネルの搭載は端末のコスト上昇を招く。さらに、既存端末では利用できないという問題がある。

特許文献２では、空中で手をひらひらさせるため、ジェスチャでの操作時に触覚的なフィードバックを得られないという問題がある。

特許文献３では、首を回した場合にテンプレートと入力画像が一致しなくなるため、テンプレートの逐次更新が必要となり処理負荷が大きくなる可能性がある。

さらに、特許文献１、２および３では、それぞれ指、手、顔の検出が必要であるため、光源の色調によっては肌色が正しく検出できないことがあり、認識が困難になる場合があるという問題がある。

以上のように、前記先行技術は、いずれも正確な操作が難しく、装置の信頼性が低いという問題があった。

本発明は上記実情に鑑みて提案されたもので、情報端末装置に対する撮影対象の空間的な動作によって、情報端末装置の表示部に表示される情報を制御できる、信頼性の高い情報端末装置を提供することを目的とする。

上記した目的を達成するために、本発明は、表示部に表示する情報を記憶するメモリと、撮影対象を保持するパッド部と、前記パッド部の撮影対象を撮影する撮像部と、前記撮像部によって撮影された画像に基づいて、前記撮影対象の空間的位置関係の変化を推定する推定部と、前記メモリから読み出して前記表示部に表示する情報を、前記推定部により推定された前記空間位置関係の変化に応じて制御する制御部とを具備する点に第１の特徴がある。

また、本発明は、前記パッド部は、前記撮像部の撮影面に脱着でき、撮影対象として、異なる色の組み合わせ模様や異なる面積の組み合わせ模様、あるいは大きさの異なる複数の陥没箇所を備えてなる点に第２の特徴がある。

また、本発明は、前記推定部は、前記撮像部により入力された画像から検出された特徴量を用いて、前記撮像部と前記撮影対象との間の空間的位置関係の変化を推定する機能を備えてなる点に第３の特徴がある。

また、前記制御部は、前記推定部で検出された空間的な動作に応じて、前記表示部に表示される内容が異なるように制御する機能を備えて成る点に第４の特徴がある。

本発明によれば、撮影対象を動かすことによる空間的位置関係の変化により、情報端末装置の入力画像から空間的な相対的位置関係を推定し、表示部で表示される情報又は情報画面におけるカーソルの位置を、推定部により推定された空間位置関係の変化に応じて制御するので、ユーザは撮影対象の空間的位置を変化させるという直観的な操作で、表示される情報を制御できる。

したがって、情報端末装置の利用者は、撮影対象の動きに対応づけられた表示部でのカーソル位置の移動について、直感的に行うことが可能となり、信頼性の高い情報端末装置を提供することができる。

情報端末装置の表示部で表示される情報の制御は、撮像部に入力された画像を解析することにより推定される撮像部と撮影対象との間の空間的位置関係の変化を元に行うのでソフトウェアで可能であり、ジャイロや加速度センサなどの特別なハードウェアを情報端末に組み込む必要がない。

本発明の一実施形態の概略の構成を示すブロック図である。本発明を携帯電話機に応用した場合の概略の構成を示す概念図である。パッド部の実施例を示す斜視図である。撮像部に装着されたパッド部の一例を示す図である。撮像部に装着されたパッド部の他の例を示す図である。指で操作されるパッド部を示す図である。図１の推定部の具体的構成を示すブロック図である。撮像部で撮影された撮影対象の説明図である。推定部の機能を示すフローチャートである。利用者がパッド部を任意方向にスライドした場合の、表示部の画像の概念図である。利用者がパッド部を奥行き方向に押し込んだ場合の、表示部の画像の概念図である。利用者がパッド部を回転させた場合の、表示部の画像の概念図である。

以下に、本発明を図面を参照して詳細に説明する。図１は、本発明の情報端末装置の第１の実施形態を示す機能ブロック図である。また、図２は情報端末装置として携帯電話機を想定した場合の外観図であり、図２(a)は正面図、(b)は側面図である。また、図２(b)の左側は表面、右側は裏面である。

情報端末装置１０は、図１、図２に示すように、画像を取り込む撮像部１と、撮影対象を保持する着脱自在のパッド部２と、撮像部からの画像信号により撮影対象の動きを推定する推定部３と、文字情報や地図情報等の情報を表示するための表示部５と、表示部に表示させるための情報を記録するメモリ６と、推定部３およびメモリ６からの信号を受けて表示部５に表示する情報の制御を行う制御部４を備えている。なお、図２の推定部３，制御部４およびメモリ５は、携帯電話機中の大体の位置を示す大雑把な概念図である。

撮像部１は、情報端末装置に内蔵されたカメラで構成され、一定間隔で任意の画像を入力し、入力画像を推定部３に出力するようになっている。携帯電話機での構成では撮像部１は情報端末装置内に備えられているが、パソコンとカメラを組み合わせた構成のように情報端末装置外に備えることも可能である。

パッド部２は、図３（ａ）〜（ｃ）に示すように、シリコンや柔らかいゴム等の透過性および弾力性を有する素材で形成してもよく、この場合パッド部２の内部または上部には、同図（ｂ）に示すような任意の模様２ｂあるいは同図（ｃ）に示すような光源２ｃ（例えば、２個のＬＥＤ）などの撮影対象を配置してもよい。あるいは、指で操作することを前提にした構成では、パッド部２の上部に、例えば同図（ａ）に示されているような大きさが異なる複数の陥没部分２ａあるいは突出部分を用意することもできる。このバッド部に指を添える場合、当該陥没部分２ａで鬱血した箇所と当該陥没部分以外で血が引いた箇所とのコントラスト差を利用した撮影対象とすることができる。また、同図（ａ）〜（ｃ）においては、弾力性を有する素材からなるパッド部２を直接指で操作するのではなく、その上にさらに弾力性を有さないプラスチック等の素材からなるキー部もしくはスティック部を設けて該キー部もしくはスティック部を指で操作してもよい。ここで該キー部は例えば十字キーであってもよい。

また、パッド部２は図３（ｅ）に示すように、バネ等の弾性体で形成し、その弾性体の内部または上部に撮影対象の配置部を設けて撮影対象２ｅを配置してもよい。ここで弾性体はその弾性を妨げることのないカバーを弾性体の内部もしくは外部に、あるいは弾性体と一体となって備えていてもよく、該カバーは遮光性カバーであってもよい。同図（ｅ）では底部２ｄ側と撮影対象２ｅ側とでバネのコイル径が同じであるが、コイル径は両側で異なっていてもよい。弾性体に接続しているため撮影対象の配置部には弾力性は必ずしも必要ではなく、また透過性素材の利用も適宜選択することなどによって、同図（ａ）〜（ｃ）の場合と同様に任意の模様、光源、陥没部分あるいは突出部分を撮影対象２ｅとして用いることができる。指で操作する構成ではたとえば撮影対象の配置部を中央の1点のみ透過性素材もしくは穴とすることにより、押さえた指の色および位置を撮影対象とすることもできる。

パッド部２は撮像部１の撮影面に脱着できる構成をとることが可能であり、撮像部は前記撮影対象の動きと大きさの変化を画像として撮影することになる。パッド部２が、図４のように撮像部１の全面を覆う実施例の場合は、撮像部１のレンズ周りに金属リング１０を貼り付けておき、一方パッド部２の底面２ｄにはリング状の磁石を貼り付けて、パッド部２を磁力で撮像部１に装着できるようにする。該リング状の磁石およびレンズ周りの金属リングの組み合わせ使用に代えて、パッド部２の底面２ｄに粘着材を塗布して、または粘着性もしくは吸着性を有する部材を用いてパッド部２を着脱自在にしてもよい。また、図５のようにパッド部２の大きさを少し大きくして撮像部１に隣接する光源１１（ＬＥＤ等）を含めてパッド部２が覆うように装着することができる。光源１１を点灯することでパッド内部で散乱した光が撮影対象を照らすことになるので、暗闇の中でもはっきりと撮影対象を画像として撮影できる。また、パッド部２は、図４のパッド部２より小さくして、撮像部１の撮像面より小さくしてもよい。

一方、パッド部２が特に図３（ｅ）のようにバネ等の弾性体からなる場合、パッド部２を利用しないときに情報端末装置１０の利用や持ち運びを妨害することがないようにするための構成として、パッド部２を撮像部１の撮影面１に着脱する以外の構成も可能である。例えば、撮像部１の周囲もしくはパッド部２の底部２ｄに溝などの構造を用意しておくことにより、パッド部２を利用者が使用しない場合はこれを撮像部１に向かって押し込んで該溝などの構造に収納し、再び使用する場合には再度さらに押し込むことによりパッド部２が隆起して使用可能な状態になるようなスイッチ機構（長短切換のスイッチ機構）を利用することもできる。該スイッチ機構を利用する場合、パッド部２を使用しないときにパッド部２が撮像部１を遮ることがないよう、撮影対象の配置部を着脱可能にする、透過性の素材にする、回転やスライド等によって位置を変える機構を備えるなどすることもできる。また、該スイッチ機構はパッド部２自体の撮影面１への着脱方式と併用しても構わない。

利用者は、図６に示すように、パッド部２に指７を添えたまま力を加えることによってパッド部２の形状を変形させることができ、移動や押下の力加減によって撮影対象の移動量や変形量が影響を受けるようになっている。

すなわち、利用者がパッド部２に指を押し当てながらパッド部２を撮像部１の撮影面に対して垂直方向や水平方向などに移動又は変形させると、撮像部１と撮影対象２ａ〜２ｃ、２ｅとの間の空間的位置関係が該移動又は変形に応じて同じように変化することになる。また、利用者がパッド部２を撮像部１の撮影面に対して強く押し込むと、撮影対象２ａ〜２ｃ、２ｅの見かけの大きさが押し込む力に応じて変化することになる。さらに、利用者がパッド部２を撮像部の撮影面の法線を軸に回転させると、撮像部１と撮影対象２ａ〜２ｃ、２ｅとの間の空間的位置関係が回転に応じて同じように変化することになる。また、例えば、パッド部２が携帯電話機に取り付けられている場合には、利用者は、携帯電話機の表面と向かい合って表示部５を見ながら、その裏側に回した手の指によりパッド部２を操作することができる。

上記の操作が行われると、例えば、文字一覧や画像、地図、Webページなどが表示部５に表示されている場合に、表示されている文字や地図の表示位置について、表示部内に表示される画像のスクロール移動に際して、又は、表示部内に表示されたカーソル位置を移動するに際して、利用者がパッド部を撮像部の撮影面に対して垂直方向や水平方向などに移動させると、撮像部と撮影対象との間の空間的位置関係に応じて画像がスクロール移動、又は、画像内のカーソル位置が移動するように構成されている。この概念図を図１０に示す。

また、利用者がパッド部を撮像部１の撮影面に対して奥行き方向（上下方向）に押し込むと、撮像部と撮影対象との間の空間的位置関係に応じて画像が拡大縮小するように構成されている。この概念図を図１１に示す。

さらに、利用者がパッド部を摘む等して撮像部の撮影面の法線周りに回転させると、撮像部と撮影対象との間の空間的位置関係に応じて画像が回転するように構成されている。この概念図を図１２に示す。

前記推定部３は、特徴量抽出部３１と動き推定部３２を有し、撮像部１により入力された画像を解析して撮像部１と撮影対象２ａ〜２ｃ、２ｅとの間の空間的位置関係の変化を推定する。この推定の手法については後述する。

前記メモリ６上には表示部５で表示する表示情報が予め展開されている。

前記制御部４は、推定部３で推定された撮像部１と撮影対象２ａ〜２ｃ、２ｅとの間の空間的位置関係の変化に応じてメモリ１上の該当する情報を読み出し、表示部５に送る。

前記表示部５は、制御部４から送出されてきた表示情報を表示する。

上記構成により、利用者が情報端末装置を、例えばその空間的位置を任意方向に変化させれば表示画面や画面内のカーソル位置がアナログ的に変化するので、表示部に表示されるカーソル位置の操作や画面スクロール等の操作を直感的に行うことができる。また、利用者が情報端末装置の空間的位置を連続的に変化させれば、表示部の表示もそれに応じて連続的に変化するように切り替えられる。

次に、推定部で撮像部と撮影対象との間の空間的位置関係の変化を推定し、表示部に表示する動作について、図７と図８とを参照しながら説明する。

撮像部１と撮影対象２ａ〜２ｃ、２ｅとの間の空間的位置関係の変化は、利用者が情報端末装置を持ってパッド部２を操作する動作に基づくので、以下ではそれを利用者の動作として説明する。

利用者の動作は、撮像部１で入力された画像から撮影対象２ａ〜２ｃ、２ｅの変化に基づいて推定できる。入力された画像から検出される移動量及び回転量、拡大率の動き情報は、図９に示したフローチャートの手順で算出される。以下、前記動き情報を算出する場合について説明する。

例えば、図３のパッド２の上部に赤と青の点２１、２２を撮影対象２ａ〜２ｃ、２ｅとして描いておき、利用者がパッド部を回転して右斜め下に押し込んだ場合、押し込む前の初期画像ｔ０（図８（ａ））と一定の時間間隔で撮像部に入力される画像ｔ（図８（ｂ））とは、それぞれ図８（ａ）、（ｂ）に示すようになり、前記初期画像を基に各画像から撮影対象２ａ〜２ｃ、２ｅについての動き情報を抽出することができる。

すなわち、撮像部１で取得された画像が特徴量抽出部３１に入力され、入力画像から撮影対象について複数の特徴量を抽出する。動き推定部３２は初期画像の特徴量と入力画像の特徴量との時間的変化を評価することにより、動き情報を推定する。

前記特徴量の算出は、撮影対象を色ごとのチャネルに分離し、それぞれ予め設定した閾値で２値化した後、領域を形成し、領域の重心及び面積を特徴量として算出する。初期画像の特徴量は最初に一度だけ算出して記録しておき、入力画像の特徴量と比較する。

前記動き推定部３２は、撮影対象２ａ〜２ｃ、２ｅの移動量及び移動方向を初期画像におけるチャネル毎の重心の平均座標と入力画像におけるチャネル毎の重心の平均座標との差分ベクトルの長さと向きとして求める。差分ベクトルは次式で算出する。

ここで、初期画像における赤と青との重心座標をそれぞれ(xr0;yr0)、(xb0;yb0)、入力画像における赤と青との重心座標をそれぞれ(xr;yr)、(xb;yb)としている。回転角θは初期画像の複数の重心座標と入力画像の重心座標から次式で算出する。

拡大率sは各画像の面積の相乗平均で求める。

ここで、初期画像における赤２１と青２２との面積をそれぞれar0、ab0、入力画像における赤２１’と青２２’との面積をそれぞれar、abとしている。

推定部３において選択された方向及び移動量、回転角、倍率については、推定された動き（空間的な位置関係の変化）として制御部４へ出力される。制御部４では、推定部３で推定された撮像部１と撮影対象２ａ〜２ｃ、２ｅとの間の空間的位置関係の変化に合わせてメモリ６上の該当する表示情報を読み出し、表示部５に送出する。

上記では色の違いを用いた実施例について説明したが、単色で実施する場合は、撮影対象として面積の異なる複数の点を用いることで、相対的な大小関係から初期画像の特徴量との組み合わせを推定し、前記算出式に代入することで動き情報を算出できる。

また上記ではパッド部を撮像部１の撮影面に対して奥行き方向（上下方向）に押し込んだ場合に空間的位置関係に応じて連続的に表示画像を拡大縮小させて制御する実施例について図１１を用いて説明したが、この場合には他の制御も可能である。すなわち上下方向へのパッド部押し込みによって入力画像が変化し、推定部３により算出される倍率に対して所定の閾値を設けておけば、パッド部を深く押し込んで該倍率が該閾値を越えた場合と、押し込んでないもしくは押し込みが足りず該倍率が該閾値を越えない場合との２つの状態を区別することが可能となる。制御部によって該２つの状態をそれぞれ周知のマウス操作におけるプレス状態およびリリース状態に対応させれば、周知のマウス操作におけるプレス状態からリリース状態への遷移としてクリック機能を実現することもできる。さらに該クリック機能と上記のスクロール移動またはカーソル位置移動を組み合わせれば周知のマウス操作と同等の機能を実現することも可能となる。またパッド部の押し込みで該倍率が該閾値を越えたかどうかが利用者に容易に把握できるようにするため、該倍率を表す情報を表示部に表示することも可能であり、例えばパッド部でカーソルを動かしている場合ならば、該倍率に応じてカーソルの模様を変えることもできる。

１・・・撮像部、２・・・パッド部、２ａ〜２ｃ、２ｅ・・・撮影対象、２ｄ・・・パッド部の底面、３・・・推定部、４・・・制御部、５・・・表示部、６・・・メモリ、７・・・指、３１・・・特徴量抽出部、３２・・・動き推定部。

Claims

情報を表示する表示部を有する情報端末装置であって、
前記表示部に表示する情報を記憶するメモリと、
撮影対象を保持するパッド部と、
前記パッド部の撮影対象を撮影する撮像部と、
前記撮像部によって撮影された画像に基づいて、前記撮影対象の空間的位置関係の変化を推定する推定部と、
前記メモリから読み出して前記表示部に表示する情報を、前記推定部により推定された前記空間位置関係の変化に応じて制御する制御部とを具備し、
前記パッド部は、前記撮像部の撮影面に着脱可能であり、撮影対象として、異なる色の組み合わせ模様や異なる面積の組み合わせ模様、あるいは大きさの異なる複数の陥没箇所を備えてなることを特徴とする情報端末装置。
前記推定部は、前記撮像部により入力された画像から検出された特徴量を用いて、前記撮像部と前記撮影対象との間の空間的位置関係の変化を推定する機能を備えてなる請求項１に記載の情報端末装置。
前記推定部は、時間的に異なる複数画像から特徴量を算出し、それぞれの特徴量の時間的変化を評価することで、前記撮像部と前記撮影対象との間の空間的位置関係の変化を推定する機能を備えてなる請求項２に記載の情報端末装置。
前記推定部は、入力画像における撮影対象の位置、面積、傾きを特徴量として算出することで、前記撮像部と前記撮影対象との空間的位置関係の移動量と方向、倍率、回転角を推定する機能を備えてなる請求項２に記載の情報端末装置。
前記推定部は、入力画像を色のチャネル毎に分離した上でチャネル毎に領域を構成し、各領域の重心および面積をもって前記特徴量とする機能を備えてなる請求項２に記載の情報端末装置。
前記推定部は、単一チャネルで複数の領域を構成し、相対的な大小関係から対応する初期画像の特徴量との組み合わせを推定する機能を備えてなる請求項２に記載の情報端末装置。
前記推定部は、時間的に異なる画像の同一領域間の相対的な位置関係から移動量及び移動方向を算出することで前記撮像部と前記撮影対象との間の空間的位置関係を判断する機能を備えてなる請求項２に記載の情報端末装置。
前記推定部は、時間的に異なる画像の同一領域間の相対的な面積比から倍率を算出することで前記撮像部と前記撮影対象との間の空間的位置関係を判断する機能を備えてなる請求項２に記載の情報端末装置
前記推定部は、初期画像内における領域間の相対的な位置関係と逐次入力される画像内における領域間の相対的な位置関係とから回転を算出することで前記撮像部と前記撮影対象との間の空間的位置関係を判断する機能を備えてなる請求項２に記載の情報端末装置。
前記制御部は、前記推定部で検出された空間的な動作に応じて、前記表示部に表示される内容が異なるように制御する機能を備えてなる請求項１に記載の情報端末装置。
前記制御部は、前記表示部において画像を表示する場合に、前記推定部で得られた移動量及び移動方向に応じて画像の座標を連続的に移動させ、前記推定部で得られた倍率に応じて画像を連続的に拡大縮小させ、推定部で得られた回転角度に応じて画像を連続的に回転させる機能を備えてなる請求項１０に記載の情報端末装置。
前記パッド部は、前記撮像部を中心として前記撮影対象を揺動自在に保持する弾性体を備えてなる請求項１に記載の情報端末装置。
前記パッド部は、前記撮像部の撮影面に磁石、粘着材または吸着材で着脱可能にする請求項１に記載の情報端末装置。
前記弾性体が、長短切換のスイッチ機構を有するバネである請求項１２に記載の情報端末装置。
前記制御部は、前記推定部で得られた移動量及び移動方向から定まる座標情報と、前記推定部で得られた倍率が所定の閾値以上もしくは未満のいずれに属するかという情報と、該倍率が該閾値を遷移するときに発せられる情報とに基づいて前記表示部に表示する情報を制御する機能を備えてなる請求項１に記載の情報端末装置。