JP5534432B2

JP5534432B2 - 情報端末装置

Info

Publication number: JP5534432B2
Application number: JP2010146385A
Authority: JP
Inventors: 晴久加藤; 恒夫加藤
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2010-06-28
Filing date: 2010-06-28
Publication date: 2014-07-02
Anticipated expiration: 2030-06-28
Also published as: JP2012008936A

Description

本発明は、情報を提示する情報端末装置に関し、特に、撮像部と撮像対象の相対的位置関係の変化によって表示部で表示する情報を制御できる情報端末装置に関する。

撮像部に対して撮像対象の位置を変化させ、撮像部と撮影対象の相対的位置に応じて表示部で表示する情報を制御して提示する装置は、表示する情報を直感的に変化させることが可能であり、利用者の利便性を向上させる上で有用である。

これを実現する方法として、特許文献１には、物体の色に近似した色が付され、かつその外形および配置の組み合わせにより識別情報を構成する複数のマーカエレメントで構成されるマーカユニットを物体に配置し、該物体のカメラ映像を解析することによって、現実環境における物体に仮想情報を重畳表示する際の位置合わせを行う複合現実感システムが提案されている。

特許文献２には、位置姿勢センサが配置された現実空間の実写画像に、位置姿勢センサとカメラの計測範囲を重ね合わせた合成画像を生成する画像合成装置が提案されている。

特許文献３には、モーションセンサが検出した移動、傾動の方向および量に応じて、表示する情報をスクロールまたはズームするとともに、キー入力の所定キーを操作することによりスクロールまたはズームを停止する機能を有するポータブル機器が提案されている。

非特許文献１には、カメラで撮影した手の画像から曲率が大きな箇所を指先として検出し、楕円フィッティングの技術を利用して、検出された手の場所に位置合わせして情報を表示する手法が提案されている。

特開２００９−０２０６１４号公報特開２００７−２３３９７１号公報特開２００９−００３７９９号公報

T.Lee et al."Handy AR : Markerless Inspection of Augmented Reality Objects Using Fingertip Tracking"In Proc.IEEE International Symposium on Wearable Computers, pp.83?90, Oct.2007.

特許文献１の複合現実感システムでは、カメラ画像におけるマーカユニットの位置により現実環境に重畳表示する仮想情報の位置が制御されるが、物体に予め人工的なマーカエレメントを配置しておく必要がある。このため、この複合現実感システムでの手法を利用できる場所が限定されるという課題がある。

特許文献２の画像合成装置では、位置姿勢センサを必要としている。また、特許文献３のポータブル機器では、モーションセンサを必要としている。このため、これらにおける手法を利用できる装置が限定されるという課題がある。また、センサ類の搭載は、端末のコスト上昇を招くだけでなく、装置の小型化や省電力化が困難になるという課題もある。

非特許文献１の手法では、特に曲率が大きな箇所を指先として検出するので、情報を正しく位置合わせして表示するには、指を真っ直ぐに伸ばした状態にする必要がある。しかし、手の自然な形状は、指が若干曲がっており、指先の動きが大きいので、手と情報を高精度に対応付けたり、位置合わせしたりするのが難しいという課題がある。また、指が閉じている場合は指先を正しく検出できず、さらに、処理負荷が大きい楕円フィッティングを用いて指先を検出するので、全ての指の指先を検出するとなると、処理時間がかかりすぎるという課題もある。

本発明の目的は、上記課題を解決し、マーカやセンサを用いることなく、撮像部に対して撮影対象の空間的位置や姿勢を変化させるだけで、表示部で表示する情報を確実かつ高精度に制御できる情報端末装置を提供することにある。

上記課題を解決するため、本発明は、手を撮像対象として撮像する撮像部を有する情報端末装置であって、前記撮像部から入力される画像を基に手のひらの位置および姿勢の変化を推定する推定部と、情報を表示する表示部と、前記表示部で表示する情報を記憶する記憶部と、前記記憶部から読み出して前記表示部で表示する情報を、前記推定部により推定された手のひらの位置および姿勢の変化に応じて制御する制御部を備え、前記推定部は、前記撮像部から入力される画像における肌領域を包含する外接多角形を形成する機能と、該外接多角形の頂点を特徴点の候補として抽出する機能と、肌領域を包含する外接多角形内部に形成される非肌領域それぞれについて、各非肌領域が指間の非肌領域であるか否かを、外接多角形の一辺を含みかつ該一辺以外の二辺がなす角度が予め設定された閾値以下であるか否かを指標として推定する機能と、指間の非肌領域から同定された指先に対する特徴点を、基準となる位置および姿勢での手の指先に予め設定された基準点に対応付け、手のひらの位置および姿勢の変化を推定する機能を有することを基本的特徴としている。

また、前記撮像部から入力される画像における肌領域を包含する外接多角形を形成し、該外接多角形の頂点あるいは該頂点から導出される点を特徴点として抽出し、該特徴点を、基準となる位置および姿勢での手の指先に予め設定された基準点あるいは該基準点から導出される点に対応付け、手のひらの位置および姿勢の変化を推定することができる。

また、指間の非肌領域それぞれの面積を算出し、面積が最大となる非肌領域を親指と人差し指間の非肌領域と推定することができ、親指と人差し指間の非肌領域の重心からの距離順に外接多角形の頂点を第一乃至第五指の指先と同定することができる。

また、親指の指先と第二乃至第五指の指先の重心をそれぞれ手の方向を示す線上に射影し、該射影点を予め設定した比率で外分した点を通り、かつ手の方向と垂直な線で肌領域を分離することにより、肌領域から手首の領域を除いた手の領域のみを抽出し、該手の領域の重心を前記表示部で情報を表示する際のローカル座標系原点とすることが好ましい。

本発明によれば、撮像部と撮像対象の相対的位置および姿勢を変化させるだけで表示部で表示する情報を制御することが可能となる。したがって、利用者は、撮像部に対する撮像対象の相対的位置および姿勢を変化させるという直観的な操作で、表示部で表示する情報を制御できる。

また、撮像部に入力される画像を解析し、撮像部に対する撮像対象の相対的位置および姿勢の変化を基に表示部で表示する情報を制御するので、ソフトウェアで実現可能であり、センサ類の特別なハードウェアを情報端末に組み込む必要がない。

また、本発明では、撮影対象領域を包含する外接多角形の頂点あるいは頂点から導出される点を特徴点として抽出し、該特徴点を、基準となる位置および姿勢での撮像対象に予め設定された基準点あるいは該基準点から導出される点に対応付けて撮像対象の全体的な位置および姿勢の変化を推定するので、撮像対象の位置および姿勢の変化を確実かつ高精度に推定でき、したがって、表示部で表示する情報を確実かつ高精度に制御できる。

さらに、手の領域の重心を表示部で情報を表示する際のローカル座標系原点とすることにより、撮像対象としての手の指が曲がっている状態でも、あたかも手のひらに物品が載っているような情報表示が可能になる。

本発明の情報端末装置の一実施形態を示す機能ブロック図である。推定部での処理手順を示すフローチャートである。肌領域、肌領域を包含しかつ面積が最小となる外接多角形および外接多角形内部に形成された複数の非肌領域の一例の説明図である。指先候補および外接多角形に含まれる複数の非肌領域、および非肌領域の選択の様子を模式的に示す説明図である。肌領域から手の領域を分離する処理手順の説明図である。本発明による表示部での表示例を示す図である。本発明による表示部での他の表示例を示す図である。

以下、図面を参照して本発明を説明する。以下では、情報端末装置として携帯電話を利用し、撮像対象を手とした場合について説明する。しかし、本発明の情報端末装置は、携帯電話に限られるものではなく、撮像部を備えたものであればどのような情報端末装置でもよく、例えば、コンピュータなどでもよい。また、撮像対象も手に限られるものではない。

図１は、本発明の情報端末装置の一実施形態を示す機能ブロック図である。本実施形態の情報端末装置は、撮像部11、推定部12、制御部13、記憶部14および表示部15を備える。

撮像部11は、所定のサンプリング周期で撮影対象(本例の場合、手)を連続的に撮影して、その画像を推定部12および制御部13へ出力する。撮像部11としては、携帯電話に標準装備されるデジタルカメラを用いることができる。

推定部12には、撮像対象としての手の位置および姿勢の変化の判断基準として既知の位置および姿勢での手に対して基準点が予め登録されている。ここで、基準点は、手の全体的な位置および姿勢の変化を示すように設定される。手のひらの変化は、手の全体的な位置および姿勢の変化を示す。なお、手の位置、基準点や後述する特徴点の位置、その他の位置は、座標上での位置により特定される。

推定部12は、撮像部11から入力される画像から基準点に対応する特徴点を検出し、該特徴点を基準点に対応付ける。さらに、推定部12は、対応する特徴点と基準点の位置から、予め設定された変換式に基づいて撮像部11に対する手の相対的位置および姿勢を表す変換係数を推定する。推定部12において変換係数の推定に用いられた変換式および推定された変換係数は、制御部13へ出力される。推定部12での処理の詳細は後述する。

記憶部14は、表示部15で表示する情報を予め複数蓄積している。利用者は、制御部13に対する入力操作で、記憶部14に蓄積されている情報の中から任意の情報を選択して表示部15で表示させることができる。

表示部15で情報を表示する際、制御部13は、推定部12から入力された変換式および変換係数を表示する情報に適用して情報を加工する。これにより、推定部12での推定結果に従って表示部15で表示する情報が制御される。

図２は、推定部12での処理手順を示すフローチャートである。推定部12は、領域形成処理S21、特徴抽出処理S22および姿勢推定処理S23を所定のタイミング間隔で順次繰り返し実行する。

まず、領域形成処理S21では、撮像部11から入力される画像から肌領域を抽出する。肌領域は、撮像部11から入力される画像における色情報に基づいて抽出できる。例えば、撮像部11から入力される画像がＲＧＢ色空間で表現されている場合、ＲＧＢが予め設定された範囲内に収まっている画素の領域を肌領域として抽出できる。文献「Vladimir Vezhnevets, Vassili Sazonov, Alla Andreeva,"A Survey on Pixelbased Skin Color Detection Techniques,"Pattern Recognition, vol.40 no.3, pp.1106?1122,March 2007」には、肌領域のＲＧＢ範囲が式(1)で定められることが記載されている。なお、式(1)の「∩」は、「かつ(AND)」を意味する。

肌領域に抽出は、他の手法でも可能である。例えば、撮像部11から入力される画像を、まず、ＲＧＢ色空間からＨＳＶ色空間(明度Ｖ，彩度Ｓ，色相Ｈ)の表現に変換する。ＲＧＢ色空間の表現からＨＳＶ色空間の表現へは、式(2)〜(4)で変換できる。肌領域の抽出は、色相Ｈが予め設定した範囲内(すなわち、ＨＳＶ色空間上の0°〜360°の色相Ｈの中の肌色の範囲内、例えば0°〜40°)に収まっている画素の領域を抽出することで実現できる。

また、ＹＣbＣrなど他の色空間を利用しても肌領域を抽出できる。ＲＧＢ色空間の表現からＹＣbＣr色空間の表現へは、式(5)で変換できる。肌領域の抽出は、色差Ｃb、Ｃrが予め設定した範囲内に収まっている画素を抽出することで実現できる。

また、ＲＧＢ色空間やＨＳＶ色空間やＹＣbＣr色空間などの複数の色空間で肌領域と判定された結果の重み付き平均が、予め設定した閾値を超える領域を肌領域として抽出するようにしてもよい。この場合、各色空間での判定に対する重みは、予め既知の肌領域を学習することにより、肌領域が最も正確に抽出できるように設定すればよい。携帯電話の処理性能に応じて、組み合わせる色空間の種類および数を設定してもよい。

携帯電話の処理性能に余裕があれば、ガウス混合モデル(ＧＭＭ)などの確率モデルに基づく肌色検出方式を用いることもできる。この場合、例えば、予め肌および非肌の確率分布が複数のガウス分布の和で構成されるように学習し、肌領域と非肌領域のそれぞれに特徴量が発生する確率、すなわち肌確率分布と非肌確率分布を求める。そして、入力された画像において、肌確率分布と非肌確率分布の比が所定の閾値を超える画素を肌領域とする。この方式を単独で用いたり、上記色空間での手法に組み合わせて用いることもできる。

次に、特徴抽出処理S22では、撮像部11から入力された画像の中から予め設定された基準点に対応する点を特徴点として抽出し、その特徴点の位置(座標)を検出する。特徴点および基準点は、検出しやすく、後続する姿勢推定処理S23での姿勢推定が確実に行われる点、例えば、指先に設定する。

特徴抽出処理S22についてさらに詳細に説明する。特徴抽出処理S22では、まず、領域形成処理S21で抽出された肌領域のうちから最も大きな肌領域を選択し、モルフォロジフィルタによって肌領域の部分的な欠損を補う。肌領域の部分的な欠損は、手への光の当たり加減などによって生じる。次に、肌領域全体を包含しかつ面積が最小となる外接多角形および外接多角形内部に形成される複数の非肌領域を形成する。このとき外接多角形の頂点が指先の候補となる。

図３は、入力された画像から抽出された肌領域、該肌領域を包含しかつ面積が最小となる外接多角形および外接多角形内部に形成された複数の非肌領域の一例の説明図である。

次に、各指を同定するため、まず、複数の非肌領域から指間の非肌領域だけを選択する。具体的には、外接多角形の一辺を含みかつ該一辺以外の二辺がなす角度が予め設定された閾値を下回る非肌領域を選択する。これにより、手首を含む非肌領域は選択されず、指間の非肌領域、すなわち、二つの指先と一つの指股を頂点とする非肌領域が選択される。また、掌内部に非肌領域があっても、それは選択されない。

図４は、指先候補および外接多角形に含まれる複数の非肌領域、および非肌領域の選択の様子を模式的に示す説明図である。ここで、外接多角形の一辺を含む非肌領域(1)〜(6)が存在するが、手首を含む非肌領域(1),(6)は、外接多角形の一辺以外の二辺がなす角度が予め設定された閾値、例えば90°以上であるので選択されない。指間の非肌領域(2)〜(5)だけが選択される。

次に、外接多角形内部に形成される各非肌領域の面積を算出し、面積が最大となる非肌領域を親指と人差し指間の非肌領域と判断する。図４では、非肌領域(2)が親指と人差し指間の非肌領域と判断される。

最後に、親指と人差し指間の非肌領域(2)の重心から外接多角形の各頂点までの距離を求め、その距離順に各頂点を第一指乃至第五指と同定する。非肌領域(2)の重心は、非肌領域(2)内に含まれる画素の位置(座標)の平均で求めることができる。

姿勢推定処理S23では、特徴抽出処理S22で抽出された特徴点を基準となる位置および姿勢での手の指先に予め設定された基準点に対応付け、両者の位置(座標)を比較することにより、撮像部11に対する手の相対的位置および姿勢を推定する。

撮像部11に対する手の相対的位置および姿勢を推定するために、まず、対応づけられたｎ個の特徴点の位置(座標)を(ｘ′_ｊ,ｙ′_ｊ) (１≦ｊ≦ｎ)、基準点の位置(座標)を(ｘ_ｊ,ｙ_ｊ) (１≦ｊ≦ｎ)とし、予め設定した変換式において両者が一致するような変換係数ａ_ｋ (１≦ｋ≦ｍ，ｍ≦２ｎ)を求める。

式(6),(7)の射影変換を利用する変換式で、ｍ＝２ｎの場合、２ｎ元連立方程式として変換係数ａ_ｋを求めることができる。また、ｍ＜２ｎの場合には最小二乗法で変換係数ａ_ｋを求めることができる。

姿勢推定処理S23で求められた変換係数ａ_ｋは、変換式と共に制御部13へ送られる。制御部13は、推定部12から入力される変換式および変換係数を表示部15で表示する情報に適用し、該情報を加工する。これにより、推定部12での推定結果に基づいて表示部15で表示する情報が制御される。表示部15では、撮像部11から入力された画像に情報を重ね合わせて表示してもよい。表示部15で表示する情報の制御には、ＣＧ(Computer Graphics)の技術を利用できる。

以上のように、上記実施形態によれば、撮像部11に対する手の位置および姿勢を変化させることによって、表示部15で表示する情報を制御することができるが、指先の動きによっては、５つの指先によって形成される平面が手のひらに一致せず、指先を基に該平面上に情報を表示する結果、例えば、物品が手のひらから離れて、その上部空間に浮いているように見える場合が起こる。

これは、以下のような手順で、手の領域の重心を表示部11で情報を表示する際のローカル座標系原点として設定することにより防ぐことができ、物品などが常に手にひらに載っているように表示させることができる。

まず、手の領域の中心(座標)を肌領域から求める。このとき、肌領域に腕まで含まれている場合、肌領域をそのまま用いてその重心を求めると、該重心は手の領域の中心と一致しない。そこで、まず、手首の位置を検出し、手の領域だけを分離して抽出する。

図５は、肌領域から手の領域を分離する処理手順の説明図である。まず、肌領域の抽出処理で得られた肌領域の周囲の各部分におけるエッジを方向別に計数し、最頻の方向を手の方向とする(S51)。次に、第二乃至第五指の重心を求め(S52)、親指の指先と第二乃至第五指の重心をそれぞれ手の方向を示す線上に射影する(S53)。第二乃至第五指の重心は、第二乃至第五指それぞれの指先(座標)の平均で求めることができる。

次に、親指の指先と第二乃至第五指の重心の射影点を予め設定した比率で外分し、手首の位置(座標)を算出する(S54)。親指の指先は、他の指の付け根にほぼ一致するので、手のひらの長さと指の長さの一般的な比率を用いて外分することにより、手首の位置を算出することができる。次に、手首の位置を通りかつ手の方向と垂直な線で肌領域を分離することにより、手首の領域を除いて手の領域のみを抽出する(S55)。最後に、抽出された手の領域の重心を求め、該重心を表示部で情報を表示する際のローカル座標系原点とする。表示部15で情報を表示する際、このローカル座標系原点を基準として表示することにより、物品などが常に手にひらに載っているように表示させることができる。

以上、実施形態を説明したが、本発明は、上記実施形態に限定されない。例えば、指先から導出される点、例えば、隣り合う指先の中点(座標)を対応させることによっても、手の空間的位置および姿勢の変化を推定するようにすることもできる。この場合、５本の指先からは４つの中点が導出される。特徴抽出処理S22では、手の指先から４つの中点を導出し、姿勢推定処理S23では、これらの中点を基準となる位置および姿勢での手に予め設定された対応点に対応付ける。また、入力される画像の１つの指先から複数の点を抽出し、それらの平均(座標)などを該指先とし、該指先を基準の対応点と対応付けるようにしてもよい。

領域形成処理および特徴抽出処理は、全ての画像に対して実行しないで済むようにすることもできる。例えば、領域形成処理および特徴抽出処理を間欠的に実行し、それらの処理が実行されない画像の特徴点は、特徴点の追跡処理で得るようにすれば、それを実現でき、処理負担を軽減することができる。特徴点の追跡処理では、時間的に前の画像について既に抽出されている第一指乃至第五指の指先の小領域を追跡し、当該画像での第一指乃至第五指の指先の小領域を探索する。探索に際しては、平行移動モデルやアフィン変換モデル、射影変換モデルなどで形状変化を補償した上で、小領域同士の二乗誤差和が最小となるパラメータを決定すればよい。これにより探索された第一指乃至第五指の指先の小領域の位置(座標)を姿勢推定処理S23に送り、上記実施形態と同様に処理する。

本発明によれば、例えば、商品などの情報を表示部15で表示している場合に、利用者が撮像部11の撮影面に対して撮影対象を垂直方向や水平方向などに移動させると、撮影対象の位置と連動して表示部15で表示している情報が移動するように制御される。また、利用者が撮影対象を撮像部11の撮影面に対して奥行き方向に移動させると、撮影対象の見かけの大きさと連動して表示部15で表示している情報が拡大縮小するように制御される。さらに、利用者が撮影対象の姿勢を変化させると、撮影対象の傾きに連動して表示部15で表示している情報が回転するように制御される。これにより、通信販売などでの商品を仮想的に手に取ってみることができるようになる。

図６は、本発明による表示部15での表示例を示す図である。図６は、撮像部11で手を撮像し、腕部に腕時計を重ね合わせて表示させる場合の例を示す。この例の場合、手の動きに応じて腕時計の表示を制御し、あたかも腕時計を腕に嵌めているかのように表示させることができる。これにより、好みのモデルや色、サイズの腕時計に切り替え表示させ、さらに各腕時計を仮想的に腕に嵌めて手を動かした状態をみながら適当な腕時計を選択できるようになる。

図７は、本発明による表示部15での他の表示例を示す図である。図７は、撮像部11により手を撮像し、手のひらに携帯電話を重ね合わせて表示させる場合の例を示す。この例の場合、手の動きに応じて携帯電話の表示を制御し、あたかも手のひらで携帯電話を持っているかのように表示させることができる。これにより、好みのモデルや色、サイズの携帯電話に切り替え表示させ、さらに各携帯電話を仮想的に持って手を動かした状態をみながら適当な携帯電話を選択できるようになる。

11・・・撮像部、12・・・推定部、13・・・制御部、14・・・記憶部、15・・・表示部

Claims

手を撮像対象として撮像する撮像部を有する情報端末装置であって、
前記撮像部から入力される画像を基に手のひらの位置および姿勢の変化を推定する推定部と、
情報を表示する表示部と、
前記表示部で表示する情報を記憶する記憶部と、
前記記憶部から読み出して前記表示部で表示する情報を、前記推定部により推定された手のひらの位置および姿勢の変化に応じて制御する制御部を備え、
前記推定部は、前記撮像部から入力される画像における肌領域を包含する外接多角形を形成する機能と、該外接多角形の頂点を特徴点の候補として抽出する機能と、肌領域を包含する外接多角形内部に形成される非肌領域それぞれについて、各非肌領域が指間の非肌領域であるか否かを、外接多角形の一辺を含みかつ該一辺以外の二辺がなす角度が予め設定された閾値以下であるか否かを指標として推定する機能と、指間の非肌領域から同定された指先に対する特徴点を、基準となる位置および姿勢での手の指先に予め設定された基準点に対応付け、手のひらの位置および姿勢の変化を推定する機能を有することを特徴とする情報端末装置。
前記推定部は、肌領域を包含する外接多角形の頂点に代えて該頂点から導出される点を特徴点として抽出し、基準となる位置および姿勢での手の指先に予め設定された基準点に代えて該基準点から導出される点を特徴点に対応付け、手のひらの位置および姿勢の変化を推定することを特徴とする請求項１に記載の情報端末装置。
肌領域を包含する外接多角形の頂点から導出される点および基準となる位置および姿勢での手の指先に予め設定された基準点から導出される点は、隣り合う指先の中点に設定されることを特徴とする請求項２に記載の情報端末装置。
前記推定部は、指間の非肌領域それぞれの面積を算出し、面積が最大となる非肌領域を親指と人差し指間の非肌領域と推定することを特徴とする請求項１ないし３のいずれか１つに記載の情報端末装置。
前記推定部は、親指と人差し指間の非肌領域の重心からの距離順に外接多角形の頂点を第一乃至第五指の指先と同定する機能を有することを特徴とする請求項４に記載の情報端末装置。
前記推定部は、手のひらの位置および姿勢の変化を推定するために、対応付けられた特徴点と基準点あるいは基準点から導出される点が、予め設定された変換式によって一致するような変換係数を求める機能を有することを特徴とする請求項１ないし５のいずれか１つに記載の情報端末装置。
前記推定部は、親指の指先と第二乃至第五指の指先の重心をそれぞれ手の方向を示す線上に射影し、該射影点を予め設定した比率で外分した点を通り、かつ手の方向と垂直な線で肌領域を分離することにより、肌領域から手首の領域を除いた手の領域のみを抽出し、該手の領域の重心を前記表示部で情報を表示する際のローカル座標系原点とする機能を有することを特徴とする請求項１ないし６のいずれか１つに記載の情報端末装置。
前記推定部は、肌領域の周囲におけるエッジを方向別に計数し、最頻のエッジ方向を手の方向と推定することを特徴とする請求項７に記載の情報端末装置。
前記制御部は、前記推定部で推定された撮像対象の位置および姿勢の変化に応じて前記表示部で表示する情報を制御する際、前記撮像部から入力された画像と重ね合わせる機能を有することを特徴とする請求項１ないし８のいずれか１つに記載の情報端末装置。