JP5812414B2 - 情報端末装置 - Google Patents

Description

本発明は、表示部により情報を提示する情報端末装置に関し、特に、撮像部と撮像対象との相対的位置関係の変化によって表示部での表示情報を制御できる情報装置端末に関する。

撮像対象との相対的な位置関係に応じて情報を提示する装置は、提示する情報を直感的
に変化させることが可能であり、利用者の利便性を向上させることができる。このような装置を実現する技術として、以下のようなものが公開されている。

特許文献１では、物体の色に近似した色が付され、かつその外形および配置の組み合わせにより識別情報を構成する複数のマーカエレメントで構成されるマーカユニットを物体に配置し、該物体のカメラ映像を解析することによって、現実環境における物体に仮想情報を重畳表示する際の位置合わせを行う複合現実感システムが開示されている。

特許文献２では、位置姿勢センサが配置された現実空間の実写画像に、位置姿勢センサとカメラの計測範囲を重ね合わせた合成画像を生成する画像合成装置が開示されている。

特許文献３では、モーションセンサが検出した移動、傾動の方向および量に応じて、表示する情報をスクロールまたはズームするとともに、キー入力の所定キーを操作することによりスクロールまたはズームを停止する機能を有するポータブル機器が開示されている。

非特許文献１では、カメラで撮像した手の画像から曲率が大きな箇所を指先として検出し、楕円フィッティングの技術を利用して、検出された手の場所に位置合わせして情報を表示する手法が開示されている。

特開２００９−０２０６１４号公報 特開２００７−２３３９７１号公報 特開２００９−００３７９９号公報

T.Lee, et al., "Handy AR: Markerless Inspection of Augmented Reality Objects Using Fingertip Tracking," In Proc. IEEE International Symposium on Wearable Computers, pp.83-90, Oct. 2007.

特許文献１の複合現実感システムでは、カメラ画像におけるマーカユニットの位置により現実環境に重畳表示する仮想情報の位置が制御されるが、物体に予め人工的なマーカエレメントを配置しておく必要がある。このため、この複合現実感システムでの手法を利用できる場所が限定されるという課題がある。

特許文献２の画像合成装置では、位置姿勢センサを必要としている。また、特許文献３のポータブル機器では、モーションセンサを必要としている。このため、これらにおける手法を利用できる装置が限定されるという課題がある。また、センサ類の搭載は、端末のコスト上昇を招くだけでなく、装置の小型化や省電力化が困難になるという課題もある。

非特許文献１の手法では、特に曲率が大きな箇所を指先として検出するので、情報を正しく位置合わせして表示するには、指が丸く見えるくらいの近距離かつ高解像度画像を必要とする。また、処理負荷が大きい楕円フィッティングを用いて指先を検出するので、全ての指の指先を検出するとなると、処理時間がかかりすぎるという課題もある。

本発明の目的は、上記従来技術の課題を解決し、特別なマーカやセンサ等を用いることなく、撮像部に対して撮像対象の空間的位置や姿勢を変化させるだけで、表示部で表示する情報を確実かつ高精度に制御できる情報端末装置を提供することにある。

上記従来技術の課題を解決するため、本発明は、撮像部と、情報を表示する表示部と、前記表示部で表示する情報を記憶する記憶部とを備える情報端末装置において、前記撮像部で撮像した画像より撮像対象の前記撮像部に対する位置及び姿勢を推定する推定部と、前記記憶部から読み出して前記表示部で表示する情報を、前記推定された位置及び姿勢に応じて制御する制御部とを備え、前記推定部は、前記画像より前記撮像対象の複数の線分を抽出する線分抽出部と、前記抽出された複数の線分と、前記撮像対象の所定配置の画像において前記撮像対象に対して予め設定された複数の基準線分との平面射影変換の関係を求めて、該写像関係より前記位置及び姿勢を推定する姿勢推定部とを含むことを特徴とする。

本発明によれば、所定配置の撮像対象における基準線分の撮影画像における見え方に対応する平面射影変換の関係を求めて、撮像対象の位置及び姿勢を推定するので、特殊なセンサを用いることなく、また撮像対象にマーカ付与等の特別の設定を必要とすることなく、確実かつ高精度に推定を行うことができ、当該推定に基づいて表示部で表示する情報を制御することができる。

本発明の実施形態に係る情報端末装置の機能ブロック図である。 情報端末装置による表示情報の加工の例を説明するための図である。 推定部の詳細な機能ブロック図である。 指同士を閉じた手を撮像対象に、指同士の接する境界線を基準線分として設定する場合を説明する図である。 指同士を開いた手を撮像対象に、各指の中心線を基準線分として設定する場合を説明する図である。 姿勢推定部による推定と、当該推定結果を用いた表示情報の制御とを説明する図である。 線分特定に色特徴を用いる必要がある、対称な形状の例を示す図である。 線分検出部において、１つの基準線分に対して複数の候補線分を検討して、推定精度を上げる実施例を説明するための図である。 姿勢推定部において平面射影行列を求める際に、基準線分の端点を結んで新たに生成される線分をも含める実施例を説明するための図である。

以下、図面を参照して本発明を説明する。以下では、情報端末装置として携帯端末を利用し、撮像対象を手とした場合について説明する。しかし、本発明の情報端末装置は、携帯端末に限られるものではなく、撮像部を備えたものであればどのような情報端末装置でもよく、例えば、デスクトップ型、ラップトップ型又はその他のコンピュータなどでもよい。また、適宜説明するように、撮像対象も手に限られるものではない。

図１は、本発明の実施形態に係る情報端末装置の機能ブロック図である。情報端末装置１は、撮像部２、推定部３、制御部４、記憶部５及び表示部６を備える。撮像部２は、所定のサンプリング周期で撮像対象を連続的に撮像して、その撮影画像を推定部３及び必要に応じて制御部４へ出力する。撮像部２には、携帯端末に標準装備されるデジタルカメラを用いることができる。

推定部３には、撮像部２に対する撮像対象の位置および姿勢の変化の判断基準として、所定の位置および姿勢での撮像対象に対して基準線分が予め登録されている。推定部３は、撮像部２から入力される画像から基準線分に対応する線分を検出し、該線分と基準線分との対応を推定する。さらに、推定部３は、対応する線分と基準線線分とのそれぞれの座標位置から、予め設定された変換式に基づいて撮像部２に対する撮像対象の相対的位置および姿勢を表す変換係数を推定する。推定部３において変換係数の推定に用いられた変換式および推定された変換係数は、制御部４へ出力される。推定部３での処理の詳細は後述する。

記憶部５は、表示部６に表示する表示情報を予め複数蓄積している。利用者は、不図示のタッチパネル、ボタン又はキーボード等の入力部を介した制御部４に対する入力操作で、記憶部５に蓄積されている表示情報の中から任意の表示情報を選択して表示部６に表示させることができる。例えば表示情報として、複数の写真の画像データの中からいずれかを選択して、表示部６に表示させるようにすることができる。表示部６での情報表示の際、制御部４は、推定部３から入力された変換式および変換係数を表示情報に適用して表示情報を加工するように表示情報を制御する。

図２は、本発明の情報端末装置１による表示情報の加工の例を説明する図である。(A)には撮像部２がその位置を点として示され、撮像部２が撮影できるような位置に、撮像対象である手が配置されている。(A)において撮像対象としての手は、推定部３での判断基準となる所定の位置（例えば、手の重心が撮像部２から撮像面に垂直に20cm離れた位置など）および姿勢（例えば撮像部２に対して手のひらを真正面で向け且つ指を上方へ向けた姿勢など）にある。

(B)には表示部６で表示される表示情報の例が示され、表示情報Ｐ１０は表示情報としてタイル状の画像を選択した場合であって、撮像対象の手が上記判断基準の所定位置及び姿勢にある際の例である。当該Ｐ１０の状態から、手を(A)の矢印(1)に示すように、撮像部２へ近づけると、表示情報は(B)の矢印(10)に示すように連続的に拡大されて、その結果としてＰ１１のように変化する。図中には示していないが、逆に手を撮像部２から遠ざけると表示情報は縮小される。

また同じく、当該Ｐ１０の状態から、手をそれぞれ矢印(2)及び(3)の向きに回転させると、表示情報はそれぞれ矢印(20)及び(30)に示すように、手を回転させた向きと同じ向き（撮像部２からの奥行きが変化する向き）に連続的に回転されて、その結果としてそれぞれＰ１２及びＰ１３のように変化する。さらにまた、図中には示していないが、手の撮像部２に対する距離及び姿勢を変えずに動かして、その撮影画像が平行移動するようにすると、表示情報も同じ形状及び向きを保ったまま、手を動かしたのと同じ方向へと平行移動する。同様に図中には示していないが、(1)の方向に垂直な面内で手を回転させると、表示情報もその形状を保ったまま同じように回転する。

このように、本発明によれば手の位置及び姿勢に連動させて、表示情報があたかも手に乗っているかのように、表示情報を加工して変化させることができる。撮像対象が手ではなく何らかの物品であれば、当該物品を手で持つなどして撮像部２に対して動かすことで同様に、当該物品の位置及び姿勢に連動させて表示情報を加工して変化させることができる。この際、当該物品の特徴的部分が手などで隠されることなく、撮像部２に撮影されるようにして動かす。

なおまた、(C)に示すように、表示情報のみをＰ１０のように表示する代わりに、Ｐ２０に示すように、撮像対象である手の映像を重ねて、あるいはＰ３０に示すように手の映像を別途所定枠内に表示するなどしてもよい。この場合、手が撮像部２の撮影画像の中から逸脱してしまっていないか確認しながら、ユーザは手を動かすことができるので、より確実に情報端末装置１を用いて表示情報を操ることができる。この場合、撮像部２の撮影画像（手以外を撮像対象としてもよい）が、推定部３のみでなく制御部４へも送られ、表示部６で表示されることとなる。

図３は、推定部３の詳細な機能ブロック図である。推定部３は、線分抽出部３０、姿勢推定部３４及び設定保存部３５を含む。線分抽出部３０は、線分検出部３１、線分選別部３２及び線分特定部３３を含む。線分抽出部３０は、撮影画像における撮像対象より、撮像対象を所定配置のもとで撮った画像において予め設定しておく複数の基準線分に対応する複数の線分を抽出する。図４及び図５に、このような撮像対象とその基準線分との設定例を示す。

図４は撮像対象として、握り込まずに指を伸ばしたうえで指同士が接するように閉じた状態の手を設定し、その複数の基準線分として、指同士が接する箇所に境界線として形成される線分を設定する例を示している。当該手は、右手の手の甲又は左手の手の平を示しているが、手の左右や、手の甲であるか手の平であるかの設定は任意に設定できる。図示するように、基準線分Ｌ１、Ｌ２、Ｌ３及びＬ４はそれぞれ、第一指と第二指との、第二指と第三指との、第三指と第四指との及び第四指と第五指との境界線としての線分である。

図５は撮像対象として、握り込まずに指を伸ばしたうえで指同士が互いに離れて開けるようにした状態の手を設定し、その複数の基準線分として、各指の中心線として形成される線分を設定する例を示している。図４と同様に、手の左右や手の平か手の甲かの設定は任意である。図示するように、基準線分Ｌ１０、Ｌ２０、Ｌ３０、Ｌ４０及びＬ５０はそれぞれ、第一指、第二指、第三指、第四指及び第五指の中心線としての線分である。

なお、図４及び図５のような設定は、複数の設定を設定保存部３５において登録しておくことができる。ユーザは登録されている設定のうちのいずれを利用するかをマニュアル入力で選択して、情報端末装置１を利用することができる。設定保存部３５はまた、当該各設定において好ましい処理方式の情報も保存しており、線分抽出部３０は当該処理方式に従って線分抽出を行う。

姿勢推定部３４は、線分抽出部３０の抽出した線分と、当該線分に対して図４及び図５のように予め所定配置で撮った画像において設定しておく基準線分との対応関係を求めて、当該対応関係より撮像対象の位置及び姿勢を推定する。図６は、当該推定と当該推定結果を用いた制御部４による表示部６の制御とを概念的に示す図である。図６では、図４の設定を採用した例が示されている。（Ａ１）に示すように、撮像対象として採用した閉じた手が基準位置及び姿勢にある際の、基準線分として採用した各指の境界線の撮影画像上における配置が、予め設定保存部３５に登録されている。

なお、当該登録は、ユーザが自身の手を撮像部２で撮影した画像に対して線分抽出部３０で処理を行うことによって、ユーザによるマニュアル操作によって行うこともできる。また、撮像対象を、既知の形状及び抽出される基準線分を有する物品などとして、情報端末装置１の提供側で当該登録を行うこともできる。

（Ａ２）は、当該設定された基準線分に対応する線分を、別配置を取る撮像対象の画像から線分抽出部３０が抽出した例である。姿勢推定部３４は、（Ａ１）の複数の基準線分を（Ａ２）の実際の画像から抽出された複数の線分に対応付ける写像関係として、図示するような写像Ｈを求める。当該写像Ｈについては後述するが、ある種の変換行列として求められ、（Ａ２）における撮像対象の（Ａ１）を基準とした位置及び姿勢を表現するものである。姿勢推定部３４は、位置及び姿勢の推定結果として、当該写像Ｈの情報を制御部４へと渡す。

（Ｂ１）は、撮像対象が（Ａ１）に示す基準配置（基準の位置及び姿勢）にある際の表示情報の例である。これに対して（Ｂ２）は、撮像対象が（Ａ２）の位置及び姿勢になった際に、制御部４によって制御された表示情報の例である。制御部４は、一実施例では、図示するように写像Ｈをそのまま表示情報の座標変換に利用することで、表示情報を制御する。また別実施例として、写像Ｈの並進成分及び／又は回転成分に定数倍や閾値判定などの追加演算を施した写像Ｈ'による座標変換によって、表示情報を制御してもよい。

線分抽出部３０は、撮像対象とその複数の基準線分に対する個別設定（例えば図４及び図５のような各個別設定）に応じた線分抽出処理を行うが、当該処理に共通の枠組みとして、線分抽出部３０を構成する各部は次のような処理を行う。

線分検出部３１は、撮影画像を解析して線分を検出する。しかし、当該検出される線分には一般に、基準線分に対応する線分以外の不要な線分も含まれている。そこで、線分選別部３２は、当該検出された線分より、複数の基準線分と集合として対応する複数の線分を選別する。例えば、複数の基準線分が４本からなるものであれば、検出された線分のうちのこれら４本に集合として対応する複数の、すなわち４本の線分を選択する。しかし、当該選別された線分のいずれが基準線分のいずれに対応するかが不明である。そこで、線分特定部３３は、当該選別された複数の線分の各々と前記複数の基準線分の各々との対応関係を特定して、その結果を姿勢推定部３４に渡す。

図４の個別設定の場合、線分検出部３１は撮影画像よりCanny等のエッジ検出を行い、検出されたエッジ群に対してノイズ除去及びエッジの拡張等の整形をする。線分検出部３１は次に、整形されたエッジ領域に対してHough変換によってエッジ成分の座標を極座標系に変換し、同じ座標になった個数が多い極座標上の点を直交座標系の直線として検出する。線分検出部３１は最後に、各直線においてその近傍の色特徴が肌色と認められる所定基準を満たす部分であり(第一条件)、且つ当該直線として抽出する元となったエッジ領域との近接度合いが所定基準を満たす部分(第二条件)を、線分として検出する。

ここで、第一条件により、検出された直線が手を通っている線分のみに限定され、第二条件により、図４のＬ１〜Ｌ４のような指の境界線部分の線分に限定される。

図５の個別設定の場合、線分検出部３１は撮影画像より色特徴が肌色と認められる所定基準を満たす領域を抽出する。当該所定基準は予め学習によって構築しておいてもよい。線分検出部３１は次に、抽出された領域のうち最も大きな領域を手の領域として検出する。ここで、撮影画像においては、手が大きく映っている又は手以外の背景等の部分に大きな肌色の領域がないこと、が前提である。線分検出部３１は最後に、当該最大領域に細線化処理を施すことによって、線分を検出する。

線分選別部３２では、検出された線分からの選別を行うために、まず、同一の基準線分に対してそれらの傾き及び位置が微差（所定基準を設けておく）に収まっている複数の線分が検出される場合があるので、第一選別として、当該複数の線分の中からランダムに１つの線分を、又は傾き及び位置が最も平均的な線分を選んで、その他を削除する。当該選別で基準線分の本数と同一になれば、それを選別結果としてよい。また、図４若しくは図５の場合又はその他の手を撮像対象とする場合に、第一選別を経てもなお、当該手の領域内で必要数以上の線分が検出されていることもあるので、線分選別部３２はさらに、次のような条件(1)〜(4)のうち少なくとも１つを満たすものを選別してもよい。

(1)線分の長さに対する条件
例えば所定値よりも長い、又は一群の線分間の長さの比率が所定範囲に収まるなど
(2)線分の色分布に関する条件
例えば、線分の色が所定色に対して所定範囲内に収まるなど
(3)線分の近傍領域の色分布の単色性に対する条件
例えば、所定範囲として定まる近傍領域の色変化が所定閾値内に収まるなど
(4)線分同士の向き、角度関係に対する条件
例えば、一群の線分間の角度が所定範囲内に収まり、概ね平行とみなせるなど

なお、図4の個別設定の場合、上記(2)の所定色は指同士の境界線の色であり、上記(3)の近傍領域は当該境界線から離れて位置する指自体の色である。ここで通常、境界線の色の方が指自体の色よりも低輝度となる。よって(2)及び(3)を用いる場合さらに、各々の所定色条件に対して当該輝度の大小関係を課すようにしてもよい。

線分特定部３３は、図４及び図５その他類似の設定の場合、基準線分の配置の偏りに基づいて対応関係を特定する。すなわち、手においては第一指が偏って配置されているので、図４の設定では基準線分Ｌ１が、図５の設定では基準線分Ｌ１０が、最も端で且つ偏って配置される関係にある。当該関係は、手の姿勢及び位置を変化させても維持される。

図４及び図５等の設定では当該関係に着目した一例として、各線分の中心座標c_iを求め、当該c_iを除いた他線分(総数n−1本；図４ではn=4、図５ではn=5)の中心の平均座標との差が最大となるようなc_iに対応する線分を、第一指の関連する線分（図４ではＬ１に、図５ではＬ１０に対応する撮影画像における線分）として判断する(式１)。

撮影画像においても線分間の相対的な位置関係は保持されるので、上記最大となるc_iから遠ざかる中点c_jの順（c_iとc_jとの距離や、c_iを通る垂線の横切る順などで判断可能）に、第二指、第三指、第四指、第五指に対応する線分が順次求められる。図４であればＬ１が判断された後、Ｌ２、Ｌ３、Ｌ４が順次求められ、図５であればＬ１０が判断された後、Ｌ２０、Ｌ３０、Ｌ４０、Ｌ５０が順次求められる。

線分特定部３３ではまた、一般の撮像対象であって基準配置において設定される複数の基準線分が対称な形状となるものについては、予め各基準線分の全体または一部に所定の区別可能な配色を設けておくことで、線分の特定を行うことができる。

例えば図７に示すように、(A)のような正六角形や(B)のような対称な星形といった対称な形状で基準線分が配置される場合、(A)においては各辺Ｌ２１〜Ｌ２６にそれぞれ異なる色特徴を設け、(B)においては各辺Ｌ３１〜Ｌ３５にそれぞれ異なる色特徴を設けておくことで、線分の特定が可能となる。

姿勢推定部３４は、図７で概念的に説明した写像Ｈを具体的には次のように、Homography行列(平面射影変換行列)として求める。撮影画像から線分抽出部３０で抽出された線分l'及び対応する基準線分lは、直線の係数としてそれぞれ次式(式２)及び（式３）で表現される。

ここで、Tは転置を表す。各線分上の座標x=(x, y, 1)との関係は次式(式４)及び(式５)で表現できる。

一般に、平面射影変換行列Hを使って、任意の座標xは座標x'に写像される。ただし、スケーリングには依存しないため、係数sを介して次式(式６)が成り立つ。

ここで、行列Hは下記(式７)の3×3行列で表される。係数は9個であるが、スケーリングの不定性のため自由度は8である。

(式６)を(式５)に代入すると、(式４)との関係から、以下の(式８)、そして(式９)が得られる。

ここで、(式９)においてベクトル及び行列の要素を書き表すと、以下(式１０)のようになる。

よって、各行で展開すると、以下(式１１)〜(式１３)となる。

ここで、スケーリング係数sを除いて、以下(式１４)及び(式１５)とする。

これを、改めて行列表現に戻すと、以下(式１６)となる。

表現を簡単にするため、(式１６)において左辺の行列とベクトルとをそれぞれA,hで表せば、次式(式１７)を解くこととなる。

ここで、右辺の0は要素が全て0で構成された2×1のベクトルである。上記(式１７)は一組の線分（撮影画像から線分抽出部３０で抽出された線分l'及び対応する基準線分l）の対応関係を表したものであるから、複数組の線分を同時に表す場合は、行列A及びベクトル0を拡張すればよい。

すなわち、n組の線分の対応関係を並べたとき（なお、1組の線分の対応関係が(式１４)及び(式１５)）、行列Aは2n×9の行列、0は2n×1のベクトルで表される。なお、行列Hに対応するベクトルhはn組の対応関係においても9×1のベクトルで表される。

なおまた、複数の線分の係数が偏っている場合は、予め正規化しておくことが望ましい。線分l及びl'をそれぞれ行列N及びN'で正規化した線分L及びL'を(式１８)及び(式１９)のように求めておき、改めて線分l及びl'として扱う。

正規化した場合は、詳しくは以下の非特許文献２などに開示された、複数の直線の中心を原点に移動すると共に原点からの距離の平均をスケーリングする方法で、正規化後の直線L及びL'に対応する行列H_Lを算出した後、正規化後の直線に対応する行列H_lを次式(式２０)で算出する。

（非特許文献２）H. Zeng, et al., ``A new normalized method on line-based homography estimation,'' Pattern Recognition Letters, Vol. 29, No. 9, pp.1236--1244, 2008.

さて、8自由度のhについて(式１７)を解くにはn≧4組の線分を与える必要がある。なお、当該条件n≧4は、図４及び図５の設定において満たされている。当該与えられたn≧4組の線分に対して、(式１７)左辺のノルムを最小化するhを求める[(式２１)]。

ノルムを二乗和として最小化するとき、A^TAの最小の固有値に対応する固有ベクトルがhとして求められる[(式２２)]。

例えば、特異値分解によって解く場合は、行列Aを次式(式２３)のように行列の積に分解することに相当する。

なお、Uは2n×2nの直交行列、Vは9×9の直交行列を表す。また、ΣはAの特異値σ_i(1≦i≦rank A)を降順に並べた2n×9の対角行列を表す。特異値σ_iは2n＜9の場合はAA^T、2n≧9の場合はA^TAの固有値λ_iの平方である。具体的に2n≧9の場合の手順は、まずA^TAの固有値を求め、特異値を算出する。次に、直交行列U及びVはその定義からU^TU＝I、V^TV＝Iであることを利用して(Iは単位行列)、次式(式２４)が得られる。

よって、次式(式２５)で示すように、Vの列ベクトルv_iはA^TAの固有値σ_i ²に対応する固有ベクトルとして求められる。

以上を基本実施例として、以下、本発明の追加的乃至補足的な各実施例を説明する。図８は、図４の設定の場合に、例えば第二指と第三指との間の境界線Ｌ２に対応する、線分検出部３１で検出及び整形された、当該Ｌ２を抽出する元となったエッジ領域の例である。当該エッジ領域は理想的には、その後の線分検出部３１の処理で１本の線分が検出されるような直線形状である。しかし、実際のところ、その一部は指の関節部がある程度突出している等のためにE1に示すように湾曲し、またその一部は指同士の間が密着せず隙間（図中、斜線付与して表記）を形成しているためにE2に示すように閉領域（当該斜線部を囲む閉領域）を形成していることがある。

このような場合、１つの境界線に対応するエッジ領域上の２点の選び方によって傾き及び／又は位置が様々にばらついた複数の直線（色特徴などで処理して線分とされる前の直線）を、線分検出部３１で検出することとなる。前述の基本実施例においては、このように複数検出された線分は、次の線分選別部３２の第一選別によって１本に絞り込まれた。

しかしながら、当該絞り込みが位置及び姿勢の推定において最適な線分を与えているとは限らない。そこで、追加実施例においては線分検出部３１が、エッジ領域上から２点を通る所定数の直線を、上記１本に絞り込まれるべき候補直線として検出し、基本実施例にて説明した色特徴などに基づいて同複数の候補線分となす。

例えば、図８に示すように所定数として５個のエッジ上の点を、ランダムにP１〜P５として取ると、２点の組合せで5×4÷2＝10本の候補直線を検出できる。しかし、Ｐ２とＰ５やＰ３とＰ４との組合せなどは、候補直線として不適切であるので、距離が近すぎる組合せは除外する。あるいは、所定数をランダムに選ぶ際、エッジ上で所定距離以上は離れるという制約を課して、例えば３個として、Ｐ１、Ｐ２及びＰ３や、Ｐ１、Ｐ５及びＰ４などを選び、3×2÷2=3本の候補直線を定めてもよい。

線分選別部３２では、当該１つの境界線の箇所より複数検出された候補線分については絞り込みを行わず、続く線分特定部３３及び姿勢推定部３４においても、当該候補線分の各々の場合における基本実施例と同様の処理を行う。

最終的に候補線分の中から決定される線分は、上記(式１)〜(式２５)で説明した推定処理をそれぞれの候補線分x_iについて適用してそれぞれ行列Ｈを求めたうえで、次式(式２６)の与える誤差ノルムを最小とするような行列Ｈに対応する候補線分x_iである。最終的な位置及び姿勢推定は、当該最小ノルムの候補線分x_iを適用して行われる。

例えば、図４の各基準線分Ｌ１〜Ｌ４に対応するエッジ領域において、Ｌ１のエッジ領域から３本、Ｌ２のエッジ領域から４本、Ｌ３及びＬ４ではエッジ領域が充分に直線的であったために共に１本の候補線分を検出したとすると、推定部３は上記(式２６)を、候補線分x_iの全ての組合せ3×4×1×1＝12通りについて計算して、誤差が最小のものを求める。

なお、各基準線分に対応するエッジ領域において、当該追加実施例に係る候補線分を複数求めるか否かは、例えば次の事項を基準とすることができる。すなわち、当該エッジ領域が、図８のＥ１に示すように所定基準以上に湾曲している部分があり、及び／又は、Ｅ２に示すように閉領域を形成している部分があってその幅が所定基準以上であることを基準とする。

また、当該追加実施例においては、一旦、基本実施例を適用して線分抽出部３０において各境界線に対応するエッジ領域がどれであるか、例えば境界線Ｌ２に対応するエッジ領域が、エッジ領域の全体のうちの図８で示すような領域であるといったようなことを、予め調べておいてから、以上のような各場合におけるノルム比較を行うものとする。

なおまた、当該追加実施例は図４の設定の場合を例に説明したが、図５の設定の場合も、細線化した線分が湾曲して得られることもありうるので、同様に適用することができる。

図９は、姿勢推定部３４において位置及び姿勢の推定の精度を高める別実施形態を説明する図であり、ここでは図４の設定の場合を例として用いている。図示するように、基準線分Ｌ１、Ｌ２、Ｌ３及びＬ４は、それぞれ両端の点Ｑ１１及びＱ１２、Ｑ２１及びＱ２２、Ｑ３１及びＱ３２並びにＱ４１及びＱ４２を有する。

基本実施例では、基準線分Ｌ１〜Ｌ４とそれらの撮影画像中における検出線分（ＬＬ１〜ＬＬ４とする）との対応関係として、平面射影変換行列Ｈを求めた。しかし、基準線分自体として定義できなくとも、異なる基準線分の両端の点を結んで得られる所定の線分を新たに追加することで、姿勢及び位置の推定精度を上げることができる。そうした線分は、位置及び姿勢を基準線よりも顕著に反映することがあるためである。なお、線分の生成には両端ではなく、中点やその他の、基準線分上の所定割合の長さの位置の点を採用してもよい。

例えば、図９に示すように、新たに定義される線分Ｑ１２−Ｑ４２及び線分Ｑ２２−Ｑ３２を追加して、当初の基準線分Ｌ１〜Ｌ４と当該新規の２線分の６本の線分群を、拡張された基準線分として定義する。撮影画像においては基準線分Ｌ１〜Ｌ４に対応する線分ＬＬ１〜ＬＬ４を基本実施例と同様に線分抽出部３０が抽出する。姿勢推定部３４は、当該線分ＬＬ１〜ＬＬ４につき、対応する端点を結んで線分Ｑ１２−Ｑ４２及び線分Ｑ２２−Ｑ３２に対応する２本の線分を新たに追加し、同じく合計６本の拡張された線分群としたうえで、当該拡張された線分群同士の間で基本実施例と同様の方式によって平面射影変換行列Ｈを求める。

なお、線分Ｑ１２−Ｑ４２及び線分Ｑ２２−Ｑ３２に対応する２本の線分を求めるに際して、線分ＬＬ１〜ＬＬ４の各々につき、いずれの頂点が基準線分におけるいずれの頂点であるかの識別を行う必要がある。当該識別には、(式１)と同様に偏りに注目した手法を採用すればよい。例えば、Ｌ１の中点からＬ２の中点に向かうベクトルの向きが、手首へ至る向きよりも指先へと至る向きに近いという偏りの情報より、識別が可能となる。

１…情報端末装置、２…撮像部、３…推定部、４…制御部、５…記憶部、６…表示部

Claims (10)

1. 撮像部と、
   情報を表示する表示部と、
   前記表示部で表示する情報を記憶する記憶部とを備える情報端末装置において、
   前記撮像部で撮像した画像より撮像対象の前記撮像部に対する位置及び姿勢を推定する推定部と、
   前記記憶部から読み出して前記表示部で表示する情報を、前記推定された位置及び姿勢に応じて制御する制御部とを備え、
   前記推定部は、
   前記画像より前記撮像対象の複数の線分を抽出する線分抽出部と、
   前記抽出された複数の線分と、前記撮像対象の所定配置の画像において前記撮像対象に対して予め設定された複数の基準線分との平面射影変換の関係を求めて、該関係より前記位置及び姿勢を推定する姿勢推定部とを含み、
   前記線分抽出部は、さらに、
   前記画像より線分を検出する線分検出部と、当該検出された線分から前記複数の基準線分に集合として対応する複数の線分を選別する線分選別部と、当該選別された複数の線分の各々と前記複数の基準線分の各々との対応関係を特定する線分特定部とを含み、
   当該線分検出部、線分選別部及び線分特定部がそれぞれ、前記撮像対象及びその複数の基準線分に対する個別設定に応じた処理を行うよう構成されていることを特徴とする情報端末装置。
2. 前記姿勢推定部が、前記複数の基準線分を表現する係数を前記抽出された複数の線分を表現する係数に変換する平面射影変換の関係のうち、当該平面射影変換による変換の後の前記複数の基準線分を表現する係数と前記抽出された複数の線分を表現する係数との誤差を最小とするものを求めることを特徴とする請求項１に記載の情報端末装置。
3. 前記姿勢推定部が前記求める関係として、前記複数の基準線分に対してさらに当該線分のうち所定の異なる線分の端点同士を結んで生成される線分を追加した線分群と、前記抽出された複数の線分に対してさらに前記所定の異なる線分の端点に対応する端点同士を結んで生成される線分を追加した線分群と、の関係を求めることを特徴とする請求項１または２のいずれかに記載の情報端末装置。
4. 前記撮像対象に設定される対象及びその複数の基準線分に指同士を閉じた手及び指同士の接する境界線が含まれ、当該設定された場合に、
   前記線分検出部は前記画像よりエッジを検出し、当該検出されたエッジ領域より直線を検出してから、各直線においてその近傍の色特徴が所定基準を満たし、且つ当該直線を前記検出する元となったエッジ領域との近接度合いが所定基準を満たす部分を線分として検出することを特徴とする請求項１ないし３のいずれかに記載の情報端末装置。
5. 前記線分抽出部は、一旦、前記線分特定部において対応関係を特定することで、前記線分検出部において検出されたエッジ領域を各基準線分に対応する領域に分けた後、
   前記線分検出部は、前記分けられたエッジ領域が所定基準で湾曲する部分を含み、又は所定基準の幅を有する閉領域を形成する部分を含む場合に、当該エッジ領域の２点を通る所定数の直線を候補直線として検出し、その各々につき前記近傍の色特徴及び近接度合いの各基準を満たす部分を候補線分として検出し、
   前記姿勢推定部は、前記候補線分の各々の場合における前記関係を求めて、当該関係における誤差が最小の場合によって前記位置および姿勢を推定することを特徴とする請求項４に記載の情報端末装置。
6. 前記撮像対象に設定される対象及びその複数の基準線分に指同士を開いた手及び各指の中心線が含まれ、当該設定された場合に、
   前記線分検出部は前記画像のうち色特徴が所定基準を満たす領域のうちの最大領域を抽出してから、該最大領域に細線化処理を施すことで線分を検出することを特徴とする請求項１ないし５のいずれかに記載の情報端末装置。
7. 前記線分選別部が、当該検出された線分から前記複数の基準線分に集合として対応する複数の線分を選別するのに際して、当該線分の長さ、当該線分の色分布、当該線分の近傍の色分布及び当該線分同士の角度関係のうちの少なくとも１つを基準として用いることを特徴とする請求項１ないし６のいずれかに記載の情報端末装置。
8. 前記線分特定部が、線分同士の配置の偏りに基づいて前記対応関係を特定することを特徴とする請求項１ないし７のいずれかに記載の情報端末装置。
9. 前記線分特定部が、最も偏って配置される線分の特定と、その他の線分に対する当該特定された線分からの離れ度合いの順位付けとによって、前記対応関係を特定することを特徴とする請求項８に記載の情報端末装置。
10. 前記線分特定部が、前記撮像対象における複数の基準線分の各々の所与の色特徴に基づいて前記対応関係を特定することを特徴とする請求項１ないし９のいずれかに記載の情報端末装置。