JP6955369B2 - 情報処理装置、情報処理装置の制御方法及びプログラム - Google Patents

Description

本発明は、情報処理装置、情報処理装置の制御方法及びプログラムに関する。

コンピュータによって作られる仮想空間と現実空間とを、繋ぎ目なく融合する複合現実感（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ；ＭＲ）技術がある。

ＭＲ技術では、組み立て作業時に作業手順や配線の様子を重畳表示する組み立て検証等、様々な分野への応用が進んでいる。ビデオシースルー型ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）を利用するＭＲ技術では、ＨＭＤに内蔵されている撮影装置であるカメラから現実空間の画像を取得し、仮想物体と重畳してＨＭＤの表示装置に表示を行う。ＭＲ技術で現実物体（例えば手）と仮想物体との前後関係を正しく表現するために、現実物体と仮想物体の３次元位置情報を求める。すなわち、現実物体の３次元位置情報と仮想物体の３次元位置情報を比較し、現実物体が手前になる場合は、撮影した画像を手前に表示する。この前後関係を正しく表現するには、現実物体の３次元位置を正しく求めるとともに、現実物体の形状（長さや幅や厚み）が正確であれば、前後関係の判定をより正確に行える。

また、仮想物体に対して現実物体が接触したかを判定して仮想物体の移動を行う利用例においても、現実物体の３次元位置と現実物体の各部位の形状（長さや幅や厚み）が正確であれば、仮想物体との接触の判定もより正確に行える。現実物体の３次元形状を仮想空間上で表すために、現実物体の３次元モデルを生成して仮想物体との前後判定や接触判定を行う等の応用も進んでいる。

特許文献１では、現実の手の指や掌の関節の座標値と曲がり角度を取得して、予め測定した指の太さ及び手のひらの厚みのデータを付加して手の３次元形状のモデルを作成する方法が開示されている。

特許４０７１５１１号公報

しかしながら、特許文献１では、指の太さ及び手のひらの厚みの寸法データを計測する方法については開示されていない。また、手指の３次元形状のモデルの作成にあたり、寸法データの計測を別途行う作業が必要であり、さらに寸法データをコンピュータシステムに手作業で入力する必要がある。よって、事前作業の寸法計測が正確でないと、仮想物体の前後判定や接触判定の精度が下がってしまう。また、手のような現実物体の場合、形状が複雑で部位が多いため、手作業での寸法データ入力は非常に手間がかかるだけではなく、タイプミスや別の物体のデータを入力してしまうなどの入力ミスが発生することがある。

このように、特許文献１に記載の技術では、寸法データの入力の手間がかかるだけではなく、精度の低い寸法データが入力されてしまう可能性があるという課題がある。

本発明は、上記の課題に鑑みてなされたものであり、高精度な寸法データを手間なく収集して手指のモデルを生成するための技術を提供することを目的とする。

上記の目的を達成する本発明に係る情報処理装置は、
手指の部位の寸法の計測に適切な手指の姿勢を指示するガイド画像を表示させる表示制御手段と、
手指の撮影画像を解析して、当該撮影画像が手指の部位の寸法を計測するために適切な撮影画像であるかを判定する判定手段と、
前記判定手段により適切であると判定された撮影画像を用いて前記手指の寸法を計測する計測手段と、
前記寸法の情報を用いて前記手指の３次元形状のモデルを生成するモデル生成手段と、
を備えることを特徴とする。

本発明によれば、高精度な寸法データを手間なく収集して手指のモデルを生成することが可能となる。

実施形態１における情報処理装置の構成を示すブロック図である。 実施形態１における情報処理装置のハードウェア構成を示すブロック図である。 実施形態１における情報処理装置の処理を示すフローチャートである。 実施形態１における情報処理装置の手の３次元形状の推定処理を示すフローチャートである。 実施形態１における手の３次元モデルの一例を示す模式図である。 実施形態１における情報処理装置の寸法計測処理を示すフローチャートである。 実施形態１における情報処理装置の寸法計測可否判定処理を示すフローチャートである。 実施形態１における寸法計測可否判定を行う対象画像の一例を説明するための模式図である。 実施形態１における情報処理装置の対象部位の寸法計測処理を示すフローチャートである。 実施形態１における対象部位の寸法計測を行う画像の一例を説明するための模式図である。 実施形態１における寸法情報テーブルを説明するための模式図である。 実施形態２における情報処理装置の寸法計測可否判定処理を示すフローチャートである。 実施形態２における寸法計測可否判定を行う対象画像の一例を説明するための模式図である。 実施形態３における情報処理装置の寸法計測可否判定処理を示すフローチャートである。 実施形態３における寸法計測可否判定を行う対象画像の一例を説明するための模式図である。 実施形態４における情報処理装置の寸法計測可否判定処理を示すフローチャートである。 実施形態４における寸法計測可否判定を行う対象画像の一例を説明するための模式図である。 実施形態５における情報処理装置の構成を示すブロック図である。 実施形態５におけるガイド表示の一例を説明するための模式図である。 実施形態５における情報処理装置の寸法計測可否判定処理を示すフローチャートである。

以下、図面を参照しながら実施形態を説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

（実施形態１）
＜概要＞
本実施形態では、体験者の手（例えば図１の１５０）をステレオカメラ（例えば撮像装置１００および撮像装置１１０）で撮影し、手の領域の奥行き値と３次元形状を推定する。そして、推定結果に基づいてディスプレイ（例えば図１の２０８）にＣＧモデル（例えば図１の１６０と手（例えば図１の１５０）との前後関係に応じてＣＧモデル（例えば図１の１６０）の画像を加工して実写画像と合成表示する例について説明する。

＜情報処理装置の機能構成＞
図１は、本実施形態における現実物体の３次元形状を推定する情報処理装置の機能構成を示すブロック図である。情報処理装置１は、画像取得部１０００と、画像記憶部１０１０と、物体形状推定部１０２０と、物体寸法計測部１０３０と、モデル形状記憶部１０４０と、画像生成部１０５０と、画像合成部１０６０と、位置姿勢推定部１０７０とを備えている。

画像取得部１０００は、撮像装置１００および撮像装置１１０のステレオ画像を取得する。撮像装置１００と撮像装置１１０の映像は、ステレオ計測用の処理画像として用いるため、互いに固定されているものとする。撮像された映像には、操作者の手１５０および撮像装置１００および撮像装置１１０の位置姿勢を計測するためのマーカ１７０が映り込んでいるものとする。

画像記憶部１０１０は、画像取得部１０００により取得された映像を一時的に記憶する。画像取得部１０００からは、例えば１／３０秒ごとに画像データが送信される。物体形状推定部１０２０は、画像記憶部１０１０に記憶されているステレオ画像を取得し、手１５０の３次元形状を算出する。手１５０の３次元形状の算出方法については後述する。物体形状推定部１０２０は、手１５０の３次元形状をモデル形状記憶部１０４０に出力する。

物体寸法計測部１０３０は、画像記憶部１０１０に記憶されている画像を取得し、物体形状推定部１０２０により形状推定を行う際に必要となる手１５０の各部位の寸法を算出する。手１５０の各部位の算出方法については後述する。物体寸法計測部１０３０は、手１５０の各部位の寸法情報を保持し、物体形状推定部１０２０が手の３次元形状を推定する際に利用できるようにしておく。

モデル形状記憶部１０４０は、ＣＧモデル１６０の３次元モデルデータ、および、物体形状推定部１０２０から受けた手１５０の３次元形状のデータを保持する。保持しているデータは、画像生成部１０５０に出力する。

位置姿勢推定部１０７０は、撮像装置１００および撮像装置１１０のカメラ位置姿勢を計測する。本実施形態では、撮像画像に映り込む正方形マーカ１７０の投影像に基づいて撮像装置の位置姿勢を推定する。例えば、画像を二値化し、四角形の頂点を抽出し、山登り法の繰り返し演算で画像上における投影誤差を最小化してカメラ位置姿勢を推定すればよい。なお、モーションキャプチャ装置や磁気センサなど、その他の計測方法を用いて撮像装置の位置姿勢を計測してもよい。

画像生成部１０５０は、モデル形状記憶部１０４０に格納されたＣＧモデル１６０と手１５０の３次元形状、および位置姿勢推定部１０７０から取得した撮像装置１００および撮像装置１１０の視点位置姿勢に基づいてＣＧモデル１６０の画像を生成する。画像生成部１０５０は、ＣＧモデル１６０の描画ピクセルにおける手１５０との前後関係を比較して、ＣＧモデルを描画するかどうかを決定する。すなわち、手１５０の方がＣＧモデル１６０よりも手前にあると判定した場合は、そのピクセルにＣＧモデル１６０を描画せず、画像合成部１０６０で実写映像の手を見せるようにＣＧモデル１６０の画像を加工する。

画像合成部１０６０は、画像記憶部１０１０に格納されている撮像装置１００と撮像装置１１０との夫々の画像に対して、画像生成部１０５０により生成したＣＧモデル１６０の３次元形状の夫々の画像を上書き合成する。その際、手１５０の３次元形状をモデル化した手のＣＧモデルを合成してもよいし、手のＣＧモデルは上書きせずに現実の実写画像の手だけを見せるようにしてもよい。生成された合成画像は、ディスプレイ２０８に出力し、体験者にＣＧモデル１６０と手１５０との前後関係を視覚的に提示する。

また、画像記憶部１０１０は、形状推定部１０２０、位置姿勢推定部１０７０、画像生成部１０５０の処理で利用した実写画像を画像合成部１０６０に入力する。これは、画像生成部１０５０で生成した３次元形状の画像と画像記憶部１０１０の画像とが同期が取れた状態で、画像合成部１０６０により合成を行うためである。

＜情報処理装置のハードウェア構成＞
次に、図２は、本実施形態を実現するための情報処理装置のハードウェアを示す模式図である。情報処理装置１は、ＣＰＵ２０１、画像取り込み器２０２、記憶媒体２０３、ＲＯＭ２０４、ＲＡＭ２０５を備えており、マウス２０６、キーボード２０７、ディスプレイ２０８と接続されている。また、撮像装置１００及び撮像装置１１０が画像取り込み器２０２と接続されている。

ＣＰＵ２０１は、ＲＡＭ２０５をワークメモリとして、ＲＯＭ２０４に格納されたプログラムを実行し、後述する各構成を統括的に制御する。これにより、後述する様々な処理が実行される。

画像取り込み器２０２は、接続された撮像装置１００および撮像装置１１０から出力された画像信号を受信し、フレーム画像として取り込む装置である。記憶媒体２０３は、読み書き可能な記憶装置であり、フラッシュメモリやＨＤＤの他、光ディスクドライブ等の記憶デバイスでもよい。

ＲＯＭ２０４は、書き換え不可な不揮発性メモリでプログラムや固定データの記憶装置としての役割を持つ。ＣＰＵ２０１は、ＲＯＭ２０４からのデータ読み出しや記憶媒体２０３へのデータ読み書きが可能である。

ＲＡＭ２０５は、高速に読み書き可能なワークメモリである。また、プログラムがＲＡＭ２０５にロードされてＣＰＵ２０１で実行され、画像取り込み器２０２により取り込まれた画像などを一時的に格納する領域でもある。

マウス２０６やキーボード２０７は、情報処理装置１を体験者が操作するためのインタフェースであり、装置の設定や制御を指示する際に利用する。ディスプレイ２０８は、ＣＲＴや液晶画面などにより構成されており、各種の情報を画像や文字などをもって表示することができる。なお、本実施形態の構成要素は上記以外にも存在するが、本発明の主眼ではないので、説明を省略する。

＜処理＞
図３は、本実施形態における情報処理装置が実施する処理全体の流れを示すフローチャートである。ステップＳ３０１０では、画像取得部１０００が、撮像装置１００および撮像装置１１０から画像を取得する。

ステップＳ３０２０では、画像記憶部１０１０が、画像取得部１０００から取得したステレオ画像を一時的にメモリ（例えばＲＡＭ２０５）に記録する。ステップＳ３０３０では、物体形状推定部１０２０が、画像記憶部１０１０のステレオ画像に映り込んだ手１５０の領域を抽出し、手の３次元形状を推定する。本ステップの詳細については図４を用いて後述する。

ステップＳ３０４０では、位置姿勢推定部１０７０が、少なくとも撮像装置１００または撮像装置１１０のどちらか１つの位置姿勢を計測する。推定した位置姿勢は、画像生成部１０５０によりＣＧモデルのレンダリングに用いられる。

ステップＳ３０５０では、画像生成部１０５０が、モデル形状記憶部１０４０に格納されている手１５０の３次元形状とＣＧモデル１６０の形状と、位置姿勢推定部１０７０により計測された撮像装置の位置姿勢を取得する。さらに、画像生成部１０５０が、撮像装置の位置姿勢から見たＣＧモデル１６０の画像を描画する。ただし、描画するにあたり、手１５０とＣＧモデル１６０との撮像装置からの距離を描画ピクセルごとに判別し、手１５０が手前にあるピクセルについては、ＣＧモデル１６０を描画せず、透明の状態にする。すなわち、画像合成部１０６０で実写映像を手前に見せることで、手１５０の画像を体験者に提示することができる。

ステップＳ３０６０では、画像合成部１０６０が、ステップＳ３０２０で記録してある実写映像の上にステップＳ３０５０で生成したＣＧモデル１６０の画像を上書きして合成する。ステップＳ３０７０では、画像合成部１０６０が、ステップＳ３０６０で生成した合成画像をディスプレイ２０８に出力する。

次に図４のフローチャートを用いて、ステップＳ３０３０における手の３次元形状の推定処理の詳細を説明する。ステップＳ４０１０では、物体形状推定部１０２０が、画像記憶部１０１０に記録されている撮像装置１００および撮像装置１１０のそれぞれの画像に対して、対象物体である手１５０の領域を抽出する。

本実施形態では、画素の色情報に基づいて対象物体の領域を抽出する。すなわち、手の場合は、手の肌色情報をあらかじめ登録しておき、実写画像から肌色情報に一致する色領域を対象物体領域として抽出する方法である。なお、色情報を用いる以外に、画像を二値化して求めたエッジ情報から輪郭を求める等の他の方法を用いてもよく、対象物体の領域を求められる方法であれば適用可能である。

ステップＳ４０２０では、物体形状推定部１０２０が、ステップＳ４０１０で抽出した領域の輪郭線座標リストに対し、左右の画像における輪郭のサンプリングポイントをステレオマッチング処理により対応付ける。このステレオマッチング処理は、例えば、左眼用の画像におけるサンプリングポイントを、右眼用の画像におけるサンプリングポイントと対応付けるために、右眼上にエピポーラ線を引く。そして、エピポーラ線に近い輪郭線のサンプリングポイントを対応点としてマッチングを行えばよい。

なお、本発明は、ステレオマッチングにエピポーラ線を利用することに限定されるものではなく、サンプリングポイントの周辺領域の画像相関を探索する方法など、対応点を求められる方法であれば適用可能である。

さらに、物体形状推定部１０２０は、求めた対応点の対応情報と、撮像装置１００および１１０のステレオカメラの左右の相対位置姿勢とカメラ内部パラメータ（レンズ歪み、透視投影変換情報）に基づいて三角測量（図７）を用いて対応点の奥行き値を決定する。対応点すべての奥行き値を算出し、対応点８０２の撮像手段における３次元位置（Ｘ，Ｙ，Ｚ）を対応点リストとしてＲＡＭ２０５上に保持しておく。なお、本発明はステレオ画像による奥行き推定の手法に限定されず、デプスセンサによって計測された奥行き値を利用するなど、３次元位置が求められる方法であれば適用可能である。

ステップＳ４０３０では、物体形状推定部１０２０が、対応点リストに格納されている対応点の３次元位置の中から、手指の関節および指先の位置を推定する。この関節や指先の位置推定処理は、例えば、手指の関節や指先の位置情報が画像と共に登録された不図示の手の画像データベースの中から、対象物体の領域抽出で求めた手の抽出画像に最も類似する形状を検索する。そして、ヒットした登録画像の指先や関節の位置情報から推定する方法がある。この場合、画像中の関節位置のポイントに最も隣接する対応点を先ほどの対応点リストから検索して関節や指先の位置を推定する。また、別の手法としては、つめや関節のしわを検出して関節や指先を推定する方法もあり、本発明は指先や関節の位置を特定できる方法であれば適用可能である。

ステップＳ４０４０では、物体形状推定部１０２０が、ステップＳ４０３０で求めた各関節や指先の位置情報から各部位の識別を行う。各部位とは、例えば親指の指先から第一関節までが親指の第一の部位であり、第一関節から第二関節までが親指の第二の部位となる。部位の分類については、後ほど図５で手のモデルの例を用いて説明を行う。各部位の識別については、ステップＳ４０３０において手の画像データベースの中から最も類似する手の画像を検索する手法で求める場合には、データベースの画像に各部位の情報も付加したデータベースにしておけばよい。

そのようなデータベースであれば、最も類似する形状の画像がデータベースから検索できた時点で、データベース画像の付加情報を参照することにより、画像中のどの位置がどの部位に当たるかを識別可能である。また、つめや関節のしわを検出して関節や指先を推定する方法を用いた場合には、各関節間の長さの比率などからどの指かを特定することにより部位を識別することが可能である。この部位識別処理により、ステップＳ４０３０で求めた各関節と指先がどの部位に属するかを特定できる。

最後に、ステップＳ４０５０では、物体形状推定部１０２０が、各部位の指先および関節に対して各部位の３次元モデルを配置することにより、手全体の３次元モデル形状を推定する。具体的には、親指であれば、親指の指先と第一関節のポイントに対し、親指の第一の部位の３次元モデルを配置し、第一関節と第二関節のポイントの間に親指の第二の部位の３次元モデルを配置する。この一連の処理を全ての指およびてのひらの部位に対して行い、形状を推定した手の３次元形状モデルを生成する。

ここで、図５は本実施形態における手の３次元モデルを模式図で示した図である。図５を用いて、具体的な手の３次元モデルとその部位について説明を行う。まず、手の３次元モデル５０００は、５本の指と手のひら部とを含み、各親指は２つ、その他の指は３つの部位に分割されている。よって、１５個の部位から構成されている。

各部位には部位を識別する為のラベルを割り当てている。本実施形態では、親指はＴＨ０とＴＨ１、人差し指はＮＩ０、ＮＩ１、ＮＩ２、中指はＭＩ０、ＭＩ１、ＭＩ２、薬指はＴＤ０、ＴＤ１、ＴＤ２、小指はＬＴ０、ＬＴ１、ＬＴ２、手のひらはＰＭ、という名称のラベルを割り当てている。

各部位の形状を決定するためには寸法の情報が必要である。例えば親指のＴＨ１の部位モデル５０１０の形状を作成するためには、高さ５０１１、幅５０１２、奥行き５０１３の情報が必要である。本実施形態では、部位の上部ＪＵと中央ＪＭと下部ＪＬの３箇所でそれぞれ幅と奥行きの情報を定義しているが、形状をより正確に表現するために、更に細かく定義しても構わない。

手の３次元モデルを生成するために、各部位の寸法情報が必要なことについて図５を用いて前述したが、その寸法を取得する処理を行う物体寸法計測部１０３０の説明として、図６のフローチャートを用いて、寸法計測の全体処理フローを説明する。

ステップＳ６０１０では、物体寸法計測部１０３０は、画像取得部１０００から取得した画像が記憶されている画像を画像記憶部１０１０から参照する。ステップＳ６０２０では、物体寸法計測部１０３０は、参照した撮影画像を解析して計測対象部位の寸法計測を行うのに適切な画像であるかを判定する寸法計測可否判定処理を行う。判定結果はＲＡＭ２０５の不図示の領域に記憶する。寸法計測可否判定処理の詳細については図７のフローチャートを参照して後述する。

ステップＳ６０３０では、物体寸法計測部１０３０は、ＲＡＭ２０５を参照して寸法計測が可能かどうかの判定結果を確認する。寸法計測が可能であると判定された場合には、ステップＳ６０４０へ進む。寸法計測が可能ではないと判定された場合には、ステップＳ６０５０へ進む。

ステップＳ６０４０では、物体寸法計測部１０３０は、対象部位の寸法計測処理を行う。ステップＳ６０５０では、物体寸法計測部１０３０は、画像記憶部１０１０に記憶されている画像が次の画像に更新されるのを待ち、更新されたらステップＳ６０１０に戻り、再度同じ処理をやり直す。

以上説明したように、物体寸法計測部１０３０が画像記憶部１０１０の画像を参照（Ｓ６０１０）して、手指の寸法計測可否を判定する処理を行い（Ｓ６０２０）、計測可か否かを判定（Ｓ６０３０）する。そして、計測可と判定した場合は手指の寸法計測処理（Ｓ６０４０）を行い、計測不可と判定した場合は次の画像に更新されるのを待つ（Ｓ６０５０）。そして、物体形状推定部１０２０は、物体寸法計測部１０３０が計測した各部位の寸法計測値を参照して手指の３次元形状のモデルを生成する。

次に、図７のフローチャートを参照して、ステップＳ６０２０の寸法計測可否判定処理の処理内容の詳細を説明する。実施形態１では、爪の映っている割合を用いて厚みを計測するのに適切な真横からの撮影ができているか否かを判定する例について説明する。

ステップＳ７０１０では、物体寸法計測部１０３０は、計測対象となる指の領域を抽出する。指領域の抽出については、図４の説明で述べた３次元形状の推定と同様に、画素の色情報に基づいて対象物体の領域全体を抽出する。その領域に対して画像を二値化して求めたエッジ情報から輪郭を求めて指の領域を特定する。

ステップＳ７０２０では、物体寸法計測部１０３０は、求めた指の領域の中から爪の領域を抽出する。爪の領域抽出については、前述したエッジ情報から指の先端領域に対してエッジ輪郭で囲まれた閉領域を検出することで爪領域を抽出する。なお、爪領域の抽出については、事前に爪の領域を別途撮影して爪領域の色情報を登録しておき、登録された色情報との色の比較を行い、爪領域を指の領域の中から抽出する方法など、爪領域が抽出できる方法であれば他の方法でも適用可能である。

ステップＳ７０３０では、物体寸法計測部１０３０は、抽出した爪領域に対して爪全体の内、何割が映っているかを示す割合を推定する。割合を求めるためには、爪全体が正面から写っている時の画像からあらかじめ爪の縦横比を求めておき、「現画像の爪の縦横比÷爪全体の縦横比」を計算することにより、割合を概略推定することが可能である。割合の推定を行う画像の例については、図８を参照して後述する。

ステップＳ７０４０では、物体寸法計測部１０３０は、ステップＳ７０３０で求めた割合が閾値の範囲内か否かを判定する。適切な画像と判定する割合の範囲として、あらかじめ下限閾値ＮＬと上限閾値ＮＨを定義しておく。割合がこの閾値範囲に収まっている場合には、ステップＳ７０５０へ進み、計測可能と判定する。一方、割合が閾値範囲外である場合は、ステップＳ７０６０へ進み計測不可と判定する。物体寸法計測部１０３０は、判定結果をＲＡＭ２０５の不図示の領域に書き込んでおく。当該判定結果は図６のステップＳ６０３０で参照される。

例えば、爪の映っている割合が０．１〜０．３の間を好適と定義した場合には、ＮＬ＝０．１、ＮＨ＝０．３と設定する。そして、割合が０．２であった場合にはこの範囲に収まっているため、好適な範囲となり、寸法計測可能と判定する。

続いて、図８を参照して、図７で説明した爪の縦横比を求める手順について撮影画像の概略図を用いて説明を行う。図８（ａ）は、判定される撮影対象の指８０００が映った画像を示す図である。爪の領域８０１０を前述したとおり抽出する。そして、爪領域の縦方向の長さ８０２０を求め、横方向の長さ８０３０も同様に求め、縦横比を算出する。図８（ｂ）は、撮影対象の指８０４０を爪が正面になるように撮影した画像を示す図である。同様にして爪領域８０５０を抽出し、爪領域の縦方向の長さ８０６０を求め、横方向の長さ８０７０も同様に求め、縦横比を算出する。

具体的な値を例に説明すると、判定対象画像の爪領域の縦方向の長さ８０２０が１０ｍｍで横方向の長さ８０３０が２ｍｍの場合、判定対象画像の縦横比は０．２となる。同様に爪全体が映っている画像の爪領域の縦方向の長さ８０６０が１０ｍｍで横方向の長さ８０７０の長さが１０ｍｍ場合、縦横比が１．０となる。

爪全体が映っている場合の爪の縦横比は１０ｍｍ÷１０ｍｍ＝１．０で、判定対象画像の縦横比は２ｍｍ÷１０ｍｍ＝０．２となり、割合は０．２÷１．０＝０．２となり、割合０．２と推定できる。

次に、図９のフローチャートを参照して、ステップＳ６０４０の対象部位の寸計測処理の手順を説明する。ステップＳ９０１０では、物体寸法計測部１０３０は、計測対象画像から計測ポイントを検出する。計測対象画像とは、前述した寸法計測可否判定処理で計測可と判定した画像であり、画像記憶部１０１０から画像を参照する。詳細は図１０を参照して説明するが、指の各部位の寸法を測るポイント（寸法計測の両端にあたる点）を画像の特徴から検出する。

ステップＳ９０２０では、物体寸法計測部１０３０は、検出された計測ポイント間の距離をそれぞれ計測する。ステレオマッチングと三角測量により３次元位置を求める手法を用いて各々の計測ポイントの３次元位置を求め、計測ポイントの２点間の距離を算出することができる。なお、画像中に寸法の指標となる物体を一緒に撮影して、指標のサイズとの比率から距離を求める等、他の方法を用いても構わず、２点間の距離を画像から求められる方法であれば適用可能である。

ステップＳ９０３０では、物体寸法計測部１０３０は、求めた距離を各部位の寸法情報として寸法情報テーブル（ＲＡＭ２０５の不図示の領域）に記憶する。寸法情報テーブルの詳細については図１１を参照して後述する。

ここで、図１０は、計測対象画像の一例を概略図で示したものである。計測対象の指１００００に対し、指先や各関節や関節間の中間に計測ポイントを検出しており、図１０では説明のためにあえて白丸と黒丸を付けて図示している。計測ポイントの検出は、最初に指先の爪の先端部１００１０をまず検出し、そこから順にしわの特徴から各関節の表面部に計測ポイントを検出していく。第一関節の背側１０００２０、第二関節の背側１００３０、第三関節の背側１００４０と検出していく。なお、本実施形態では、背側とは、手の甲側（指で言うと爪のある側）のことを指し、腹側とは、手のひら側（指でいうと爪と反対側）のことを指すものとする。

次に、指先の爪の先端部１００１０から垂直におろした腹側の先端部１００５０を検出し、背側と同様に、第一関節の腹側１０００６０、第二関節の腹側１００７０、第三関節の腹側１００８０と検出していく。

関節と関節の間の厚みも計測するため、指先と第一関節との間の計測ポイント１００９０、第一関節と第二関節との間の計測ポイント１０１００、第二関節と第三関節との間の計測ポイント１０１００を検出していく。同様に、腹側についても、指先と第一関節との間の計測ポイント１０１２０、第一関節と第二関節との間の計測ポイント１０１３０、第二関節と第三関節との間の計測ポイント１０１４０と検出していく。関節と関節の間の計測ポイントは関節と関節のちょうど中央に定義してもよいし、一定の割合(例：４対６)の場所に定義してもよい。

このようにして検出した計測ポイントから、厚みを計測するために対になる計測ポイント間の距離を算出する。指先は計測ポイント１００１０と計測ポイント１００５０との距離、指先と第一関節との間は計測ポイント１００９０と計測ポイント１０１２０との距離、第一関節は計測ポイント１００２０と計測ポイント１００６０トとの距離といった具合に全ての対となる計測ポイント間の距離を算出する。

次に、図１１は、図９および図１０を用いて説明した各部位の計測距離を記憶した寸法情報テーブルの一例を表で図示したものである。寸法情報テーブル１１０００は、図５で説明した手の３次元モデルの定義にしたがった各部位の寸法についての情報を格納するテーブルとなっている。

まず、部位名１１０１０が各行のラベルとして登録されており、部位の寸法１１０２０が列のラベルとして定義されている。部位の寸法としては部位の高さ１１０３０、部位の上部（ＪＵ）１００４０に幅１１０７０、奥行き１１０８０、中央（ＪＭ）１００５０に幅１１０９０、奥行き１１１００、下部（ＪＬ）１００６０に幅１１１２０、奥行き１１１３０とそれぞれのラベルが定義されている。この表に、先ほど図９の寸法計測処理によって計測された各部位の寸法情報が記憶される。寸法情報テーブル１１０００の各情報が寸法計測処理によって全て揃うことにより、図５で示した手の３次元モデルの各部位の寸法が確定する。

以上説明したように、本実施形態では、測定対象物体の寸法を計測するのに適切な画像を判定してから各部位の寸法を計測し、得られた寸法から手の３次元モデルの生成を行う。本実施形態によれば、高精度な寸法データを手間なく自動的に収集して手指のモデルを生成することが可能となる。また、このようにして生成された３次元モデルを用いて接触判定などを行うことにより、高精度な接触判定処理などを実現することが可能となる。

（実施形態２）
＜概要＞
実施形態１では、爪の映っている割合を用いて厚み（寸法）を計測するのに適切な真横からの撮影ができているか否かを判定する例を説明した。これに対して、実施形態２では、指のしわ領域の背側と腹側の割合の情報を用いて、厚み（寸法）を計測するのに適切な真横からの撮影ができているか否かを判定する例について説明する。

本実施形態では、実施形態１で示した情報処理装置１の構成に変更はなく、物体寸法計測部１０３０で実行する処理の一部を変更すればよい。つまり、実施形態１の図６で説明したステップＳ６０２０の対象部位の寸法計測可否判定処理の処理内容（実施形態１では図７のフローチャートに該当）が変更となる。

＜処理＞
図１２のフローチャートを参照して、指のしわ領域の背側と腹側との割合を用いて厚みを計測するのに適切な真横からの撮影ができているか否かを判定する寸法計測可否判定処理の手順を説明する。

ステップＳ１２０１０では、物体寸法計測部１０３０は、撮影画像を解析して計測対象となる指の領域を抽出する。指領域の抽出の方法については、実施形態１で既に述べているのでここでは説明を省略する。

ステップＳ１２０２０では、物体寸法計測部１０３０は、求めた指の領域の中からしわの線を抽出する。しわの抽出は、画像を二値化して求めたエッジ情報からしわの線を抽出し、その線の中から細かいしわを除外するために一定以上の太さを持つ線を抽出することにより行う。

ステップＳ１２０３０では、物体寸法計測部１０３０は、抽出したしわの線に対して背側のしわの線の指輪郭からの距離と、腹側のしわの線の指輪郭からの距離との比率を算出し、背側に何割が映っているかという割合を推定する。しわの割合の推定を行う画像の例については、図１３を参照して後述する。

ステップＳ１２０４０では、物体寸法計測部１０３０は、ステップＳ１２０３０で求めた割合が閾値の範囲内か否かを判定する。適切な画像と判定する割合の範囲として、あらかじめ下限閾値ＳＬと上限閾値ＳＨを定義しておく。割合がこの閾値範囲に収まっている場合には、ステップＳ１２０５０へ進み、計測可能と判定する。一方、割合が閾値範囲外である場合は、ステップＳ１２０６０へ進み、計測不可と判定する。物体寸法計測部１０３０は、判定結果をＲＡＭ２０５の不図示の領域に書き込んでおく。当該判定結果は、図６のステップＳ６０３０で参照される。

例えば、背側のしわの映っている割合が０．４〜０．６の間を好適と定義した場合には、ＮＬ＝０．３、ＮＨ＝０．５と設定する。そして、推定した割合が０．４であった場合にはこの閾値範囲に収まっているため、好適な範囲となり、寸法計測可能と判定する。

ここで、図１３を参照して、しわの割合を求める手順について、撮影画像の概略図を用いて説明を行う。図１３は、判定される撮影対象の指１３０００が映った画像である。、しわの背側の線１３０１０としわの腹側の線１３０２０を前述したとおり抽出する。そして、しわの背側の線に対する指の輪郭からの垂直距離１３０３０を求め、同様にしわの腹側の線に対する指の輪郭からの垂直距離１３０４０を求める。例えば、しわの背側の線の垂直距離が４ｍｍでしわの腹側の線の垂直距離が６ｍｍであった場合には、推定した割合は０．４となる。

本実施形態によれば、指のしわの情報を用いて、厚みを計測するのに適切な真横からの撮影ができているか否かを判定することができる。

（実施形態３）
＜概要＞
実施形態１では、爪の映っている割合を用いて厚み（寸法）を計測するのに適切な真横からの撮影ができているか否かを判定する例を説明した。これに対して、実施形態３では、対象物の背側と腹側の色の類似度の情報を用いて、厚み（寸法）を計測するのに適切な真横からの撮影ができているか否かを判定する例を説明する。この方法は、手の背側と腹側とで色味が異なることを利用して判定する方法である。

本実施形態では、実施形態１で示した情報処理装置１の構成に変更はなく、物体寸法計測部１０３０で実行する処理の一部を変更すればよい。つまり、実施形態１の図６で説明したステップＳ６０２０の対象部位の寸法計測可否判定処理の処理内容（実施形態１では図７のフローチャートに該当）が変更となる。

＜処理＞
図１４のフローチャートを参照して、指の背側と腹側の色の類似度を用いて、厚みを計測するのに適切な真横からの撮影ができているか否かを判定する寸法計測可否判定処理の手順を説明する。

ステップＳ１４０１０では、物体寸法計測部１０３０は、撮影画像を解析して計測対象となる指の領域を抽出する。指領域の抽出の方法については、実施形態１で既に述べているのでここでは説明を省略する。

ステップＳ１４０２０では、物体寸法計測部１０３０は、求めた指の領域の中から背側と腹側の色情報を抽出する。ステップＳ１４０３０では、物体寸法計測部１０３０は、背側と腹側で抽出した色情報（例えばＲＧＢ毎のヒストグラム）を比較し類似度を求める。色の類似度の推定を行う画像の例については、図１５を参照して後述する。

ステップＳ１４０４０では、物体寸法計測部１０３０は、ステップＳ１４０３０で求めた類似度が閾値の範囲内か否かを判定する。適切な画像と判定する割合の範囲として、あらかじめ下限閾値ＣＬと上限閾値ＣＨを定義しておく。類似度が閾値範囲に収まっている場合には、ステップＳ１４０５０へ進み、計測可能と判定する。一方、類似度が閾値範囲外である場合は、ステップＳ１４０６０へ進み、計測不可と判定する。

例えば、色の類似度が８０〜９０の間を好適と定義した場合には、ＣＬ＝８０、ＣＨ＝９０と設定する。そして、求めた類似度が８４であった場合にはこの範囲に収まっているため、好適な範囲となり、寸法計測可能と判定する。

続いて、図１５を参照して、色の類似度を求める手順について、撮影画像の概略図を用いて説明を行う。図１５は、判定される撮影対象の指１５０００が映った画像である。背側の表面の領域１５０１０と、腹側の表面の領域１５０２０に対して前述したとおり、それぞれ色情報（例えばＲＧＢ毎のヒストグラム）を抽出する。背側の表面の領域１５０１０と、腹側の表面の領域１５０２０とは、それぞれ同一サイズの矩形領域であり、当該矩形領域から色情報を取り出す。そして、色情報の類似度を算出（例えばヒストグラムを比較して差異面積と共通部面積を算出し、共通部面積÷（差異面積＋共通部面積）で類似度を算出）する。類似度の算出については、ＲＧＢ毎のヒストグラムの差異を比較する以外の方法であっても構わず、色の形式や算出方法は本実施形態で示したやり方に限定されるものではなく、類似度が求められればよい。

本実施形態によれば、対象物の背側と腹側の色の類似度を用いて、厚みを計測するのに適切な真横からの撮影ができているか否かを判定することができる。

（実施形態４）
＜概要＞
実施形態１では、爪の映っている割合を用いて、厚み（寸法）を計測するのに適切な真横からの撮影ができているか否かを判定していた。これに対して、実施形態４では、対象物の領域から飛び出ている特徴（例えば、毛）の検出結果の情報を用いて、厚み（寸法）を計測するのに適切な真横からの撮影ができているか否かを判定する例について説明する。この方法は、真横から撮影できていれば手や指の背側に毛が検出されることを利用して判定する方法である。

本実施形態では、実施形態１で示した情報処理装置の構成に変更はなく、物体寸法計測部１０３０で実行する処理の一部を変更すればよい。つまり、実施形態１の図６で説明したステップＳ６０２０の対象部位の寸法計測可否判定処理の処理内容（実施形態１では図７のフローチャートに該当）が変更となる。

＜処理＞
図１６のフローチャートを参照して、特徴（毛）の検出結果を用いて、厚みを計測するのに適切な真横からの撮影ができているか否かを判定する寸法計測可否判定処理の手順を説明する。

ステップＳ１６０１０では、物体寸法計測部１０３０は、撮影画像を解析して計測対象となる指の領域を抽出する。指領域の抽出の方法については、実施形態１で既に述べているのでここでは説明を省略する。

ステップＳ１６０２０では、物体寸法計測部１０３０は、求めた指の領域から出ている毛を検出する。毛の検出方法は、ステップＳ１６０１０で求めた指の領域の近傍領域を二値化して求めたエッジ情報から指の輪郭から出ている線を検出する。指の輪郭から出ている線成分を毛として検出するが、誤判定を低減するために、一定の長さ以上の線についてはノイズとして対象から外す処理も行う。毛の検出を行う画像の例については、図１７を参照して後述する。

ステップＳ１６０３０では、物体寸法計測部１０３０は、ステップＳ１６０２０で行った毛の検出結果から背側で毛を検出した否かを判定する。毛を検出した場合は、ステップＳ１６０４０へ進み、計測可能と判定する。一方、毛を検出できなかった場合は、ステップＳ１６０５０へ進み、計測不可と判定する。

続いて、図１７を参照して、毛の検出を行う手順について、撮影画像の概略図を用いて説明を行う。図１７は、判定される撮影対象の指１７０００が映った画像である。背側の表面の近傍領域１７０１０に対し、図１６で説明した方法により毛の検出処理を行う。

本実施形態によれば、対象物の背側での毛の検出結果を用いて、厚みを計測するのに適切な真横からの撮影ができているか否かを判定することができる。

（実施形態５）
＜概要＞
実施形態１では、爪の映っている割合を用いて、厚み（寸法）を計測するのに適切な真横からの撮影ができているか否かを判定していた。

これに対して、実施形態５では、厚み（寸法）を計測するのに適切な真横の姿勢を体験者に促すためのガイド表示を行う。そして、体験者が表示されたガイドに合うように手指の姿勢を合わせることにより、厚みの計測に適切なポーズでの撮影が可能となる。更に、ガイドと手との形状の一致度に基づいて厚み（寸法）を計測するのに適切な真横からの撮影ができているか否かを判定する例について説明する。

本実施形態では、実施形態１で示した情報処理装置の構成に一部追加があり、物体寸法計測部１０３０で実行する処理の一部が異なる。つまり、実施形態１の図１と、図６で説明したステップＳ６０２０の対象部位の寸法計測可否判定処理の処理内容（実施形態１では図７のフローチャートに該当）が変更となるため、図１８〜図２０を参照して差分の説明を行う。

＜情報処理装置の機能構成＞
図１８は、体験者に対しガイド表示を行う指示画像描画部が追加された現実物体の情報処理装置の機能構成を示すブロック図である。

情報処理装置１８は、図１のブロック図に対し、指示画像描画部１０８０が追加された機能構成となっており、それ以外の構成はすべて共通であるため、共通部分の説明は省略する。

指示画像描画部１０８０は、寸法計測処理時に、手指の形状を体験者に指示するための姿勢ガイド画像を描画する処理を行い、描画した画像を画像合成部１０６０に送り、画像合成部１０６０にてガイド表示も追加で重畳する表示制御処理を行う。これにより、ディスプレイ２０８には計測を行う時にガイド画像が重畳して表示される。

次に、図１９は、実際にガイド画像が重畳表示されている画像の例を概略図で示したものである。体験者の手１９０００の画像に対して手の形状姿勢を示すガイド表示１９０１０が半透明で重畳されており、体験者はこのガイドを見ながら自分の手指がガイドに一致するように手の形状姿勢を変えて合わせこむ作業をおこなう。

このようにガイドを示して手指をその形状にあわせるように指示することにより、厚みを計測するのに適切な真横の姿勢での撮影が行えるようになる。

＜処理＞
図２０のフローチャートを参照して、体験者がガイドに合わせた手指の撮影画像に対し、ガイドに対する一致度情報を用いて、厚みを計測するのに適切な真横からの撮影ができているか否かを判定する処理の手順を説明する。

ステップＳ２００１０では、物体寸法計測部１０３０は、撮影画像を解析して計測対象となる手指の領域を抽出する。手指領域の抽出の方法については、実施形態１で既に述べているのでここでは説明を省略する。

ステップＳ２００２０では、物体寸法計測部１０３０は、求めた手指の領域とガイド領域との一致度を算出する。領域の一致度を求めるには、ガイドと手指が重なってない領域の画素数と、ガイドから手指がはみ出ている領域の画素数を求めた上で、「一致度＝（ガイド領域の画素数−（ガイドと手指が重なっていない領域の画素数＋ガイドから手がはみ出ている領域の画素数））÷ガイド領域の画素数」により求める。

ステップＳ２００３０では、物体寸法計測部１０３０は、求めた一致度が下限閾値ＧＬ以上であるか否かを判定する。閾値以上であった場合は、ステップＳ２００４０へ進み、計測可能と判定する。一方、閾値未満であった場合は、ステップＳ２００５０へ進み、計測不可と判定する。

本実施形態によれば、ガイドに対する一致度情報を用いて、厚みを計測するのに適切な真横からの撮影ができているか否かを判定し、厚みを計測することができる。

以上説明したように、本発明の各実施形態によれば、計測対象物体の部位の計測に適切な画像を用いて計測対象物体の部位の寸法計測を行うことにより、より高精度に各部位の寸法を測定することができる。また、撮像装置により撮影した画像から計測した各部位の寸法データを直接参照して３次元モデルを生成して重畳することにより、各部位の寸法入力の手間を省き、撮像している対象物体に一致する寸法データに基づいてモデルを生成することができる。

なお、上記各実施形態では手指を対象に説明を行ったが、必ずしも手指に限定されるものではない。例えば５指以外のロボットハンド、あるいは足指などであっても本発明を適用することができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１，１８：情報処理装置、１０２０：物体形状推定部、１０３０：物体寸法計測部

Claims (19)

1. 手指の部位の寸法の計測に適切な手指の姿勢を指示するガイド画像を表示させる表示制御手段と、
   手指の撮影画像を解析して、当該撮影画像が手指の部位の寸法を計測するために適切な撮影画像であるかを判定する判定手段と、
   前記判定手段により適切であると判定された撮影画像を用いて前記手指の寸法を計測する計測手段と、
   前記寸法の情報を用いて前記手指の３次元形状のモデルを生成するモデル生成手段と、
   を備えることを特徴とする情報処理装置。
2. 前記手指の指の爪全体の内、映っている爪の割合を推定する割合推定手段をさらに備え、
   前記判定手段は、前記割合の情報に基づいて判定を行うことを特徴とする請求項１に記載の情報処理装置。
3. 前記撮影画像から指領域を抽出する指領域抽出手段と、
   前記指領域から爪領域を抽出する爪領域抽出手段と、をさらに備え、
   前記割合推定手段は、前記爪全体に対する抽出された爪領域の割合を推定する請求項２に記載の情報処理装置。
4. 前記手指の指の映っているしわの内、背側のしわと腹側のしわとの割合を算出する算出手段をさらに備え、
   前記判定手段は、前記割合の情報に基づいて判定を行うことを特徴とする請求項１に記載の情報処理装置。
5. 前記手指の指の背側の色と指の腹側の色との類似度を算出する算出手段をさらに備え、
   前記判定手段は、前記類似度の情報に基づいて判定を行うことを特徴とする請求項１に記載の情報処理装置。
6. 前記手指の指の背側の毛を検出する検出手段をさらに備え、
   前記判定手段は、前記検出手段の検出結果に基づいて判定を行うことを特徴とする請求項１に記載の情報処理装置。
7. 前記ガイド画像と前記手指との一致度を算出する算出手段をさらに備え、
   前記判定手段は、前記一致度の情報に基づいて判定を行うことを特徴とする請求項１に記載の情報処理装置。
8. 前記計測手段は、前記撮影画像から計測点を検出し、検出された計測点間の距離を計測することを特徴とする請求項１乃至７の何れか１項に記載の情報処理装置。
9. 前記計測手段は、前記計測された距離をテーブルに登録することを特徴とする請求項８に記載の情報処理装置。
10. 前記撮影画像を撮像した撮像装置の位置姿勢を推定する位置姿勢推定手段と、
    前記モデルと前記撮像装置の位置姿勢とに基づいて画像を生成する画像生成手段と、
    をさらに備えることを特徴とする請求項１乃至９の何れか１項に記載の情報処理装置。
11. 前記画像生成手段により生成された画像と前記撮影画像とを合成する合成手段をさらに有することを特徴とする請求項１０に記載の情報処理装置。
12. 前記合成手段により合成された合成画像を表示する表示手段をさらに有することを特徴とする請求項１１に記載の情報処理装置。
13. 前記画像生成手段は、前記モデルと前記撮影画像中の手との位置関係に基づいて当該モデルの描画を制御することを特徴とする請求項１０乃至１２の何れか１項に記載の情報処理装置。
14. 前記モデル生成手段は、前記撮影画像から手領域を抽出する手領域抽出手段を有することを特徴とする請求項１乃至１３の何れか１項に記載の情報処理装置。
15. 前記撮影画像はステレオ画像であり、
    前記モデル生成手段は、前記ステレオ画像のそれぞれから抽出した前記手領域の輪郭上の点のマッチングにより対応点の三次元位置を算出する位置算出手段をさらに有することを特徴とする請求項１４に記載の情報処理装置。
16. 前記モデル生成手段は、
    前記対応点の三次元位置に基づいて前記手領域の複数の部位の三次元位置を推定する位置推定手段と、
    前記複数の部位を、それぞれの推定された三次元位置に基づいて識別する識別手段と、
    を有することを特徴とする請求項１５に記載の情報処理装置。
17. 前記モデル生成手段は、前記複数の部位のそれぞれのモデルを配置する配置手段をさらに有することを特徴とする請求項１６に記載の情報処理装置。
18. 情報処理装置の制御方法であって、
    手指の部位の寸法の計測に適切な手指の姿勢を指示するガイド画像を表示する表示工程と、
    手指の撮影画像を解析して、当該撮影画像が手指の部位の寸法を計測するために適切な撮影画像であるかを判定する判定工程と、
    前記判定工程により適切であると判定された撮影画像を用いて前記手指の寸法を計測する計測工程と、
    前記寸法の情報を用いて前記手指の３次元形状のモデルを生成する生成工程と、
    を有することを特徴とする情報処理装置の制御方法。
19. コンピュータを、請求項１乃至１７の何れか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

Images