JP6244960B2 - 物体認識装置、物体認識方法及び物体認識プログラム - Google Patents

Description

本発明は、物体認識装置、物体認識方法及び物体認識プログラムに関する。

例えば、格子状に配列された複数の光点を含むパターンを所定の領域に投影し、投影されたパターンを撮影した画像における各光点の基準の位置からのずれに基づいて、光点が投影された領域内の物体の形状を認識する技術がある（例えば、特許文献１参照）。

この種の技術では、各光点の基準の位置からのずれの大きさから、パターンの投影に用いた光源と物体に投影された光点との距離を求めることで、パターンが投影された物体の表面の凹凸などの物体の形状を認識する。

特開２００４−９６４５７号公報

ところで、パターンの投影に用いられる光源と物体とが離れている場合などには、投影されたパターンを撮影した画像での各光点の輝度が低くなる。このために、投影されたパターンを撮影した画像において、パターンに含まれる光点と光点以外のノイズとを判別することが困難になる場合がある。即ち、この種の技術では、画像に含まれる光点以外のノイズを誤って光点として検出してしまう場合がある。そして、パターンが投影された物体の形状を認識する際に、誤って検出した光点から求めた距離を用いると、物体の形状を誤って認識してしまう場合がある。

本件開示の物体認識装置、物体認識方法及び物体認識プログラムは、投影されたパターンを撮影した画像に基づく物体認識において、物体の形状の誤認識を低減することを目的とする。

一つの観点によれば、物体認識装置は、物体を含む領域に投影された複数の光点を含むパターンを時間間隔を置いて撮影した複数の画像のそれぞれから求められた、複数の光点のそれぞれまでの距離を各光点に対応して記録する記録部と、パターンに含まれる光点毎に、記録部に記録された複数の距離の分散を算出する第１算出部と、第１算出部で算出された分散に基づいて、各光点に対応して記録された距離の信頼度を評価する評価部と、評価部により、信頼度が第１閾値以下であるとされた第１光点に対応して記録された距離を、第１光点に隣接する他の光点に対応して記録された距離を用いて補正する補正部と、を有する。

別の観点によれば、物体認識方法は、物体を含む領域に投影された複数の光点を含むパターンを時間間隔を置いて撮影した複数の画像のそれぞれから求められた、複数の光点のそれぞれまでの距離を各光点に対応して記録し、パターンに含まれる光点毎に記録された複数の距離の分散を算出し、算出された分散に基づいて、各光点に対応して記録された距離の信頼度を評価し、信頼度が第１閾値以下であるとされた第１光点に対応して記録された距離を、第１光点に隣接する他の光点に対応して記録された距離を用いて補正する。

別の観点によれば、物体認識プログラムは、物体を含む領域に投影された複数の光点を含むパターンを時間間隔を置いて撮影した複数の画像のそれぞれから求められた、複数の光点のそれぞれまでの距離を各光点に対応して記録し、パターンに含まれる光点毎に記録された複数の距離の分散を算出し、算出された分散に基づいて、各光点に対応して記録された距離の信頼度を評価し、信頼度が第１閾値以下であるとされた第１光点に対応して記録された距離を、第１光点に隣接する他の光点に対応して記録された距離を用いて補正する、処理をコンピュータに実行させる。

本件開示の物体認識装置、物体認識方法及び物体認識プログラムは、投影されたパターンを撮影した画像に基づく物体認識において、物体の形状の誤認識を低減することができる。

物体認識装置の一実施形態を示す図である。 図１に示したパターンを撮影した画像の例を示す図である。 図１に示した測定装置によって得られる距離の例を示す図である。 図１に示した評価部により求められた信頼度の例を示す図である。 図１に示した補正部により補正された距離の例を示す図である。 図１に示した物体認識装置の動作を示す図である。 物体認識装置の別実施形態を示す図である。 図７に示した測定装置によって得られる距離の例を示す図である。 物体認識装置の別実施形態を示す図である。 物体認識装置の別実施形態を示す図である。 物体の種類毎の特徴の例を示す図である。 図１０に示した保持部の一例を示す図である。 図１０に示した物体認識装置のハードウェア構成例を示す図である。 図１３に示した物体認識装置の動作を示す図である。

以下、図面に基づいて、実施形態を説明する。

図１は、物体認識装置の一実施形態を示す。図１に示した物体認識装置１０は、記録部１１と、第１算出部１２と、評価部１３と、補正部１４と、認識部１５とを含んでいる。また、物体認識装置１０は、投影装置ＰＲから物体ＴＧに投影されたパターンＰＴからの反射光を受ける測定装置ＭＥに接続されている。なお、図１では、説明を分かりやすくするために、表面が平らな物体ＴＧにパターンＰＴが投影された場合を示したが、物体ＴＧの形状は、図１に示した形状に限らず、例えば、表面に凹凸があってもよい。

物体認識装置１０に含まれる各部の機能及び動作の説明に先立って、測定装置ＭＥと投影装置ＰＲとについて説明する。

投影装置ＰＲは、物体ＴＧを含む領域に、複数の光点を含むパターンＰＴを投影する。投影装置ＰＲによって投影されるパターンＰＴは、例えば、投影装置ＰＲから距離Ｄ０が離れた平面ＰＬに投影された場合に、所定の間隔で格子状に配列される複数の光点を含んでいる。投影装置ＰＲは、例えば、投影装置ＰＲの内部に含まれる半導体レーザなどの発光素子から射出される光束を、投影装置ＰＲの内部に含まれる回折格子によって回折させることで、複数の光点を格子状に配列させたパターンＰＴを投影する。なお、図１に示した平面ＰＬは、説明のために図示したものであり、パターンＰＴが投影される領域に平面ＰＬは含まれない。

測定装置ＭＥは、カメラなどの撮像部ＣＡＭと、画像処理部ＩＭＰとを含んでいる。撮像部ＣＡＭは、例えば、投影装置ＰＲによって物体ＴＧを含む領域に投影されたパターンＰＴを所定の時間毎に繰り返し撮影することで、物体ＴＧの表面に投影された複数の光点を含む複数の画像ＩＭＧを取得する。撮像部ＣＡＭは、投影装置ＰＲの内部に含まれる発光素子から射出される光の波長を含む波長帯に対する感度を有する。撮像部ＣＡＭによって撮影された画像ＩＭＧは、画像処理部ＩＭＰに渡される。

測定装置ＭＥに含まれる撮像部ＣＡＭは、投影装置ＰＲがパターンＰＴを投影する方向Ｄｒｐに対して傾いた方向Ｄｒｓから、物体ＴＧに投影されたパターンＰＴを撮影する。このため、撮像部ＣＡＭによって撮影された画像ＩＭＧにおいて、物体ＴＧの表面に投影されたパターンＰＴに含まれる各光点の位置は、光源である投影装置ＰＲと各光点との距離に応じて、基準となる位置からずれることになる。ここで、各光点の基準となる位置とは、例えば、平面ＰＬに投影されたパターンＰＴを撮像部ＣＡＭにより撮影した場合に得られる画像ＩＭＧにおける各光点の位置である。

測定装置ＭＥに含まれる画像処理部ＩＭＰは、物体ＴＧの表面に投影されたパターンＰＴを撮影した画像ＩＭＧにおける各光点の位置と、各光点に対応する基準となる位置との間のずれを検出する。そして、画像処理部ＩＭＰは、各光点に対応して検出したずれに基づいて、投影装置ＰＲから物体ＴＧの表面に投影された各光点までの距離を求める。例えば、投影装置ＰＲから物体ＴＧの表面に投影された光点Ｓｐ１までの距離Ｄ１を求める場合に、画像処理部ＩＭＰは、パターンＰＴが平面ＰＬに投影された場合の光点Ｓｐ１に相当する光点Ｓｐ０の画像ＩＭＧにおける位置を基準の位置として用いる。画像処理部ＩＭＰは、画像ＩＭＧに含まれる光点Ｓｐ１の位置の基準の位置からのずれに基づいて、物体ＴＧの表面に投影された光点Ｓｐ１の平面ＰＬからの高さｈ１を求める。そして、画像処理部ＩＭＰは、求めた高さｈ１と投影装置ＰＲと平面ＰＬとの間の距離Ｄ０とから、距離Ｄ１を求める。

画像処理部ＩＭＰは、撮像部ＣＡＭにより撮影された画像ＩＭＧを受ける毎に、受けた画像ＩＭＧに含まれる各光点と投影装置ＰＲとの間の距離を求め、求めた距離を示す情報を順次に物体認識装置１０に渡す。

物体認識装置１０に含まれる記録部１１は、測定装置ＭＥから受けた情報で示される各光点と投影装置ＰＲとの間の距離を、例えば、各光点に対応して順次に記録する。例えば、測定装置ＭＥの撮像部ＣＡＭにより、物体ＴＧに投影されたパターンＰＴの撮影がｎ回（ｎは２以上の整数）行われた場合に、各光点に対応してｎ個の距離を示す数値が記録部１１に記録される。

第１算出部１２は、例えば、式（１）を用いて、各光点に対応して記録部１１に記録されたｎ個の距離を示す数値を用いて、光点毎に所定の時間中に測定装置ＭＥによって得られた距離の分散Ｖを算出する。ここで、所定の時間とは、測定装置ＭＥに含まれる撮像部ＣＡＭにより、ｎ枚の画像が撮影される間に経過した時間である。また、式（１）において、数値ｊは、ｎ以下の正の整数であって画像ＩＭＧの撮影順を示し、変数Ｄ（ｊ）は、パターンＰＴに含まれるある光点について、ｊ番目に撮影された画像ＩＭＧから測定装置ＭＥによって得られた距離を示す。また、数値Ｄａｖは、同じ光点に対応して記録部１１に記録されたｎ個の距離を示す数値の平均を示す。

なお、第１算出部１２により各光点について求められる距離の分散は、式（１）で示される統計的な分散に限らず、各光点に対応して記録部１１に記録されたｎ個の数値のばらつきの大きさを示す値であればよい。例えば、第１算出部１２は、物体ＴＧが所定の時間中に移動する場合に、各光点までの距離が変化することを考慮して、画像ＩＭＧ毎に得られる各光点までの距離の変化量の平均値を、各光点の距離の分散として求めてもよい。

以上に説明した第１算出部１２により、光点毎に算出された距離の分散は、評価部１３に渡される。

評価部１３は、第１算出部１２から受けた距離の分散に基づいて、各光点に対応して記録部１１に記録された距離の信頼度を評価する。評価部１３は、例えば、式（２）などにより、第１算出部１２によって算出された分散を示す値Ｖが小さいほど、信頼度の最大値である数値１に近い値を与える関数Ｆ（Ｖ）により、信頼度ｒを算出する。以下では、評価部１３によって求められる信頼度が数値０以上数値１以下の実数であり、信頼度が高いほど最大値である数値１に近い値となる場合について説明する。

なお、評価部１３において信頼度を求めるために用いる関数は、式（２）に示した関数Ｆ（Ｖ）に限られず、分散を示す値Ｖが小さいほど大きな値を持つ信頼度を与える関数であればよい。

補正部１４は、評価部１３により、信頼度が所定の第１閾値以下であるとされた光点である第１光点に対応して記録部１１に記録された距離を、第１光点と所定の位置関係を有する他の光点に対応して記録された距離を用いて補正する。補正部１４は、例えば、各光点に対応して評価部１３によって得られた信頼度と所定の第１閾値とを比較することで、パターンＰＴに含まれる複数の光点の中から、信頼度が所定の第１閾値以下である第１光点を検出する。そして、補正部１４は、検出した第１光点に対応して記録部１１に記録された距離を、パターンＰＴにおいて当該第１光点に隣接する複数の光点に対応して記録された距離の平均値などで置き換えることで、検出した第１光点に対応する距離を補正する。ここで、補正部１４は、測定装置ＭＥによって測定された距離の信頼度が低い第１光点の検出に用いる第１閾値として、例えば、０．０２程度の小さい値を設定することが望ましい。なお、補正部１４は、評価部１３によって各光点について求められた信頼度の平均値を求め、求めた平均値の半分程度の値を、第１閾値として用いてもよい。

認識部１５は、補正部１４によって補正された第１光点を含む各光点に対応する距離を記録部１１から読み出し、読み出した距離に基づいて、パターンＰＴが投影された物体ＴＧの形状を認識する。例えば、認識部１５は、各光点に対応して読み出した距離に基づいて、物体ＴＧの表面に投影された各光点の３次元空間における位置を求め、求めた位置を互いに補間することで、物体ＴＧの表面の形状を示す曲面を求める。また、認識部１５は、求めた曲面の時間変化に基づいて、物体ＴＧの移動を検出してもよい。

なお、測定装置ＭＥは物体認識装置１０に含まれてもよいし、また、物体認識装置１０が測定装置ＭＥに含まれてもよい。更に、測定装置ＭＥと投影装置ＰＲと物体認識装置１０とは、単一の装置に含まれてもよい。

図２は、図１に示したパターンＰＴを撮影した画像ＩＭＧの例を示す。図２に示した画像ＩＭＧは、図１に示した撮像部ＣＡＭによって撮影されたｎ枚の画像ＩＭＧのうちの１枚の例である。

図２に示した画像ＩＭＧにおいて、矩形の領域ＴＧは、図１に示した物体ＴＧの外形を示す。また、図２において、白色の円形Ｓ１，Ｓ２，Ｓ３，Ｓ４，Ｓ５，Ｓ６，Ｓ７，Ｓ８，Ｓ９のそれぞれは、物体ＴＧの表面に投影されたパターンＰＴに含まれる光点を示す。なお、図２の例では、パターンＰＴに含まれる光点のうち、光点Ｓ１〜Ｓ９以外の光点の図示は省略されている。また、図２の例において、物体ＴＧの輪郭を示す矩形は、物体ＴＧと光点Ｓ１からＳ９との位置関係を説明するためのものであり、画像ＩＭＧには含まれない。

また、図２において、破線で示した矩形の領域Ｒ５は、図１に示した画像処理部ＩＭＰにおいて、画像ＩＭＧから光点Ｓ５を検出する範囲を示す。ここで、画像ＩＭＧから光点Ｓ５を検出するために用いる範囲は、例えば、光点Ｓ５が図１に示した平面ＰＬに投影された場合の画像ＩＭＧにおける位置を含み、パターンＰＴにおける光点の間隔Ｗ０よりも小さい幅Ｗ１を持つ範囲として設定される。図２においては図示を省略したが、図１に示した画像処理部ＩＭＰは、パターンＰＴに含まれる全ての光点に対応して、図２において光点Ｓ５に対応付けて示した領域Ｒ５と同様の範囲を予め設定し、設定した範囲の内側において対応する光点の検出を行う。なお、図２に示した領域Ｒ５を示す矩形は、図１に示した画像処理部ＩＭＰにより、光点Ｓ５の検出を行う範囲を示すためのものであり、画像ＩＭＧには含まれない。

ここで、図２に示した領域Ｒ５の内側に、光点Ｓ５以外のノイズＮ５が現れた場合について考える。ノイズＮ５は、例えば、物体ＴＧの表面の模様や、図１に示した投影装置ＰＲ以外の光源からの光が物体ＴＧの表面で反射することなどによって現れる。

例えば、図１に示した画像処理部ＩＭＰが、パターンＰＴに含まれる各光点として、対応して設定された範囲内で所定値以上の輝度を持つ円形を検出する場合に、図２に示した光点Ｓ５の代わりにノイズＮ５が領域Ｒ５内の光点として検出される可能性がある。また、ｎ枚の画像間で、光点Ｓ５の輝度及びノイズＮ５の輝度に揺らぎがある場合、図１に示した画像処理部ＩＭＰは、ｎ枚の画像ＩＭＧのそれぞれにおける領域Ｒ５内の光点として、光点Ｓ５とノイズＮ５とのいずれかをランダムに検出してしまう可能性がある。そして、このような場合に、例えば、ｎ枚の画像ＩＭＧのそれぞれにおける領域Ｒ５から検出された光点の位置に基づいて算出される距離は、図３に示すように、対応する領域内にノイズが含まれない場合に比べて大きくばらつくことになる。

図３は、図１に示した測定装置ＭＥによって得られる距離の例を示す。図３において、横軸ｔは時間を示し、縦軸Ｄは、図１に示した投影装置ＰＲから物体ＴＧに投影された光点までの距離を示す。図３の例では、時刻Ｔ１，Ｔ２，Ｔ３，Ｔ４，Ｔ５，Ｔ６，Ｔ７，Ｔ８，Ｔ９，Ｔ１０のそれぞれにおいて、図１に示した撮像部ＣＡＭによる撮影によって画像ＩＭＧが取得された場合について説明する。なお、撮像部ＣＡＭによる撮影によって取得される画像ＩＭＧの枚数は、図３に示した時刻の数である１０に限らず、２以上であれば、１０未満でも、１０より多くてもよい。

図３において、各時刻Ｔ１〜Ｔ１０に対応して示した白丸は、各時刻に撮影された画像ＩＭＧから、図１に示した画像処理部ＩＭＰにより、図２に示した領域Ｒ５から検出された光点の位置に基づいて算出された距離の例を示す。一方、各時刻Ｔ１〜Ｔ１０に対応して示した黒丸は、例えば、図２に示した光点Ｓ４に対応する領域内にノイズＮ５のようなノイズが含まれていない場合について、各時刻に撮影された画像ＩＭＧから検出された光点Ｓ４の位置に基づいて算出された距離の例を示す。

図３の例では、白丸で示される距離は、幅Ｄｖ５の範囲でばらついているのに対して、黒丸で示される距離のばらつきの範囲は、幅Ｄｖ５よりも小さい幅Ｄｖｃとなっている。そして、白丸で示される距離のばらつきが黒丸で示される距離のばらつきよりも大きくなる原因は、図２に示した領域Ｒ５内の光点として、本来の光点である光点Ｓ５とノイズＮ５とが、例えばランダムに検出されることにある。なお、図３の例は、時刻Ｔ１，Ｔ３，Ｔ４，Ｔ７及びＴ８に撮影された画像ＩＭＧの領域Ｒ５から、本来の光点である光点Ｓ５が検出され、他の時刻に撮影された画像ＩＭＧの領域Ｒ５から、ノイズＮ５が光点Ｓ５の代わりに検出された場合を示している。

即ち、所定の時間中に撮影されたｎ枚の画像ＩＭＧ内のある光点の位置に基づいて算出された距離の分散が大きいほど、各画像ＩＭＧから当該光点とノイズとが混在して検出されている可能性が高い。そして、例えば、パターンＰＴに含まれる光点Ｓ５として誤ってノイズＮ５を検出した場合に、検出したノイズＮ５の位置に基づいて求められた距離は、物体ＴＧに投影された光点Ｓ５までの距離とは異なる。したがって、図２において白丸で示した光点Ｓ５について得られた距離の平均値は、物体ＴＧに投影された光点Ｓ５と投影装置ＰＲとの間の距離を示さない値となり、距離の測定結果としての信頼度は、ノイズＮ５がない場合に比べて低くなる。つまり、図１に示した評価部１３によって、式（１）などを用いて求められた信頼度は、測定装置ＭＥによる距離の算出に用いられた各光点の位置の中に、図２に示したノイズＮ５のようなノイズが含まれている可能性の低さを示している。

図４は、図１に示した評価部１３により求められた信頼度の例を示す。図４（Ａ）は、図２に示した光点Ｓ１〜Ｓ９について、図１に示した測定装置ＭＥによって得られた距離と、評価部１３によって得られた信頼度との対応関係を示す。また、図４（Ｂ）は、図１に示した測定装置ＭＥにより、図２に示した光点Ｓ１〜Ｓ９について得られた距離に基づいて、パターンＰＴが投影された物体ＴＧの形状を認識した結果の例を示す。

図４（Ａ）の例において、光点Ｓ１に対応して示した値［１５００］は、光点Ｓ１について、測定装置ＭＥによって得られた距離を示し、同じく光点Ｓ１に対応して示した値［０．１０］は、評価部１３によって求められた信頼度を示す。同様に、図４（Ａ）の表は、光点Ｓ２，Ｓ３，Ｓ４，Ｓ５のそれぞれについて、測定装置ＭＥにより、距離［１５１０］，距離［１４９０］，距離［１４８０］，距離［２８６０］が得られたことを示す。また、図４（Ａ）の表は、光点Ｓ６，Ｓ７，Ｓ８，Ｓ９のそれぞれについて、測定装置ＭＥにより、距離［１４９０］，距離［１５００］，距離［１４８０］，距離［１５１０］が得られたことを示す。また、図４（Ａ）の表は、光点Ｓ２，Ｓ３，Ｓ４，Ｓ５のそれぞれについて、評価部１３により、信頼度［０．１１］，信頼度［０．１２］，信頼度［０．０８］，信頼度［０．０１］が得られたことを示す。同様に、図４（Ａ）の表は、光点Ｓ６，Ｓ７，Ｓ８，Ｓ９のそれぞれについて、評価部１３により、信頼度［０．１０］，信頼度［０．１１］，信頼度［０．０９］，信頼度［０．１１］が得られたことを示す。

図４（Ａ）において、各光点Ｓ１〜Ｓ９に対応して示した距離及び信頼度を互いに比較すれば、光点Ｓ５以外の各光点に対応して得られた距離及び信頼度がほぼ同等の値を示していることが分かる。これに対して、光点Ｓ５に対応して示された距離［２８６０］は、他の光点に対応する距離の平均値の２倍に近い値である。一方、光点Ｓ５に対応して示された信頼度［０．０１］は、他の光点に対応する信頼度の平均値（図４（Ａ）の例では０．０９）の半分未満の値である。即ち、図２に示した光点Ｓ５は、図１に示した評価部１３により、信頼度が、例えば隣接する各光点について得られた信頼度の平均値の半分程度に設定された第１閾値以下であるとされた第１光点の一例である。

そして、図４（Ａ）に示した光点Ｓ５に対応する距離のように、信頼度が第１閾値よりも低い距離を、他の光点について得られた距離と区別せずに物体ＴＧの形状の認識に用いると、物体ＴＧの形状を実際とは異なる形状として認識してしまう場合がある。

例えば、図４（Ｂ）は、光点Ｓ５について、他の光点に対応して得られた距離の２倍近い距離が得られたことから、図１に示した認識部１５により、物体ＴＧの形状が、中央部に凹みを有する形状Ｒｂとして認識された例を示している。なお、図４（Ｂ）において、中央部の凹みは、白抜きで示されている。

図５は、図１に示した補正部１４により補正された距離の例を示す。図５（Ａ）は、図１に示した補正部１４により、図２に示した光点Ｓ５について測定装置ＭＥで得られた距離を、光点Ｓ５に隣接する光点Ｓ１〜Ｓ４及び光点Ｓ６〜Ｓ９について得られた距離に基づいて補正した例を示す。また、図５（Ｂ）は、図５（Ａ）に示した補正後の距離を用いて、図１に示した認識部１５により、パターンＰＴが投影された物体ＴＧの形状を認識した結果の例を示す。

図５（Ａ）に示した表において、光点Ｓ５以外の各光点に対応して示された距離は、図４（Ａ）に示した距離と同等である。そして、図５（Ａ）の表において、光点Ｓ５に対応して示された距離［１４９５］は、図１に示した補正部１４により、光点Ｓ５に隣接する各光点に対応して得られた距離から算出された補正後の距離を示す。ここで、光点Ｓ５に隣接する光点とは、図２に示した光点Ｓ１〜Ｓ４及び光点Ｓ６〜Ｓ９であり、図５（Ａ）の例は、補正部１４により、光点Ｓ５の補正後の距離として、これらの光点に対応する距離の平均値を求めた場合を示す。

以上に説明した補正部１４により求められる光点Ｓ５に対応する補正後の距離は、信頼度を考慮せずに光点Ｓ１〜Ｓ９について得られた距離を平均することで得られる値に比べて、確からしい値となる。なぜなら、補正部１４により求められる光点Ｓ５に対応する補正後の距離は、光点Ｓ５に対応して得られた信頼度の低い距離の影響を受けないからである。つまり、図１に示した補正部１４による補正を行うことにより、認識部１５は、信頼度を考慮せずに単なる平滑化を行った場合に比べて、パターンＰＴに含まれる各光点について確からしい距離の測定結果に基づいて物体を認識することができる。

なお、信頼度が所定の閾値以下と評価された光点について得られた距離の補正に用いる情報は、図４の例に限らず、図１に示したパターンＰＴにおいて、低い信頼度が得られた光点に他の光点よりも近接して配置された光点から得られる情報であればよい。例えば、補正部１４は、光点Ｓ５に隣接する光点Ｓ２，Ｓ４，Ｓ６，Ｓ８について得られた距離を用いて、光点Ｓ５に対応して得られた距離を置き換えるための補正値を算出してもよい。また、より好ましくは、補正部１４は、低い信頼度が得られた光点に近接して配列された光点の中で、所定の閾値以上の信頼度が得られた光点に対応して得られた距離を選択的に用いて、信頼度が低いとされた光点に対応する補正後の距離を求めることが望ましい。

図５（Ａ）に示したように補正された光点Ｓ５に対応する距離は、他の光点について得られた距離とともに、図１に示した認識部１５による物体ＴＧの形状の認識に用いられる。この場合に、認識部１５は、図５（Ｂ）に示すように、中央部に凹みを持たない形状として、物体ＴＧの形状を認識することが可能となる。

図６は、図１に示した物体認識装置１０の動作を示す。図６に示したステップＳ３０１〜ステップＳ３０４の処理は、図１に示した物体認識装置１０の動作を示すとともに、物体認識方法および物体認識プログラムの例を示す。例えば、図６に示す処理は、物体認識装置１０に搭載されたプロセッサが物体認識プログラムを実行することで実現される。なお、図６に示す処理は、物体認識装置１０に搭載されるハードウェアによって実行されてもよい。

ステップＳ３０１において、図１に示した記録部１１は、パターンＰＴに含まれる各光点について、測定装置ＭＥにより所定の時間中に複数回測定された距離のそれぞれを記録する。

ステップＳ３０２において、図１に示した第１算出部１２は、パターンＰＴに含まれる光点毎に、所定の時間中に各光点に対応して記録部１１に記録された複数の距離の分散を算出する。

ステップＳ３０３において、図１に示した評価部１３は、第１算出部１２で算出された分散に基づいて、各光点に対応して記録部１１に記録された距離の信頼度を評価する。

ステップＳ３０４において、図１に示した補正部１４は、評価部１３により、信頼度が第１閾値以下であるとされた第１光点に対応して記録部１１に記録された距離を、第１光点に隣接する他の光点に対応して記録部１１に記録された距離を用いて補正する。

そして、ステップＳ３０４の処理の終了後に、図１に示した認識部１５は、記録部１１に各光点に対応して記録された補正後の距離に基づいて、パターンＰＴが投影された領域内の物体ＴＧの形状を認識する処理を行う。

以上に説明したように、図１に示した物体認識装置１０は、物体ＴＧの表面に投影された各光点について測定装置ＭＥによる複数回の測定で得られた距離の分散から、各光点に対応して測定された距離の信頼度を評価する。そして、物体認識装置１０は、信頼度が第１閾値以下であるとされた第１光点に対応して記録された距離を、第１光点に隣接する他の光点に対応して記録された距離を用いて補正する。これにより、認識部１５は、物体ＴＧの表面に投影された各光点までの距離として確からしい値を用いて、物体ＴＧの形状を認識することができるので、物体ＴＧの形状が誤って認識される可能性は、測定された距離の信頼度を考慮しない場合に比べて低減される。

図７は、物体認識装置の別実施形態を示す。なお、図７に示す構成要素のうち、図１に示した構成要素と同等のものは、同一の符号で示すとともに構成要素の説明を省略する場合がある。

図７に示した物体認識装置１０ａは、図１に示した記録部１１と補正部１４と認識部１５とともに、第１算出部１２ａと、評価部１３ａとを含み、更に、図１に示した測定装置ＭＥを含んでいる。第１算出部１２ａは、図１に示した第１算出部１２に相当する構成要素であり、分散算出部１２１と、平均算出部１２２と、差分算出部１２３とを含んでいる。また、評価部１３ａは、図１に示した評価部１３に相当する構成要素であり、信頼度算出部１３１と検出部１３２と調整部１３３とを含んでいる。

第１算出部１２ａに含まれる分散算出部１２１は、パターンＰＴに含まれる各光点に対応して記録部１１に記録されたｎ個の距離の分散Ｖの算出に、式（１）に代えて、例えば、式（３）などを用いる。これにより、分散算出部１２１は、各光点に対応して記録部１１に記録されたｎ個の距離のそれぞれと、一つ前の測定で得られた距離との差分の絶対値の総和を、各光点に対応して記録された距離の分散Ｖとして求める。なお、式（３）において、数値ｊは、ｎ以下の正の整数であってｎ回の測定の中での測定順を示し、変数Ｄ（ｊ）は、パターンＰＴに含まれるある光点について、ｊ番目の測定で得られた距離を示す。

また、平均算出部１２２は、パターンＰＴに含まれる光点毎に、各光点に対応して記録部１１に記録されたｎ個の距離の平均値Ａｖを算出する。例えば、平均算出部１２２は、図２に示した光点Ｓ１〜Ｓ９のそれぞれに対応して記録部１１に記録されたｎ個の距離から、光点Ｓ１〜Ｓ９のそれぞれに対応する距離の平均値Ａｖを算出する。

そして、差分算出部１２３は、パターンＰＴに含まれる光点から順次に選択した光点について算出された距離の平均値Ａｖと、選択した光点に隣接する他の光点について算出された距離の平均値Ａｖを更に平均化することで得られた値との差分ｄを算出する。例えば、差分算出部１２３は、図２に示した光点Ｓ５について算出された距離の平均値Ａｖと、光点Ｓ５に隣接する８個の光点についてそれぞれ算出された８個の距離の平均値Ａｖを更に平均化することで得られた値との差分ｄを算出する。

即ち、平均算出部１２２および差分算出部１２３は、各光点に対応して記録部１１に記録された距離の平均値と、当該光点に隣接する複数の光点に対応して記録された距離の平均値との差分ｄを求める第２算出部の一例である。

分散算出部１２１により各光点に対応して算出された距離の分散Ｖは、評価部１３ａの信頼度算出部１３１に渡される。一方、差分算出部１２３により各光点に対応して算出された差分ｄは、評価部１３ａの検出部１３２に渡される。なお、分散算出部１２１によって算出される距離の分散Ｖと、平均算出部１２２により算出される距離の平均値Ａｖと、分散算出部１２１により算出される差分ｄとの例については、図８を用いて後述する。

評価部１３ａに含まれる信頼度算出部１３１は、各光点までの距離の分散Ｖを分散算出部１２１から受け、受けた距離の分散Ｖに基づいて、各光点に対応して記録部１１に記録された距離の信頼度ｒを算出する。信頼度算出部１３１は、例えば、式（４）に示す距離の分散Ｖの関数Ｆ（Ｖ）を用いて、各光点に対応して記録された距離の信頼度ｒを算出する。

なお、信頼度算出部１３１において信頼度ｒの算出に用いる関数Ｆ（Ｖ）は、式（４）に示した関数Ｆ（Ｖ）限られない。信頼度算出部１３１は、関数Ｆ（Ｖ）として、分散算出部１２１で得られた距離の分散Ｖが大きいほど小さい値を持つ信頼度ｒを与える関数であればどのような関数を用いてもよく、例えば、式（２）に示した関数を用いてもよい。信頼度算出部１３１によって各光点に対応して算出された信頼度ｒは、調整部１３３に渡される。

一方、評価部１３ａに含まれる検出部１３２は、差分算出部１２３により各光点に対応して算出された差分ｄを受け、受けた差分ｄが第２閾値以上となる光点を、周囲の光点に対応して記録された距離と異なる距離が得られた第２光点として検出する。ここで、検出部１３２において、ある光点が第２光点であるか否かを判定するための第２閾値は、例えば、当該光点に隣接する複数の光点について平均算出部１２２で算出された距離の平均値Ａｖの２０パーセント程度の値に設定されることが望ましい。

図７に示した調整部１３３は、検出部１３２によって検出された第２光点を示す情報と、信頼度算出部１３１により、各光点について算出された信頼度ｒとを受ける。そして、調整部１３３は、各光点について信頼度算出部１３１から受けた信頼度ｒのうち、第２光点として検出された光点に対応する信頼度ｒに、例えば、１より小さい所定の係数を乗じることにより、第２光点について得られた信頼度ｒを調整する。つまり、調整部１３３は、第２光点について得られた信頼度ｒを小さくする方向に変化させる調整を行うことで、第２光点として検出された光点の信頼度ｒを、他の光点に対応する信頼度ｒに比べて低い値とする。そして、調整部１３３によって調整された信頼度ｒは、補正部１４に渡され、補正部１４による各光点の距離の補正に用いられる。

図８は、図７に示した測定装置ＭＥによって得られる距離の例を示す。なお、図８に示す要素のうち、図３に示した要素と同等のものは、同一の符号で示すとともに要素の説明を省略する場合がある。図８は、図７に示した物体ＴＧが投影装置ＰＲから遠ざかる方向に移動する場合に、時刻Ｔ１から時刻Ｔ１０までの各時刻において、測定装置ＭＥにより、図７に示した各光点についての測定を行うことで得られた距離を示す。

図８において、各時刻Ｔ１〜Ｔ１０に対応して示した白丸は、図７に示した光点Ｓ５の検出に用いる領域に図２に示したノイズＮ５と同様のノイズが含まれる場合に、各時刻における測定装置ＭＥの測定で得られる距離の例を示す。一方、図８において各時刻Ｔ１〜Ｔ１０に対応して示した黒丸は、ノイズが含まれない領域から検出された光点の位置に基づいて、測定装置ＭＥによって測定された距離の例を示す。例えば、図７に示したパターンＰＴに含まれる光点Ｓ５以外の各光点に対応する領域にノイズが含まれない場合に、各領域から検出された光点について得られた距離は、いずれも図８に黒丸で示した分布と同様の分布を示す。

図８に示した黒丸の分布から分かるように、ノイズが含まれない領域から検出された光点の位置に基づいて得られた距離は、物体ＴＧの移動による距離の変化を示す直線Ｌｃに沿って分布する。一方、図８に示した白丸の分布から分かるように、光点Ｓ５について測定によって得られた距離は、光点Ｓ５の検出に用いられる領域内のノイズと光点Ｓ５とのどちらかがランダムに検出されるために、折れ線Ｌ５のように不規則に変化する。

このため、図８に白丸で示した各距離に基づいて、図７に示した分散算出部１２１により、式（３）を用いて算出される距離の分散Ｖの値は、図８に黒丸で示した各距離に基づいて、分散算出部１２１で算出される距離の分散Ｖの値に比べて大きくなる。したがって、図８に白丸で示した各距離について、図７に示した信頼度算出部１３１により式（４）を用いて算出される信頼度ｒの値は、図８に黒丸で示した各距離について算出される信頼度ｒに比べて小さくなる。

即ち、分散算出部１２１により、例えば、式（３）を用いて距離の分散Ｖを算出し、算出された距離の分散Ｖを用いて、信頼度算出部１３１により信頼度ｒを算出することで、図１に示した物体ＴＧの移動を考慮した信頼度ｒを算出することができる。

ところで、図１に示した物体ＴＧの表面が平面又はなめらかな曲面である場合に、物体ＴＧの表面に投影されたパターンＰＴに含まれる各光点について測定される距離は、ほぼ同等あるいは各光点の画像ＩＭＧにおける位置に応じて連続的に変化する。したがって、図２に示した各光点について、図７に示した測定装置ＭＥによって得られた距離のそれぞれが確からしい場合には、各光点に対応して得られた距離の平均値Ａｖは互いに近似しているか、あるいは画像ＩＭＧにおける位置に応じて滑らかな変化を示す。そして、この場合に、ある光点について平均算出部１２２で得られた距離の平均値Ａｖは、当該光点の周囲の光点について得られた距離の平均値Ａｖとほぼ同等の値となる。逆に言えば、ある光点について得た距離の平均値Ａｖが、隣接する複数の光点について得た距離の平均値Ａｖに近似しない場合、即ち、図７に示した差分算出部１２３で得た差分ｄが大きい場合、当該光点について得た距離の信頼度ｒは隣接する光点に比べて低い。ここで、図７に示した差分算出部１２３で各光点について得られる差分ｄは、ある光点について得られた距離の平均値Ａｖが周囲の光点について得られた距離の平均値Ａｖから隔たっている度合い、即ち、ある光点について得られた距離の空間的な分散を示す。したがって、検出部１３２において第２光点の検出に用いる第２閾値は、例えば、隣接する光点の位置との連続性があると判断できる限界を示す値に設定されることが望ましい。この場合に、検出部１３２は、差分算出部１２３で得られた差分ｄが第２閾値以上である光点を、測定装置ＭＥによって測定された距離の信頼度が他の光点よりも低い第２光点として検出できる。

図８の例では、図２に示した光点Ｓ５につき得られた距離の平均値Ｄａ５と、図２にて光点Ｓ５に隣接する各光点について得られた距離の平均値Ｄａｃとの差分ｄは、平均値Ｄａｃの２０パーセント程度に設定された第２閾値Ｔｈ２よりも大きくなっている。この場合に、検出部１３２は、光点Ｓ５を第２光点の一つとして検出したことを示す情報を、図７に示した調整部１３３に渡す。そして、調整部１３３は、光点Ｓ５について信頼度算出部１３１で得られた信頼度ｒに、１より小さい所定の係数を乗じることにより、元の信頼度ｒよりも小さい値に調整された信頼度ｒを求める。

即ち、検出部１３２と調整部１３３とを有する評価部１３ａは、パターンＰＴにおいて周囲に分布する他の光点から得られた距離との連続性を満たさない第２光点の信頼度を、他の光点の信頼度よりも低く評価することができる。これにより、評価部１３ａは、例えば、測定装置ＭＥによるｎ回の測定の全てでノイズが光点Ｓ５として誤って検出された場合にも、光点Ｓ５について得られた距離の信頼度ｒを、周囲の光点の距離の信頼度ｒよりも低く評価できる。

以上に説明したように、図７に示した物体認識装置１０ａの第１算出部１２ａは、図１に示した物体ＴＧの移動する場合にも、パターンＰＴに属する各光点としてノイズが検出されている可能性の高さを示す距離の分散を求めることができる。また、検出部１３２と調整部１３３とを有する評価部１３ａは、パターンＰＴに含まれる各光点の距離が周囲の光点から得られた距離との連続性を満たさない場合に、当該光点の距離の信頼性を低く評価する。したがって、物体認識装置１０ａは、物体ＴＧの移動とともに、各光点について得られる距離の空間的な連続性を考慮して、各光点に対応して記録された距離の信頼度を求めることができる。そして、物体認識装置１０ａは、求めた信頼度に応じて補正部１４により補正された各光点までの距離に基づいて、認識部１５により、物体ＴＧの形状を認識する。これにより、物体認識装置１０ａは、物体ＴＧの移動や各光点についての測定で得られる距離の空間的な連続性を考慮しない場合に比べて、高い精度で物体ＴＧの形状を認識することができる。

次に、図１に示した評価部１３や図７に示した評価部１３ａにより、各光点に対応して得られた信頼度ｒを、物体ＴＧの形状の認識に用いる方法について説明する。

図９は、物体認識装置の別実施形態を示す。なお、図９に示す構成要素のうち、図１または図７に示した構成要素と同等のものは、同一の符号で示すとともに構成要素の説明を省略する場合がある。

図９に示した物体認識装置１０ｂは、図１に示した記録部１１と第１算出部１２と評価部１３と補正部１４とともに、認識部１５ｂを含んでいる。図９に示した認識部１５ｂは、図１に示した認識部１５に相当する構成要素であり、設定部１５１と形状算出部１５２とを有する。

図９に示した設定部１５１は、評価部１３により各光点に対応して得られた信頼度ｒを受け、受けた信頼度ｒに基づいて、各光点に対応して記録部１１に記録された距離に、信頼度が低いほど小さい重みを設定する。設定部１５１は、例えば、各光点に対応して評価部１３から受けた信頼度ｒを、各光点に対応して記録部１１に記録された距離の重みとして設定する。

また、形状算出部１５２は、設定部１５１により各光点に対応して設定された重みを用いて、各光点に対応して記録部１１に記録された距離から物体ＴＧの形状を求める。例えば、形状算出部１５２は、各光点についての測定で得られた距離に、設定部１５１で設定された重みをつけた回帰分析などにより、物体ＴＧの表面の形状を表す平面あるいは曲面を求める。

これにより、形状算出部１５２は、評価部１３により信頼度ｒが低いとされた光点について得られた距離よりも、信頼度ｒが高いとされた光点について得られた距離を忠実に反映する形状を、物体ＴＧの形状として求めることができる。

また、形状算出部１５２は、物体ＴＧの形状を示す情報の一つとして、例えば、パターンＰＴが投影された物体ＴＧの表面を示す図形の重心を、各光点について設定部１５１により設定された重みを考慮して求めてもよい。形状算出部１５２は、物体ＴＧの表面を示す図形の重心までの距離ｃの算出に、例えば、式（５）を用いる。式（５）において、ベクトルＸ（ｋ）は、例えば、図１に示した平面ＰＬにパターンＰＴが投影された場合に、パターンＰＴに含まれるｋ番目の光点が投影される位置を示す位置ベクトルである。また、式（５）において、符号ｈ（ｋ）は、ｋ番目の光点についての測定で得られた距離を示し、符号ｗ（ｋ）は、ｋ番目の光点について設定部１５１で設定された重み（例えば、信頼度ｒ）を示す。ここで、数値ｋは、パターンＰＴに含まれる光点の数Ｎ以下の正の整数である。

以上に説明した認識部１５ｂは、各光点に対応して求められた信頼度ｒに基づいて設定された重みを用いて、パターンＰＴが投影された物体ＴＧの表面の形状を求めることができる。これにより、認識部１５ｂは、補正部１４によって補正された距離を反映しつつ、評価部１３により、信頼度が高いとされた距離を重視して、物体ＴＧの形状を認識することができる。したがって、認識部１５ｂは、物体ＴＧの形状の認識において、各光点について得られた距離の信頼度を考慮しない場合に比べて、物体ＴＧの形状を誤って認識する可能性を低減することができる。

次に、図１に示した評価部１３や図７に示した評価部１３ａにより、各光点に対応して得られた信頼度ｒを、物体ＴＧの認識に用いる特徴量として用いる方法について説明する。

図１０は、物体認識装置の別実施形態を示す。なお、図１０に示す構成要素のうち、図１に示した構成要素と同等のものは、同一の符号で示すとともに構成要素の説明を省略する場合がある。

図１０に示した物体認識装置１０ｃは、図１に示した記録部１１と第１算出部１２と評価部１３と補正部１４とともに、認識部１５ｃを含んでいる。図１０に示した認識部１５ｃは、図１に示した認識部１５に相当する構成要素であり、抽出部１５３と保持部１５４と特定部１５５とを有する。

抽出部１５３は、物体ＴＧに投影されたパターンＰＴに含まれる複数の光点に対応して評価部１３で得られる信頼度から、物体ＴＧの特徴を抽出する。抽出部１５３は、例えば、物体ＴＧに投影された各光点について評価部１３で得られた信頼度を、信頼度の範囲を分割した複数の階級毎に集計することで、物体ＴＧに投影された光点に対応して得られた信頼度の度数分布を、物体ＴＧの特徴の一つとして求める。また、抽出部１５３は、各光点に対応して記録部１１に記録された距離の度数分布を、距離の範囲を分割した複数の階級毎に集計することで、物体ＴＧに投影された光点までの距離の度数分布を、物体ＴＧの特徴の別の一つとして求める。なお、抽出部１５３により、物体ＴＧの特徴として求められる距離の度数分布及び信頼度の度数分布については、図１１及び図１２を用いて後述する。

保持部１５４は、複数種類の物体のそれぞれの特徴を示す情報として、複数の種類の物体の各々に投影された複数の光点のそれぞれについて予め求められた距離の信頼度を示す情報を保持する。保持部１５４は、例えば、複数種類の物体のそれぞれにパターンＰＴが投影された場合に、パターンＰＴに含まれる複数の光点の位置に基づく測定で得られる距離の度数分布と、測定で得られる距離の信頼度の度数分布とを示す情報を、物体の種類毎に予め保持する。なお、保持部１５４に予め保持される距離の度数分布及び信頼度の度数分布については、抽出部１５３で物体ＴＧの特徴として求められる距離の度数分布及び信頼度の度数分布と合わせて、図１１及び図１２を用いて後述する。

特定部１５５は、抽出部１５３で求められた距離の度数分布及び信頼度の度数分布を、物体ＴＧの特徴を示す情報として受ける。そして、特定部１５５は、保持部１５４に保持された複数種類の物体のそれぞれの特徴を示す情報の中で、他の種類の物体の特徴よりも抽出部１５３で抽出された物体ＴＧの特徴に類似する特徴を持つ種類の物体を、物体ＴＧの種類として特定する。そして、特定部１５５は、特定した物体の種類を示す情報を、物体認識装置１０ｃによる認識結果として出力する。

ここで、パターンＰＴが投影される領域内にある物体ＴＧの特徴と、図１０に示した測定装置ＭＥで得られる距離の信頼度との関係について説明する。

図１１は、物体の種類毎の特徴の例を示す。図１１（Ａ），（Ｂ）のそれぞれは、眼鏡をかけていない人物ＱＡと眼鏡を掛けた人物ＱＢとのそれぞれにパターンＰＴを投影した場合に、図１０に示した測定装置ＭＥによる測定の過程で得られるｎ枚の画像ＩＭＧのうちの１枚の例を示す。また、図１１（Ｃ），（Ｄ）のそれぞれは、図１１（Ａ），（Ｂ）のそれぞれに示した画像ＩＭＧに含まれる光点の位置から求められた距離につき、図１０に示した評価部１３により求められた信頼度の例を示す。

図１１（Ａ），（Ｂ）において、パターンＰＴは、４行５列で配列された２０個の光点Ｓ１，Ｓ２，Ｓ３，Ｓ４，Ｓ５，Ｓ６，Ｓ７，Ｓ８，Ｓ９，Ｓ１０，Ｓ１１，Ｓ１２，Ｓ１３，Ｓ１４，Ｓ１５，Ｓ１６，Ｓ１７，Ｓ１８，Ｓ１９，Ｓ２０を含んでいる。なお、パターンＰＴに含まれる光点の数及び光点の配列の仕方は、図１１（Ａ），（Ｂ）に示したように２０個の光点を４行５列に配列する場合に限られず、Ｎ（Ｎは２以上の整数）個の光点を２次元で分布させる配列であればよい。例えば、パターンＰＴは、Ｎ個の光点を同心円状に配列させたパターンでもよい。また、図１１（Ａ），（Ｂ）のそれぞれにおいて破線で示した人物ＱＡ，ＱＢの輪郭は、人物ＱＡ，ＱＢとパターンＰＴに含まれる各光点との位置関係の説明のために示したものであり、実際の画像ＩＭＧには含まれない。

図１１（Ａ），（Ｂ）において、黒丸で示した光点Ｓ２，Ｓ３，Ｓ４，Ｓ６，Ｓ７，Ｓ８，Ｓ９，Ｓ１０，Ｓ１１，Ｓ１２，Ｓ１３，Ｓ１４，Ｓ１５，Ｓ１７，Ｓ１８，Ｓ１９のそれぞれは、人物ＱＡ，ＱＢのそれぞれに投影された光点を示す。即ち、図１１（Ａ），（Ｂ）において、黒丸で示した光点Ｓ２〜Ｓ４，Ｓ６〜Ｓ１５，Ｓ１７〜Ｓ１９のそれぞれは、画像ＩＭＧに含まれる光点である。一方、図１１（Ａ），（Ｂ）において白丸で示した光点Ｓ１，Ｓ５，Ｓ１６，Ｓ２０は、人物ＱＡ，ＱＢの後方の空間に投影された光点を示す。このため、図１１（Ａ），（Ｂ）に示した光点Ｓ１，Ｓ５，Ｓ１６，Ｓ２０のそれぞれは、実際の画像ＩＭＧには含まれない。

人間の頭部の形状は、ほぼ同等である。したがって、図１１（Ａ）に黒丸で示した各光点の位置に基づいて、図１０に示した測定装置ＭＥで得られる距離と、図１１（Ｂ）に黒丸で示した各光点について測定装置ＭＥで得られる距離とは、互いに近似した値となる。

ここで、図１１（Ｂ）に示した光点Ｓ６，Ｓ７，Ｓ９，Ｓ１０は、人物ＱＢが装着している眼鏡の表面に投影されている。このため、図１１（Ｂ）に示した画像ＩＭＧに含まれる光点Ｓ６，Ｓ７，Ｓ９，Ｓ１０に対応して得られた距離について、図１０に示した評価部１３によって得られる信頼度は、他の光点に対応して得られる信頼度に比べて低くなる場合がある。なぜなら、眼鏡の表面は、人物ＱＢの顔の表面に比べて反射率が高いために、眼鏡の表面に投影された光点Ｓ６，Ｓ７，Ｓ９，Ｓ１０の画像ＩＭＧにおける輝度が小さくなり、光点Ｓ６，Ｓ７，Ｓ９，Ｓ１０の検出が困難となるからである。この場合に、外光の反射などによって現れたノイズが、誤って光点Ｓ６，Ｓ７，Ｓ９，Ｓ１０のそれぞれとして検出される可能性が他の光点に比べて高くなる。このために、光点Ｓ６，Ｓ７，Ｓ９，Ｓ１０のそれぞれに対応して得られる信頼度は、他の光点に対応する信頼度に比べて低くなる。

図１１（Ｃ），（Ｄ）に示した矩形の領域のそれぞれは、図１１（Ａ），（Ｂ）のそれぞれに示した光点Ｓ１〜Ｓ２０のそれぞれに対応する。なお、図１１（Ｃ），（Ｄ）において、光点Ｓ１，Ｓ５，Ｓ１６，Ｓ２０に対応する領域に示したバツ印は、図１０に示した測定装置ＭＥによる距離の測定ができなかったことを示している。

図１１（Ｃ），（Ｄ）の例では、信頼度の値の範囲を４つの階級に分割し、光点Ｓ１〜Ｓ２０のそれぞれに対応する信頼度が属する階級を、対応する領域に付す網掛けの種類を変えて示している。図１１（Ｃ），（Ｄ）の例では、信頼度の値の範囲を分割した４つの階級のそれぞれに、大きい値を含む階級から順に、濃い網掛けを付して示している。

つまり、図１１（Ｃ）の例では、光点Ｓ１２，Ｓ１４について得られた信頼度は、最も大きい値を含む階級に属し、光点Ｓ２〜Ｓ４，Ｓ７〜Ｓ９，Ｓ１３，Ｓ１８について得られた信頼度は、次に大きい値を含む階級に属することが示される。そして、図１１（Ｃ）の例では、光点Ｓ６，Ｓ１０，Ｓ１１，Ｓ１５，Ｓ１７，Ｓ１９について得られた信頼度は、３番目に大きい値を含む階級に属することが示される。

一方、図１１（Ｄ）の例では、光点Ｓ１２，Ｓ１４について得られた信頼度は、最も大きい値を含む階級に属し、光点Ｓ２〜Ｓ４，Ｓ８，Ｓ１３，Ｓ１８について得られた信頼度は、次に大きい値を含む階級に属することが示される。そして、図１１（Ｄ）の例では、光点Ｓ１１，Ｓ１５，Ｓ１７，Ｓ１９について得られた信頼度は、３番目に大きい値を含む階級に属し、光点Ｓ６，Ｓ７，Ｓ９，Ｓ１０について得られた信頼度は、最も小さい値を含む階級に属することが示される。

図１１（Ｃ）と、図１１（Ｄ）との比較から分かるように、眼鏡を掛けている人物ＱＢに投影された各光点について得られた信頼度の分布は、眼鏡を掛けていない人物ＱＡに投影された各光点について得られた信頼度の分布とは異なる特徴を示す。例えば、図１１（Ｄ）に示した人物ＱＢに対応する信頼度の分布は、最も小さい値に対応する階級に属する信頼度が、光点Ｓ６，Ｓ７，Ｓ９，Ｓ１０に対応して分布していることを示す。

図１１を用いて説明した信頼度の分布の特徴は、例えば、パターンＰＴに含まれる各光点に対応して得られた信頼度を、信頼度の値の範囲を分割した複数の階級毎に集計することで得られる度数分布によって表すことができる。ここで、図１１を用いて説明したように、信頼度について求めた度数分布は、パターンＰＴが投影された物体の特徴を反映している。したがって、複数種類の物体について、予め信頼度の度数分布を求めておき、求めた信頼度の度数分布を、図１０に示した保持部１５４に保持させれば、パターンＰＴが投影された領域に含まれる物体ＴＧの特定に用いることが可能である。

図１２は、図１０に示した保持部１５４の一例を示す。図１２に示した保持部１５４は、物体の種類毎に、距離の度数分布と信頼度の度数分布とを含む特徴ベクトルを保持している。なお、図１２では、様々な種類の物体に対応する特徴ベクトルの例として、人物ＱＡに対応する特徴ベクトルと人物ＱＢに対応する特徴ベクトルとを示し、他の物体について保持部１５４に保持された特徴ベクトルの図示は省略している。

ここで、距離の度数分布とは、図１０に示したパターンＰＴに含まれる各光点に対応して得られた距離を、距離として得られる値の範囲を分割した複数の階級毎に集計することで得られる度数分布である。

図１２の例では、図１０に示した測定装置ＭＥによる測定結果として得られる距離の範囲を分割した４つの階級Ｃｄ１，Ｃｄ２，Ｃｄ３，Ｃｄ４毎に、パターンＰＴに含まれる各光点について得られた距離を集計することで、距離の度数分布を得る場合を示す。

また、図１２の例では、図１０に示した評価部１３によって得られる信頼度の範囲を分割した４つの階級Ｃｒ１，Ｃｒ２，Ｃｒ３，Ｃｒ４毎に、パターンＰＴに含まれる各光点について得られた信頼度を集計することで、信頼度の度数分布を得る場合を示す。ここで、図１２に示した４つの階級Ｃｒ１，Ｃｒ２，Ｃｒ３，Ｃｒ４のそれぞれは、図１１（Ｃ），（Ｄ）において、網掛けの種類を変えて示した４つの階級のそれぞれに対応する。例えば、図１２に示した階級Ｃｒ１は、図１１（Ｄ）において白色で示した階級であり、最も小さい値を含む階級を示し、図１２に示した階級Ｃｒ４は、図１１（Ｄ）において最も濃い網掛けで示した階級であり、最も大きい値を含む階級を示す。また、図１２に示した階級Ｃｒ３は、図１１（Ｄ）において、階級Ｃｒ４の次に濃い網掛けで示した階級であり、２番目に大きい値を含む階級を示す。そして、図１２に示した階級Ｃｒ２は、図１１（Ｄ）において階級Ｃｒ３の次に濃い網掛けで示した階級であり、３番目に大きい値を含む階級を示す。

図１２に示した保持部１５４に、人物ＱＡに対応して保持された特徴ベクトルは、階級Ｃｒ１〜Ｃｒ４毎に、図１１（Ｃ）に各光点に対応して示した信頼度を集計することで得られた信頼度の度数分布［０，６，８，２］を含んでいる。また、人物ＱＡに対応する特徴ベクトルは、階級Ｃｄ１〜Ｃｄ４毎に、図１１（Ａ）に示した各光点の位置に基づく測定で得られた距離を集計することで得られた距離の度数分布［２，７，５，２］を含んでいる。

また、図１２に示した保持部１５４に、人物ＱＢに対応して保持された特徴ベクトルは、階級Ｃｒ１〜Ｃｒ４毎に、図１１（Ｄ）に各光点に対応して示した信頼度を集計することで得られた信頼度の度数分布［４，４，６，２］を含んでいる。また、人物ＱＢに対応する特徴ベクトルは、階級Ｃｄ１〜Ｃｄ４毎に、図１１（Ｂ）に示した各光点の位置に基づく測定で得られた距離を集計することで得られた距離の度数分布［３，８，４，１］を含んでいる。

図１２に示した人物ＱＡ，ＱＢのそれぞれに対応する特徴ベクトルに含まれる距離の度数分布は、人物ＱＡ，ＱＢのそれぞれの形状の特徴を示す。一方、図１２に示した人物ＱＡ，ＱＢのそれぞれに対応する信頼度の度数分布は、例えば、眼鏡のように反射率の高い部分が人物ＱＡ，ＱＢの表面に含まれる度合いなどで示される表面の特徴を示す。

図１１で説明したように、人間の頭部の形状は互いに類似していることから、図１２に人物ＱＡに対応して示した距離の度数分布に含まれる各要素と、人物ＱＢに対応して示した距離の度数分布に含まれる各要素とは互いに近似している。

一方、図１２に人物ＱＡに対応して示した信頼度の度数分布に含まれる階級Ｃｒ１の度数と、人物ＱＢに対応して示した信頼度の度数分布に含まれる階級Ｃｒ１の度数とは、他の階級の度数に比べて大きく異なっている。したがって、信頼度の度数分布を含む特徴ベクトルを比較すれば、例えば、人物ＱＡと人物ＱＢとの間の形状の類似性にかかわらず、パターンＰＴが投影された物体ＴＧが人物ＱＡであるか人物ＱＢであるかを判別することが可能である。

図１０で説明したように、抽出部１５３は、物体ＴＧの特徴を示す情報として、物体ＴＧに投影された各光点について記録部１１に記録された距離の度数分布と、各光点について得られた距離の信頼度の度数分布とを求める。そして、抽出部１５３は、求めた距離の度数分布と信頼度の度数分布とを含む特徴ベクトルを特定部１５５に渡す。

特定部１５５は、例えば、抽出部１５３から受けた特徴ベクトルと、保持部１５４に物体の種類毎に保持された特徴ベクトルのそれぞれとを照合する。そして、特定部１５５は、抽出部１５３から受けた特徴ベクトルに、他の種類に対応する特徴ベクトルよりも類似する特徴ベクトルを見つけ、見つけた特徴ベクトルに対応する物体の種類を特定する。特定部１５５は、特徴ベクトルの照合に基づいて特定した物体の種類を、パターンＰＴが投影された領域内にある物体ＴＧについての認識結果として出力する。

以上に説明したように、図１０に示した認識部１５ｃは、物体ＴＧに投影された各光点について測定装置ＭＥによって得られた距離の度数分布とともに、各光点について得られた距離の信頼度の度数分布を物体ＴＧの特徴として、物体ＴＧの認識に用いる。これにより、図１０に示した認識部１５ｃを有する物体認識装置１０ｃは、例えば、人物ＱＡと人物ＱＢのように形状が類似する物体を、特徴ベクトルに含まれる信頼度の情報に基づいて判別することができる。

なお、図１０に示した抽出部１５３により抽出される物体ＴＧの特徴は、信頼度の度数分布に限らず、各光点に対応して得られる信頼度から抽出可能な情報であればよい。例えば、抽出部１５３は、図１から図４で説明した第１光点が物体ＴＧに投影されたパターンＰＴにおいてどのように分布しているかを示す情報を、パターンＰＴが投影された物体ＴＧの特徴の一つとして抽出してもよい。この場合に、例えば、図１１（Ｃ），（Ｄ）に示したような信頼度の分布を示す情報が、複数種類の物体のそれぞれにパターンＰＴを投影した場合について予め求められ、求められた信頼度の分布を示す情報が、図１０に示した保持部１５４に保持される。なお、複数種類の物体のそれぞれに対応して保持部１５４に保持される信頼度の分布を示す情報は、例えば、図１０に示した物体認識装置１０ｃの記録部１１、第１算出部１２、評価部１３および抽出部１５３の機能を利用して、予め求めることが可能である。

以上に説明した本件開示の物体認識装置１０は、コンピュータ装置を用いて実現することができる。

図１３は、図１０に示した物体認識装置１０ｃのハードウェア構成例を示す。なお、図１３に示した構成要素のうち、図１０に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。

図１３に示したコンピュータ装置ＣＯＭは、プロセッサ２１と、メモリ２２と、ストレージ装置２３と、汎用インタフェース２４と、表示装置２５と、光学ドライブ装置２６と、ネットワークインタフェース２８とを含んでいる。図１３に示したプロセッサ２１と、メモリ２２と、ストレージ装置２３と、汎用インタフェース２４と、表示装置２５と、光学ドライブ装置２６と、ネットワークインタフェース２８とは、バスを介して互いに接続されている。また、汎用インタフェース２４には、図１に示した投影装置ＰＲと同等の機能を有する投影装置ＰＲ１と、図１に示した撮像部ＣＡＭと同等の機能を有するカメラＣＡＭ１とが接続されている。

図１３に示したプロセッサ２１と、メモリ２２と、ストレージ装置２３と、汎用インタフェース２４とは、物体認識装置１０ｃに含まれる。また、プロセッサ２１と、メモリ２２と、ストレージ装置２３と、汎用インタフェース２４と、カメラＣＡＭ１とは、測定装置ＭＥに含まれる。

図１３に示した投影装置ＰＲ１は、例えば、人物Ｑ１とベッドＢＤとを含む所定の領域に、図１０及び図１１で説明したパターンＰＴと同様の、複数の光点を含むパターンＰＴ１を投影する。また、図１３に示したカメラＣＡＭ１は、投影装置ＰＲ１によってパターンＰＴ１が投影された領域を例えば所定の時間間隔で撮影し、撮影によって得られた複数枚の画像ＩＭＧのそれぞれを、汎用インタフェース２４を介してプロセッサ２１に渡す。

また、図１３に示した光学ドライブ装置２６は、光ディスクなどのリムーバブルディスク２７を装着可能であり、装着したリムーバブルディスク２７に記録された情報の読出および記録を行う。

また、コンピュータ装置ＣＡＭは、ネットワークインタフェース２８を介して、インターネットなどのネットワークＮＷに接続されており、ネットワークＮＷに接続されたサーバ装置ＳＶとの間で情報の授受が可能である。

図１３に示したメモリ２２は、コンピュータ装置ＣＯＭのオペレーティングシステムとともに、図１０〜図１２を用いて説明した物体認識処理及び図１で説明した距離の測定処理をプロセッサ２１が実行するためのアプリケーションプログラムを格納している。なお、物体認識処理及び距離の測定処理を実行するためのアプリケーションプログラムは、例えば、光ディスクなどのリムーバブルディスク２７に記録して頒布することができる。そして、リムーバブルディスク２７を光学ドライブ装置２６に装着して読み込み処理を行うことにより、プロセッサ２１は、読み込んだアプリケーションプログラムを、メモリ２２およびストレージ装置２３に格納させてもよい。また、物体認識処理及び距離の測定処理を実行するためのアプリケーションプログラムは、ネットワークインタフェース２８およびネットワークＮＷを介して、例えば、サーバ装置ＳＶからダウンロードされてもよい。そして、ダウンロードされたアプリケーションプログラムは、メモリ２２およびストレージ装置２３に読み込まれることで、プロセッサ２１による実行が可能なアプリケーションプログラムとなる。

プロセッサ２１は、メモリ２２等に格納された物体認識処理のためのアプリケーションプログラムを実行することにより、図１０に示した第１算出部１２と、評価部１３と、補正部１４と、認識部１５に含まれる抽出部１５３及び特定部１５５の機能を果たす。また、プロセッサ２１は、メモリ２２等に格納された距離の測定処理のためのアプリケーションプログラムを実行することで、カメラＣＡＭ１で撮影された画像ＩＭＧに含まれる各光点の位置から、ベッドＢＤおよび人物Ｑ１に投影された各光点までの距離を求める。即ち、プロセッサ２１は、メモリ２２等に格納された距離の測定処理のためのアプリケーションプログラムを実行することで、図１に示した画像処理部ＩＭＰの機能を果たす。プロセッサ２１は、距離の測定処理のためのアプリケーションプログラムを実行することで求めた各光点までの距離を、例えば、メモリ２２あるいはストレージ装置２３の記憶領域内に設けられた記録部１２に記録する。

また、物体認識処理のためのアプリケーションプログラムは、複数種類の物体のそれぞれの特徴を示す情報として、複数種類の物体のそれぞれについて予め求められた特徴ベクトルを含んでいてもよい。この場合に、複数種類の物体のそれぞれについて予め求められた特徴ベクトルは、例えば、ストレージ装置２３の記憶領域の一部に格納されている。即ち、図１０に示した保持部１５４は、ストレージ装置２３の記憶領域の一部を用いて実現されている。

以上に説明したように、図１０に示した物体認識装置１０ｃは、例えば、図１３に示したコンピュータ装置ＣＯＭに含まれるプロセッサ２１と、メモリ２２と、ストレージ装置２３と、汎用インタフェース２４との協働によって実現することができる。

図１４は、図１３に示した物体認識装置１０ｃの動作を示す。図１４に示したステップＳ３００〜ステップＳ３０４及びステップＳ３１１〜ステップＳ３１３の各処理は、物体認識処理のためのアプリケーションプログラムに含まれる処理の一例である。また、ステップＳ３００〜ステップＳ３０４及びステップＳ３１１〜ステップＳ３１３の各処理は、図１３に示したプロセッサ２１によって実行される。なお、図１４に示したステップＳ３０１〜ステップＳ３０４の処理は、図６に示したステップＳ３０１〜ステップＳ３０４の処理と同等の処理である。

プロセッサ２１は、例えば、図１３に示したカメラＣＡＭ１からｎ枚の画像ＩＭＧを受けるごとに、図１４に示したステップＳ３００〜ステップＳ３０４及びステップＳ３１１〜ステップＳ３１３の各処理を実行する。

ステップＳ３００において、プロセッサ２１は、距離の測定処理のためのアプリケーションプログラムを実行することで、カメラＣＡＭ１から受けたｎ枚の画像ＩＭＧのそれぞれに含まれる光点の位置に基づいて、各光点までの距離を測定する。

ステップＳ３０１において、プロセッサ２１は、ステップＳ３００の処理により、ｎ枚の画像ＩＭＧのそれぞれを用いて測定された距離を、各光点に対応してメモリ２２又はストレージ装置２３に設けられた記録部１１に記録する。

ステップＳ３０２において、プロセッサ２１は、各光点に対応して記録部１１に記録されたｎ個の距離の分散を算出する。

ステップＳ３０３において、プロセッサ２１は、ステップＳ３０２の処理で各光点に対応して算出された分散に基づいて、各光点に対応して記録部１１に記録された距離の信頼度を評価する。

ステップＳ３０４において、プロセッサ２１は、ステップＳ３０３の処理で、所定の第１閾値よりも信頼度が低いとされた第１光点に対応して記録された距離を、第１光点に隣接する他の光点に対応して記録された距離を用いて補正する。

ステップＳ３１１において、プロセッサ２１は、記録部１１に各光点に対応して記録された距離と各光点の画像ＩＭＧにおける位置とに基づいて、例えば、パターンＰＴ１に含まれる光点を投影された物体ごとのグループに分ける。例えば、プロセッサ２１は、各光点に対応する距離と各光点の画像ＩＭＧにおける位置とを用いたクラスタリングにより、パターンＰＴ１に含まれる光点を、人物Ｑ１に投影された光点を含むグループとベッドＢＤに投影された光点を含むグループとに分類する。

ステップＳ３１２において、プロセッサ２１は、ステップＳ３１１の処理で得られたグループ毎に、図１１、図１２で説明した特徴ベクトルを求める。

ステップＳ３１２において、プロセッサ２１は、ステップＳ３１２の処理で光点のグループ毎に求めた特徴ベクトルに他の特徴ベクトルよりも類似した特徴ベクトルに対応付けられた物体の種類を、各グループに対応する物体の種類として特定する。

ここで、ストレージ装置２３に設けられた保持部１５４には、ベッドＢＤとともに、人物Ｑ１が様々な姿勢をとっている状態に対応する特徴ベクトルと、互いに異なる種類の物体の特徴を示す特徴ベクトルとして予め保持させておくことが可能である。この場合に、プロセッサ２１は、ステップＳ３１３の処理で特定した物体の種類に基づいて、人物Ｑ１とベッドＢＤとの位置関係や、人物Ｑ１の姿勢などを判別することが可能である。

即ち、図１３に示した物体認識装置１０ｃは、例えば、室内の人物を見守るサービスなどの分野で利用することができる。

以上の詳細な説明により、実施形態の特徴点及び利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で、前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更を容易に想到できるはずである。したがって、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物に拠ることも可能である。

１０，１０ａ，１０ｂ，１０ｃ…物体認識装置；１１…記録部；１２，１２ａ…第１算出部；１３，１３ａ，１３ｂ…評価部；１４…補正部；１５，１５ｂ，１５ｃ…認識部；１２１…分散算出部；１２２…平均算出部；１２３…差分算出部；１３１…信頼度算出部；１３２…検出部；１３３…調整部；１５１…設定部；１５２…形状算出部；１５３…抽出部；１５４…保持部；１５５…特定部；２１…プロセッサ；２２…メモリ；２３…ストレージ装置；２４…汎用インタフェース；２５…表示装置；２６…光学ドライブ装置；２７…リムーバブルディスク；２８…ネットワークインタフェース；ＰＲ，ＰＲ１…投影装置；ＭＥ…測定装置；ＣＡＭ…撮像部；ＣＡＭ１…カメラ；ＩＭＰ…画像処理部；ＴＧ…物体；ＰＴ，ＰＴ１…パターン；ＱＡ，ＱＢ，Ｑ１…人物；ＢＤ…ベッド；ＣＯＭ…コンピュータ装置；ＮＷ…ネットワーク；ＳＶ…サーバ装置

Claims (6)

1. 物体を含む領域に投影された複数の光点を含むパターンを時間間隔を置いて撮影した複数の画像のそれぞれから求められた、前記複数の光点のそれぞれまでの距離を前記各光点に対応して記録する記録部と、
   前記パターンに含まれる前記光点毎に、前記記録部に記録された複数の距離の分散を算出する第１算出部と、
   前記第１算出部で算出された分散に基づいて、前記各光点に対応して記録された距離の信頼度を評価する評価部と、
   前記評価部により、信頼度が第１閾値以下であるとされた第１光点に対応して記録された距離を、前記第１光点に隣接する他の光点に対応して記録された距離を用いて補正する補正部と、
   を備えたことを特徴とする物体認識装置。
2. 請求項１に記載の物体認識装置において、
   前記第１算出部は、前記各光点に対応して前記記録部に記録された前記距離の平均値と、前記光点に隣接する複数の光点に対応して記録された前記距離の平均値との差分を求める第２算出部を有し、
   前記評価部は、
   前記第２算出部で得られる差分が第２閾値以上となる第２光点を検出する検出部を有し、
   前記検出部によって検出された第２光点に対応して記録された距離の信頼度を、他の光点に対応して記録された距離の信頼度よりも低く評価する
   ことを特徴とする物体認識装置。
3. 請求項１又は請求項２に記載の物体認識装置において、
   前記各光点に対応して前記記録部に記録された距離に基づいて、前記領域に含まれる前記物体の形状を認識する認識部を備え、
   前記認識部は、
   前記各光点に対応して前記記録部に記録された距離に、前記評価部によって得られた信頼度が低いほど小さい重みを設定する設定部を有し、
   前記設定部により設定された重みを用いて、前記各光点に対応して記録された距離から前記物体の形状を求める
   ことを特徴とする物体認識装置。
4. 請求項１又は請求項２に記載の物体認識装置において、
   前記各光点に対応して前記記録部に記録された距離に基づいて、前記領域に含まれる前記物体の形状を認識する認識部を備え、
   前記認識部は、
   前記物体に投影された前記パターンに含まれる前記光点毎に前記評価部で得られる信頼度から前記物体の特徴を抽出する抽出部と、
   複数種類の物体のそれぞれの特徴を示す情報として、前記複数種類の物体の各々に投影された前記複数の光点のそれぞれについて予め求められた距離の信頼度を示す情報を保持する保持部と、
   前記保持部に保持された前記複数種類の物体のそれぞれの特徴を示す情報の中で、他の種類の物体の特徴よりも前記抽出部で抽出された前記物体の特徴に類似する特徴を持つ種類の物体を、前記領域に含まれる前記物体の種類として特定する特定部とを有する
   ことを特徴とする物体認識装置。
5. 物体を含む領域に投影された複数の光点を含むパターンを時間間隔を置いて撮影した複数の画像のそれぞれから求められた、前記複数の光点のそれぞれまでの距離を前記各光点に対応して記録し、
   前記パターンに含まれる前記光点毎に記録された複数の距離の分散を算出し、
   前記算出された分散に基づいて、前記各光点に対応して記録された距離の信頼度を評価し、
   前記信頼度が第１閾値以下であるとされた第１光点に対応して記録された距離を、前記第１光点に隣接する他の光点に対応して記録された距離を用いて補正する、
   ことを特徴とする物体認識方法。
6. 物体を含む領域に投影された複数の光点を含むパターンを時間間隔を置いて撮影した複数の画像のそれぞれから求められた、前記複数の光点のそれぞれまでの距離を前記各光点に対応して記録し、
   前記パターンに含まれる前記光点毎に記録された複数の距離の分散を算出し、
   前記算出された分散に基づいて、前記各光点に対応して記録された距離の信頼度を評価し、
   前記信頼度が第１閾値以下であるとされた第１光点に対応して記録された距離を、前記第１光点に隣接する他の光点に対応して記録された距離を用いて補正する、
   処理をコンピュータに実行させることを特徴とする物体認識プログラム。

Images