WO2011078264A1 - 画像処理装置、画像処理方法、コンピュータプログラム及び移動体 - Google Patents

Abstract

画像処理装置であって、距離画像からエッジを抽出するエッジ抽出部と、距離画像において、エッジ抽出部によって抽出されたエッジ部分の画素の距離の値を除去する除去部と、を備える。

Description

画像処理装置、画像処理方法、コンピュータプログラム及び移動体

　本発明は、距離の測定結果におけるノイズを軽減するための技術に関する。
　本願は、２００９年１２月２５日に、日本に出願された特願２００９－２９４３４５号に基づき優先権を主張し、その内容をここに援用する。

　従来から、所定の光源から発せられた光の反射光を受光することによって、対象物体までの距離を測定する距離測定技術が提案されている。例えば、特許文献１には、強度変調した光の投光時と受光時との位相差を用いて対象物体までの距離を測定する距離画像センサが開示されている。

特開２００６－１５３７７３号公報

　しかしながら、従来の距離測定技術では、対象物体上の１箇所のみから反射した光を受光していることを前提として、当該反射の生じた点までの距離を測定していた。そのため、例えば壁から離れて立つ人の輪郭部分のように、手前の部分（この場合は人の部分）と奥の部分（この場合は壁の部分）との距離が急激に変化する箇所の距離を測定しようとすると、距離測定の精度が低下してしまうと言う問題があった。すなわち、所定の光源から発せられた光のうち、一部は手前の部分で反射し、残りは奥の部分で反射してしまう。そのため、同一箇所の距離を測定しようとしているにもかかわらず、結果として複数箇所からの反射光を受光することとなってしまい、測定結果全体として測定精度が低下してしまう問題があった。

　上記事情に鑑み、本発明は、測定しようとする距離が急激に変化する部分を測定領域に含んでいる場合であっても、測定精度の低下の抑止を可能とする技術を提供することを目的としている。

　本発明の一態様は、画像処理装置（例えば、実施形態における距離測定装置１０，距離測定装置１０ａ，物体抽出装置２０）であって、距離画像からエッジを抽出するエッジ抽出部（例えば、実施形態におけるエッジフィルタ部１０２，エッジフィルタ部１０２ｂ）と、前記距離画像において、前記エッジ抽出部によって抽出されたエッジ部分の画素の距離の値を除去する除去部（例えば、実施形態におけるノイズ除去部１０３）と、を備える。

　本発明の一態様は、上記の画像処理装置であって、前記除去部によって前記エッジ部分の画素の距離の値が除去された距離画像から、所定の物体（例えば、実施形態における対象物体）の像を抽出する物体抽出部（例えば、実施形態における物体抽出部２０１）をさらに備え、前記エッジ抽出部は、前記物体抽出部によって前記物体の像が抽出された後に入力された前記距離画像において、前記物体の像が抽出された位置の画素と、前記物体の像が抽出されていない位置の画素とで異なる閾値を用いて前記エッジを抽出することを特徴とする。

　本発明の一態様は、画像処理方法であって、画像処理装置が、距離画像からエッジを抽出するエッジ抽出ステップと、前記画像処理装置が、前記距離画像において、前記エッジ抽出ステップによって抽出されたエッジ部分の画素の距離の値を除去する除去ステップと、を備える。

　本発明の一態様は、コンピュータプログラムであって、距離画像からエッジを抽出するエッジ抽出ステップと、前記距離画像において、前記エッジ抽出ステップによって抽出されたエッジ部分の画素の距離の値を除去する除去ステップと、をコンピュータに実行させるためのコンピュータプログラムである。

　本発明の一態様は、画像処理装置（例えば、実施形態における距離測定装置１０，距離測定装置１０ａ，距離測定装置１０ｂ，物体抽出装置２０）と、前記距離画像を撮像する距離測定部（例えば、実施形態における光学式距離測定部１０１，光学式距離測定部１０１ａ）と、前記距離測定部に対して衝撃が生じるタイミングを推定する衝撃タイミング推定部（例えば、実施形態における衝撃タイミング推定部５０４）と、前記衝撃が生じるタイミングにおいて前記距離測定部によって撮像される前記距離画像に含まれる距離の値を推定する距離推定部（例えば、実施形態における距離推定部５０５）と、前記衝撃が生じるタイミングにおいて前記距離測定部によって撮像された前記距離画像と、前記距離推定部による推定結果とを比較することによって、前記距離画像の信頼度を判定する分別部（例えば、実施形態における分別部５０６）と、を備える移動体（例えば、実施形態における二足歩行ロボット５０）である。

　本発明では、測定しようとする距離が急激に変化する部分を測定領域に含んでいる場合であっても、測定精度の低下を抑止することが可能となる。より具体的には、距離が急激に変化する部分がエッジとして抽出され、エッジ部分の画素の距離の値が除去されるため、エッジ部分で誤って測定された距離の値を除去することができる。

　また、上記の物体抽出部をさらに備えた構成では、物体抽出部によって抽出される物体そのものの画像については、エッジ部分についても距離の値が除去されず、詳細な表面の情報を取得することが可能となる。
　また、上記の移動体では、衝撃が生じた際の測定結果について信頼度を判定することが可能となる。そのため、信頼度の低い測定結果を用いて処理を行うことを避けることによって、処理の精度の低下を抑えることができる。

第一実施形態における距離測定装置の機能構成を表す概略ブロック図である。 横方向のエッジ抽出に用いられるソーベルフィルタの具体例を表す図である。 縦方向のエッジ抽出に用いられるソーベルフィルタの具体例を表す図である。 ラプラシアンフィルタの具体例を表す図である。 第一実施形態における距離測定装置の処理の流れを表すフローチャートである。 ノイズ除去部によるノイズ除去処理の概略を表す図である。 壁面と、壁面の手前に立つ人体とを光学式距離測定部によって撮像して得られる距離画像の具体例を表す図である。 エッジ画像の具体例を表す図である。 距離画像における各画素の値や光学式距離測定部の設置位置などに基づいて、人体及び壁面の三次元座標を表した画像である。 ノイズ除去後距離画像における各画素の値や光学式距離測定部の設置位置などに基づいて、人体及び壁面の三次元座標を表した画像である。 第二実施形態における距離測定装置の機能構成を表す概略ブロック図である。 第二実施形態における距離測定装置の処理の流れを表すフローチャートである。 第三実施形態における物体抽出装置の機能構成を表す概略ブロック図である。 第三実施形態における物体抽出装置の処理の流れを表すフローチャートである。 第四実施形態における距離測定装置の機能構成を表す概略ブロック図である。 第四実施形態における距離測定装置の処理の流れを表すフローチャートである。 第五実施形態における二足歩行ロボットの機能構成を表す概略ブロック図である。 第五実施形態における二足歩行ロボットの処理の流れを表すフローチャートである。

　［第一実施形態］
　図１は、第一実施形態における距離測定装置１０の機能構成を表す概略ブロック図である。距離測定装置１０は、バスで接続されたＣＰＵ（Central Processing Unit）やメモリや補助記憶装置などを備え、距離測定用プログラムを実行することによって、光学式距離測定部１０１、エッジフィルタ部１０２、ノイズ除去部１０３を備える装置として機能する。なお、距離測定装置１０の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されても良い。また、距離測定用プログラムは、上述したようなコンピュータに内蔵されるメモリや補助記憶装置などの記録媒体に限らず、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬の記録媒体に記録されても良い。コンピュータは、記録媒体に記録された距離測定用プログラムを読み出すことによって距離測定装置１０として動作しても良い。

　光学式距離測定部１０１は、発光部及び受光部を備える。光学式距離測定部１０１は、発光部から光を発してその反射光を受光部によって受光することによって、光を反射した物体までの距離を測定する。光学式距離測定部１０１の受光部は、複数の単位受光素子を有し、単位受光素子毎に、受光した光の反射点までの距離を測定する。反射点とは、発光部から発せられた光と物体表面とが交差する点である。単位受光素子とは、ＣＣＤ（Charge Coupled Device Image Sensor）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の受光素子を１又は複数用いて構成され、１つの反射点に対応する距離を測定する単位となる構成である。

　例えば、光学式距離測定部１０１は、発光部から所定の光線（赤外光やレーザー光など）を発光する。発光部から発光された光線は、測定領域中に位置する物体の表面上の点（反射点）で反射する。光学式距離測定部１０１は、物体からの反射光を受光部で受光し、発光から受光までの時間及び光の速度や強度変調光の位相のズレ等に基づいて、各観測点までの距離を測定する。このような光学式距離測定部１０１の具体例としては、ＴＯＦ（Time Of Flight）法により距離を行う光学式距離センサ等がある。なお、光学式距離測定部１０１に適用される技術は、上記のようなＴＯＦ法に限定されない。光学式距離測定部１０１に適用される技術は、光の飛行時間を計測して距離測定を行う技術であればどのような技術であっても良い。光学式距離測定部１０１は、各単位受光素子において測定された反射点までの距離を表す距離画像を生成し出力する。距離画像とは、各画素に対応する単位受光素子によって測定された距離の値を、各画素の画素値とすることによって生成される画像である。

　エッジフィルタ部１０２は、光学式距離測定部１０１によって生成された距離画像からエッジを抽出し、抽出されたエッジを表す画像（エッジ画像）を生成する。具体的には、エッジフィルタ部１０２は、エッジ抽出用フィルタを適用することによって距離画像の各画素についてエッジ評価値を算出する。そして、エッジフィルタ部１０２は、所定の閾値よりも高いエッジ評価値を有する画素をエッジとして抽出する。所定の閾値は、エッジフィルタ部１０２に対して予め与えられる。エッジ抽出用フィルタの具体例として、Ｓｏｂｅｌフィルタ、ラプラシアンフィルタ、Ｃａｎｎｙフィルタ等がある。より具体的には、エッジ抽出用フィルタは、例えば３×３の大きさのフィルタであり、距離画像の全領域、あるいは所定の領域に対して畳み込みを行うためのフィルタである。エッジ抽出部１００は、入力された距離画像からエッジ画像を生成し出力する。エッジ画像とは、抽出されたエッジ部分及びエッジではない部分を表す画像である。エッジ画像は、例えば、エッジ部分を“１”で表し、エッジではない部分を“０”で表す二値画像である。図２Ａ～図２Ｃは、エッジ抽出用フィルタの具体例を表す図である。図２Ａは、横方向のエッジ抽出に用いられるソーベルフィルタの具体例を表す図である。図２Ｂは、縦方向のエッジ抽出に用いられるソーベルフィルタの具体例を表す図である。図２Ｃは、ラプラシアンフィルタの具体例を表す図である。エッジフィルタ部１０２は、図２Ａ～Ｃに示されるようなエッジ抽出用フィルタを用いてエッジを抽出しても良い。なお、ソーベルフィルタを用いる場合には、エッジフィルタ１０２は図２Ａに示されるエッジ抽出用フィルタ及び図２Ｂに示されるエッジ抽出用フィルタの両方を用いて処理を行うことが望ましい。

　ノイズ除去部１０３は、エッジフィルタ部１０２によって生成されたエッジ画像に基づいて、距離画像からノイズを除去する。具体的には、ノイズ除去部１０３は、距離画像の各画素のうち、エッジ画像においてエッジ部分となっている画素の距離データをノイズとして除去する。そして、ノイズ除去部１０３は、エッジ部分となっている全ての画素について距離の値を除去した距離画像を、ノイズ除去後距離画像として出力する。ノイズ除去部１０３は、例えば、エッジ部分となっている各画素の画素値に“０”又は“ＮＵＬＬ”を付与することによって、ノイズを除去する。エッジ部分となっている領域は、距離の値が急激に変化している領域であり、測定精度が低下している領域である。ノイズ除去部１０３は、上記処理を行うことによって、測定精度が低下している領域をノイズとして除去する。

　図３は、第一実施形態における距離測定装置１０の処理の流れを表すフローチャートである。まず、光学式距離測定部１０１が距離画像を生成し出力する（ステップＳ１０１）。次に、エッジフィルタ部１０２が、距離画像に対しエッジ抽出用フィルタを適用することによってエッジを抽出する。そして、エッジフィルタ部１０２は、エッジ画像を生成し出力する（ステップＳ１０２）。次に、ノイズ除去部１０３は、エッジ画像に基づいて距離画像からノイズを除去する（ステップＳ１０３）。

　図４は、ノイズ除去部１０３によるノイズ除去処理の概略を表す図である。図４において、横軸は画素の並びを表し、縦軸は各画素に画素値として納められている距離の値を表す。測定領域内に、光学式距離測定部１０１からの距離が急激に変化する部分がある場合、そのような部分における距離の実測値は、実際の距離の値と異なるノイズとなってしまう。図４では、破線で囲まれたノイズ領域３０内の距離の値が、実際の距離の値と異なってしまう。実際には、ノイズ領域３０内の距離の値は、Ｄ１の範囲又はＤ２の範囲のどちらかに含まれるべき値である。

　このような現象が生じる理由は以下のとおりである。ノイズ領域３０の各画素に対応する単位受光素子は、Ｄ１の距離に位置する物体によって反射された光と、Ｄ２の距離に位置する物体によって反射された光とを受光する。そして、光学式距離測定部１０１は、受光された両方の光に基づいて距離を測定するため、Ｄ１の範囲及びＤ２の範囲のいずれにも属さない値として距離を算出してしまう。

　図５Ａ～図５Ｄは、壁面と、壁面の手前に立つ人体とを光学式距離測定部１０１によって撮像して得られる画像の具体例を表す図である。図５Ａは、距離画像の具体例を表す図である。図５Ａでは、距離画像は、各画素における距離の値に基づいた濃淡画像として表されている。図５Ａから明らかなように、人体の部分は距離がほとんど等しいため、濃淡がほぼ同じ色として表されている。壁面の部分も、距離がほとんど等しいため、人体の部分と同様に濃淡がほぼ同じ色として表されている。これに対し、人体と壁面との境界部分では、距離が急激に変化するため、濃淡の色が急激に変化している。

　図５Ｂ～図５Ｄは、いずれも図５Ａの距離画像から生成された図である。図５Ｂは、エッジ画像の具体例を表す図である。図５Ｂでは、エッジ画像は、所定の閾値に基づいて抽出されたエッジ部分を明部分（画素値１）とし、エッジでない部分を暗部分（画素値０）とした白黒画像として表されている。図５Ｂから明らかなように、人体の部分は距離がほとんど等しいため、エッジが抽出されることなく暗部分として表されている。また、壁面の部分も、距離がほとんど等しいため、エッジが抽出されることなく暗部分として表されている。これに対し、人体と壁面との境界部分では、距離が急激に変化するため、エッジが抽出され明部分として表されている。

　図５Ｃは、距離画像における各画素の値や光学式距離測定部１０１の設置位置などに基づいて、人体及び壁面の三次元座標を表した画像である。図５Ｄは、ノイズ除去後距離画像における各画素の値や光学式距離測定部１０１の設置位置などに基づいて、人体及び壁面の三次元座標を表した画像である。図５Ｃから明らかなように、ノイズ除去前の距離画像では、人体と壁面との境界部分では、人体までの距離と壁面までの距離との間の値（ノイズ）を有する画素が存在している。これに対し、図５Ｄから明らかなように、ノイズ除去部１０３によってノイズ除去処理が行われた後のノイズ除去後距離画像では、人体と壁面との境界部分において、人体までの距離と壁面までの距離との間の値（ノイズ）を有する画素は存在しない。すなわち、ノイズ除去後距離画像では、実際には存在しない距離の値が除去されている。

　このように構成された距離測定装置１０では、距離画像においてエッジが抽出され、エッジ部分の画素の値（距離の値）がノイズとして除去される。そのため、距離が急激に変化する部分を測定領域に含んでいる場合であっても、そのような部分において発生するノイズを除去することが可能となる。したがって、ノイズによる測定精度の低下を抑止することが可能となる。

　また、光学式距離測定部１０１に衝撃が加わった場合、計測誤差が増大してしまうという問題がある。例えば、手前の部分と奥の部分との距離が急激に変化する箇所（境界部分）では上述したように距離測定の精度が低下してしまうが、これと同様に精度が低下してしまう領域が拡大してしまう。例えば、光学式距離測定部１０１に対して衝撃が加わっていない場合には境界部分が１画素分の幅を持った領域であったとしても、衝撃が加わってしまった場合には境界部分が数画素分の幅を持った領域に拡大してしまうことがある。このような衝撃は、例えば光学式距離測定部１０１が移動するロボットに搭載された場合や、光学式距離測定部１０１がパン、ロール、チルト等の動作を行った場合などに生じる。このような問題に対しても、上述した距離測定装置１０では精度の低下を抑止することが可能となる。

　＜変形例＞
　エッジフィルタ部１０２は、エッジ画像に対して細線化処理を行うように構成されても良い。特に、エッジ抽出用フィルタの具体例としてＳｏｂｅｌフィルタが適用された場合、エッジフィルタ部１０２は細線化処理を行うことが望ましい。細線化処理の具体例としては、例えばヒルディチ（Hilditch）の手法などがある。このように細線化処理を行うことによって、ノイズ除去部１０３においてノイズではない部分の距離データを除去してしまうことを抑止できる。

　また、ノイズ除去部１０３は、ノイズとして距離の値が除去された画素に対し、新たな画素値として、エッジ以外の周辺画素に基づいて得られる値を与えるように構成されても良い。例えば、ノイズ除去部１０３は、距離の値が除去された画素に対し、当該画素の周囲８画素分の領域に存在する画素のうち、エッジ以外の画素であって、エッジを境界として一方又は他方いずれかの領域に位置する画素の距離の値の平均値を与えるように構成されても良い。

　また、距離測定装置１０は、光学式距離測定部１０１を備えないように構成されても良い。このように構成された距離測定装置１０は、他の装置から距離画像の入力を受け付け、ノイズ除去後距離画像を出力する。
　また、エッジフィルタ１０２が用いる閾値は、光学式距離測定部１０１の計測精度に応じて予め設定されても良い。例えば、距離の計測精度（ばらつき）が１０ｃｍであれば、それよりも十分に大きい値（例えば５０ｃｍ）が閾値として設定されても良い。

　また、エッジフィルタ１０２は、距離画像の各画素における距離の値に応じて、その画素に対して適用する閾値の大きさを変えても良い。例えば、エッジフィルタ１０２は、距離の値が小さい場合にはより小さい値を閾値として用い、距離の値が大きい場合にはより大きな値を閾値として用いてエッジ画像を生成しても良い。一般的には、距離の値が小さいほど、光学式距離測定部１０１における計測精度は高くなり、距離の値が大きいほど、光学式距離測定部１０１における計測精度は低くなる。そのため、このように構成されることによって、精度に応じた閾値を適応的に設定し、計測精度に応じてノイズを除去することが可能となる。

　また、エッジフィルタ１０２は、エッジ画像を生成する際に、距離の値に対するフィルタを更に適用しても良い。例えば、エッジフィルタ１０２は、距離の値が所定の値（例えば１ｍなど）よりも大きい画素に対しては、エッジ評価値にかかわらずエッジ部分であることを表す値“１”を付与しても良い。このように構成されることによって、所定の距離内に位置する物体のみを処理の対象とすることが可能となる。なお、エッジフィルタ１０２は、距離の値が所定の値よりも小さい画素に対して、エッジ評価値にかかわらずエッジ部分であることを表す値“１”を付与しても良い。

　［第二実施形態］
　図６は、第二実施形態における距離測定装置１０ａの機能構成を表す概略ブロック図である。第二実施形態における距離測定装置１０ａは、光学式距離測定部１０１に代えて光学式距離測定部１０１ａを備える点と、前処理部１０４をさらに備える点で、第一実施形態における距離測定装置１０と異なり、その他の点では距離測定装置１０と同じ構成である。

　光学式距離測定部１０１ａは、距離画像に加えてさらに輝度画像を生成し出力する。光学式距離測定部１０１ａの受光部は、単位受光素子毎に、受光した光の輝度値（強度値）を計測する。輝度画像とは、各画素に対応する単位受光素子によって測定された輝度値を、各画素の画素値とすることによって生成される画像である。

　前処理部１０４は、ゴースト除去処理（エイリアス除去処理）及び平滑化処理を行う。まず、ゴースト除去処理について説明する。前処理部１０４は、距離画像からゴースト部分の画素値（距離の値）を除去する。ゴーストとは、光学式距離測定部１０１ａが強度変調した光の投光時と受光時との位相差を用いて距離の測定を行う場合に生じる像である。すなわち、物体までの距離が強度変調光の波長よりも長い場合に、実際の距離よりも短い距離として測定され、誤った距離の値が画素に付与されることによって生じる像がゴーストである。前処理部１０４は、輝度画像の各画素の輝度値と所定の閾値とを比較し、所定の閾値よりも低い輝度値を有する画素を検出する。そして、前処理部１０４は、距離画像の画素のうち、上記の処理によって検出された画素に対応する画素の画素値（距離の値）を除去する。画素値の除去とは、具体的には、画素値に“０”又は“ＮＵＬＬ”を付与することである。ゴースト部分は、上記のように物体までの距離が他の部分よりも遠いため、他の部分で受光される光に比べて光の強度が減衰している。そのため、上記のような処理によってゴースト部分を除去できる。

　次に、平滑化処理について説明する。前処理部１０４は、ゴースト除去処理がなされた距離画像に対し平滑化フィルタを適用することによって、画素値（距離の値）の平滑化を行う。平滑化フィルタの具体例として、メディアンフィルタ、ガウシアンフィルタ等がある。前処理部１０４は、ゴースト除去処理及び平滑化処理を距離画像に対して行うことによって、前処理後距離画像を生成する。第二実施形態における距離測定装置１０ａでは、エッジフィルタ部１０２及びノイズ除去部１０３は、距離画像に代えて前処理後距離画像を処理の対象とする。

　図７は、第二実施形態における距離測定装置１０ａの処理の流れを表すフローチャートである。まず、光学式距離測定部１０１ａが距離画像を生成し出力する（ステップＳ１０１）。次に、前処理部１０４が距離画像及び輝度画像に基づいてゴースト除去処理を行う（ステップＳ２０１）。次に、前処理部１０４が、ゴースト除去処理がなされた距離画像に対し、平滑化処理を行う（ステップＳ２０２）。次に、エッジフィルタ部１０２が、前処理後距離画像に対しエッジ抽出用フィルタを適用することによってエッジを抽出する。そして、エッジフィルタ部１０２は、エッジ画像を生成し出力する（ステップＳ１０２）。次に、ノイズ除去部１０３は、エッジ画像に基づいて前処理後距離画像からノイズを除去する（ステップＳ１０３）。

　このように構成された距離測定装置１０ａでは、前処理部１０４によってゴースト除去処理がなされる。そのため、エッジフィルタ部１０２の処理において、実際にはその距離には存在しない物体の像（ゴースト）のエッジが抽出されてしまうことを抑止できる。また、前処理部１０４によって平滑化処理がなされるため、不必要に小さなノイズのエッジが抽出されてしまうことを抑止できる。したがって、ノイズ除去部１０３において、実際にはエッジが無い部分の画素であるにもかかわらず、誤って距離の値が除去されてしまうことを抑止できる。

　＜変形例＞
　第二実施形態における距離測定装置１０ａは、第一実施形態における距離測定装置１０の変形例と同様に変形して構成されても良い。

　［第三実施形態］
　図８は、第三実施形態における物体抽出装置２０の機能構成を表す概略ブロック図である。物体抽出装置２０は、バスで接続されたＣＰＵやメモリや補助記憶装置などを備え、物体抽出用プログラムを実行することによって、光学式距離測定部１０１、エッジフィルタ部１０２ｂ、ノイズ除去部１０３、物体抽出部２０１を備える装置として機能する。なお、物体抽出装置２０の各機能の全て又は一部は、ＡＳＩＣやＰＬＤやＦＰＧＡ等のハードウェアを用いて実現されても良い。

　光学式距離測定部１０１及びノイズ除去部１０３の構成は、第一実施形態における距離測定装置１０の光学式距離測定部１０１及びノイズ除去部１０３と同じである。そのため、光学式距離測定部１０１及びノイズ除去部１０３についての説明を省略する。

　物体抽出部２０１は、ノイズ除去部１０３によってノイズが除去されたノイズ除去後距離画像に基づいて、抽出対象となっている物体（以下、「対象物体」という。）の像を抽出する。対象物体とは、どのような物体でもよく、物体抽出装置２０の設計者や使用者などによって適宜設定される。例えば、人体や、人の顔や、特定の人の顔や、車体などが対象物体として設定される。物体抽出部２０１がノイズ除去後距離画像から対象物体の像を抽出するための技術には、既存のどのような技術が適用されても良い。例えば、物体抽出部２０１は、予め対象物体のサンプルの立体像から抽出された特徴量を記憶し、ノイズ除去後距離画像から特徴量を抽出し、記憶されている特徴量と抽出された特徴量とを比較することによって対象物体の像を抽出するように構成されても良い。物体抽出部２０１は、対象物体が抽出されると、対象物体の像の位置を抽出結果としてエッジフィルタ部１０２ｂに通知する。

　エッジフィルタ部１０２ｂは、物体抽出部２０１から通知される抽出結果に基づいて、距離画像からエッジを抽出する際に用いる閾値を変化させる。具体的には、エッジフィルタ部１０２ｂは、過去の距離画像に関する抽出結果に基づいて、光学式距離測定部１０１によって新たに得られた距離画像からエッジを抽出する際に、画素毎に適用される閾値を決定する。さらに具体的には、エッジフィルタ部１０２ｂは、過去の距離画像において対象物体が抽出された領域の内側の画素に対しては、外側の画素に比べて高い閾値（よりエッジが抽出されにくい閾値）を設定する。そのため、同じエッジ評価値が算出された画素であっても、対象物体が抽出された領域の内側の画素である場合にはエッジとして抽出されず、対象物体が抽出された領域の外側の画素である場合にはエッジとして抽出されることがある。

　図９は、第三実施形態における物体抽出装置２０の処理の流れを表すフローチャートである。まず、光学式距離測定部１０１が距離画像を生成し出力する（ステップＳ１０１）。次に、エッジフィルタ部１０２ｂが、以前の処理において物体抽出部２０１によって生成された抽出結果に基づいて、距離画像に対しエッジ抽出用フィルタを適用することによってエッジを抽出する。そして、エッジフィルタ部１０２ｂは、エッジ画像を生成し出力する（ステップＳ３０１）。なお、ステップＳ３０１の処理において、最初のループの場合には物体抽出部２０１による抽出結果が無いため、エッジフィルタ部１０２ｂは予め付与された初期閾値に基づいてエッジを抽出する。

　次に、ノイズ除去部１０３は、エッジ画像に基づいて距離画像からノイズを除去する（ステップＳ１０３）。次に、物体抽出部２０１は、ノイズ除去後距離画像に基づいて、対象物体の像を抽出し（ステップＳ３０２）、抽出結果を出力する。以上の処理は、物体抽出装置２０に対して処理終了の指示が与えられるまで繰り返し実行される（ステップＳ３０３）。

　このように構成された物体抽出装置２０では、エッジフィルタ部１０２ｂがエッジ抽出時の閾値を、物体抽出部２０１による抽出結果に基づいて変化させる。そのため、同じエッジ評価値が算出された画素であっても、対象物体が抽出された領域の内側の画素である場合にはエッジとして抽出されず、対象物体が抽出された領域の外側の画素である場合にはエッジとして抽出されることがある。従って、対象物体そのものの画像については、対象物体以外の画像に比べて、ノイズとして距離の値が除去されにくい。結果として、対象物体そのものの画像については、エッジ部分についても距離の値が除去されず、詳細な表面の情報を取得することが可能となる。

　また、対象物体が抽出された領域以外においては、エッジ部分についての距離の値がノイズとして除去されるため、距離測定の精度を向上させることが可能となる。具体的には、物体抽出部２０１が物体抽出を行う際に、エッジ部分に生じた誤った距離の値に影響を受けて誤った抽出処理を行ってしまうことを抑止できる。

　＜変形例＞
　エッジフィルタ部１０２ｂは、エッジ画像に対して細線化処理を行うように構成されても良い。特に、エッジ抽出用フィルタの具体例としてＳｏｂｅｌフィルタが適用された場合、エッジフィルタ部１０２ｂは細線化処理を行うことが望ましい。細線化処理の具体例としては、例えばヒルディチ（Hilditch）の手法などがある。このように細線化処理を行うことによって、ノイズ除去部１０３においてノイズではない部分の距離データを除去してしまうことを抑止できる。

　また、ノイズ除去部１０３は、ノイズとして距離の値が除去された画素に対し、新たな画素値として、エッジ以外の周辺画素に基づいて得られる値を与えるように構成されても良い。例えば、ノイズ除去部１０３は、距離の値が除去された画素に対し、当該画素の周囲８画素分の領域に存在する画素のうち、エッジ以外の画素であって、エッジを境界として一方又は他方いずれかの領域に位置する画素の距離の値の平均値を与えるように構成されても良い。

　また、物体抽出装置２０は、光学式距離測定部１０１を備えないように構成されても良い。このように構成された物体抽出装置２０は、他の装置から距離画像の入力を受け付け、抽出結果を出力する。

　また、物体抽出部２０１は、複数の異なる対象物体をそれぞれ抽出するように構成されても良い。このように構成された場合、さらにエッジフィルタ部１０２ｂは、抽出される対象物体毎に異なる閾値を記憶するように構成されても良い。このように構成されることによって、エッジフィルタ部１０２ｂは、抽出された対象物体の種類に応じた閾値に基づいてエッジの抽出を行う。そのため、対象物体の種類毎に、どの程度のエッジ部分について距離の値を除去するか制御することが可能となる。

　［第四実施形態］
　図１０は、第四実施形態における距離測定装置１０ｂの機能構成を表す概略ブロック図である。第四実施形態における距離測定装置１０ｂは、エッジフィルタ１０２に代えて除去領域特定部１０５を備える点と、ノイズ除去部１０３に代えてノイズ除去部１０３ｂを備える点で第一実施形態における距離測定装置１０と異なり、その他の点では距離測定装置１０と同じ構成である。

　除去領域特定部１０５は、光学式距離測定部１０１によって生成された距離画像から、除去されるべき除去領域を特定する。除去領域は、距離測定の精度が低いと推定される領域である。より具体的には、除去領域は、手前の部分（光学式距離測定部１０１により近い部分）と奥の部分（光学式距離測定部１０１により遠い部分）との距離が急激に変化する領域である。以下、除去領域特定部１０５が除去領域を特定する際の処理について、距離差分方式、領域間差分方式について説明する。

　（距離差分方式）
　まず、距離差分方式について説明する。除去領域特定部１０５は、ある画素について、隣の画素との距離を算出する。算出された距離が、予め設定されている閾値よりも大きい場合には、除去領域特定部１０５は、その画素を除去領域の一部であると判定する。隣の画素とは、例えば上下左右の４つの画素（四近傍）であっても良いし、上下左右に加えて右上、右下、左上、左下の画素も含む８つの画素（八近傍）であっても良いし、さらにその他の画素が含まれても良い。また、閾値と比較される値は、隣の各画素との差の統計値（例えば合計値や平均値や最頻値など）であっても良いし、隣の各画素との差のいずれか一つの代表値であっても良い。除去領域特定部１０５は、距離画像の全ての画素に対してこのような処理を行い、除去領域を特定する。

　（領域間差分方式）
　次に、領域間差分方式について説明する。除去領域特定部１０５は、各画素の距離の値に応じて、距離の値が近い複数の画素によって構成される領域を設定する。そして、いずれの領域にも属していない画素を、除去領域として特定する。
　領域の設定方法はどのように実現されても良い。例えば、除去領域特定部１０５は、予め設定された所定の距離（例えば既に存在が判明している壁までの距離）から、所定の範囲内の距離（例えばプラスマイナス１０ｃｍの距離）の値を有する領域を上記の領域として設定しても良い。また、除去領域特定部１０５は、各画素の距離の値に基づいて平面を近似し、同一の平面に近似された画素の集合を上記の領域として設定しても良い。このような平面の近似は、例えば以下に示すようなRansacの手法を適用することによって実現できる。

　Ransacの手法では、除去領域特定部１０５は、距離画像の画素の中からランダムに３画素を選択し、その３画素の距離の値で平面を構成する。除去領域特定部１０５は、構成された平面と、他の各画素の距離の値との差を算出し、算出された差が所定の閾値内に入る画素を選択する。除去領域特定部１０５は、選択された画素の数を計数する。除去領域特定部１０５は、このような処理を繰り返し実行し、最も多くの画素が計数された際に選択された画素の集合を上記の領域として設定する。なお、近似の対象は平面に限定される必要は無く、除去領域特定部１０５は所定の曲面に近似しても良い。

　ノイズ除去部１０３ｂは、除去領域特定部１０５によって特定された除去領域に応じて、距離画像からノイズを除去する。具体的には、ノイズ除去部１０３ｂは、距離画像の各画素のうち、除去領域に含まれる画素の距離データをノイズとして除去する。そして、ノイズ除去部１０３ｂは、除去後の距離画像をノイズ除去後距離画像として出力する。ノイズ除去部１０３ｂは、例えば、除去領域に含まれる各画素の画素値に“０”又は“ＮＵＬＬ”を付与することによって、ノイズを除去する。除去領域は、距離の値が急激に変化している領域であり、測定精度が低下している領域である。ノイズ除去部１０３ｂは、上記処理を行うことによって、測定精度が低下している領域をノイズとして除去する。

　図１１は、第四実施形態における距離測定装置１０ｂの処理の流れを表すフローチャートである。まず、光学式距離測定部１０１が距離画像を生成し出力する（ステップＳ１０１）。次に、除去領域特定部１０５が、距離画像から除去領域を特定する（ステップＳ４０２）。そして、ノイズ除去部１０３ｂは、特定された除去領域に基づいて距離画像からノイズを除去する（ステップＳ４０３）。

　このように構成された距離測定装置１０ｂでは、エッジフィルタを用いてエッジを検出することなく、測定の精度が低い領域（除去領域）を特定することができる。そのため、距離が急激に変化する部分を測定領域に含んでいる場合であっても、そのような部分において発生するノイズを除去することが可能となる。したがって、ノイズによる測定精度の低下を抑止することが可能となる。

　［第五実施形態］
　図１２は、第五実施形態における二足歩行ロボット２０の機能構成を表す概略ブロック図である。第五実施形態における二足歩行ロボット２０は、距離測定装置１０を備える。二足歩行ロボット２０は、距離測定装置１０によって生成されたノイズ除去後距離画像に基づいて行動計画を生成し、行動計画にしたがって動作する。

　以下、図１２を用いて二足歩行ロボット５０について詳細に説明する。二足歩行ロボット５０は、距離測定装置１０、制御部５０１、駆動部５０２、行動計画生成部５０３、衝撃タイミング推定部５０４、距離推定部５０５、分別部５０６を備える。
　距離測定装置１０は、二足歩行ロボット５０の周囲の距離画像を生成し、ノイズ除去後距離画像を出力する。

　制御部５０１は、二足歩行ロボットの動作を制御する。例えば、制御部５０１は、行動計画生成部５０３によって決定された行動計画に従って、どの方向にどの歩幅でどの足をどのタイミングで踏み出して着地させるかなどを決定し、駆動部５０２を制御する。また、制御部５０１は、距離測定装置１０の光学式距離測定部１０１に対し、パン、ロール、チルト等の制御を行う。

　駆動部５０２は、制御部５０１による制御にしたがって、二足歩行ロボットの可動部を駆動させる。駆動部５０２の駆動によって、二足歩行ロボットは二足歩行を行い、腕や頭部を動かす。例えば頭部に光学式距離測定部１０１が設けられている場合には、頭部の動きによって光学式距離測定部１０１のパン、ロール、チルト等が行われる。光学式距離測定部１０１が頭部以外の箇所に設けられている場合には、駆動部５０２はその箇所の可動部を駆動させることによってパン、ロール、チルト等を行う。

　行動計画生成部５０３は、ノイズ除去後距離画像やその他のセンサの出力結果などに基づいて、二足歩行ロボット５０の今後の行動計画を決定する。行動計画とは、今後の移動先や移動速度などを表す。
　衝撃タイミング推定部５０４は、制御部５０１の制御に基づいて、光学式距離測定部１０１に対して衝撃が生じるタイミング（以下、「衝撃タイミング」という。）を事前に推定する。光学式距離測定部１０１に対して生じる衝撃とは、例えば二足歩行ロボット５０の足を踏み出して着地させたタイミングで生じる衝撃や、光学式距離測定部１０１をパン、ロール、チルトさせたタイミングで生じる衝撃などである。

　距離推定部５０５は、過去のノイズ除去後距離画像に写っている物体を検出し、衝撃タイミングにおける各物体までの距離を推定する。具体的には、距離推定部５０５は以下のように動作する。まず、距離推定部５０５は、過去の複数フレーム分のノイズ除去後距離画像に基づいて、各物体の移動方向及び移動速度を推定する。距離測定部５０５は、移動方向及び移動速度に基づいて、衝撃タイミングの時点における各物体の位置を推定する。また、距離推定部５０５は、制御部５０１による駆動部５０２に対する制御や内界センサの出力結果などに応じて、衝撃タイミングの時点における自装置（二足歩行ロボット）の位置及び向きを推定する。そして、距離推定部５０５は、衝撃タイミングの時点における、自装置から各物体までの距離を推定する。

　分別部５０６は、衝撃タイミングの時点において撮像されたノイズ除去後距離画像に対し、信頼度を付与する。分別部５０６は、衝撃タイミングの時点において撮像されたノイズ除去後距離画像における各物体までの距離（以下、「実測距離」という。）と、距離推定部５０５によって推定された各物体までの距離（以下、「推定距離」という。）との差を算出する。分別部５０６は、算出された差が所定の閾値よりも大きい場合には、ノイズ除去後距離画像の信頼度が低いと判定し、算出された差が所定の閾値よりも小さい場合には、ノイズ除去後距離画像の信頼度が高いと判定する。

　図１３は、第五実施形態における二足歩行ロボット２０の処理の流れを表すフローチャートである。まず、距離測定装置１０がノイズ除去後距離画像を生成する（ステップＳ５０１）。分別部５０６は、直前に生成されたノイズ除去後距離画像が衝撃タイミングの時点で生成されたものであるか否か判定する（ステップＳ５０２）。衝撃タイミングの時点で生成されたものではない場合（ステップＳ５０２－ＮＯ）、行動計画生成部５０３は、これまでに生成されたノイズ除去後距離画像に基づいて行動計画を生成する（ステップＳ５０６）。衝撃タイミング推定部５０４は、行動計画に従った制御部５０１の制御に応じて衝撃タイミングを推定する（ステップＳ５０７）。そして、距離推定部５０５は、衝撃タイミングの時点における推定距離を推定する（ステップＳ５０８）。

　ステップＳ５０２において、衝撃タイミングの時点で生成されたノイズ除去後距離画像であった場合（ステップＳ５０２－ＹＥＳ）、分別部５０６は推定距離と実測距離との差が閾値よりも大きいか否か判定する（ステップＳ５０３）。差が閾値よりも大きい場合（ステップＳ５０３－ＹＥＳ）、分別部５０６は、その衝撃タイミングの時点のノイズ除去後距離画像の信頼度が低いと判定する（ステップＳ５０４）。一方、差が閾値よりも小さい場合（ステップＳ５０３－ＮＯ）、分別部５０６は、その衝撃タイミングの時点のノイズ除去後距離画像の信頼度が高いと判定する（ステップＳ５０５）。

　このように構成された二足歩行ロボット５０では、衝撃タイミングの時点における距離の測定結果（ノイズ除去後距離画像）について、信頼度が高いか低いか判定することが可能となる。すなわち、衝撃が生じている際に行われた距離の測定結果は一般的に精度が低くなることが多い。このような測定結果を用いてその後の処理を行うと、処理の精度の低下を招いてしまう。一方、常に精度が低いとも限らないため、信頼度の高い測定結果については破棄せずに有効に活用することが望まれる。二足歩行ロボット５０では、推定距離と実測距離との差を算出し、この差が閾値よりも小さい場合には信頼度が高いと判定する。そのため、信頼度が高いと判定されたノイズ除去後距離画像を有効に活用すると共に、信頼度が低いと判定されたノイズ除去後距離画像に基づく処理の精度低下を抑止できる。

　たとえば、制御部５０１や行動計画生成部５０３は、衝撃タイミングの時点において撮像されたノイズ除去後距離画像については、信頼度が高いと判定されたもののみを用いて処理を行っても良い。このように構成されることにより、制御部５０１による制御や、行動計画生成部５０３による行動計画の生成処理の精度の低下を抑止することが可能となる。

　＜変形例＞
　二足歩行ロボット５０は、二足歩行ではなく他の手段によって移動するロボットとして構成されても良い。また、距離測定装置１０に代えて、距離測定装置１０ａ、距離測定装置１０ｂのいずれかが二足歩行ロボット５０に備えられても良い。さらに、距離測定装置１０に代えて、物体抽出装置２０が二足歩行ロボット５０に備えられても良い。ただし、この場合は制御部５０１及び行動計画制御部５０３は、物体抽出装置２０による物体の抽出結果に基づいて動作する。また、制御部５０１は、ノイズ除去後距離画像と、その信頼度の判定結果とを対応付けて記憶しても良い。
　距離測定装置１０のエッジフィルタ１０２が用いる閾値は、内界センサの誤差に応じて予め設定されても良い。例えば、予め二足歩行ロボットの５０の内界センサにおいて生じる誤差を測定し、その最大値と同値又はより大きい値として閾値が設定されても良い。また、この閾値は、光学式距離測定部１０１の計測精度及び内界センサの誤差の双方に応じて予め設定されても良い。例えば、内界センサの誤差の最大値と同値又はより大きい値と、光学式距離測定部１０１の計測精度と同値又はより大きい値と、の和が閾値として設定されても良い。

　以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

　本発明は、距離画像を生成する装置や、距離画像を用いて処理を行う装置に適用される。

１０，１０ａ…距離測定装置（画像処理装置）
２０…物体抽出装置（画像処理装置）
３０…ノイズ領域
１０１，１０１ａ…光学式距離測定部
１０２，１０２ｂ…エッジフィルタ部（エッジ抽出部）
１０３…ノイズ除去部（除去部）
１０４…前処理部
２０１…物体抽出部
５０…二足歩行ロボット（移動体）
５０１…制御部
５０２…駆動部
５０３…行動計画生成部
５０４…衝撃タイミング推定部
５０５…距離推定部
５０６…分別部

Claims (5)

1. 　距離画像からエッジを抽出するエッジ抽出部と、
   　前記距離画像において、前記エッジ抽出部によって抽出されたエッジ部分の画素の距離の値を除去する除去部と、
   を備える画像処理装置。
2. 　前記除去部によって前記エッジ部分の画素の距離の値が除去された距離画像から、所定の物体の像を抽出する物体抽出部をさらに備え、
   　前記エッジ抽出部は、前記物体抽出部によって前記物体の像が抽出された後に入力された前記距離画像において、前記物体の像が抽出された位置の画素と、前記物体の像が抽出されていない位置の画素とで異なる閾値を用いて前記エッジを抽出することを特徴とする請求項１に記載の画像処理装置。
3. 　画像処理装置が、距離画像からエッジを抽出するエッジ抽出ステップと、
   　前記画像処理装置が、前記距離画像において、前記エッジ抽出ステップによって抽出されたエッジ部分の画素の距離の値を除去する除去ステップと、
   を備える画像処理方法。
4. 　距離画像からエッジを抽出するエッジ抽出ステップと、
   　前記距離画像において、前記エッジ抽出ステップによって抽出されたエッジ部分の画素の距離の値を除去する除去ステップと、
   をコンピュータに実行させるためのコンピュータプログラム。
5. 　請求項１に記載の画像処理装置と、
   　前記距離画像を撮像する距離測定部と、
   　前記距離測定部に対して衝撃が生じるタイミングを推定する衝撃タイミング推定部と、
   　前記衝撃が生じるタイミングにおいて前記距離測定部によって撮像される前記距離画像に含まれる距離の値を推定する距離推定部と、
   　前記衝撃が生じるタイミングにおいて前記距離測定部によって撮像された前記距離画像と、前記距離推定部による推定結果とを比較することによって、前記距離画像の信頼度を判定する分別部と、
   　を備える移動体。

Images