JP5172010B2 - Ｒｇｂ及び奥行き計測ハイブリッドカメラセンサを使用する長方形テーブル検知 - Google Patents

Description

本発明は、画像データ中の平面の位置を決定する方法及びシステムに関する。より具体的には、カラー画像データ及び奥行き画像データの組合せを使用して平面の位置を決定する方法及びシステムに関する。

多くの状況において、ロボットは、対象物についての情報及び対象物がロボットの周辺において占める位置についての情報を入手しなければならない。ロボットが新たな環境に移動した後、又は、環境の変化が発生した後、ロボットは、１又は複数のセンサを使用して対象物を検知し、当該対象物の位置を決定しなければならない。センサ入力に基づいて、ロボットは、環境において対象物がどのような空間的関係を有するかを決定し、様々なタスクを実行する。ある例では、ロボットが、様々な対象物の当該環境における座標値を格納する占有マップを生成する。そして、ロボットは、センサ入力と組み合わせて占有マップ内の情報を使用し、当該環境において対象物に対する様々な操作を実行する。

物を掴む、物を押す、のような多くのロボット操作は、平面上に置かれた対象物に対して動作を行うことが前提となる。平面を有する対象物を検知しその位置を決定することは、多くのロボットアプリケーションにおいて重要である。なぜならば、平面を有する対象物（例えば、テーブル）は、ロボット操作に用いる他の目標対象物を支えていたり、載せていたりすることが多いからである。そこで、ロボットは、平面を有する対象物と、平面上に置かれた目標対象物との間の空間的関係を認識し、決定し、目標対象物についてのいくつかのタスクを実行する必要がある。例えば、平面を有する対象物（例えば、テーブル）上の目標対象物(例えば、コップ)を掴むためには、ロボットは、まず、平面を有する対象物の位置及び向きを決定しなければならない。そうすることによって、ロボットは、目標対象物（例えば、コップ）に届き得る領域まで進むことができる。

平面を有する対象物を検知する１つの方法は、カメラを使用してシーンのカラー画像を取得することである。画像取得装置は、濃淡画像を生成してもよいし、ＲＧＢカラー画像を使用してもよい。取得された濃淡画像又はカラー画像に対して画像処理が実行され、平面を有する対象物の位置及び向きを決定する。濃淡画像又はカラー画像を使用することの短所は、平面の一部が隠れている、平面のエッジが隠れている、平面上で複数の対象物が散乱している、平面を有する対象物と同じ特徴を有する他の対象物が画像内に存在する、のような理想的ではない状況では、位置及び向きの精度が有意に低下するということである。

平面を有する対象物を検知する他の１つの方法は、センサから対象物までの距離を示す奥行き画像を使用することである。奥行き画像を生成するために飛行時間奥行きセンサがしばしば使用される。飛行時間奥行きセンサは、対象物に信号を送信し、対象物から戻ってくる信号の特性を計測して対象物までの距離を決定する。このような返信信号を計測することによって得られた奥行き画像は、非常にノイズが多く不正確であることが多い。結果的に、奥行きから決定された対象物の３次元座標値は、信頼性に欠け、不正確であることが多い。

（発明の要約）
本発明の実施形態は、平面を有する対象物の位置を決定する方法、システム及びコンピュータプログラム製品を提供する。カラー画像と奥行き画像の両者が、平面を有する対象物の位置を決定するために使用される。シーンの奥行き画像が処理されて、対象物の平面が存在する可能性が高い候補領域を決定する。候補領域に対応するカラー画像の部分が処理されて、対象物の平面の輪郭を描いていそうな幾何学的特徴（例えば、線）を検知し選択する。

ある実施形態においては、奥行き画像の画素から法線ベクトルを計算することによって、奥行き画像から候補領域が決定される。法線ベクトルとは、奥行き画像内の対象物の面に垂直なベクトルである。すべての法線ベクトルが概ね同じ方向を向いているような奥行き画像の領域内に、平面が存在する可能性が高い。すべての法線ベクトルが同じ方向を向いている領域が拡大されて、候補領域を表すマスクを生成する。マスクを使用してカラー画像をトリミングし、その後の処理を行うに相応しい領域を表す画像を作成してもよい。

ある実施形態においては、トリミングされたカラー画像内のエッジを検知した後に、幾何学的特徴を検知するための変換を実行することによって幾何学的特徴が検知される。ハフ変換が使用されてカラー画像内の幾何学的特徴を検知してもよい。幾何学的特徴が検知された後、検知された幾何学的特徴の長さが奥行き画像内の奥行き情報に応じて調節され、幾何学的特徴の物理的長さが決定される。

ある実施形態においては、物理的長さに応じて幾何学的特徴をランク付けすることによって、平面の輪郭を描く幾何学的特徴が決定される。物理的長さのランクに基づいて、検知された幾何学的特徴のサブセットが、候補平面の輪郭を描くものとして選択される。所定の基準を満たす場合、候補平面が最終的な平面であることが決定される。

本明細書に記述されている特徴及び利点は、限定的なものではなく、図面、明細書及び特許請求の範囲を見れば、当業者には、追加的な特徴及び利点が明らかになる。さらに、本明細書中で使用される用語は、主として意味の取りやすさ及び教示目的から選択されており、本発明の主旨を限定するために選択されているものではないことは当然である。

添付図面を参照しつつ以降に詳述される説明を読めば、本発明の教示は容易に理解される。
本発明のある実施形態に係る、平らな天板表面を有する長方形のテーブルを含む環境内のロボットを示す図である。 本発明のある実施形態に係る、ロボットのブロック図である。 本発明のある実施形態に係る、奥行き画像処理モジュールのブロック図である。 本発明のある実施形態に係る、カラー画像処理モジュールのブロック図である。 本発明のある実施形態に係る、平面を検知する方法のフローチャートである。 本発明のある実施形態に係る、平面を検知する方法のフローチャートである。 本発明のある実施形態に係る、対応するカラー画像をトリミングするマスクを取得するための奥行き画像の処理を示す図である。 本発明のある実施形態に係る、対応するカラー画像をトリミングするマスクを取得するための奥行き画像の処理を示す図である。 本発明のある実施形態に係る、対応するカラー画像をトリミングするマスクを取得するための奥行き画像の処理を示す図である。 本発明のある実施形態に係る、対応するカラー画像をトリミングするマスクを取得するための奥行き画像の処理を示す図である。 本発明のある実施形態に係る、テーブルの平面の輪郭を決定するためのカラー画像の処理を示す図である。 本発明のある実施形態に係る、テーブルの平面の輪郭を決定するためのカラー画像の処理を示す図である。 本発明のある実施形態に係る、テーブルの平面の輪郭を決定するためのカラー画像の処理を示す図である。 本発明のある実施形態に係る、テーブルの平面の輪郭を決定するためのカラー画像の処理を示す図である。 本発明のある実施形態に係る、テーブルの平面の輪郭を決定するためのカラー画像の処理を示す図である。 本発明のある実施形態に係る、テーブルの平面の輪郭を決定するためのカラー画像の処理を示す図である。 本発明のある実施形態に係る、テーブルの平面の輪郭を決定するためのカラー画像の処理を示す図である。 本発明のある実施形態に係る、カラー画像内の消失線を決定する方法を示す図である。

本発明の好適な一実施形態を、図を参照しつつ説明する。複数の図にまたがって同様の参照番号が記される場合、それらは同一の又は機能的に類似した構成要素を意味する。

本明細書において、“一実施形態”又は“ある実施形態”と言う場合は、本発明の少なくとも１つの実施形態に、その実施形態に関連して記述される１つの特徴又は構造が含まれていることを意味する。本明細書のあちこちに“ある実施形態では”という語が出現しても、必ずしも同一の実施形態を指しているわけではない。

後記する詳細説明のいくつかの部分は、アルゴリズム用語や、コンピュータメモリ内のデータビット作業を示す象徴的な表現による。これらのアルゴリズム的な説明や表現は、情報処理分野の当業者が、自らの業績の要旨を、同分野の他の当業者に最も効率的に伝えるために用いる手段である。アルゴリズムとは、ここでは、そして一般的にも、ある所望の結果に至る複数のステップ（命令）の首尾一貫したシーケンスのことを言う。ステップとは、物理量に対する物理的操作を要求するステップのことである。通常、必ずしも必要条件ではないが、それらの数値は、記憶され、転送され、合成され、比較されかつ操作され得る、電子的、磁気的又は光学的信号の形を取る。これらの信号のことを、ビット、値、要素、シンボル、文字、語又は番号等と呼ぶことが主として用語の共通化の理由から便宜である。さらに、物理量に対する物理的操作を要求するステップの配列のうちいくつかのものは、一般性を失うことなく、モジュール又はコードデバイスと呼ぶことが便宜である。

しかしながら、このような用語の全ては適当な物理量と関連付けられており、これらの物理量に付された単なる便宜的なラベルに過ぎない。後記において特段の説明がない限り、明細書本文全体を通じて、“処理”、“計算”、“算出”、“決定”又は“表示”等の用語を用いた説明は、（電子的な）物理量としてのデータを、コンピュータシステムのメモリ、レジスタ又は他の情報ストレージのなかで操作しかつ変形するコンピュータシステムや同様の電子的コンピューティングデバイスの動作や処理のことを言う。

本発明のいくつかの側面は、アルゴリズムの形になったプロセスステップや命令を含む。本発明のプロセスステップや命令は、ソフトウエア、ファームウエア又はハードウエアによって実装され、ソフトウエアで実施される場合は、ダウンロードされることが可能であり、多様なオペレーティングシステムが用いる別のプラットフォームから操作されることも可能である。

本発明は、操作を実行する装置にも関する。この装置は、所与の目的を達成する専用装置であってもよいし、コンピュータに記憶されたコンピュータプログラムによって動作する汎用コンピュータであってもよい。このようなコンピュータプログラムは、コンピュータが読取り可能な媒体に記憶され得る。その媒体とは、コンピュータシステムバスに接続可能な、フロッピー（登録商標）ディスク、光ディスク、ＣＤ−ＲＯＭ、電磁光学的ディスク、ＲＯＭ、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、電磁的又は光学的カード、ＡＳＩＣ又は電子的命令を記憶し得るあらゆる媒体を含むが、これらに限定されない。さらに、本明細書で言うコンピュータは、単体のプロセッサを含んでもよいし、コンピュータ能力を増加させるために複数のプロセッサを用いた装置であってもよい。

ここでいうアルゴリズムやディスプレイは、もともと特定のコンピュータや他の装置に関係している訳ではない。ここで教示される内容に従って、プログラムとともに多様な一般目的システムが使用され得る。又は、必要とされる方法ステップを実行するためにさらに特化した装置を作成することも便宜である。これらのシステムのそれぞれについてどのような構成が必要となるかは、後記する明細書本文から明らかになる。さらには、本発明は特定のプログラム言語を参照して記載されるものではない。本発明の教示を実施するために、多様なプログラム言語が使用され得る。後記において特定の言語に言及した場合、それは本発明の実施可能性及びベストモードを開示するためである。

さらに、本明細書で使用される言語は、主として意味の取りやすさ及び教示目的から選択されているのであって、本発明の主旨を限定するために選択されているのではない。従って、本発明の開示は、特許請求の範囲にて記述されている本発明の範囲を例示するものであるが限定するものではない。

本発明の実施形態は、テーブルのような対象物の平面を検知する方法、装置及びコンピュータプログラム製品を提供する。奥行き情報を含む奥行き画像を処理することによって、平面を有する対象物を含む可能性が高い領域を示すマスクが生成される。カラー画像のうち平面を有する対象物を含む可能性が高い部分の輪郭を描くように、奥行き画像に対応するカラー画像がマスクを使用してトリミングされる。トリミングされたカラー画像の幾何学的特徴が検知され、平面を有する対象物の位置及び向きを決定する。所定の基準に基づいて、幾何学的特徴のサブセットが、平面の輪郭として選択される。奥行き画像及びカラー画像の両者を使用することによって、平面はより正確かつより確実に決定され得る。

平面とは、実質的に平らである任意の面を言う。平面は、平面を隠す１又は複数の対象物に覆われていてもかまわない。実質的に平らな平面は、どのような方向を向いていてもかまわない。例えば、面は水平的に（例えば、テーブルの天板表面）平らであってもよいし、垂直的に（例えば、黒板、ホワイトボード）又は他の方向に向かって（例えば、斜面）平らであってもよい。

奥行き画像は画素を含み、当該画素は、基準点（例えば、奥行きセンサ）からその画素に対応する対象物又は対象物の部分までの距離を表す。基準点からその画素に対応する対象物又は対象物の部分までの距離のことを、ここでは、奥行き情報とも言う。奥行き画像は、飛行時間奥行きセンサ、立体カメラ及び構造化光線センサを含む様々な装置によって生成されてもよい。

カラー画像は、対象物の２次元形状を表す画素を含む。カラー画像は、濃淡画像及びカラー空間内の画像の両者を含む。カラー画像内では、ＲＧＢ、ＹＣｂＣｒ及びＨＳＶ（色相、彩度、明度）を含むどのようなカラー空間が使用されてもよい。しかしながら、カラー画像は、奥行き情報を含まない。カラー画像は、圧縮されていてもよいし、圧縮されていなくてもよい。

対象物の位置を決定するとは、２次元空間内又は３次元空間内において、対象物の位置及び向きを決定することを言う。同様に、位置決め情報とは、２次元空間内又は３次元空間内における対象物の位置及び向きを示す情報を言う。位置決め情報を使用することによって、２以上の対象物間の空間的関係が決定され得る。

（ロボットと環境との間の相互作用の概要）
図１は、本発明のある実施形態に係る、長方形のテーブル１１０と相互作用するロボット１３０を示す。図１のロボット１３０は、人間動作と同じ様々な動作を実行することができる人間型ロボットである。このようなロボットの一例として、日本、東京の本田技研工業株式会社の進化人間型ロボットＡＳＩＭＯがある。図２の説明で詳しく後記するように、ロボット１３０は、画像データのストリームを生成するセンサ１４０を含む。センサ１４０は、立体カメラ及び飛行時間奥行きセンサ等を含む。以降の実施形態は人間型ロボット１３０を参照しながら記述されるが、本発明は、人間型ロボットに限定されることはなく、他のタイプのロボットにも使用され得る。

ある実施形態においては、ロボット１３０は、センサ１４０によって取得された画像を処理することによってテーブル１１０の天板表面の位置を決定する。ロボット１３０は、ロボット操作（例えば、掴む、押す）を行うために、対象物１１２、１１４を検知し、それらの位置を決定する。ある実施形態においては、テーブル１１０及びテーブル１１０上の他の対象物１１２、１１４の位置は、２次元座標値又は３次元座標値で表現され、ロボット１３０内に記憶される。このことは、図２を参照しつつ詳細に後記する。

ある実施形態においては、ロボット１３０は、２次元座標系内又は３次元座標系内で、対象物１１２、１１４の移動を追跡し更新する。対象物１１２、１１４の移動は、ロボット１３０によって実行される操作（例えば、掴む、押す）に起因してもよいし、他の理由（例えば、人間が動かす）に起因してもよい。いずれの場合でも、対象物１１２、１１４の移動は、センサ１４０によって生成された画像を監視することによって知覚され、追跡され得る。

（平面を有する対象物を検知する処理モジュール装置の構造）
図２は、本発明のある実施形態に係る、ロボット１３０のブロック図である。図２に示されるように、ロボット１３０は、３つの主たる構成要素を含む。すなわち、センサ１４０、処理モジュール２００及びエフェクタ２９０である。センサ１４０は、ロボット１３０の周辺についての情報を提供する。処理モジュール２００は、センサ１４０から情報を受け取り、ロボット１３０の周辺の対象物及び条件を検知し、制御信号２８２をエフェクタ２９０又は他の処理ユニット（図示せず）に送信する。単純化のために、本発明に必須ではないロボット１３０の他の構成要素は、ここでは省略されている。

センサ１４０は、奥行きセンサ及び画像センサ等を含む。奥行きセンサ及び画像センサは、両者が実質的に同じシーンを捕捉できるように、並んで配置されている。奥行きセンサは、奥行きセンサから対象物又は対象物の部分までの距離を示す画素を有する奥行き画像を生成する。画像センサは、シーン内の対象物の２次元形状を取得する。画像センサ及び奥行きセンサは、同じシーン及び同じ対象物を捉えることが望ましいが、必要条件ではない。センサ１４０からの画像データのストリーム２１０は、奥行き画像及び２次元画像の両者用のデータを含んでもよい。センサ１４０は、例えば、カリフォルニアのCanesta of Sunnyvale社、スイスのCSEM of Zurich社及びイスラエルの3DV Systems of Yokneam社によって製造される奥行きセンサ及びカメラの組合せであってもよい。

エフェクタ２９０は、処理モジュール２００と接続されており、命令信号２８２を受け取り、ロボット１３０によるいくつかの動作を起動する。エフェクタ２９０は、モータ及びアクチュエータ等を含み、実世界事象を引き起こす様々な装置であってもよい。命令信号２８２は、ロボット１３０の複数のエフェクタ２９０（例えば、複数の関節）をそれらが相互に調和するように動かし、歩行する、対象物を押す、のようないくつかの有意なタスクを実行する。

処理モジュール２００は、平面検知部２４０、対象物検知部２５０、環境写像部２６０、モーション計画部２７０及び制御装置２８０等を含む。これらの構成要素のそれぞれは、他の構成要素と協働して、例えば、ソフトウエア、ハードウエア、ファームウエア又はこれらの組合せとして、実装されてもよい。処理モジュール２００は、汎用コンピュータとして実装されてもよいし、専用コンピュータとして実装されてもよい。処理モジュール２００は、ロボット１３０の全体に亘って分散配置されてもよい。たとえば、様々なエフェクタ用の複数の制御装置２８０が、ロボット１３０の別々の部分に備えられていてもよい。

平面検知部２４０は、画像データ２１０を使用することによって、平面を有する対象物を検知する。画像データ２１０内のカラー画像及び奥行き画像の両者を使用することによって、平面検知部２４０は、より確実にかつより効率的に平面の位置を決定し得る。奥行き画像処理モジュール２４２は、平面が位置している可能性が高い通常領域を決定する。このことは、図３Ａを参照して詳しく後記する。カラー画像処理モジュール２４４は、当該通常領域内の平面のエッジ特徴を検知する。このことは、図３Ｂを参照して詳しく後記する。平面検知部２４０は、環境写像部２６０に平面情報２４８を提供する。平面情報２４８は、平面の位置決め情報を含む。１又は複数の実施形態においては、位置決め情報は、平面を有する対象物の２次元座標値又は３次元座標値、及び、平面を有する対象物の向きを示す。

対象物検知部２５０は、平面の内側又は外側にある様々な対象物を検知する。ある実施形態においては、対象物検知部２５０は、カラー画像内の対象物の様々な特徴を検知し、環境写像部２６０に対象物情報２５２を提供する。対象物情報２５２は、例えば、対象物の位置決め情報並びに対象物の同一性及び属性を示す対象物プロフィールを含む。

環境写像部２６０は、ロボット１３０の周囲にある対象物についての情報を維持し、追跡する。具体的には、環境写像部２６０は、対象物情報２５２及び平面情報２４８を受け取り、２次元座標系又は３次元座標系に対象物を写像する。環境写像部２６０は、プロフィール（例えば、対象物の幅、高さ及び長さ）についての情報及び対象物の位置を、ロボット１３０によって検知されたように格納する。ある実施形態においては、環境写像部２６０は、ユーザ、又は、平面検知部２４０及び対象物検知部２５０以外の情報ソースによって提供された、対象物の位置及びプロフィール情報も格納する。環境写像部２６０は、モーション計画部２７０に環境情報２６２を提供する。環境情報２６２は、ロボット１３０の周囲にある対象物の位置及びプロフィールに関する情報を含む。

モーション計画部２７０は、ロボット１３０によって取られるべきモーションの計画を生成する。具体的には、モーション計画部２７０は、環境情報２６２を受け取り、ロボット１３０によって実行されるべき１又は複数のモーションの計画（例えば、ある経路を経てある点まで歩行する）を作成する。計画されたモーションは、ロボット１３０が実行すべくプログラミングされているタスクに関連付けられてもよい。計画に基づいて、モーション計画部２７０は、命令２７２（例えば、脚関節を３０度だけ曲げる）を制御装置２８０に送信する。制御装置２８０は、様々なエフェクタ２９０に制御信号２８２を送信し、エフェクタ２９０によりモーションを実行する。

図３Ａは、ある実施形態に係る、奥行き画像処理モジュール２４２のブロック図である。奥行き画像処理モジュール２４２は、奥行き画像取得モジュール３１２、ガウシアンフィルタ３１６、法線ベクトルモジュール３２０及びマスク生成部３２４等を含む。これらの構成要素のそれぞれは、他の構成要素と協働して、例えば、ソフトウエア、ハードウエア、ファームウエア又はこれらの組合せとして、実装されてもよい。

奥行き画像取得モジュール３１２は、画像データ２１０に含まれる奥行き画像を取得し、バッファリングする。奥行き画像取得モジュール３１２は、ある時点において取得された奥行き画像を一時的に格納し、ガウシアンフィルタ３１６又は奥行き画像処理モジュール２４２の他のモジュールが、奥行き画像にアクセスし、奥行き画像を検索することを可能にする。

ガウシアンフィルタ３１６は、奥行き画像を処理し、ノイズを削減するために使用される。図５Ａに示されるように、奥行きセンサから取得された奥行き画像は、一般的に、非常にノイズが多い。ガウシアンフィルタ３１６によって奥行き画像を処理することによって、奥行き画像内のノイズは、図５Ｂに示したように減少する。奥行き画像のノイズが減少すると、奥行き画像のその後の処理は、より確実にかつより正確に実行され得る。メディアンフィルタ及び平均フィルタのような他のタイプのフィルタが使用されて奥行き画像内のノイズを削減してもよい。奥行き画像内のノイズが明らかに少ない場合、ガウシアンフィルタ３１６による処理は省略してもよい。

法線ベクトルモジュール３２０は、すべての法線ベクトルが概ね所定の方向を向いているような奥行き画像の領域を検知する。ある実施形態においては、法線ベクトルの所定の方向は、平面検知部２４０によって自動的に選択され、又は、ユーザの手動選択によって選択される。例えば、対象物（例えば、テーブル）の天板表面が検知の目標となっている場合、法線ベクトルの所定の方向は、物理的世界において垂直に立ち上がっている。（この方向は、奥行き画像内で傾いていることもある。なぜならば、奥行き画像は、斜めから見た透視投影であるからである。）垂直な平面（例えば、ホワイトボード）が検知の目標となっている場合、法線ベクトルの所定の方向は、実質的に水平である。（法線ベクトルは、奥行き画像内の水平方向に対して傾いていることもある。なぜならば、奥行き画像は、斜めから見た透視投影であるからである。）所定の方向が識別された後、法線ベクトルモジュール３２０は、所定の方向との差が所定の許容範囲内にある方向を示す法線ベクトルを有する画素の群を探して奥行き画像を走査する。奥行き画像から法線ベクトルを取得する方法は、当業者には周知である。例えば、奥行き情報に対して平滑面を重ね合わせ、当該面の法線ベクトルを計算することによって、法線ベクトルを取得してもよい。図５Ｃは、概ね立ち上がった方向を示す法線ベクトルを有する、奥行き画像の領域５１０を示す図である。図５Ｃの奥行き画像は、複数の画素からなる白い小領域も含む。この小領域は、奥行き画像内のノイズに起因するかもしれないし、平面を有する他の小さな対象物の面に起因するかもしれない。

マスク生成部３２４は、対象物の平面が存在する可能性が高い候補領域を表すマスクを生成する機能を有する。具体的には、マスク生成部３２４は、所定の方向（例えば、垂直）との差が所定の許容範囲内にある方向を指す法線ベクトルを有する、奥行き画像内の領域についての情報を受け取る。ある実施形態においては、マスク生成部３２４は、所定の方向との差が所定の許容範囲内にある法線ベクトルを有する隣接領域を選択することによって、候補領域を決定する。図５Ｄは、長方形になるまで垂直方向及び水平方向に隣接領域を拡大することによって生成されたマスク５２０を示している。長方形は単なる一例に過ぎず、円やひし形のような、様々な他の形状が使用されてもよい。マスクが生成された後、マスクは、その後の処理を行うために、カラー画像処理モジュール２４４に提供される。

図３Ｂは、本発明のある実施形態に係る、カラー画像処理モジュール２４４のブロック図である。カラー画像処理モジュール２４４は、カラー画像取得モジュール３３０、画像トリミングモジュール３３４、エッジ検知部３３８、特徴抽出部３４２、長さ調節モジュール３４６及び形状評価部３５０等を有する。これらの構成要素のそれぞれは、他の構成要素と協働して、例えば、ソフトウエア、ハードウエア、ファームウエア又はこれらの組合せとして、実装されてもよい。

カラー画像取得モジュール３３０は、画像データ２１０に含まれるカラー画像を取得しバッファリングする。カラー画像取得モジュール３３０は、ある時点において取得されたカラー画像を一時的に格納し、画像トリミングモジュール３３４又はカラー画像処理モジュール２４４の他のモジュールが、奥行き画像にアクセスし、奥行き画像を検索することを可能にする。図６Ａは、カラー画像取得モジュール３３０に取得され格納されたカラー画像を示している。

画像トリミングモジュール３３４は、カラー画像取得モジュール３３０を検索し、奥行き画像処理モジュール２４２によって提供されたマスクに応じてカラー画像をトリミングする。ある実施形態においては、奥行き画像処理モジュール２４２によって生成されたマスクの位置及びサイズは、カラー画像をトリミングする前に、画像トリミングモジュール３３４によって較正される。図６Ｂは、図５Ｄに示されたマスク５２０を使用してトリミングされた図６Ａのカラー画像を示している。カラー画像をトリミングすることによって、平面が存在する可能性が高い、カラー画像の候補領域上にのみ、平面が検知される。平面を含む可能性が低い、カラー画像の部分が処理から除外されるので、より正確かつより確実に平面がカラー画像から検知され得る。

エッジ検知部３３８は、色彩の急激な変化を検知することによって、トリミングされたカラー画像のエッジ検知を実行する。ある実施形態においては、エッジ検知部３３８は、キャニーエッジ検知部である。トリミングされたカラー画像のエッジ検知の前処理として、画像閾値化のような処理が実行され、エッジ検知を促進することとしてもよい。ある実施形態においては、エッジ検知部３３８は、エッジ検知中に取得されたパラメータを特徴抽出部３４２に提供し、幾何学的特徴の検知を促進する。図６Ｃは、図６Ｂのトリミングされたカラー画像について、エッジ検知部３３８がエッジ検知を実行した結果を示している。

特徴抽出部３４２は、エッジ検知されたカラー画像から、幾何学的特徴を検知する。具体的には、特徴抽出部３４２は、線、曲線及び円のような幾何学的特徴を、エッジ検知された画像から検知する。検知されるべき幾何学的特徴は、検知されるべき平面の形状に応じて異なることとしてもよい。直線(例えば、図６Ａ〜６Ｇに示されたような長方形のテーブルのエッジ)によって輪郭が描かれた平面を検知するためには、線特徴が検知されることとしてもよい。他の形状（例えば、楕円又は円）を有する平面を検知するためには、任意の形状に適応される一般化されたハフ変換が使用されてもよい。このことは、例えば、D.H.Ballardによる“Generalizing the Hough Transform to Detect Arbitrary Shapes,” Pattern Recognition, vol.13,no.2,pp.111-122(1981)に記述されており、当該文献は、その全体がここに引用される。ある実施形態においては、特徴抽出部３４２は、ハフ変換を実行して、エッジ検知されたカラー画像から線特徴を検知する。図６Ｄは、特徴抽出部３４２によって検知された線特徴を示している。図６Ｄでは、三角形の記号は線特徴の一方の端点を表し、四角形の記号は当該線特徴の他方の端点を表している。ある実施形態においては、特徴抽出部３４２は、エッジを表す画素の座標値のようなパラメータ値を、エッジ検知部から受け取る。このようなパラメータは、特徴抽出部３４２がより正確に線特徴を検知することを可能にする。

図６Ｄに示されているように、平面の輪郭以外の線特徴もまた検知され得る。平面の位置を決定する精度を上げるには、平面の輪郭を表す線特徴を保存する一方で、平面の輪郭を表さない線特徴は、可能な限り削除されるべきである。ある実施形態においては、カラー画像処理モジュール２４４は、奥行き画像内の対応する複数の標本点間における奥行きの有意な変化を示す線特徴を除外することによって線特徴をフィルタリングする。線特徴内の複数の標本点間の奥行き変化が閾値を超えている場合、当該線特徴は、別の対象物のエッジが偶然に並んだ結果であるか、又は、カラー画像内のノイズの結果である可能性がより高い。つまり、複数の点が急激な奥行き変化を示すような線特徴は、平面のエッジである可能性がより低い。

カラー画像処理モジュール２４４は、奥行き画像処理モジュール２４２から奥行き情報を受け取り、複数の標本点が連続性のある奥行き変化又は漸進的な奥行き変化を示さないような線特徴を除外することとしてもよい。図６Ｅは、奥行き画像内の複数の標本点が急激に奥行き変化するような線特徴を除外した後に残っている線特徴を示している。このような線特徴をフィルタリングした後、残っている線特徴の殆どは、平面の輪郭又は平面上の対象物の何れかを表している。

長さ調節モジュール３４６は、幾何学的特徴の物理的長さを近似する。センサ１４０からの距離がより大きい幾何学的特徴は、センサ１４０からの距離がより小さい幾何学的特徴に比して、より短い長さを有するものとしてカラー画像内に現れる。したがって、長さ調節モジュール３４６は、奥行き画像処理モジュール２４２から、幾何学的特徴に関連付けられた奥行き情報を受け取り、形状評価部３５０によって比較するために、カラー画像内の線特徴の近似的な物理的長さを算出する。

形状評価部３５０は、平面の輪郭である可能性が高い幾何学的特徴を選択する機能を有する。幾何学的特徴を選択するために、１又は複数の基準が使用されてもよい。このような基準は、線特徴の近似的な物理的長さを含む。テーブルのような平面は、物理的長さがテーブル上に置かれた他の対象物よりも長いエッジを有する可能性が高い。したがって、形状評価部３５０は、最長の長さを有するものから順に複数の線特徴をランク付けし選択してもよい。平面の輪郭を形成するのに充分な数の線特徴を選択した後、形状評価部３５０は、評価対象の候補平面を抽出する。

候補平面が決定された後、候補平面は、１又は複数の基準を使用して評価される。基準は、平面に一致する複数の線特徴間の比率が所定の閾値を超えるか否か、平面内の画素に対して垂直なベクトルが実質的に並列しているか否か、及び、平面のサイズが所定の範囲内にあるか否か（すなわち、小さすぎない、又は大きすぎない）等を含む。候補平面が基準を満たす場合、候補平面は、平面として最終的に決定される。他方、候補平面が基準を満たさない場合、複数の線特徴の別の組合せが選択されて評価される。ある実施形態においては、次の組合せ内の線特徴は、前の組合せ内の線特徴に比して、より短い長さを有する。その後の線特徴の組合せから生成される平面の何れもが基準を満たさない場合、画像内には平面が存在しないと宣言される。

最終的な平面が決定された後、当該平面を有する対象物の向きが決定される。図７は、消失線を使用することによって、平面を有する長方形の対象物の向きを決定する例を示している。図７に示されるような透視投影では、長方形の対象物の２組の平行なエッジのそれぞれは、点Ａ７０２及び点Ａ´７０４において交差する。平行なエッジが交差するこのような点は、消失点として知られている。２つの消失点７０２、７０４を連結することによって、消失線Ａ−Ａ´が取得される。消失線Ａ−Ａ´は画像の地面と平行である。

消失線及び内蔵カメラ較正行列に基づいて、平面に直交する法線ベクトルが取得され得る。内蔵カメラ較正行列は、消失線と組合わされて、平面の両側に平行な２つのベクトルを取得するために使用され得る。法線ベクトル及び２つの方向ベクトルは、３次元空間において平面を有する対象物の向きを定義する基準座標系を形成する。平面の次元が既知であり平面検知部２４０に提供されている場合、平面を有する対象物の３次元座標値及び向きが決定され得る。

消失線Ａ−Ａ´、内蔵カメラ較正行列及び平面の向きを計算することは、例えば、Richard Hartley及びAndrew Zissermanによる“Multiple view geometry in computer vision,”First Edition, Cambridge University Press,pp.205-213(2003)に記述されている。当該文献は、その全体がここに引用される。

図６Ｆは、線特徴をランク付けし、複数の線特徴間の幾何学的関係を決定した後に選択された線特徴を示している。図６Ｇに示されているように、選択された線特徴は延長されて、平面の輪郭を描く線特徴を取得する。形状評価部３５０が平面を決定した後、カラー画像処理モジュール２４４は、平面の位置決め情報を含む平面情報２４８を環境写像部２６０に出力する。

（平面検知方法）
図４Ａ及び図４Ｂは、本発明のある実施形態に係る、平面を検知する方法のフローチャートである。最初に、奥行き画像及びカラー画像が、それぞれ奥行き画像取得モジュール３１２及びカラー画像取得モジュール３３０によって、画像データ２１０のストリームから取得される（ステップ４０６）。奥行き画像をガウシアンフィルタ３１６で処理することによって奥行き画像が平滑化され、奥行き画像のノイズが削減される（ステップ４１０）。奥行き画像の質に因っては、当該ステップ４１０を実行せずに省略してもよい。

法線ベクトルモジュール３２０によって、奥行き画像内の画素から奥行き画像内の法線ベクトルが計算される（ステップ４２０）。マスク生成部３２４によって、奥行き画像の法線ベクトルに基づいて、カラー画像をトリミングするマスクが作成される（ステップ４３０）。具体的には、所定の方向との差が所定の許容範囲内にある法線ベクトルを有する、奥行き画像内の画素の群が選択される。マスク生成部３２４によって、画素の群を含む領域が拡大され、ある幾何学的形状（例えば、長方形）のマスクを取得する。画像トリミングモジュール３３４は、マスクを使用して、カラー画像をトリミングする（ステップ４４０）。

エッジ検知部３３８によって、トリミングされたカラー画像からエッジが検知される（ステップ４４４）。カラー画像から検知されたエッジに対して、特徴抽出部３４２によってハフ変換が適用され、平面のエッジの候補となる線特徴を取得する（ステップ４５０）。他の処理方法又は他の変換（例えば、円ハフ変換）が適用されて、他のタイプの幾何学的特徴（例えば、曲線）を検知してもよい。

急激に奥行きが変化する標本点を有する候補線が除外される（ステップ４６０）。具体的には、線特徴に対応する奥行き画像内の複数の点において、２以上の標本点が取得される。標本点間の奥行きの差分が閾値を超える場合は、当該線特徴は、平面の輪郭を描くエッジであるかもしれない候補線特徴のプールから除外される。

長さ調節モジュール３４６によって、候補線特徴の長さが調節され、実世界における線の物理的長さを近似する（ステップ４７０）。線特徴の長さに基づいて、線特徴が選択される（ステップ４８０）。具体的には、より長い長さを有する線特徴のサブセットが、候補平面を定義するものとして幾何学的特徴から選択される（ステップ４８０）。

平面のサイズ、平面のエッジに一致する線特徴の比率、及び、所定の許容範囲内の法線ベクトルを有するエッジ内の画素の百分比のような、１又は複数の基準に基づいて、候補平面が評価される（ステップ４８８）。

候補平面が基準を満たす場合、候補平面は、最終的な平面として決定され、当該平面を有する対象物の向きが決定される（ステップ４９６）。具体的には、消失線、内蔵カメラ較正行列、及び、平面の両側を表す線に平行な方向ベクトルが計算され、平面を有する対象物の２次元座標値又は３次元座標値、及び、平面を有する対象物の向きを決定する。対象物の座標値及び向きを含む平面情報が、カラー画像処理モジュール２４４から出力される（ステップ４９８）。

候補平面が基準を満たさない場合、候補平面は廃棄され、別の線特徴が選択される（ステップ４８２）。処理はステップ４８４に戻る。そこでは、選択された線特徴に基づいて、他の候補平面が決定される。ある実施形態においては、長さがより短い線特徴が組み合わされて、次の候補平面を生成する。

それに続く線特徴の組合せからなる候補平面のいずれもが基準を満たさない場合、画像内には平面が発見されなかったと宣言される（ステップ４９４）。

（代替実施形態）
平面検知部２４０によって生成される平面情報２４８は、他の目的に使用されてもよい。ある実施形態においては、平面情報２４８は、カメラを較正するために使用される。具体的には、平面情報２４８は、（カメラに取得された）画像内の対象物のカメラに対する相対的な向き及び相対的な位置を表すカメラ姿勢を取得するために使用される。

ある実施形態においては、カラー画像及び奥行き画像の先行フレームによって生成された平面情報は、平面検知部２４０に格納されるので、連続画像の複数のフレームに亘って平面の連続検知が実行される。つまり、画像データ２１０の先行フレーム内で平面が検知されなかった場合、平面検知部２４０は、次の画像フレーム内で平面を検知しないようにバイアスを掛けられる。対照的に、先行フレーム内で平面が検知された場合、平面検知部２４０は、次の画像フレーム内で平面を検知するようにバイアスを掛けられる。さらに、格納された先行フレームの平面情報が参照されて、平面の検索が開始されるべき後続フレーム内の画像の部分を決定してもよい。

前記では、いくつかの実施形態に関して本発明を記述してきたが、本発明の範囲内で様々な修正が可能である。したがって、本発明の開示は、例示的なものであって、特許請求の範囲に記載された本発明の範囲を限定するものではない。

１１０ テーブル
１１２ 対象物
１１４ 対象物
１３０ ロボット
１４０ センサ
２００ 処理モジュール
２１０ 画像データ
２４０ 平面検知部
２４２ 奥行き画像処理
２４４ カラー画像処理
２４８ 平面情報
２５０ 対象物検知部
２５２ 対象物情報
２６０ 環境写像部
２６２ 環境情報
２７０ モーション計画部
２７２ 命令
２８０ 制御装置
２８２ 制御信号
３１２ 奥行き画像取得
３１６ ガウシアンフィルタ
３２０ 法線ベクトル
３２４ マスク生成部
３３０ カラー画像取得
３３４ 画像トリミング
３３８ エッジ検知部
３４２ 特徴抽出部
３４６ 長さ調節
３５０ 形状評価部
７０２、７０４ 消失点

Claims (8)

1. 平面を有する対象物の位置を決定するコンピュータを用いる方法であって、
   前記コンピュータは、
   奥行きセンサと奥行き画像内の対象物の部分との間の距離を表す画像画素を含む前記奥行き画像を受け取り、
   前記奥行き画像を処理することによって、前記奥行き画像のうちから、前記奥行き画像よりもサイズが小さい隣接領域である候補領域であって、前記平面を含む可能性を有する前記奥行き画像の部分を表す候補領域を決定し、
   カメラによって取得されたカラー画像であって、前記奥行き画像内の前記候補領域を含むカラー画像を受け取り、
   前記カラー画像から、前記平面の境界の輪郭を描く幾何学的特徴を検知し選択することによって、前記カラー画像の前記候補領域内の前記対象物の平面を検知し、
   前記幾何学的特徴を選択することは、
   前記奥行き画像内の奥行き情報に応じて、前記検知された幾何学的特徴の長さを調節し、前記幾何学的特徴の物理的長さを決定し、
   前記検知された幾何学的特徴の前記物理的長さに基づいて、候補平面の輪郭を描く、前記検知された幾何学的特徴のサブセットを選択すること、
   を含むこと、
   を特徴とする方法。
2. 前記奥行き画像内の候補領域を決定することは、
   前記奥行き画像の前記画像画素から、前記奥行き画像内の対象物の面に対して垂直であるベクトルを表す法線ベクトルを計算し、
   所定の方向の法線ベクトルを有する、前記奥行き画像内の１又は複数の領域を決定し、
   前記奥行き画像の前記１又は複数の領域を拡大し前記候補領域を表すマスクを生成すること、
   を含み、
   前記マスクに対応する前記カラー画像の部分は、
   前記幾何学的特徴を検知するためにトリミングされること、
   を特徴とする請求項１に記載の方法。
3. 前記コンピュータは、
   前記候補領域を決定する前に、前記奥行き画像をガウシアンフィルタでフィルタリングすること、
   を特徴とする請求項１に記載の方法。
4. 前記幾何学的特徴を検知することは、
   前記候補領域を含む前記カラー画像内のエッジを検知し、
   前記検知されたエッジに対してハフ変換を実行して前記カラー画像内の線特徴を取得すること、
   を含むこと、
   を特徴とする請求項１に記載の方法。
5. 前記候補平面は、
   前記候補平面のサイズ、
   前記候補平面内の複数の画素に対して垂直な複数のベクトル間の類似性、及び、
   前記候補平面に一致する前記幾何学的特徴の比率、からなる群のうちの少なくとも１つに基づいて評価されること、
   を特徴とする請求項１に記載の方法。
6. 前記幾何学的特徴を選択することは、
   前記幾何学的特徴の複数の点間の奥行き変化が閾値を超えていると決定する場合は、前記検知された幾何学的特徴を除外すること、
   を含むこと、
   を特徴とする請求項１に記載の方法。
7. 平面を有する対象物を検知するコンピュータを機能させるためのコンピュータプログラムを格納する、不揮発性のコンピュータ読取可能な記憶媒体であって、
   前記コンピュータプログラムは、
   前記コンピュータのプロセッサに対して、
   奥行きセンサと奥行き画像内の対象物の部分との間の距離を表す画像画素を含む前記奥行き画像を受け取り、
   前記奥行き画像を処理することによって、前記奥行き画像のうちから、前記奥行き画像よりもサイズが小さい隣接領域である候補領域であって、前記平面を含む可能性を有する前記奥行き画像の部分を表す候補領域を決定し、
   カメラによって取得されたカラー画像であって、前記奥行き画像内の前記候補領域を含むカラー画像を受け取り、
   前記カラー画像から、前記平面の境界の輪郭を描く幾何学的特徴を検知し選択することによって、前記カラー画像の前記候補領域内の前記対象物の平面を検知する処理を実行させ、
   前記幾何学的特徴を選択することは、
   前記奥行き画像内の奥行き情報に応じて、前記検知された幾何学的特徴の長さを調節し、前記幾何学的特徴の物理的長さを決定し、
   前記検知された幾何学的特徴の前記物理的長さに基づいて、候補平面の輪郭を描く、前記検知された幾何学的特徴のサブセットを選択すること、
   を含むこと、
   を特徴とする記憶媒体。
8. 平面を有する対象物の位置を決定するシステムであって、
   前記システムは、
   奥行きセンサと奥行き画像内の対象物の部分との間の距離を表す画像画素を含む前記奥行き画像を受け取り、
   前記奥行き画像を処理することによって、前記奥行き画像のうちから、前記奥行き画像よりもサイズが小さい隣接領域である候補領域であって、前記平面を含む可能性を有する前記奥行き画像の部分を表す候補領域を決定する奥行き画像処理モジュールと、
   前記奥行き画像処理モジュールに接続され、
   カメラによって取得されたカラー画像であって、前記奥行き画像内の前記候補領域を含むカラー画像を受け取り、
   前記カラー画像から幾何学的特徴を検知し、前記平面の境界の輪郭を描く幾何学的特徴を選択することによって、前記カラー画像の前記候補領域内の前記対象物の平面を検知するカラー画像処理モジュールと、を有し、
   前記幾何学的特徴を選択することは、
   前記奥行き画像内の奥行き情報に応じて、前記検知された幾何学的特徴の長さを調節し、前記幾何学的特徴の物理的長さを決定し、
   前記検知された幾何学的特徴の前記物理的長さに基づいて、候補平面の輪郭を描く、前記検知された幾何学的特徴のサブセットを選択すること、
   を含むこと、
   を特徴とするシステム。

Images