JP6204781B2 - 情報処理方法、情報処理装置、およびコンピュータプログラム - Google Patents

情報処理方法、情報処理装置、およびコンピュータプログラム Download PDF

Info

Publication number
JP6204781B2
JP6204781B2 JP2013207588A JP2013207588A JP6204781B2 JP 6204781 B2 JP6204781 B2 JP 6204781B2 JP 2013207588 A JP2013207588 A JP 2013207588A JP 2013207588 A JP2013207588 A JP 2013207588A JP 6204781 B2 JP6204781 B2 JP 6204781B2
Authority
JP
Japan
Prior art keywords
viewpoint
target object
information processing
shape data
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013207588A
Other languages
English (en)
Other versions
JP2015072581A (ja
Inventor
裕人 吉井
裕人 吉井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2013207588A priority Critical patent/JP6204781B2/ja
Publication of JP2015072581A publication Critical patent/JP2015072581A/ja
Application granted granted Critical
Publication of JP6204781B2 publication Critical patent/JP6204781B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Description

本発明は、対象物体の位置姿勢推定技術に関するものである。
従来から、特許文献1にあるように、対象物体を予め複数の視点から撮影した画像をテンプレートとし、姿勢が未知の対象物体を撮影した画像とマッチングすることによって対象物体の位置・姿勢を求める技術があった。特に、特許文献1では、物体の回転対称性を考慮した限定された視点からの撮影画像をテンプレートとして用いることによって高速にマッチングする実施形態が開示されている。
一方、特許文献2では、対象物体のさまざまな視点からの3次元データをテンプレートとし、姿勢が未知の対象物体から取得した3次元データとマッチングすることによって対象物体の位置・姿勢を求める技術が開示されている。
特許第3377465号公報 特許第4940461号公報
しかしながら、従来技術においては以下の課題が存在した。まず、特許文献1で開示されている技術においては、対象物体の回転対称性を人間が判断し、それに基づいた限定された視点からの撮影データを準備する必要があった。この作業は、ある程度スキルを要する作業であり、登録するデータがユーザによって変わってしまうという課題があった。
一方、特許文献2で開示されている技術においては、対象物体に何らかの対称性が存在し、複数の姿勢でほぼ同一の測定データとなる冗長性が存在した場合、冗長なテンプレートを作成してしまうという問題があった。そして、冗長なテンプレートを作成、登録してしまうと、冗長性を排除した場合と比べて必要なメモリも増え、マッチングに要する時間も増えるという問題が発生していた。
本発明はこのような問題に鑑みてなされたものであり、操作者依存性が無く且つ省メモリで高速な対象物体の位置姿勢推定を行うための辞書の作成を行うための技術を提供する。
本発明の一様態は、それぞれの視点から見た対象物体の形状データを取得する取得手段と、自視点に対応する形状データと規定値以上の類似度を有する形状データに対応する他視点を、非有効視点として特定する特定手段と、前記それぞれの視点のうち非有効視点以外の視点を有効視点とし、該有効視点と前記対象物体との間の相対姿勢と、該有効視点に対応する形状データとを、前記対象物体の位置姿勢を推定するために使用するデータとして出力する出力手段とを備えることを特徴とする。
本発明の構成によれば、操作者依存性が無く且つ省メモリで高速な対象物体の位置姿勢推定を行うための辞書の作成を行うことができる。
情報処理装置が行う処理のフローチャート。 情報処理装置の構成例を示すブロック図。 ステップS105における処理を説明する図。 ステップS105における処理を説明する図。 情報処理装置が行う処理のフローチャート。 情報処理装置が行う処理のフローチャート。 優先視点606について説明する図。 ステップS607における処理の詳細を示すフローチャート。 円錐状の対象物体に対して第3の実施形態を適用した例を説明する図。
以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の1つである。
[第1の実施形態]
先ず、本実施形態に係る情報処理装置の構成例について、図2のブロック図を用いて説明する。なお、情報処理装置に適用可能な構成は、図2に示した構成に限るものではなく、以下に情報処理装置が行うものとして後述する各処理を実行可能な構成であれば構わない。また、図2に示した構成は、単独の装置の構成としても良いし、例えば、組み込みデバイス、デジタルカメラ、タブレット端末などの装置上で実装される構成であっても良い。
CPU201は、ROM202やRAM203に格納されているコンピュータプログラムやデータを用いて処理を実行することで、本装置全体の動作制御を行うと共に、本装置が行うものとして後述する各処理を実行する。
ROM202には、本装置の設定データやブートプログラムなどが格納されている。RAM203は、2次記憶装置204からロードされたコンピュータプログラムやデータ(図2の場合、OS211、アプリケーション212、モジュール213、データ214)を一時的に記憶するためのエリアを有する。また、RAM203は、CPU201が各種の処理を実行する際に用いるワークエリアや、I/Oデバイス209から送出される各種のデータを一時的に記憶するためのエリアを有する。すなわち、RAM203は、各種のエリアを適宜提供することができる。
2次記憶装置204は、ハードディスクドライブ装置に代表される大容量情報記憶装置である。2次記憶装置204には、OS211、アプリケーション(コンピュータプログラム)212、モジュール(コンピュータプログラム)213、データ214などが保存されている。
アプリケーション212は、例えば、後述する辞書作成を行ったり、該辞書を用いて対象物体の位置姿勢推定を行ったり、推定した位置姿勢を用いて各種の処理(例えば推定した位置姿勢を用いたロボット制御等)を行ったりするためのアプリケーションである。モジュール213は、アプリケーション212の実行に用いるモジュールであったり、I/Oデバイス209等のドライバソフトウェアであったりする。データ214は、対象物体の形状を表すデータや、対象物体を観察する複数の視点に係る情報など、以下の説明において既知の情報として説明する様々な情報である。
2次記憶装置204に保存されているコンピュータプログラムやデータは、CPU201による制御に従って適宜RAM203にロードされ、CPU201による処理対象となる。
ディスプレイ206は、CRTや液晶画面などにより構成されており、CPU201による処理結果を画像や文字などでもって表示することができる。例えば、ユーザ操作を促し且つ該ユーザ操作を受け付けるための画面は、このディスプレイ206に表示される。
キーボード207及びマウス208は、本装置のユーザが本装置に各種の指示を入力するために操作する操作入力インターフェースの一例である。ユーザがキーボード207やマウス208を操作することで、各種の指示をCPU201に対して入力することができる。
I/Oデバイス209は、本装置に様々なデータを入力したり、本装置内のデータを外部機器に対して出力したりする装置である。I/Oデバイス209には、例えば、対象物体の撮像画像や距離画像(デプス画像)を撮像して本装置に入力するための装置が含まれる。I/Oデバイス209が、対象物体の撮像画像を撮像する装置である場合、このI/Oデバイス209は、例えば、1台の撮像装置である。また、I/Oデバイス209が、対象物体の距離画像を撮像する装置である場合、このI/Oデバイス209は、例えば、2台のステレオカメラや、1台のパターン光投影装置と1台のカメラとのセット、である。また、レーザースキャナ装置の場合もある。
また、I/Oデバイス209には、本装置内のデータを外部機器に対して送出する装置として、本装置で推定した対象物体の位置姿勢をロボット若しくは該ロボットを制御するコントローラに対して出力する装置が含まれる。
上記の各部は何れもバス205に接続されている。
次に、対象物体の位置姿勢を推定するために用いられる辞書を作成するために情報処理装置が行う処理について、同処理のフローチャートを示す図1を用いて説明する。なお、図1のフローチャートに従った処理は、CPU201が、2次記憶装置204からRAM203にロードされたデータ214を用いて、アプリケーション212やモジュール213を実行することでなされるものである。
また、図1のフローチャートに従った処理の開始前の時点で、RAM203には、2次記憶装置204からデータ214として、対象物体の形状データ101と、該対象物体を観察する複数の視点に係る情報である学習視点102と、がロードされている。以下では、対象物体を観察する視点の数をN(Nは以上の自然数)として説明する。
ここで、対象物体の形状データ101とは、該対象物体の形状を規定するデータであれば如何なるデータであっても良く、例えば、対象物体のCADデータや、対象物体をポリゴンで近似したときのそれぞれのポリゴンのデータ、が適用可能である。また、形状データ101には、必要に応じて、対象物体の表面反射特性等の特徴量を示す付加情報を含めても良い。
また、学習視点102とは、対象物体を様々な視点から見た画像を学習する際の該それぞれの視点を表すデータである。通常、Geodesic Sphere上に均等に配置された視点を用いるが、対象物体の形状に即して粗密がある視点を用意してもかまわない。この学習視点102には、視点ごとに、該視点に固有のインデックスと、該視点の姿勢と、が含まれている。
そしてステップS103では、CPU201は、形状データ101に基づいて対象物体の仮想物体を生成して仮想空間中の規定位置に規定姿勢で配置し、該配置した仮想物体をそれぞれの視点から見た画像を生成する。
例えば、学習視点102が(視点1のインデックス=1、視点1の姿勢)、…、(視点Nのインデックス=N、視点Nの姿勢)を含むとする。このとき、ステップS103では、視点1(の姿勢)から見た仮想物体(対象物体)の画像、…視点N(の姿勢)から見た仮想物体(対象物体)の画像、を生成する。なお、ある視点から見た仮想物体の画像を生成するための技術は周知であるため、該技術に係る説明は省略する。
そしてCPU201は、視点のインデックスと該視点から見た対象物体(仮想物体)の画像とのセットを視点ごとに登録した視点別画像データ104を生成する。なお、「視点別画像データ104に含まれているそれぞれに視点に対応する画像」は、視点から見た仮想物体をレンダリングした2次元画像に限ったものではなく、それぞれの視点から撮像した対象物体の距離画像であっても良い。また、「視点別画像データ104に含まれているそれぞれに視点に対応する画像」は、ビットマップ等の画像形式のデータではなくても良い。例えば、HOG(Histograms of Oriented Gradients)特徴量のように、画像から特徴抽出を行った後の特徴量ベクトルの形式のデータであっても良い。
このように、「視点別画像データ104に含まれているそれぞれに視点に対応する画像」は、該視点から見た対象物体(仮想物体)の形状を規定することができるデータであれば、如何なるデータであっても構わない。
次に、ステップS105では、CPU201は、N個の視点のうち、学習に使用しない視点(非有効視点)を特定し、該特定した非有効視点のインデックスを、RAM203内に設けた削除視点リストに登録する処理を行う。ここで、ステップS105における処理の詳細について、図3,4を用いて説明する。
ここでは、対象物体として、図3(a)にあるようなドーナツ状の物体と円柱状の物体がつながった物体を例にとり説明する。図3(a)に対象物体の上から見た図と横から見た図を示す。図3(a)に示した通り、この対象物体には矢印で示した回転軸があり、この回転軸に対して180度回転すると全く同じ形になるという対称性が存在する。この対象物体と、互いに異なる4つの視点と、の位置関係を図3(b)に示す。図3(b)に示した視点301〜304は、学習視点102に含まれている何れかのインデックスに対応する視点である。ここで、視点301の位置を、対象物体305の回転軸306周りに180度回転させた位置が、視点302の位置である。同様に、視点303の位置を、対象物体305の回転軸306周りに180度回転させた位置が、視点304の位置である。上述した通り、対象物体305には回転軸306を中心とした180度回転対称性が存在する。然るに、視点301から見た対象物体305の見えと視点302から見た対象物体305の見えとは全く同じであるし、視点303から見た対象物体305の見えと視点304から見た対象物体305の見えとは全く同じである。特許文献2に記載の従来例では、このように全く同じ見えの画像が存在したとしても削除せずにテンプレートとして用いていた。これに対して、本実施形態では、例えば視点302、視点304を非有効視点として、学習には使用しないようにすることで、冗長性を排除したテンプレートが作成できる。図3の場合、視点302及び視点304が非有効視点として特定され、そのインデックスが削除視点リストに登録されることになる。
ステップS105における処理の詳細を、図4(b)のフローチャートを用いて説明する。ステップS401〜S409のループ及びステップS403〜S408のループは、全ての視点のインデックス(視点1のインデックス=1,視点2のインデックス=2,…,視点Nのインデックス=N)について行われる。第1回目のステップS401〜S409のループではi=1であり、2回目のステップS401〜S409のループではi=2であり、第N回目のステップS401〜S409のループではi=Nである。同様に、第1回目のステップS403〜S408のループではj=1であり、2回目のステップS403〜S408のループではj=2であり、第N回目のステップS403〜S408のループではj=Nである。
ステップS402では、CPU201は、視点iのインデックス=iがすでに削除視点リストに登録されているか否かを判断する。この判断の結果、視点iのインデックス=iがすでに削除視点リストに登録されている場合には、次のステップS401〜S409のループを実行する。一方、視点iのインデックス=iは削除視点リストに登録されていない場合には、処理はステップS404に進む。
ステップS404では、CPU201は、i≠jであるか否か、及び視点jのインデックス=jがすでに削除視点リストに登録されているか否か、を判断する。この判断の結果、「i≠j且つ視点jのインデックス=jは削除視点リストに登録されていない」という条件が満たされている場合には、ステップS405に進み、この条件が満たされていない場合には、次のステップS403〜S408のループを実行する。
ステップS405では、CPU201は、視点iのインデックス=iに対応する画像及び視点jのインデックス=jに対応する画像を視点別画像データ104から取得し、該取得したそれぞれの画像間の類似度を計算する。
画像間の類似度を求めるアルゴリズムには、例えば、正規化相関、位相限定相関などの一般的なアルゴリズムを用いることができる。画像間の類似度を求めるに際して、画像の面内回転を無視する必要がある。これは各視点におけるカメラの光軸まわりの回転を無視することに相当する。
画像の面内回転を無視するための方法には、様々な方法が考えられる。例えば、対象物体の形状データ101の3次元座標軸のうち例えばX軸のX増加方向を例えば上向きとするよう予め決めておき、画像内の軸の向きを3次元座標軸に合わせるように回転させて視点別画像データ104を作成する方法がある。また、画像の面内回転を無視するための別の方法として、視点iと視点jのどちらか一方の画像を微小角度面内回転し、類似度の最も高い値をもって視点iと視点jとの間の画像の類似度とすることもできる。また、極座標系を用いた位相限定相関アルゴリズムを用いても画像の面内回転をキャンセルすることができる。また、ビットマップ等の画像形式のデータを用いるのではなく、面内回転に不変な特徴量ベクトルを使って対象物体の見えを記述すれば、単純なベクトルの類似度算出によって画像間の類似度を算出することができる。
そしてステップS406では、CPU201は、ステップS405で求めた類似度が規定値(閾値)以上であるか否かを判断する。この判断の結果、類似度が閾値以上であれば、処理はステップS407に進み、類似度が閾値未満であれば、次のステップS403〜S408のループを実行する。
ステップS407では、CPU201は、視点iからの画像と視点jからの画像とは同一視可能と判断し、視点jのインデックス=jを、削除視点リストに登録する。例えば、図4(a)の場合、視点別画像データ104には、視点1,2,3,4,…のインデックスと、それぞれの視点に対応する画像と、が登録されている。然るにこのような場合、インデックス=iの視点が視点1であれば、視点1の画像と、インデックス=jの視点である視点2,3,4の画像と、の間の類似度を算出する。そして図4(a)の場合、視点1の画像を面内回転させると視点4の画像と全く同じになるため、画像間の類似度が高くなり、その結果、視点4のインデックスが削除視点リストに登録されることになる。
なお、一般的にGeodesic Sphere上で近い視点間で画像の類似度は高くなるので、画像間の類似度算出にあたり、視点間の距離が近いほど小さい値をとるペナルティ値p(0<p<1)を採用し、類似度×pを改めて類似度として用いても良い。このようにすることで、対象物体に形状としての冗長性がないにもかかわずらず、Geodesic Sphere上の近隣視点がグループ化され、それぞれのグループの中で1つの視点を除いて視点が削除される事を防ぐことができる。
このようなステップS105における処理により、N個の視点のうち自視点に対応する画像と規定値以上の類似度を有する画像に対応する他視点を、非有効視点として特定することができる。
なお、図4のフローチャートで説明したアルゴリズムは、図1の視点別画像データ104の中の異なる2つの視点に対応する画像間の類似度を逐次求めることで非有効視点を特定していた。しかし、ステップS105では他のアルゴリズムによって非有効視点を特定するようにしても構わない。例えば、任意視点の画像間の類似度マトリックスを求めた後で、クラスタリングアルゴリズムを用いてクラスタを作成し、同一クラスタの中で1つの視点以外の全ての視点のインデックスを削除視点リスト106に格納するというアルゴリズムを採用しても良い。
図1に戻って次にステップS107でCPU201は、学習視点102に含まれているそれぞれの視点の姿勢のうち削除視点リストに登録されているインデックス以外のインデックスに対応する姿勢を、有効視点(非有効視点以外の視点)の姿勢として特定する。そしてCPU201は、それぞれの有効視点から見える対象物体の画像を、形状データ101を用いて、上記のステップS103における処理と同様の処理を行うことで生成する。なお、有効視点から見た対象物体の画像は、視点別画像データ104から取得しても構わない。
そして、CPU201は、有効視点ごとに、該有効視点に対応する画像と、該有効視点と対象物体(仮想物体)との間の相対姿勢と、が登録された学習用画像データ群108を生成する。この相対姿勢は、対象物体(仮想物体)の配置姿勢と、有効視点の配置姿勢と、の間の相対姿勢である。
このように、ステップS107では、通常、視点から見た対象物体の見えを所定の角度で面内回転させることで姿勢空間で万遍なく姿勢空間から離散的にサンプリングされた姿勢での画像を生成させる。
ステップS109では、CPU201は、学習用画像データ群108を用いて機械学習を行うことで、対象物体の位置姿勢推定を行うために必要な辞書110を作成する。機械学習には、一般的によく利用されるアルゴリズム、例えば、ニューラルネットやサポートベクターマシン等のパターン認識アルゴリズムを用いることができる。
このようにして作成された辞書110は、位置・姿勢の未知な対象物体の位置・姿勢を推定する場合に使用され、該辞書を用いて認識対象画像とパターンマッチングを行うことで位置・姿勢を推定する。この位置姿勢推定処理については周知の技術であるので、これに係る説明は省略する。
<第1の実施形態の変形例>
第1の実施形態では辞書を作成する方法について説明したが、必ずしも辞書を作成する必要はない。例えば、学習用画像データ群108を生成して出力した後、特許文献1に記載されているように、学習用画像データ群108をテンプレートとして用い、テンプレートマッチングを実施することで対象物体の位置・姿勢を推定してもかまわない。
[第2の実施形態]
第1の実施形態では、形状データ101と学習視点102とを用いて、それぞれの視点からの対象物体の画像を生成して視点別画像データ104に登録していた。本実施形態では、該画像の代わりに、視点ごとに、該視点から対象物体を測定したデータを登録する点が、第1の実施形態と異なる。以下では、第1の実施形態との差分について重点的に説明し、以下で特に触れない限りは、第1の実施形態と同様であるとする。
対象物体の位置姿勢を推定するために用いられる辞書を作成するために情報処理装置が行う処理について、同処理のフローチャートを示す図5を用いて説明する。図5において、図1に示した処理ステップと同じ処理ステップには同じステップ番号を付しており、該処理ステップに係る説明は省略する。また、図5のフローチャートに従った処理は、CPU201が、2次記憶装置204からRAM203にロードされたデータ214を用いて、アプリケーション212やモジュール213を実行することでなされるものである。
ステップS503では、CPU201は、学習視点102に含まれているそれぞれの視点の姿勢を用いて、該視点から対象物体501の形状を測定した測定データを取得する。測定データは、例えば、カメラ等で撮影した対象物体の画像に限定されるものではなく、また、撮影した画像から特徴抽出した結果である特徴量ベクトルであってもよい。また、測定データとしては、例えば、複数カメラやレーザースキャナ等を用いて取得した対象物体の3次元データや3次元データを画像化したものでもよい。
そしてCPU201は、視点ごとに、該視点から測定した測定データと、該視点のインデックスと、がセットになって登録されている、視点別物体測定データ504を生成する。
ステップS505では、CPU201は、上記のステップS105における処理と同様の処理(図4(b)の処理)を行うことで、削除視点リスト506を完成させる。このとき、類似度の計算は測定データ同士で行うことになる。
次に、ステップS507では、CPU201は、学習視点102から削除視点リスト506の視点を除いた視点からの対象物体の見えを測定するのであるが、対象物体の測定作業はコストのかかる場合が多いので、図5では図1とは異なる方法を採用している。つまり、予め全視点からの測定を実施した結果である視点別物体測定データ504から削除視点リスト506に相当する視点のデータを削除して学習用物体測定データ群508を作成する。そしてステップS509では、CPU201は、学習用物体測定データ群508を用いて機械学習の学習を行うこと、辞書510を作成する。
以上説明した本実施形態のメリットは、図1の形状データ101に相当する対象物体のCADやポリゴンモデルが存在しない場合であっても、冗長性を排除した辞書が作成できるという点にある。
[第3の実施形態]
本実施形態では、N個の視点のうち優先視点を設定し、視点間の画像の類似度だけでなく、この優先視点をも加味して、削除視点リストを作成する点が、第1の実施形態と異なる。以下では、第1の実施形態との差分について重点的に説明し、以下で特に触れない限りは、第1の実施形態と同様であるとする。
対象物体の位置姿勢を推定するために用いられる辞書を作成するために情報処理装置が行う処理について、同処理のフローチャートを示す図6を用いて説明する。図6において、図1に示した処理ステップと同じ処理ステップには同じステップ番号を付しており、該処理ステップに係る説明は省略する。また、図6のフローチャートに従った処理は、CPU201が、2次記憶装置204からRAM203にロードされたデータ214を用いて、アプリケーション212やモジュール213を実行することでなされるものである。
ステップS605では、CPU201は、N個の視点のうち優先視点606を設定する。この優先視点606について、図7を用いて説明する。
図7は、図3と同じ対象物体が同じように配置されている様子を示す図であり、対象物体と、各視点と、の間の位置関係を示している。701〜707は何れも視点を示している。
図7(a)が優先視点を用いないで非有効視点(黒丸で示している)を特定した1つの例を示しており、図7(b)が優先視点を用いて非有効視点(黒丸で示している)を特定した例を示している。図7(b)では、視点701〜707のうち視点707が優先視点として設定されている(ステップS605)。優先視点の設定方法には様々な方法があり、特定の方法に限るものではない。例えば、Geodesic Sphere上の点(視点)をディスプレイ206に表示し、ユーザがこれを見て確認しながらマウス208を操作して1つの視点を優先視点として設定するようにしても構わない。また、ディスプレイ206に対象物体の仮想物体を表示し、ユーザがキーボード207やマウス208を操作してこの仮想物体の姿勢を好適な姿勢に回転させることで、この姿勢を有する視点を優先視点として設定するようにしても構わない。また、対象物体を物理的に配置し、その姿勢を一旦推定した後で、物理空間上の点を指定することによって、配置された対象物体に対する優先視点の位置を設定する方法もある。
何れの方法で優先視点を設定するにせよ、ステップS605では、CPU201は、このようにして設定された優先視点の姿勢を取得することになる。
学習視点102はGeodesic Sphere上の離散的な点群からなるが、その順序はユーザが故意に指定しない限り任意である。極端な場合、図7(a)に示すように視点701、視点704、視点705、視点702、視点703、視点706の順序になっていることもある。この場合、第1の実施形態に従って削除視点リストを作成すると、黒く塗りつぶされている視点702、視点703、視点706のインデックスが削除視点リストに登録されることになる。
係る点、本実施形態では、画像間の類似度が規定値以上である2つの視点のうち、優先視点から遠い方の視点のインデックスを削除視点リストに登録する。図7(b)の場合、学習視点102の中にある視点の順序がどのようになっていても、必ず視点702、視点704、視点706のインデックスが削除視点リストに登録されることになる。結果的に、視点707を北極点、円708を赤道とした場合、必ず、南半球に存在する視点のインデックスが削除視点リストに登録されることになる。
ステップS607では、CPU201は、このような原理に従って、削除視点リスト608を作成する。ステップS607における処理の詳細について、同処理のフローチャートを示す図8を用いて説明する。
ステップS801〜S809のループ及びステップS802〜S808のループは、全ての視点のインデックス(視点1のインデックス=1,視点2のインデックス=2,…,視点Nのインデックス=N)について行われる。第1回目のステップS801〜S809のループではi=1であり、2回目のステップS801〜S809のループではi=2であり、第N回目のステップS801〜S809のループではi=Nである。同様に、第1回目のステップS802〜S808のループではj=1であり、2回目のステップS802〜S808のループではj=2であり、第N回目のステップS802〜S808のループではj=Nである。
ステップS803では、CPU201は、視点iのインデックス=iがすでに削除視点リストに登録されているか否かを判断する。この判断の結果、視点iのインデックス=iがすでに削除視点リストに登録されている場合には、次のステップS801〜S809のループを実行する。一方、視点iのインデックス=iは削除視点リストに登録されていない場合には、処理はステップS804に進む。
ステップS804では、CPU201は、「i≠j且つ視点jのインデックス=jは削除視点リストに登録されていない」という条件が満たされているか否かを判断する。この判断の結果、この条件が満たされている場合には、ステップS805に進み、この条件が満たされていない場合には、次のステップS802〜S808のループを実行する。
ステップS805では、CPU201は、視点iのインデックス=iに対応する画像及び視点jのインデックス=jに対応する画像を視点別画像データ104から取得し、該取得したそれぞれの画像間の類似度を計算する。類似度計算については第1の実施形態と同様である。
ステップS806では、CPU201は、ステップS805で求めた類似度が規定値(閾値)以上であるか否かを判断する。この判断の結果、類似度が閾値以上であれば、処理はステップS807に進み、類似度が閾値未満であれば、次のステップS802〜S808のループを実行する。
ステップS807では、CPU201は、視点iと視点jのうち優先視点から遠いほうを非有効視点として決定し、該決定した非有効視点のインデックスを削除視点リストに登録する。「視点iと視点jのうち優先視点から遠いほうを非有効視点として決定する」方法には様々な方法があり、特定の方法に限るものではない。例えば、視点i、視点j、優先視点のそれぞれの姿勢から、Geodesic Sphere上の位置が分かるので、Geodesic Sphere上の位置において優先視点から遠いほうを決定すればよい。もちろん、それぞれの視点の位置を管理しておき、優先視点までの直線距離が大きい方を非有効視点として決定するようにしても構わない。
なお、図8フローチャートで説明したアルゴリズムは、異なる2つの視点に対応する画像間の類似度を逐次求めることで非有効視点を特定していた。しかし、ステップS607では他のアルゴリズムによって非有効視点を特定するようにしても構わない。例えば、任意視点の画像間の類似度マトリックスを求めた後で、クラスタリングアルゴリズムを用いてクラスタを作成し、同一クラスタの中で優先視点に最も近い視点以外の全ての視点を削除視点リスト106に格納するというアルゴリズムを採用しても構わない。
最後に、円錐状の対象物体に対して本実施形態を適用した例を説明する。図9は円錐状の対象物体901を同図のように配置した際の視点の選択される様子を示した図である。図9(a)に示したように、対象物体901の回転軸(矢印)を中心とする円903の上にある視点から見た対象物体901の見えは同じとなる。よってこれらの視点は全て同一視され、このうち1つ以外の視点のインデックスが削除視点リストに登録されることとなる。視点902が優先視点として設定されたとすると、視点904が優先視点から最も近い視点として選ばれ、それ以外の全ての視点のインデックスが削除視点リストに登録される。そして、最終的に削除視点リストにインデックスが登録されずに残る視点群は、図9(b)に示したように、優先視点を通る半円弧の近傍に存在する視点となる。
以上、第1の実施形態及びその変形例、第2,3の実施形態、について説明したが、それぞれに記した構成の一部若しくは全部は適宜組み合わせて使用しても構わない。また、以上の各実施形態や変形例で説明したデータ構成やデータ管理方法等は何れも、説明上の一例であり、以上説明した各処理と同等以上の処理を実現できるのであれば、如何なる変形/変更を行っても構わない。
(その他の実施例)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。

Claims (10)

  1. それぞれの視点から見た対象物体の形状データを取得する取得手段と、
    自視点に対応する形状データと規定値以上の類似度を有する形状データに対応する他視点を、非有効視点として特定する特定手段と、
    前記それぞれの視点のうち非有効視点以外の視点を有効視点とし、該有効視点と前記対象物体との間の相対姿勢と、該有効視点に対応する形状データとを、前記対象物体の位置姿勢を推定するために使用するデータとして出力する出力手段と
    を備えることを特徴とする情報処理装置。
  2. 前記特定手段は、
    前記それぞれの視点を対象とし、該対象とする視点が前記特定手段によって非有効視点として特定されていなければ、該対象とする視点に対応する形状データと規定値以上の類似度を有する形状データに対応する視点であって且つ前記特定手段によって非有効視点として特定されていない視点を、非有効視点として特定する
    ことを特徴とする請求項1に記載の情報処理装置。
  3. 前記特定手段は、非有効視点に固有のインデックスを登録したリストを作成し、
    前記出力手段は、前記それぞれの視点のうち前記リストに登録されていないインデックスに対応する視点を有効視点とし、該有効視点と前記対象物体との間の相対姿勢と、該有効視点に対応する形状データとを、前記対象物体の位置姿勢を推定するために使用するデータとして出力する
    ことを特徴とする請求項1又は2に記載の情報処理装置。
  4. 前記特定手段は更に、前記それぞれの視点のうち優先視点を設定する手段を備え、
    前記特定手段は、自視点と、該自視点に対応する形状データと規定値以上の類似度を有する形状データに対応する他視点と、のうち前記優先視点から遠い方の視点を、非有効視点として特定することを特徴とする請求項1に記載の情報処理装置。
  5. 前記出力手段は、
    前記それぞれの視点のうち非有効視点以外の視点を有効視点とし、該有効視点と前記対象物体との間の相対姿勢と、該有効視点に対応する形状データと、を用いて学習を行うことで、前記対象物体の位置姿勢を推定するために使用する辞書を作成することを特徴とする請求項1乃至4の何れか1項に記載の情報処理装置。
  6. 前記取得手段は、
    前記対象物体の形状を規定するデータを用いて、前記視点から見た該対象物体の画像をレンダリングし、該レンダリングにより得られる該画像を前記形状データとして取得することを特徴とする請求項1乃至5の何れか1項に記載の情報処理装置。
  7. 前記取得手段は、
    それぞれの視点から撮影された対象物体の距離画像を、前記形状データとして取得することを特徴とする請求項1乃至5の何れか1項に記載の情報処理装置。
  8. 前記取得手段は、
    それぞれの視点から撮影された対象物体の撮像画像から抽出した特徴量を、前記形状データとして取得することを特徴とする請求項1乃至5の何れか1項に記載の情報処理装置。
  9. 情報処理装置が行う情報処理方法であって、
    前記情報処理装置の取得手段が、それぞれの視点から見た対象物体の形状データを取得する取得工程と、
    前記情報処理装置の特定手段が、自視点に対応する形状データと規定値以上の類似度を有する形状データに対応する他視点を、非有効視点として特定する特定工程と、
    前記情報処理装置の出力手段が、前記それぞれの視点のうち非有効視点以外の視点を有効視点とし、該有効視点と前記対象物体との間の相対姿勢と、該有効視点に対応する形状データとを、前記対象物体の位置姿勢を推定するために使用するデータとして出力する出力工程と
    を備えることを特徴とする情報処理方法。
  10. コンピュータを、請求項1乃至8の何れか1項に記載の情報処理装置の各手段として機能させるためのコンピュータプログラム。
JP2013207588A 2013-10-02 2013-10-02 情報処理方法、情報処理装置、およびコンピュータプログラム Expired - Fee Related JP6204781B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013207588A JP6204781B2 (ja) 2013-10-02 2013-10-02 情報処理方法、情報処理装置、およびコンピュータプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013207588A JP6204781B2 (ja) 2013-10-02 2013-10-02 情報処理方法、情報処理装置、およびコンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2015072581A JP2015072581A (ja) 2015-04-16
JP6204781B2 true JP6204781B2 (ja) 2017-09-27

Family

ID=53014905

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013207588A Expired - Fee Related JP6204781B2 (ja) 2013-10-02 2013-10-02 情報処理方法、情報処理装置、およびコンピュータプログラム

Country Status (1)

Country Link
JP (1) JP6204781B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7060686B2 (ja) * 2017-10-20 2022-04-26 トヨタ モーター ヨーロッパ 画像処理およびオブジェクトの視点決定の方法ならびにシステム
JP7129065B2 (ja) * 2019-08-21 2022-09-01 アセントロボティクス株式会社 画像データからの物体のポーズ検出

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5924862B2 (ja) * 2010-12-15 2016-05-25 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP5787642B2 (ja) * 2011-06-28 2015-09-30 キヤノン株式会社 対象物保持装置、対象物保持装置の制御方法、およびプログラム

Also Published As

Publication number Publication date
JP2015072581A (ja) 2015-04-16

Similar Documents

Publication Publication Date Title
KR102647351B1 (ko) 3차원의 포인트 클라우드를 이용한 모델링 방법 및 모델링 장치
US11222471B2 (en) Implementing three-dimensional augmented reality in smart glasses based on two-dimensional data
EP3314570B1 (en) Real-time, model-based object detection and pose estimation
CN104937635B (zh) 基于模型的多假设目标追踪器
KR20220009393A (ko) 이미지 기반 로컬화
WO2018119889A1 (zh) 三维场景定位方法和装置
JP2011185650A (ja) モデル作成装置およびモデル作成プログラム
JP5248806B2 (ja) 情報処理装置、情報処理方法
KR102347239B1 (ko) 라이다와 카메라를 이용하여 이미지 특징점의 깊이 정보를 향상시키는 방법 및 시스템
JP7017689B2 (ja) 情報処理装置、情報処理システムおよび情報処理方法
US20150062123A1 (en) Augmented reality (ar) annotation computer system and computer-readable medium and method for creating an annotated 3d graphics model
US20180290300A1 (en) Information processing apparatus, information processing method, storage medium, system, and article manufacturing method
JP2018026064A (ja) 画像処理装置、画像処理方法、システム
WO2019164502A1 (en) Methods, devices and computer program products for generating 3d models
WO2022174594A1 (zh) 基于多相机的裸手追踪显示方法、装置及系统
JP2015049776A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
WO2017147909A1 (zh) 目标设备的控制方法和装置
US20210142511A1 (en) Method of generating 3-dimensional model data
CN108648141B (zh) 一种图像拼接方法及装置
WO2019012632A1 (ja) 認識処理装置、認識処理方法及びプログラム
JP6204781B2 (ja) 情報処理方法、情報処理装置、およびコンピュータプログラム
JP5762099B2 (ja) 姿勢認識装置、作業ロボット、姿勢認識方法、プログラム及び記録媒体
Noborio et al. Experimental results of 2D depth-depth matching algorithm based on depth camera Kinect v1
JP2019211981A (ja) 情報処理装置、情報処理装置の制御方法およびプログラム
WO2017003424A1 (en) Metric 3d stitching of rgb-d data

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161003

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170731

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170804

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170901

R151 Written notification of patent or utility model registration

Ref document number: 6204781

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees