JP4094303B2 - 3D information acquisition apparatus and 3D information acquisition method - Google Patents
3D information acquisition apparatus and 3D information acquisition method Download PDFInfo
- Publication number
- JP4094303B2 JP4094303B2 JP2002032596A JP2002032596A JP4094303B2 JP 4094303 B2 JP4094303 B2 JP 4094303B2 JP 2002032596 A JP2002032596 A JP 2002032596A JP 2002032596 A JP2002032596 A JP 2002032596A JP 4094303 B2 JP4094303 B2 JP 4094303B2
- Authority
- JP
- Japan
- Prior art keywords
- target object
- image
- photographing
- images
- viewpoint
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、対象物体の立体情報を取得する立体情報取得装置及び立体情報取得方法に関する。
【０００２】
【従来の技術】
従来技術としての立体情報取得装置は、特開平１０−１２４７０４号公報に開示されている。
【０００３】
この立体情報取得装置では、画像上の対象物体と背景の境界を用いて、仮定存在領域を算出する。
【０００４】
この仮定存在領域とは、カメラの投影中心を頂点とし、画像上の対象物体と背景の境界を断面形状とする錐体状の領域である。
【０００５】
この錐体状の領域（仮定存在領域）をボクセルモデル（所定の大きさの立方体によるモデル）で記述する。
【０００６】
以上のような処理を対象物体を回転テーブルによって所定角度回転させて繰り返し行う。
【０００７】
そして、共通仮定存在領域を求め、対象物体の立体情報を取得する。
【０００８】
ここで、画像上の対象物体と背景の境界は、対象物体がない状態で背景のみを撮影した画像と、対象物体がある状態で撮影した画像の差分から求める。
【０００９】
【発明が解決しようとする課題】
上述したような従来技術では、立体情報の精度を向上させるためには、前述した所定角度を小さくする必要があるため、撮影回数が増え、撮影時間が増大するという問題がある。
【００１０】
また、撮影角度を最初に設定するため、回転テーブルは運動と停止を繰り返し、対象物体に加速度がかかり、転倒、変形等の恐れがあるという問題がある。
【００１１】
さらに、その停止位置は精度良く制御されている必要があるため、回転テーブルの移動装置や制御装置は複雑かつ高価なものになる。
【００１２】
また、画像上の対象物体と背景の境界を求める際に背景のみの画像との差分を用いているが、カメラの撮影ごとの露出、フォーカス、シャッタースピード等のばらつきにより、精度良く境界を求められない場合があるという問題がある。
【００１３】
また、ボクセルモデルを用いて共通仮定存在領域を直接求めているために、あるボクセルが共通仮定存在領域に含まれでいるか否かを確認するための必要な画像の枚数が多数必要であり、処理時間が膨大になるという問題がある。
【００１４】
また、最初に設定されたボクセルモデルのすべてのボクセルに関する存在確率を保存しておく必要があるためにメモリ容量が膨大になるという問題がある。
【００１５】
本発明は、以上のような問題点を解決するためになされたものであり、精度よく境界を求め、より精度の高い立体情報を取得し得ると共に、対象物体の立体情報取得のためのメモリ容量を大幅に削減し、撮影時間を短縮し、対象物体を安定した状態に保つことができる立体情報取得装置及び立体情報取得方法を提供することを目的とする。
【００１６】
【課題を解決するための手段】
本発明によると、上記課題を解決するために、
（１） 対象物体の画像を撮影する撮影手段と、
所定の光学的特性を有すると共に、前記対象物体の背後に配置されて撮影時に前記対象物体の背景となる背景板、または、少なくとも前記撮影手段の撮影範囲内おける前記対象物体の輪郭部分全体またはその一部を含む範囲を前記対象物体の背後から直接的または間接的に照明する照明手段と、
前記撮影手段によって複数の視点から前記対象物体の画像を撮影可能とするように、前記対象物体と前記撮影手段とを回転運動によって相対的かつ連続的に移動させる相対移動手段と、
前記撮影手段によって複数の視点から前記対象物体の画像を撮影した各々の視点における前記対象物体と前記撮影手段との相対位置を検出する相対位置検出手段と、
前記撮影手段によって複数の視点から撮影された前記対象物体の画像、及び前記相対位置検出手段によって検出された相対位置の情報とを用いて、前記対象物体の立体形状を推定する立体形状推定手段と、
を有し、
前記立体形状推定手段は、前記撮影手段によって複数の視点から撮影した画像の内、第１の視点位置からの視線で撮影された画像に基いて前記対象物体が存在すると判定される当該画像内で対象物体が占める領域を認識すると共に、前記対象物体の立体形状を推定する認識推定処理を実施し、
続いて、前記第１の視点位置から対象物体を観察する位置において最も遠い第２の視点位置となる当該第１の視点から前記対象物体に対して１８０度異なる視点位置からの視線で撮影された画像に基いて前記対象物体が存在すると判定される当該画像内で対象物体が占める領域を認識すると共に、前記対象物体の立体形状を推定する認識推定処理を実施し、
続いて、前記第１及び第２の視点位置で撮影を行った前記相対移動手段の１回転目に続く２回転目において、前記認識推定処理に用いられていない画像に対応する前記第１及び第２の視点位置を除いたそれ以外の残余の前記視点位置であって、前記回転方向での解像度を徐々に細かくして撮影を行えるための回転位置である前記第１の視点位置に対して９０度と２７０度異なる視点位置からの視線で撮影された画像に基づいて前記対象物体が存在すると判定される当該画像内で対象物体が占める領域を認識すると共に、前記認識推定処理を実施し、
続いて、さらに３回転目において前記第１の視点位置に対して４５度、１３５度、２２５度、及び３１５度異なる視点位置からの視線で撮影された画像に基づいて前記対象物体が存在すると判定される当該画像内で対象物体が占める領域を認識すると共に、前記認識推定処理を実施することを特徴とする立体情報取得装置が提供される。
【００１７】
（作用）
本発明は、バックライトシルエット法と定速移動により、対象物体を運動させたまま撮影が行えるので、移動中の加減速が少ないことによって、撮影時間が減少し、慣性による対象物体の転倒及び変形が少ないものとし得ると共に、エネルギー消費量が少ないものとし得、さらに精度よく物体色に関係なく切り出すことができる。
また、本発明は、回転限定により、少なくとも回転軸の周囲の情報が得られるという保証がある。
また、本発明は、境界画像処理順番を考慮することにより、より効率よく処理不要な個所を判定できるようにしている。
【００４４】
また、本発明によると、上記課題を解決するために、
（２） 複数の視点から対象物体を撮影した画像と前記視点位置の情報を用いて、前記画像中の前記対象物体が占める領域を認識し、前記対象物体の占める領域に基いて前記対象物体の立体形状を推定して、前記対象物体の立体情報を取得する立体情報取得方法であって、
前記対象物体の画像を撮影手段によって撮影する撮影工程と、
所定の光学的特性を有すると共に、前記対象物体の背後に配置されて前記撮影手段による撮影時に前記対象物体の背景となる背景板、または、少なくとも前記撮影手段の撮影範囲内おける前記対象物体の輪郭部分全体またはその一部を含む範囲を前記対象物体の背後から直接的または間接的に照明手段によって照明する照明工程と、
前記撮影手段によって複数の視点から前記対象物体の画像を撮影可能とするように、前記対象物体と前記撮影手段とを回転運動によって相対的かつ連続的に移動させる相対移動工程と、
前記撮影手段によって複数の視点から前記対象物体の画像を撮影した各々の視点における前記対象物体と前記撮影手段との相対位置を検出する相対位置検出工程と、
前記撮影手段によって複数の視点から撮影された前記対象物体の画像、及び前記相対位置検出工程によって検出された相対位置の情報とを用いて、前記対象物体の立体形状を推定する立体形状推定工程と、
を有し、
前記立体形状推定工程は、
前記撮影手段によって複数の視点から撮影した画像の内、第１の視点位置からの視線で撮影された画像に基いて前記対象物体が存在すると判定される当該画像内で対象物体が占める領域を認識すると共に、前記対象物体の立体形状を推定する認識推定処理を実施する第１の認識推定処理工程と、
続いて、前記第１の視点位置から対象物体を観察する位置において最も遠い第２の視点位置となる当該第１の視点から前記対象物体に対して１８０度異なる視点位置からの視線で撮影された画像に基いて前記対象物体が存在すると判定される当該画像内で対象物体が占める領域を認識すると共に、前記対象物体の立体形状を推定する認識推定処理を実施する第２の認識推定処理工程と、
続いて、前記第１及び第２の視点位置で撮影を行った前記相対移動手段の１回転目に続く２回転目において、前記認識推定処理に用いられていない画像に対応する前記第１及び第２の視点位置を除いたそれ以外の残余の前記視点位置であって、前記回転方向での解像度を徐々に細かくして撮影を行えるための回転位置である前記第１の視点位置に対して９０度と２７０度異なる視点位置からの視線で撮影された画像に基づいて前記対象物体が存在すると判定される当該画像内で対象物体が占める領域を認識すると共に、前記認識推定処理を実施する第３の認識推定処理工程と、
続いて、さらに３回転目において前記第１の視点位置に対して４５度、１３５度、２２５度、及び３１５度異なる視点位置からの視線で撮影された画像に基づいて前記対象物体が存在すると判定される当該画像内で対象物体が占める領域を認識すると共に、前記認識推定処理を実施する第４の認識推定処理工程と、
を有することを特徴とする立体情報取得方法が提供される。
【００４５】
（作用）
本発明は、境界画像処理順番を考慮することにより、より効率よく処理不要な個所を判定できるようにしている。
【００５４】
【発明の実施の形態】
以下、図面を参照して本発明による立体情報取得装置の実施の形態について説明する。
【００５５】
本発明による立体情報取得装置の実施の形態の説明では、主に、対象物体を移動することを主眼に説明するが、撮影手段を移動してもまったく同様に実現可能である。
【００５６】
（第１の実施の形態）
図１は、本発明による立体情報取得装置の第１の実施の形態の構成を示すブロック図である。
【００５７】
本実施の形態は、図１に示すように、撮影手段としてのカメラＣＵと、被写体照明用のフラッシュＦＵと、相対位置移動手段としての回転テーブル（撮影台回転装置）ＲＵと、この回転テーブルＲＵが一回転したことを認識するセンサＲＵと、背景板としてのブルーバックＢＢと、対象物体ＢＥと、撮影時刻記録装置ＴＭと、相対位置特定手段としての相対位置算出装置ＰＣと、形状推定を行う形状推定装置ＳＲとからなる。
【００５８】
図２は、本実施の形態における大まかな処理の流れを示すフローチャートである。
【００５９】
本実施の形態における大まかな処理の流れは、キャリブレーションを行うステップＳ０と、撮影を行うステップＳ１と、境界画像作成を行うステップＳ２と、形状推定を行うステップＳ３とからなる。
【００６０】
ただし、キャリブレーションを行うステップＳ０は、カメラＣＵのフォーカス位置及びズーム位置、カメラＣＵと回転テーブルＲＵとの位置関係が変わらない限り、一度行えなえばよい。
【００６１】
（ステップＳ０）
まず、このステップＳ０において、キャリブレーションを行う。
【００６２】
本実施の形態によるキャリブレーションとは、３次元空間上の点が撮影された画像のどの点に射影されるかを知るために、カメラＣＵの内部パラメータ及びカメラＣＵと回転テーブルＲＵとの位置関係を求める処理のことである。
【００６３】
まず、カメラＣＵの内部パラメータについて説明する。
【００６４】
ここで、カメラＣＵの内部パラメータとは、撮影された画像の縦の拡大比αu と、横方向の拡大比αv と、光学中心（図３に示すように、主点位置から画像面へ下ろした垂線の足）ｕ0 、ｖ0 である。
【００６５】
ここで、拡大比とは、縦横の画像上のピクセルの幅とカメラＣＵの光学主点と画像面との距離の比である。
【００６６】
図３は、カメラ座標系と画像座標系との関係を示す図である。
【００６７】
例えば、画像面ＩＰ上に左上に原点Ｏｉ、横方向にｕ軸、縦方向にｖ軸を設定した画像座標系Ｏｉ、カメラＣＵの主点位置に原点Ｏｃ、ｕ軸に平行にＸ軸、ｖ軸に平行にＹ軸、画像面方向にＺ軸を設定したカメラ座標系Ｏｃを設定する。
【００６８】
ある点がカメラ座標系Ｏｃで
Ｗ＝（ｘ，ｙ，ｚ）＾Ｔ
画像座標系Ｏｉで
Ｉ＝（ｕ，ｖ）＾Ｔ
と表せるとき、これらの二つの座標系Ｏｃ，Ｏｉの関係は、
Ｉ′＝（ｕ′，ｖ′，ｗ′）＾Ｔ＝Ｕ×Ｗ′
Ｉ＝（ｕ′／ｗ′，ｖ′／ｗ′）＾Ｔ
Ｗ′＝（ｘ，ｙ，ｚ，１）＾Ｔ
となる。
【００６９】
ここで、＾Ｔはベクトルの転置を表し、Ｕはカメラ座標系Ｏｃから画像座標系Ｏｉへの変換行列を表す。
【００７０】
Ｕはｕ，ｖ方向のパースペクティブ比αu と、αv と、光学中心ｕ0 、ｖ0 を用いて、
【数１】
【００７１】
これらのパラメータを取得する方法としては、文献「写真から作る３次元ＣＧ、徐 剛著、近代科学社、２００１年」にある。
【００７２】
次に、カメラＣＵと回転テーブルＲＵとの位置関係について説明する。
【００７３】
これは、前述したカメラ座標系Ｏｃと、回転テーブルＲＵ上に設定された回転テーブル座標系Ｏｒの関係と同等である。
【００７４】
図４は、カメラ座標系Ｏｃと、回転テーブルＲＵ上に設定された回転テーブル座標系Ｏｒの各座標系の関係を示す図である。
【００７５】
ここで、回転テーブル座標系Ｏｒは、回転軸をＺ方向、回転板をＸＹ平面に設定する。
【００７６】
カメラ座標系Ｏｃで
Ｗ＝（ｘ，ｙ，ｚ）＾Ｔ
回転テーブル座標系Ｏｒで
Ｚ＝（ｐ，ｑ，ｒ）＾Ｔ
と表せるとき、これら二つの座標系Ｏｃ，Ｏｒの関係は、
Ｗ＝Ｍ×Ｚ′
Ｗ′＝（ｘ，ｙ，ｚ，１）＾Ｔ
Ｚ′＝（ｐ，ｑ，ｒ，１）＾Ｔ
となる。
【００７７】
ここで、Ｍはカメラ座標系Ｏｃからみた回転テーブル座標系Ｏｒの位置関係を表す回転行列Ｒｃｒと、並進ベクトルＴｃｒとを用いて
【数２】
【００７８】
回転行列Ｒｃｒと、並進ベクトルＴｃｒを求める方法としては、例えば、図５に示すようなパターンＰＣを間隔ｄで配置したパターン平板ＰＢを図６のように回転テーブルＲＵに回転板に直立させて１０度づつ回転させた異なる複数の角度からカメラＣＵによって撮影する方法がある。
【００７９】
例えば、５つの異なる角度から撮影を行ったとすると、撮影された画像ＩＰＢ１，ＩＰＢ２，…，ＩＰＢ５の画像内のすべてのパターンＰＣ１１，ＰＣ１２…ＰＣ１５，ＰＣ２１，ＰＣ２２，…，ＰＣ２５，ＰＣ３１，ＰＣ３２，…，ＰＣ３５，ＰＣ４１，ＰＣ４２，…Ｐ，Ｃ４５，ＰＣ５１，ＰＣ５２，…，ＰＣ５５の重心の各画像座標系Ｏｉにおける座標ＰＣ１１１，ＰＣ１１２…ＰＣ１１５，ＰＣ２１１，ＰＣ２１２，…，ＰＣ２１５，ＰＣ３１１，ＰＣ３１２，…，ＰＣ３１５，ＰＣ４１１，ＰＣ４１２，…，ＰＣ４１５，ＰＣ５１１，ＰＣ５１２，…，ＰＣ５１５を求める。
【００８０】
パターン平板の縦方向にＺ方向、横方向にＹ方向、平板の法線方向にＸ方向、平板の左下原点を設定したパタ一ン平板座標系Ｏｐを考えると、各パターンのパターン平板座標系Ｏｐでの座標ＰＣ１１，ＰＣ１２，…，ＰＣ１５，ＰＣ２１，ＰＣ２２，…，ＰＣ２５，ＰＣ３１，ＰＣ３２，…，ＰＣ３５，ＰＣ４１，ＰＣ４２，…，ＰＣ４５，ＰＣ５１，ＰＣ５２，…，ＰＣ５５は
ＰＣｎｍ＝（０，ｍ×ｄ，ｎ×ｄ）＾Ｔ
となる。
【００８１】
ここで、パターン平板座標系Ｏｐから回転テーブル座標系Ｏｒへの変換行列をＧ、変換後のベクトルをＰＣＲｐｎｍとおくと、
ＰＣＲｐｎｍ＝（ＰＣＲｐｎｍｘ，ＰＣＲｐｎｍｙ，ＰＣＲｐｎｍｚ）＾Ｔ
ＰＣＲｐｎｍ′＝（ＰＣＲｐｎｍｘ，ＰＣＲｐｎｍｙ，ＰＣＲｐｎｍｚ，１）
＾Ｔ＝Ｒｐ×Ｇ×ＰＣｎｍ′
ＰＣｎｍ′＝（０，ｍ×ｄ，ｎ×ｄ，１）＾Ｔ
【数３】
【００８２】
ここで、添え字ｐは複数の画像の一枚を表す。
【００８３】
また、Ｒｐは回転テーブルＲＵの回転を表す行列で既知である。
【００８４】
つまり、
Ｐｐｎｍ′＝Ｕ×Ｍ×Ｒｐ×Ｇ×ＰＣｎｍ′
という連立方程式を解けばカメラ座標系Ｏｃと、回転テーブル座標系Ｏｒの関係つまり行列Ｍを求めることができる。
【００８５】
このＭを用いて、ある３次元空間上の点Ｆの回転テーブル座標系Ｏｒから見た座標をＦｒ、画像座標系Ｏｉから見たの座標をＦｉとすれば
Ｆｉ′＝（ｕ′，ｖ′，ｗ′）＾Ｔ＝Ｕ×Ｍ×Ｆｒ′
Ｆｉ＝（ｕ′／ｗ′，ｖ′／ｗ′）＾Ｔ
Ｆｒ′＝（Ｆｒ＾Ｔ，１）＾Ｔ
となり、３次元空間上の任意の点が画像のどの点に射影されるかがわかる。
【００８６】
ここで、パターン平板の代わりに３次元形状を有した円柱、四角柱あるいは特殊形状の立体表面上に特徴となるパターンを配置し、そのパターンの重心の３次元座標が正確にわかるものならば何でも良い。
【００８７】
（ステップＳ１）
次に、ステップＳ１において回転テーブルＲＵに対象物体ＢＥを置き、対象物体ＢＥを回転させながらカメラＣＵによって、対象物体ＢＥを背景ＢＢとともに撮影し、物体画像Ａ１，Ａ２，…，Ａｎを得る。
【００８８】
例えば、対象物体Ｂを回転数１ｒｐｍで回転させながら１回転する間にほぼ等間隔に３６回撮影（つまり６０／３６＝約１．６７秒間隔で撮影）し、図７に示すように複数の物体画像Ａ０１，Ａ０２，…，Ａ３６を得る。
【００８９】
このとき必要に応じて被写体照明用のフラッシュＦＵを同期させて点灯させるようにしても良い。
【００９０】
この場合、シャッタースピード１／５００で撮影したとすると、撮影の間に、対象物体Ｂは３６０÷６０÷５００＝０．０１２度しか回転しないため、画像がぶれるという問題は起こりにくい。
【００９１】
ここで、回転数は対象物体Ｂが安定して回転し、画像がぶれない回転数であれば良い。
【００９２】
ここで、物体画像Ａ０１，Ａ０２，…，Ａ３６を撮影した時刻Ｔ１，Ｔ２，…，Ｔ３６（ｓ）を撮影時刻記録装置ＴＭによって記録しておく。
【００９３】
この時刻Ｔ１，Ｔ２，…，Ｔ３６の保存方法としては、例えば、画像に付記してもよいし、撮影順番とペアにしてテーブルとして別ファイルに保存するようにしてもよい。
【００９４】
ここで、回転テーブルＲＵの回転を認識できるように、テーブルＲＵにセンサＲＳが設けられている。
【００９５】
このことにより、回転テーブルＲＵが１回転する時間を計測することが可能になり、１回転の平均の角速度を算出することにより、回転テーブルＲＵの角速度のふらつきの３次元再構成への影響を軽減することができる。
【００９６】
なお、背景としては、例えば、図１に示したようにブルーバックの背景ＢＢを用いる。
【００９７】
しかるに、この背景としては、背景と認識できるものであれば何でも良い。
【００９８】
例えば、ブルーでなくても赤、黄、緑などでも良いし、格子パターン等の模様があっても良い。
【００９９】
（ステップＳ２）
スデップＳ２では、図１の形状推定装置ＳＲにおいて物体画像Ａ０１，Ａ０２，…，Ａ３６から境界画像を作成する。
【０１００】
つまり、各物体画像Ａ０１，Ａ０２，…，Ａ３６から、背景ＢＢを認識し、図８に示すように複数の境界画像Ｂ０１，Ｂ０２，…，Ｂ３６を作成する。
【０１０１】
これらは、原則的に物体の存在する領域を「１」とし、存在しない場所「０」とする２値画像である。
【０１０２】
ただし、物体なのか背景なのかの区別がつかなかった領域をアナログ的に「０」、「１」以外の数字で保存するようにしても良い。
【０１０３】
物体画像Ａ０１，Ａ０２，…，Ａ３６が３６枚であるため、境界画像も３６枚になる。
【０１０４】
（ステップＳ３）
次に、ステップＳ３では、図１に示した形状推定装置ＳＲにおいて形状推定を行う。
【０１０５】
図９は、ステップＳ３の処理の流れを示すフローチャートである。
【０１０６】
まず、ポクセル設定処理ステップＳ３０１において、回転テーブル座標系Ｏｒに図１０に示すようにボクセルＢＯＸを設定する。
【０１０７】
この場合、ボクセルＢＯＸの設定範囲は、対象物体が完全に覆い隠せる領域に設定する。
【０１０８】
また、一つのボクセルＢＯＸの大きさ、ボクセルＢＯＸの数は所望の精度によって設定する。
【０１０９】
例えば、設定範囲が（−１，−１，０）、（１，１，２）を対角とする立方体であるとすると、一つのボクセルＢＯＸの大きさは０．００１、ボクセルＢＯＸの数は２０００×２０００×２０００＝８×１０＾９である。
【０１１０】
ここで、＾９は９乗を表す。
【０１１１】
この設定範囲では、回転テーブルＲＵのほぼ中央に置かれた直径が２の球が測定できる。
【０１１２】
ここで、ボクセルやボクセルの設定範囲は本実施の形態では立方体を用いたが、例えば、直方体や、三角柱、六角柱などを用いても良いし、円筒座標系で扇型のボクセルＢＯＸを用いても良い。
【０１１３】
特に、物体が扁平な場合は、ボクセルの設定範囲を直方体にすることで計算量、メモリ量を大幅に軽減できる。
【０１１４】
次に、処理画像選択処理ステップＳ３０３で処理していない画像から１枚画像を選び、撮影角度算出処理ステップＳ３０４にて基準角度からの撮影角度Ａａ１，Ａａ２，…，Ａａ３６を求める。
【０１１５】
これは、図１に示した相対位置算出装置ＰＣの中で行われる。
【０１１６】
基準角度は、例えば、最初に撮影された角度を基準としても良いし、その他の撮影角度を基準としても良い。
【０１１７】
本実施の形態は回転テーブルＲＵを１ｒｐｍで回転させているので、１秒間に６度回転する。
【０１１８】
よって、
Ａａｎ＝（Ｔｎ−Ｔ１）×６
となる。
【０１１９】
さらに、判定対象ボクセル選択処理ステップＳ３０６において、外部と判定されていない各ボクセルの頂点のうち、未判定のボクセルを選択する。
【０１２０】
選択されたボクセルを、ボクセル頂点座標射影処理ステップＳ３０８にて、前述した変換行列と撮影角度Ａａ１，Ａａ２，…，Ａａ３６に対応する回転行列Ｒｐを用いて、境界画像Ｂ０１，Ｂ０２，…，Ｂ３６に射影し、さらにボクセル外部判定処理ステップＳ３０９にて物体領域にすべての頂点が含まれていない場合は外部と判定する。
【０１２１】
ここで、外部判定は、ボクセルの重心を境界画像Ｂ０１，Ｂ０２，…，Ｂ３６に射影し、射影された点が物体領域に含まれていない場合を外部と判定するようにしても良い。
【０１２２】
この判定結果は、図示しない判定結果保存部にて保存される。
【０１２３】
図１１は、この判定の例を示す図である。
【０１２４】
すなわち、図１１の（ａ）は、内部と判定される場合であり、図１１の（ｂ）は、外部と判定される場合である。
【０１２５】
また、図１２は、境界画像Ｂ０１によってボクセルが外部と判定される様子を示す図である。
【０１２６】
ここで、斜線部が外部と判定されたボクセルである。
【０１２７】
図１３の（ａ）乃至（ｄ）は、この方法で対象物体が切り出されていく様子を単純な形状に対して２次元の例で示す図である。
【０１２８】
ここで、斜線部が切り出されたボクセルで、網目模様部が以前に外部と判定されたため判定を行わないボクセルである。
【０１２９】
さらに、ボクセル外部判定部において外部と判定された回数が閾値以上のボクセルを外部ボクセルとして登録する。
【０１３０】
この判定は、例えば、外部確率＝判定された回数／判定に用いられた画像数という値を用いて判定するようにしても良い。
【０１３１】
最後に、すべての画像に対して処理が終了したら、外部でないボクセルを対象物体の立体形状とする。
【０１３２】
また、撮影部による撮影は、複数回転を通して行っても良い。
【０１３３】
この場合、各回転で異なる視点で撮影することによって、次のような効果が得られる。
【０１３４】
例えば、１回転目で０、１８０度付近（撮影角度自体が正確にわかっていれば正確にこの角度にならなくてもよい）で撮影し、２回転目で９０、２７０度付近、３回転目で４５、１３５、２２５、３１５度付近というように、回転方向の解像度を徐々に細かくして撮影すると、回転ごとに徐々に細かな形状がわかる。
【０１３５】
このことにより、形状推定部において形状推定すべき領域を処理過程の早い段階で知ることができ、処理を速めることができる。
【０１３６】
また、撮影部によって０、１０、・・・３４０、３５０度付近で順番に撮影された場合でも、０、１８０、９０、２７０、４０、１３０、２２０、３１０…度といった順番で形状推定を行うと、前述したと同様の効果が得られる。
【０１３７】
また、図１４に示すように、さらに、回転軸方向に対象物体ＢＥを一定速度で上下させる撮影テーブル昇降装置ＵＤＵを備え、回転テーブルＲＵの回転にあわせて回転テーブルＲＵを一定速度で持ち上げながら撮影するように構成しても良い。
【０１３８】
この場合、上下方向の相対位置も変わるため、単なる回転運動では、推定できなかった対象物体の部位を推定することができる。
【０１３９】
撮影位置は角度に加え、高さの移動も変化するが、一定速度で移動しているため、前述の角度の算出と同様に一定速度に撮影時刻をかければ高さを求めることができる。
【０１４０】
（第２の実施の形態）
この第２の実施の形態による立体情報取得装置の機器構成は、第１の実施の形態と同じである。
【０１４１】
図１５は、この第２の実施の形態による立体情報取得装置の処理の流れを示すフローチャートである。
【０１４２】
本実施の形態による立体情報取得装置の処理の流れは、ステップＳ０乃至Ｓ３までは第１の実施の形態と同じである。
【０１４３】
テクスチャマッピング処理ステップＳ４では、物体画像Ａ０１，Ａ０２，…，Ａ３６を用いて各表面にあるボクセルの色情報を決定する。
【０１４４】
例えば、まず表面にあるボクセルの中心の座標をそのボクセルが見えている物体画像Ａ０１，Ａ０２，…，Ａ３６へ射影し、射影された画像の色情報を平均してそのボクセルの色情報とする。
【０１４５】
これにより、物体の３次元形状のみならず、各部の色情報も取得できる。
【０１４６】
（第３の実施の形態）
図１６は、この第３の実施の形態による立体情報取得装置の構成を示すブロック図である。
【０１４７】
本実施の形態は、第１の実施の形態の撮影ステップＳ２と境界画像作成ステップＳ３とが異なる。
【０１４８】
まず、背面全体が明るくなるような光源をカメラＣＵに対してオブジェクトとしての対象物体ＢＥの背後に設置する。
【０１４９】
例えば、図１６に示すように拡散板ＦＢを設置し、その背後から撮影に同期させてフラッシュＢＦＵを光らせる。
【０１５０】
さらに、対象物体ＢＥは透明な台ＣＢの上に設置する。
【０１５１】
あとは第１の実施の形態と同様に回転テーブルＲＵを回転させることにより、例えば、３６枚のシルエット画像Ｓ０１，Ｓ０２，…，Ｓ３６を撮影する（図１７参照）。
【０１５２】
このようにして撮影することにより、背景領域は輝度が高く、オブジェクトの存在する領域は非常に暗い、いわゆる、逆光下における撮影と同じ画像を得ることができる。
【０１５３】
次に、境界画像作成処理ステップＳ３では、シルエット画像に対して、暗い領域を抽出する。
【０１５４】
例えば、ある閾値以上の輝度値を持つ画素を背景とし、残りの領域をオブジェクトとする。
【０１５５】
これら撮影方法と切り出し方法に関しての詳しくは、特願２００１−２４５５９３に順ずる。
【０１５６】
（第４の実施の形態）
図１８は、この第４の実施の形態による立体情報取得装置の構成を示すブロック図である。
【０１５７】
本実施の形態は、図１５に示した第２の実施の形態の撮影ステップＳ１と、境界画像作成処理ステップＳ２と、テクスチャマッピング処理ステップＳ４とが異なる。
【０１５８】
まず、背面全体が明るくなるような光源をカメラＣＵに対してオブジェクトの背後に設置する。
【０１５９】
例えば、図１８に示したように拡散板ＦＢを設置し、その背後から撮影にあわせてフラッシュＢＦＵを光らせる。
【０１６０】
このように撮影することにより、背景領域は輝度が高く、オブジェクトの存在する領域は非常に暗い、いわゆる、逆光下における撮影と同じ画像を得ることができる。
【０１６１】
また、前面を照射するためのフラッシュＦＵを備え、背後のフラッシュＢＦＵと交互、もしくは、数回置きに光らせるためのフラッシュ切り替え装置ＦＣＵを備えている。
【０１６２】
回転テーブルＲＵには、透明な台ＣＢが備えており、その上にオブジェクトとしての対象物体ＢＥを置いて、回転テーブルＲＵを回転させながら、複数のＦＵを光らせて撮影したテクスチャ画像Ｔ０１，Ｔ０２，…，Ｔ３６と複数のＢＦＵを光らせて撮影したシルエット画像Ｓ０１，Ｓ０２，…，Ｓ３６を、例えば、交互に撮影する（図１９参照）。
【０１６３】
次に、境界画像作成処理ステップＳ３では、シルエット画像に対して、暗い領域を抽出する。
【０１６４】
例えば、ある閾値以上の輝度値を持つ画素を背景とし、残りの領域をオブジェクトとする。
【０１６５】
これら撮影方法と切り出し方法に関しての詳しくは、特願２００１−２４５５９３に順ずる。
【０１６６】
また、テクスチャマッピング処理ステップでは、テクスチャ画像を用いて、第２の実施の形態同様にボクセルに色情報を付与することにより、物体の３次元形状のみならず、各部の色情報も取得することができる。
【０１６７】
（第５の実施の形態）
この第５の実施の形態は、前述した第１乃至第４の実施の形態の形状推定処理ステップＳ３が異なる形態である。
【０１６８】
図２０の（ａ）乃至（ｄ）は、本実施の形態のボクセルの変化の様子を２次元で示す図である。
【０１６９】
本実施の形態では、まず、一つのボクセルを所望の精度よりも大きめに設定する。
【０１７０】
また、第１乃至第４の実施の形態と同様にボクセルの外部判定を行うが、８つの頂点の判定が外部と内部で混在しているボクセルに対してボクセルの分割を行う。
【０１７１】
図２０では、２次元の説明であるために一つの正方形が４つに分割されているが、３次元では８つの立方体に分割する。
【０１７２】
そして、分割された立方体に対しても同様に外部判定を行い再起的に分割を繰り返す。
【０１７３】
所望の精度が得られるボクセルの大きさになった時点で終了し、まだ処理が終了していない境界画像を用いて同様な処理を行う。
【０１７４】
このように、再起的に分割しながら３次元再構成することによって、物体内部と外部の境界以外は所望の精度よりも大きなボクセルで分割されているため、処理されるボクセル数は激減する。
【０１７５】
また、一度分割してしまったボクセルの中で、そのボクセルの内部にあるすべてのボクセルが外部であると判定されていた場合には、それらのボクセルを統合して一つのボクセルとみなすことによって、ボクセルの数をさらに減少させることも可能である。
【０１７６】
ここで、ボクセルの外部判定を８つの頂点のほかに、例えば、６つの面の角重心や、各辺の中点等も用いて判定するようにしても良い。
【０１７７】
このことにより、より複雑な形状の物体の３次元再構成を行うことができるようになる。
【０１７８】
そして、上述したような実施の形態で示した本明細書には、特許請求の範囲に示した請求項１乃至１９以外にも、以下に付記１乃至付記３として示すような発明が含まれている。
【０１７９】
（付記１） 対象物体の画像を撮影する撮影手段と、
前記撮影手段が複数の視点から前記対象物体の画像を撮影できるように、前記対象物体と前記撮影手段を所定の相対速度で移動させる相対移動手段と、
前記対象物体と前記撮影手段の基準相対位置を検出する基準位置検出手段と、
前記基準位置検出手段が前記基準相対位置を検出した時刻と前記撮影手段が前記対象物体の画像を撮影した時刻との差と、前記所定の相対速度とから、前記対象物体と前記撮影手段との相対位置を特定する相対位置特定手段と、
前記撮影手段で撮影された複数の視点からの前記対象物体の画像、及び前記相対位置特定手段によって特定された相対位置の情報とを用いて、前記対象物体の立体形状を推定する立体形状推定手段と、
を備えることを特徴とする立体情報取得装置。
【０１８０】
（作用）
本発明は、対象物体を運動させたまま撮影が行えるので、移動中の加減速が少ないことによって、撮影時間が減少し、慣性による対象物体の転倒及び変形が少ないものとし得ると共に、エネルギー消費量が少ないものとし得る。
【０１８１】
（付記２） 対象物体の画像を撮影する撮影手段と、
少なくとも前記撮影手段の撮影範囲内おける前記対象物体の背景部分との境界全体を含む範囲を前記対象物体の背後から直接的または間接的に照明する照明手段と、
前記撮影手段によって複数の視点から前記対象物体の画像を撮影可能とするように、前記対象物体と前記撮影手段とを所定の相対速度で移動させる相対移動手段と、
前記対象物体と前記撮影手段の基準相対位置を検出する基準位置検出手段と、
前記基準位置検出手段が前記基準相対位置を検出した時刻と前記撮影手段が前記対象物体の画像を撮影した時刻との差と、前記所定の相対速度とから、前記対象物体と前記撮影手段との相対位置を特定する相対位置特定手段と、
前記撮影手段で撮影された複数の視点からの前記対象物体の画像、及び前記相対位置特定手段によって特定された相対位置の情報とを用いて、前記対象物体の立体形状を推定する立体形状推定手段と、
を備え、
前記照明手段は、前記対象物体の立体形状を推定するための撮影を行うとき、点灯していることを特徴とする立体情報取得装置。
【０１８２】
（作用）
本発明は、光切断と切り分けにより、対象物体を運動させたまま撮影が行えるので、移動中の加減速が少ないことによって、撮影時間が減少し、慣性による対象物体の転倒及び変形が少ないものとし得ると共に、エネルギー消費量が少ないものとし得る。
【０１８３】
（付記３） 前記相対位置移動手段は、前記対象物体を一定の角速度で回転させており、
前記相対位置検出手段は、
基準角位置を検出する基準角位置検出手段と、
前記基準角位置検出手段が基準角位置を検出してから前記撮影手段で撮影した時刻までの時間差を算出する時間差算出手段と、
前記一定の角速度と前記時間差算出手段で得られた結果を用いて、前記基準角からの前記撮影手段で撮影された時刻までに回転した角度差を特定する角度差特定手段と、
前記基準角位置検出手段が基準角位置を一度検出してからもう一度検出するまでの時間から、平均角速度を算出し、前記一定の角速度とする一定角速度算出手段とを有することを特徴とする請求項４記載の立体形状情報取得装置。
【０１８４】
（作用）
本発明は、（４）において、定角速度測定として回転台に対象物体を乗せたこと等による角速度の揺らぎ影響を軽減することができる。
【０１８５】
【発明の効果】
従って、以上説明したように、本発明によれば、精度よく境界を求め、より精度の高い立体情報を取得し得ると共に、対象物体の立体情報取得のためのメモリ容量を大幅に削減し、撮影時間を短縮し、対象物体を安定した状態に保つことができる立体情報取得装置及び立体情報取得方法を提供することができる。
【図面の簡単な説明】
【図１】図１は、本発明による立体情報取得装置の第１の実施の形態の構成を示すブロック図である。
【図２】図２は、本発明による立体情報取得装置の第１の実施の形態における大まかな処理の流れを示すフローチャートである。
【図３】図３は、カメラ座標系と画像座標系との関係を示す図である。
【図４】図４は、カメラ座標系Ｏｃと、回転テーブルＲＵ上に設定された回転テーブル座標系Ｏｒの各座標系の関係を示す図である。
【図５】図５は、回転行列Ｒｃｒと、並進ベクトルＴｃｒを求める一例として用いられるパターン平板ＰＢを示す図である。
【図６】図６は、回転行列Ｒｃｒと、並進ベクトルＴｃｒを求める一例として図５のパターン平板ＰＢを回転テーブルＲＵに回転板に直立させて１０度づつ回転させた異なる複数の角度からカメラＣＵによって撮影する方法を説明するために示す図である。
【図７】図７は、物体画像Ａ０１，Ａ０２，…，Ａ３６を示す図である。
【図８】図８は、境界画像Ｂ０１，Ｂ０２，…，Ｂ３６を示す図である。
【図９】図９は、図２のステップＳ３の処理の流れを示すフローチャートである。
【図１０】図１０は、設定されるボクセルＢＯＸを示す図である。
【図１１】図１１は、外部判定の例を示す図である。
【図１２】図１２は、境界画像Ｂ０１によってボクセルが外部と判定される様子を示す図である。
【図１３】図１３は、対象物体が切り出されていく様子を単純な形状に対して２次元の例で示す図である。
【図１４】図１４は、第１の実施の形態の変形例の構成を示すブロック図である。
【図１５】図１５は、本発明の第２の実施の形態による立体情報取得装置の処理の流れを示すフローチャートである。
【図１６】図１６は、本発明の第３の実施の形態による立体情報取得装置の構成を示すブロック図である。
【図１７】図１６は、シルエット画像Ｓ０１，Ｓ０２，…Ｓ３６を示す図である。
【図１８】図１８は、本発明の第４の実施の形態による立体情報取得装置の構成を示すブロック図である。
【図１９】図１９は、第４の実施の形態による撮影画像を示す図である。
【図２０】図２０は、本発明の第５の実施の形態のボクセルの変化の様子を２次元で示す図である。
【符号の説明】
ＣＵ…撮影手段としてのカメラ、
ＦＵ…被写体照明用のフラッシュ、
ＲＵ…相対位置移動手段としての回転テーブル（撮影台回転装置）、
ＲＵ…回転テーブルＲＵが一回転したことを認識するセンサ、
ＢＢ…背景板としてのブルーバック、
ＢＥ…対象物体、
ＴＭ…撮影時刻記録装置、
ＰＣ…相対位置特定手段としての相対位置算出装置、
ＳＲ…形状推定を行う形状推定装置、
ＰＢ…パターン平板、
ＦＢ…拡散板、
ＢＦＵ…フラッシュ、
ＣＢ…透明な台。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a three-dimensional information acquisition device and three-dimensional information acquisition method for acquiring three-dimensional information of a target object.To the lawRelated.
[0002]
[Prior art]
A conventional three-dimensional information acquisition apparatus is disclosed in Japanese Patent Laid-Open No. 10-124704.
[0003]
In this three-dimensional information acquisition apparatus, the assumed existence region is calculated using the boundary between the target object and the background on the image.
[0004]
This hypothetical existence region is a cone-shaped region having the projection center of the camera as the apex and the cross section of the boundary between the target object and the background on the image.
[0005]
This cone-shaped region (assumed existence region) is described by a voxel model (a model with a cube having a predetermined size).
[0006]
The above processing is repeated by rotating the target object by a predetermined angle using the rotary table.
[0007]
Then, the common assumed existence area is obtained, and the three-dimensional information of the target object is obtained.
[0008]
Here, the boundary between the target object and the background on the image is obtained from the difference between an image obtained by capturing only the background without the target object and an image captured with the target object present.
[0009]
[Problems to be solved by the invention]
In the prior art as described above, in order to improve the accuracy of the three-dimensional information, it is necessary to reduce the predetermined angle described above, and thus there is a problem that the number of times of photographing increases and the photographing time increases.
[0010]
In addition, since the shooting angle is set first, the rotary table repeatedly moves and stops, and there is a problem that acceleration is applied to the target object and there is a risk of falling or deforming.
[0011]
Further, since the stop position needs to be controlled with high accuracy, the moving device and the control device of the rotary table become complicated and expensive.
[0012]
In addition, the difference between the image of only the background is used when determining the boundary between the target object on the image and the background, but the boundary can be determined with high accuracy due to variations in exposure, focus, shutter speed, etc. There is a problem that there may not be.
[0013]
In addition, since the common hypothesis existence area is directly obtained using the voxel model, a large number of images are required to check whether a certain voxel is included in the common hypothesis existence area. There is a problem that time is enormous.
[0014]
There is also a problem that the memory capacity becomes enormous because it is necessary to store the existence probabilities for all the voxels of the initially set voxel model.
[0015]
The present invention has been made to solve the above-described problems, and can obtain a boundary with high accuracy, acquire more accurate stereoscopic information, and have a memory capacity for acquiring stereoscopic information of a target object. 3D information acquisition device and 3D information acquisition method that can significantly reduce the image quality, shorten the shooting time, and keep the target object in a stable stateThe lawThe purpose is to provide.
[0016]
[Means for Solving the Problems]
According to the present invention, in order to solve the above problems,
(1) photographing means for photographing an image of the target object;
A background plate that has a predetermined optical characteristic and is arranged behind the target object and serves as a background of the target object at the time of shooting, or the entire contour portion of the target object at least within the shooting range of the shooting unit or the same Illumination means for directly or indirectly illuminating a range including a part from behind the target object;
The target object and the photographing means are arranged so that the photographing means can photograph images of the target object from a plurality of viewpoints.By rotational movementRelative moving means for moving relatively and continuously;
A relative position detecting means for detecting a relative position between the target object and the photographing means at each viewpoint obtained by photographing images of the target object from a plurality of viewpoints by the photographing means;
Solid shape estimation means for estimating the solid shape of the target object using the image of the target object photographed from a plurality of viewpoints by the photographing means and information on the relative position detected by the relative position detection means; ,
Have
The three-dimensional shape estimation unit is configured to determine that the target object is present based on an image photographed with a line of sight from a first viewpoint position among images photographed from the plurality of viewpoints by the photographing unit. Recognizing the area occupied by the target object, and performing recognition estimation processing for estimating the three-dimensional shape of the target object,
Subsequently, the image was taken with a line of sight from a viewpoint position 180 degrees different from the first viewpoint, which is the farthest second viewpoint position at the position where the target object is observed from the first viewpoint position. Recognizing a region occupied by the target object in the image determined that the target object exists based on the image, and performing a recognition estimation process for estimating the three-dimensional shape of the target object,
Subsequently, in the second rotation following the first rotation of the relative movement unit that has taken images at the first and second viewpoint positions, the first and second images corresponding to images that are not used in the recognition estimation process. 90. With respect to the first viewpoint position, which is the remaining viewpoint position except for the second viewpoint position, and which is a rotational position for performing resolution while gradually reducing the resolution in the rotation direction. Recognizing a region occupied by the target object in the image determined that the target object exists based on an image taken with a line of sight from a viewpoint position different from 270 degrees, and performing the recognition estimation process,
Subsequently, in the third rotation, it is determined that the target object exists based on an image taken with a line of sight from viewpoint positions that are 45 degrees, 135 degrees, 225 degrees, and 315 degrees different from the first viewpoint position. Recognize the area occupied by the target object in the image and execute the recognition estimation processThe three-dimensional information acquisition apparatus characterized by this is provided.
[0017]
(Function)
The present inventionBecause the backlit silhouette method and constant speed movement can be used to shoot while moving the target object, the acceleration / deceleration during movement reduces the shooting time, and the target object will not fall or deform due to inertia. In addition, the energy consumption can be reduced, and the image can be cut out with high accuracy regardless of the object color.
Further, the present invention guarantees that at least information around the rotation axis can be obtained by limiting the rotation.
In addition, according to the present invention, it is possible to determine a portion that does not need to be processed more efficiently by considering the boundary image processing order.
[0044]
Further, according to the present invention, in order to solve the above problems,
(2) Recognizing an area occupied by the target object in the image using an image obtained by photographing the target object from a plurality of viewpoints and information on the viewpoint position, and a three-dimensional shape of the target object based on the area occupied by the target object Is a three-dimensional information acquisition method for acquiring three-dimensional information of the target object,
A photographing step of photographing an image of the target object by photographing means;
A background plate having predetermined optical characteristics and disposed behind the target object and serving as a background of the target object at the time of photographing by the photographing means, or an outline of the target object at least within the photographing range of the photographing means An illuminating step of illuminating the entire part or a range including a part thereof directly or indirectly from behind the target object with illumination means;
A relative movement step of relatively and continuously moving the target object and the imaging unit by a rotational movement so that the imaging unit can capture images of the target object from a plurality of viewpoints;
A relative position detecting step of detecting a relative position between the target object and the photographing means at each viewpoint obtained by photographing images of the target object from a plurality of viewpoints by the photographing means;
A three-dimensional shape estimation step for estimating a three-dimensional shape of the target object using the images of the target object photographed from a plurality of viewpoints by the photographing means and information on the relative position detected by the relative position detection step; ,
Have
The three-dimensional shape estimation step includes
By the photographing meansOf images taken from multiple viewpoints, based on images taken with a line of sight from the first viewpoint positionIn the image where it is determined that the target object existsWhile recognizing the area occupied by the target object,Of the target objectA first recognition estimation processing step for performing recognition estimation processing for estimating a three-dimensional shape;
continue,From the first viewpoint positionAt the position to observe the target objectThe second most distant viewpointFrom a viewpoint position different from the first viewpoint as a position by 180 degrees with respect to the target objectBased on images taken with line of sightIn the image where it is determined that the target object existsWhile recognizing the area occupied by the target object,Of the target objectA second recognition estimation processing step for performing recognition estimation processing for estimating a three-dimensional shape;
Subsequently, in the second rotation following the first rotation of the relative movement means that has taken images at the first and second viewpoint positions,Corresponds to images not used in the recognition estimation processOther than the first and second viewpoint positionsThe remaining perspectivepositionBecauseBased on an image photographed with a line of sight from a viewpoint position that is 90 degrees and 270 degrees different from the first viewpoint position, which is a rotational position for performing resolution while gradually reducing the resolution in the rotation direction. While recognizing the area occupied by the target object in the image determined that the target object exists,A third recognition estimation processing step for performing the recognition estimation processing;
Subsequently, in the third rotation, it is determined that the target object exists based on an image taken with a line of sight from viewpoint positions that are 45 degrees, 135 degrees, 225 degrees, and 315 degrees different from the first viewpoint position. Recognizing a region occupied by the target object in the image, and performing a recognition estimation process, a fourth recognition estimation process step;
It is characterized by havingA three-dimensional information acquisition method is provided.
[0045]
(Function)
In the present invention, by considering the boundary image processing order, it is possible to more efficiently determine a portion that does not require processing.
[0054]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of a three-dimensional information acquisition apparatus according to the present invention will be described with reference to the drawings.
[0055]
In the description of the embodiment of the three-dimensional information acquisition apparatus according to the present invention, mainly the movement of the target object will be described, but the same can be realized even if the photographing means is moved.
[0056]
(First embodiment)
FIG. 1 is a block diagram showing a configuration of a first embodiment of a three-dimensional information acquisition apparatus according to the present invention.
[0057]
In the present embodiment, as shown in FIG. 1, a camera CU as a photographing unit, a flash FU for illuminating a subject, a rotary table (photographing table rotating device) RU as a relative position moving unit, and the rotary table RU Sensor RU that recognizes one rotation, a blue background BB as a background plate, a target object BE, a photographing time recording device TM, a relative position calculation device PC as a relative position specifying means, and a shape estimation. It comprises a shape estimation device SR.
[0058]
FIG. 2 is a flowchart showing a rough processing flow in the present embodiment.
[0059]
The rough processing flow in the present embodiment includes a step S0 for performing calibration, a step S1 for performing photographing, a step S2 for creating a boundary image, and a step S3 for performing shape estimation.
[0060]
However, the calibration step S0 may be performed once as long as the focus position and zoom position of the camera CU and the positional relationship between the camera CU and the rotation table RU are not changed.
[0061]
(Step S0)
First, in step S0, calibration is performed.
[0062]
The calibration according to the present embodiment refers to the internal parameters of the camera CU and the positional relationship between the camera CU and the rotation table RU in order to know which point in the captured image a point in the three-dimensional space is projected on. It is the process which asks for.
[0063]
First, internal parameters of the camera CU will be described.
[0064]
Here, the internal parameters of the camera CU are the vertical enlargement ratio α of the captured image.uAnd lateral magnification ratio αvAnd optical center (perpendicular to the image plane from the principal point position as shown in FIG. 3) u0, V0It is.
[0065]
Here, the enlargement ratio is the ratio of the pixel width on the vertical and horizontal images to the distance between the optical principal point of the camera CU and the image plane.
[0066]
FIG. 3 is a diagram illustrating the relationship between the camera coordinate system and the image coordinate system.
[0067]
For example, an image coordinate system Oi in which the origin Oi is set in the upper left on the image plane IP, the u axis in the horizontal direction and the v axis in the vertical direction are set, the origin Oc at the principal point position of the camera CU, the X axis parallel to the u axis, v A camera coordinate system Oc in which the Y axis is set parallel to the axis and the Z axis is set in the image plane direction is set.
[0068]
A certain point is the camera coordinate system Oc
W = (x, y, z) ^ T
In the image coordinate system Oi
I = (u, v) ^ T
The relationship between these two coordinate systems Oc and Oi is
I ′ = (u ′, v ′, w ′) ^ T = U × W ′
I = (u ′ / w ′, v ′ / w ′) ^ T
W ′ = (x, y, z, 1) ^ T
It becomes.
[0069]
Here, T represents vector transposition, and U represents a transformation matrix from the camera coordinate system Oc to the image coordinate system Oi.
[0070]
U is the perspective ratio α in the u and v directionsuAnd αvAnd the optical center u0, V0Using,
[Expression 1]
[0071]
A method for obtaining these parameters is described in the document “3D CG made from photographs, written by Takeshi Xu, Modern Science, 2001”.
[0072]
Next, the positional relationship between the camera CU and the rotary table RU will be described.
[0073]
This is equivalent to the relationship between the camera coordinate system Oc described above and the rotation table coordinate system Or set on the rotation table RU.
[0074]
FIG. 4 is a diagram illustrating the relationship between each coordinate system of the camera coordinate system Oc and the rotation table coordinate system Or set on the rotation table RU.
[0075]
Here, the rotation table coordinate system Or sets the rotation axis in the Z direction and the rotation plate in the XY plane.
[0076]
In camera coordinate system Oc
W = (x, y, z) ^ T
In rotary table coordinate system Or
Z = (p, q, r) ^ T
The relationship between these two coordinate systems Oc and Or is
W = M × Z ′
W ′ = (x, y, z, 1) ^ T
Z ′ = (p, q, r, 1) ^ T
It becomes.
[0077]
Here, M is a rotation matrix Rcr representing the positional relationship of the rotation table coordinate system Or as viewed from the camera coordinate system Oc and a translation vector Tcr.
[Expression 2]
[0078]
As a method for obtaining the rotation matrix Rcr and the translation vector Tcr, for example, a pattern flat plate PB in which patterns PC as shown in FIG. 5 are arranged at an interval d is placed on a rotary table RU as shown in FIG. There is a method of photographing with a camera CU from a plurality of different angles rotated by degrees.
[0079]
For example, if shooting is performed from five different angles, all patterns PC11, PC12... PC15, PC21, PC22,..., PC25, PC31, PC32,. , PC35, PC41, PC42,..., P, C45, PC51, PC52,..., Coordinates PC111, PC112. , PC411, PC412,..., PC415, PC511, PC5122,.
[0080]
Considering a pattern flat plate coordinate system Op in which the Z direction is set in the vertical direction of the pattern flat plate, the Y direction is set in the horizontal direction, the X direction is set in the normal direction of the flat plate, and the lower left origin of the flat plate is set. , PC15, PC21, PC22, ..., PC25, PC31, PC32, ..., PC35, PC41, PC42, ..., PC45, PC51, PC52, ..., PC55
PCnm = (0, m × d, n × d) ^ T
It becomes.
[0081]
Here, if the conversion matrix from the pattern plate coordinate system Op to the rotation table coordinate system Or is G, and the vector after the conversion is PCRpnm,
PCRpnm = (PCRpnmx, PCRpnmy, PCRpnzz) ^ T
PCRpnm ′ = (PCRpnmx, PCRpnmy, PCRpnzz, 1)
^ T = Rp × G × PCnm ′
PCnm ′ = (0, m × d, n × d, 1) ^ T
[Equation 3]
[0082]
Here, the subscript p represents one of a plurality of images.
[0083]
Rp is a known matrix representing the rotation of the turntable RU.
[0084]
That means
Ppnm ′ = U × M × Rp × G × PCnm ′
Thus, the relationship between the camera coordinate system Oc and the rotation table coordinate system Or, that is, the matrix M can be obtained.
[0085]
Using M, if Fr is a coordinate of a point F on a certain three-dimensional space viewed from the rotation table coordinate system Or, and Fi is a coordinate viewed from the image coordinate system Oi.
Fi ′ = (u ′, v ′, w ′) ^ T = U × M × Fr ′
Fi = (u ′ / w ′, v ′ / w ′) ^ T
Fr ′ = (Fr ^ T, 1) ^ T
Thus, it can be seen to which point in the image an arbitrary point on the three-dimensional space is projected.
[0086]
Here, any pattern can be used as long as the characteristic pattern is arranged on a three-dimensional surface of a cylinder, a quadrangular column or a special shape instead of the pattern flat plate, and the three-dimensional coordinates of the center of gravity of the pattern can be accurately known. good.
[0087]
(Step S1)
Next, in step S1, the target object BE is placed on the turntable RU, and the target object BE is photographed together with the background BB by the camera CU while rotating the target object BE to obtain object images A1, A2,.
[0088]
For example, the target object B is photographed 36 times at almost equal intervals during one rotation while rotating at a rotation speed of 1 rpm (that is, 60/36 = 1.67 seconds), as shown in FIG. Object images A01, A02,..., A36 are obtained.
[0089]
At this time, the flash FU for illuminating the subject may be turned on in synchronization as necessary.
[0090]
In this case, if shooting is performed at a shutter speed of 1/500, the target object B rotates only 360 ÷ 60 ÷ 500 = 0.012 degrees during shooting, so that the problem of image blurring hardly occurs.
[0091]
Here, the rotation speed may be any rotation speed at which the target object B rotates stably and the image does not blur.
[0092]
Here, times T1, T2,..., T36 (s) when the object images A01, A02,..., A36 are photographed are recorded by the photographing time recording device TM.
[0093]
As a method for storing the times T1, T2,..., T36, for example, they may be added to the image, or may be stored in a separate file as a table in pairs with the shooting order.
[0094]
Here, a sensor RS is provided on the table RU so that the rotation of the rotary table RU can be recognized.
[0095]
As a result, it is possible to measure the time for which the rotary table RU makes one rotation, and by calculating the average angular velocity of one rotation, the influence of the fluctuation of the angular velocity of the rotary table RU on the three-dimensional reconstruction is reduced. can do.
[0096]
As the background, for example, a blue background BB is used as shown in FIG.
[0097]
However, this background may be anything that can be recognized as the background.
[0098]
For example, red, yellow, green, or the like may be used instead of blue, or there may be a pattern such as a lattice pattern.
[0099]
(Step S2)
In step S2, a boundary image is created from the object images A01, A02,..., A36 in the shape estimation apparatus SR of FIG.
[0100]
That is, the background BB is recognized from the object images A01, A02,..., A36, and a plurality of boundary images B01, B02,.
[0101]
These are binary images in which an area where an object exists is “1” in principle and a place “0” where the object does not exist is set.
[0102]
However, an area that cannot be distinguished as an object or a background may be stored as an analog number other than “0” or “1”.
[0103]
Since the object images A01, A02,..., A36 are 36 sheets, the boundary images are also 36 sheets.
[0104]
(Step S3)
Next, in step S3, shape estimation is performed in the shape estimation apparatus SR shown in FIG.
[0105]
FIG. 9 is a flowchart showing the flow of processing in step S3.
[0106]
First, in the voxel setting processing step S301, the voxel BOX is set in the rotation table coordinate system Or as shown in FIG.
[0107]
In this case, the setting range of the voxel BOX is set to an area where the target object can be completely covered.
[0108]
The size of one voxel BOX and the number of voxels BOX are set according to desired accuracy.
[0109]
For example, if the setting range is a cube with diagonals (-1, -1, 0) and (1, 1, 2), the size of one voxel BOX is 0.001, and the number of voxels BOX is 2000 × 2000 × 2000 = 8 × 10 ^ 9.
[0110]
Here, 9 represents the ninth power.
[0111]
In this setting range, a sphere having a diameter of 2 placed at the approximate center of the rotary table RU can be measured.
[0112]
Here, a cube is used as the setting range of voxels and voxels in this embodiment, but for example, a rectangular parallelepiped, a triangular prism, a hexagonal prism, or the like may be used, or a fan-shaped voxel BOX is used in a cylindrical coordinate system. Also good.
[0113]
In particular, when the object is flat, the calculation amount and the memory amount can be greatly reduced by setting the voxel setting range to a rectangular parallelepiped.
[0114]
Next, one image is selected from the images not processed in the processed image selection processing step S303, and the shooting angles Aa1, Aa2,..., Aa36 from the reference angle are obtained in the shooting angle calculation processing step S304.
[0115]
This is performed in the relative position calculation apparatus PC shown in FIG.
[0116]
The reference angle may be based on, for example, the angle at which the image was first captured, or may be based on another imaging angle.
[0117]
In this embodiment, since the rotary table RU is rotated at 1 rpm, it rotates 6 degrees per second.
[0118]
Therefore,
Aan = (Tn−T1) × 6
It becomes.
[0119]
Further, in the determination target voxel selection processing step S306, an undetermined voxel is selected from the vertices of each voxel not determined to be external.
[0120]
In step S308, the selected voxels are converted into boundary images B01, B02,..., B36 using the transformation matrix and the rotation matrix Rp corresponding to the imaging angles Aa1, Aa2,. When the projection is performed and all the vertices are not included in the object region in the voxel external determination processing step S309, it is determined that the object is external.
[0121]
Here, the external determination may be performed by projecting the center of gravity of the voxel to the boundary images B01, B02,..., B36, and determining that the projected point is not included in the object region.
[0122]
This determination result is stored in a determination result storage unit (not shown).
[0123]
FIG. 11 is a diagram illustrating an example of this determination.
[0124]
That is, (a) of FIG. 11 is a case where it is determined to be internal, and (b) of FIG. 11 is a case where it is determined to be external.
[0125]
FIG. 12 is a diagram illustrating a state in which the voxel is determined to be external based on the boundary image B01.
[0126]
Here, the shaded portion is a voxel determined to be external.
[0127]
FIGS. 13A to 13D are diagrams illustrating a state in which a target object is cut out by this method in a two-dimensional example with respect to a simple shape.
[0128]
Here, the hatched portion is a voxel that is cut out, and the mesh portion is not determined because it has been previously determined to be external.
[0129]
Further, voxels whose number of times determined to be external by the voxel external determination unit is greater than or equal to a threshold value are registered as external voxels.
[0130]
This determination may be made using, for example, the value of external probability = number of times determined / number of images used for determination.
[0131]
Finally, when processing is completed for all images, voxels that are not external are set as the three-dimensional shape of the target object.
[0132]
Further, the photographing by the photographing unit may be performed through a plurality of rotations.
[0133]
In this case, the following effects can be obtained by shooting from different viewpoints for each rotation.
[0134]
For example, the first rotation is taken at around 0, 180 degrees (if the photographing angle itself is accurately known, this angle does not have to be accurate), the second rotation is around 90, 270 degrees, the third rotation If the image is taken with the resolution in the rotation direction gradually finer, such as around 45, 135, 225, and 315 degrees, the finer shape can be seen gradually with each rotation.
[0135]
As a result, the region for shape estimation in the shape estimation unit can be known at an early stage of the processing process, and the processing can be speeded up.
[0136]
In addition, even when images are taken in order around 0, 10,... 340, 350 degrees by the photographing unit, shape estimation is performed in the order of 0, 180, 90, 270, 40, 130, 220, 310. The same effect as described above can be obtained.
[0137]
Further, as shown in FIG. 14, a photographing table lifting / lowering unit UDU that moves the target object BE up and down at a constant speed in the direction of the rotation axis is further provided, and photographing is performed while lifting the rotary table RU at a constant speed in accordance with the rotation of the rotary table RU. You may comprise so that it may do.
[0138]
In this case, since the relative position in the vertical direction also changes, it is possible to estimate the target object portion that could not be estimated by simple rotational motion.
[0139]
Although the shooting position changes in addition to the angle, the movement of the height also changes. However, since the shooting position moves at a constant speed, the height can be obtained by taking the shooting time at a constant speed as in the calculation of the angle.
[0140]
(Second Embodiment)
The equipment configuration of the three-dimensional information acquisition apparatus according to the second embodiment is the same as that of the first embodiment.
[0141]
FIG. 15 is a flowchart showing the flow of processing of the three-dimensional information acquisition apparatus according to the second embodiment.
[0142]
The processing flow of the three-dimensional information acquisition apparatus according to the present embodiment is the same as that of the first embodiment in steps S0 to S3.
[0143]
In texture mapping processing step S4, color information of voxels on each surface is determined using the object images A01, A02,..., A36.
[0144]
For example, first, the coordinates of the center of the voxel on the surface are projected onto the object images A01, A02,..., A36 where the voxel is seen, and the color information of the projected image is averaged to obtain the color information of the voxel.
[0145]
Thereby, not only the three-dimensional shape of the object but also the color information of each part can be acquired.
[0146]
(Third embodiment)
FIG. 16 is a block diagram showing the configuration of the three-dimensional information acquisition apparatus according to the third embodiment.
[0147]
In the present embodiment, the photographing step S2 and the boundary image creating step S3 of the first embodiment are different.
[0148]
First, a light source that brightens the entire back surface is installed behind the target object BE as an object with respect to the camera CU.
[0149]
For example, a diffusion plate FB is installed as shown in FIG. 16, and the flash BFU is illuminated from behind it in synchronism with photographing.
[0150]
Furthermore, the target object BE is installed on the transparent base CB.
[0151]
Thereafter, by rotating the turntable RU as in the first embodiment, for example, 36 silhouette images S01, S02,..., S36 are photographed (see FIG. 17).
[0152]
By photographing in this way, the background area has a high luminance, and the area where the object exists is very dark, so that the same image as the photographing under the backlight can be obtained.
[0153]
Next, in the boundary image creation processing step S3, a dark region is extracted from the silhouette image.
[0154]
For example, a pixel having a luminance value equal to or higher than a certain threshold is set as a background, and the remaining area is set as an object.
[0155]
Details regarding these photographing methods and clipping methods are in accordance with Japanese Patent Application No. 2001-245593.
[0156]
(Fourth embodiment)
FIG. 18 is a block diagram showing the configuration of the three-dimensional information acquisition apparatus according to the fourth embodiment.
[0157]
In the present embodiment, the imaging step S1, the boundary image creation processing step S2, and the texture mapping processing step S4 of the second embodiment shown in FIG. 15 are different.
[0158]
First, a light source that brightens the entire back surface is placed behind the object with respect to the camera CU.
[0159]
For example, a diffusion plate FB is installed as shown in FIG. 18, and the flash BFU is lit from the back in accordance with photographing.
[0160]
By photographing in this way, the background area has a high luminance and the area where the object exists is very dark, so that it is possible to obtain the same image as the photographing under the backlight.
[0161]
In addition, a flash FU for irradiating the front surface is provided, and a flash switching device FCU for illuminating the flash BFU behind or alternately or several times is provided.
[0162]
The turntable RU includes a transparent base CB. A target image BE as an object is placed on the turntable RU, and texture images T01, T02, which are photographed by illuminating a plurality of FUs while rotating the turntable RU. .., T36 and silhouette images S01, S02,..., S36 photographed by shining a plurality of BFUs are photographed alternately, for example (see FIG. 19).
[0163]
Next, in the boundary image creation processing step S3, a dark region is extracted from the silhouette image.
[0164]
For example, a pixel having a luminance value equal to or higher than a certain threshold is set as a background, and the remaining area is set as an object.
[0165]
Details regarding these photographing methods and clipping methods are in accordance with Japanese Patent Application No. 2001-245593.
[0166]
Further, in the texture mapping processing step, by using the texture image and adding color information to the voxels as in the second embodiment, not only the three-dimensional shape of the object but also the color information of each part can be acquired. it can.
[0167]
(Fifth embodiment)
In the fifth embodiment, the shape estimation processing step S3 of the first to fourth embodiments described above is different.
[0168]
FIGS. 20A to 20D are diagrams showing two-dimensional changes in the voxels according to the present embodiment.
[0169]
In the present embodiment, first, one voxel is set larger than desired accuracy.
[0170]
In addition, voxel external determination is performed as in the first to fourth embodiments, but voxel division is performed on voxels in which determination of eight vertices is mixed inside and outside.
[0171]
In FIG. 20, since it is a two-dimensional explanation, one square is divided into four, but in three dimensions, it is divided into eight cubes.
[0172]
Then, external determination is similarly performed on the divided cube, and division is repeated recursively.
[0173]
The process ends when the voxel size at which the desired accuracy is obtained is obtained, and a similar process is performed using a boundary image that has not yet been processed.
[0174]
As described above, the three-dimensional reconstruction is performed while recursively dividing, so that the number of voxels to be processed is drastically reduced because the areas other than the boundary between the inside and the outside of the object are divided by voxels larger than the desired accuracy.
[0175]
In addition, in the voxel that has been divided once, when it is determined that all the voxels inside the voxel are outside, by integrating those voxels as one voxel, It is also possible to further reduce the number of voxels.
[0176]
Here, the external determination of the voxel may be determined using, for example, the angular center of gravity of the six surfaces, the midpoint of each side, and the like in addition to the eight vertices.
[0177]
As a result, a three-dimensional reconstruction of an object having a more complicated shape can be performed.
[0178]
In addition, the present specification shown in the embodiment as described above includes inventions as shown in the following
[0179]
(Supplementary note 1) photographing means for photographing an image of a target object;
Relative moving means for moving the target object and the photographing means at a predetermined relative speed so that the photographing means can take images of the target object from a plurality of viewpoints;
Reference position detection means for detecting a reference relative position between the target object and the photographing means;
Based on the difference between the time when the reference position detection unit detects the reference relative position and the time when the imaging unit captures the image of the target object, and the predetermined relative speed, the target object and the imaging unit A relative position specifying means for specifying the relative position;
Three-dimensional shape estimation means for estimating the three-dimensional shape of the target object using the images of the target object taken from a plurality of viewpoints photographed by the photographing means and information on the relative position specified by the relative position specifying means When,
A three-dimensional information acquisition apparatus comprising:
[0180]
(Function)
Since the present invention can shoot while moving the target object, the acceleration / deceleration during movement is small, so that the shooting time can be reduced, the target object can be prevented from falling and deforming due to inertia, and energy consumption can be reduced. Can be less.
[0181]
(Appendix 2) photographing means for photographing an image of a target object;
Illuminating means for illuminating a range including the entire boundary with the background portion of the target object within at least the imaging range of the imaging means directly or indirectly from behind the target object;
Relative movement means for moving the target object and the photographing means at a predetermined relative speed so that the photographing means can photograph images of the target object from a plurality of viewpoints;
Reference position detection means for detecting a reference relative position between the target object and the photographing means;
Based on the difference between the time when the reference position detection unit detects the reference relative position and the time when the imaging unit captures the image of the target object, and the predetermined relative speed, the target object and the imaging unit A relative position specifying means for specifying the relative position;
Three-dimensional shape estimation means for estimating the three-dimensional shape of the target object using the images of the target object taken from a plurality of viewpoints photographed by the photographing means and information on the relative position specified by the relative position specifying means When,
With
The three-dimensional information acquisition apparatus characterized in that the illumination means is lit when performing photographing for estimating a three-dimensional shape of the target object.
[0182]
(Function)
Since the present invention can shoot while moving the target object by light cutting and separation, the acceleration / deceleration during movement is reduced, so that the shooting time is reduced, and the target object is less likely to fall or deform due to inertia. As well as low energy consumption.
[0183]
(Appendix 3) The relative position moving means rotates the target object at a constant angular velocity,
The relative position detecting means includes
A reference angular position detecting means for detecting a reference angular position;
A time difference calculating means for calculating a time difference from the time when the reference angle position detecting means detects the reference angle position to the time when the image is taken by the photographing means;
Using the result obtained by the constant angular velocity and the time difference calculating means, an angle difference specifying means for specifying an angle difference rotated by the photographing means from the reference angle until the time taken by the photographing means;
2. A constant angular velocity calculating unit that calculates an average angular velocity from the time from when the reference angular position detecting unit detects the reference angular position once until it is detected again, and sets the constant angular velocity as the constant angular velocity. The three-dimensional shape information acquisition device according to 4.
[0184]
(Function)
According to the present invention, in (4), the influence of fluctuations in angular velocity caused by placing the target object on a turntable as a constant angular velocity measurement can be reduced.
[0185]
【The invention's effect】
Therefore, as described above, according to the present invention, it is possible to obtain the boundary with high accuracy and acquire more accurate three-dimensional information, and to significantly reduce the memory capacity for acquiring the three-dimensional information of the target object, Three-dimensional information acquisition device and three-dimensional information acquisition method capable of shortening time and keeping a target object in a stable stateThe lawCan be provided.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a first embodiment of a three-dimensional information acquisition apparatus according to the present invention.
FIG. 2 is a flowchart showing a rough processing flow in the first embodiment of the three-dimensional information acquisition apparatus according to the present invention;
FIG. 3 is a diagram illustrating a relationship between a camera coordinate system and an image coordinate system.
FIG. 4 is a diagram illustrating a relationship between a camera coordinate system Oc and each coordinate system of a rotation table coordinate system Or set on the rotation table RU.
FIG. 5 is a diagram showing a pattern flat plate PB used as an example for obtaining a rotation matrix Rcr and a translation vector Tcr.
6 is a diagram illustrating an example in which a rotation matrix Rcr and a translation vector Tcr are obtained. As an example, the pattern plate PB of FIG. 5 is set up on the rotation table RU upright on the rotation plate and rotated by 10 degrees from different angles. It is a figure shown in order to demonstrate the method of image | photographing by.
FIG. 7 is a diagram illustrating object images A01, A02,..., A36.
FIG. 8 is a diagram illustrating boundary images B01, B02,..., B36.
FIG. 9 is a flowchart showing a process flow of step S3 of FIG. 2;
FIG. 10 is a diagram showing a voxel BOX to be set.
FIG. 11 is a diagram illustrating an example of external determination.
FIG. 12 is a diagram illustrating a state in which a voxel is determined to be external based on a boundary image B01.
FIG. 13 is a diagram illustrating a state where a target object is cut out in a two-dimensional example with respect to a simple shape.
FIG. 14 is a block diagram illustrating a configuration of a modified example of the first embodiment;
FIG. 15 is a flowchart showing a process flow of the three-dimensional information acquisition apparatus according to the second embodiment of the present invention;
FIG. 16 is a block diagram showing a configuration of a three-dimensional information acquisition apparatus according to a third embodiment of the present invention.
FIG. 16 is a diagram showing silhouette images S01, S02,... S36.
FIG. 18 is a block diagram showing a configuration of a three-dimensional information acquisition apparatus according to a fourth embodiment of the present invention.
FIG. 19 is a diagram illustrating a captured image according to the fourth embodiment.
FIG. 20 is a diagram two-dimensionally showing a change state of a voxel according to the fifth embodiment of the present invention.
[Explanation of symbols]
CU ... Camera as a photographing means
FU ... Flash for subject illumination,
RU: rotary table (photographing table rotating device) as a relative position moving means,
RU: a sensor for recognizing that the rotary table RU has made one rotation,
BB ... Blue background as background plate,
BE: Target object,
TM ... Shooting time recording device,
PC: relative position calculation device as relative position specifying means,
SR: Shape estimation device for shape estimation,
PB ... Pattern plate,
FB ... Diffusion plate,
BFU ... flash,
CB ... Transparent base.
Claims (2)
所定の光学的特性を有すると共に、前記対象物体の背後に配置されて撮影時に前記対象物体の背景となる背景板、または、少なくとも前記撮影手段の撮影範囲内おける前記対象物体の輪郭部分全体またはその一部を含む範囲を前記対象物体の背後から直接的または間接的に照明する照明手段と、
前記撮影手段によって複数の視点から前記対象物体の画像を撮影可能とするように、前記対象物体と前記撮影手段とを回転運動によって相対的かつ連続的に移動させる相対移動手段と、
前記撮影手段によって複数の視点から前記対象物体の画像を撮影した各々の視点における前記対象物体と前記撮影手段との相対位置を検出する相対位置検出手段と、
前記撮影手段によって複数の視点から撮影された前記対象物体の画像、及び前記相対位置検出手段によって検出された相対位置の情報とを用いて、前記対象物体の立体形状を推定する立体形状推定手段と、
を有し、
前記立体形状推定手段は、前記撮影手段によって複数の視点から撮影した画像の内、第１の視点位置からの視線で撮影された画像に基いて前記対象物体が存在すると判定される当該画像内で対象物体が占める領域を認識すると共に、前記対象物体の立体形状を推定する認識推定処理を実施し、
続いて、前記第１の視点位置から対象物体を観察する位置において最も遠い第２の視点位置となる当該第１の視点から前記対象物体に対して１８０度異なる視点位置からの視線で撮影された画像に基いて前記対象物体が存在すると判定される当該画像内で対象物体が占める領域を認識すると共に、前記対象物体の立体形状を推定する認識推定処理を実施し、
続いて、前記第１及び第２の視点位置で撮影を行った前記相対移動手段の１回転目に続く２回転目において、前記認識推定処理に用いられていない画像に対応する前記第１及び第２の視点位置を除いたそれ以外の残余の前記視点位置であって、前記回転方向での解像度を徐々に細かくして撮影を行えるための回転位置である前記第１の視点位置に対して９０度と２７０度異なる視点位置からの視線で撮影された画像に基づいて前記対象物体が存在すると判定される当該画像内で対象物体が占める領域を認識すると共に、前記認識推定処理を実施し、
続いて、さらに３回転目において前記第１の視点位置に対して４５度、１３５度、２２５度、及び３１５度異なる視点位置からの視線で撮影された画像に基づいて前記対象物体が存在すると判定される当該画像内で対象物体が占める領域を認識すると共に、前記認識推定処理を実施することを特徴とする立体情報取得装置。Photographing means for photographing an image of the target object;
A background plate that has a predetermined optical characteristic and is arranged behind the target object and serves as a background of the target object at the time of shooting, or the entire contour portion of the target object at least within the shooting range of the shooting unit or the same Illumination means for directly or indirectly illuminating a range including a part from behind the target object;
Relative movement means for relatively and continuously moving the target object and the photographing means by a rotational movement so that the photographing means can photograph images of the target object from a plurality of viewpoints;
A relative position detecting means for detecting a relative position between the target object and the photographing means at each viewpoint obtained by photographing images of the target object from a plurality of viewpoints by the photographing means;
Solid shape estimation means for estimating the solid shape of the target object using the image of the target object photographed from a plurality of viewpoints by the photographing means and information on the relative position detected by the relative position detection means; ,
Have
The three-dimensional shape estimation unit is configured to determine that the target object is present based on an image photographed with a line of sight from a first viewpoint position among images photographed from the plurality of viewpoints by the photographing unit. Recognizing the area occupied by the target object, and performing recognition estimation processing for estimating the three-dimensional shape of the target object,
Subsequently, the image was taken with a line of sight from a viewpoint position 180 degrees different from the first viewpoint, which is the farthest second viewpoint position at the position where the target object is observed from the first viewpoint position. Recognizing a region occupied by the target object in the image determined that the target object exists based on the image, and performing a recognition estimation process for estimating the three-dimensional shape of the target object,
Subsequently, in the second rotation following the first rotation of the relative movement unit that has taken images at the first and second viewpoint positions, the first and second images corresponding to images that are not used in the recognition estimation process. 90. With respect to the first viewpoint position, which is the remaining viewpoint position except for the second viewpoint position, and which is a rotational position for performing resolution while gradually reducing the resolution in the rotation direction. Recognizing a region occupied by the target object in the image determined that the target object exists based on an image taken with a line of sight from a viewpoint position different from 270 degrees, and performing the recognition estimation process,
Subsequently, in the third rotation, it is determined that the target object exists based on an image taken with a line of sight from viewpoint positions that are 45 degrees, 135 degrees, 225 degrees, and 315 degrees different from the first viewpoint position. A three-dimensional information acquisition apparatus characterized by recognizing a region occupied by a target object in the image and executing the recognition estimation process .
前記対象物体の画像を撮影手段によって撮影する撮影工程と、A photographing step of photographing an image of the target object by photographing means;
所定の光学的特性を有すると共に、前記対象物体の背後に配置されて前記撮影手段による撮影時に前記対象物体の背景となる背景板、または、少なくとも前記撮影手段の撮影範囲内おける前記対象物体の輪郭部分全体またはその一部を含む範囲を前記対象物体の背後から直接的または間接的に照明手段によって照明する照明工程と、A background plate having predetermined optical characteristics and disposed behind the target object and serving as a background of the target object at the time of photographing by the photographing means, or an outline of the target object at least within the photographing range of the photographing means An illuminating step of illuminating an entire part or a range including a part thereof directly or indirectly from behind the target object with an illuminating means;
前記撮影手段によって複数の視点から前記対象物体の画像を撮影可能とするように、前記対象物体と前記撮影手段とを回転運動によって相対的かつ連続的に移動させる相対移動工程と、A relative movement step of relatively and continuously moving the target object and the imaging unit by a rotational movement so that the imaging unit can capture images of the target object from a plurality of viewpoints;
前記撮影手段によって複数の視点から前記対象物体の画像を撮影した各々の視点における前記対象物体と前記撮影手段との相対位置を検出する相対位置検出工程と、A relative position detecting step of detecting a relative position between the target object and the photographing means at each viewpoint obtained by photographing images of the target object from a plurality of viewpoints by the photographing means;
前記撮影手段によって複数の視点から撮影された前記対象物体の画像、及び前記相対位置検出工程によって検出された相対位置の情報とを用いて、前記対象物体の立体形状を推定する立体形状推定工程と、A three-dimensional shape estimation step for estimating a three-dimensional shape of the target object using the images of the target object photographed from a plurality of viewpoints by the photographing means and information on the relative position detected by the relative position detection step; ,
を有し、Have
前記立体形状推定工程は、The three-dimensional shape estimation step includes
前記撮影手段によって複数の視点から撮影した画像の内、第１の視点位置からの視線で撮影された画像に基いて前記対象物体が存在すると判定される当該画像内で対象物体が占める領域を認識すると共に、前記対象物体の立体形状を推定する認識推定処理を実施する第１の認識推定処理工程と、Recognizing an area occupied by the target object in the image that is determined to be present based on an image shot with a line of sight from a first viewpoint position among images shot from a plurality of viewpoints by the shooting unit And a first recognition estimation processing step for performing recognition estimation processing for estimating the three-dimensional shape of the target object;
続いて、前記第１の視点位置から対象物体を観察する位置において最も遠い第２の視点位置となる当該第１の視点から前記対象物体に対して１８０度異なる視点位置からの視線で撮影された画像に基いて前記対象物体が存在すると判定される当該画像内で対象物体が占める領域を認識すると共に、前記対象物体の立体形状を推定する認識推定処理を実施する第２の認識推定処理工程と、Subsequently, the image was taken with a line of sight from a viewpoint position 180 degrees different from the first viewpoint, which is the farthest second viewpoint position at the position where the target object is observed from the first viewpoint position. A second recognition estimation processing step for recognizing a region occupied by the target object in the image determined that the target object is present based on the image and performing a recognition estimation process for estimating a three-dimensional shape of the target object; ,
続いて、前記第１及び第２の視点位置で撮影を行った前記相対移動手段の１回転目に続く２回転目において、前記認識推定処理に用いられていない画像に対応する前記第１及び第２の視点位置を除いたそれ以外の残余の前記視点位置であって、前記回転方向での解像度を徐々に細かくして撮影を行えるための回転位置である前記第１の視点位置に対して９０度と２７０度異なる視点位置からの視線で撮影された画像に基づいて前記対象物体が存在すると判定される当該画像内で対象物体が占める領域を認識すると共に、前記認識推定処理を実施する第３の認識推定処理工程と、Subsequently, in the second rotation following the first rotation of the relative movement unit that has taken images at the first and second viewpoint positions, the first and second images corresponding to images that are not used in the recognition estimation process. 90. With respect to the first viewpoint position, which is the remaining viewpoint position except for the second viewpoint position, and which is a rotational position for performing resolution while gradually reducing the resolution in the rotation direction. Recognizing a region occupied by the target object in the image determined that the target object exists based on an image taken with a line of sight from a viewpoint position different from 270 degrees, and performing the recognition estimation process Recognition estimation processing step,
続いて、さらに３回転目において前記第１の視点位置に対して４５度、１３５度、２２５度、及び３１５度異なる視点位置からの視線で撮影された画像に基づいて前記対象物体が存在すると判定される当該画像内で対象物体が占める領域を認識すると共に、前記認識推定処理を実施する第４の認識推定処理工程と、Subsequently, in the third rotation, it is determined that the target object exists based on an image taken with a line of sight from viewpoint positions that are 45 degrees, 135 degrees, 225 degrees, and 315 degrees different from the first viewpoint position. A fourth recognition estimation processing step for recognizing a region occupied by the target object in the image and performing the recognition estimation processing;
を有することを特徴とする立体情報取得方法。A three-dimensional information acquisition method characterized by comprising:
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002032596A JP4094303B2 (en) | 2002-02-08 | 2002-02-08 | 3D information acquisition apparatus and 3D information acquisition method |
| US10/218,059 US7253832B2 (en) | 2001-08-13 | 2002-08-13 | Shape extraction system and 3-D (three dimension) information acquisition system using the same |
| US11/821,749 US20070252900A1 (en) | 2001-08-13 | 2007-06-25 | Shape extraction system and 3-D (three dimension) information acquisition system using the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002032596A JP4094303B2 (en) | 2002-02-08 | 2002-02-08 | 3D information acquisition apparatus and 3D information acquisition method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003232622A JP2003232622A (en) | 2003-08-22 |
| JP4094303B2 true JP4094303B2 (en) | 2008-06-04 |
Family
ID=27775665
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002032596A Expired - Fee Related JP4094303B2 (en) | 2001-08-13 | 2002-02-08 | 3D information acquisition apparatus and 3D information acquisition method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4094303B2 (en) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006059165A (en) * | 2004-08-20 | 2006-03-02 | Riyuukoku Univ | Three-dimensional modeling device, geometric pattern, three-dimensional modeling data generating method, three-dimensional modeling program and recording medium |
| JP5303873B2 (en) * | 2007-06-13 | 2013-10-02 | 株式会社Ｉｈｉ | Vehicle shape measuring method and apparatus |
| JP6118195B2 (en) * | 2013-06-27 | 2017-04-19 | 寺川 真嗣 | Multi-angle image photographing system, rotating table device, photographing device, and multi-angle image photographing method |
| JP6941350B2 (en) * | 2017-05-08 | 2021-09-29 | 国立大学法人横浜国立大学 | 3D shape estimation system, 3D shape estimation device, 3D shape estimation method and program |
| WO2021071081A1 (en) * | 2019-10-08 | 2021-04-15 | 삼성전자주식회사 | Cooking appliance comprising three-dimensional shape estimation device and control method thereof |
| CN113115024B (en) * | 2019-12-12 | 2023-01-31 | 天目爱视（北京）科技有限公司 | 3D information acquisition equipment |
| CN114096995A (en) * | 2019-12-13 | 2022-02-25 | 索尼集团公司 | Multispectral volume capture |
| WO2023223958A1 (en) * | 2022-05-18 | 2023-11-23 | 株式会社Preferred Networks | Three-dimensional reconstruction method and three-dimensional reconstruction system |
-
2002
- 2002-02-08 JP JP2002032596A patent/JP4094303B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003232622A (en) | 2003-08-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11145077B2 (en) | Device and method for obtaining depth information from a scene | |
| CN109922251A (en) | The method, apparatus and system quickly captured | |
| CN110728671B (en) | Dense reconstruction method of texture-free scene based on vision | |
| KR100834157B1 (en) | Method for Light Environment Reconstruction for Image Synthesis and Storage medium storing program therefor. | |
| CN206563985U (en) | 3-D imaging system | |
| CN111815707A (en) | Point cloud determining method, point cloud screening device and computer equipment | |
| EP3382645A2 (en) | Method for generation of a 3d model based on structure from motion and photometric stereo of 2d sparse images | |
| CN207766424U (en) | A kind of filming apparatus and imaging device | |
| JP2007304801A (en) | Solidity authenticating method, solidity authenticating apparatus, and solidity authenticating program | |
| JP4094303B2 (en) | 3D information acquisition apparatus and 3D information acquisition method | |
| WO2018002697A1 (en) | Method for the enhancement of digital image resolution by applying a unique processing of partially overlapping low-resolution images | |
| CN106296574A (en) | 3-d photographs generates method and apparatus | |
| CN106447735A (en) | Panoramic camera geometric calibration processing method | |
| CN116222425A (en) | Three-dimensional reconstruction method and system based on multi-view three-dimensional scanning device | |
| US20220046189A1 (en) | Method for Improved Acquisition of Images for Photogrammetry | |
| JP2007025863A (en) | Photographing system, photographing method, and image processing program | |
| US20160044295A1 (en) | Three-dimensional shape measurement device, three-dimensional shape measurement method, and three-dimensional shape measurement program | |
| JP2009271895A (en) | Image set and method for independent rectification | |
| JPH0766436B2 (en) | 3D model construction device using continuous silhouette images | |
| CN109389645B (en) | Camera self-calibration method and system, camera, robot and cloud server | |
| CN108510537B (en) | 3D modeling method and device | |
| JP7251631B2 (en) | Template creation device, object recognition processing device, template creation method, object recognition processing method, and program | |
| CN111489384B (en) | Method, device, system and medium for evaluating shielding based on mutual viewing angle | |
| CN110796596A (en) | Image splicing method, imaging device and panoramic imaging system | |
| CN113870354B (en) | Deep learning-based transformer tank measurement method and system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050119 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070326 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071127 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080123 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080226 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080305 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110314 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110314 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |