JP3869876B2 - 画像計測方法及び画像計測装置 - Google Patents
画像計測方法及び画像計測装置 Download PDFInfo
- Publication number
- JP3869876B2 JP3869876B2 JP33050595A JP33050595A JP3869876B2 JP 3869876 B2 JP3869876 B2 JP 3869876B2 JP 33050595 A JP33050595 A JP 33050595A JP 33050595 A JP33050595 A JP 33050595A JP 3869876 B2 JP3869876 B2 JP 3869876B2
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- image
- subject
- recording
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、複数視点からの画像を用いて簡便かつ高精度に被写体撮像時の撮像パラメータ、例えばカメラの姿勢、位置、基線長、輻輳角、焦点距離収差情報などを抽出する画像計測方法、および撮像パラメータに基づいて物体の三次元形状を計測かつ表示する画像計測装置の技術分野に属するものである。
【０００２】
【従来の技術】
従来、画像から物体の三次元形状データを計測する方法として複眼カメラによるステレオ計測法、例えば尾上他編、「画像処理ハンドブック」昭晃堂、１９８７年発行が知られており、これに基づく物体の全形状データの相対位置（平行移動量、回転移動量）抽出および統合方法が特開平５−３０３６２９号公報、特開平６−２０８６１０号公報、電子情報通信学会論文誌Ｄ−II（Ｖｏｌ．Ｊ７５−Ｄ−II，ｐｐ．７３７−７４８，１９９２）などに開示されている。
【０００３】
これらは物体の画像のみを用いて複数の部分形状データ間の相対位置を算出するもので、順次部分形状データを接続することにより物体とカメラとの相対位置を直接計測せずに全三次元形状を求めようとするものである。またカメラにその姿勢検出用センサを搭載し、姿勢データと画像データとを併用する方法が特開平６−２４１７３１号公報に開示されている。また、撮像手段の三次元位置、姿勢を画像計測により較正する方法が特開平６−２５９５３６号公報に開示されている。
【０００４】
【発明が解決しようとする課題】
しかしながら上記従来例のうち、特開平５−３０３６２９号公報、特開平６−２０８６１０号公報、電子情報通信学会論文誌Ｄ−II（Ｖｏｌ．Ｊ７５−Ｄ−II，ｐｐ．７３７−７４８，１９９２）はカメラの位置および部分形状間の相対位置を物体の形状、物体面上の模様などによらず常に正確に求めることは困難であり、形状データ統合の際の誤差が蓄積する、演算量が大きい、などの問題点がある。
【０００５】
また特開平６−２４１７３１号公報ではカメラの姿勢以外は画像データに基づいているため同様の問題点があり、いずれの例もカメラの基線長、輻輳角、焦点距離、および歪みなどの収差情報を予め高精度に較正しておく必要があった。従ってカメラの位置、姿勢を変えながら被写体を撮像する際にこれらカメラ固有のパラメータを調整することができないという問題がある。
【０００６】
また特開平６−２５９５３６号公報では一つの視点位置での画像を用いるために精度、計算の安定性などに欠けるという点、或は撮像手段の焦点距離を抽出しないために三次元形状計測に適用する際、前記従来例と同様の問題点がある。
【０００７】
本発明は、上記従来例の問題点を解消するためになされたもので、被写体画像の入力により容易に高精度な撮像パラメータの抽出、画像計測ができる画像計測方法及び画像計測装置の提供を目的とするものである。
【０００８】
【課題を解決するための手段】
このため、本発明に係る画像計測方法は、被写体を当該被写体と識別可能な既知のパターンとともに複数の視点位置から撮像する撮像工程と、
前記撮像工程において撮像された複数の画像それぞれについて、前記既知のパターンの画像中の複数の特徴点を用いて撮像時における撮像手段の位置、姿勢、焦点距離に関する撮像パラメータを検出する検出工程と、
前記検出工程において検出された前記撮像パラメータを記録するヘッダ部と、当該撮像パラメータで撮像した画像データを記録するための後続の画像データ領域とからなる所定のフォーマットで記録する記録工程とからなることを特徴とする。
【０００９】
また本発明に係る画像計測装置は、被写体を当該被写体と識別可能な既知のパターンとともに複数の視点位置から撮像された複数の画像を入力する入力手段と、
前記入力手段によって入力された複数の画像それぞれについて、前記既知のパターンの画像中の複数の特徴点を用いて撮像時における撮像手段の位置、姿勢、焦点距離に関する撮像パラメータを検出する検出手段と、
前記複数の画像と前記検出手段によって検出された撮像パラメータを用いて前記被写体の三次元形状情報を抽出する三次元形状情報抽出手段と、
前記検出手段によって検出された前記撮像パラメータを記録するヘッダ部と、前記三次元形状情報抽出手段によって抽出された前記被写体の三次元形状情報を記録するための後続の画像データ領域とからなる所定のフォーマットで記録する記録手段と、
からなることを特徴とする。
【００２２】
【発明の実施の形態】
上記目的を達成するため、本出願に係る第１の発明は、既知のパターンおよび被写体を含む複数視点位置からの画像に基づき画像の撮像パラメータを抽出することを特徴とする。これにより被写体撮像時に撮像手段の位置、姿勢を含む撮像パラメータを記録せずに、画像から直接必要なパラメータを高精度に計測可能とするものである。
【００２３】
本出願に係る第２の発明の画像計測方法は、位置関係が互いに既知のパターンを第一被写体、所定の物体を第二被写体として二つの被写体の複数視点位置からの画像に基づき撮像パラメータを抽出することを特徴とする。これにより第一被写体と第二被写体、撮像手段との位置関係、および撮像時の撮像パラメータを画像のみから高精度に計測可能とするものである。
【００２４】
本出願に係る第３の発明の画像計測方法は、既知のパターンは形状が少なくとも部分的に既知な被写体上に存在することを特徴とする。これにより常に既知パターンを有する被写体を別途用意しなくても撮像パラメータを高精度に計測可能とするものである。
【００２５】
本出願に係る第４の発明の画像計測装置は、位置関係が互いに既知の特徴を有する第一被写体、少なくとも部分的に三次元形状が未知の第二被写体とを複数視点位置において未知被写体画像の入力手段、被写体画像に対応する撮像パラメータを抽出する撮像パラメータ抽出手段及び第二被写体の三次元形状情報抽出手段、三次元形状情報の記録手段、画像表示手段からなることを特徴とする。これより視点位置、或は物体の種類、照明条件などにより撮像パラメータを変化させても入力された画像からパラメータ推定、特に撮像手段の姿勢、位置の推定を高精度に行うことができ、簡便かつ高精度な立体情報抽出が可能となる。
【００２６】
本出願に係る第５の発明の画像計測装置は、入力手段が撮像手段と該撮像手段からの画像の記憶手段とからなることを特徴とする。これにより既知パターンを含む複数視点位置からの被写体画像を予め撮っておくだけで撮像パラメータの抽出、三次元形状情報の抽出を後処理として行うことが可能となる。
【００２７】
本出願に係る第６の発明の画像計測装置は、三次元形状抽出手段が第一被写体上の所定の点を原点とする基準座標系設定手段および基準座標系における第二被写体の三次元形状抽出手段からなることを特徴とする。これにより同一被写体を異なる角度から複数回撮像して得られる複数の部分形状を高精度に統合することが可能となる。
【００２８】
本出願に係る第７の発明の画像計測方法は、撮像パラメータが撮像手段の位置、姿勢、焦点距離、収差情報の少なくとも一つを含むことを特徴とする。これにより高精度な三次元形状情報の抽出と任意の仕手に地からの物体画像生成を簡便に行うことができる。
【００２９】
本出願に係る第８の発明の画像計測装置は、撮像手段が複数の光路手段と少なくとも一つの結像手段および光電変換手段からなることを特徴とする。これにより三次元形状データの抽出用の画像入力の撮像条件を安定に制御することができる。
【００３０】
本出願に係る第９の発明の画像計測装置は、撮像手段が基線長調整手段、または輻輳角調整手段、または焦点距離調整手段の少なくとも一つを有する複眼カメラであることを特徴とする。これにより最適な撮像条件で既知パターンと被写体とを撮像して、異なる視点位置で得られる三次元形状を高精度に統合することが可能となる。
【００３１】
本出願に係る第１０の発明の画像計測装置は、位置関係が互いに既知の特徴を有する第一被写体、所定の第二被写体とを複数視点位置において見た被写体画像の入力手段、該被写体画像に対応する撮像パラメータを抽出する撮像パラメータ抽出手段、第二被写体の二次元的画像記録手段、該第二被写体の二次元的画像に対応する撮像パラメータの記録手段、および画像表示手段からなることを特徴とする。これにより任意視点位置から見た物体画像の簡便かつスムーズな再生または合成を入力画像データのみを用いて行うことが可能となる。
【００３２】
本出願に係る第１１の発明の画像計測方法は、既知パターンが互いに異なる二次元的特徴を有する複数のパターンからなることを特徴とする。これにより画像から容易に特徴点の位置を求めることができ、安定的かつ高精度な撮像パラメータおよび三次元形状抽出処理が可能となる。
【００３３】
本出願に係る第１２の発明の画像計測装置の撮像手段は、複眼の一方と他方とで異なる固定焦点距離を有し、一方が前記第一被写体画像の取得に他方は前記第二被写体画像の取得に用いることを特徴とする。これより未知形状物体と既知パターンとを同じ視野に収めて撮像した場合に片方がぼやけて写ることによって生じる撮像パラメータまたは三次元形状データの誤差を抑制することができた。
【００３４】
本出願に係る第１３の発明の画像計測装置は、第一被写体上に発光素子を配列してなることを特徴とする。これより、撮像パラメータおよび、三次元形状データの抽出を更に高精度に行うことができた。
【００３５】
【実施例】
以下、図面を参照して本発明の実施例を説明する。
【００３６】
（実施例１）
図１は本実施例の基本構成図であり、１は複眼カメラである撮像手段、２は既知のパターンを有する平面状物体、３は平面状物体２の上に置かれた三次元形状を測定すべて物体、４は画像処理手段、５は複眼カメラ１からの画像のモニタ、１２は形状データ記憶手段である。
【００３７】
撮像手段１は図１（ｂ）に示すように、基本的に左カメラ１L と右カメラ１R 、および１L と１R の光軸方向調整手段６、基線長（例えば１L と１R の結像系の主点位置間距離）調整手段７、光電変換手段８L ，８R 、焦点距離調整手段９L ，９R 、主制御部１０、およびＡ／Ｄ変換機能を備えた画像記憶部１１を有する。撮像手段としては手ぶれによる画像の流れ、ボケなどを補正し、画像を安定化するための手ぶれ補正機構（不図示）を搭載してもよい。
【００３８】
測定者は複眼カメラ１を手に持って平面状物体２および三次元形状物体３の写った画像をモニタ５で確認しながら複数の位置で物体３を撮像する。なお、画像処理手段４は撮像手段１に内蔵しても良い。
【００３９】
図２（ａ），（ｂ）および図３（ｃ），（ｄ）は本実施例で用いる平面状物体２上のパターン例を示す。図２（ａ）のパターンでは特徴点Ｐ1 ，Ｐ2 ，Ｐ3 ，……は互いに異なる色相を有する色付きドットパターンで、所定の分布密度で複数の同心円状に配列されている。このタイプの変形例としては中心が共通の長軸サイズ、短軸サイズの異なる楕円状にドットを配列しても良い。また同図では半径方向にドットのサイズが異なり、同一半径上では同じ輝度を有するが（色相は異なるものとする）、これに限らずサイズ、輝度、色相などの定め方は任意であり、互いにこれら属性が異なればよい。図２（ｂ）では（ａ）と同様の色付きドットパターンは重心が共通でサイズの異なる矩形上に所定の分布密度で配列する。このタイプの変形例として重心が共通でサイズの異なる多角形上に配列してもよい。
【００４０】
図３（ｃ）では所定のピッチと交差角度を有する格子パターンで、それぞれのラインは輝度、色相、彩度の少なくとも一つが互いに異なる。同図では交差点が特徴点となる。図３（ｄ）では互いに異なる色相を有するＸ字型クロスパターンを所定の分布密度で図３（ｃ）と同様な格子上に配列したものである。その他、互いに異なる二次元的パターン要素（例えば向き、交差角の異なるＬ字型コーナ要素、あるいは文字など）を所定の分布密度で格子または矩形、同心円などの上に配列してもよい。また、以上のパターンは発光素子を配列して構成しても良い。
【００４１】
このように既知パターンとしては互いに位置関係（相対座標）が既知であり、かつ互いに画像上で識別が容易であるように異なる色を有する、或は異なる二次元的パターン要素を含むものが特に望ましい。基準直交座標系としては、例えば複眼カメラ１を用いて物体２，３を含む最初の画像を撮像した時に観測される隣接する特徴点を二つ選び、その二つの特徴点の一方を原点に原点から他方の特徴点へ伸びる直線をＸ軸とし、Ｙ軸は平面状物体面内に、Ｚ軸はＸ，Ｙ軸に直交し、右手系となるように設定するものとし、特徴点Ｐ1 ，Ｐ2 ，……の位置を（Ｘ1 ，Ｙ1 ，０），（Ｘ2 ，Ｙ2 ，０），……で表すものとする。
【００４２】
【数１】
【００４３】
【数２】
【００４４】
上式による表記の特徴は未知パラメータの推定を一旦、線形問題として記述したことにより演算量が低減化される点にある。本実施例では式（４），（５）に基づき一つの撮像位置において得られる多数の特徴点データを与えて最小二乗法、或はカルマンフィルタなどにより撮像パラメータ（カメラ位置、姿勢、基線長、輻輳角、焦点距離など）の推定を行う。以下、αL ，βL ，γL とα0 ，β0 ，γ0 を用いて撮像パラメータを推定することを左カメラ基準撮像パラメータの抽出という。尚、本発明においては撮像パラメータの抽出処理は上述した方法に限定するものではない。
【００４５】
図４は主たる画像計測動作の処理フローを示す。以下、各処理の概要を説明する。
【００４６】
撮像系の収差情報計測処理（Ｓ１）はレンズの歪曲収差を計測するもので本発明では既知の位置関係を有する特徴パターン２を用いて既存の画像処理による方法( 例えばIEEEJournal of Robotics and Automation, vol. RA-3,pp. 323-344,1987、或はIEEE Proceedings of International Conference on Pattern Recognition, 1990,pp.246-253)を用いて測定する（この時、左右カメラの焦点距離も合わせて計測してもよい）。この段階では必ずしも物体３と既知パターン２とを同じ視野に収めて撮像する必要はない。
【００４７】
図５は撮像パラメータ計測処理（図４のＳ２）のフローを示す。ここでは既知パターン２と物体３とを撮像し、式（４），（５）に基づき最小二乗法、或はカルマンフィルタなどを用いて撮像パラメータ（カメラ位置、姿勢、基線長、輻輳角、焦点位置など）の推定を行う。尚、測定者は被写体画像をモニタ５で確認しながら適切な視野を保って（例えば所定基線長、輻輳角で両被写体を同時に同じ視野範囲に収めるなど）撮像すれば、確実な撮像パラメータ抽出が可能となる。
【００４８】
先ず、初期設定処理（Ｓ２−０）として各カメラ１L ，１R に搭載された合焦判定用の光学的測距手段からの合焦状態信号、或はその他の大まかな被写体距離情報に基づいて基線長、輻輳角の制御、またはズーミングを行って撮像し、静止画または動画として記憶手段１１に記録する。
【００４９】
次に、画像中から既知パターン画像領域と被写体画像領域の識別処理（Ｓ２−１）を行う。本実施例では説明のために既知パターン例として図２（ａ）に示すように平板の上に所定の分布密度で存在し、複数の同心円状に並んだ色付きドット（互いに異なる色相を有する）パターンを使うものとする。（Ｓ２−１）はこの平板上に置かれた物体３の画像から色付きドットパターン領域を切り出すためものである。ここでは既知パターンの下地の色または輝度が物体３の平均的な色または輝度と異なるものとし、色または輝度レベルに基づいて領域成長法などを用いて切り出し処理を行う。尚、切り出し処理としては特にこの方式に限定しないが、既知パターンの配列の特性、各々のパターン要素（ここではドット）の構造的特徴、平均的色相、平均的輝度のうち、物体３の属性と異なるものを活用して行うことは云うまでもない。また切り出し処理の前にこれら属性を測定した結果に基づき、最適な属性を選び出す処理を行ってもよい。
【００５０】
処理ステップ（Ｓ２−２）は既知パターン領域から基準点をとり、それを原点として撮像パラメータ、および部分的三次元形状抽出のための基準座標系を予め定めた方法に従って設定する。例えばｉ番目の撮像位置での座標系（Ｘi ，Ｙi ，Ｚi ）は原点を通り、同心円の中心方向にＹi 軸、平面内でそれと直交する方向にＸi 軸を、更にＸi ，Ｙi 軸と直交しかつ右手系となるようにＺi 軸を設定すればよい。次に左、右カメラの画像中の既知パターン画像領域の複数の特徴点を使って撮像パラメータを抽出する。その際、基線長調整手段、輻輳角調整手段、焦点距離調整手段からの計測データをそれぞれを推定する際の初期値として用いてもよい。また固定されたパラメータに対してはそれを固定データとして他の撮像パラメータ（特に撮像手段の位置、姿勢）推定に用いてもよい。
【００５１】
更に本実施例では左カメラ画像基準の撮像パラメータ推定を行った後、それらを初期値として右カメラ画像基準の撮像パラメータの推定、或は推定値のバラツキが閾値以下となるまでの反復を行う。これは高精度化と推定値検証のための処理であり、順序は問わない。また（Ｓ２−１）を安定的かつ確実に行うために、既知パターン領域は物体３上の面と異なる特徴（例えば色相、反射率、空間周波数などが異なること）を有することが望ましい。
【００５２】
撮像パラメータ記録処理（Ｓ２−４）は被写体画像データに対応する撮像パラメータを所定記憶手段１２の不図示の記録媒体、例えば（光）磁気ディスク、テープなどに画像データとともにそれらの対応付けが明らかな所定のフォーマットで記録する。
【００５３】
図６，図７は本実施例の記録フォーマットの例を示す。図６はヘッダ部において後続する画像データの撮像パラメータ、および対応する画像データのアドレスが一括して書き込まれ、データ部では一つの撮像パラメータに対応する左右画像データが順次書き込まれる。図７は個々の画像データの直前に撮像パラメータと必要があれば画像データ量が記録されたヘッダ部が存在する。尚、画像データは適切な方法で圧縮してもよい。またヘッダ部は撮像パラメータ以外の付帯情報、例えば日時、測定場所、測定者の名前、被写体の種類などを記録してもよい。尚、図４に示す処理ステップ（Ｓ１）と（Ｓ２）の順序を逆にしたり、或は反復しても本実施例の効果は損なわれるものではない。
【００５４】
図８は三次元形状計測処理（図４のＳ３）のフローを示す。（Ｓ３−０）は記憶手段１１からの画像データおよび付帯情報（撮像パラメータを含む）の読み出し処理である。次に、（Ｓ２）と同じ撮像条件での複眼カメラ１からの物体３の左右画像の対応点間視差抽出処理（Ｓ３−１）、および（Ｓ２）で得られた撮像パラメータに基づく各点の距離情報（例えばカメラ座標系のＺ軸座標値）抽出処理（Ｓ３−２）を行う。尚、（Ｓ３−１）、（Ｓ３−２）は既存の方法を用いてよいが、本実施例では（Ｓ３−１）において対応点の信頼度も求めておく。
【００５５】
信頼度の例としては、（Ｓ３−１）でブロック分割を行って左右画像ブロック間の相関値ベースで対応点抽出を行う場合、対応する画素を中心としたブロック間の相関値を信頼度としたり、或は視差連続性の仮定に基づいて定義され、視差の不連続度が高いほど値の低くなるように設定された所定の関数値を信頼度としてもよい。更には所定の方法で検出される遮蔽エッジからの距離に応じて定まる所定の関数値（遮蔽エッジに近いほど値が小さい）を用いてもよい。尚、このような信頼度の設定は遮蔽エッジ付近では一般的に対応点が存在しないことに基づいている。また信頼度としては、これらに限らず複数の信頼度パラメータの複合関数でもよい。
【００５６】
本実施例では各撮像位置で得られる画像中の既知パターン２から所定の方法（例えば左右画像の重複領域の中心付近の特徴点など）で基準点を抽出し、その基準点を原点とする直交座標系（図２，図３の説明で用いた基準座標系と同様な設定法でよい）において物体３の部分的三次元形状を得る。更に部分形状データ、および対応する撮像パラメータを前述したようなフォーマットで所定の記憶手段（媒体）に記録する（Ｓ３−３）。但し、本発明では記憶手段（媒体）の種類は特に限定しない。
【００５７】
図９は三次元形状統合処理（図４のＳ４）のフローを示す。三次元形状統合処理（Ｓ４）は異なる撮像位置で得られた物体３の複数の部分的三次元形状データを（Ｓ３）で設定した各基準点を介して高精度に繋ぎあわせて統合するものである。各基準点の絶対座標系（初めに設定された基準座標系とする）上の位置および各軸の方向は既知であるから絶対座標系で三次元形状データを統合する際、先ずそれぞれのデータに対して次のような座標変換処理（Ｓ４−１）を行う。
【００５８】
Ｐ＝ＲL(i)-1（Ｃi −ＴL(i)） （６）
上記Ｃi 、ＲL(i)、ＴL(i)はｉ番目の撮像位置でのパラメータを示し、それぞれ画像に対応する左カメラ座標系での形状でデータ各点の三次元位置（ベクトル）、各座標軸の絶対座標系に対する回転行列、原点の位置（ベクトル）を表す（右カメラ座標系に対しても同様に求められるがいずれか一方を用いればよい）。更に形状誤差補正処理（Ｓ４−２）として、統合時に部分形状データ間で重なり合う領域間の三次元データのいずれか一方を（Ｓ３）で求めた信頼度に基づいて選択する。例えば（Ｘ，Ｙ，Ｚ）座標値を所定の量子化サイズで量子化して得られる格子点座標が一致すれば互いに重なりあうと見做して（Ｓ４−２）を適用し、量子化される前の座標値のいずれか一方をとればよい。尚、重なり判定法はこれに限定されるものではないことはいうまでもない。また、いずれの信頼度も一定基準を満たしている場合はどちらを用いてもよいが、基本的には値の高い方を選ぶものとする。以上のようにして統合された形状データはデータ記憶手段１２に記録される。
【００５９】
形状データ表示処理（図４のＳ５）は形状データ記憶手段１２から三次元形状データを読み出し、ワイアフレームなどの手法でモニタ５に表示するための表示用データを生成する処理である。他の表示方法としては、左右カメラからの画像を合成してパノラマ表示したり、或は左右カメラの画像をヘッドマウンテッドディスプレイ（複眼ディスプレイ）に視差付きで立体表示してもよい。
【００６０】
本実施例では平面上基板の上に物体３を置いただけでは物体３の底面を含むその近傍の三次元形状を抽出できないので、測定可能な範囲で（Ｓ３）までの処理をひととおり行った後、例えば物体３の上下を逆にして既知パターン上に置いて（Ｓ* ）から同様に（Ｓ３）までの処理を行ってもよい。この場合には（Ｓ４）までの統合済み形状データ間を最終的に統合する際、互いに重なりがあるようにしておくことが特に望ましい。複数の統合済み形状データを最終的に全三次元データとして統合する方法の一例としては、先ず一つの統合済形状データを基準に他の形状データに対して絶対座標系において種々のパラメータ値を用いて上記座標変換処理（Ｓ４−１）を行った後、重なる度の判定処理を行い、最も重なり度の高い座標変換を採用して重なり部分の一方を選択すればよい。他の方法としては予め重なり領域において特徴点を抽出しておき、特徴点どうしが整合するような形状データどうしの位置合わせを実現する上記座標変換（Ｓ４−１）パラメータを求めてもよい。
【００６１】
（実施例２）
図１０は実施例２の撮像パラメータ抽出処理のフロー図である。各ステップは前記実施例１の図５と対応している。
【００６２】
本実施例では撮像手段が単眼のカメラである以外は実施例１と同じ構成である。ここでは互いに画像上で既知パターンおよび物体が重複して存在するようなｉ番目とｉ＋１番目（またはｉ＋ｋ番目；ｋ≠１）の撮像位置における画像を使って撮像パラメータの抽出処理、およびそれに基づく物体の三次元形状抽出処理を行う。本実施例では、複数の特徴点データを与えてパラメータを
【００６３】
【数３】
【００６４】
（実施例３）
図１１は本実施例３で使用する非平面の既知形状物体、およびその表面にある互いに識別可能で位置関係が既知の特徴パターンの例を示す説明図である。
【００６５】
図１１の（ａ）は円錐台上に既知の特徴パターンが形成されている場合を、（ｂ）はお椀型物体の内面に既知パターンがある場合を示す。本実施例のように非平面上に既知パターンを配列することにより、未知形状物体の設置の仕方を変えずに撮像パラメータ抽出可能な撮像位置、姿勢の範囲を拡張することができる。また撮像パラメータ抽出処理（図４のＳ２）の際の縮退解の回避等が可能であり、安定性、精度向上が実現される。
【００６６】
（実施例４）
図１２は本実施例４で使用する既知パターンで、（半）透明基板上に位置関係が既知の特徴パターンが形成されている。形状が未知の物体３を載せた状態で裏面からも撮像可能であることが特徴である。本実施例のように（半）透明基板上の特徴パターンを用いることにより実施例３より更に広範囲での撮像位置が設定可能となる。
【００６７】
本実施例では既知パターンは物体３と接する面に存在しないことが望ましい。また基板の表面と裏面とで（分光）反射特性が異なるか、或は既知パターンの属性が異なるようにしておくことが望ましい。
【００６８】
このようにして上述した実施例ではカバーできない物体３の底面付近の形状、或は下側からでないと撮像不可能な部分形状データを撮像手段の位置、姿勢データと共に得ることができる。従って前述した実施例のような物体３の姿勢変更と複数統合データの位置合わせなどの処理が不要となり、より少ない演算ステップ数で物体の全形状を得ることができる。
【００６９】
（実施例５）
図１３に本実施例５の主な処理フローを示す。本実施例では既知パターンは主に撮像手段の位置、姿勢パラメータの抽出に用いる以外は撮像パラメータ抽出処理（図４のＳ２）は実施例１と同様に行うが、三次元形状の抽出と統合は行わず、撮像手段の位置、姿勢と対応する２Ｄ画像を記憶手段１２に記録する（Ｓ６）。
【００７０】
その際、既知パターンと物体画像との分離、切り出し処理を行って物体画像のみを所定記録媒体に視点位置とともに記録してもよい。再生時はユーザが指定した視点位置と撮像位置、姿勢の比較処理（Ｓ７）を行い、両者が一致するか、または最も近い撮像パラメータ（ここでは撮像手段の位置および姿勢データ）を付帯情報として有する画像を記憶手段１２から呼び出して（Ｓ８）、ディスプレイに適合した表示用データに加工する（Ｓ５）。
【００７１】
例えば、一方のカメラからの２Ｄ画像を表示してもよいし、左右カメラからの画像を合成してパノラマ表示したり、或は左右カメラの画像をヘッドマウンテッドディスプレイ（複眼ディスプレイ）に視差付き立体表示を行ってもよい。また任意視点位置からの物体画像をほぼ同じ大きさでスムーズに再生するためには物体と撮像手段との距離をなるべく一定に保って撮像、記録することが望ましい。そこで撮像手段としては焦点距離調整手段を搭載せず、特に複眼カメラの場合は基線長、輻輳角とも固定することが望ましい。但し、合焦判定用の光学的測距手段を搭載して非合焦状態では撮像動作およびパラメータ抽出は行わないように系を制御する、などの処理が必要となる。
【００７２】
本実施例５では以上のような撮像手段の位置、姿勢を画像のみから安定的かつ高精度に抽出するので、物体をいろいろな角度から撮像し、ユーザの指定する任意視点位置からの物体画像を再生するための簡便な撮像記録再生手段として用いることができる。
【００７３】
（実施例６）
図１４は本実施例６の構成図である。図１４中の投光手段６０は所定角度から構造パターンを無地の平面とその上におかれた物体３に投影する。投影されるパターンの例としては平面上では図２，図３に示すような所定の分布密度で配列するドット、格子または二次元的特徴パターン要素の配列でよい。物体上では投影パターンは物体の形状を反映するような分布密度または分布形状となる。従って、各撮像位置で撮像して得られる画像から平面上の規則的な構造パターンを使って撮像パラメータを抽出し、物体面上の投影パターンのみから既存の手法（「三次元画像計測」井口、佐藤 著；昭晃堂１９９０）によりおおまかな三次元形状を算出することが出来る。更に複眼カメラを撮像手段として用い、投影パターンを含む左右画像の対応点（視差）抽出（いわゆるステレオ画像計測）を行って細密かつ高精度な三次元形状データを得ることができる。
【００７４】
本実施例では特に、投影パターンを使った大まかな形状データを初期形状データとしてステレオ画像計測の際に用いることにより表面が無地の物体に対しても安定して形状データを抽出することが可能となる。例えば初期形状データから特徴点以外の点の形状データを補間処理により生成し、それを用いてステレオ画像計測の際の対応点探索範囲や視差値の上限または下限を設定することにより高速に三次元形状データを抽出することができる。
【００７５】
尚、一つの投光手段では撮像位置によってパターンが投影されないことが起こる場合には複数の投光手段を物体の周囲に設置し、撮像位置に応じて投光手段を切り替えてもよい。また物体３を載せる台としては表面が平面状である必要はなく既知の形状であればよい。但し表面はなるべく無地であることが望ましい。
【００７６】
（実施例７）
本実施例７では、物体３の形状が部分的に予め既知である場合、そこに所定のシート上に形成された既知パターンを貼りつけ、既知部分と未知形状部分とを同じ視野に収めて撮像し、観測された特徴点から撮像パラメータの抽出を行う。更に未知の三次元形状部分を撮像パラメータに基づいて実施例１と同様にして抽出する。
【００７７】
撮像位置を変えて部分形状を得る場合は、既に撮像した位置での画像中に存在する形状データ既知部分にパターンを貼りつけて同様の処理を繰り返す。本実施例の場合は物体３が滑らかな面、即ち平面または曲率の小さい曲面からなることが望ましい。
【００７８】
本実施例７によれば、サイズの比較的大きな物体でも三次元形状抽出を簡便に行うことができる。
【００７９】
（実施例８）
本実施例８において不図示の複眼撮像手段は複眼の一方と他方とで異なる固定焦点距離を有し、主制御部１０は一方が既知パターン画像の取得に他方は未知形状物体画像の取得に用いるように制御した。
【００８０】
他の構成は実施例１と同じであるが、このようにすることにより未知形状物体と既知パターンとを同じ視野に収めて撮像した場合に片方がぼやけて写ることによって生じる撮像パラメータまたは三次元形状データの誤差を抑制することが出来た。尚、本実施例の場合、撮像パラメータ抽出処理は実施例２と同様になる。
【００８１】
【発明の効果】
以上説明したように、本発明によれば、既知のパターンおよび被写体を含む複数視点位置からの画像に基づき画像の撮像パラメータを抽出することにより、被写体撮像時に撮像手段の位置、姿勢を含む撮像パラメータを記録せずに、画像から直接必要なパラメータを高精度に計測可能となる。
また視点位置、物体の種類、照明条件などにより撮像パラメータを変化させても入力された画像からパラメータ推定、特に撮像手段の姿勢、位置の推定を高精度に行うことができ、簡便かつ高精度な全立体情報抽出が可能となる。
【００９４】
【図面の簡単な説明】
【図１】 （ａ）は実施例１の構成図、（ｂ）は撮像手段の構成図である。
【図２】 実施例で用いる既知パターンの例を示す説明図である。
【図３】 実施例で用いる既知パターンの例を示す説明図である。
【図４】 実施例の全体処理のフロー図である。
【図５】 撮像パラメータ抽出処理のフロー図である。
【図６】 画像データと対応する撮像パラメータの記録フォーマット例を示す説明図である。
【図７】 画像データと対応する撮像パラメータの記録フォーマット例を示す説明図である。
【図８】 三次元形状データ抽出処理フロー図である。
【図９】 部分形状データ統合処理フロー図である。
【図１０】 実施例２の撮像パラメータ抽出処理フロー図である。
【図１１】 実施例３で用いた既知形状の既知パターン付き撮像パラメータ抽出用物体の例を示す説明図である。
【図１２】 実施例４において（半）透明な既知パターンを用いる場合のパターンと撮像手段の配置図である。
【図１３】 実施例５で既知パターンを用いて撮像手段の位置、姿勢を抽出し、画像再生に用いる場合の全体処理フロー図である。
【図１４】 実施例６で補助投光手段を用いた場合のシステム部分構成図で有る。
【図１５】 カメラ座標系の説明図である。
【符号の説明】
１ 撮像手段
２ 既知のパターンを有する平面状物体
３ 平面状物体２の上に置かれた三次元形状を測定すべき物体
４ 画像処理手段
５ 撮像手段からの画像のモニタ
６ 光軸方向調整手段
７ 基線長調整手段
８ 光電変換手段
９ 焦点距離調整手段
１０ 撮像手段の主制御部
１１ 画像記憶部
１２ データ記憶手段
【発明の属する技術分野】
本発明は、複数視点からの画像を用いて簡便かつ高精度に被写体撮像時の撮像パラメータ、例えばカメラの姿勢、位置、基線長、輻輳角、焦点距離収差情報などを抽出する画像計測方法、および撮像パラメータに基づいて物体の三次元形状を計測かつ表示する画像計測装置の技術分野に属するものである。
【０００２】
【従来の技術】
従来、画像から物体の三次元形状データを計測する方法として複眼カメラによるステレオ計測法、例えば尾上他編、「画像処理ハンドブック」昭晃堂、１９８７年発行が知られており、これに基づく物体の全形状データの相対位置（平行移動量、回転移動量）抽出および統合方法が特開平５−３０３６２９号公報、特開平６−２０８６１０号公報、電子情報通信学会論文誌Ｄ−II（Ｖｏｌ．Ｊ７５−Ｄ−II，ｐｐ．７３７−７４８，１９９２）などに開示されている。
【０００３】
これらは物体の画像のみを用いて複数の部分形状データ間の相対位置を算出するもので、順次部分形状データを接続することにより物体とカメラとの相対位置を直接計測せずに全三次元形状を求めようとするものである。またカメラにその姿勢検出用センサを搭載し、姿勢データと画像データとを併用する方法が特開平６−２４１７３１号公報に開示されている。また、撮像手段の三次元位置、姿勢を画像計測により較正する方法が特開平６−２５９５３６号公報に開示されている。
【０００４】
【発明が解決しようとする課題】
しかしながら上記従来例のうち、特開平５−３０３６２９号公報、特開平６−２０８６１０号公報、電子情報通信学会論文誌Ｄ−II（Ｖｏｌ．Ｊ７５−Ｄ−II，ｐｐ．７３７−７４８，１９９２）はカメラの位置および部分形状間の相対位置を物体の形状、物体面上の模様などによらず常に正確に求めることは困難であり、形状データ統合の際の誤差が蓄積する、演算量が大きい、などの問題点がある。
【０００５】
また特開平６−２４１７３１号公報ではカメラの姿勢以外は画像データに基づいているため同様の問題点があり、いずれの例もカメラの基線長、輻輳角、焦点距離、および歪みなどの収差情報を予め高精度に較正しておく必要があった。従ってカメラの位置、姿勢を変えながら被写体を撮像する際にこれらカメラ固有のパラメータを調整することができないという問題がある。
【０００６】
また特開平６−２５９５３６号公報では一つの視点位置での画像を用いるために精度、計算の安定性などに欠けるという点、或は撮像手段の焦点距離を抽出しないために三次元形状計測に適用する際、前記従来例と同様の問題点がある。
【０００７】
本発明は、上記従来例の問題点を解消するためになされたもので、被写体画像の入力により容易に高精度な撮像パラメータの抽出、画像計測ができる画像計測方法及び画像計測装置の提供を目的とするものである。
【０００８】
【課題を解決するための手段】
このため、本発明に係る画像計測方法は、被写体を当該被写体と識別可能な既知のパターンとともに複数の視点位置から撮像する撮像工程と、
前記撮像工程において撮像された複数の画像それぞれについて、前記既知のパターンの画像中の複数の特徴点を用いて撮像時における撮像手段の位置、姿勢、焦点距離に関する撮像パラメータを検出する検出工程と、
前記検出工程において検出された前記撮像パラメータを記録するヘッダ部と、当該撮像パラメータで撮像した画像データを記録するための後続の画像データ領域とからなる所定のフォーマットで記録する記録工程とからなることを特徴とする。
【０００９】
また本発明に係る画像計測装置は、被写体を当該被写体と識別可能な既知のパターンとともに複数の視点位置から撮像された複数の画像を入力する入力手段と、
前記入力手段によって入力された複数の画像それぞれについて、前記既知のパターンの画像中の複数の特徴点を用いて撮像時における撮像手段の位置、姿勢、焦点距離に関する撮像パラメータを検出する検出手段と、
前記複数の画像と前記検出手段によって検出された撮像パラメータを用いて前記被写体の三次元形状情報を抽出する三次元形状情報抽出手段と、
前記検出手段によって検出された前記撮像パラメータを記録するヘッダ部と、前記三次元形状情報抽出手段によって抽出された前記被写体の三次元形状情報を記録するための後続の画像データ領域とからなる所定のフォーマットで記録する記録手段と、
からなることを特徴とする。
【００２２】
【発明の実施の形態】
上記目的を達成するため、本出願に係る第１の発明は、既知のパターンおよび被写体を含む複数視点位置からの画像に基づき画像の撮像パラメータを抽出することを特徴とする。これにより被写体撮像時に撮像手段の位置、姿勢を含む撮像パラメータを記録せずに、画像から直接必要なパラメータを高精度に計測可能とするものである。
【００２３】
本出願に係る第２の発明の画像計測方法は、位置関係が互いに既知のパターンを第一被写体、所定の物体を第二被写体として二つの被写体の複数視点位置からの画像に基づき撮像パラメータを抽出することを特徴とする。これにより第一被写体と第二被写体、撮像手段との位置関係、および撮像時の撮像パラメータを画像のみから高精度に計測可能とするものである。
【００２４】
本出願に係る第３の発明の画像計測方法は、既知のパターンは形状が少なくとも部分的に既知な被写体上に存在することを特徴とする。これにより常に既知パターンを有する被写体を別途用意しなくても撮像パラメータを高精度に計測可能とするものである。
【００２５】
本出願に係る第４の発明の画像計測装置は、位置関係が互いに既知の特徴を有する第一被写体、少なくとも部分的に三次元形状が未知の第二被写体とを複数視点位置において未知被写体画像の入力手段、被写体画像に対応する撮像パラメータを抽出する撮像パラメータ抽出手段及び第二被写体の三次元形状情報抽出手段、三次元形状情報の記録手段、画像表示手段からなることを特徴とする。これより視点位置、或は物体の種類、照明条件などにより撮像パラメータを変化させても入力された画像からパラメータ推定、特に撮像手段の姿勢、位置の推定を高精度に行うことができ、簡便かつ高精度な立体情報抽出が可能となる。
【００２６】
本出願に係る第５の発明の画像計測装置は、入力手段が撮像手段と該撮像手段からの画像の記憶手段とからなることを特徴とする。これにより既知パターンを含む複数視点位置からの被写体画像を予め撮っておくだけで撮像パラメータの抽出、三次元形状情報の抽出を後処理として行うことが可能となる。
【００２７】
本出願に係る第６の発明の画像計測装置は、三次元形状抽出手段が第一被写体上の所定の点を原点とする基準座標系設定手段および基準座標系における第二被写体の三次元形状抽出手段からなることを特徴とする。これにより同一被写体を異なる角度から複数回撮像して得られる複数の部分形状を高精度に統合することが可能となる。
【００２８】
本出願に係る第７の発明の画像計測方法は、撮像パラメータが撮像手段の位置、姿勢、焦点距離、収差情報の少なくとも一つを含むことを特徴とする。これにより高精度な三次元形状情報の抽出と任意の仕手に地からの物体画像生成を簡便に行うことができる。
【００２９】
本出願に係る第８の発明の画像計測装置は、撮像手段が複数の光路手段と少なくとも一つの結像手段および光電変換手段からなることを特徴とする。これにより三次元形状データの抽出用の画像入力の撮像条件を安定に制御することができる。
【００３０】
本出願に係る第９の発明の画像計測装置は、撮像手段が基線長調整手段、または輻輳角調整手段、または焦点距離調整手段の少なくとも一つを有する複眼カメラであることを特徴とする。これにより最適な撮像条件で既知パターンと被写体とを撮像して、異なる視点位置で得られる三次元形状を高精度に統合することが可能となる。
【００３１】
本出願に係る第１０の発明の画像計測装置は、位置関係が互いに既知の特徴を有する第一被写体、所定の第二被写体とを複数視点位置において見た被写体画像の入力手段、該被写体画像に対応する撮像パラメータを抽出する撮像パラメータ抽出手段、第二被写体の二次元的画像記録手段、該第二被写体の二次元的画像に対応する撮像パラメータの記録手段、および画像表示手段からなることを特徴とする。これにより任意視点位置から見た物体画像の簡便かつスムーズな再生または合成を入力画像データのみを用いて行うことが可能となる。
【００３２】
本出願に係る第１１の発明の画像計測方法は、既知パターンが互いに異なる二次元的特徴を有する複数のパターンからなることを特徴とする。これにより画像から容易に特徴点の位置を求めることができ、安定的かつ高精度な撮像パラメータおよび三次元形状抽出処理が可能となる。
【００３３】
本出願に係る第１２の発明の画像計測装置の撮像手段は、複眼の一方と他方とで異なる固定焦点距離を有し、一方が前記第一被写体画像の取得に他方は前記第二被写体画像の取得に用いることを特徴とする。これより未知形状物体と既知パターンとを同じ視野に収めて撮像した場合に片方がぼやけて写ることによって生じる撮像パラメータまたは三次元形状データの誤差を抑制することができた。
【００３４】
本出願に係る第１３の発明の画像計測装置は、第一被写体上に発光素子を配列してなることを特徴とする。これより、撮像パラメータおよび、三次元形状データの抽出を更に高精度に行うことができた。
【００３５】
【実施例】
以下、図面を参照して本発明の実施例を説明する。
【００３６】
（実施例１）
図１は本実施例の基本構成図であり、１は複眼カメラである撮像手段、２は既知のパターンを有する平面状物体、３は平面状物体２の上に置かれた三次元形状を測定すべて物体、４は画像処理手段、５は複眼カメラ１からの画像のモニタ、１２は形状データ記憶手段である。
【００３７】
撮像手段１は図１（ｂ）に示すように、基本的に左カメラ１L と右カメラ１R 、および１L と１R の光軸方向調整手段６、基線長（例えば１L と１R の結像系の主点位置間距離）調整手段７、光電変換手段８L ，８R 、焦点距離調整手段９L ，９R 、主制御部１０、およびＡ／Ｄ変換機能を備えた画像記憶部１１を有する。撮像手段としては手ぶれによる画像の流れ、ボケなどを補正し、画像を安定化するための手ぶれ補正機構（不図示）を搭載してもよい。
【００３８】
測定者は複眼カメラ１を手に持って平面状物体２および三次元形状物体３の写った画像をモニタ５で確認しながら複数の位置で物体３を撮像する。なお、画像処理手段４は撮像手段１に内蔵しても良い。
【００３９】
図２（ａ），（ｂ）および図３（ｃ），（ｄ）は本実施例で用いる平面状物体２上のパターン例を示す。図２（ａ）のパターンでは特徴点Ｐ1 ，Ｐ2 ，Ｐ3 ，……は互いに異なる色相を有する色付きドットパターンで、所定の分布密度で複数の同心円状に配列されている。このタイプの変形例としては中心が共通の長軸サイズ、短軸サイズの異なる楕円状にドットを配列しても良い。また同図では半径方向にドットのサイズが異なり、同一半径上では同じ輝度を有するが（色相は異なるものとする）、これに限らずサイズ、輝度、色相などの定め方は任意であり、互いにこれら属性が異なればよい。図２（ｂ）では（ａ）と同様の色付きドットパターンは重心が共通でサイズの異なる矩形上に所定の分布密度で配列する。このタイプの変形例として重心が共通でサイズの異なる多角形上に配列してもよい。
【００４０】
図３（ｃ）では所定のピッチと交差角度を有する格子パターンで、それぞれのラインは輝度、色相、彩度の少なくとも一つが互いに異なる。同図では交差点が特徴点となる。図３（ｄ）では互いに異なる色相を有するＸ字型クロスパターンを所定の分布密度で図３（ｃ）と同様な格子上に配列したものである。その他、互いに異なる二次元的パターン要素（例えば向き、交差角の異なるＬ字型コーナ要素、あるいは文字など）を所定の分布密度で格子または矩形、同心円などの上に配列してもよい。また、以上のパターンは発光素子を配列して構成しても良い。
【００４１】
このように既知パターンとしては互いに位置関係（相対座標）が既知であり、かつ互いに画像上で識別が容易であるように異なる色を有する、或は異なる二次元的パターン要素を含むものが特に望ましい。基準直交座標系としては、例えば複眼カメラ１を用いて物体２，３を含む最初の画像を撮像した時に観測される隣接する特徴点を二つ選び、その二つの特徴点の一方を原点に原点から他方の特徴点へ伸びる直線をＸ軸とし、Ｙ軸は平面状物体面内に、Ｚ軸はＸ，Ｙ軸に直交し、右手系となるように設定するものとし、特徴点Ｐ1 ，Ｐ2 ，……の位置を（Ｘ1 ，Ｙ1 ，０），（Ｘ2 ，Ｙ2 ，０），……で表すものとする。
【００４２】
【数１】
【数２】
上式による表記の特徴は未知パラメータの推定を一旦、線形問題として記述したことにより演算量が低減化される点にある。本実施例では式（４），（５）に基づき一つの撮像位置において得られる多数の特徴点データを与えて最小二乗法、或はカルマンフィルタなどにより撮像パラメータ（カメラ位置、姿勢、基線長、輻輳角、焦点距離など）の推定を行う。以下、αL ，βL ，γL とα0 ，β0 ，γ0 を用いて撮像パラメータを推定することを左カメラ基準撮像パラメータの抽出という。尚、本発明においては撮像パラメータの抽出処理は上述した方法に限定するものではない。
【００４５】
図４は主たる画像計測動作の処理フローを示す。以下、各処理の概要を説明する。
【００４６】
撮像系の収差情報計測処理（Ｓ１）はレンズの歪曲収差を計測するもので本発明では既知の位置関係を有する特徴パターン２を用いて既存の画像処理による方法( 例えばIEEEJournal of Robotics and Automation, vol. RA-3,pp. 323-344,1987、或はIEEE Proceedings of International Conference on Pattern Recognition, 1990,pp.246-253)を用いて測定する（この時、左右カメラの焦点距離も合わせて計測してもよい）。この段階では必ずしも物体３と既知パターン２とを同じ視野に収めて撮像する必要はない。
【００４７】
図５は撮像パラメータ計測処理（図４のＳ２）のフローを示す。ここでは既知パターン２と物体３とを撮像し、式（４），（５）に基づき最小二乗法、或はカルマンフィルタなどを用いて撮像パラメータ（カメラ位置、姿勢、基線長、輻輳角、焦点位置など）の推定を行う。尚、測定者は被写体画像をモニタ５で確認しながら適切な視野を保って（例えば所定基線長、輻輳角で両被写体を同時に同じ視野範囲に収めるなど）撮像すれば、確実な撮像パラメータ抽出が可能となる。
【００４８】
先ず、初期設定処理（Ｓ２−０）として各カメラ１L ，１R に搭載された合焦判定用の光学的測距手段からの合焦状態信号、或はその他の大まかな被写体距離情報に基づいて基線長、輻輳角の制御、またはズーミングを行って撮像し、静止画または動画として記憶手段１１に記録する。
【００４９】
次に、画像中から既知パターン画像領域と被写体画像領域の識別処理（Ｓ２−１）を行う。本実施例では説明のために既知パターン例として図２（ａ）に示すように平板の上に所定の分布密度で存在し、複数の同心円状に並んだ色付きドット（互いに異なる色相を有する）パターンを使うものとする。（Ｓ２−１）はこの平板上に置かれた物体３の画像から色付きドットパターン領域を切り出すためものである。ここでは既知パターンの下地の色または輝度が物体３の平均的な色または輝度と異なるものとし、色または輝度レベルに基づいて領域成長法などを用いて切り出し処理を行う。尚、切り出し処理としては特にこの方式に限定しないが、既知パターンの配列の特性、各々のパターン要素（ここではドット）の構造的特徴、平均的色相、平均的輝度のうち、物体３の属性と異なるものを活用して行うことは云うまでもない。また切り出し処理の前にこれら属性を測定した結果に基づき、最適な属性を選び出す処理を行ってもよい。
【００５０】
処理ステップ（Ｓ２−２）は既知パターン領域から基準点をとり、それを原点として撮像パラメータ、および部分的三次元形状抽出のための基準座標系を予め定めた方法に従って設定する。例えばｉ番目の撮像位置での座標系（Ｘi ，Ｙi ，Ｚi ）は原点を通り、同心円の中心方向にＹi 軸、平面内でそれと直交する方向にＸi 軸を、更にＸi ，Ｙi 軸と直交しかつ右手系となるようにＺi 軸を設定すればよい。次に左、右カメラの画像中の既知パターン画像領域の複数の特徴点を使って撮像パラメータを抽出する。その際、基線長調整手段、輻輳角調整手段、焦点距離調整手段からの計測データをそれぞれを推定する際の初期値として用いてもよい。また固定されたパラメータに対してはそれを固定データとして他の撮像パラメータ（特に撮像手段の位置、姿勢）推定に用いてもよい。
【００５１】
更に本実施例では左カメラ画像基準の撮像パラメータ推定を行った後、それらを初期値として右カメラ画像基準の撮像パラメータの推定、或は推定値のバラツキが閾値以下となるまでの反復を行う。これは高精度化と推定値検証のための処理であり、順序は問わない。また（Ｓ２−１）を安定的かつ確実に行うために、既知パターン領域は物体３上の面と異なる特徴（例えば色相、反射率、空間周波数などが異なること）を有することが望ましい。
【００５２】
撮像パラメータ記録処理（Ｓ２−４）は被写体画像データに対応する撮像パラメータを所定記憶手段１２の不図示の記録媒体、例えば（光）磁気ディスク、テープなどに画像データとともにそれらの対応付けが明らかな所定のフォーマットで記録する。
【００５３】
図６，図７は本実施例の記録フォーマットの例を示す。図６はヘッダ部において後続する画像データの撮像パラメータ、および対応する画像データのアドレスが一括して書き込まれ、データ部では一つの撮像パラメータに対応する左右画像データが順次書き込まれる。図７は個々の画像データの直前に撮像パラメータと必要があれば画像データ量が記録されたヘッダ部が存在する。尚、画像データは適切な方法で圧縮してもよい。またヘッダ部は撮像パラメータ以外の付帯情報、例えば日時、測定場所、測定者の名前、被写体の種類などを記録してもよい。尚、図４に示す処理ステップ（Ｓ１）と（Ｓ２）の順序を逆にしたり、或は反復しても本実施例の効果は損なわれるものではない。
【００５４】
図８は三次元形状計測処理（図４のＳ３）のフローを示す。（Ｓ３−０）は記憶手段１１からの画像データおよび付帯情報（撮像パラメータを含む）の読み出し処理である。次に、（Ｓ２）と同じ撮像条件での複眼カメラ１からの物体３の左右画像の対応点間視差抽出処理（Ｓ３−１）、および（Ｓ２）で得られた撮像パラメータに基づく各点の距離情報（例えばカメラ座標系のＺ軸座標値）抽出処理（Ｓ３−２）を行う。尚、（Ｓ３−１）、（Ｓ３−２）は既存の方法を用いてよいが、本実施例では（Ｓ３−１）において対応点の信頼度も求めておく。
【００５５】
信頼度の例としては、（Ｓ３−１）でブロック分割を行って左右画像ブロック間の相関値ベースで対応点抽出を行う場合、対応する画素を中心としたブロック間の相関値を信頼度としたり、或は視差連続性の仮定に基づいて定義され、視差の不連続度が高いほど値の低くなるように設定された所定の関数値を信頼度としてもよい。更には所定の方法で検出される遮蔽エッジからの距離に応じて定まる所定の関数値（遮蔽エッジに近いほど値が小さい）を用いてもよい。尚、このような信頼度の設定は遮蔽エッジ付近では一般的に対応点が存在しないことに基づいている。また信頼度としては、これらに限らず複数の信頼度パラメータの複合関数でもよい。
【００５６】
本実施例では各撮像位置で得られる画像中の既知パターン２から所定の方法（例えば左右画像の重複領域の中心付近の特徴点など）で基準点を抽出し、その基準点を原点とする直交座標系（図２，図３の説明で用いた基準座標系と同様な設定法でよい）において物体３の部分的三次元形状を得る。更に部分形状データ、および対応する撮像パラメータを前述したようなフォーマットで所定の記憶手段（媒体）に記録する（Ｓ３−３）。但し、本発明では記憶手段（媒体）の種類は特に限定しない。
【００５７】
図９は三次元形状統合処理（図４のＳ４）のフローを示す。三次元形状統合処理（Ｓ４）は異なる撮像位置で得られた物体３の複数の部分的三次元形状データを（Ｓ３）で設定した各基準点を介して高精度に繋ぎあわせて統合するものである。各基準点の絶対座標系（初めに設定された基準座標系とする）上の位置および各軸の方向は既知であるから絶対座標系で三次元形状データを統合する際、先ずそれぞれのデータに対して次のような座標変換処理（Ｓ４−１）を行う。
【００５８】
Ｐ＝ＲL(i)-1（Ｃi −ＴL(i)） （６）
上記Ｃi 、ＲL(i)、ＴL(i)はｉ番目の撮像位置でのパラメータを示し、それぞれ画像に対応する左カメラ座標系での形状でデータ各点の三次元位置（ベクトル）、各座標軸の絶対座標系に対する回転行列、原点の位置（ベクトル）を表す（右カメラ座標系に対しても同様に求められるがいずれか一方を用いればよい）。更に形状誤差補正処理（Ｓ４−２）として、統合時に部分形状データ間で重なり合う領域間の三次元データのいずれか一方を（Ｓ３）で求めた信頼度に基づいて選択する。例えば（Ｘ，Ｙ，Ｚ）座標値を所定の量子化サイズで量子化して得られる格子点座標が一致すれば互いに重なりあうと見做して（Ｓ４−２）を適用し、量子化される前の座標値のいずれか一方をとればよい。尚、重なり判定法はこれに限定されるものではないことはいうまでもない。また、いずれの信頼度も一定基準を満たしている場合はどちらを用いてもよいが、基本的には値の高い方を選ぶものとする。以上のようにして統合された形状データはデータ記憶手段１２に記録される。
【００５９】
形状データ表示処理（図４のＳ５）は形状データ記憶手段１２から三次元形状データを読み出し、ワイアフレームなどの手法でモニタ５に表示するための表示用データを生成する処理である。他の表示方法としては、左右カメラからの画像を合成してパノラマ表示したり、或は左右カメラの画像をヘッドマウンテッドディスプレイ（複眼ディスプレイ）に視差付きで立体表示してもよい。
【００６０】
本実施例では平面上基板の上に物体３を置いただけでは物体３の底面を含むその近傍の三次元形状を抽出できないので、測定可能な範囲で（Ｓ３）までの処理をひととおり行った後、例えば物体３の上下を逆にして既知パターン上に置いて（Ｓ* ）から同様に（Ｓ３）までの処理を行ってもよい。この場合には（Ｓ４）までの統合済み形状データ間を最終的に統合する際、互いに重なりがあるようにしておくことが特に望ましい。複数の統合済み形状データを最終的に全三次元データとして統合する方法の一例としては、先ず一つの統合済形状データを基準に他の形状データに対して絶対座標系において種々のパラメータ値を用いて上記座標変換処理（Ｓ４−１）を行った後、重なる度の判定処理を行い、最も重なり度の高い座標変換を採用して重なり部分の一方を選択すればよい。他の方法としては予め重なり領域において特徴点を抽出しておき、特徴点どうしが整合するような形状データどうしの位置合わせを実現する上記座標変換（Ｓ４−１）パラメータを求めてもよい。
【００６１】
（実施例２）
図１０は実施例２の撮像パラメータ抽出処理のフロー図である。各ステップは前記実施例１の図５と対応している。
【００６２】
本実施例では撮像手段が単眼のカメラである以外は実施例１と同じ構成である。ここでは互いに画像上で既知パターンおよび物体が重複して存在するようなｉ番目とｉ＋１番目（またはｉ＋ｋ番目；ｋ≠１）の撮像位置における画像を使って撮像パラメータの抽出処理、およびそれに基づく物体の三次元形状抽出処理を行う。本実施例では、複数の特徴点データを与えてパラメータを
【００６３】
【数３】
（実施例３）
図１１は本実施例３で使用する非平面の既知形状物体、およびその表面にある互いに識別可能で位置関係が既知の特徴パターンの例を示す説明図である。
【００６５】
図１１の（ａ）は円錐台上に既知の特徴パターンが形成されている場合を、（ｂ）はお椀型物体の内面に既知パターンがある場合を示す。本実施例のように非平面上に既知パターンを配列することにより、未知形状物体の設置の仕方を変えずに撮像パラメータ抽出可能な撮像位置、姿勢の範囲を拡張することができる。また撮像パラメータ抽出処理（図４のＳ２）の際の縮退解の回避等が可能であり、安定性、精度向上が実現される。
【００６６】
（実施例４）
図１２は本実施例４で使用する既知パターンで、（半）透明基板上に位置関係が既知の特徴パターンが形成されている。形状が未知の物体３を載せた状態で裏面からも撮像可能であることが特徴である。本実施例のように（半）透明基板上の特徴パターンを用いることにより実施例３より更に広範囲での撮像位置が設定可能となる。
【００６７】
本実施例では既知パターンは物体３と接する面に存在しないことが望ましい。また基板の表面と裏面とで（分光）反射特性が異なるか、或は既知パターンの属性が異なるようにしておくことが望ましい。
【００６８】
このようにして上述した実施例ではカバーできない物体３の底面付近の形状、或は下側からでないと撮像不可能な部分形状データを撮像手段の位置、姿勢データと共に得ることができる。従って前述した実施例のような物体３の姿勢変更と複数統合データの位置合わせなどの処理が不要となり、より少ない演算ステップ数で物体の全形状を得ることができる。
【００６９】
（実施例５）
図１３に本実施例５の主な処理フローを示す。本実施例では既知パターンは主に撮像手段の位置、姿勢パラメータの抽出に用いる以外は撮像パラメータ抽出処理（図４のＳ２）は実施例１と同様に行うが、三次元形状の抽出と統合は行わず、撮像手段の位置、姿勢と対応する２Ｄ画像を記憶手段１２に記録する（Ｓ６）。
【００７０】
その際、既知パターンと物体画像との分離、切り出し処理を行って物体画像のみを所定記録媒体に視点位置とともに記録してもよい。再生時はユーザが指定した視点位置と撮像位置、姿勢の比較処理（Ｓ７）を行い、両者が一致するか、または最も近い撮像パラメータ（ここでは撮像手段の位置および姿勢データ）を付帯情報として有する画像を記憶手段１２から呼び出して（Ｓ８）、ディスプレイに適合した表示用データに加工する（Ｓ５）。
【００７１】
例えば、一方のカメラからの２Ｄ画像を表示してもよいし、左右カメラからの画像を合成してパノラマ表示したり、或は左右カメラの画像をヘッドマウンテッドディスプレイ（複眼ディスプレイ）に視差付き立体表示を行ってもよい。また任意視点位置からの物体画像をほぼ同じ大きさでスムーズに再生するためには物体と撮像手段との距離をなるべく一定に保って撮像、記録することが望ましい。そこで撮像手段としては焦点距離調整手段を搭載せず、特に複眼カメラの場合は基線長、輻輳角とも固定することが望ましい。但し、合焦判定用の光学的測距手段を搭載して非合焦状態では撮像動作およびパラメータ抽出は行わないように系を制御する、などの処理が必要となる。
【００７２】
本実施例５では以上のような撮像手段の位置、姿勢を画像のみから安定的かつ高精度に抽出するので、物体をいろいろな角度から撮像し、ユーザの指定する任意視点位置からの物体画像を再生するための簡便な撮像記録再生手段として用いることができる。
【００７３】
（実施例６）
図１４は本実施例６の構成図である。図１４中の投光手段６０は所定角度から構造パターンを無地の平面とその上におかれた物体３に投影する。投影されるパターンの例としては平面上では図２，図３に示すような所定の分布密度で配列するドット、格子または二次元的特徴パターン要素の配列でよい。物体上では投影パターンは物体の形状を反映するような分布密度または分布形状となる。従って、各撮像位置で撮像して得られる画像から平面上の規則的な構造パターンを使って撮像パラメータを抽出し、物体面上の投影パターンのみから既存の手法（「三次元画像計測」井口、佐藤 著；昭晃堂１９９０）によりおおまかな三次元形状を算出することが出来る。更に複眼カメラを撮像手段として用い、投影パターンを含む左右画像の対応点（視差）抽出（いわゆるステレオ画像計測）を行って細密かつ高精度な三次元形状データを得ることができる。
【００７４】
本実施例では特に、投影パターンを使った大まかな形状データを初期形状データとしてステレオ画像計測の際に用いることにより表面が無地の物体に対しても安定して形状データを抽出することが可能となる。例えば初期形状データから特徴点以外の点の形状データを補間処理により生成し、それを用いてステレオ画像計測の際の対応点探索範囲や視差値の上限または下限を設定することにより高速に三次元形状データを抽出することができる。
【００７５】
尚、一つの投光手段では撮像位置によってパターンが投影されないことが起こる場合には複数の投光手段を物体の周囲に設置し、撮像位置に応じて投光手段を切り替えてもよい。また物体３を載せる台としては表面が平面状である必要はなく既知の形状であればよい。但し表面はなるべく無地であることが望ましい。
【００７６】
（実施例７）
本実施例７では、物体３の形状が部分的に予め既知である場合、そこに所定のシート上に形成された既知パターンを貼りつけ、既知部分と未知形状部分とを同じ視野に収めて撮像し、観測された特徴点から撮像パラメータの抽出を行う。更に未知の三次元形状部分を撮像パラメータに基づいて実施例１と同様にして抽出する。
【００７７】
撮像位置を変えて部分形状を得る場合は、既に撮像した位置での画像中に存在する形状データ既知部分にパターンを貼りつけて同様の処理を繰り返す。本実施例の場合は物体３が滑らかな面、即ち平面または曲率の小さい曲面からなることが望ましい。
【００７８】
本実施例７によれば、サイズの比較的大きな物体でも三次元形状抽出を簡便に行うことができる。
【００７９】
（実施例８）
本実施例８において不図示の複眼撮像手段は複眼の一方と他方とで異なる固定焦点距離を有し、主制御部１０は一方が既知パターン画像の取得に他方は未知形状物体画像の取得に用いるように制御した。
【００８０】
他の構成は実施例１と同じであるが、このようにすることにより未知形状物体と既知パターンとを同じ視野に収めて撮像した場合に片方がぼやけて写ることによって生じる撮像パラメータまたは三次元形状データの誤差を抑制することが出来た。尚、本実施例の場合、撮像パラメータ抽出処理は実施例２と同様になる。
【００８１】
【発明の効果】
以上説明したように、本発明によれば、既知のパターンおよび被写体を含む複数視点位置からの画像に基づき画像の撮像パラメータを抽出することにより、被写体撮像時に撮像手段の位置、姿勢を含む撮像パラメータを記録せずに、画像から直接必要なパラメータを高精度に計測可能となる。
また視点位置、物体の種類、照明条件などにより撮像パラメータを変化させても入力された画像からパラメータ推定、特に撮像手段の姿勢、位置の推定を高精度に行うことができ、簡便かつ高精度な全立体情報抽出が可能となる。
【００９４】
【図面の簡単な説明】
【図１】 （ａ）は実施例１の構成図、（ｂ）は撮像手段の構成図である。
【図２】 実施例で用いる既知パターンの例を示す説明図である。
【図３】 実施例で用いる既知パターンの例を示す説明図である。
【図４】 実施例の全体処理のフロー図である。
【図５】 撮像パラメータ抽出処理のフロー図である。
【図６】 画像データと対応する撮像パラメータの記録フォーマット例を示す説明図である。
【図７】 画像データと対応する撮像パラメータの記録フォーマット例を示す説明図である。
【図８】 三次元形状データ抽出処理フロー図である。
【図９】 部分形状データ統合処理フロー図である。
【図１０】 実施例２の撮像パラメータ抽出処理フロー図である。
【図１１】 実施例３で用いた既知形状の既知パターン付き撮像パラメータ抽出用物体の例を示す説明図である。
【図１２】 実施例４において（半）透明な既知パターンを用いる場合のパターンと撮像手段の配置図である。
【図１３】 実施例５で既知パターンを用いて撮像手段の位置、姿勢を抽出し、画像再生に用いる場合の全体処理フロー図である。
【図１４】 実施例６で補助投光手段を用いた場合のシステム部分構成図で有る。
【図１５】 カメラ座標系の説明図である。
【符号の説明】
１ 撮像手段
２ 既知のパターンを有する平面状物体
３ 平面状物体２の上に置かれた三次元形状を測定すべき物体
４ 画像処理手段
５ 撮像手段からの画像のモニタ
６ 光軸方向調整手段
７ 基線長調整手段
８ 光電変換手段
９ 焦点距離調整手段
１０ 撮像手段の主制御部
１１ 画像記憶部
１２ データ記憶手段
Claims (9)
- 被写体を当該被写体と識別可能な既知のパターンとともに複数の視点位置から撮像する撮像工程と、
前記撮像工程において撮像された複数の画像それぞれについて、前記既知のパターンの画像中の複数の特徴点を用いて撮像時における撮像手段の位置、姿勢、焦点距離に関する撮像パラメータを検出する検出工程と、
前記検出工程において検出された前記撮像パラメータを記録するヘッダ部と、当該撮像パラメータで撮像した画像データを記録するための後続の画像データ領域とからなる所定のフォーマットで記録する記録工程とからなることを特徴とする画像計測方法。 - 前記既知のパターンは形状が少なくとも部分的に既知な被写体上に存在することを特徴とする請求項１に記載の画像計測方法。
- 前記既知のパターンは互いに異なる特徴を有する複数のパターンからなることを特徴とする請求項１に記載の画像計測方法。
- 被写体を当該被写体と識別可能な既知のパターンとともに複数の視点位置から撮像された複数の画像を入力する入力手段と、
前記入力手段によって入力された複数の画像それぞれについて、前記既知のパターンの画像中の複数の特徴点を用いて撮像時における撮像手段の位置、姿勢、焦点距離に関する撮像パラメータを検出する検出手段と、
前記複数の画像と前記検出手段によって検出された撮像パラメータを用いて前記被写体の三次元形状情報を抽出する三次元形状情報抽出手段と、
前記検出手段によって検出された前記撮像パラメータを記録するヘッダ部と、前記三次元形状情報抽出手段によって抽出された前記被写体の三次元形状情報を記録するための後続の画像データ領域とからなる所定のフォーマットで記録する記録手段と、
からなることを特徴とする画像計測装置。 - 前記入力手段は、被写体を撮像する撮像手段および画像の記憶手段とからなることを特徴とする請求項４に記載の画像計測装置。
- 前記三次元形状情報抽出手段は、前記既知のパターン上の所定の点を原点とする基準座標系を設定する基準座標系設定手段と、該基準座標系における前記被写体の三次元形状情報を抽出する抽出手段とからなることを特徴とする請求項４に記載の画像計測装置。
- 前記撮像手段は、複数の光路手段と少なくとも一つの結像手段及び光電変換手段とからなることを特徴とする請求項４に記載の画像計測装置。
- 前記撮像手段は基線長調整手段、または輻輳角調整手段、または焦点距離調整手段の少なくとも一つを有する複眼カメラであることを特徴とする請求項７に記載の画像計測装置。
- 前記撮像手段は、複数の光路手段の一方と他方とで異なる固定焦点距離を有し、一方が前記既知パターン画像の取得に他方は前記被写体画像の取得に用いることを特徴とする請求項４に記載の画像計測装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP33050595A JP3869876B2 (ja) | 1995-12-19 | 1995-12-19 | 画像計測方法及び画像計測装置 |
| US08/767,018 US6621921B1 (en) | 1995-12-19 | 1996-12-16 | Image processing apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP33050595A JP3869876B2 (ja) | 1995-12-19 | 1995-12-19 | 画像計測方法及び画像計測装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09170914A JPH09170914A (ja) | 1997-06-30 |
| JP3869876B2 true JP3869876B2 (ja) | 2007-01-17 |
Family
ID=18233385
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP33050595A Expired - Fee Related JP3869876B2 (ja) | 1995-12-19 | 1995-12-19 | 画像計測方法及び画像計測装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6621921B1 (ja) |
| JP (1) | JP3869876B2 (ja) |
Families Citing this family (73)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6788411B1 (en) * | 1999-07-08 | 2004-09-07 | Ppt Vision, Inc. | Method and apparatus for adjusting illumination angle |
| GB9927678D0 (en) | 1999-11-23 | 2000-01-19 | Canon Kk | Image processing apparatus |
| JP4501239B2 (ja) * | 2000-07-13 | 2010-07-14 | ソニー株式会社 | カメラ・キャリブレーション装置及び方法、並びに、記憶媒体 |
| JP4193342B2 (ja) * | 2000-08-11 | 2008-12-10 | コニカミノルタホールディングス株式会社 | ３次元データ生成装置 |
| JP3841630B2 (ja) * | 2000-08-29 | 2006-11-01 | オリンパス株式会社 | 画像取り扱い装置 |
| GB0023681D0 (en) | 2000-09-27 | 2000-11-08 | Canon Kk | Image processing apparatus |
| GB2371194B (en) * | 2000-10-06 | 2005-01-26 | Canon Kk | Image processing apparatus |
| GB2370737B (en) | 2000-10-06 | 2005-03-16 | Canon Kk | Image processing apparatus |
| GB2370738B (en) | 2000-10-27 | 2005-02-16 | Canon Kk | Image processing apparatus |
| EP1353294A1 (en) * | 2000-12-15 | 2003-10-15 | Eisaku Katayama | Mage processor, image processing method, recording medium and program |
| JP4504575B2 (ja) * | 2001-01-30 | 2010-07-14 | クラリオン株式会社 | 補正パラメータの算出方法及び算出装置、該補正パラメータを利用した画像補正装置及び画像補正方法、並びに、これらに使用される標準試料 |
| US7423666B2 (en) * | 2001-05-25 | 2008-09-09 | Minolta Co., Ltd. | Image pickup system employing a three-dimensional reference object |
| GB2378337B (en) | 2001-06-11 | 2005-04-13 | Canon Kk | 3D Computer modelling apparatus |
| GB0114157D0 (en) | 2001-06-11 | 2001-08-01 | Canon Kk | 3D Computer modelling apparatus |
| GB0126526D0 (en) | 2001-11-05 | 2002-01-02 | Canon Europa Nv | Three-dimensional computer modelling |
| GB2383245B (en) | 2001-11-05 | 2005-05-18 | Canon Europa Nv | Image processing apparatus |
| DE60236019D1 (de) * | 2001-12-28 | 2010-05-27 | Mariner Acquisition Co Llc | Stereoskopisches dreidimensionales metrologiesystem und -verfahren |
| EP1347418A3 (en) | 2002-02-28 | 2005-11-23 | Canon Europa N.V. | Texture map editing |
| GB0208909D0 (en) | 2002-04-18 | 2002-05-29 | Canon Europa Nv | Three-dimensional computer modelling |
| JP3635539B2 (ja) | 2002-08-29 | 2005-04-06 | オリンパス株式会社 | キャリブレーションパターンユニット |
| GB2398469B (en) * | 2003-02-12 | 2005-10-26 | Canon Europa Nv | Image processing apparatus |
| GB0324179D0 (en) * | 2003-10-15 | 2003-11-19 | Isis Innovation | Device for scanning three-dimensional objects |
| US7429999B2 (en) * | 2004-05-24 | 2008-09-30 | CENTRE DE RECHERCHE INDUSTRIELLE DU QUéBEC | Camera calibrating apparatus and method |
| JP4972281B2 (ja) * | 2004-12-22 | 2012-07-11 | 株式会社ミツトヨ | 非接触画像測定機の測定方法 |
| DE102005018336A1 (de) * | 2005-02-28 | 2006-08-31 | Osram Opto Semiconductors Gmbh | Lichtleiter |
| DE102005043070B4 (de) * | 2005-09-07 | 2017-01-26 | Jenoptik Robot Gmbh | Verfahren zur hochgenauen dreidimensionalen Vermessung und/oder Rekonstruktion von Objekten mit Hilfe digitaler Bildaufnahmen, beispielsweise zur Bildauswertung von Verkehrsstrecken |
| JP2007085937A (ja) * | 2005-09-22 | 2007-04-05 | Toyota Motor Corp | 画像測距装置及び方法 |
| JP4979928B2 (ja) * | 2005-11-28 | 2012-07-18 | 株式会社トプコン | 三次元形状演算装置及び三次元形状演算方法 |
| US11576736B2 (en) | 2007-03-01 | 2023-02-14 | Titan Medical Inc. | Hand controller for robotic surgery system |
| US8792688B2 (en) * | 2007-03-01 | 2014-07-29 | Titan Medical Inc. | Methods, systems and devices for three dimensional input and control methods and systems based thereon |
| CN100491903C (zh) * | 2007-09-05 | 2009-05-27 | 北京航空航天大学 | 一种结构光视觉传感器结构参数标定方法 |
| US20090067706A1 (en) * | 2007-09-12 | 2009-03-12 | Artec Ventures | System and Method for Multiframe Surface Measurement of the Shape of Objects |
| US8218855B2 (en) | 2007-10-04 | 2012-07-10 | Samsung Electronics Co., Ltd. | Method and apparatus for receiving multiview camera parameters for stereoscopic image, and method and apparatus for transmitting multiview camera parameters for stereoscopic image |
| US8878836B2 (en) * | 2008-02-29 | 2014-11-04 | Samsung Electronics Co., Ltd. | Method and apparatus for encoding datastream including additional information on multiview image and method and apparatus for decoding datastream by using the same |
| US8422825B1 (en) * | 2008-11-05 | 2013-04-16 | Hover Inc. | Method and system for geometry extraction, 3D visualization and analysis using arbitrary oblique imagery |
| KR101622690B1 (ko) | 2008-12-18 | 2016-05-19 | 엘지전자 주식회사 | 3차원 영상신호 처리 방법과 이를 구현하기 위한 영상표시 장치 |
| JP5812599B2 (ja) * | 2010-02-25 | 2015-11-17 | キヤノン株式会社 | 情報処理方法及びその装置 |
| US8334985B2 (en) * | 2010-10-08 | 2012-12-18 | Omron Corporation | Shape measuring apparatus and shape measuring method |
| JP5743499B2 (ja) | 2010-11-10 | 2015-07-01 | キヤノン株式会社 | 画像生成装置、画像生成方法、およびプログラム |
| JP5798318B2 (ja) | 2010-12-15 | 2015-10-21 | キヤノン株式会社 | 距離データ生成装置、位置姿勢計測装置、距離データ生成装置の制御方法およびプログラム |
| EP3915511A1 (en) | 2010-12-21 | 2021-12-01 | 3Shape A/S | Motion blur compensation |
| JP2012202694A (ja) * | 2011-03-23 | 2012-10-22 | Canon Inc | カメラ校正方法 |
| JP6162681B2 (ja) * | 2011-03-31 | 2017-07-12 | エーティーエス オートメーション ツーリング システムズ インコーポレイテッドＡｔｓ Ａｕｔｏｍａｔｉｏｎ Ｔｏｏｌｉｎｇ Ｓｙｓｔｅｍｓ Ｉｎｃ． | 光媒体を通じた３次元的な光検知 |
| JP5763965B2 (ja) | 2011-05-11 | 2015-08-12 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
| US8754929B1 (en) * | 2011-05-23 | 2014-06-17 | John Prince | Real time vergence control for 3D video capture and display |
| KR20130080614A (ko) * | 2012-01-05 | 2013-07-15 | 한국전자통신연구원 | 휘도 자동 보정 장치 및 방법 |
| JP5612645B2 (ja) * | 2012-09-06 | 2014-10-22 | 東芝テック株式会社 | 情報処理装置及びプログラム |
| CN103792667B (zh) * | 2012-10-30 | 2016-06-01 | 财团法人工业技术研究院 | 立体摄像装置、自动校正装置与校正方法 |
| US9852512B2 (en) * | 2013-03-13 | 2017-12-26 | Electronic Scripting Products, Inc. | Reduced homography based on structural redundancy of conditioned motion |
| US8970709B2 (en) * | 2013-03-13 | 2015-03-03 | Electronic Scripting Products, Inc. | Reduced homography for recovery of pose parameters of an optical apparatus producing image data with structural uncertainty |
| US9087381B2 (en) * | 2013-11-13 | 2015-07-21 | Thomas Tsao | Method and apparatus for building surface representations of 3D objects from stereo images |
| JP6341650B2 (ja) | 2013-11-20 | 2018-06-13 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
| CN106233227B (zh) * | 2014-03-14 | 2020-04-28 | 索尼互动娱乐股份有限公司 | 具有体积感测的游戏装置 |
| JP6299879B2 (ja) | 2014-03-21 | 2018-04-11 | オムロン株式会社 | 光学システムにおける光学性能劣化の検出および緩和のための方法および装置 |
| JP2015225014A (ja) * | 2014-05-29 | 2015-12-14 | 日本電信電話株式会社 | 位置推定装置、位置推定方法、およびプログラム |
| JP2016061622A (ja) * | 2014-09-17 | 2016-04-25 | 株式会社リコー | 情報処理システム、及び情報処理方法 |
| JP6615486B2 (ja) * | 2015-04-30 | 2019-12-04 | 株式会社東芝 | カメラキャリブレーション装置、方法及びプログラム |
| US11577159B2 (en) | 2016-05-26 | 2023-02-14 | Electronic Scripting Products Inc. | Realistic virtual/augmented/mixed reality viewing and interactions |
| JP2018146546A (ja) | 2017-03-09 | 2018-09-20 | エアロセンス株式会社 | 情報処理システム、情報処理装置および情報処理方法 |
| JP6968645B2 (ja) | 2017-10-02 | 2021-11-17 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
| JP7058585B2 (ja) * | 2017-12-25 | 2022-04-22 | キヤノン株式会社 | 画像処理装置およびその制御方法 |
| WO2019130827A1 (ja) * | 2017-12-25 | 2019-07-04 | キヤノン株式会社 | 画像処理装置およびその制御方法 |
| CN109961503A (zh) * | 2017-12-25 | 2019-07-02 | 国民技术股份有限公司 | 一种图像处理方法及装置、终端及计算机可读存储介质 |
| NZ769366A (en) | 2018-03-30 | 2023-02-24 | Zozo Inc | Size measuring system |
| EP3855394A4 (en) | 2018-09-21 | 2022-06-08 | ZOZO, Inc. | SIZE MEASUREMENT SYSTEM |
| CN109900301B (zh) * | 2019-04-02 | 2022-10-25 | 哈尔滨工程大学 | 一种动态环境下双目立体定位角度补偿方法 |
| DE102019209062A1 (de) * | 2019-06-24 | 2020-12-24 | BSH Hausgeräte GmbH | Trainieren eines Intelligenten Hausgeräts |
| WO2021096843A1 (en) | 2019-11-11 | 2021-05-20 | Hover Inc. | Systems and methods for selective image compositing |
| JP7606371B2 (ja) | 2021-03-11 | 2024-12-25 | キヤノン株式会社 | 画像処理システム及び画像処理方法 |
| JP7653808B2 (ja) | 2021-03-11 | 2025-03-31 | キヤノン株式会社 | 情報処理装置とプログラム及び画像処理方法 |
| JP7650171B2 (ja) | 2021-03-11 | 2025-03-24 | キヤノン株式会社 | 情報処理装置とプログラム及び画像処理方法 |
| JP2023104131A (ja) * | 2022-01-17 | 2023-07-28 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
| US12539015B2 (en) * | 2023-09-05 | 2026-02-03 | Midea Group Co., Ltd. | Dishwasher with personalized utensil detection and scanning aids therefor |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4583117A (en) * | 1984-07-17 | 1986-04-15 | Stereographics Corporation | Stereoscopic video camera |
| US4956705A (en) * | 1989-03-10 | 1990-09-11 | Dimensional Visions Group | Electronic method and apparatus for stereoscopic photography |
| US5394520A (en) * | 1991-09-26 | 1995-02-28 | Hughes Aircraft Company | Imaging apparatus for providing a composite digital representation of a scene within a field of regard |
| JPH06259536A (ja) | 1991-11-27 | 1994-09-16 | Yoshihiko Nomura | 撮像位置、姿勢の三次元補正方法およびロボットの三次元位置補正方法 |
| JP2953154B2 (ja) | 1991-11-29 | 1999-09-27 | 日本電気株式会社 | 形状合成方法 |
| JP2500654B2 (ja) | 1992-11-20 | 1996-05-29 | 日本電気株式会社 | ３次元形状相対位置推定装置 |
| JP2896283B2 (ja) | 1993-01-11 | 1999-05-31 | 株式会社エイ・ティ・アール通信システム研究所 | 複数３次元形状データのデータ間位置ずれ算出装置 |
-
1995
- 1995-12-19 JP JP33050595A patent/JP3869876B2/ja not_active Expired - Fee Related
-
1996
- 1996-12-16 US US08/767,018 patent/US6621921B1/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH09170914A (ja) | 1997-06-30 |
| US6621921B1 (en) | 2003-09-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3869876B2 (ja) | 画像計測方法及び画像計測装置 | |
| US6445814B2 (en) | Three-dimensional information processing apparatus and method | |
| JP6363863B2 (ja) | 情報処理装置および情報処理方法 | |
| WO2018235163A1 (ja) | キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法 | |
| KR20190021342A (ko) | 개선된 카메라 캘리브레이션 시스템, 타겟 및 프로세스 | |
| US20020164067A1 (en) | Nearest neighbor edge selection from feature tracking | |
| JP2009017480A (ja) | カメラキャリブレーション装置およびそのプログラム | |
| US20090153669A1 (en) | Method and system for calibrating camera with rectification homography of imaged parallelogram | |
| EP1521215A1 (en) | Image display method and image display system | |
| JP2011253376A (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
| JP2005326247A (ja) | 校正装置及び校正方法並びに校正プログラム | |
| JP2003130621A (ja) | ３次元形状計測方法およびその装置 | |
| JP2009284188A (ja) | カラー撮像装置 | |
| JPH09231373A (ja) | 三次元位置計測装置 | |
| JPWO2019026287A1 (ja) | 撮像装置および情報処理方法 | |
| CN103729839B (zh) | 一种基于传感器的室外摄像机跟踪的方法及系统 | |
| JP2003179800A (ja) | 多視点画像生成装置、画像処理装置、および方法、並びにコンピュータ・プログラム | |
| WO2014002521A1 (ja) | 画像処理装置及び画像処理方法 | |
| JP2007304801A (ja) | 立体性認証方法、立体性認証装置および立体性認証プログラム | |
| CN111489384A (zh) | 基于互视角的遮挡评估方法及装置、设备、系统和介质 | |
| JP3842988B2 (ja) | 両眼立体視によって物体の３次元情報を計測する画像処理装置およびその方法又は計測のプログラムを記録した記録媒体 | |
| US7409152B2 (en) | Three-dimensional image processing apparatus, optical axis adjusting method, and optical axis adjustment supporting method | |
| JPH1079029A (ja) | 立体情報検出方法及びその装置 | |
| CN111028299A (zh) | 基于图像中点属性数据集计算标定点空间距的系统和方法 | |
| JPH09305796A (ja) | 画像情報処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040628 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041109 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050111 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050726 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050926 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060926 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061016 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091020 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101020 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101020 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111020 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111020 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121020 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131020 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |