WO2014171438A1 - ３次元形状計測装置、３次元形状計測方法及び３次元形状計測プログラム - Google Patents

Abstract

　本発明の３次元形状計測装置は、撮像した所定の２次元画像（以下、第１の２次元画像とする）を逐次出力するとともに、撮像した前記第１の２次元画像とは設定が異なる２次元画像（以下、第２の２次元画像とする）を所定の出力指示に対応させて出力する撮像部と、前記撮像部が出力した前記第１の２次元画像と前記第２の２次元画像とに基づいて前記出力指示を生成する出力指示生成部と、前記撮像部が出力した前記第２の２次元画像を記憶する記憶部とを備える。

Description

３次元形状計測装置、３次元形状計測方法及び３次元形状計測プログラム

　本発明は、３次元形状計測装置、３次元形状計測方法及び３次元形状計測プログラムに関する。
　本願は、２０１３年４月１９日に日本に出願された特願２０１３－０８８５５６号に基づき優先権を主張し、その内容をここに援用する。

　撮像部を移動させながら撮像した対象物を含む複数の２次元画像に基づいて対象物の３次元形状モデルを生成する技術の一例が非特許文献１に記載されている。この非特許文献１に記載されている３次元形状計測システムでは、次のようにして対象物の３次元形状モデルが生成される。まず撮像部を構成するステレオカメラを移動させながら対象物全体を動画で撮像する。ここでステレオカメラとは、両眼立体視カメラとも呼ばれ、複数の異なる視点から対象物を撮像する装置である。次に、所定フレーム毎に、１組の２次元画像に基づいて各画素に対応する３次元座標値が算出される。ただし、この時点で算出された３次元座標値は、ステレオカメラの視点毎に異なる複数の３次元座標で表されている。そこで、非特許文献１に記載されている３次元形状計測システムでは、動画として撮像した複数の２次元画像に含まれている特徴点群を、複数のフレームにわたって追跡することで、ステレオカメラの視点の移動を推定している。そして、視点移動の推定結果に基づいて複数の座標系で表された３次元形状モデルが同一座標系に統合され、対象物の３次元形状モデルが生成される。

　なお、本願において対象物の３次元形状モデルとは、３次元空間内の対象物の形状をコンピュータ内部に数値化することで表現したモデルを意味し、例えば、多視点の２次元画像に基づいて対象物の表面形状を３次元空間内の複数の点の集合（すなわち点群）によって復元する点群モデルを意味する。また、本願において３次元形状計測とは、複数の２次元画像を撮像することで対象物の３次元形状モデルを生成することを意味するとともに、対象物の３次元形状モデルを生成ために複数の２次元画像を撮像することを意味する。

運天弘樹、増田智仁、三橋徹、安藤真、「ステレオカメラ移動撮影によるＶＲモデル自動生成手法の検討」、日本バーチャルリアリティ学会論文誌、Ｖｏｌ．１２、Ｎｏ．２、２００７年

　上述したように、非特許文献１に示されている３次元形状計測システムでは、撮像部を移動させながら複数の２次元画像を撮像し、撮像した複数の２次元画像に基づいて対象物の３次元形状モデルが生成される。このような構成では、３次元形状モデルを生成する際に処理対象とする２次元画像を一定の時間間隔で撮像すると、例えば、撮像部の移動速度が大きいときに、撮像されていない部分が発生してしまう場合がある。他方、撮像部の移動速度が小さいときには複数の画像間で重複して撮像される領域が大きくなる場合がある。あるいは、対象物によっては形状の複雑さに応じて画像をより密に撮像することが望ましい部分とそうではない部分とがあるような場合、例えば、撮像者が熟練していないようなときには、撮像方向や頻度を適切にして画像を撮像することが難いという場合もある。すなわち、３次元形状モデルを生成する際に処理対象となる２次元画像を複数撮像する場合、各画像を撮像する時間間隔を一定にすると、移動速度が大きいときや小さいとき、あるいは対象物の形状が複雑なときなどに２次元画像が適切に取得できない可能性がある。また、不要な重複した撮像が増えると、２次元画像が過剰となって、画像データを記憶するメモリ量が多くなってしまったり、あるいは、余分な処理が発生してしまったりするという可能性がある。このように、３次元形状モデルを生成する際に処理対象とする２次元画像を一定の時間間隔で撮像すると、複数の画像を適切に撮像することができない場合があるという課題があった。

　本発明は、以上の事情を考慮してなされたものであり、３次元形状モデルを生成する際に処理対象となる２次元画像を適切に撮像することができる３次元形状計測装置、３次元形状計測方法及び３次元形状計測プログラムを提供することを目的とする。

　上記の課題を解決するため、本発明の第一態様の３次元形状計測装置は、撮像した所定の２次元画像（以下、第１の２次元画像とする）を逐次出力するとともに、撮像した前記第１の２次元画像とは設定が異なる２次元画像（以下、第２の２次元画像とする）を所定の出力指示に対応させて出力する撮像部と、前記撮像部が出力した前記第１の２次元画像と前記第２の２次元画像とに基づいて前記出力指示を生成する出力指示生成部と、前記撮像部が出力した前記第２の２次元画像を記憶する記憶部とを備える。
　本発明の第一態様の３次元形状計測装置においては、前記第１の２次元画像と前記第２の２次元画像とは画像の解像度の設定が異なり、前記第２の２次元画像が、前記第１の２次元画像よりも高解像度であることが好ましい。
　本発明の第一態様の３次元形状計測装置においては、前記出力指示発生部が、前記第１の２次元画像と前記第２の２次元画像との類似度に基づいて前記出力指示を生成することが好ましい。
　本発明の第一態様の３次元形状計測装置においては、前記類似度は、前記第１の２次元画像から抽出した複数の特徴点と前記第２の２次元画像から抽出した複数の特徴点とが対応付けられた度合いに対応していることが好ましい。
　本発明の第一態様の３次元形状計測装置においては、前記第１の２次元画像と前記第２の２次元画像とは画像を撮像する際のシャッタースピード、絞り値又は撮像素子の感度の少なくとも１つの設定が異なることが好ましい。
　本発明の第一態様の３次元形状計測装置においては、撮像対象物を照明する照明部を備え、前記出力指示に対応させて、前記撮像部が前記第２の２次元画像を撮像するとともに、前記照明部が前記撮像対象物に対して所定の照明を行うことが好ましい。

　また、本発明の第二態様の３次元形状計測方法は、撮像した所定の２次元画像（以下、第１の２次元画像とする）を逐次出力するとともに、撮像した前記第１の２次元画像とは設定が異なる２次元画像（以下、第２の２次元画像とする）を所定の出力指示に対応させて出力する撮像部を用い、前記撮像部が出力した前記第１の２次元画像と前記第２の２次元画像とに基づいて前記出力指示を生成し（出力指示生成ステップ）、前記撮像部が出力した前記第２の２次元画像を記憶する（記憶ステップ）。

　また、本発明の第三態様の３次元形状計測プログラムは、撮像した所定の２次元画像（以下、第１の２次元画像とする）を逐次出力するとともに、撮像した前記第１の２次元画像とは設定が異なる２次元画像（以下、第２の２次元画像とする）を所定の出力指示に対応させて出力する撮像部を用い、前記撮像部が出力した前記第１の２次元画像と前記第２の２次元画像とに基づいて前記出力指示を生成する出力指示生成ステップと、前記撮像部が出力した前記第２の２次元画像を記憶する記憶ステップとをコンピュータに実行させる。

　本発明の態様によれば、逐次出力される第１の２次元画像と、第１の２次元画像とは設定が異なる第２の２次元画像とに基づいて撮像部に対する第２の２次元画像の出力指示が生成される。すなわち、この構成では、第２の２次元画像の出力指示を生成するか否かを判断する際に、逐次出力される第１の２次元画像と、第２の２次元画像とを情報として用いることができる。この構成によれば、例えば、複数の第１の２次元画像に基づいて出力指示を適切なタイミングで生成するとともに、すでに出力された第２の２次元画像等に基づいて次の第２の２次元画像の必要性等を考慮して出力指示を生成することができる。すなわち、一定の時間間隔で撮像する場合と比べ、画像の撮像タイミングと撮像する画像の量とを適切に設定すること容易に可能となる。

本発明の一実施の形態の構成例を示したブロック図である。 図１に示した撮像部１１の構成例を示したブロック図である。 図１に示した出力指示生成部１２の構成例を示したブロック図である。 図３に示した出力指示生成部１２の動作例を説明するためのフローチャートである。 図２に示した撮像部１１を用いた対象物の計測例を説明するための説明図である。 図３に示した出力指示生成部１２の動作例を説明するための説明図である。 図３に示した出力指示生成部１２の動作例を説明するための説明図である。 図３に示した出力指示生成部１２の動作例を説明するための説明図である。

　以下、図面を参照して本発明の実施の形態について説明する。図１は、本発明の一実施形態としての３次元形状計測装置１の構成例を示したブロック図である。３次元形状計測装置１は、撮像部１１と、出力指示生成部１２と、記憶部１３と、照明部１４とを備えている。撮像部１１は、撮像した所定の２次元画像（以下、第１の２次元画像とする）を逐次出力するとともに、撮像した第１の２次元画像とは設定が異なる２次元画像（以下、第２の２次元画像とする）を所定の出力指示に対応させて出力する。

　なお、本発明の実施の形態において、撮像した２次元画像の設定とは、画像データの構造や形式を示す設定情報や、撮像条件等の撮像の仕方を表す設定情報を意味する。ここで、画像データの構造や形式を示す設定情報とは、例えば、画像の解像度（以下、画像解像度とも記す）、画像圧縮の方式や圧縮率等の画像データの仕様を表す情報である。他方、撮像の仕方を表す設定情報とは、例えば、撮像解像度、撮像時のシャッタースピード、絞り値、撮像素子の感度（ＩＳＯ感度）等の撮像時の仕様（すなわち撮像の仕方）を表す情報である。なお、本発明の実施の形態において、撮像解像度とは、撮像素子からの、複数の画素信号の読み出し解像度を意味する。撮像素子によっては、フレームレートと出力有効ライン数との組み合わせを複数、有する撮像素子がある。このような撮像素子では、例えば、第１の２次元画像を有効ライン数が少ない画素信号から形成し、第２の２次元画像を有効ライン数が多い画素信号から形成するように設定することができる。なお、上述した画像解像度は、撮像部１１から出力される画像データの解像度であり、撮像解像度と同一の場合と異なる場合（例えば、間引き処理で小さくしたり、補間処理で疑似的に大きくしたりする場合）とがある。なお、第１の２次元画像とは、例えば、所定のフレームレートで繰り返し順次撮像される画像（すなわち動画像）である。そして、第２の２次元画像は、第１の２次元画像の解像度とは異なる解像度の画像（動画像又は静止画像）であったり、第１の２次元画像の撮像条件とは異なる撮像条件で撮像された画像である。

　また、撮像条件には、照明部１４による照明の有無や照明の強さの違いを含ませることもできる。また、これらの条件は、複数組み合わせて設定することもできる。例えば、第２の２次元画像の撮像する際に、照明部１４の照明を行う又は照明を強くするとともにシャッタースピードを速くして、ぶれによる影響を小さくすることができる。あるいは、第２の２次元画像撮像する際に、照明部１４の照明を行う又は照明を強くするとともに絞り値（Ｆ値）を大きくすることで（つまり絞りを絞ることで）被写界深度を深くすることができる。また、画像解像度や撮像解像度については、第２の２次元画像の解像度を、第１の２次元画像の解像度よりも高解像度とすることができる。この場合、第２の２次元画像を３次元形状モデルを生成する際に処理対象となる画像とし、その解像度を高解像度とすることで３次元形状モデルの生成精度をより高くすることができる。これと同時に、第１の２次元画像は逐次撮像される画像であるから、第１の２次元画像を低解像度とすることで容易にフレームレートを高めたり、あるいはデータ量を少なくしたりすることができる。これらの撮像条件の設定値は、第１の２次元画像と第２の２次元画像とのそれぞれに対して予め定めた値を用いるようにしてもよいし、出力指示生成部１２等から適宜に設定値を指示する情報を撮像部１１に対して入力することで設定されるようにしてもよい。

　また、撮像部１１は、以下のように構成しても良い。すなわち、撮像部１１は、第１の２次元画像を出力する際に、第２の２次元画像と同一の解像度の画像データを取得し、この画像データを自身内部の記憶部に一旦記憶させ、所定の画素のみを抽出し、第２の２次元画像より低解像度の第１の２次元画像として、出力指示生成部１２や記憶部１３に対して出力する。そして、撮像部１１は、出力指示生成部１２から出力指示が供給された際、この出力指示に対応する第１の２次元画像とした画像データを自身内部の記憶部から読み出し、そのまま撮像した際の解像度で第２の２次元画像として出力する。そして、撮像部１１は、出力指示に対応して第２の２次元画像とした画像データを含め、この画像データより前の時刻に撮像した画像データを自身内部の記憶部から消去する。ここで、撮像部１１の内部の記憶部は、現在記憶されている第２の２次元画像の次のタイミングにおける第２の２次元画像が取得されるまでに、取得される画像データの記憶に必要な容量のみを、例えば、実験などによって決められた容量とし、必要最小限の容量とする。
　また、この場合、撮像部１１は、上述した画像データとして、動画像で画像データを取得しても良いし、所定の周期で画像データを取得しても良い。この場合、第１の２次元画像と第２の２次元画像とで異なる設定は画像解像度のみとなる。したがって、撮像条件については、例えば、予め撮像データを撮像する周囲の環境によって、撮像データを撮像する際のシャッタースピード、絞り値、撮像素子の感度などの撮像条件の設定値が環境の違いにより設定しておくことができ、その時点の撮像する周囲の環境に合わせ、撮像するユーザが３次元形状計測装置１に対して設定することができる。

　なお、撮像部１１としては、望遠や広角に焦点距離を変化させることができる撮像部を用いてもよいし、固定された撮像部を用いてもよい。この場合、焦点距離は、例えば、出力指示生成部１２等からの指示に応じて変化させることができる。また、撮像部１１は、オートフォーカス機能（すなわち対象物に自動でピント（焦点）を合わせる機能）を備えてもよいし、手動フォーカス機能を備えてもよい。ただし、撮像部１１は、出力指示生成部１２等からの指示によらずに焦点距離を変化させる場合、焦点距離を示すデータを、撮像した画像を表す画像データである第１の２次元画像や第２の２次元画像とともに、出力指示生成部１２等に対して供給できるようにしておく。

　出力指示生成部１２は、撮像部１１が出力した第１の２次元画像と第２の２次元画像とに基づいて出力指示を生成する。

　記憶部１３は、出力指示に応じて撮像部１１が出力した第２の２次元画像を記憶する記憶装置である。記憶部１３は、出力指示に応じて撮像部１１が出力した第２の２次元画像を直接記憶してもよいし、出力指示生成部１２の指示に応じてあるいは一旦出力指示生成部１２が撮像部１１から取得した第２の２次元画像を出力指示生成部１２を介して受け取ることで記憶するようにしてもよい。また、記憶部１３は、第２の２次元画像を記憶するとともに、出力指示生成部１２が出力指示を生成する処理の過程で算出した各種データ（例えば、画像から抽出した複数の特徴点を表すデータ、画像から抽出した複数の特徴点の異なるフレーム間での追跡結果を表すデータ、画像から復元した３次元形状データ等）を記憶してもよい。また、記憶部１３は、第２の２次元画像を記憶するとともに、第１の２次元画像を記憶するようにしてもよい。

　照明部１４は、撮像部１１の撮像対象物を照明する装置である。照明部１４は、出力指示生成部１２が出力した出力指示に対応させて、撮像部１１が第２の２次元画像を撮像するタイミングに合うように撮像対象物に対して所定の照明を行う。照明部１４は、フラッシュ、ストロボ等と呼ばれる撮像対象物に向けて短時間に強い光を照射する発光装置であってもよいし、所定の光を連続して発光する装置であってもよい。なお、照明部１４が出力指示に対応させて撮像対象物に対して行う所定の照明とは、出力指示の有無によって発光の有り無し又は発光量の大小を異ならせる照明を意味する。つまり、照明部１４は、出力指示に対応させて、撮像対象物に対して短時間の強い光を発光したり、照明の強度を強めたりする。

　なお、３次元形状計測装置１は、図１に示したように、撮像部１１、出力指示生成部１２、記憶部１３及び照明部１４を一体として備えることもできるし、例えば、１又は２以上の要素（３次元形状計測装置の構成要素）の各々を別の装置で構成することもできる。例えば、撮像部１１、出力指示生成部１２、記憶部１３及び照明部１４を、一体として、携帯カメラ、携帯情報端末等の電子機器で構成することができる。また、例えば、撮像部１１と記憶部１３の一部又は全部を携帯カメラで構成し、出力指示生成部１２と記憶部１３の一部とをパーソナルコンピュータ等で構成することができる。また、照明部１４は、省略することもできるし、撮像部１１とは別の装置、例えば、据え置き型の照明装置で照明部１４を構成してもよい。また、照明部１４は、複数の発光装置を有して構成されてもよい。

　さらに、３次元形状計測装置１は、無線や有線の通信装置を備え、図１に示した構成要素間を無線や有線の通信回線を介して接続としてもよい。また、３次元形状計測装置１は、図１に示していない表示部、信号音出力部、表示灯や操作部を備えて、出力指示生成部１２からの出力指示をその表示部、信号音出力部や表示灯に出力する構成を有してもよい。そして、撮影者が、所定の操作子を操作することで、撮像部１１が第２の２次元画像を撮像するようにしてもよい。すなわち、出力指示生成部１２が出力指示を出力した場合、撮像部１１が直接その出力指示に応じて第２の２次元画像を撮像する構成のほか、撮影者の操作を介して撮像部１１が出力指示に応じて第２の２次元画像を撮像する構成を採用することもできる。

　また、３次元形状計測装置１は、例えば、出力指示生成部１２内に（あるいは出力指示生成部１２とは別に）複数の第１の２次元画像に基づいて、３次元形状計測装置１の移動を推定する処理を行う構成を設けることができる。この移動の推定は、例えば、複数の第１の２次元画像において各第１の２次元画像に含まれる複数の特徴点を追跡することで行うことができる（例えば、非特許文献１参照）。その際、動画像のような複数の２次元画像間で特徴点を追跡する手法としては、Ｋａｎａｄｅ－Ｌｕｃａｓ－Ｔｏｍａｓｉ法（ＫＬＴ法）等、複数の手法が広く使用されている。この移動の推定結果は、例えば、記憶部１３に記憶することができる。

　また、３次元形状計測装置１は、例えば、ＧＰＳ（ｇｌｏｂａｌ　ｐｏｓｉｔｉｏｎｉｎｇ　ｓｙｓｔｅｍ）受信機等を用いて自装置の位置情報を取得する機能を有したり、加速度センサ、ジャイロセンサ等を用いて自装置の移動を検知する機能を有していてもよい。この移動の検知結果は、例えば、記憶部１３に記憶することができる。

　次に、図２を参照して、図１を参照して説明した撮像部１１の構成例について説明する。図２に示した撮像部１１は、第１撮像部５１ａと、第２撮像部５１ｂと、制御部５２とを備えている。第１撮像部５１ａと第２撮像部５１ｂとは、同一の構成を有する撮像装置である。第１撮像部５１ａは、光学系６１ａ、露出制御部６２ａ及び撮像素子６５ａを備えている。第２撮像部５１ｂは、光学系６１ａ、露出制御部６２ａ及び撮像素子６５ａと同一構成の光学系６１ｂ、露出制御部６２ｂ及び撮像素子６５ｂを備えている。第１撮像部５１ａと第２撮像部５１ｂとは、撮像部１１において互いに位置と向きとが異なるように配置されている。光学系６１ａ及び６１ｂは、１又は複数のレンズと、焦点距離を望遠又は広角に変化させるためのレンズの駆動機構やオートフォーカス用のレンズの駆動機構とを備えている。露出制御部６２ａ及び６２ｂは、絞り値制御部６３ａ及び６３ｂとシャッタースピード制御部６４ａ及び６４ｂとを備えている。絞り値制御部６３ａ及び６３ｂは、機械式絞り可変機構と、可変機構を駆動する駆動部とを備え、光学系６１ａ及び６１ｂから入射した光の量を可変して出射する。シャッタースピード制御部６４ａ及び６４ｂは、機械式シャッターと、機械式シャッターを駆動する駆動部とを備え、光学系６１ａ及び６１ｂから入射した光を遮断したり、所定の時間だけ通過させたりする。シャッタースピード制御部６４ａ及び６４ｂは、機械式シャッターに代えて電子シャッターを用いることもできる。

　撮像素子６５ａ及び６５ｂは、光学系６１ａ及び６１ｂ及び露出制御部６２ａ及び６２ｂを介して対象物の反射光を入射し、電気信号に変換して出力する。撮像素子６５ａ及び６５ｂは、平面上で縦横に格子状に配列した複数の受光素子によって各画素を構成している（ここで画素は画像の記録単位を意味する）。また、撮像素子６５ａ及び６５ｂは、各画素に対応するカラーフィルターを備えていてもよいし、備えていなくてもよい。また、撮像素子６５ａ及び６５ｂは、各受光素子の駆動回路や出力信号の変換回路等を有し、各画素で受光した光をデジタル又はアナログの所定の電気信号に変換して、制御部５２に対して画素信号として出力する。また、撮像素子６５ａ及び６５ｂとしては、制御部５２からの指示に応じて画素信号の読み出し解像度を可変することができる撮像素子を用いてもよい。

　制御部５２は、第１撮像部５１ａ及び第２撮像部５１ｂがそれぞれ備える光学系６１ａ及び６１ｂ、露出制御部６２ａ及び６２ｂ及び撮像素子６５ａ及び６５ｂを制御する。制御部５２は、第１撮像部５１ａ及び第２撮像部５１ｂが出力する画素信号を所定のフレーム周期で繰り返し入力し、第１撮像部５１ａ及び第２撮像部５１ｂが出力した各画素信号をフレーム毎に組み合わせてプレビュー用画像Ｓｐ（図１の第１の２次元画像に対応）として出力する。制御部５２は、また、出力指示生成部１２から入力した出力指示に応じて例えば、プレビュー用画像Ｓｐの撮像時の撮像条件から所定の撮像条件に変化させるとともに、その条件で第１撮像部５１ａと第２撮像部５１ｂとから読み出された画素信号を１又は所定フレーム分、入力する。制御部５２は、例えば、出力指示に応じて変化させた撮像条件で撮像された画像信号をフレーム毎に組み合わせて計測用ステレオ画像Ｓｎ（図１の第２の２次元画像に対応）として出力する（ここでｎはペア番号を表す１～Ｎまでの整数）。なお、プレビュー用画像Ｓｐは、フレーム毎に１枚のプレビュー画像を含む画像と、フレーム毎に２枚のプレビュー画像を含む画像の２種類を含む名称である。また、ステレオカメラで撮像された２枚のプレビュー画像を含む場合に特定するときには、プレビュー用ステレオ画像Ｓｐと呼ぶこととする。

　また、制御部５２は、内部に記憶部７１を備えてもよい。この場合、制御部５２は、プレビュー用画像Ｓｐ（第１の２次元画像）を出力する際に、計測用ステレオ画像Ｓｎ（第２の２次元画像）と同一の解像度の画像データを取得し、この画像データを自身内部の記憶部７１に一旦記憶させ、所定の画素のみを抽出し、計測用ステレオ画像Ｓｎより低解像度のプレビュー用画像Ｓｐとして、出力指示生成部１２や記憶部１３に対して出力するようにしてもよい。また、この場合、制御部５２は、出力指示生成部１２から出力指示が供給された際、この出力指示に対応するプレビュー用画像Ｓｐとした画像データを自身内部の記憶部７１から読み出し、そのまま撮像した際の解像度で計測用ステレオ画像Ｓｎとして出力する。そして、制御部５２は、出力指示に対応して計測用ステレオ画像Ｓｎとした画像データを含め、この画像データより前の時刻に撮像した画像データを自身内部の記憶部７１から消去する。ここで、制御部５２の内部の記憶部７１は、現在記憶されている計測用ステレオ画像Ｓｎの次のタイミングにおける計測用ステレオ画像Ｓｎが取得されるまでに、取得される画像データの記憶に必要な容量のみを、例えば、実験などによって決められた容量とし、必要最小限の容量とすることができる。

　図２に示した構成において、第１撮像部５１ａと第２撮像部５１ｂとは、ステレオカメラとして用いられる。例えば、第１撮像部５１ａの内部パラメータ行列Ａと、第２撮像部５１ｂの内部パラメータ行列Ａとは、同一である。また、第１撮像部５１ａと第２撮像部５１ｂとの間の外部パラメータ行列Ｍは予め所定の値に設定されている。したがって、同時に撮像された第１撮像部５１ａの撮像画像と第２撮像部５１ｂの撮像画像（以下、この１対の画像をステレオ画像ペアとも呼ぶ）とに基づき画素間（あるいは副画素（サブピクセル）間）の対応付けを行うことで、当該画像を撮像した視点を基準とする３次元形状（すなわち３次元座標）を不定性無く復元することができる。

　なお、内部パラメータ行列Ａとは、カメラ校正行列とも呼ばれ、撮像対象物に関する物理的座標を、画像座標（すなわち第１撮像部５１ａの撮像素子６５ａの撮像面及び第２撮像部５１ｂの撮像素子６５ｂの撮像面を中心とした座標でありカメラ座標とも呼ばれる）へ変換する行列である。画像座標は、画素を単位とする座標である。内部パラメータ行列Ａは、焦点距離、画像中心の座標、画像座標の各成分のスケールファクタ（＝換算係数）、せん断係数によって表される。また、外部パラメータ行列Ｍは、画像座標を、ワールド座標（すなわちすべての視点や対象物に対して共通に決められた座標）に変換する行列である。外部パラメータ行列Ｍは、複数の視点間の３次元の回転（すなわち姿勢の変化）と並進（すなわち位置の変化）によって決まる行列である。第１撮像部５１ａと第２撮像部５１ｂとの間の外部パラメータ行列Ｍは、例えば、第１撮像部５１ａの画像座標を基準とした第２撮像部５１ｂの画像座標への回転と並進とによって表すことができる。また、ステレオ画像ペアに基づいて３次元形状を不定性無く復元するとは、内部パラメータ行列Ａと外部パラメータ行列Ｍとがともに既知である２個の撮像部の各撮像画像から、各画素に対応する対象物の物理的な３次元座標を算出することを意味する。また、本発明の実施の形態において不定性があることとは、画像に投影され３次元形状を一意には決定できないことを意味する。

　なお、図１に示した撮像部１１は、必ずしも図２に示すようなステレオカメラ（つまり２台のカメラを用いた構成）としなくてもよい。例えば、撮像素子を１つのみとして（つまりカメラを１台として）、その撮像素子を移動させながら撮像した２枚の画像をステレオ画像ペアとして用いるようにしてもよい。ただし、この場合には、外部パラメータ行列Ｍが不定となるので一定の不定性が残ることになる。しかし、例えば、対象物の複数の基準点に関する３次元座標の実測データを用いて補正したり、あるいは、実測データを用いない場合でも現実の３次元空間ではなく不定性の存在を前提とした仮想空間内で３次元の形状を復元することなどが可能である。また、カメラの台数は、２台に限定されず、例えば、３台や４台としてもよい。

　次に、図３を参照して、図１に示した出力指示生成部１２の構成例について説明する。図３に示した出力指示生成部１２は、プレビュー用画像Ｓｐ（第１の２次元画像）と計測用ステレオ画像Ｓｎ（第２の２次元画像）との類似度に基づいて出力指示を生成する。また、その類似度は、プレビュー用画像Ｓｐから抽出した複数の特徴点と計測用ステレオ画像Ｓｎから抽出した複数の特徴点とが対応付けられた度合いに対応するように算出される。図３に示した出力指示生成部１２は、例えば、ＣＰＵ（中央処理装置）、ＲＡＭ（ランダムアクセスメモリ）等の構成とＣＰＵで実行されるプログラムと用いて構成することができる。図３は、出力指示生成部１２の構成要素を示している。図３においては上記のプログラムを実行することで行われる処理（あるいは機能）が複数のブロックに分けられている。また、以下の説明で用いる「信号」という語の意味は、プログラムを実行する際に関数間やルーチン間で通信（送信、受信、等）される所定のデータを意味する場合がある。

　図３に示した構成例で出力指示生成部１２は、計測用ステレオ画像取得部２１と、参照用特徴点抽出部２２と、プレビュー用画像取得部２３と、プレビュー用画像特徴点群抽出部２４と、特徴点対応数算出部２５と、撮像要否判定部２６と、出力指示信号出力部２７とを備えている。計測用ステレオ画像取得部２１は、撮像部１１から計測用ステレオ画像Ｓｎ（第２の２次元画像）を取得して、参照用特徴点抽出部２２に対して出力する。参照用特徴点抽出部２２は、計測用ステレオ画像取得部２１が出力した計測用ステレオ画像Ｓｎから参照用の複数の特徴点を含む特徴点群Ｆｎ（ｎはペア番号を表す１～Ｎまでの整数）を抽出する。ここで、特徴点とは、ステレオ画像や動画像において画像間で点と点との対応付けがしやすい点を意味する。特徴点は、例えば、ある点（任意に選択された点、第一点）、又は、当該ある点の周囲の色、輝度、輪郭情報が、画像内の他の点（第二点）と比べて際立って異なるような点として定義される。換言すると、画像内において、色、輝度、輪郭情報の観点で、相対的な差異が際立って表れる互いに異なる２つの点のうち一方の点が、特徴点として定義される。特徴点は、頂点などとも呼ばれる。画像から特徴点を抽出する抽出アルゴリズムとしては、コーナー検出アルゴリズムとして機能する種々のアルゴリズムが提案されており、使用するアルゴリズムについては特に限定しない。但し、画像を回転、並行移動、拡大縮小しても安定して同じような領域に特徴点を抽出可能であることが望ましく、このようなアルゴリズムとしては、ＳＩＦＴ（ＵＳ６７１１２９３）などが知られている。参照用特徴点抽出部２２は、計測用ステレオ画像Ｓｎが含む２枚の画像のそれぞれから特徴点を抽出してもよいし、どちらか一方の画像から特徴点を抽出してもよい。参照用特徴点抽出部２２は、抽出した特徴点群Ｆｎを記憶部１３等の所定の記憶装置に記憶する。

　プレビュー用画像取得部２３は、撮像部１１からプレビュー用画像Ｓｐ（第１の２次元画像）をフレーム毎（又は所定フレーム毎）に取得して、プレビュー用画像特徴点群抽出部２４に対して出力する。プレビュー用画像特徴点群抽出部２４は、プレビュー用画像取得部２３が出力したプレビュー用画像Ｓｐから複数の特徴点を含む特徴点群Ｆｐ（ｐはプレビュー画像を意味する添え字）を抽出する。プレビュー用画像特徴点群抽出部２４は、プレビュー用画像Ｓｐが含む２枚の画像のそれぞれから特徴点を抽出してもよいし、どちらか一方の画像から特徴点を抽出してもよい。

　特徴点対応数算出部２５は、プレビュー用画像特徴点群抽出部２４が抽出した最新の特徴点群Ｆｐと、参照用特徴点抽出部２２が以前に（過去に）抽出した特徴点群Ｆｎ（ｎ＝以前に（過去に）取得した計測用ステレオ画像Ｓｎの枚数ｎ）との間で対応する点の数を算出する。特徴点対応数算出部２５は、プレビュー用画像Ｓｐから抽出した特徴点群Ｆｐをｎペアの計測用ステレオ画像Ｓｎから抽出した特徴点群Ｆ１、Ｆ２、…、Ｆｎと各々対応付け、特徴点群Ｆｐと特徴点群Ｆ１、Ｆ２、…、Ｆｎとの間で対応付けすることができた点数Ｍ１、Ｍ２、…、Ｍｎを算出して出力する。ここで、特徴点群Ｆ１、Ｆ２、…、Ｆｎは、計測用ステレオ画像Ｓ１、Ｓ２、…、Ｓｎからそれぞれ抽出された特徴点の集合である。特徴点間の対応付けの判断については、例えば、各特徴点の画素値と座標値の類似の度合いと、複数の特徴点全体での類似の度合いの統計的な分析結果とに基づいて、特徴点間で対応性が得られるか否かを判断することができる。また、例えば、点数Ｍ１は、特徴点群Ｆｐと特徴点群Ｆ１との間で対応づけることができた特徴点の個数を表す。同様に、例えば、点数Ｍ２は、特徴点群Ｆｐと特徴点群Ｆ２との間で対応づけることができた特徴点の個数を表す。

　撮像要否判定部２６は、特徴点対応数算出部２５が出力した点数Ｍ１～Ｍｎを入力し、点数Ｍ１～Ｍｎに基づいて、次の計測用ステレオ画像Ｓｎ（この場合のｎは最後に取得されたペア番号の次のペア番号を表す）の取得の要否を判定する。撮像要否判定部２６は、例えば、評価式ｆ＜閾値Ｍｔの条件が成立した場合に取得が必要であると判定し、不成立の場合に不要であると判定する。ここで、評価式ｆは、最新のプレビュー用画像Ｓｐとこれまでに取得したｎペアの計測用ステレオ画像Ｓｎとの類似度を表す関数である。撮像要否判定部２６は、最新のプレビュー用画像Ｓｐが、これまでに取得した計測用ステレオ画像Ｓｎと類似している場合には、最新のプレビュー用画像Ｓｐと同一の視点でさらに計測用ステレオ画像Ｓｎを取得することは不要であると判定する。他方、撮像要否判定部２６は、最新のプレビュー用画像Ｓｐが、これまでに取得した計測用ステレオ画像Ｓｎと類似していない場合には、最新のプレビュー用画像Ｓｐと同一（あるいはほぼ同一）の視点でさらに計測用ステレオ画像Ｓｎを取得することが必要であると判定する。本実施形態では、類似度を表す評価式ｆが、点数Ｍ１～Ｍｎをパラメータとして用いて関数で表している。

　上記のような評価式ｆは、例えば、次のように表すことができる。すなわち、評価式ｆは、点数Ｍ１～Ｍｎの合計値と定義することができる。なお、閾値Ｍｔは事前に設定した固定値を用いてもよいし、計測用ステレオ画像Ｓｎの枚数ｎ等に合わせて可変な値を用いてもよい。

　評価式ｆ（Ｍ１，Ｍ２，…，Ｍｎ）＝ΣＭｉ（ｉ＝１，２，…，ｎ）

　撮像要否判定部２６は、最後にプレビュー用画像Ｓｐを撮像した視点（あるいはほぼ同一の視点）で次の計測用ステレオ画像Ｓｎを取得することが必要であると判定すると、出力指示信号出力部２７に対してその旨（判定結果）を示す信号を出力する。一方、不要であると判定した場合、撮像要否判定部２６は、プレビュー用画像取得部２３に対してその旨（判定結果）を示す信号を出力する。

　出力指示信号出力部２７は、撮像要否判定部２６から次の計測用ステレオ画像Ｓｎの取得が必要であることを示す信号を入力すると、撮像部１１等に対して出力指示信号を出力する。また、次の計測用ステレオ画像Ｓｎの取得が不要であることを示す信号が撮像要否判定部２６からプレビュー用画像取得部２３に入力されると、プレビュー用画像取得部２３は、次のプレビュー用画像Ｓｐの取得処理を行う（例えば、撮像部１１から次のプレビュー用画像Ｓｐが出力するまで待機する処理を行う）。

　次に、図４のフローチャートと、図５から図８までの説明図を用いて、図１に示した３次元形状計測装置１の動作例について説明する。図４は、図３に示した出力指示生成部１２内の処理の流れを説明するためのフローチャートである。図５は、図１から図３を参照して説明した３次元形状計測装置１を、撮像対象物１００の周囲で矢印方向に移動させながら撮像する動作を模式的に示した説明図である。この場合、図５は、３次元形状計測装置１が有する２つの撮像部５１ａと撮像部５１ｂについて、撮像部５１ａの撮像素子６５ａが形成する面である撮像面（あるいは画像面）６６ａと、撮像部５１ｂの撮像素子６５ｂが形成する面である撮像面６６ｂとの位置関係を示している。ここで、撮像面６６ａの視点（つまり焦点あるいは光学中心）Ｃ１ａから撮像面６６ａに垂直に引いた直線が光軸であり、図５では矢印Ｚ１ａで示している。また、撮像面６６ａの横方向を矢印Ｘ１ａで、縦方向を矢印Ｙ１ａで示している。一方、撮像面６６ｂの視点を視点Ｃ１ｂとして示している。撮像面６６ａ及び撮像面６６ｂは、所定の距離で離間しており、かつ、撮像面６６ａにおける光軸方向と撮像面６６ｂにおける光軸方向とが所定の角度で異なるように配置されている。

　また、図５では、３次元形状計測装置１を矢印方向に移動させた場合の撮像面６６ａの移動後の視点を視点Ｃ２ａとして示している。また、撮像面６６ａの移動後の視点を視点Ｃ２ｂとして示している。さらに、視点Ｃ２ａから移動後の撮像面６６ａに垂直に引いた直線である光軸を矢印Ｚ２ａで示している。また、移動後の撮像面６６ａの横方向を矢印Ｘ２ａで、縦方向を矢印Ｙ２ａで示している。

　また、図６は、視点Ｃ１ａから撮像対象物１００を撮像面６６ａで撮像した場合のプレビュー用画像Ｓｐａ１を模式的に表した図である。ただし、図６に示したプレビュー用画像Ｓｐａ１には、当該画像から抽出した複数の特徴点２０１を矩形に×印を組み合わせた記号で示している。

　また、図７は、視点Ｃ１ａから撮像対象物１００を撮像面６６ａで撮像した場合の計測用ステレオ画像Ｓ１ａを模式的に表した図である。ただし、図７に示した計測用ステレオ画像Ｓ１ａには、当該画像から抽出した複数の特徴点２０２を矩形に×印を組み合わせた記号で示している。なお、図６で各特徴点２０１を表す記号と図７で各特徴点２０２を表す記号の大きさを変えているのは、プレビュー用画像Ｓｐと計測用ステレオ画像Ｓｎとの解像度の違いを模式的に表すためである。

　また、図８は、移動後の視点Ｃ２ａから撮像対象物１００を撮像面６６ａで撮像した場合のプレビュー用画像Ｓｐａ２を模式的に表した図である。ただし、図８に示したプレビュー用画像Ｓｐａ２には、当該画像から抽出した複数の特徴点２０３を矩形に×印を組み合わせた記号で示している。

　では、図４を参照して、３次元形状計測装置１の動作例について説明する。例えば、撮影者が所定の指示操作を行うと、出力指示生成部１２では、変数ｎ（ｎ：ｎペア目の計測用ステレオ画像の番号）をｎ＝１に初期化する（ステップＳ１００）。次に、像指示信号出力部２７が、出力指示信号を出力する（ステップＳ１０１）。次に、計測用ステレオ画像取得部２１が、ｎペア目の計測用ステレオ画像Ｓｎを取得する（ステップＳ１０２）。次に、参照用特徴点抽出部２２が、ｎペア目の計測用ステレオ画像Ｓｎから特徴点群Ｆｎを抽出する（ステップＳ１０３）。これらのステップＳ１００～Ｓ１０３の処理で、図７に示したような１ペア目の計測用ステレオ画像Ｓ１が取得されるとともに（ただし、図７ではペアの計測用ステレオ画像Ｓ１の一方の画像Ｓ１ａを示している）、複数の特徴点２０２を含む特徴点群Ｆ１が抽出される。

　次に、出力指示生成部１２内の図示していない制御部が、変数ｎをｎ＝ｎ＋１に更新する（ステップＳ１０４）。この場合、変数ｎは「２」に更新される。次に、プレビュー用画像取得部２３が、プレビュー用画像Ｓｐを取得する（ステップＳ１０５）。次に、プレビュー用画像特徴点群抽出部２４が、プレビュー用画像Ｓｐから特徴点群Ｆｐを抽出する（ステップＳ１０６）。これらのステップＳ１０５及びＳ１０６の処理で、図６に示したようなプレビュー用画像Ｓｐが撮像されるとともに（ただし、図６ではペアのプレビュー用画像Ｓｐの一方の画像Ｓｐａ１を示している）、複数の特徴点２０１を含む特徴点群Ｆｐが抽出される。

　なお、ステップＳ１０５では、プレビュー用画像取得部２３が、撮像部１１からプレビュー用画像Ｓｐのペアの２つの画像を取得してもよいし、一方の画像のみを取得してもよい。あるいは、撮像部１１からは、プレビュー用画像Ｓｐとして、撮像素子６５ａ及び６５ｂのうちいずれか一方で撮像された画像のみを出力するようにしてもよい。

　次に、特徴点対応数算出部２５が、プレビュー用画像Ｓｐから抽出した特徴点群Ｆｐを、ｎペアの計測用ステレオ画像Ｓｎから抽出した特徴点群Ｆ１、Ｆ２、…、Ｆｎと各々対応付け、特徴点群Ｆｐと特徴点群Ｆ１、Ｆ２、…、Ｆｎとの間で対応づけすることができた点数Ｍ１、Ｍ２、…、Ｍｎを算出する（ステップＳ１０７）。この場合、ステップＳ１０７では、図６に示したプレビュー用画像Ｓｐａ１から抽出した複数の特徴点２０１と、図７に示した計測用ステレオ画像Ｓ１ａから抽出した複数の特徴点２０２との間で、所定の対応付けが可能な特徴点の個数Ｍ１が算出される。

　次に、撮像要否判定部２６が、評価式ｆと閾値Ｍｔとの間の次の条件の成立／不成立を判定する（ステップＳ１０８）。その条件とは、例えば、ｆ（Ｍ１，Ｍ２，…，Ｍｎ）＜Ｍｔである。ここで、評価式ｆは、上述したように点数Ｍ１、Ｍ２、…、Ｍｎの合計値と定義することができる。この場合、図６に示したプレビュー用画像Ｓｐａ１から抽出した複数の特徴点２０１と、図７に示した計測用ステレオ画像Ｓ１ａから抽出した複数の特徴点２０２との間で、所定の対応付けが可能な特徴点の個数Ｍ１が、所定の閾値Ｍｔ以上であったとする。この場合、ステップＳ１０８の判定結果は不成立となり、プレビュー用画像取得部２３が、再びプレビュー用画像Ｓｐを取得する処理を行う（ステップＳ１０５）。以下、同様にして、ステップＳ１０８の判定条件が成立するまで、ステップＳ１０５～Ｓ１０８の処理が繰り返し実行される。

　ここで、一例として、図５の視点Ｃ１ａに対応する位置で撮像を開始し、視点Ｃ２ａで初めてステップＳ１０８の判定結果が不成立になる場合を仮定する。この場合、視点Ｃ２ａでは、ステップＳ１０５及びＳ１０６の処理で、図８に示したようなプレビュー用画像Ｓｐが撮像されるとともに（ただし、図８ではペアのプレビュー用画像Ｓｐの一方の画像Ｓｐａ２を示している）、複数の特徴点２０３を含む特徴点群Ｆｐが抽出される。

　次に、ステップＳ１０７では、図８に示したプレビュー用画像Ｓｐａ２から抽出した複数の特徴点２０３と、図７に示した計測用ステレオ画像Ｓ１ａから抽出した複数の特徴点２０２との間で、所定の対応付けが可能な特徴点の個数Ｍ１が算出される。

　次に、撮像要否判定部２６が、評価式ｆと閾値Ｍｔとの間の次の条件の成立／不成立を判定する（ステップＳ１０８）。この場合、上記の仮定によって、図８に示したプレビュー用画像Ｓｐａ２から抽出した複数の特徴点２０３と、図７に示した計測用ステレオ画像Ｓ１ａから抽出した複数の特徴点２０２との間で、所定の対応付けが可能な特徴点の個数Ｍ１が、所定の閾値Ｍｔ未満となる。したがって、この場合、ステップＳ１０８の判定結果は成立となり、像指示信号出力部２７が、出力指示信号を出力して（ステップＳ１０９）、次の計測用ステレオ画像Ｓ２の取得が行われる（ステップＳ１０２）。

　以上のようにして、本実施形態の３次元形状計測装置１では、逐次撮像するプレビュー用画像Ｓｐ（第１の２次元画像）と、異なる設定を有し、３次元形状モデルを生成する際に処理対象とする計測用ステレオ画像Ｓｎ（第２の２次元画像）とに基づいて次の計測用ステレオ画像Ｓｎ（第２の２次元画像）の取得の要否を判定する。したがって、例えば、プレビュー用画像Ｓｐ（第１の２次元画像）に基づいて撮像タイミングを適切に設定し、計測用ステレオ画像Ｓｎ（第２の２次元画像）に基づいて撮像する画像の量を適切に設定することができ、一定の時間間隔で撮像する場合に比べて容易に撮像タイミングを適切に設定することができる。

　また、本実施形態の出力指示生成部１２は、プレビュー用画像Ｓｐ（第１の２次元画像）と計測用ステレオ画像Ｓｎ（第２の２次元画像）との類似度に基づいて次の計測用ステレオ画像Ｓｎ（第２の２次元画像）の取得の要否を判定するので、例えば、３次元の座標計算などの比較的演算量の多い処理を省くことが可能となる。

　なお、本発明の実施の形態は、上記実施形態に限定されない。例えば、３次元形状計測装置１は、撮像した画像に基づいて復元した３次元モデルを表示する表示部等を備えるなど、３次元モデルを復元したり、復元した結果を出力する構成を備える等の変更を適宜行うことができる。また、３次元形状計測装置１は、１又は複数のＣＰＵと、ＣＰＵで実行されるプログラムとを用いて構成することができ、そのプログラムは、コンピュータ読み取り可能な記録媒体や通信回線を介して流通等させることができる。

１　３次元形状計測装置１１　撮像部１２　出力指示生成部１３　記憶部１４　照明部

Claims (8)

1. 　撮像した第１の２次元画像を逐次出力するとともに、撮像した前記第１の２次元画像とは設定が異なる第２の２次元画像を所定の出力指示に対応させて出力する撮像部と、
   　前記撮像部が出力した前記第１の２次元画像と前記第２の２次元画像とに基づいて前記出力指示を生成する出力指示生成部と、
   　前記撮像部が出力した前記第２の２次元画像を記憶する記憶部と
   　を備える３次元形状計測装置。
2. 　前記第１の２次元画像と前記第２の２次元画像とは画像の解像度の設定が異なり、
   　前記第２の２次元画像が、前記第１の２次元画像よりも高解像度である請求項１に記載の３次元形状計測装置。
3. 　前記出力指示発生部が、前記第１の２次元画像と前記第２の２次元画像との類似度に基づいて前記出力指示を生成する請求項１又は請求項２に記載の３次元形状計測装置。
4. 　前記類似度は、前記第１の２次元画像から抽出した複数の特徴点と前記第２の２次元画像から抽出した複数の特徴点とが対応付けられた度合いに対応している請求項３に記載の３次元形状計測装置。
5. 　前記第１の２次元画像と前記第２の２次元画像とは画像を撮像する際のシャッタースピード、絞り値又は撮像素子の感度の少なくとも１つの設定が異なる請求項１から請求項４のいずれか一項に記載の３次元形状計測装置。
6. 　撮像対象物を照明する照明部を備え、
   　前記出力指示に対応させて、前記撮像部が前記第２の２次元画像を撮像するとともに、前記照明部が前記撮像対象物に対して所定の照明を行う請求項１から請求項５のいずれか一項に記載の３次元形状計測装置。
7. 　撮像した第１の２次元画像を逐次出力するとともに、撮像した前記第１の２次元画像とは設定が異なる第２の２次元画像を所定の出力指示に対応させて出力する撮像部を用い、
   　前記撮像部が出力した前記第１の２次元画像と前記第２の２次元画像とに基づいて前記出力指示を生成し、
   　前記撮像部が出力した前記第２の２次元画像を記憶する３次元形状計測方法。
8. 　撮像した第１の２次元画像を逐次出力するとともに、撮像した前記第１の２次元画像とは設定が異なる第２の２次元画像を所定の出力指示に対応させて出力する撮像部を用い、
   　前記撮像部が出力した前記第１の２次元画像と前記第２の２次元画像とに基づいて前記出力指示を生成する出力指示生成ステップと、
   　前記撮像部が出力した前記第２の２次元画像を記憶する記憶ステップとを
   　コンピュータに実行させる３次元形状計測プログラム。
    

Images