JP6304244B2 - 3次元形状計測装置、3次元形状計測方法及び3次元形状計測プログラム - Google Patents

3次元形状計測装置、3次元形状計測方法及び3次元形状計測プログラム Download PDF

Info

Publication number
JP6304244B2
JP6304244B2 JP2015512469A JP2015512469A JP6304244B2 JP 6304244 B2 JP6304244 B2 JP 6304244B2 JP 2015512469 A JP2015512469 A JP 2015512469A JP 2015512469 A JP2015512469 A JP 2015512469A JP 6304244 B2 JP6304244 B2 JP 6304244B2
Authority
JP
Japan
Prior art keywords
image
dimensional
dimensional image
unit
shape
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015512469A
Other languages
English (en)
Other versions
JPWO2014171418A1 (ja
Inventor
弘樹 運天
弘樹 運天
石井 達也
達也 石井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toppan Inc
Original Assignee
Toppan Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toppan Inc filed Critical Toppan Inc
Publication of JPWO2014171418A1 publication Critical patent/JPWO2014171418A1/ja
Application granted granted Critical
Publication of JP6304244B2 publication Critical patent/JP6304244B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/282Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/221Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Description

本発明は、3次元形状計測装置、3次元形状計測方法及び3次元形状計測プログラムに関する。
本願は、2013年4月19日に日本に出願された特願2013−088555号に基づき優先権を主張し、その内容をここに援用する。
撮像部を移動させながら撮像した対象物を含む複数の2次元画像に基づいて対象物の3次元形状モデルを生成する技術の一例が非特許文献1に記載されている。この非特許文献1に記載されている3次元形状計測システムでは、次のようにして対象物の3次元形状モデルが生成される。まず撮像部を構成するステレオカメラを移動させながら対象物全体を動画で撮像する。ここでステレオカメラとは、両眼立体視カメラとも呼ばれ、複数の異なる視点から対象物を撮像する装置である。次に、所定フレーム毎に、1組の2次元画像に基づいて各画素に対応する3次元座標値が算出される。ただし、この時点で算出された3次元座標値は、ステレオカメラの視点毎に異なる複数の3次元座標で表されている。そこで、非特許文献1に記載されている3次元形状計測システムでは、動画として撮像した複数の2次元画像に含まれている特徴点群を、複数のフレームにわたって追跡することで、ステレオカメラの視点の移動を推定している。そして、視点移動の推定結果に基づいて複数の座標系で表された3次元形状モデルが同一座標系に統合され、対象物の3次元形状モデルが生成される。
また、非特許文献2には、赤外線深度センサー(以下、撮像部と呼ぶ)を移動させながら取得した複数の深度画像(デプス画像、距離画像等とも呼ばれる)に基づいて対象物の3次元形状モデルを生成する技術の一例が記載されている。ここで深度画像とは、測定した対象物までの距離情報を画素単位で表した画像である。非特許文献2に記載されている3次元形状計測システムでは、赤外線深度センサーが、赤外線投射部と赤外線撮像部と信号処理部とから構成されている。赤外線投射部が対象物に対してランダムスペックルパターンを投射し、その反射光を赤外線撮像部で撮像する。そして、赤外線撮像部で撮像したランダムスペックルパターンの偏りや形状変化に基づいて、信号処理部が対象物までの距離情報を算出して深度画像を生成する。この赤外線深度センサーの構成等については例えば、特許文献1〜3に記載されている。
なお、本願において対象物の3次元形状モデルとは、3次元空間内の対象物の形状をコンピュータ内部に数値化することで表現したモデルを意味し、例えば、多視点の2次元画像や各画素が距離情報を表す2次元画像に基づいて対象物の表面形状を3次元空間内の複数の点の集合(すなわち点群)によって復元する点群モデルを意味する。また、本願において3次元形状計測とは、複数の2次元画像を撮像することで対象物の3次元形状モデルを生成することを意味するとともに、対象物の3次元形状モデルを生成ために複数の2次元画像を撮像することを意味する。
日本国特表2011−527790号公報 日本国特表2009−511897号公報 日本国特表2009−530604号公報
運天弘樹、増田智仁、三橋徹、安藤真、「ステレオカメラ移動撮影によるVRモデル自動生成手法の検討」、日本バーチャルリアリティ学会論文誌、Vol.12、No.2、2007年 Shahram Izadi, David Kim, Otmar Hilliges, David Molyneaux, Richard Newcombe, Pushmeet Kohli, Jamie Shotton, Steve Hodges, Dustin Freeman, Andrew Davison, and Andrew Fitzgibbon,"KinectFusion: Real−time 3D Reconstruction and Interaction Using a Moving Depth Camera," October 2011, Publisher: ACM Symposium on User Interface Software and Technology,[平成25年4月15日検索]、インターネット<URL:http://research.microsoft.com/apps/pubs/default.aspx?id=155416>
上述したように、非特許文献1や非特許文献2に示されている3次元形状計測システムでは、撮像部を移動させながら複数の2次元画像を撮像し、撮像した複数の2次元画像に基づいて対象物の3次元形状モデルが生成される。このような構成では、3次元形状モデルを生成する際に処理対象とする2次元画像を一定の時間間隔で撮像すると、例えば、撮像部の移動速度が大きいときに、撮像されていない部分が発生してしまう場合がある。他方、撮像部の移動速度が小さいときには複数の画像間で重複して撮像される領域が大きくなる場合がある。あるいは、対象物によっては形状の複雑さに応じて画像をより密に撮像することが望ましい部分とそうではない部分とがあるような場合、例えば、撮像者が熟練していないようなときには、撮像方向や頻度を適切にして画像を撮像することが難いという場合もある。すなわち、3次元形状モデルを生成する際に処理対象となる2次元画像を複数撮像する場合、各画像を撮像する時間間隔を一定にすると、移動速度が大きいときや小さいとき、あるいは対象物の形状が複雑なときなどに2次元画像が適切に取得できない可能性がある。また、不要な重複した撮像が増えると、2次元画像が過剰となって、画像データを記憶するメモリ量が多くなってしまったり、あるいは、余分な処理が発生してしまったりするという可能性がある。このように、3次元形状モデルを生成する際に処理対象とする2次元画像を一定の時間間隔で撮像すると、複数の画像を適切に撮像することができない場合があるという課題があった。
本発明は、以上の事情を考慮してなされたものであり、3次元形状モデルを生成する際に処理対象となる2次元画像を適切に撮像することができる3次元形状計測装置、3次元形状計測方法及び3次元形状計測プログラムを提供することを目的とする。
上記の課題を解決するため、本発明の第一態様の3次元形状計測装置は、撮像した所定の2次元画像(以下、第1の2次元画像とする)を逐次出力するとともに、撮像した前記第1の2次元画像とは設定が異なる2次元画像(以下、第2の2次元画像とする)を所定の出力指示に対応させて出力する撮像部と、前記撮像部が出力した前記第2の2次元画像に基づく3次元形状モデルを前記第1の2次元画像を撮像した視点からみた場合の形状欠損割合に基づいて、前記出力指示を生成する出力指示生成部と、前記撮像部が出力した前記第2の2次元画像を記憶する記憶部とを備える。
本発明の第一態様の3次元形状計測装置においては、前記第1の2次元画像と前記第2の2次元画像とは画像の解像度の設定が異なり、前記第2の2次元画像が、前記第1の2次元画像よりも高解像度であることが好ましい。
本発明の第一態様の3次元形状計測装置においては、前記形状欠損割合は、前記第2の2次元画像に基づいて求めた前記3次元形状モデルを、前記第1の2次元画像の撮像時の視点から2次元画像として表した場合に、算出することができた画像の割合に対応することが好ましい。
本発明の第一態様の3次元形状計測装置においては、前記第1の2次元画像と前記第2の2次元画像とは画像を撮像する際のシャッタースピード、絞り値又は撮像素子の感度の少なくとも1つの設定が異なることが好ましい。
本発明の第一態様の3次元形状計測装置は、撮像対象物を照明する照明部を備え、前記出力指示に対応させて、前記撮像部が前記第2の2次元画像を撮像するとともに、前記照明部が前記撮像対象物に対して所定の照明を行うことが好ましい。
本発明の第一態様の3次元形状計測装置においては、前記第1の2次元画像と前記第2の2次元画像が、深度画像であることが好ましい。
また、本発明の第二態様の3次元形状計測方法は、撮像した所定の2次元画像(以下、第1の2次元画像とする)を逐次出力するとともに、撮像した前記第1の2次元画像とは設定が異なる2次元画像(以下、第2の2次元画像とする)を所定の出力指示に対応させて出力する撮像部を用い、前記撮像部が出力した前記第2の2次元画像に基づく3次元形状モデルを前記第1の2次元画像を撮像した視点からみた場合の形状欠損割合に基づいて、前記出力指示を生成し(出力指示生成ステップ)、前記撮像部が出力した前記第2の2次元画像を記憶する(記憶ステップ)。
また、本発明の第三態様の3次元形状計測プログラムは、撮像した所定の2次元画像(以下、第1の2次元画像とする)を逐次出力するとともに、撮像した前記第1の2次元画像とは設定が異なる2次元画像(以下、第2の2次元画像とする)を所定の出力指示に対応させて出力する撮像部を用い、前記撮像部が出力した前記第2の2次元画像に基づく3次元形状モデルを前記第1の2次元画像を撮像した視点からみた場合の形状欠損割合に基づいて、前記出力指示を生成する出力指示生成ステップと、前記撮像部が出力した前記第2の2次元画像を記憶する記憶ステップとをコンピュータに実行させる。
本発明の態様によれば、逐次出力される第1の2次元画像と、第1の2次元画像とは設定が異なる第2の2次元画像とに基づき、第2の2次元画像に基づく3次元形状モデルを第1の2次元画像を撮像した視点からみた場合の形状欠損割合に基づいて、撮像部に対する第2の2次元画像の出力指示が生成される。したがって、一定の時間間隔で撮像する場合と比べ、画像の撮像タイミングと撮像する画像の量とを適切に設定すること容易に可能となる。
本発明の一実施の形態の構成例を示したブロック図である。 図1に示した撮像部11の構成例を示したブロック図である。 図1に示した出力指示生成部12の構成例を示したブロック図である。 図3に示した出力指示生成部12aの動作例を説明するためのフローチャートである。 図3に示した出力指示生成部12aの動作例を説明するためのフローチャートである。 図2に示した撮像部11を用いた対象物の計測例を説明するための模式図である。 図3に示した出力指示生成部12aの動作例を説明するための説明図である。 図3に示した出力指示生成部12aの動作例を説明するための説明図である。 図3に示した出力指示生成部12aの動作例を説明するための説明図である。 図3に示した出力指示生成部12aの動作例を説明するための説明図である。 図3に示した出力指示生成部12aの動作例を説明するための説明図である。 図3に示した出力指示生成部12aの動作例を説明するための説明図である。 図3に示した出力指示生成部12aの動作例を説明するための説明図である。 図3に示した出力指示生成部12aの動作例を説明するための説明図である。
以下、図面を参照して本発明の実施の形態について説明する。図1は、本発明の一実施形態としての3次元形状計測装置1の構成例を示したブロック図である。3次元形状計測装置1は、撮像部11と、出力指示生成部12と、記憶部13と、照明部14とを備えている。撮像部11は、撮像した所定の2次元画像(以下、第1の2次元画像とする)を逐次出力するとともに、撮像した第1の2次元画像とは設定が異なる2次元画像(以下、第2の2次元画像とする)を所定の出力指示に対応させて出力する。
なお、本発明の実施の形態において、2次元画像とは、2次元配列された複数の画素を有する撮像素子で撮像した各画素値に基づく画像またはその画像を表す信号もしくはデータを意味することとする。この場合の画像は、モノクロ画像(グレー画像)、カラー画像、赤外線画像、距離画像等である。また、撮像した2次元画像の設定とは、画像データの構造や形式を示す設定情報や、撮像条件等の撮像の仕方を表す設定情報を意味する。ここで、画像データの構造や形式を示す設定情報とは、例えば、画像の解像度(以下、画像解像度とも記す)、画像圧縮の方式や圧縮率等の画像データの仕様を表す情報である。他方、撮像の仕方を表す設定情報とは、例えば、撮像解像度、撮像時のシャッタースピード、絞り値、撮像素子の感度(ISO感度)等の撮像時の仕様(すなわち撮像の仕方)を表す情報である。なお、本発明の実施の形態において、撮像解像度とは、撮像素子からの、複数の画素信号の読み出し解像度を意味する。撮像素子によっては、フレームレートと出力有効ライン数との組み合わせを複数、有する撮像素子がある。このような撮像素子では、例えば、第1の2次元画像を有効ライン数が少ない画素信号から形成し、第2の2次元画像を有効ライン数が多い画素信号から形成するように設定することができる。なお、上述した画像解像度は、撮像部11から出力される画像データの解像度であり、撮像解像度と同一の場合と異なる場合(例えば、間引き処理で小さくしたり、補間処理で疑似的に大きくしたりする場合)とがある。なお、第1の2次元画像とは、例えば、所定のフレームレートで繰り返し順次撮像される画像(すなわち動画像)である。そして、第2の2次元画像は、第1の2次元画像の解像度とは異なる解像度の画像(動画像又は静止画像)であったり、第1の2次元画像の撮像条件とは異なる撮像条件で撮像された画像である。
また、撮像条件には、照明部14による照明の有無や照明の強さの違いを含ませることもできる。また、これらの条件は、複数組み合わせて設定することもできる。例えば、第2の2次元画像の撮像する際に、照明部14の照明を行う又は照明を強くするとともにシャッタースピードを速くして、ぶれによる影響を小さくすることができる。あるいは、第2の2次元画像撮像する際に、照明部14の照明を行う又は照明を強くするとともに絞り値(F値)を大きくすることで(つまり絞りを絞ることで)被写界深度を深くすることができる。また、画像解像度や撮像解像度については、第2の2次元画像の解像度を、第1の2次元画像の解像度よりも高解像度とすることができる。この場合、第2の2次元画像を、3次元形状モデルを生成する際に処理対象となる画像とし、その解像度を高解像度とすることで3次元形状モデルの生成精度をより高くすることができる。これと同時に、第1の2次元画像は逐次撮像される画像であるから、第1の2次元画像を低解像度とすることで容易にフレームレートを高めたり、あるいはデータ量を少なくしたりすることができる。これらの撮像条件の設定値は、第1の2次元画像と第2の2次元画像とのそれぞれに対して予め定めた値を用いるようにしてもよいし、出力指示生成部12等から適宜に設定値を指示する情報を撮像部11に対して入力することで設定されるようにしてもよい。
また、撮像部11は、以下のように構成しても良い。すなわち、撮像部11は、第1の2次元画像を出力する際に、第2の2次元画像と同一の解像度の画像データを取得し、この画像データを自身内部の記憶部に一旦記憶させ、所定の画素のみを抽出し、第2の2次元画像より低解像度の第1の2次元画像として、出力指示生成部12や記憶部13に対して出力する。そして、撮像部11は、出力指示生成部12から出力指示が供給された際、この出力指示に対応する第1の2次元画像とした画像データを自身内部の記憶部から読み出し、そのまま撮像した際の解像度で第2の2次元画像として出力する。そして、撮像部11は、出力指示に対応して第2の2次元画像とした画像データを含め、この画像データより前の時刻に撮像した画像データを自身内部の記憶部から消去する。ここで、撮像部11の内部の記憶部は、現在記憶されている第2の2次元画像の次のタイミングにおける第2の2次元画像が取得されるまでに、取得される画像データの記憶に必要な容量のみを、例えば、実験などによって決められた容量とし、必要最小限の容量とする。
また、この場合、撮像部11は、上述した画像データとして、動画像で画像データを取得しても良いし、所定の周期で画像データを取得しても良い。この場合、第1の2次元画像と第2の2次元画像とで異なる設定は画像解像度のみとなる。したがって、撮像条件については、例えば、予め撮像データを撮像する周囲の環境によって、撮像データを撮像する際のシャッタースピード、絞り値、撮像素子の感度などの撮像条件の設定値が環境の違いにより設定しておくことができ、その時点の撮像する周囲の環境に合わせ、撮像するユーザが3次元形状計測装置1に対して設定することができる。
なお、撮像部11としては、望遠や広角に焦点距離を変化させることができる撮像部を用いてもよいし、固定された撮像部を用いてもよい。この場合、焦点距離は、例えば、出力指示生成部12等からの指示に応じて変化させることができる。また、撮像部11は、オートフォーカス機能(すなわち対象物に自動でピント(焦点)を合わせる機能)を備えてもよいし、手動フォーカス機能を備えてもよい。ただし、撮像部11は、出力指示生成部12等からの指示によらずに焦点距離を変化させる場合、焦点距離を示すデータを、撮像した画像を表す画像データである第1の2次元画像や第2の2次元画像とともに、出力指示生成部12等に対して供給できるようにしておく。
出力指示生成部12は、撮像部11が出力した第1の2次元画像と第2の2次元画像とに基づいて出力指示を生成する。
記憶部13は、出力指示に応じて撮像部11が出力した第2の2次元画像を記憶する記憶装置である。記憶部13は、出力指示に応じて撮像部11が出力した第2の2次元画像を直接記憶してもよいし、出力指示生成部12の指示に応じてあるいは一旦出力指示生成部12が撮像部11から取得した第2の2次元画像を出力指示生成部12を介して受け取ることで記憶するようにしてもよい。また、記憶部13は、第2の2次元画像を記憶するとともに、出力指示生成部12が出力指示を生成する処理の過程で算出した各種データ(例えば、画像から抽出した複数の特徴点を表すデータ、画像から抽出した複数の特徴点の異なるフレーム間での追跡結果を表すデータ、画像から復元した3次元形状データ等)を記憶してもよい。特徴点とは、ステレオ画像や動画像において画像間で点と点との対応付けがしやすい点を意味する。特徴点は、例えば、ある点(任意に選択された点、第一点)、又は、当該ある点の周囲の色、輝度、輪郭情報が、画像内の他の点(第二点)と比べて際立って異なるような点として定義される。換言すると、画像内において、色、輝度、輪郭情報の観点で、相対的な差異が際立って表れる互いに異なる2つの点のうち一方の点が、特徴点として定義される。特徴点は、頂点などとも呼ばれる。画像から特徴点を抽出する抽出アルゴリズムとしては、コーナー検出アルゴリズムとして機能する種々のアルゴリズムが提案されており、使用するアルゴリズムについては特に限定しない。但し、画像を回転、並行移動、拡大縮小しても安定して同じような領域に特徴点を抽出可能であることが望ましく、このようなアルゴリズムとしては、SIFT(US6711293)などが知られている。また、記憶部13は、第2の2次元画像を記憶するとともに、第1の2次元画像を記憶するようにしてもよい。
照明部14は、撮像部11の撮像対象物を照明する装置である。照明部14は、出力指示生成部12が出力した出力指示に対応させて、撮像部11が第2の2次元画像を撮像するタイミングに合うように撮像対象物に対して所定の照明を行う。照明部14は、フラッシュ、ストロボ等と呼ばれる撮像対象物に向けて短時間に強い光を照射する発光装置であってもよいし、所定の光を連続して発光する装置であってもよい。なお、照明部14が出力指示に対応させて撮像対象物に対して行う所定の照明とは、出力指示の有無によって発光の有り無し又は発光量の大小を異ならせる照明を意味する。つまり、照明部14は、出力指示に対応させて、撮像対象物に対して短時間の強い光を発光したり、照明の強度を強めたりする。
なお、3次元形状計測装置1は、図1に示したように、撮像部11、出力指示生成部12、記憶部13及び照明部14を一体として備えることもできるし、例えば、1又は2以上の要素(3次元形状計測装置の構成要素)の各々を別の装置で構成することもできる。例えば、撮像部11、出力指示生成部12、記憶部13及び照明部14を、一体として、携帯カメラ、携帯情報端末等の電子機器で構成することができる。また、例えば、撮像部11と記憶部13の一部又は全部を携帯カメラで構成し、出力指示生成部12と記憶部13の一部とをパーソナルコンピュータ等で構成することができる。また、照明部14は、省略することもできるし、撮像部11とは別の装置、例えば、据え置き型の照明装置で照明部14を構成してもよい。また、照明部14は、複数の発光装置を有して構成されてもよい。
さらに、3次元形状計測装置1は、無線や有線の通信装置を備え、図1に示した構成要素間を無線や有線の通信回線を介して接続してもよい。また、3次元形状計測装置1は、図1に示していない表示部、信号音出力部、表示灯や操作部を備えて、出力指示生成部12からの出力指示をその表示部、信号音出力部や表示灯に出力する構成を有してもよい。そして、撮影者が、所定の操作子を操作することで、撮像部11が第2の2次元画像を撮像するようにしてもよい。すなわち、出力指示生成部12が出力指示を出力した場合、撮像部11が直接その出力指示に応じて第2の2次元画像を撮像する構成のほか、撮影者の操作を介して撮像部11が出力指示に応じて第2の2次元画像を撮像する構成を採用することもできる。
また、3次元形状計測装置1は、例えば、出力指示生成部12内に(あるいは出力指示生成部12とは別に)複数の第1の2次元画像に基づいて、3次元形状計測装置1の移動を推定する処理を行う構成を設けることができる。この移動の推定は、例えば、複数の第1の2次元画像において各第1の2次元画像に含まれる複数の特徴点を追跡することで行うことができる(例えば、非特許文献1参照)。その際、動画像のような複数の2次元画像間で特徴点を追跡する手法としては、Kanade−Lucas−Tomasi法(KLT法)等、複数の手法が広く使用されている。この移動の推定結果は、例えば、記憶部13に記憶することができる。
また、3次元形状計測装置1は、例えば、GPS(global positioning system)受信機等を用いて自装置の位置情報を取得する機能を有したり、加速度センサ、ジャイロセンサ等を用いて自装置の移動を検知する機能を有していてもよい。この移動の検知結果は、例えば、記憶部13に記憶することができる。
次に、図2を参照して、図1を参照して説明した撮像部11の構成例について説明する。図2に示した撮像部11は、第1撮像部51aと、第2撮像部51bと、制御部52とを備えている。第1撮像部51aと第2撮像部51bとは、同一の構成を有する撮像装置である。第1撮像部51aは、光学系61a、露出制御部62a及び撮像素子65aを備えている。第2撮像部51bは、光学系61a、露出制御部62a及び撮像素子65aと同一構成の光学系61b、露出制御部62b及び撮像素子65bを備えている。第1撮像部51aと第2撮像部51bとは、撮像部11において互いに位置と向きとが異なるように配置されている。光学系61a及び61bは、1又は複数のレンズと、焦点距離を望遠又は広角に変化させるためのレンズの駆動機構やオートフォーカス用のレンズの駆動機構とを備えている。露出制御部62a及び62bは、絞り値制御部63a及び63bとシャッタースピード制御部64a及び64bとを備えている。絞り値制御部63a及び63bは、機械式絞り可変機構と、可変機構を駆動する駆動部とを備え、光学系61a及び61bから入射した光の量を可変して出射する。シャッタースピード制御部64a及び64bは、機械式シャッターと、機械式シャッターを駆動する駆動部とを備え、光学系61a及び61bから入射した光を遮断したり、所定の時間だけ通過させたりする。シャッタースピード制御部64a及び64bは、機械式シャッターに代えて電子シャッターを用いることもできる。
撮像素子65a及び65bは、光学系61a及び61b及び露出制御部62a及び62bを介して対象物の反射光を入射し、電気信号に変換して出力する。撮像素子65a及び65bは、平面上で縦横に格子状に配列した複数の受光素子によって各画素を構成している(ここで画素は画像の記録単位を意味する)。また、撮像素子65a及び65bは、各画素に対応するカラーフィルターを備えていてもよいし、備えていなくてもよい。また、撮像素子65a及び65bは、各受光素子の駆動回路や出力信号の変換回路等を有し、各画素で受光した光をデジタル又はアナログの所定の電気信号に変換して、制御部52に対して画素信号として出力する。また、撮像素子65a及び65bとしては、制御部52からの指示に応じて画素信号の読み出し解像度を可変することができる撮像素子を用いてもよい。
制御部52は、第1撮像部51a及び第2撮像部51bがそれぞれ備える光学系61a及び61b、露出制御部62a及び62b及び撮像素子65a及び65bを制御する。制御部52は、第1撮像部51a及び第2撮像部51bが出力する画素信号を所定のフレーム周期で繰り返し入力し、第1撮像部51a及び第2撮像部51bが出力した各画素信号をフレーム毎に組み合わせてプレビュー用画像Sp(図1の第1の2次元画像に対応)として出力する。制御部52は、また、出力指示生成部12から入力した出力指示に応じて、例えば、プレビュー用画像Spの撮像時の撮像条件から所定の撮像条件に変化させるとともに、その条件で第1撮像部51aと第2撮像部51bとから読み出された画素信号を1又は所定フレーム分、入力する。制御部52は、例えば、出力指示に応じて変化させた撮像条件で撮像された画像信号をフレーム毎に組み合わせて計測用ステレオ画像Sm(図1の第2の2次元画像に対応)として出力する(ここでnはペア番号を表す1〜Nまでの整数)。なお、プレビュー用画像Spは、フレーム毎に1枚のプレビュー画像を含む画像と、フレーム毎に2枚のプレビュー画像を含む画像の2種類を含む名称である。また、ステレオカメラで撮像された2枚のプレビュー画像を含む場合に特定するときには、プレビュー用ステレオ画像Spと呼ぶこととする。
また、制御部52は、内部に記憶部71を備えてもよい。この場合、制御部52は、プレビュー用画像Sp(第1の2次元画像)を出力する際に、計測用ステレオ画像Sm(第2の2次元画像)と同一の解像度の画像データを取得し、この画像データを自身内部の記憶部71に一旦記憶させ、所定の画素のみを抽出し、計測用ステレオ画像Smより低解像度のプレビュー用画像Spとして、出力指示生成部12や記憶部13に対して出力するようにしてもよい。また、この場合、制御部52は、出力指示生成部12から出力指示が供給された際、この出力指示に対応するプレビュー用画像Spとした画像データを自身内部の記憶部71から読み出し、そのまま撮像した際の解像度で計測用ステレオ画像Smとして出力する。そして、制御部52は、出力指示に対応して計測用ステレオ画像Smとした画像データを含め、この画像データより前の時刻に撮像した画像データを自身内部の記憶部71から消去する。ここで、制御部52の内部の記憶部71は、現在記憶されている計測用ステレオ画像Smの次のタイミングにおける計測用ステレオ画像Smが取得されるまでに、取得される画像データの記憶に必要な容量のみを、例えば、実験などによって決められた容量とし、必要最小限の容量とすることができる。
図2に示した構成において、第1撮像部51aと第2撮像部51bとは、ステレオカメラとして用いられる。例えば、第1撮像部51aの内部パラメータ行列Aと、第2撮像部51bの内部パラメータ行列Aとは、同一である。また、第1撮像部51aと第2撮像部51bとの間の外部パラメータ行列Mは予め所定の値に設定されている。したがって、同時に撮像された第1撮像部51aの撮像画像と第2撮像部51bの撮像画像(以下、この1対の画像をステレオ画像ペアとも呼ぶ)とに基づき画素間(あるいは副画素(サブピクセル)間)の対応付けを行うことで、当該画像を撮像した視点を基準とする3次元形状(すなわち3次元座標)を不定性無く復元することができる。
なお、内部パラメータ行列Aとは、カメラ校正行列とも呼ばれ、撮像対象物に関する物理的座標を、画像座標(すなわち第1撮像部51aの撮像素子65aの撮像面及び第2撮像部51bの撮像素子65bの撮像面を中心とした座標でありカメラ座標とも呼ばれる)へ変換する行列である。画像座標は、画素を単位とする座標である。内部パラメータ行列Aは、焦点距離、画像中心の座標、画像座標の各成分のスケールファクタ(=換算係数)、せん断係数によって表される。また、外部パラメータ行列Mは、画像座標を、ワールド座標(すなわちすべての視点や対象物に対して共通に決められた座標)に変換する行列である。外部パラメータ行列Mは、複数の視点間の3次元の回転(すなわち姿勢の変化)と並進(すなわち位置の変化)によって決まる行列である。第1撮像部51aと第2撮像部51bとの間の外部パラメータ行列Mは、例えば、第1撮像部51aの画像座標を基準とした第2撮像部51bの画像座標への回転と並進とによって表すことができる。また、ステレオ画像ペアに基づいて3次元形状を不定性無く復元するとは、内部パラメータ行列Aと外部パラメータ行列Mとがともに既知である2個の撮像部の各撮像画像から、各画素に対応する対象物の物理的な3次元座標を算出することを意味する。また、本発明の実施の形態において不定性があることとは、画像に投影され3次元形状を一意には決定できないことを意味する。
なお、図1に示した撮像部11は、必ずしも図2に示すようなステレオカメラ(つまり2台のカメラを用いた構成)としなくてもよい。例えば、撮像素子を1つのみとして(つまりカメラを1台として)、その撮像素子を移動させながら撮像した2枚の画像をステレオ画像ペアとして用いるようにしてもよい。ただし、この場合には、外部パラメータ行列Mが不定となるので一定の不定性が残ることになる。しかし、例えば、対象物の複数の基準点に関する3次元座標の実測データを用いて補正したり、あるいは、実測データを用いない場合でも現実の3次元空間ではなく不定性の存在を前提とした仮想空間内で3次元の形状を復元することなどが可能である。また、カメラの台数は、2台に限定されず、例えば、3台や4台としてもよい。
また、図1に示した撮像部11としては、例えば、特許文献1に記載されているような、深度画像の生成部とカラー画像の生成部とを備える撮像部を用いることができる。そして、この場合には、出力指示に応じて、深度画像の解像度を変更したり、深度画像とカラー画像の両方の解像度を変更したり、カラー画像の解像度を変更したりする撮像部を採用することができる。
次に、図3から図14を参照して、図1を参照して説明した出力指示生成部12の構成例について説明する。図3に示した出力指示生成部12aは、計測用ステレオ画像Sm(第2の2次元画像)に基づく3次元形状モデルを、プレビュー用画像Sp(第1の2次元画像)を撮像した視点からみた場合の形状の欠損率(すなわち形状欠損割合)に基づいて、出力指示を生成する。ここで、形状欠損割合は、計測用ステレオ画像Sm(第2の2次元画像)に基づいて求めた3次元形状モデルを、プレビュー用画像Sp(第1の2次元画像)の撮像時の視点から2次元画像として表した場合に、算出することができた画像の割合に対応している。図3では、図1に示した出力指示生成部12に対応する構成を、出力指示生成部12aとして示している。出力指示生成部12aは、例えば、CPU(中央処理装置)、RAM(ランダムアクセスメモリ)等の構成とCPUで実行されるプログラムと用いて構成することができる。図3では、そのプログラムを実行することで行われる処理(あるいは機能)を複数のブロックに分けて、出力指示生成部12aの構成要素として示している。図3に示した出力指示生成部12aは、取得した計測用ステレオ画像Smから生成された3次元形状モデルにおける形状の欠損率に基づいて次の計測用ステレオ画像Smの取得の要否を判断している。なお、本発明の実施の形態において、形状の欠損率(つまり形状欠損割合)とは、3次元形状モデルにおいて所望の点群密度にどの程度達していないのかということを意味している。ただし、この形状の欠損率は、密度、取得率、充足率あるいは完成度といった、他の語(特徴量)を用いて表すことも可能である。
なお、図4及び図5は、図3に示した出力指示生成部12aの動作を説明するためのフローチャートである。そして、図6から図14は、図3に示した出力指示生成部12aの動作例を説明するための説明図である。
図3に示した出力指示生成部12aは、プレビュー用ステレオ画像取得部31と、プレビュー用形状復元部32と、プレビュー用形状三次元特徴点算出部33と、三次元対応算出部34と、座標変換算出部35と、撮影視点算出部36と、計測形状描画部37と、形状欠損率算出部38とを備えている。出力指示生成部12aは、さらに、撮像要否判定部39と、出力指示信号出力部40と、計測用ステレオ画像取得部41と、計測形状復元部42と、計測形状統合部43と、計測形状三次元特徴点算出部44とを備えている。
プレビュー用ステレオ画像取得部31は、撮像部11からプレビュー用ステレオ画像Spをフレーム毎に入力し、プレビュー用形状復元部32に対して出力する。プレビュー用形状復元部32は、プレビュー用ステレオ画像取得部31から入力したプレビュー用ステレオ画像Spに基づいて、プレビュー用形状Gpを復元する。ここで、プレビュー用形状Gpは、プレビュー用ステレオ画像Spを撮像した際の視点からみた座標系で表されている。ここで、プレビュー用形状Gpは、プレビュー用ステレオ画像Spを構成する1対のステレオペア画像に基づいて復元された3次元形状のモデルであり、ペア画像間で対応付けられた各画素の3次元座標を表す点群モデルである。図7及び図11に、プレビュー用形状Gpを模式的に示した。図7に示したプレビュー用形状Gpは、図6において位置Pmを視点として撮像対象物100を撮像した1対のプレビュー用ステレオ画像Spから復元された3次元モデルの一例を模式的に示した図である。一方、図11に示したプレビュー用形状Gpは、図6において移動後の位置Ppを視点として撮像対象物100を撮像した1対のプレビュー用ステレオ画像Spから復元された3次元モデルの一例を模式的に示した図である。図7及び図11に示したプレビュー用形状Gpは、3次元空間内に位置する複数の点301を含んでいる。各点301を表すデータは、少なくとも各点301の位置を表す3次元座標値を示すデータを含んでいる。
なお、図6は、図1から図3を参照して説明した3次元形状計測装置1を、撮像対象物100の周囲で矢印方向に移動させながら撮像する動作を模式的に示した説明図である。
この場合、図6は、3次元形状計測装置1が有する2つの撮像部51aと撮像部51bについて、撮像部51aの撮像素子65aが形成する面である撮像面(あるいは画像面)66aと、撮像部51bの撮像素子65bが形成する面である撮像面66bとの位置関係を示している。ここで、撮像面66aの視点(つまり焦点あるいは光学中心)の位置を3次元座標点Pmで表し、Pmから撮像面66aに垂直に引いた直線である光軸の向きを表すベクトルをVm、撮像面66aに沿った上向きのベクトルをUmとして表している。また、移動後の視点の位置を3次元座標点pで表し、光軸の向きを表すベクトルをVp、撮像面66aに沿った上向きのベクトルをUpとして表している。ここで、Pm、Vm及びUmで表される視点は、最初の撮像を行った際の視点であり、出力指示生成部12aでは、ワールド座標における基準視点として用いている。
次に、プレビュー用形状三次元特徴点算出部33は、プレビュー用形状復元部32が復元したプレビュー用形状Gpから、三次元特徴点群Fpを抽出して出力する。図8及び図12に三次元特徴点群Fpの一例を模式的に示した。図8に示した三次元特徴点群Fpは、図7に示したプレビュー用形状Gpを構成する複数の点301のうち、所定の条件に従って抽出された0個以上の特徴点302を含んで構成されている。図12に示した三次元特徴点群Fpは、図11に示したプレビュー用形状Gpを構成する複数の点301のうち、所定の条件に従って抽出された0個以上の特徴点302を含んで構成されている。
三次元対応算出部34は、プレビュー用形状Gpから抽出された三次元特徴点群Fpと、計測形状Giから抽出された三次元特徴点群Fiとを対応付ける計算処理を行い、対応付けの結果を表す3次元対応行列M(以下、3次元対応Mと称する)を出力する。ここで、計測形状Giは、計測形状統合部43で求められた3次元形状モデルであり、計測用ステレオ画像Smに基づいて復元された点群モデルを表す。また、計測形状Giは、Pm、Vm及びUmで表される基準視点からみたワールド座標系で表されている。図9に計測形状Giの一例を模式的に示した。図9に示した計測形状Giは、3次元空間内に位置する複数の点401を含んでいる。各点401を表すデータは、少なくとも各点401の位置を表す3次元座標値を示すデータを含んでいる。また、図10に計測形状Giから抽出された三次元特徴点群Fiの一例を模式的に示した。図10に示した三次元特徴点群Fiは、図9に示した計測形状Giを構成する複数の点401のうち、所定の条件に従って抽出された0個以上の特徴点402を含んで構成されている。
座標変換算出部35は、3次元対応Mに基づいて、プレビュー用形状Gpの座標系と、計測形状Giの座標系との座標変換を表す座標変換行列T(以下、座標変換Tと称する)を算出して、出力する。プレビュー用形状Gpの座標系は、例えば、図6に示した移動後の未知の視点(位置Pp、向きVp、上方向ベクトルUp)から見た座標系である。一方、計測形状Giの座標系は、図6に示した基準視点(位置Pm、向きVm、上方向ベクトルUm)から見たワールド座標系である。
撮影視点算出部36は、座標変換Tと基準視点(位置Pm、向きVm、上方向ベクトルUm)を表す各パラメータとに基づいて、プレビュー用ステレオ画像Spを撮像した際の撮像視点(位置Pp、向きVp、上方向ベクトルUp)を算出して、出力する。
計測形状描画部37は、撮影視点算出部36が算出した撮像視点(位置Pp、向きVp、上方向ベクトルUp)と、カメラの内部パラメータA(すなわち内部パラメータ行列Aの各要素を表すパラメータ)を用いて、計測形状統合部43が求めた計測形状Giを撮像視点(位置Pp、向きVp、上方向ベクトルUp)から描画した2次元画像Ipを算出する。図13に画像Ipの一例を模式的に示した。画像Ipは、複数の画素501から構成される画像である。図13に示した例では、図6に示した撮像対象物100に対応する画素のみを示しているが、画像Ipは背景の一部又は全部を含めて2次元画像の全面にわたるような画像であってもよい。
形状欠損率算出部38は、計測形状描画部37が描画した統合済み計測形状Giを表す画像Ipから形状が描画されているピクセル数の全画素数に対する割合Xpを算出する。ここで、割合Xpは、形状欠損率を表す値である。割合Xpは、全画素数を分母として求めることもできるし、画像中の一定の領域が有する画素数を分母として求めることもできる。つまり、全画素数は、画像全体の画素数を表してもよいし、画像中の一部の領域が有する画素数のすべてを表してもよい。例えば、対象物が大きく撮像画像の全面にわたるような場合には、画像の全画素数を分母として割合Xpを求めることが望ましい場合があると考えられる。一方、図13に示したように、対象物が比較的小さく、対象物の周りを移動しながら対象物を撮像するような場合には、画像中の一部の領域が有する画素数のすべてを分母として割合Xpを求めることが望ましい場合があると考えられる。なお、一部の領域が有する画素数のすべてを分母とする場合としては、例えば、図14に示したように、プレビュー用ステレオ画像Spから対象物の境界を含む領域を認識し、その境界内に含まれる画素数を分母とする場合が考えられる。図14は、図13に示した画像Ipと、プレビュー用ステレオ画像Spから認識した撮像対象物100の領域を示す複数の画素701からなる画像Ibとを重ねて示している。この場合、画像Ibの画素数(ただし、画像Ipの解像度を考慮した変換を行った値を用いる)を分母として、画像Ipの画素数を分子として割合Xpを算出する。
撮像要否判定部39は、形状欠損率算出部38が算出した割合Xpと、所定の閾値Xtとを比較することで、プレビュー用ステレオ画像取得部31がプレビュー用ステレオ画像Spを取得した際の視点の位置で、計測用ステレオ画像Smを取得する必要があるか否かを判定する。ここで、所定の閾値Xtは、形状欠損率を示す割合Xpが、計測用ステレオ画像Smの取得を必要とする値であるのか否かを判断する際の基準として用いられる値である。閾値Xtとしては、事前に設定した値を用いてもよいし、取得した計測用ステレオ画像Smのペア数等に合わせて可変な値を用いてもよい。撮像要否判定部39は、条件:Xp<Xtが成立した場合、次の計測用ステレオ画像Smの取得が必要であると判定する。他方、条件:Xp<Xtが成立しなかった場合、撮像要否判定部39は、次の計測用ステレオ画像Smの取得が不要であると判定する。撮像要否判定部39は、最後にプレビュー用ステレオ画像Spを撮像した視点(あるいはほぼ同一の視点)で次の計測用ステレオ画像Smを取得することが必要であると判定すると、出力指示信号出力部40に対してその旨(判定結果)を示す信号を出力する。一方、不要であると判定した場合、撮像要否判定部39は、プレビュー用ステレオ画像取得部31に対してその旨(判定結果)を示す信号を出力する。
出力指示信号出力部40は、撮像要否判定部39から次の計測用ステレオ画像Smの取得が必要であることを示す信号を入力すると、撮像部11等に対して出力指示信号を出力する。また、プレビュー用ステレオ画像取得部31は、撮像要否判定部39から次の計測用ステレオ画像Smの取得が不要であることを示す信号を入力すると、次のプレビュー用ステレオ画像Spの取得処理を行う(例えば、撮像部11から次のプレビュー用ステレオ画像Spが出力するまで待機する処理を行う)。
計測用ステレオ画像取得部41は、出力指示信号出力部40が出力した出力指示信号に対応して撮像部11が撮像した計測用ステレオ画像Smを取得して、計測形状復元部42に対して出力する。
計測形状復元部42は、計測用ステレオ画像Smに基づいて、計測形状Gmを復元する。ここで、計測形状Gmは、計測用ステレオ画像Smに基づいて復元された点群モデルを表す。この計測形状Gmは、計測用ステレオ画像Smを取得した撮像部11の視点を基準とする座標系で表されている。
計測形状統合部43は、計測形状復元部42が復元した計測形状Gmを、これまでに復元された1又は複数の計測形状Gmから生成された3次元モデルである計測形状Giに統合して、更新された計測形状Giを出力する(図9参照)。その際、計測形状統合部43は、例えば、プレビュー用ステレオ画像Spに含まれる複数の特徴点の追跡結果に基づいて推定した撮像部11の移動の推定結果に応じて、計測形状Gmの座標系を、計測形状Giの座標系すなわちワールド座標系に変換する。あるいは、計測形状統合部43は、計測用ステレオ画像Smに含まれる複数の特徴点の追跡結果に基づいて推定した撮像部11の移動の推定結果に応じて、計測形状Gmの座標系を、計測形状Giの座標系すなわちワールド座標系に変換するようにしてもよい。この場合には、プレビュー用ステレオ画像Spに含まれる複数の特徴点の追跡結果に基づくときと比べて、より高精度の座標変換を行うことができる。
計測形状三次元特徴点算出部44は、計測形状統合部43によって統合された計測形状Giから三次元特徴点群Fiを算出する(図10参照)。計測形状三次元特徴点算出部44が三次元特徴点群Fiを算出すると、プレビュー用ステレオ画像取得部31が次のプレビュー用ステレオ画像Spの取得処理を行う。
次に、図4及び図5を参照して、図3に示した出力指示生成部12aを備える3次元形状計測装置1の動作例について説明する。なお、図4と図5のフローは、1対の結合子A及び1対の結合子Bで互いに接続されている。例えば、撮影者が所定の指示操作を行うと、出力指示生成部12aでは、プレビュー用ステレオ画像取得部31が、プレビュー用ステレオ画像Spを取得する(ステップS301)。次に、プレビュー用形状復元部32が、プレビュー用ステレオ画像Spからプレビュー用形状Gpを復元する(ステップS302)。次に、プレビュー用形状三次元特徴点算出部33が、プレビュー用形状Gpから三次元特徴点群Fpを算出する(ステップS303)。次に、三次元対応算出部34が、プレビュー用形状Gpから抽出された三次元特徴点群Fpと統合された計測形状Giから抽出された三次元特徴点群Fiを対応付け、三次元対応Mを得る(ステップS304)。次に、座標変換算出部35が、三次元対応Mからプレビュー用形状Gpの座標系と統合された計測形状Giの座標系の間の座標変換Tを算出する(ステップS305)。次に、撮影視点算出部36が、座標変換Tと基準視点(位置Pm、向きVm、上方向ベクトルUm)からプレビュー用ステレオ画像Spの撮影視点(位置Pp、向きVp,上方向ベクトルUp)を算出する(ステップS306)。
次に、計測形状描画部37が、算出された撮影視点(位置Pp、向きVp、上方向ベクトルUp)からカメラパラメータAを用いて、統合された計測形状Giを描画した画像Ipを得る(ステップS307)。次に、形状欠損率算出部38が、描画された統合済み計測形状Giの画像Ipから形状が描画されているピクセル数の全画素数に対する割合Xpを算出する(ステップS308)。次に、撮像要否判定部39が、次の条件の成立/不成立を判定する(条件:Xp<Xt)(ステップS309)。
ここで条件が成立した場合、出力指示信号出力部40が、出力指示信号を出力する(ステップS310)。次に、計測用ステレオ画像取得部41が、計測用ステレオ画像Smを取得する(ステップS311)。次に、計測形状復元部42が、計測用ステレオ画像Smから計測形状Gmを復元する(ステップS312)。次に、計測形状統合部43が、計測形状Gmをこれまでに統合された計測形状Giに統合する(ステップS313)。次に、計測形状三次元特徴点算出部44が、統合された計測形状Giから三次元特徴点群Fiを算出する(ステップS314)。ここで、処理がステップS301に戻って上記の処理が繰り返し実行される。
一方、ステップS309で条件が不成立の場合、処理がステップS301に戻って上記の処理が繰り返し実行される。
以上のようにして、本実施形態の3次元形状計測装置1では、逐次撮像するプレビュー用ステレオ画像Sp(第1の2次元画像)と3次元形状モデルを生成する際に処理対象とする計測用ステレオ画像Sm(第2の2次元画像)とに基づいて次の計測用ステレオ画像Sm(第2の2次元画像)の取得の要否を判定する。したがって、例えば、プレビュー用ステレオ画像Sp(第1の2次元画像)に基づいて取得タイミングを適切に設定し、計測用ステレオ画像Sm(第2の2次元画像)に基づいて取得する画像の量を適切に設定することができ、一定の時間間隔で取得する場合に比べて容易に取得タイミングを適切に設定することができる。
また、本実施形態の出力指示生成部12aは、計測用ステレオ画像Sm(第2の2次元画像)に基づく3次元形状モデルGiを、プレビュー用ステレオ画像Sp(第1の2次元画像)を撮像した視点からみた場合の形状欠損割合に基づいて、次の計測用ステレオ画像Sm(第2の2次元画像)の取得の要否を判定する。したがって、3次元モデルを生成した際に必要とする計測用ステレオ画像Sm(第2の2次元画像)が不足していることを精度よく推定することができ、取得の要否の判断を精度よく行うことができる。また、形状欠損割合は、計測用ステレオ画像Sm(第2の2次元画像)に基づいて求めた3次元形状モデルGiを、プレビュー用ステレオ画像Sp(第1の2次元画像)の撮像時の視点から2次元画像として表した場合に算出することができた画像Ipの割合に対応している。したがって、撮像部11の位置や向きを考慮して精度良く取得の要否を判定することができる。
なお、撮像部11に距離画像を出力する機能を備える場合には、プレビュー用ステレオ画像Sp(第1の2次元画像)を例えば、解像度が小さい距離画像とし、計測用ステレオ画像Sm(第2の2次元画像)を例えば、解像度が大きい距離画像とすることができる。この場合、深度画像に含まれる各画素の深度情報(あるいはデプス値、奥行き値、距離情報)を利用して3次元形状モデルを算出することができる。
なお、本発明の実施の形態は、上記実施形態に限定されない。例えば、3次元形状計測装置1は、撮像した画像に基づいて復元した3次元モデルを表示する表示部等を備えるなど、3次元モデルを復元したり、復元した結果を出力する構成を備える等の変更を適宜行うことができる。また、3次元形状計測装置1は、1又は複数のCPUと、CPUで実行されるプログラムとを用いて構成することができ、そのプログラムは、コンピュータ読み取り可能な記録媒体や通信回線を介して流通等させることができる。
1 3次元形状計測装置11 撮像部12、12a 出力指示生成部13 記憶部14 照明部

Claims (8)

  1. 撮像した第1の2次元画像を逐次出力するとともに、撮像した前記第1の2次元画像とは設定が異なる第2の2次元画像を所定の出力指示に対応させて出力する撮像部と、
    前記撮像部が出力した前記第2の2次元画像に基づく3次元形状モデルを前記第1の2次元画像を撮像した視点からみた場合の形状欠損割合に基づいて、前記出力指示を生成する出力指示生成部と、
    前記撮像部が出力した前記第2の2次元画像を記憶する記憶部と
    を備える3次元形状計測装置。
  2. 前記第1の2次元画像と前記第2の2次元画像とは画像の解像度の設定が異なり、
    前記第2の2次元画像が、前記第1の2次元画像よりも高解像度である請求項1に記載の3次元形状計測装置。
  3. 前記形状欠損割合は、前記第2の2次元画像に基づいて求めた前記3次元形状モデルを、前記第1の2次元画像の撮像時の視点から2次元画像として表した場合に、算出することができた画像の割合に対応する請求項1又は請求項2に記載の3次元形状計測装置。
  4. 前記第1の2次元画像と前記第2の2次元画像とは画像を撮像する際のシャッタースピード、絞り値又は撮像素子の感度の少なくとも1つの設定が異なる請求項1から請求項3のいずれか一項に記載の3次元形状計測装置。
  5. 撮像対象物を照明する照明部を備え、
    前記出力指示に対応させて、前記撮像部が前記第2の2次元画像を撮像するとともに、前記照明部が前記撮像対象物に対して所定の照明を行うことを特徴とする請求項1から請求項4のいずれか一項に記載の3次元形状計測装置。
  6. 前記第1の2次元画像と前記第2の2次元画像が、深度画像であることを特徴とする請求項1から請求項3のいずれか一項に記載の3次元形状計測装置。
  7. 撮像した第1の2次元画像を逐次出力するとともに、撮像した前記第1の2次元画像とは設定が異なる第2の2次元画像を所定の出力指示に対応させて出力する撮像部を用い、
    前記撮像部が出力した前記第2の2次元画像に基づく3次元形状モデルを前記第1の2次元画像を撮像した視点からみた場合の形状欠損割合に基づいて、前記出力指示を生成し、
    前記撮像部が出力した前記第2の2次元画像を記憶する3次元形状計測方法。
  8. 撮像した第1の2次元画像を逐次出力するとともに、撮像した前記第1の2次元画像とは設定が異なる第2の2次元画像を所定の出力指示に対応させて出力する撮像部を用い、
    前記撮像部が出力した前記第2の2次元画像に基づく3次元形状モデルを前記第1の2次元画像を撮像した視点からみた場合の形状欠損割合に基づいて、前記出力指示を生成する出力指示生成ステップと、
    前記撮像部が出力した前記第2の2次元画像を記憶する記憶ステップとを
    コンピュータに実行させる3次元形状計測プログラム。
JP2015512469A 2013-04-19 2014-04-14 3次元形状計測装置、3次元形状計測方法及び3次元形状計測プログラム Active JP6304244B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013088555 2013-04-19
JP2013088555 2013-04-19
PCT/JP2014/060591 WO2014171418A1 (ja) 2013-04-19 2014-04-14 3次元形状計測装置、3次元形状計測方法及び3次元形状計測プログラム

Publications (2)

Publication Number Publication Date
JPWO2014171418A1 JPWO2014171418A1 (ja) 2017-02-23
JP6304244B2 true JP6304244B2 (ja) 2018-04-04

Family

ID=51731359

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015512469A Active JP6304244B2 (ja) 2013-04-19 2014-04-14 3次元形状計測装置、3次元形状計測方法及び3次元形状計測プログラム

Country Status (5)

Country Link
US (1) US9704255B2 (ja)
EP (1) EP2990757B1 (ja)
JP (1) JP6304244B2 (ja)
CN (1) CN105190229B (ja)
WO (1) WO2014171418A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014171438A1 (ja) * 2013-04-19 2014-10-23 凸版印刷株式会社 3次元形状計測装置、3次元形状計測方法及び3次元形状計測プログラム
JP6102648B2 (ja) * 2013-09-13 2017-03-29 ソニー株式会社 情報処理装置及び情報処理方法
CN105893769B (zh) * 2016-04-11 2018-06-26 刘国远 一种合金脑颅骨修复体的制备方法
US10502941B2 (en) * 2017-09-29 2019-12-10 Leica Biosystmes Imaging, Inc. Two-dimensional and three-dimensional fixed Z scanning
WO2020111139A1 (ja) * 2018-11-29 2020-06-04 Necソリューションイノベータ株式会社 座標算出装置、座標算出方法、及びコンピュータ読み取り可能な記録媒体
JP2020101845A (ja) * 2018-12-19 2020-07-02 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法、およびプログラム
JP7134413B2 (ja) * 2019-06-17 2022-09-12 オムロン株式会社 計測装置、計測方法、及び計測プログラム
JP7280775B2 (ja) * 2019-08-06 2023-05-24 株式会社キーエンス 三次元形状測定装置及び三次元形状測定方法
CN112509129B (zh) * 2020-12-21 2022-12-30 神思电子技术股份有限公司 一种基于改进gan网络的空间视场图像生成方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6445814B2 (en) * 1996-07-01 2002-09-03 Canon Kabushiki Kaisha Three-dimensional information processing apparatus and method
JPH1023465A (ja) * 1996-07-05 1998-01-23 Canon Inc 撮像方法及び装置
US6233049B1 (en) * 1998-03-25 2001-05-15 Minolta Co., Ltd. Three-dimensional measurement apparatus
US6711293B1 (en) 1999-03-08 2004-03-23 The University Of British Columbia Method and apparatus for identifying scale invariant features in an image and use of same for locating an object in an image
JP2003216933A (ja) * 2002-01-28 2003-07-31 Minolta Co Ltd データ処理装置、記録媒体およびプログラム
CN101288105B (zh) 2005-10-11 2016-05-25 苹果公司 用于物体重现的方法和系统
EP1993278A1 (en) * 2006-03-03 2008-11-19 Olympus Corporation Imaging device, processing method for obtaining high-resolution, processing program for obtaining high-resolution, and recording medium
JP5592070B2 (ja) 2006-03-14 2014-09-17 プライム センス リミティド 三次元検知のために深度変化させる光照射野
JP4910754B2 (ja) * 2007-02-20 2012-04-04 パルステック工業株式会社 3次元形状測定装置
JP2009168536A (ja) * 2008-01-15 2009-07-30 Fujifilm Corp 3次元形状測定装置および方法、3次元形状再生装置および方法並びにプログラム
US8456517B2 (en) 2008-07-09 2013-06-04 Primesense Ltd. Integrated processor for 3D mapping
GB0822605D0 (en) * 2008-12-11 2009-01-21 Pneumacare Ltd Method and apparatus for monitoring an object
JP5290233B2 (ja) * 2010-04-13 2013-09-18 Ckd株式会社 三次元計測装置及び基板検査装置
JP2012015674A (ja) * 2010-06-30 2012-01-19 Fujifilm Corp 撮像装置ならびにその動作制御方法およびそのプログラム
JP5567922B2 (ja) * 2010-07-21 2014-08-06 キヤノン株式会社 画像処理装置及びその制御方法
US8452081B2 (en) * 2011-01-11 2013-05-28 Eastman Kodak Company Forming 3D models using multiple images
US8447099B2 (en) * 2011-01-11 2013-05-21 Eastman Kodak Company Forming 3D models using two images
JP5864950B2 (ja) * 2011-08-15 2016-02-17 キヤノン株式会社 三次元計測装置、三次元計測方法およびプログラム
US8666119B1 (en) * 2011-11-29 2014-03-04 Lucasfilm Entertainment Company Ltd. Geometry tracking
US8259161B1 (en) * 2012-02-06 2012-09-04 Google Inc. Method and system for automatic 3-D image creation

Also Published As

Publication number Publication date
JPWO2014171418A1 (ja) 2017-02-23
EP2990757B1 (en) 2019-01-30
US20160042523A1 (en) 2016-02-11
US9704255B2 (en) 2017-07-11
EP2990757A1 (en) 2016-03-02
EP2990757A4 (en) 2016-12-21
CN105190229B (zh) 2018-07-31
WO2014171418A1 (ja) 2014-10-23
CN105190229A (zh) 2015-12-23

Similar Documents

Publication Publication Date Title
JP6304244B2 (ja) 3次元形状計測装置、3次元形状計測方法及び3次元形状計測プログラム
US20120242795A1 (en) Digital 3d camera using periodic illumination
JP4886716B2 (ja) 画像処理装置および方法並びにプログラム
JP6589636B2 (ja) 3次元形状計測装置、3次元形状計測方法及び3次元形状計測プログラム
CN107517346B (zh) 基于结构光的拍照方法、装置及移动设备
WO2014044126A1 (zh) 坐标获取装置、实时三维重建系统和方法、立体交互设备
JP2016527478A (ja) 三次元撮影装置、三次元画像の作成方法、および、三次元撮影装置の設定方法
JP2012103109A (ja) ステレオ画像処理装置、ステレオ画像処理方法及びプログラム
JP2014010495A (ja) 画像処理装置及びそれを備えた撮像装置、画像処理方法、並びに画像処理プログラム
JP6409769B2 (ja) 3次元形状計測装置、3次元形状計測方法及び3次元形状計測プログラム
KR101296601B1 (ko) 지리 정보 파노라마 사진의 제작을 위한 카메라 제어 시스템 및 방법
JP2008275366A (ja) ステレオ3次元計測システム
JP2008015815A (ja) 画像処理装置、および画像処理プログラム
JP5336325B2 (ja) 画像処理方法
JP2004364212A (ja) 物体撮影装置、物体撮影方法及び物体撮影プログラム
JP6625654B2 (ja) 投影装置、投影方法、および、プログラム
KR101857977B1 (ko) 플래놉틱 카메라와 깊이 카메라를 결합한 영상 장치 및 영상 처리 방법
JP2009186369A (ja) 奥行き情報取得方法、奥行き情報取得装置、プログラムおよび記録媒体
JP2008157780A (ja) 3次元データ生成装置、画像取得装置、3次元データ生成方法、画像取得方法およびプログラム
JP2015005200A (ja) 情報処理装置、情報処理システム、情報処理方法、プログラムおよび記憶媒体
JP2009237652A (ja) 画像処理装置および方法並びにプログラム
JP6292785B2 (ja) 画像処理装置、画像処理方法およびプログラム
WO2023042604A1 (ja) 寸法計測装置、寸法計測方法及びプログラム
JP2023137064A (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
JP2014134426A (ja) 3次元計測装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170317

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180219

R150 Certificate of patent or registration of utility model

Ref document number: 6304244

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250