JP7236854B2 - 形状情報取得装置および形状情報取得方法、プログラム並びに記憶媒体 - Google Patents

形状情報取得装置および形状情報取得方法、プログラム並びに記憶媒体 Download PDF

Info

Publication number
JP7236854B2
JP7236854B2 JP2018231940A JP2018231940A JP7236854B2 JP 7236854 B2 JP7236854 B2 JP 7236854B2 JP 2018231940 A JP2018231940 A JP 2018231940A JP 2018231940 A JP2018231940 A JP 2018231940A JP 7236854 B2 JP7236854 B2 JP 7236854B2
Authority
JP
Japan
Prior art keywords
shape information
image
projection
illumination
pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018231940A
Other languages
English (en)
Other versions
JP2020094876A (ja
Inventor
聖雄 池本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2018231940A priority Critical patent/JP7236854B2/ja
Priority to US16/701,998 priority patent/US11176695B2/en
Publication of JP2020094876A publication Critical patent/JP2020094876A/ja
Application granted granted Critical
Publication of JP7236854B2 publication Critical patent/JP7236854B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/586—Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133—Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/1333—Constructional arrangements; Manufacturing methods
    • G02F1/1335—Structural association of cells with optical devices, e.g. polarisers or reflectors
    • G02F1/133528—Polarisers
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133—Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/1333—Constructional arrangements; Manufacturing methods
    • G02F1/1335—Structural association of cells with optical devices, e.g. polarisers or reflectors
    • G02F1/13363—Birefringent elements, e.g. for optical compensation
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133—Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/1333—Constructional arrangements; Manufacturing methods
    • G02F1/1337—Surface-induced orientation of the liquid crystal molecules, e.g. by alignment layers
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133—Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/1333—Constructional arrangements; Manufacturing methods
    • G02F1/1337—Surface-induced orientation of the liquid crystal molecules, e.g. by alignment layers
    • G02F1/133742—Surface-induced orientation of the liquid crystal molecules, e.g. by alignment layers for homeotropic alignment
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F2413/00—Indexing scheme related to G02F1/13363, i.e. to birefringent elements, e.g. for optical compensation, characterised by the number, position, orientation or value of the compensation plates
    • G02F2413/01—Number of plates being 1

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、物体の形状情報を取得する技術に関する。
被写体の面法線情報を取得する方法として照度差ステレオ法が知られている（非特許文献１）。照度差ステレオ法は、異なる位置に配置された複数の照明部を個別に点灯し、被写体に対して異なる方向から照明して撮影することで複数の画像を取得する。そして、例えば照度差ステレオ法を用いる場合は、各照明部の照明方向と照明部ごとの画像の輝度情報とに基づいて被写体の面法線情報を算出することができる。
照度差ステレオ法により取得した面法線情報は、例えば画像処理に用いることができる。撮影時とは異なる環境光下で撮影した画像と同等の画像を、面法線情報などの形状情報と環境光の光源位置や光量の情報とを用いて画像処理により再現することができる。
松下康之、"照度差ステレオ"、情報処理学会研究報告、Ｖｏｌ．２０１１－ＣＶＩＭ－１７７、Ｎｏ．２９、ｐｐ．１－１２、２０１１
照度差ステレオ法のように各照明部の照明方向情報と輝度情報を用いて面法線情報を算出する場合、照明部の設置時のズレや経時変化により所定の位置からズレが生じると、照明方向にもズレが生じるため、面法線情報にも算出誤差が生じる。
本発明は、上記課題に鑑みてなされ、その目的は、形状情報の算出誤差を低減し、高精度な形状情報を取得できる技術を実現することである。
上記課題を解決し、目的を達成するために、本発明の形状情報取得装置は、照明部により被写体を異なる方向から照明した照度差画像と、前記照明部とは既知の位置関係にある投影部により被写体に所定のパターン光を投影したパターン投影画像とを取得する取得手段と、前記パターン投影画像に基づいて前記照明部の位置を検出する検出手段と、前記照度差画像と前記照明部の位置とに基づいて前記被写体の形状情報を算出する形状算出手段と、を有する。
本発明によれば、照明部の位置がずれた場合でも、形状情報の算出誤差を低減し、高精度な形状情報を取得することができる。
実施形態１の装置構成の一例を模式的に示すブロック図。 実施形態１の撮影素子の構成の一例を示す模式図。 実施形態１の形状情報取得処理の一例を示すフローチャート。 実施形態１の形状算出方法の一例を示す図。 実施形態１の他の形状情報取得処理の一例を示す図。 実施形態１の他の形状情報取得処理の一例を示す模式図。 実施形態２の装置構成の一例を模式的に示すブロック図。 実施形態２の形状情報取得処理の一例を示すフローチャート。 実施形態３の装置構成の一例を模式的に示すブロック図。
以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正または変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成してもよい。
［実施形態１］以下、実施形態１について説明する。
＜装置構成＞まず、図１を参照して、実施形態１の形状情報取得装置の構成および機能について説明する。
実施形態１の形状情報取得装置１００は、照明装置１０１により被写体１０２に対して照明を行い、撮影装置１０３にて撮影を行う。撮影装置１０３は、結像光学系１０４、撮像素子１０５、ＣＰＵ（演算処理部）１０６、内蔵メモリ１０７を備える。また、照明装置１０１と撮影装置１０３は制御部１０８に接続され、それぞれの装置の動作が同期して制御される。制御部１０８は、装置の各構成要素を制御する。また、制御部１０８は、ＣＰＵが内蔵メモリに格納されているプログラムを読み出して後述するフローチャートの処理を実行する。
照明装置１０１は、複数の照明部１１０と、投影部１１１と、照明部１１０および投影部１１１を撮影装置１０３に取り付けるための固定部１１２と、を備える。複数の照明部１１０は、各照明部１１０の光源により被写体を異なる位置（方向）から照明可能に構成されている。照明部１１０は、結像光学系１０４の光軸を中心とする１つの円周上に回転対称に複数配置されている。なお、照度差ステレオ法を実施する場合には、照明方向が少なくとも３方向必要であるため、照明部１１０は３個以上備えていればよい。また、本実施形態では複数の照明部１１０を結像光学系１０４の光軸を中心とする１つの円周上に回転対称に配置しているが、必ずしも回転対称に配置する必要はなく、非対称に配置してもよい。また、隣接する照明部１１０の間隔は、等間隔でなく不等間隔であってもよい。照明部１１０の間は隙間をあけないで配置してもよい。
投影部１１１は、空間的な輝度変化を有するパターン光を被写体に照射可能に構成されている。投影部１１１は、例えばＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）のような光源と、結像レンズと、すりガラスや金属板などにパターンを形成したパターンマスクとで構成することができる。装置コストの低減、装置の小型化の観点から好適である。本実施形態において投影可能なパターン光を図１（ｃ）に示す。パターン光１０９は、ｘ軸方向に所定輝度値を超える高輝度領域と所定輝度値以下の低輝度領域とが交互に繰り返され、ｙ軸方向に長い線状（ライン状）の輝度領域を有するラインパターン光である。なお、投影部１１１は照明部１１０と同じ円周上に配置しなくてもよく、異なる距離に配置してもよい。
固定部１１２は、照明装置１０１（照明部１１０と投影部１１１）を撮影装置１０３または三脚などの撮影補助機材（不図示）に取り付けるための部材である。照明部１１０と投影部１１１は、固定部１１２に対してそれぞれ一体として構成しても、着脱可能に構成してもよい。固定部１１２は撮影装置１０３または撮影補助機材に対して一体として構成しても、着脱可能に構成してもよい。
照明部１１０および投影部１１１の位置関係は図１（ｂ）のように結像光学系１０４の光軸１４０に垂直な平面において、光軸１４０から等距離にある１つの円周１４１上にある位置関係となっている。所定の位置に照明装置１０１を設置した場合の、照明部１１０の位置および投影部１１１の位置を基準位置と呼ぶ。このときの照明装置１０１の位置を基準取り付け位置と呼ぶ。本実施形態では図１（ｂ）のように、照明装置１０１を正面から見たときに投影部１１１が真上になるように照明装置１０１を設置したときの照明装置１０１の位置を基準取り付け位置とし、投影部１１１および照明部１１０の各位置を基準位置とする。照明部１１０および投影部１１１の基準位置情報は内蔵メモリ１０７あるいは照明装置１０１に設けられたメモリに記録されている。
結像光学系１０４は、被写体の像を撮像面である撮像素子１０５に形成する機能を有する。結像光学系１０４は複数のレンズ群（不図示）、絞り（不図示）を備え、撮像素子１０５から所定距離離れた位置に射出瞳１３０を有する。なお、図１（ａ）中の符号１４０は結像光学系１０４の光軸を示し、本実施形態では、光軸１４０はｚ軸と平行とする。さらに、ｘ軸とｙ軸は互いに直交し、光軸と垂直な軸とする。
撮像素子１０５には複数の画素が配置され、各画素は図２（ａ）に示す断面図のように、マイクロレンズ２０１、カラーフィルタ２０２、光電変換部２０３Ａ、２０３Ｂを備える。撮像素子１０５は画素ごとにカラーフィルタ２０２によって検出する波長帯域に応じたＲＧＢ（Ｒｅｄ，Ｇｒｅｅｎ，Ｂｌｕｅ）の分光特性が与えられ、ベイヤー配列などの公知の配色パターンによってｘｙ平面に二次元状に配置されている。基板２０４には、検出する波長帯域に感度を有する光電変換部が形成されている。また、各画素には、図示しない配線を備えている。
図２（ｂ）は光軸１４０と撮像素子１０５の交点（中心像高）から、結像光学系１０４の射出瞳１３０を見た図である。光電変換部２０３Ａおよび光電変換部２０３Ｂには、それぞれ射出瞳１３０の異なる領域である第一の瞳領域２１０を通過した第一の光束および第二の瞳領域２２０を通過した第二の光束が入射する。光電変換部２０３Ａおよび光電変換部２０３Ｂに入射した光束をそれぞれ光電変換することで、Ａ画像およびＢ画像を生成する。取得されたＡ画像とＢ画像は演算処理部１０６に送られ、所定の距離演算処理により距離情報が算出され、内蔵メモリ１０７に蓄えられる。また、Ａ画像とＢ画像を加算した画像は、画像情報として利用することができる。
図２（ｂ）は第１の瞳領域２１０の重心位置（第１の重心位置）２１１、第２の瞳領域２２０の重心位置（第２の重心位置）２２１をそれぞれ示している。本実施形態において、第１の重心位置２２１は、射出瞳１３０の中心から第１の軸２００に沿って偏心（移動）している。一方、第２の重心位置２２１は、第１の軸２００に沿って、第１の重心位置２１１とは逆の方向に偏心（移動）している。第１の重心位置２１１と第２の重心位置２２１とを結ぶ方向を瞳分割方向と呼ぶ。また、重心位置２１１と重心位置２２１との重心間距離が基線長２２２となる。Ａ画像とＢ画像は、デフォーカスによって瞳分割方向と同じ方向（本実施形態ではｘ軸方向）に位置ズレが生じている。この画像間の相対的な位置ズレ量、すなわちＡ画像とＢ画像の視差量は、デフォーカス量に応じた量となる。よって、この視差量を後述する方法により取得し、既知の変換方法によって視差量をデフォーカス量または距離に変換することができる。
（照度差画像を用いた形状算出）
本実施形態では、照度差ステレオ法を利用して、照明部１１０を個別にオン／オフ（点灯／消灯）させ、撮影装置１０３で取得した複数の画像からなる照度差画像に基づいて被写体の面法線情報を取得可能である。
照度差ステレオ法は、被写体に対する照明方向と被写体の面法線とに基づく反射特性を仮定し、複数の光源位置から照明し、撮影することで取得した被写体の輝度情報と仮定した反射特性から面法線情報を算出する方法である。反射特性は、例えばランバートの余弦則に従うランバート反射モデルを用いることができる。輝度情報は、光源が点灯している場合と消灯している場合のそれぞれの被写体を撮像し、これらの差分をとることで環境光等の光源以外の光源による影響を除いてもよい。
以下、ランバート反射モデルで反射特性を仮定した場合について説明する。異なるＭ個（Ｍ≧３）の光源ベクトル（物体から光源への方向を示す単位ベクトル）の各成分をｓ1、ｓ2、・・・、ｓM、光源ベクトルの成分ごとの輝度値をｉ1、ｉ2、・・・、ｉM、とする。ランバート拡散反射率をρd、入射光の強さをＥ、物体から光源への方向を示す単位ベクトル、物体の単位面法線ベクトルをｎとすると、以下の式１の関係が成り立つ。
（式１）
Figure 0007236854000001
Ｅρdを１つの変数とみなすと、式１は単位面法線ベクトルｎの２自由度と合わせて未知の３変数を決定する連立方程式とみなすことができる。したがって、少なくとも３つの光源を用いて輝度情報を取得することで、各変数を決定することができる。なお、Ｍ＞３の場合は求める未知変数より多い条件式が得られるので、任意に選択した３つの条件式からＭ＝３の場合と同様の方法で単位面法線ベクトルｎを算出すればよい。あるいは、フィッティング方法や最適化方法によって単位面法線ベクトルｎを算出してもよい。
被写体の反射特性をランバート反射モデルとは異なるモデルで仮定した場合は、条件式が単位面法線ベクトルｎの各成分に対する線形方程式と異なる場合がある。その場合、未知変数以上の条件式が得られれば、フィッティング方法や最適化方法を用いることができる。
＜形状情報取得処理＞次に、図３を参照して、実施形態１の形状情報取得処理について説明する。
なお、図３の処理は、制御部１０８が内蔵メモリ１０７に格納されているプログラムを実行し各部を制御することにより実現される。後述する図５、図６および図８でも同様である。
Ｓ３０１「照度差画像取得」では、複数の照明部１１０を個別に点灯させることで、被写体に対して異なる方向から照明し、各方向から照明した被写体を撮影することで照度差画像を取得する。具体的には、異なる位置にある少なくとも３つ以上の照明部１１０からの光を順次照射し、撮影装置１０３で被写体を撮像し、撮影画像を内蔵メモリ１０７に記録する。各照明部１１０より照明した状態で撮影するために、制御部１０８は照明部１１０と撮影装置１０３の動作およびタイミングの制御を行う。
Ｓ３０２「パターン投影画像取得」では、撮影装置１０３により被写体へパターン光を投影した状態で撮影することでパターン投影画像を取得する。投影部１１１でパターン光１０９を生成し、被写体に照射する。この状態で撮影し、パターン投影画像を取得し、内蔵メモリ１０７に蓄える。このようなパターン光投影を行った状態で撮影するために、制御部１０８は投影部１１１と撮影装置１０３の動作およびタイミングの制御を行う。
Ｓ３０３「投影部位置検出」では、演算処理部１０６は、パターン投影画像を用いて投影部１１１の位置を検出する。パターン投影画像におけるラインパターンの方向は、投影部１１１の円周上の位置に応じて変化する。図４は照明装置１０１の設置例とパターン投影画像１４２の例を示している。図４（ａ）、（ｂ）、（ｃ）は、それぞれ投影部１１１が０度方向、４５度方向、９０度方向の位置にあるときの照明装置１０１と、各位置からパターンを平面に投影した際の投影画像１４２を表している。投影部が各位置にあるとき、投影画像１４２のラインパターンはそれぞれ縦方向、斜め４５度方向、水平方向に延びるパターンとなる。これを利用し、投影画像１４２におけるラインパターンの方向を検出し、投影部１１１の位置を検出する。初めに、パターン投影画像に含まれるエッジを検出する。エッジの検出方法は既知の方法を用いることができる。例えばパターン投影画像に対してソーベルフィルタなどの微分フィルタを施すことで、水平方向および垂直方向の微分画像を生成し、微分値が所定値より大きい領域をエッジとして検出する。次に水平成分の微分画像と垂直成分の微分画像の比を算出することでエッジの方向を検出する。パターンの方向と投影部の位置との関係に関する情報を予め保持しておき、検出したパターンの方向と照合することで投影部１１１の位置を検出する。
Ｓ３０４「照明部位置検出」では、演算処理部１０６は、Ｓ３０３で求めた投影部１１１の位置情報に基づき照明部１１０の位置を検出する。投影部１１１および照明部１１０の基準位置情報は予め記録されており、検出した投影部１１１の位置と基準位置（本実施形態では真上の位置）との差から移動量を算出し、照明部１１０の基準位置に、算出した移動量を加算することで、各照明部１１０の位置を算出することができる。
Ｓ３０５「形状算出」では、演算処理部１０６は、前述の既知の方法により形状情報を算出する。Ｓ３０４で求めた各照明部１１０の位置情報から照度差画像の各画像を撮影した際の照明方向を求めることができる。照度差画像の各照明方向と輝度値より、形状情報である面法線情報を算出することができる。
上述した形状情報取得処理により、照明装置が基準取り付け位置からずれた異なる位置に取り付けられている場合であっても各照明部の位置情報を取得することができ、高精度な形状情報を取得することができる。
（パターン方向の検出方法）
Ｓ３０３「投影部位置検出」において、パターン投影画像内でエッジの方向の変化量が所定の閾値より小さい領域、すなわちエッジの直線性が所定の誤差範囲内の領域（直線性が高い領域）を抽出し、この領域の画像を用いてパターンの方向検出を行ってもよい。例えば、前述の方法で水平成分の微分画像と垂直成分の微分画像を算出し、両者の比をとることでエッジの方向の分布を表すエッジ方向画像を生成する。エッジ方向画像のうち値が一様な領域を選出することで、直線性が高い領域を検出することができる。異なる距離にある物体の境界や凹凸がある物体にパターン光を投影すると、距離の変化によってパターン光の形状が歪むため、正しく方向検出ができなくなる。このような方法を用いることで、撮影領域内の被写体領域の中から距離の変化量が所定の閾値より小さい領域でパターンの方向検出を行うことができ、高精度な方向検出および投影部の位置検出が可能となる。
また、投影部１１１の位置検出において、パターン投影がない画像を取得し、パターン投影画像との差もしくは比を取ることで、パターン強調画像を生成し、使用してもよい。パターン投影がない画像は、例えば投影部１１１を消灯して撮影することで取得できる。あるいは照度差画像の一部の画像もしくは全画像の平均画像を用いてもよい。パターンの方向検出を行う際に、被写体に模様があると、投影パターンのエッジの方向の他に複数のエッジの方向が検出され、検出誤差となる。このようなパターン強調画像を用いると、被写体がもつテクスチャの影響を低減することができ、パターン投影画像のパターンの方向をより高精度に検出することができ、投影部の高精度な位置検出が可能となる。
Ｓ３０３「投影部位置検出」において、微分フィルタを用いた方法について述べたが、他の方法を用いてもよい。例えば画像をハフ変換し、直線検出と直線の方向を求めてもよい。あるいは、既知のパターンマッチングを用いてもよい。予め基準画像を用意しておく。基準画像は、平面にパターンを投影して撮影した画像や投影部を構成するマスクパターンの透過率分布を画像に変換したものを使用することができる。あるいは投影部のＬＣＯＳ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｏｎ Ｓｉｌｉｃｏｎ）やＤＭＤ（Ｄｉｇｉｔａｌ Ｍｉｃｒｏｍｉｒｒｏｒ Ｄｅｖｉｃｅ）などを使用する場合は、パターン投影で使用する元画像等を使用することができる。基準画像と取得したパターン投影画像とを相対的に回転させて相関値を算出し、相関が最も高い回転方向をパターンの方向として検出することができる。このような方法を用いることで、投影パターンはラインパターンに限定されず、任意のパターンを用いることができる。
（距離情報を用いた投影部の位置検出方法）
Ｓ３０３の「投影部位置検出」において、距離情報を用いることで、より高精度に投影部の位置を検出することができる。図５は距離情報を用いた形状情報取得処理を示している。
Ｓ３０１「照度差画像取得」は図３のＳ３０１と同様である。
Ｓ３０２「パターン投影画像取得」では、図３のＳ３０２と同様にパターン投影画像を取得する。被写体へパターン光を投影した状態で撮影することで視差を有するパターン投影画像であるＡ画像とＢ画像からなる画像対を取得し、内蔵メモリ１０７に保存する。被写体１０２の模様（テクスチャともいう）が乏しいとき、投影部１１１からのパターン光投影を併用しないで周辺環境光のみで撮影をした場合にはＡ画像やＢ画像のコントラストやＳ／Ｎ比が低下し、相関演算による距離演算精度が低下する。このため、投影部１１１からパターン光の投影を行い、被写体１０２の表面にテクスチャを重畳した状態で撮影を行うことで距離演算精度を向上させる。
Ｓ３０７「距離算出」では、演算処理部１０６は、Ｓ３０２で取得したパターン投影画像を用いて被写体の距離情報を算出する。
ここで、図５（ｂ）を用いて、基準画像および参照画像の位置関係を説明する。符号３１０ＡはＡ画像、符号３１０ＢはＢ画像を表している。初めに、Ａ画像とＢ画像の相関値を算出する。Ａ画像において距離演算処理を行う画素３２０（注目画素と呼ぶ）とその近傍画素を含む部分領域を抜き出し基準画像３１１とする。次に、Ｂ画像で基準画像と同面積の領域を抜き出して参照画像３１３とする。Ｂ画像で参照画像を抜き出す位置を瞳分割方向と同じｘ軸方向に移動させ、各移動量における参照画像と基準画像との相関値を算出することで、各移動量に対する相関値のデータ列からなる相関値を算出する。参照画像を移動させて相関演算を行う方向を視差算出方向と呼ぶ。視差算出方向は瞳分割方向と同じ方向に設定することでＡ画像とＢ画像の被写体距離に応じて生じる視差量を正しく算出することができる。相関値の算出は、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）やＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）などの一般的な算出方法を用いることができる。
次に、求めた相関値より視差量を算出する。視差量は、既存の方法を用いて算出することができる。例えば、相関値の中で最も高い相関が得られる移動量とその近傍の移動量に対応する相関値のデータ列を抽出し、既知の内挿方法により、最も相関が高くなる移動量をサブピクセル精度で推定することで、視差量を算出することができる。
算出した視差量は、既知の方法によりデフォーカス量または被写体距離に変換することができる。視差量からデフォーカス量への換算は、基線長を用いた幾何学的関係から算出することができる。また、デフォーカス量から被写体距離への変換は、結像光学系１０４の結像関係を用いて行えばよい。あるいは視差量に所定の変換係数を乗算することでデフォーカス量または被写体距離に変換してもよい。このような方法により、注目画素における距離情報を算出することができ、各画素で上述した演算を行うことで視差画像あるいはデフォーカス画像あるいは距離画像を求めることができる。
Ｓ３０８「評価領域決定」では、演算処理部１０６は、パターン投影画像内において投影部１１１の位置検出を行う評価領域を決定する。初めに、距離画像内の部分領域毎に標準偏差を算出する。次に、部分領域のうち、標準偏差が所定の基準値より小さい領域を評価領域として選出する。これにより距離の変化量が所定の閾値より小さい領域を評価領域として決定することができる。
Ｓ３０３「投影部位置検出」では、図３のＳ３０３と同様にパターン投影画像を用いて投影部の位置を検出する際に、Ｓ３０８で決定した評価領域の画像を用いて投影部１１１の位置検出を行う。
Ｓ３０４「照明部位置検出」およびＳ３０５「形状算出」では、図３と同様に照明部１１０の位置を検出し、形状情報を算出する。
異なる距離にある物体の境界や凹凸がある物体にパターン光を投影すると、距離の変化によってパターン光の形状が歪むため、正しく方向検出ができなくなる。距離情報を使用し、距離の変化量が所定の閾値より小さい領域の画像を用いて、投影部の位置検出を行うことで、撮影領域内に異なる距離にある複数の物体や凹凸が大きい物体が撮影領域内に存在する場合でも、パターン投影画像の方向検出を高精度に行うことができる。
上述した形状情報取得処理により、照明装置１０１が基準取り付け位置からずれた位置に設置されている場合でも、各照明部１１０の位置を高精度に検出することができ、より高精度な形状情報を取得することができる。
なお、実施形態１では距離画像を用いて評価領域を決定する方法について述べたが、距離画像の代わりに視差画像やデフォーカス画像を用いてもよい。視差量およびデフォーカス量は距離に応じて変化するため、視差画像およびデフォーカス画像を用い、距離変動が小さい領域を検出し、評価領域として決定してもよい。同等の効果を得ることができる。
（影情報を用いた形状算出方法）
照度差画像を用いて影の領域を検出し、物体の相対的な距離関係を表す相対距離情報や距離が大きく変化する領域を表す境界情報などの形状情報を取得してもよい。距離差がある物体を照明すると、手前にある物体に遮られて、照明が当たらない影領域が発生する。この領域は、撮影画像では所定輝度値以下の低輝度の領域となる。一方向の照明で取得した画像では、被写体反射率が低いために低輝度の領域との判別ができない。
そこで、複数の方向から照明を行って取得した照度差画像を用い、方向の変化による輝度値の変化量が所定の閾値より大きい画素領域を影領域として検出する。これにより低輝度の領域と影領域とを分離して検出することができる。検出した影領域と照明方向から、撮影装置１０３に対して手前の物体領域と奥側の領域とを検出することができ、相対距離情報を得ることができる。また、影領域と手前の物体領域との境界領域を検出することができ、境界情報を得ることができる。前述した方法で、照明方向を検出することで、より高精度にこれらの形状情報を取得することができる。本実施形態における形状情報とは、被写体の法線情報や所定の基準位置からの絶対距離情報あるいは被写体領域内の相対距離情報である。
（照明部が１つの構成）
本実施形態では照明装置１０１を複数の照明部１１０で構成した例を示したが単一の照明部で構成してもよい。図６は、照明装置１０１を単一の照明部１１８で構成する例を示している。
照明部１１８は固定部１１２の所定の位置に配置されている。照明装置１０１は図６（ａ）、（ｂ）に示すように、照明部１１０および投影部１１１は撮影装置１０３の光軸１４０を中心に手動または自動で回転可能に構成されている。照明部１１０と投影部１１１の位置関係は図６（ａ）、（ｂ）のように結像光学系１０４の光軸１４０に垂直な平面において、光軸１４０から等距離にある１つの円周１４１上にある位置関係となっている。
図６（ｃ）は照明装置１０１を単一の照明部で構成した場合の形状情報取得処理を示している。
Ｓ３３１「照度差画像取得」では、制御部１０８は照明部１１０と撮影装置１０３を制御して、照明装置１０１により任意の位置にある状態で照明と撮影を行って画像を取得する。ここでは、照明装置１０１の位置を回転させることで照明部１１８の位置を変更しながら照明と撮影を行う。必要に応じて照明部の位置の変更と照明と撮影を複数回行うことで照度差画像を取得する。
Ｓ３３２「パターン投影画像取得」では、制御部１０８は投影部１１１と撮影装置１０３を制御して、被写体にパターン光を投影した状態で撮影することでパターン投影画像を取得する。ここでは、Ｓ３３１で照明装置１０１を回転させながら照度差画像を取得すると共に、照明部１１０の各回転位置において、投影部１１１でパターン光を投影し、投影画像を取得する。
Ｓ３３３「投影部位置検出」では、演算処理部１０６は、照明部１１０の各回転位置におけるパターン投影画像を用いて各回転位置における投影部の位置を検出する。投影部１１１の位置検出方法は図３や図５で説明したいずれかの方法を用いることができる。
Ｓ３３４「照明部位置検出」では、演算処理部１０６は、照明部１１０の各回転位置で検出した投影部１１１の位置と基準位置情報とに基づいて各回転位置における照明部１１０の位置を算出する。各回転位置における照明部１１０の位置検出方法は図３や図５で説明した方法と同様である。
Ｓ３０５「形状算出」では、演算処理部１０６は、図３や図５で説明した方法で形状情報を算出する。
以上の形状情報取得処理によれば、照明装置１０１が基準取り付け位置からずれた位置にある場合でも照明部１１０の各回転位置の情報を取得することができ、高精度な形状情報を取得することができる。また、照明部１１０の数を減らすことができるので、照明装置１０１の部品点数を削減することができ、より安価に装置を構成することができる。
［実施形態２]次に、実施形態２について説明する。
＜装置構成＞まず、図７を参照して、実施形態２の形状情報取得装置の構成および機能について説明する。
実施形態２の形状情報取得装置２００において、撮影装置１０３は、結像光学系１０４、撮像素子１０５、演算処理部１０６、内蔵メモリ１０７を備える。また、偏光制御装置４０１と撮影装置１０３は制御部１０８に接続され同期などの制御を受ける。
偏光制御装置４０１は、偏光素子４１１と、投影部１１１と、偏光素子４１１および投影部１１１を撮影装置１０３に取り付けるための固定部４１２と、を備える。偏光素子４１１と投影部１１１は、撮影装置１０３の結像光学系１０４の光軸１４０に垂直な平面に配置される。図７（ｂ）において４１３は結像光学系１０４の外形を示している。
偏光素子４１１は、その偏光軸または透過軸に平行な光を透過し、他の振動方向の光の透過を阻止する素子であり、透過軸の方向が可変な素子である。偏光素子４１１は、例えば、1／４波長位相板とＶＡ（Ｖｅｒｔｉｃａｌ Ａｌｉｇｎｍｅｎｔ）タイプの液晶素子と偏光板を備える。１／４波長位相板と偏光板は、１／４波長位相板の遅相軸または進相軸が偏光板の透過軸と平行になるように配置される。偏光制御装置４０１は図示しない駆動部を備えており、液晶素子に電圧を印加する。駆動部により、印加電圧を変化させることで、液晶分子の配向方向が変化し、偏光素子４１１の透過軸の方向を変更することができる。図７（ｃ）、（ｄ）、（ｅ）は透過軸の方向を示したもので、印加電圧を増加または低下させると図示のように偏光素子を透過する透過軸４１４の方向が変化する。
固定部４１２は、偏光素子４１１と投影部１１１を撮影装置１０３または三脚などの撮影補助機材(不図示)に固定する部材である。偏光素子４１１と照明装置は、固定部４１２に対して着脱可能に構成してもよい。また固定部４１２は撮影装置１０３または撮影補助機材に対して着脱可能に構成してもよい。所定の電圧を印加したときの偏光素子４１１の透過軸方向と、投影部の位置情報とが既知であり、このときの電圧を基準電圧、方向を基準方向、位置を基準位置と呼ぶ。また、偏光制御装置４０１の取り付け位置を基準取り付け位置と呼ぶ。これらの基準電圧、基準方向および基準位置の各基準情報は内蔵メモリ１０７あるいは偏光制御装置４０１の内部に設けたメモリに記録されている。
＜形状情報取得処理＞
次に、図８を参照して、実施形態２の形状情報取得処理について説明する。
Ｓ５０１「偏光画像取得」では、制御部１０８は偏光制御装置４０１および撮影装置１０３を制御して、所定の透過軸として被写体像光を撮影することで偏光画像を取得する。このとき不図示の駆動部により所定の電圧を偏光素子４１１に印加することで、透過軸の方向を設定し、撮影を行う。次に印加電圧を変更し、他の透過軸での撮影を行う。異なる透過軸で被写体像光を撮影することで、複数の偏光画像を取得できる。偏光画像は内蔵メモリ１０７に保存される。
Ｓ３０２「パターン投影画像取得」およびＳ３０３「投影部位置検出」では、図３と同様に、パターン投影画像の取得と投影部１１１の位置検出を行う。
Ｓ５０４「透過軸の方向検出」では、演算処理部１０６は、Ｓ３０３で求めた投影部１１１の位置情報に基づいて偏光素子４１１に印加した電圧ごとに偏光素子４１１の透過軸の方向を検出する。基準電圧における透過軸の基準方向と投影部１１１の基準位置は既知であるため、投影部１１１の位置と基準位置の差、印加電圧と基準電圧の差から透過軸の基準方向との差を求めることができる。
Ｓ５０５「形状情報算出」では、演算処理部１０６は、既知の方法により形状情報を算出する。Ｓ５０１で取得した偏光画像と、Ｓ５０４で検出した透過軸の方向情報とに基づいて、既知の方法で形状情報である面法線情報を算出することができる。物体に非偏光の光が入射すると、物体の面法線に応じて反射光に含まれるＳ偏光とＰ偏光の割合が変化する。取得した偏光画像からＳ偏光とＰ偏光の割合を分析することで、被写体の面法線情報を算出することができる。
上述した形状情報取得処理によれば、偏光制御装置４０１が基準取り付け位置からずれた位置に設置されている場合でも、偏光素子４１１の透過軸の方向を検出することができ、高精度な形状情報を取得することができる。
なお、本実施形態ではＶＡ液相素子を用いて偏光素子４１１を構成する例を示したが、他の位相板や液晶素子を用いて構成してもよい。
また、液晶素子に電圧を印加することで偏光素子４１１を透過する光の透過状態を変更する例について示したが、偏光素子４１１または液晶素子を機械的に回転するように構成してもよい。このとき偏光素子４１１または液晶素子を自動あるいは手動で回転させてもよい。前述と同様に偏光制御装置４０１が基準取り付け位置から異なる位置に設定されている場合でも、偏光素子４１１の透過軸の方向を検出することができ、高精度な形状情報を取得することができる。
［実施形態３］次に、実施形態３について説明する。
実施形態１では撮影装置１０３で被写体の形状情報を算出したが、実施形態３では撮影装置１０３とは別に設けられた画像処理装置６００を用いて被写体の形状情報を算出する。
以下、図９を参照して、実施形態３の画像処理装置の構成および機能について説明する。
実施形態３の画像処理装置６００は、例えばパーソナルコンピュータ（ＰＣ）などの情報処理装置である。画像処理装置６００は撮影装置１０３と有線または無線により通信可能に接続され、撮影装置１０３で取得した照度差画像とパターン投影画像のデータを受信可能である。画像処理装置６００は、図３のＳ３０３～Ｓ３０５の処理を行う演算処理部を有している。Ｓ３０１とＳ３０２で取得した照度差画像データおよびパターン投影画像データが有線また無線で画像処理装置６００に送信され、演算処理部において処理が実施されることで形状情報を取得することができる。このような構成であっても実施形態１と同様に、投影部および照明部の位置を高精度に検出でき、高精度な形状情報を取得することができる。
なお、投影部および照明部の基準位置情報は、照度差画像またはパターン投影画像の付加情報として画像データと共に記録してもよい。あるいは図３のＳ３０４の処理を撮影装置１０３の演算処理部１０６で行い、求めた各照明部の位置情報を照度差画像またはパターン投影画像の付加情報として画像データと共に記録してもよい。これらの基準位置情報は予め画像処理装置６００の内部の記憶装置に格納しておいてもよい。あるいは、これらの基準位置情報あるいは各照明部の位置情報はインターネットで接続された他の記憶装置に格納しておき、形状情報を算出するときに他の記憶装置からデータを読み出して使用してもよい。画像処理装置６００の演算処理部で形状算出を行うときに、画像データと位置情報を用いて形状情報を算出することができる。
［他の実施形態］
偏光制御装置４０１は撮影装置１０３に備えられた演算処理部１０６で構成することも、装置小型化の観点から好適である。
投影部１１１は、光源としてＬＤ（Ｌａｓｅｒ Ｄｉｏｄｅ）を用いてもよい。反射型ＬＣＯＳや透過型ＬＣＯＳやＤＭＤを用いてもよい。被写体の大きさや距離に応じて投影パターンの周期を適時変えることができ、状況に応じてより高精度な測距が可能となる。投影部１１１の光源の波長が可視光域の全域を含む白色であることは、本実施形態にて被写体の分光反射率によらず反射率補正の効果が得られるため好適である。投影部１１１の光源がＲ、Ｇ、Ｂの３色から構成されていることは撮影装置１０３のカラーフィルタ透過帯域と一致し、使用エネルギーに対する光利用効率の観点で好適である。投影部１１１の光源が赤外（ＩＲ）領域であり、これに対応した透過帯域ならびに受光感度を持つカラーフィルタならびに撮像素子を備えた撮像装置を用いて撮影を行うことは、ＲＧＢ帯域を用いた鑑賞用画像を同時に撮影することが可能になり好適である。特にＩＲの波長帯域が８００ｎｍから１１００ｎｍの間である場合、光電変換部にＳｉを用いることができ、カラーフィルタの配列を変更することで１つの撮像素子でＲＧＢ鑑賞画像とＩＲ測距画像を取得することができ好適である。
撮影装置１０３は、２つ以上の複数の光学系と各光学系に対応する撮像素子を備えるステレオカメラで構成してもよい。これは基線長の設計自由度が向上し、測距分解能が向上する観点から好適である。また、照明装置１０１または偏光制御４０１と撮影装置１０３とを分離して構成してもよい。
また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
１００…形状情報取得装置、１０１…照明装置、１０２…被写体、１０３…撮影装置、１０４…結像光学系、１０５…撮像素子、１０６…演算処理部、１０７…内蔵メモリ

Claims (25)

  1. 照明部により被写体を異なる方向から照明した照度差画像と、前記照明部とは既知の位置関係にある投影部により被写体に所定のパターン光を投影したパターン投影画像とを取得する取得手段と、
    前記パターン投影画像に基づいて前記照明部の位置を検出する検出手段と、
    前記照度差画像と前記照明部の位置とに基づいて前記被写体の形状情報を算出する形状算出手段と、を有することを特徴とする形状情報取得装置。
  2. 前記照明部により被写体を異なる方向から照明した照度差画像と前記投影部により被写体に所定のパターン光を投影したパターン投影画像とを撮影する撮影手段をさらに有することを特徴とする請求項１に記載の形状情報取得装置。
  3. 被写体を複数の異なる方向から照明可能な前記照明部と、被写体に所定のパターン光を投影可能な前記投影部とを有する照明手段をさらに有することを特徴とする請求項２に記載の形状情報取得装置。
  4. 前記照明部と前記投影部は、前記撮影手段の光学系の光軸に垂直な平面において前記光軸から等距離にある１つの円周上に配置されていることを特徴とする請求項３に記載の形状情報取得装置。
  5. 前記照明手段は、前記照明部および前記投影部を前記撮影手段に取り付けるための固定部を有することを特徴とする請求項３または４に記載の形状情報取得装置。
  6. 前記照明手段が所定の位置に取り付けられたときの前記投影部の位置と前記照明部の位置とを基準位置情報として保持する保持手段をさらに有し、
    前記検出手段は、前記パターン投影画像に基づいて前記投影部の位置を検出し、前記投影部の位置と前記基準位置情報とに基づいて前記照明部の位置を検出することを特徴とする請求項３から５のいずれか１項に記載の形状情報取得装置。
  7. 前記照明部は異なる位置に配置された複数の光源を含み、
    前記撮影手段は、前記複数の光源を個別に点灯させた状態で撮影することで前記照度差画像を取得し、
    前記検出手段は、前記複数の光源の位置を前記照明部の位置として検出することを特徴とする請求項２から６のいずれか１項に記載の形状情報取得装置。
  8. 前記照明部は単一の光源が前記撮影手段の光軸を中心として回転可能に設けられ、
    前記撮影手段は、前記光源の位置を変更して撮影することで前記照度差画像を取得することを特徴とする請求項２から６のいずれか１項に記載の形状情報取得装置。
  9. 前記所定のパターン光は所定の方向に所定輝度値を超える高輝度領域と所定輝度値以下の低輝度領域とが繰り返されるラインパターンであることを特徴とする請求項１から８のいずれか１項に記載の形状情報取得装置。
  10. 前記検出手段は、前記パターン投影画像における前記ラインパターンの直線性が所定の誤差範囲内の領域を抽出し、抽出した領域の画像を用いて前記投影部の位置を検出することを特徴とする請求項９に記載の形状情報取得装置。
  11. 前記検出手段は、前記ラインパターンの延びる方向を検出することで前記投影部の位置を検出することを特徴とする請求項９または１０に記載の形状情報取得装置。
  12. 前記検出手段は、基準画像と前記パターン投影画像とを相対的に回転させて相関値を算出することにより前記投影部の位置を検出することを特徴とする請求項１から９のいずれか１項に記載の形状情報取得装置。
  13. 前記検出手段は、前記パターン投影画像を用いて被写体の距離情報を算出し、距離の変化量が所定の閾値より小さい領域の画像を用いて前記投影部の位置を検出することを特徴とする請求項１から９のいずれか１項に記載の形状情報取得装置。
  14. 前記取得手段は、光学系の異なる瞳領域を通過した光束に基づく視差画像を取得し、
    前記検出手段は、前記視差画像の相関演算により前記距離情報を算出することを特徴とする請求項１３に記載の形状情報取得装置。
  15. 前記形状算出手段は、前記照度差画像を用いて照度差ステレオ法により前記形状情報を算出することを特徴とする請求項１から１４のいずれか１項に記載の形状情報取得装置。
  16. 前記形状算出手段は、複数の前記照度差画像の間で輝度の変化が所定の値より大きい領域を影領域として検出することで前記被写体の形状情報を算出することを特徴とする請求項１から１４のいずれか１項に記載の形状情報取得装置。
  17. 偏光素子を透過する方向が異なる偏光画像と、前記偏光素子とは既知の位置関係にある投影部により被写体に所定のパターン光を投影したパターン投影画像とを取得する取得手段と、
    前記パターン投影画像に基づいて前記透過する方向を検出する検出手段と、
    前記偏光画像と前記透過する方向とに基づいて前記被写体の形状情報を算出する形状算出手段と、を有することを特徴とする形状情報取得装置。
  18. 前記偏光素子を透過する方向が異なる偏光画像と前記投影部により被写体に所定のパターン光を投影したパターン投影画像とを撮影する撮影手段をさらに有することを特徴とする請求項１７に記載の形状情報取得装置。
  19. 被写体の光を透過する方向が可変な前記偏光素子と、被写体に所定のパターン光を投影可能な前記投影部とを有する偏光制御手段をさらに有することを特徴とする請求項１８に記載の形状情報取得装置。
  20. 前記偏光素子と前記投影部は、前記撮影手段の光学系の光軸に垂直な平面に配置され、
    前記偏光制御手段は、前記偏光素子および前記投影部を前記撮影手段に取り付けるための固定部を有することを特徴とする請求項１９に記載の形状情報取得装置。
  21. 前記偏光制御手段が所定の位置に取り付けられたときの前記投影部の位置と前記偏光素子の透過する方向を基準情報として保持する保持手段をさらに有し、
    前記検出手段は、前記パターン投影画像に基づいて前記投影部の位置を検出し、前記投影部の位置と前記基準情報とに基づいて前記透過する方向を検出することを特徴とする請求項１９または２０に記載の形状情報取得装置。
  22. 照明部により被写体を異なる方向から照明した照度差画像と、前記照明部とは既知の位置関係にある投影部により被写体に所定のパターン光を投影したパターン投影画像とを取得可能な装置における形状情報取得方法であって、
    検出手段が、前記パターン投影画像に基づいて前記照明部の位置を検出するステップと、
    形状算出手段が、前記照度差画像と前記照明部の位置とに基づいて前記被写体の形状情報を算出するステップと、を有することを特徴とする形状情報取得方法。
  23. 偏光素子を透過する方向が異なる偏光画像と、前記偏光素子とは既知の位置関係にある投影部により被写体に所定のパターン光を投影したパターン投影画像とを取得可能な装置における形状情報取得方法であって、
    検出手段が、前記パターン投影画像に基づいて前記透過する方向を検出するステップと、
    形状算出手段が、前記偏光画像と前記透過する方向とに基づいて前記被写体の形状情報を算出するステップと、を有することを特徴とする形状情報取得方法。
  24. 請求項２２または２３に記載された方法を、コンピュータに実行させるためのプログラム。
  25. 請求項２２または２３に記載された方法を、コンピュータに実行させるためのプログラムを記憶したコンピュータによる読み取りが可能な記憶媒体。
JP2018231940A 2018-12-11 2018-12-11 形状情報取得装置および形状情報取得方法、プログラム並びに記憶媒体 Active JP7236854B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018231940A JP7236854B2 (ja) 2018-12-11 2018-12-11 形状情報取得装置および形状情報取得方法、プログラム並びに記憶媒体
US16/701,998 US11176695B2 (en) 2018-12-11 2019-12-03 Shape information acquisition apparatus and shape information acquisition method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018231940A JP7236854B2 (ja) 2018-12-11 2018-12-11 形状情報取得装置および形状情報取得方法、プログラム並びに記憶媒体

Publications (2)

Publication Number Publication Date
JP2020094876A JP2020094876A (ja) 2020-06-18
JP7236854B2 true JP7236854B2 (ja) 2023-03-10

Family

ID=70972746

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018231940A Active JP7236854B2 (ja) 2018-12-11 2018-12-11 形状情報取得装置および形状情報取得方法、プログラム並びに記憶媒体

Country Status (2)

Country Link
US (1) US11176695B2 (ja)
JP (1) JP7236854B2 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6274266B2 (ja) 2016-06-30 2018-02-07 株式会社寺岡精工 セルフ計量装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3400485B2 (ja) * 1993-03-23 2003-04-28 株式会社ワコム 光学式位置検出装置および光学式座標入力装置
US20090109215A1 (en) * 2007-10-31 2009-04-30 Fein Gene S Method and apparatus for user interface communication with an image manipulator
CN104412586B (zh) * 2012-04-25 2016-12-28 株式会社尼康 图像处理装置、摄像装置
JP2016020891A (ja) * 2014-06-20 2016-02-04 株式会社リコー 形状計測システムおよび撮像装置
JPWO2016098400A1 (ja) * 2014-12-15 2017-09-21 ソニー株式会社 撮像装置組立体、３次元形状測定装置及び動き検出装置
JP6371742B2 (ja) * 2015-09-03 2018-08-08 キヤノン株式会社 計測装置および取得方法
JP6556013B2 (ja) * 2015-10-08 2019-08-07 キヤノン株式会社 処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6274266B2 (ja) 2016-06-30 2018-02-07 株式会社寺岡精工 セルフ計量装置

Also Published As

Publication number Publication date
US11176695B2 (en) 2021-11-16
US20200184665A1 (en) 2020-06-11
JP2020094876A (ja) 2020-06-18

Similar Documents

Publication Publication Date Title
US8199335B2 (en) Three-dimensional shape measuring apparatus, three-dimensional shape measuring method, three-dimensional shape measuring program, and recording medium
KR100815283B1 (ko) 대상물의 3차원 검사를 위한 다수의 위상 변위 패턴의동시 투사용 시스템
CN108650447B (zh) 图像传感器、深度数据测量头及测量系统
KR101207198B1 (ko) 기판 검사장치
JP2017215374A (ja) 画像投影システムおよび画像投影方法
US20050035314A1 (en) Range finder and method
EP3524929B1 (en) Projection system
TWI489079B (zh) 投影裝置與深度量測系統
JP6422924B2 (ja) 撮像装置および被写体情報取得方法
JP2004239886A (ja) 三次元画像撮像装置および方法
JP6791631B2 (ja) 画像生成方法及び検査装置
JP6556013B2 (ja) 処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体
JP2006279546A (ja) 電子カメラ、画像処理プログラム、および画像処理方法
JP2012170007A (ja) 投写型映像表示装置及び画像調整方法
US10444162B2 (en) Method of testing an object and apparatus for performing the same
JP2017167180A (ja) プロジェクター
JP7236854B2 (ja) 形状情報取得装置および形状情報取得方法、プログラム並びに記憶媒体
US11037316B2 (en) Parallax calculation apparatus, parallax calculation method, and control program of parallax calculation apparatus
JP7118776B2 (ja) 撮像装置、画像処理方法、画像処理プログラムおよび記録媒体
JP2012078490A (ja) 投写型映像表示装置及び画像調整方法
JP2021004762A (ja) 計測装置、撮像装置、計測システム、制御方法、プログラム及び記録媒体
JP6432968B2 (ja) 物体形状推定装置及びプログラム
JP2021127998A (ja) 距離情報取得装置および距離情報取得方法
EP2646769B1 (en) System and method for creating a three-dimensional image file
JP7268619B2 (ja) 投影装置

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20210103

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210113

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211020

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220907

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220916

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230228

R151 Written notification of patent or utility model registration

Ref document number: 7236854

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151