JP7005175B2 - 距離測定装置、距離測定方法及び撮像装置 - Google Patents

距離測定装置、距離測定方法及び撮像装置 Download PDF

Info

Publication number
JP7005175B2
JP7005175B2 JP2017106854A JP2017106854A JP7005175B2 JP 7005175 B2 JP7005175 B2 JP 7005175B2 JP 2017106854 A JP2017106854 A JP 2017106854A JP 2017106854 A JP2017106854 A JP 2017106854A JP 7005175 B2 JP7005175 B2 JP 7005175B2
Authority
JP
Japan
Prior art keywords
image
light
subject
viewpoint
pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017106854A
Other languages
English (en)
Other versions
JP2018204976A (ja
Inventor
誠 大井川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2017106854A priority Critical patent/JP7005175B2/ja
Priority to US15/989,446 priority patent/US10466048B2/en
Publication of JP2018204976A publication Critical patent/JP2018204976A/ja
Application granted granted Critical
Publication of JP7005175B2 publication Critical patent/JP7005175B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/30—Interpretation of pictures by triangulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/586—Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G01C11/08—Interpretation of pictures by comparison of two or more pictures of the same area the pictures not being supported in the same relative position as when they were taken
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/778—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

本発明は、距離測定装置及、距離測定方法及び撮像装置に関する。
近時では、撮影によって得られた画像から距離情報を取得する技術が提案されている。例えば、異なる視点の複数の画像を取得し、取得した複数の画像間の相関に基づいて視差量を求め、求められた視差量に基づいて距離を算出することが提案されている。特許文献１には、特徴パターンを測定対象物に投影した状態で左右画像撮影部によって撮影された画像と、特徴パターンを測定対象物に投影しない状態で撮影された画像との差分をとることによって、特徴パターンを抽出することが開示されている。
特開平１０－３１８７３２号公報
しかしながら、従来の技術では、必ずしも良好に距離を測定し得ない場合があった。
本発明の目的は、良好に距離を測定し得る距離測定装置、距離測定方法及び撮像装置を提供することにある。
実施形態の一観点によれば、パターンを備えた第１の光が被写体に照射された第１の視点の第１の画像と、前記第１の光が前記被写体に照射された、前記第１の視点とは異なる第２の視点の第２の画像と、パターンを備えていない第２の光が前記被写体に照射された前記第１の視点の第３の画像と、前記第２の光が前記被写体に照射された前記第２の視点の第４の画像とを取得する取得部と、前記第１の画像を前記第３の画像により補正することによって得られる第５の画像と、前記第２の画像を前記第４の画像により補正することによって得られる第６の画像とを用いて、距離に関する情報を取得する制御部とを有することを距離測定装置が提供される。
本発明によれば、良好に距離を測定し得る距離測定装置、距離測定方法及び撮像装置を提供することができる。
第１実施形態による距離測定装置を示す概略図である。 撮像部を示す概略図である。 画素の配置の例を示す平面図である。 撮像光学系の射出瞳を通過する光束と画素との関係を示す模式図である。 画素の回路図である。 被写体に投影されるパターンの例を示す図である。 パターンを含む光が投影された被写体を撮影することによって得られる画像と信号強度分布の例を示す図である。 パターンを含まない光が照射された被写体を撮影することによって得られる画像と信号強度分布の例を示す図である。 第１実施形態による距離測定装置において行われる補正処理を概念的に示す図である。 補正処理を施すことによって得られる信号強度分布の例を示す図である。 第１実施形態による距離測定装置の動作を示すフローチャートである。 第２実施形態による距離測定装置の動作を示すフローチャートである。 変形実施形態による距離測定装置の例を示す概略図である。 変形実施形態による距離測定装置において行われる補正処理を概念的に示す図である。 変形実施形態において用いられるパターンの例を示す図である。
上述したように、従来の技術では、必ずしも良好に距離を測定し得ない場合があった。例えば、被写体に模様等のテクスチャが乏しい場合には、必ずしも良好に距離を測定し得なかった。また、被写体の反射率が極めて高い場合にも、必ずしも良好に距離を測定し得なかった。そこで、本願発明者は、距離をより良好に測定することを可能とすべく、以下のような発明を想到した。
本発明の実施の形態について図面を用いて以下に詳細に説明する。なお、本発明は以下の実施形態に限定されるものではない。
［第１実施形態］
第１実施形態による距離測定装置及び距離測定方法について図面を用いて説明する。図１は、本実施形態による距離測定装置を示す概略図である。図１に示すように、本実施形態による距離測定装置１００は、光を照射する照射部１０１と、視点の異なる複数の画像、即ち、視差画像を取得し得る撮像部１０３と、本実施形態による距離測定装置１００の全体的な制御を司る制御部１０４とを備えている。
照射部（撮影部）１０１には、光を発する光源（光源部）１０５と、光源１０５から発せられる光を変調することによってパターンを備えた光、即ち、パターン光を生成する空間光変調器１０６とが備えられている。また、照射部１０１には、当該パターン光を拡大して被写体１０２に投影する投影レンズ１０７と、照射部１０１に備えられた各々の機能ブロックの制御を行う照射部用制御部１０８とが備えられている。被写体１０２の分光反射率の影響を受けることなく、後述する補正処理を高精度に行う観点からは、光源１０５は、可視光域の全域を含む白色光を発する光源、即ち、白色光源であることが好ましい。光源１０５としては、例えば、キセノンランプ等の放電発光型の光源を用いることができる。空間光変調器１０６としては、例えば液晶パネル等を用いることができる。ここでは、空間光変調器１０６が、透過型の空間光変調器である場合を例に説明するが、空間光変調器１０６は、これに限定されるものではない。液晶パネルには、液晶が封入された液晶セルが備えられており、液晶セルには多数の画素電極が行列状に配されている。液晶パネルは、行列状に配された画素電極に適宜電圧を印加することによって、液晶分子の配向方向を適宜変化させ、所望のパターンが構成されるように光の通過箇所と光の遮断箇所とを形成する。これにより、光源１０５からの光が空間光変調器１０６によって変調され、所望のパターンの光が得られる。例えば、図６を用いて後述するような所望のパターン６０１の光が得られるように、空間光変調器１０６によって変調が行われる。空間光変調器１０６によって変調を行うと、パターンを備えた光、即ち、パターン光が得られる。一方、空間光変調器１０６によって変調を行わないと、パターンを備えない一様な光、即ち、非パターン光が得られる。従って、照射部１０１は、パターンを備えない一様な光を、被写体１０２に照射することもできる。即ち、照射部１０１は、パターンを備えた第１の光と、パターンを備えない第２の光とを被写体１０２に選択的に照射し得る。空間光変調器１０６が高速で動作可能であるため、本実施形態によれば、パターンを備えた光とパターンを備えない光とを短い時間間隔で順次照射することが可能である。また、本実施形態では、空間光変調器１０６を用いてパターンの有無を制御するため、パターンを備えた光とパターンを備えない光とを同じ位置から照射することが可能である。このため、後述する第１の視差画像と後述する第２の視差画像とを同じ位置から照射される光を用いて取得することができる。同じ位置から照射される光を用いて取得される第１の視差画像と第２の視差画像とを用いて後述する補正処理が行われるため、本実施形態によれば、高精度な補正処理を行うことが可能となる。
図２は、撮像部を示す概略図である。撮像部（撮像装置）１０３は、例えばデジタルカメラである。撮像部１０３の本体（ボディ）２０１には、撮像レンズ２０２を含む撮像光学系（レンズユニット）２０６が備えられる。撮像光学系２０６は、ボディ２０１に対して着脱可能であってもよいし着脱不能であってもよい。ボディ２０１内には、撮像素子２０３、処理部２０４、メモリ２０５等が備えられている。図２における一点鎖線は、光軸２０７を示している。撮像光学系２０６によって形成される光学像（被写体像）が、撮像素子２０３の撮像面２０８に入射される。撮像素子２０３は、撮像光学系２０６によって形成される光学像を光電変換することによって、被写体１０２の画像（画像データ）を生成する。撮像素子２０３によって取得される画像データは、処理部２０４に入力される。撮像素子２０３は、上述したように、視点の異なる複数の画像を取得し得る。処理部（制御部）２０４は、パターン光を被写体１０２に照射した状態で、第１の視点の第１の画像と、第１の視点とは異なる第２の視点の第２の画像とを撮像素子２０３を用いて取得し、取得した第１の画像及び第２の画像をメモリ２０５に記憶する。即ち、処理部２０４は、パターンを備えた第１の光が被写体に照射された第１の視点の第１の画像と、第１の光が前記被写体に照射された第２の視点の第２の画像とを取得する取得部として機能し得る。また、処理部２０４は、パターンを備えない一様な光を被写体１０２に照射した状態で、第１の視点の第３の画像と第２の視点の第４の画像とを撮像素子２０３を用いて取得し、取得した第３の画像及び第４の画像をメモリ２０５に記憶する。即ち、処理部２０４は、パターンを備えていない第２の光が被写体に照射された第１の視点の第３の画像と、第２の光が被写体に照射された第２の視点の第４の画像とを取得する取得部として機能し得る。処理部２０４は、第１の画像を第３の画像により補正することによって得られる第５の画像と、第２の画像を第４の画像により補正することによって得られる第６の画像との相関に基づいて、距離に関する情報を取得する。かかる距離に関する情報は、例えば、視差量であってもよいし、被写体１０２までの距離値であってもよい。そして、処理部２０４は、距離に関する情報をメモリ２０５に記憶する。
図３は、画素の配置の例を示す平面図である。撮像素子２０３の撮像面２０８には、多数の画素、即ち、多数の単位画素３０１が配されているが、ここでは、多数の単位画素３０１のうちの４８個の単位画素３０１を抜き出して示している。図３に示すように、撮像素子２０３の撮像面２０８には、単位画素３０１が２次元状、即ち、行列状に複数配列されている。各々の単位画素３０１上には、Ｒ（Ｒｅｄ）、Ｇ（Ｇｒｅｅｎ）、Ｂ（Ｂｌｕｅ）のカラーフィルタが例えばベイヤー配列で配置されている。各々の単位画素３０１内には、分割画素（副画素）ａと、分割画素（副画素）ｂとがそれぞれ配置されている。分割画素ａ、ｂには、フォトダイオード（光電変換部）３０２ａ，３０２ｂがそれぞれ備えられている。分割画素ａ、ｂからの各々の出力信号は、後述するように互いに視差を有している。なお、分割画素ｂの出力信号の値は、例えば、分割画素ａ，ｂの出力信号の加算値から分割画素ａの出力信号の値を減算することによって算出され得る。なお、ここでは、１つの単位画素３０１が２つの分割画素ａ，ｂによって構成されている場合、即ち、１つの単位画素３０１が２つに分割されている場合を例に説明したが、これに限定されるものではない。１つの単位画素３０１が例えば３つ以上の分割画素によって構成されていてもよい。また、ここでは、撮像面２０８に備えられた全ての単位画素３０１がそれぞれ分割されている場合を例に説明したが、これに限定されるものではなく、一部の単位画素３０１だけが分割されていてもよい。
図４は、撮像光学系の射出瞳を通過する光束と単位画素との関係の例を示す模式図である。なお、図４は、画角の中心に位置している単位画素と光束との関係を示している。図４に示すように、カラーフィルタ４０２とマイクロレンズ４０３とが、単位画素３０１上に形成されている。撮像光学系２０６（図２参照）の射出瞳４０１を通過する光束の中心と光軸２０７とが一致している。射出瞳４０１を通過した光束は、光軸２０７を中心として単位画素３０１に入射する。撮像光学系２０６の射出瞳４０１には、第１の瞳領域４０５と、第１の瞳領域４０５とは異なる第２の瞳領域４０６とが位置している。第１の瞳領域４０５を通過する光束は、マイクロレンズ４０３を介して、分割画素ａに備えられたフォトダイオード３０２ａによって受光される。一方、第２の瞳領域４０６を通過する光束は、マイクロレンズ４０３を介して、分割画素ｂに備えられたフォトダイオード３０２ｂによって受光される。このように、分割画素ａ、ｂは、撮像光学系２０６の射出瞳４０１の別個の瞳領域４０５，４０６からの光をそれぞれ受光する。このため、分割画素ａによって取得される信号と、分割画素ｂによって取得される信号との間には、視差が存在している。
図５は、画素の回路図である。分割画素ａ、ｂにそれぞれ備えられたフォトダイオード３０２ａ、３０２ｂは、分割画素ａ，ｂにそれぞれ入射される光、即ち、光学像を光電変換し、露光量に応じた電荷を蓄積する。転送スイッチ５０１ａ、５０１ｂのゲートに印加される信号ｔｘａ、ｔｘｂをＨｉｇｈレベルに設定することにより、フォトダイオード３０２ａ、３０２ｂに蓄積されているそれぞれの電荷がフローティングディフュージョン部５０２に転送される。フローティングディフュージョン部５０２は、増幅トランジスタ５０３のゲートに接続されており、増幅トランジスタ５０３のゲートの電位は、フォトダイオード３０２ａ、３０２ｂから転送された電荷量に応じた電位となる。増幅トランジスタ５０３のドレインは、電源電位Ｖｄｄに接続されている。増幅トランジスタ５０３の出力は、垂直出力線（図示せず）を介して電流源（図示せず）に接続されている。増幅トランジスタ５０３と電流源とによって、ソースフォロワ回路が構成されている。フローティングディフュージョン部５０２をリセットするためのリセットスイッチ（リセットトランジスタ）５０４のドレインは、電源電位Ｖｄｄに接続されている。リセットスイッチ５０４のゲートに印加される信号ｒｅｓをＨｉｇｈレベルに設定することにより、フローティングディフュージョン部５０２がリセットされる。フォトダイオード３０２ａ、３０２ｂの電荷をリセットする場合には、信号ｒｅｓと信号ｔｘａ、ｔｘｂとを同時にＨｉｇｈレベルに設定することにより、転送スイッチ（転送ゲート）５０１ａ、５０１ｂとリセットスイッチ５０４の両方をオンにする。そして、フローティングディフュージョン部５０２を経由して、フォトダイオード３０２ａ、３０２ｂのリセットを行う。選択スイッチ（選択トランジスタ）５０５のゲートに印加される信号ｓｅｌをＨｉｇｈレベルに設定することにより、増幅トランジスタ５０３のゲートの電位に応じた画素信号が単位画素３０１の出力ｖｏｕｔに出力される。なお、画素の回路は、図５に示す回路に限定されるものではない。
撮像素子２０３に２次元状に配列された単位画素３０１の各々の分割画素ａ、即ち、第１の分割画素の出力信号の集合体によって、視差画像のうちの一方の画像であるＡ像が構成される。また、撮像素子２０３に２次元状に配列された単位画素３０１の各々の分割画素ｂ、即ち、第２の分割画素の出力信号の集合体によって、視差画像のうちの他方の画像であるＢ像が構成される。なお、Ｂ像は、Ａ＋Ｂ像からＡ像を減算することによって取得してもよい。撮像素子２０３によって取得されたＡ像とＢ像とは、処理部２０４に伝送される。処理部２０４は、後述するような補正処理をＡ像とＢ像とに対して行い、補正処理を施すことによって得られたＡ像とＢ像との相関に基づいて、被写体１０２までの距離を示す距離値を算出する。処理部２０４は、算出した距離値をメモリ２０５に記憶する。測距の算出は、公知の手法によって行い得る。例えば、ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）によって相関値を算出し、算出した相関値から視差量を求め、求めた視差量を距離に換算することによって距離値を取得し得る。
被写体１０２に模様等が乏しい場合、即ち、テクスチャが乏しい場合には、Ａ像とＢ像との相関値に顕著なピークが現れにくく、距離値を高精度に求め得ない。そこで、本実施形態では、照射部１０１によって被写体１０２にパターン光を投影することによって、被写体１０２の表面にテクスチャを付与し、これにより、Ａ像とＢ像との相関値に顕著なピークが現れるようにしている。
図６は、被写体に投影されるパターンの例を示す図である。図６に示すように、パターン６０１においては、いずれの方向においても周期や大きさがランダムとなるようにドットが配されている。いずれの方向においてもドットがランダムに配されたこのようなパターン６０１を被写体１０２に投影すれば、後述するウィンドウ７０５の形状に制限が生じることがなく、また、単位画素３０１の分割方向に制限が生じることもない。従って、図６に示すようなランダムなドットのパターン６０１を用いることは好適である。図６に示すようなパターンは、照射部１０１に備えられた空間光変調器１０６を用いて生成し得る。なお、被写体１０２に投影されるパターンは、図６に示すようなパターンに限定されるものではなく、適宜設定し得る。
互いに対応する領域をＡ像とＢ像とに対してそれぞれ設定し、これらの領域の相対的な位置を徐々にずらしながら取得されるＡ像信号とＢ像信号との相関値のピークに基づいてＡ像とＢ像との間の視差量を算出すること可能である。しかしながら、反射率が比較的低い部分と反射率が比較的高い部分の両方が、かかる領域内に位置している場合には、反射率が比較的高い部分に対応する信号が支配的となり、Ａ像とＢ像との間の視差量を必ずしも正確に算出し得ない。このような場合には、パターン６０１が投影された被写体１０２を撮影することによって得られる画像を用いた場合であっても、Ａ像とＢ像との間の視差量を必ずしも正確に算出し得ず、従って、被写体１０２までの距離値を必ずしも正確に算出し得ない。そこで、本実施形態では、パターン６０１が投影されていない被写体１０２を撮影することによって得られる画像をも用い、後述するような補正処理を行うことによって、測距精度の向上を図っている。
パターン６０１を投射した状態、即ち、パターン光を照射した状態で被写体１０２を撮影することによって、第１のＡ像７０１Ａ、即ち、第１の画像と、第１のＢ像７０１Ｂ、即ち、第２の画像とが得られる。図７（ａ）は、パターン６０１が投影された被写体１０２を撮影することによって得られる画像の例を示す図である。図７（ａ）に示すように、被写体１０２の表面には、パターン６０１の投射によってテクスチャが付与されている。第１のＡ像７０１Ａと第１のＢ像７０１Ｂとの間には、互いに視差が生じているが、ここでは、説明の便宜上、同じ図面を用いて第１のＡ像７０１Ａと第１のＢ像７０１Ｂとを概念的に示している。
図７（ｂ）は、図７（ａ）に示す線分７０２に沿った信号強度分布の例を示している。横軸は位置を示しており、縦軸は信号強度Ｉを示している。図７（ｂ）から分かるように、被写体１０２には、反射率が比較的低い部分７０３と、反射率が比較的高い部分７０４とが存在している。Ａ像とＢ像との相関値を求める際に比較対象となる領域が、図７（ｂ）に示すようなウィンドウ７０５Ａ、７０５Ｂによって画定される。ウィンドウ一般について説明する際には符号７０５を用い、Ａ像に対する具体的なウィンドウについて説明する際には符号７０５Ａを用い、Ｂ像に対する具体的なウィンドウについて説明する際には符号７０５Ｂを用いることとする。
パターンを備えない一様な光を照射した状態で被写体１０２を撮影することによって、第２のＡ像８０１Ａ、即ち、第３の画像と、第２のＢ像８０１Ｂ、即ち、第４の画像とが得られる。図８（ａ）は、パターンを備えない一様な光を照射した状態で被写体１０２を撮影することによって得られる画像の例を示す図である。図８（ａ）に示すように、被写体１０２の表面には、パターン６０１が投影されていない。第２のＡ像８０１Ａと第２のＢ像８０１Ｂとの間には、互いに視差が生じているが、ここでは、説明の便宜上、同じ図面を用いて第２のＡ像８０１Ａと第２のＢ像８０１Ｂとを示している。
図８（ｂ）は、図８（ａ）に示す線分８０２に沿った信号強度分布の例を示している。横軸は位置を示しており、縦軸は信号強度Ｉを示している。図８（ｂ）から分かるように、被写体１０２には、反射率が比較的低い部分８０３と、反射率が比較的高い部分８０４とが存在している。
上述したように、反射率が比較的低い部分と反射率が比較的高い部分の両方が、ウィンドウ７０５Ａ，７０５Ｂ内に位置している場合には、反射率が比較的高い部分に対応する信号が支配的となり、Ａ像とＢ像との間の視差量を必ずしも正確に算出し得ない。視差量を正確に算出し得ないと、距離値を正確に算出し得ない。そこで、本実施形態では、以下のような補正処理を行う。即ち、図９（ａ）に示すように、パターンを備えた光を照射した状態で撮影することによって得られる第１のＡ像７０１Ａを、パターンを備えない光を照射した状態で撮影することによって得られる第２のＡ像８０１Ａによって除算する。この際、第１のＡ像７０１Ａの各々の画素値が、第１のＡ像７０１Ａの各々の画素に対応する第２のＡ像８０１Ａの画素値によって除算される。このような補正処理を行うことによって、反射率の影響が解消された第３のＡ像９０１Ａ、即ち、第５の画像が得られる。また、図９（ｂ）に示すように、パターンを備えた光を照射した状態で撮影することによって得られる第１のＢ像７０１Ｂを、パターンを備えない光を照射した状態で投影することによって得られる第２のＢ像８０１Ｂによって除算する。この際、第１のＢ像７０１Ｂの各々の画素値が、第１のＢ像７０１Ｂの各々の画素に対応する第２のＢ像８０１Ｂの画素値によって除算される。このような補正処理を行うことによって、反射率の影響が解消された第３のＢ像９０１Ｂ、即ち、第６の画像が得られる。図１０は、補正処理を施すことによって得られる信号強度分布の例を示す図である。図１０は、線分７０２，８０２に対応する線分に沿った第３のＡ像９０１Ａと第３のＢ像９０１Ｂの信号強度分布の例を示している。第３のＡ像９０１Ａと第３のＢ像９０１Ｂとには視差が存在しているが、説明の便宜上、ここでは同じ図面を用いて第３のＡ像９０１Ａにおける信号強度分布と第３のＢ像９０１Ｂにおける信号強度分布とを示している。そして、こうして得られた第３のＡ像９０１Ａと第３のＢ像９０１Ｂとの相関値に基づいて視差量を算出する。第３のＡ像９０１Ａも第３のＢ像９０１Ｂも、反射率の影響が解消されているため、これらの相関値に基づいて視差量を算出すれば、高精度な視差量が得られる。従って、本実施形態によれば、反射率が互いに異なる箇所が被写体１０２に存在している場合であっても、距離値を高精度に求めることが可能となる。
図１１は、本実施形態による距離測定装置の動作を示すフローチャートである。
ステップＳ１１０１において、制御部１０４は、パターンを備えた光を被写体１０２に照射した状態で被写体１０２の画像が取得されるように、照射部１０１と撮像部１０３とを制御する。これにより、パターンを備えた光を被写体１０２に照射した状態で撮影することによって得られた第１の視差画像、即ち、第１のＡ像７０１Ａと第１のＢ像７０１Ｂとが得られる。撮像部１０３に備えられた処理部（制御部）２０４は、撮像部１０３に備えられたメモリ２０５に第１のＡ像７０１Ａと第１のＢ像７０１Ｂとを記憶する。この後、ステップＳ１１０２に移行する。
ステップＳ１１０２において、制御部１０４は、パターンを備えない一様な光を被写体１０２に照射した状態で被写体１０２の画像が取得されるように、照射部１０１と撮像部１０３とを制御する。これにより、パターンを備えない光を被写体１０２に照射した状態で撮影することによって得られた第２の視差画像、即ち、第２のＡ像８０１Ａと第２のＢ像８０１Ｂとが得られる。処理部２０４は、メモリ２０５に第２のＡ像８０１Ａと第２のＢ像８０１Ｂとを記憶する。この後、ステップＳ１１０３に移行する。
ステップＳ１１０３において、撮像部１０３に備えられた処理部２０４は、反射率の影響を解消するための補正処理を以下のようにして行う。処理部２０４は、パターンを備えた光が照射された状態で撮影することによって得られた第１のＡ像７０１Ａを、パターンを備えない光を照射した状態で撮影することによって得られた第２のＡ像８０１Ａによって除算する。これにより、処理部２０４は、第３のＡ像９０１Ａを取得する。また、処理部２０４は、パターンを備えた光が照射された状態で撮影することによって得られた第１のＢ像７０１Ｂを、パターンを備えない光を照射した状態で撮影することによって得られた第２のＢ像８０１Ｂによって除算する。これにより、処理部２０４は、第３のＢ像９０１Ｂを取得する。処理部２０４は、こうして得られた第３のＡ像９０１Ａと第３のＢ像９０１Ｂとをメモリ２０５に記憶する。この後、ステップＳ１１０４に移行する。
ステップＳ１１０４において、処理部２０４は、第３のＡ像９０１Ａと第３のＢ像９０１Ｂとの相関値を算出し、例えば既知の手法であるサブピクセル推定によって視差量を算出する。この後、ステップＳ１１０５に移行する。
ステップＳ１１０５において、撮像部１０３に備えられた処理部２０４は、例えば既知の手法によって視差量を距離値に換算する。例えば、基線長と、幾何学的関係とに基づいて、視差量を距離値に換算する。例えば、第１の瞳領域４０５を通過する光束の重心と第２の瞳領域４０６を通過する光束の重心との間の射出瞳４０１上における間隔が基線長に対応する。こうして、距離値、即ち、被写体１０２までの距離が求められる。
このように、本実施形態によれば、パターンを備えた光を照射した状態で撮影することによって得られた第１のＡ像７０１Ａが、パターンを備えない光を照射した状態で撮影することによって得られた第２のＡ像８０１Ａによって除算される。これにより、反射率の影響が解消された第３のＡ像９０１Ａが得られる。また、本実施形態では、パターンを備えた光を照射した状態で撮影することによって得られた第１のＢ像７０１Ｂが、パターンを備えない光を照射した状態で撮影することによって得られた第２のＢ像８０１Ｂによって除算される。これにより、反射率の影響が解消された第３のＢ像９０１Ｂが得られる。そして、こうして得られた第３のＡ像９０１Ａと第３のＢ像９０１Ｂとの相関値に基づいて視差量が算出される。反射率の影響が解消された第３のＡ像９０１Ａと第３のＢ像とを用いて相関値が算出され、当該相関値に基づいて視差量が算出されるため、反射率が異なる箇所が被写体１０２に存在している場合であっても、高精度な視差量が得られる。こうして得られた視差量に基づいて被写体までの距離が求められるため、被写体までの距離を高精度に求めることができる。このように、本実施形態によれば、被写体１０２の反射率の影響を解消することができるため、良好に距離を求め得る距離測定装置及び距離測定方法を提供することができる。
［第２実施形態］
第２実施形態による距離測定装置及び距離測定方法について図面を用いて説明する。図１２は、本実施形態による距離測定装置の動作を示すフローチャートである。本実施形態による距離測定装置は、反射率の影響を解消するための補正処理を行うか否かの判定を行うものである。処理部２０４は、補正処理に用いられる第３の画像（第２のＡ像８０１Ａ）と第４の画像（第２のＢ像８０１Ｂ）の取得を行うか否かを、第１の画像（第１のＡ像７０１Ａ）、又は、第２の画像（第１のＢ像７０１Ｂ）に基づいて判定する。
ステップＳ１２０１において、制御部１０４は、第１実施形態において上述したステップＳ１１０１と同様に、パターンを備える光を被写体１０２に照射した状態で被写体１０２の画像が取得されるように、照射部１０１と撮像部１０３とを制御する。これにより、パターンを備える光が照射された状態で撮影することによって得られた第１の視差画像、即ち、第１のＡ像７０１Ａと第１のＢ像７０１Ｂとが得られる。撮像部１０３に備えられた処理部２０４は、撮像部１０３に備えられたメモリ２０５に第１のＡ像７０１Ａと第１のＢ像７０１Ｂとを記憶する。この後、ステップＳ１２０２に移行する。
ステップＳ１２０２において、撮像部１０３に備えられた処理部２０４は、ステップＳ１２０１において取得された第１の視差画像に対して反射率の影響を解消するための補正処理を行うか否かを、以下のようにして判定する。即ち、処理部２０４は、ステップＳ１２０１において取得された画像に対して、所定のサイズのウィンドウを設定し、当該ウィンドウ内に位置する部分の輝度の最大値と最小値との差に基づいて当該部分のコントラスト値を算出する。処理部２０４は、ウィンドウの位置を順次変化させつつ、各位置のウィンドウ内におけるコントラスト値を順次算出し、算出された複数のコントラスト値のヒストグラム、即ち、コントラストのヒストグラムを生成する。コントラストのヒストグラムのうちに存在するピークに対応するコントラスト値が、予め設定した閾値未満である場合には、反射率の影響を解消するための補正処理を行うことが必要である。即ち、被写体１０２の反射率が低い場合には、反射率の影響を解消するための補正処理を行うことが必要である。また、コントラストのヒストグラムのうちに複数のピークが存在し、複数のピークのうちのいずれかに対応するコントラスト値が、予め設定した閾値未満である場合には、反射率の影響を解消するための補正処理を行うことが必要である。即ち、反射率の高い箇所と反射率の低い箇所とが存在する被写体１０２が撮影された場合には、反射率の影響を解消するための補正処理を行うことが必要である。反射率の補正を行うことが必要な場合には（ステップＳ１２０２においてＹＥＳ）、ステップＳ１２０４に移行する。上記のような場合以外の場合には、反射率の影響を解消するための補正処理を行うことを要しない。反射率の影響を解消するための補正処理を行わない場合には（ステップＳ１２０２においてＮＯ）、ステップＳ１２０３に移行する。
ステップＳ１２０３において、撮像部１０３に備えられた処理部２０４は、第１のＡ像７０１Ａと第１のＢ像７０１Ｂとの相関値を算出し、例えば既知の手法であるサブピクセル推定によって視差量を算出する。この後、ステップＳ１２０７に移行する。
ステップＳ１２０４において、制御部１０４は、第１実施形態において上述したステップＳ１１０２と同様に、パターンを備えない一様な光を被写体１０２に照射した状態で被写体１０２の画像が取得されるように、照射部１０１と撮像部１０３とを制御する。これにより、パターンを備えない光を被写体１０２に照射した状態で撮影することによって得られた第２の視差画像、即ち、第２のＡ像８０１Ａと第２のＢ像８０１Ｂとが得られる。処理部２０４は、メモリ２０５に第２のＡ像８０１Ａと第２のＢ像８０１Ｂとを記憶する。この後、ステップＳ１２０５に移行する。
ステップＳ１２０５において、撮像部１０３に備えられた処理部２０４は、第１実施形態において上述したステップＳ１１０３と同様に、反射率の影響を解消するための補正処理を以下のようにして行う。処理部２０４は、パターンを備えた光が照射された状態で撮影することによって得られた第１のＡ像７０１Ａを、パターンを備えない光を照射した状態で撮影することによって得られた第２のＡ像８０１Ａによって除算する。これにより、処理部２０４は、第３のＡ像９０１Ａを取得する。また、処理部２０４は、パターンを備えた光が照射された状態で撮影することによって得られた第１のＢ像７０１Ｂを、パターンを備えない光を照射した状態で撮影することによって得られた第２のＢ像８０１Ｂによって除算する。これにより、処理部２０４は、第３のＢ像９０１Ｂを取得する。処理部２０４は、こうして得られた第３のＡ像９０１Ａと第３のＢ像９０１Ｂとをメモリ２０５に記憶する。この後、ステップＳ１２０６に移行する。
ステップＳ１２０６において、処理部２０４は、第１実施形態において上述したステップＳ１１０４と同様に、第３のＡ像９０１Ａと第３のＢ像９０１Ｂとの相関値を算出し、例えば既知の手法であるサブピクセル推定によって視差量を算出する。この後、ステップＳ１２０７に移行する。
ステップＳ１２０７において、撮像部１０３に備えられた処理部２０４は、第１実施形態において上述したステップＳ１１０５と同様に、既知の手法によって視差量を距離値に換算する。こうして、距離値、即ち、被写体１０２までの距離が求められる。
このように、本実施形態によれば、反射率の影響を解消するための補正処理を行うか否かの判定を行い、かかる補正処理が不要な場合には、パターンを備えない光を被写体１０２に照射した状態での撮影を行わず、かかる補正処理も行わない。このため、本実施形態によれば、距離の測定の迅速化を図ることが可能である。
［変形実施形態］
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
例えば、上記実施形態では、液晶パネルを用いた透過型の空間光変調器１０６が照射部１０１に備えられている場合を例に説明したが、これに限定されるものではない。例えば、ＬＣＯＳ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｏｎ Ｓｉｌｉｃｏｎ）等が備えられた反射型の空間光変調器１０６が照射部１０１に備えられていてもよい。また、ＤＭＤ（Ｄｉｇｉｔａｌ Ｍｉｃｒｏｍｉｒｒｏｒ Ｄｅｖｉｃｅ）を用いて空間光変調器１０６を構成するようにしてもよい。
また、上記実施形態では、光源１０５としてキセノンランプ等の放電発光型の光源を用いる場合を例に説明したが、これに限定されるものではない。例えば、ＬＥＤ、レーザ、有機ＥＬ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｏｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）等の半導体発光素子等を光源１０５として用いることも可能である。
また、上記実施形態では、空間光変調器１０６を用いてパターンの制御を行う場合を例に説明したが、これに限定されるものではない。例えば、パターンが形成されたマスクを光路上に位置させることによって、パターンが備えられた光を生成してもよい。かかるマスクとしては、例えば、パターンが形成されたガラス板から成るマスクや、パターンが形成された金属板から成るマスク等が挙げられる。図１３は、変形実施形態による距離測定装置の例を示す概略図である。図１３に示すように、照射部１０１には、マスク１３０１が備えられている。光源１０５から発せられる光が、マスク１３０１を透過することによって、パターンが備えられた光が得られる。マスク１３０１には、例えば図６に示すようなパターン６０１が形成されている。マスク１３０１は、不図示のアクチュエータによって駆動され得る。マスク１３０１が光路上に位置しないような状態にすれば、パターンを備えない一様な光を得ることが可能である。一方、マスク１３０１が光路上に位置するような状態にすれば、パターンを備えた光を得ることが可能である。このように、マスク１３０１を用いて、パターンの有無の制御を行うようにしてもよい。
また、上記実施形態では、空間光変調器１０６を用いてパターンを制御する場合を例に説明したが、光源を切り替えることによってパターンを制御するようにしてもよい。例えば、光源として、レーザダイオード（ＬＤ：Ｌａｓｅｒ Ｄｉｏｄｅ）を用いた際には、スペックルを生じさせることが可能である。従って、光源として、レーザダイオードを用いて、スペックルによるパターンを備えた光を得ることが可能である。一方、光源として、発光ダイオード（ＬＥＤ：Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）を用いた際には、スペックルが生じないため、一様な光を得ることが可能である。このように、光源を切り替えることによって、パターンの有無の制御することも可能である。このような手法によってパターンの有無を制御する場合には、空間光変調器１０６等が不要となり、小型化や低コスト化に寄与することができる。
また、上記実施形態では、光源１０５が白色光源である場合を例に説明したが、これに限定されるものではない。例えば、光源１０５が、赤色（Ｒ）の光源と、緑色（Ｇ）の光源と、青色（Ｂ）の光源とによって構成されていてもよい。これら３色の光源からそれぞれ発せられる光の帯域は、撮像素子２０３（図２参照）に備えられたカラーフィルタ４０２（図４参照）の透過帯域と合致する。このため、光源１０５を、Ｒ，Ｇ，Ｂの３色の光源によって構成すれば、光の利用効率の向上に寄与することができる。
また、上記実施形態では、光源１０５が可視光を発する光源である場合を例に説明したが、これに限定されるものではない。例えば、光源１０５が、赤外光（ＩＲ：Ｉｎｆｒａｒｅｄ）を発する光源、即ち、赤外光源であってもよい。そして、赤外光に対応する透過帯域のカラーフィルタと、赤外光に対する受光感度を有する画素とを撮像素子２０３に備えるようにしてもよい。これにより、ＲＧＢの鑑賞用の画像データと、赤外光を用いた距離測定用の画像データとを得ることが可能となる。赤外光の波長帯域が８００ｎｍから１１００ｎｍの間である場合には、シリコン基板に形成された光電変換部によって光電変換を行うことが可能である。従って、カラーフィルタの配列の変更等を行うだけで、鑑賞用の画像データと距離測定用の画像データとを取得することが可能である。
また、上記実施形態では、互いに異なる複数の瞳領域をそれぞれ通過する光束を複数の分割画素によってそれぞれ受光することによって視差画像を取得したが、これに限定されるものではない。例えば、複数の撮像光学系のそれぞれによって形成される光学像を別個の撮像素子によって撮像することによって、視差画像を取得するようにしてもよい。即ち、ステレオカメラによって、視差画像を取得するようにしてもよい。この場合には、基線長を大きくすることが可能であるため、測距精度の向上を図ることが可能である。
また、上記実施形態では、照射部１０１と撮像部１０３とが別個に備えられている場合を例に説明したが、これに限定されるものではない。例えば、照射部１０１と撮像部１０３とが一体にし得る構成になっていてもよい。照射部１０１と撮像部１０３とを一体にできれば、照射部１０１と撮像部１０３との位置関係が固定された状態となるため、測定精度の観点から好適である。例えば、撮像部１０３に取り付けられるストロボ装置によって照射部１０１を構成し、照射部１０１であるストロボ装置に空間光変調器１０６等が備えられていてもよい。
また、上記実施形態では、撮像部１０３と別個に制御部１０４が備えられている場合を例に説明したが、これに限定されるものではない。例えば、撮像部１０３内に備えられた処理部２０４が制御部１０４を兼ねていてもよい。これにより、小型化や低コスト化等を図ることが可能となる。この場合、本実施形態による距離測定装置１００が、撮像部１０３に備えられていると考えることができる。即ち、本実施形態による距離測定装置１００が、撮像装置に備えられていると考えることができる。
また、上記実施形態では、第１のＡ像７０１Ａを第２のＡ像８０１Ａによって除算することによって第３のＡ像９０１Ａを生成し、第１のＢ像７０１Ｂを第２のＢ像８０１Ｂによって除算することによって第３のＢ像９０１Ｂを生成する場合を例に説明した。しかし、これに限定されるものではない。図１４は、変形実施形態による距離測定装置において行われる補正処理を概念的に示す図である。例えば、図１４（ａ）に示すように、第１のＡ像７０１Ａから第２のＡ像８０１Ａを減算することによって第３のＡ像１３０１Ａを生成するようにしてもよい。また、図１４（ｂ）に示すように、第１のＢ像７０１Ｂから第２のＢ像８０１Ｂを減算することによって第３のＢ像１３０１Ｂを生成してもよい。このように、第５の画像（第３のＡ像１３０１Ａ）は、第１の画像（第１のＡ像７０１Ａ）から第３の画像（第２のＡ像８０１Ａ）を減算することによって生成されてもよい。また、第６の画像（第３のＢ像１３０１Ｂ）は、第２の画像（第１のＢ像７０１Ｂ）から第４の画像（第２のＢ像８０１Ｂ）を減算することによって生成されてもよい。即ち、第３のＡ像１３０１Ａは、第１のＡ像７０１Ａと第２のＡ像８０１Ａとの差分であってもよいし、第３のＢ像１３０１Ｂは、第１のＢ像７０１Ｂと第２のＢ像８０１Ｂとの差分であってもよい。この場合には、除算の代わりに減算を行うようにすれば、演算の際の負荷を軽くすることができる。
また、上記実施形態では、パターンを備えた光を被写体１０２の全体に対して照射し、パターンを備えない一様な光を被写体１０２の全体に対して照射し、画像全体に対して補正処理を行う場合を例に説明したがこれに限定されるものではない。例えば、パターンを備えた光を被写体１０２の一部に対して照射し、パターンを備えない一様な光を被写体１０２の一部に対して照射し、画像の一部に対して補正処理を行うようにしてもよい。補正処理を画像の全体ではなく画像の一部に対して行うようにすれば、補正処理の際の負荷を低減することができる。この場合、例えば、予め設定した注目被写体領域を当該一部としてもよい。また、顔判定等の結果に基づいて、当該一部を決定してもよい。また、輝度やコントラスト等に基づいた主被写体判定等の結果に基づいて、当該一部を決定してもよい。
また、上記実施形態では、パターンを備えない第２の光を被写体１０２に照射した状態で、第１の視点の第３の画像と第２の視点の第４の画像とを撮像素子２０３を用いて取得する場合を例に説明したがこれに限定されるものではない。例えば、第１の光のパターンに対して明暗が反転された反転パターンを備えた第３の光を被写体１０２に照射した状態で、第１の視点の第７の画像と第２の視点の第８の画像とを撮像素子２０３を用いて取得するようにしてもよい。そして、第１の画像と第７の画像とを加算することにより、パターンを備えない一様な光が被写体１０２に照射された第３の画像を生成するようにしてもよい。また、第２の画像と第８の画像とを加算することにより、パターンを備えない一様な光が被写体１０２に照射された第４の画像を生成するようにしてもよい。図１５は、変形実施形態において用いられるパターンの例を示す図である。図１５（ａ）は、反転していないパターン１５０１の例を示しており、図１５（ｂ）は、図１５（ａ）に示すパターン１５０１の明暗を反転させた反転パターン１５０２の例を示している。例えば、第１の光として、図１５（ａ）に示すようなパターン１５０１を用いることができる。また、第３の光として、図１５（ｂ）に示すようなパターン１５０２を用いることができる。処理部２０４は、第１の画像と第７の画像とを加算することにより第３の画像を生成し、第２の画像と第８の画像とを加算することにより第４の画像を生成する生成部として機能し得る。
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
１０１…照射部
１０２…被写体
１０３…撮像部
１０４…処理部
１０５…光源部
１０６…空間光変調器
１０７…投影レンズ
１０８…照射部用制御部
２０３…撮像素子
２０４…処理部
２０５…メモリ
２０６…撮像光学系

Claims (21)

  1. パターンを備えた第１の光が被写体に照射された第１の視点の第１の画像と、前記第１の光が前記被写体に照射された、前記第１の視点とは異なる第２の視点の第２の画像と、前記パターンを備えていない第２の光が前記被写体に照射された前記第１の視点の第３の画像と、前記第２の光が前記被写体に照射された前記第２の視点の第４の画像とを取得する取得部と、
    前記第１の画像を前記第３の画像により補正することによって得られる第５の画像と、前記第２の画像を前記第４の画像により補正することによって得られる第６の画像とを用いて、距離に関する情報を取得する制御部と、
    を有し、
    前記制御部は、前記第３の画像及び前記第４の画像の取得を行うか否かを前記第１の画像又は前記第２の画像に基づいて判定するように制御する
    ことを特徴とする距離測定装置。
  2. パターンを備えた第１の光としての第１の赤外光が被写体に照射された第１の視点の第１の画像と、前記第１の赤外光が前記被写体に照射された、前記第１の視点とは異なる第２の視点の第２の画像と、前記パターンを備えていない第２の光としての第２の赤外光が前記被写体に照射された前記第１の視点の第３の画像と、前記第２の赤外光が前記被写体に照射された前記第２の視点の第４の画像とを取得する取得部と、
    前記第１の画像を前記第３の画像により補正することによって得られる第５の画像と、前記第２の画像を前記第４の画像により補正することによって得られる第６の画像とを用いて、距離に関する情報を取得する制御部と
    を有することを特徴とする距離測定装置。
  3. 前記第５の画像は、前記第１の画像を前記第３の画像で除算することによって生成され、
    前記第６の画像は、前記第２の画像を前記第４の画像で除算することによって生成されることを特徴とする請求項１又は２に記載の距離測定装置。
  4. 前記第５の画像は、前記第１の画像から前記第３の画像を減算することによって生成され、
    前記第６の画像は、前記第２の画像から前記第４の画像を減算することによって生成されることを特徴とする請求項１又は２に記載の距離測定装置。
  5. パターンを備えた第１の光が被写体に照射された第１の視点の第１の画像と、前記第１の光が前記被写体に照射された、前記第１の視点とは異なる第２の視点の第２の画像と、前記パターンに対して明暗が反転された反転パターンを備えた第２の光が前記被写体に照射された前記第１の視点の第７の画像と、前記第２の光が前記被写体に照射された前記第２の視点の第８の画像とを取得する取得部と、
    前記第１の画像と前記第７の画像とを加算することにより第３の画像を生成し、前記第２の画像と前記第８の画像とを加算することにより第４の画像を生成する生成部と、
    前記第１の画像を前記第３の画像により補正することによって得られる第５の画像と、前記第２の画像を前記第４の画像により補正することによって得られる第６の画像とを用いて、距離に関する情報を取得する制御部と
    を有することを特徴とする距離測定装置。
  6. 前記距離に関する情報は、視差量であることを特徴とする請求項１から５のいずれか１項に記載の距離測定装置。
  7. 前記距離に関する情報は、前記被写体までの距離であることを特徴とする請求項１から５のいずれか１項に記載の距離測定装置。
  8. 光源部と、前記光源部から発せられる光を変調することによって前記第１の光を生成する空間光変調器とを備え、前記第１の光と前記第２の光とを前記被写体に選択的に照射し得る照射部を更に備えることを特徴とする請求項１から７のいずれか１項に記載の距離測装置。
  9. 光源部と、前記光源部から発せられる光から前記第１の光を生成するマスクとを備え、
    前記第１の光と前記第２の光とを前記被写体に選択的に照射し得る照射部を更に備えることを特徴とする請求項１から７のいずれか１項に記載の距離測定装置。
  10. 光源部と、前記光源部から発せられる光から前記第１の光を生成するマスクと、
    前記第１の光と前記第２の光とを前記被写体に選択的に照射し得る照射部と、
    を備え、
    前記光源部は、白色光源を備えることを特徴とする請求項１又は５に記載の距離測定装置。
  11. 光源部と、前記光源部から発せられる光から前記第１の光を生成するマスクと、
    前記第１の光と前記第２の光とを前記被写体に選択的に照射し得る照射部と、
    を備え、
    前記光源部は、赤色の光源と、緑色の光源と、青色の光源とを備えることを特徴とする請求項１又は５に記載の距離測定装置。
  12. 前記光源部は、赤外光源を備えることを特徴とする請求項８又は９に記載の距離測定装置。
  13. 被写体を撮像することにより、パターンを備えた第１の光が前記被写体に照射された第１の視点の第１の画像と、前記第１の光が前記被写体に照射された、前記第１の視点とは異なる第２の視点の第２の画像と、前記パターンを備えていない第２の光が前記被写体に照射された前記第１の視点の第３の画像と、前記第２の光が前記被写体に照射された前記第２の視点の第４の画像とを取得する撮像部と、
    前記第１の画像を前記第３の画像により補正することによって得られる第５の画像と、前記第２の画像を前記第４の画像により補正することによって得られる第６の画像とを用いて、距離に関する情報を取得する制御部と、を有し、
    前記制御部は、前記第３の画像及び前記第４の画像の取得を行うか否かを前記第１の画像又は前記第２の画像に基づいて判定するように制御する
    ことを特徴とする撮像装置。
  14. パターンを備えた第１の赤外光が被写体に照射された第１の視点の第１の画像と、前記第１の赤外光が前記被写体に照射された、前記第１の視点とは異なる第２の視点の第２の画像と、前記パターンを備えていない第２の赤外光が前記被写体に照射された前記第１の視点の第３の画像と、前記第２の赤外光が前記被写体に照射された前記第２の視点の第４の画像とを取得する取得部と、
    前記第１の画像を前記第３の画像により補正することによって得られる第５の画像と、前記第２の画像を前記第４の画像により補正することによって得られる第６の画像とを用いて、距離に関する情報を取得する制御部と
    を有することを特徴とする撮像装置。
  15. 被写体を撮像することにより、パターンを備えた第１の光が前記被写体に照射された第１の視点の第１の画像と、前記第１の光が前記被写体に照射された、前記第１の視点とは異なる第２の視点の第２の画像と、前記パターンに対して明暗が反転された反転パターンを備えた第３の光が前記被写体に照射された前記第１の視点の第７の画像と、前記第３の光が前記被写体に照射された前記第２の視点の第８の画像とを取得する撮像部と、
    前記第１の画像と前記第７の画像とを加算することにより第３の画像を生成し、前記第２の画像と前記第８の画像とを加算することにより第４の画像を生成する生成部と、
    前記第１の画像を前記第３の画像により補正することによって得られる第５の画像と、
    前記第２の画像を前記第４の画像により補正することによって得られる第６の画像とを用いて、距離に関する情報を取得する制御部と
    を有することを特徴とする撮像装置。
  16. パターンを備えた第１の光が被写体に照射された第１の視点の第１の画像と、前記第１の光が前記被写体に照射された、前記第１の視点とは異なる第２の視点の第２の画像と、
    前記パターンを備えていない第２の光が前記被写体に照射された前記第１の視点の第３の画像と、前記第２の光が前記被写体に照射された前記第２の視点の第４の画像とを取得するステップと、
    前記第１の画像を前記第３の画像により補正することによって得られる第５の画像と、
    前記第２の画像を前記第４の画像により補正することによって得られる第６の画像とを用いて、距離に関する情報を取得するステップと、
    前記第３の画像及び前記第４の画像の取得を行うか否かを前記第１の画像又は前記第２の画像に基づいて判定するステップと、
    を有することを特徴とする距離測定方法。
  17. パターンを備えた第１の赤外光が被写体に照射された第１の視点の第１の画像と、前記第１の赤外光が前記被写体に照射された、前記第１の視点とは異なる第２の視点の第２の画像と、前記パターンを備えていない第２の赤外光が前記被写体に照射された前記第１の視点の第３の画像と、前記第２の赤外光が前記被写体に照射された前記第２の視点の第４の画像とを取得するステップと、
    前記第１の画像を前記第３の画像により補正することによって得られる第５の画像と、前記第２の画像を前記第４の画像により補正することによって得られる第６の画像とを用いて、距離に関する情報を取得するステップと、
    を有することを特徴とする距離測定方法。
  18. パターンを備えた第１の光が被写体に照射された第１の視点の第１の画像と、前記第１の光が前記被写体に照射された、前記第１の視点とは異なる第２の視点の第２の画像と、前記パターンに対して明暗が反転された反転パターンを備えた第３の光が前記被写体に照射された前記第１の視点の第７の画像と、前記第３の光が前記被写体に照射された前記第２の視点の第８の画像とを取得するステップと、
    前記第１の画像と前記第７の画像とを加算することにより第３の画像を生成し、前記第２の画像と前記第８の画像とを加算することにより第４の画像を生成するステップと、
    前記第１の画像を前記第３の画像により補正することによって得られる第５の画像と、前記第２の画像を前記第４の画像により補正することによって得られる第６の画像とを用いて、距離に関する情報を取得するステップと、
    を有することを特徴とする距離測定方法。
  19. コンピュータに、
    パターンを備えた第１の光が被写体に照射された第１の視点の第１の画像と、前記第１の光が前記被写体に照射された、前記第１の視点とは異なる第２の視点の第２の画像と、
    前記パターンを備えていない第２の光が前記被写体に照射された前記第１の視点の第３の画像と、前記第２の光が前記被写体に照射された前記第２の視点の第４の画像とを取得するステップと、
    前記第１の画像を前記第３の画像により補正することによって得られる第５の画像と、
    前記第２の画像を前記第４の画像により補正することによって得られる第６の画像とを用いて、距離に関する情報を取得するステップと、
    前記第３の画像及び前記第４の画像の取得を行うか否かを前記第１の画像又は前記第２の画像に基づいて判定するステップと、
    を実行させるためのプログラム。
  20. コンピュータに、
    パターンを備えた第１の赤外光が被写体に照射された第１の視点の第１の画像と、前記第１の赤外光が前記被写体に照射された、前記第１の視点とは異なる第２の視点の第２の画像と、前記パターンを備えていない第２の赤外光が前記被写体に照射された前記第１の視点の第３の画像と、前記第２の赤外光が前記被写体に照射された前記第２の視点の第４の画像とを取得するステップと、
    前記第１の画像を前記第３の画像により補正することによって得られる第５の画像と、前記第２の画像を前記第４の画像により補正することによって得られる第６の画像とを用いて、距離に関する情報を取得するステップと、
    を実行させるためのプログラム。
  21. コンピュータに、
    パターンを備えた第１の光が被写体に照射された第１の視点の第１の画像と、前記第１の光が前記被写体に照射された、前記第１の視点とは異なる第２の視点の第２の画像と、前記パターンに対して明暗が反転された反転パターンを備えた第３の光が前記被写体に照射された前記第１の視点の第７の画像と、前記第３の光が前記被写体に照射された前記第２の視点の第８の画像とを取得するステップと、
    前記第１の画像と前記第７の画像とを加算することにより第３の画像を生成し、前記第２の画像と前記第８の画像とを加算することにより第４の画像を生成するステップと、
    前記第１の画像を前記第３の画像により補正することによって得られる第５の画像と、前記第２の画像を前記第４の画像により補正することによって得られる第６の画像とを用いて、距離に関する情報を取得するステップと、
    を実行させるためのプログラム。
JP2017106854A 2017-05-30 2017-05-30 距離測定装置、距離測定方法及び撮像装置 Active JP7005175B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017106854A JP7005175B2 (ja) 2017-05-30 2017-05-30 距離測定装置、距離測定方法及び撮像装置
US15/989,446 US10466048B2 (en) 2017-05-30 2018-05-25 Distance measuring apparatus, distance measuring method, and image pickup apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017106854A JP7005175B2 (ja) 2017-05-30 2017-05-30 距離測定装置、距離測定方法及び撮像装置

Publications (2)

Publication Number Publication Date
JP2018204976A JP2018204976A (ja) 2018-12-27
JP7005175B2 true JP7005175B2 (ja) 2022-01-21

Family

ID=64459424

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017106854A Active JP7005175B2 (ja) 2017-05-30 2017-05-30 距離測定装置、距離測定方法及び撮像装置

Country Status (2)

Country Link
US (1) US10466048B2 (ja)
JP (1) JP7005175B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7237506B2 (ja) * 2018-10-02 2023-03-13 ソニーセミコンダクタソリューションズ株式会社 撮像装置
JP7130544B2 (ja) * 2018-12-20 2022-09-05 三星電子株式会社 ３次元情報算出装置、３次元計測装置、３次元情報算出方法及び３次元情報算出プログラム
JP7242367B2 (ja) * 2019-03-22 2023-03-20 キヤノン株式会社 包装材データ算出装置および包装材データ算出方法
JP7498651B2 (ja) 2020-02-21 2024-06-12 浜松ホトニクス株式会社 三次元計測装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002213931A (ja) 2001-01-17 2002-07-31 Fuji Xerox Co Ltd ３次元形状計測装置および３次元形状計測方法
JP2003083730A (ja) 2001-06-26 2003-03-19 Olympus Optical Co Ltd ３次元情報取得装置、３次元情報取得における投影パターン、及び、３次元情報取得方法
JP2008249432A (ja) 2007-03-29 2008-10-16 Fukuoka Institute Of Technology 非静止物体の三次元画像計測装置、三次元画像計測方法および三次元画像計測プログラム
JP2012042332A (ja) 2010-08-19 2012-03-01 Canon Inc 三次元計測装置及び三次元計測方法
US20140177942A1 (en) 2012-12-26 2014-06-26 Industrial Technology Research Institute Three dimensional sensing method and three dimensional sensing apparatus

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0942940A (ja) * 1995-08-03 1997-02-14 Canon Inc ３次元物体の形状計測方法及び装置
JPH10318732A (ja) 1997-05-22 1998-12-04 Topcon Corp 形状測定装置及び形状測定用画像形成装置
WO2007061632A2 (en) * 2005-11-09 2007-05-31 Geometric Informatics, Inc. Method and apparatus for absolute-coordinate three-dimensional surface imaging
KR20140075163A (ko) * 2012-12-11 2014-06-19 한국전자통신연구원 구조광 방식을 활용한 패턴 프로젝팅 방법 및 장치
EP3102908B1 (en) * 2014-02-05 2018-12-12 Creaform Inc. Structured light matching of a set of curves from two cameras
US9936151B2 (en) * 2015-10-16 2018-04-03 Capsovision Inc Single image sensor for capturing mixed structured-light images and regular images
US11218688B2 (en) * 2016-01-04 2022-01-04 Occipital, Inc. Apparatus and methods for three-dimensional sensing

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002213931A (ja) 2001-01-17 2002-07-31 Fuji Xerox Co Ltd ３次元形状計測装置および３次元形状計測方法
JP2003083730A (ja) 2001-06-26 2003-03-19 Olympus Optical Co Ltd ３次元情報取得装置、３次元情報取得における投影パターン、及び、３次元情報取得方法
JP2008249432A (ja) 2007-03-29 2008-10-16 Fukuoka Institute Of Technology 非静止物体の三次元画像計測装置、三次元画像計測方法および三次元画像計測プログラム
JP2012042332A (ja) 2010-08-19 2012-03-01 Canon Inc 三次元計測装置及び三次元計測方法
US20140177942A1 (en) 2012-12-26 2014-06-26 Industrial Technology Research Institute Three dimensional sensing method and three dimensional sensing apparatus

Also Published As

Publication number Publication date
JP2018204976A (ja) 2018-12-27
US20180347979A1 (en) 2018-12-06
US10466048B2 (en) 2019-11-05

Similar Documents

Publication Publication Date Title
US11212512B2 (en) System and method of imaging using multiple illumination pulses
US10412352B2 (en) Projector apparatus with distance image acquisition device and projection mapping method
JP7005175B2 (ja) 距離測定装置、距離測定方法及び撮像装置
JP6784295B2 (ja) 距離測定システム、距離測定方法およびプログラム
US10466359B2 (en) Method and system for light patterning and imaging
US8199335B2 (en) Three-dimensional shape measuring apparatus, three-dimensional shape measuring method, three-dimensional shape measuring program, and recording medium
US7119842B2 (en) Image capturing device including a spectrally-selectively transmissive diaphragm
US20140098192A1 (en) Imaging optical system and 3d image acquisition apparatus including the imaging optical system
JP2020060599A (ja) 撮像装置組立体、３次元形状測定装置及び動き検出装置、並びに、３次元形状の測定方法
US10679370B2 (en) Energy optimized imaging system with 360 degree field-of-view
US20230204724A1 (en) Reducing interference in an active illumination environment
KR101824328B1 (ko) 색수차를 이용한 3차원 스캐너 및 스캐닝 방법
JP4031306B2 (ja) ３次元情報検出システム
TWI801637B (zh) 用於相機之紅外光預閃光
JP7380777B2 (ja) 制御装置、制御方法、コンピュータプログラム及び電子機器
US11061139B2 (en) Ranging sensor
KR20150029897A (ko) 촬영 장치 및 그의 동작 방법
JP2017102637A (ja) 処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体
JP6426753B2 (ja) 撮像システム
JP6459165B2 (ja) 焦点検出装置
KR100661861B1 (ko) 적외선 플래시 방식의 능동형 3차원 거리 영상 측정 장치
JP2020003432A (ja) 撮像装置、画像処理方法、画像処理プログラムおよび記録媒体
JP2021127998A (ja) 距離情報取得装置および距離情報取得方法
JP6529214B2 (ja) 撮像装置
JP2012108232A (ja) 電子機器

Legal Events

Date Code Title Description
RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20171214

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20180126

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200527

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210324

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210401

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210528

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210826

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211022

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220105