JP7362670B2 - 撮像装置組立体、３次元形状測定装置及び動き検出装置 - Google Patents

撮像装置組立体、３次元形状測定装置及び動き検出装置 Download PDF

Info

Publication number
JP7362670B2
JP7362670B2 JP2020566398A JP2020566398A JP7362670B2 JP 7362670 B2 JP7362670 B2 JP 7362670B2 JP 2020566398 A JP2020566398 A JP 2020566398A JP 2020566398 A JP2020566398 A JP 2020566398A JP 7362670 B2 JP7362670 B2 JP 7362670B2
Authority
JP
Japan
Prior art keywords
imaging device
image signal
subject
distance
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020566398A
Other languages
English (en)
Other versions
JPWO2020149226A1 (ja
Inventor
雄一 浜口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of JPWO2020149226A1 publication Critical patent/JPWO2020149226A1/ja
Application granted granted Critical
Publication of JP7362670B2 publication Critical patent/JP7362670B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0085—Motion estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0092—Image segmentation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Power Engineering (AREA)
  • Optics & Photonics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

本開示は、撮像装置組立体、３次元形状測定装置及び動き検出装置に関する。
被写体までの距離を計測したり、被写体の３次元形状を非接触で計測する方法として、２つの撮像装置を並置して三角測量の原理で計測を行うステレオ法や、１つの光源と１つの撮像装置とを並置して計測を行うストラクチャードライト法が周知である（例えば、ＷＯ２０１６／０９８４００Ａ１参照）。ストラクチャードライト法においては、具体的には、例えばレーザ装置から成る光源から赤外線に基づく参照光パターンを出射し、参照光パターンを被写体に照射する。参照光パターンとして、例えば、ライン・アンド・スペース状パターン、格子状パターン、ドット状パターンを挙げることができる。そして、参照光パターンで照射されている被写体を撮像装置で撮像する。ここで、図９Ａに概念図を示すように、光源と撮像装置との間の距離（基線の長さ）をＬ、被写体を照射する出射光（光ビーム）と基線との成す角度をα、出射光が衝突する被写体の部分と撮像装置を結ぶ直線と基線との成す角度をβとし、光源が座標系の原点（０，０）に配置され、光ビームが衝突する被写体の部分の座標を（ｘ，ｙ）としたとき、（ｘ，ｙ）は以下の式（Ａ）で表される。また、ステレオ法は、２つの撮像装置を使用し、ストラクチャードライト法における光源を一方の撮像装置で置き換えた方法であるが、図９Ｂに概念図を示すように、光源を、別途、配置した構成を有する方法（アクティブステレオ法）も考えられる。
ｘ＝Ｌ・ｔａｎ（β）／｛ｔａｎ（α）＋ｔａｎ（β）｝
ｙ＝Ｌ・ｔａｎ（β）・ｔａｎ（α）／｛ｔａｎ（α）＋ｔａｎ（β）｝ （Ａ）
ＷＯ２０１６／０９８４００Ａ１
ところで、ストラクチャードライト法やアクティブステレオ法においては、被写体に照射されている参照光パターンを撮像装置によって画像データとして得なければならない。然るに、環境光（太陽光や屋内の照明等）の影響によって、被写体に照射されている参照光パターンの画像データを得難いといった問題が屡々発生する。撮像装置の感度を増加させても、環境光に対する撮像装置の感度も増加するため、抜本的な解決にはならない。フィルターを用いて、光源から出射される光の波長と同じ波長を有する光を環境光から除去する方法も考えられるが、フィルターの帯域に限界があり、このような光を環境光から高効率に除去することは困難である。光源の輝度を増加させる手法では、光源における消費電力の増加や、場合によっては、参照光パターンが視認されてしまうといった問題がある。
従って、本開示の目的は、簡素な構成、構造であるにも拘わらず、環境光に左右されずに画像データを確実に得ることを可能とする撮像装置組立体、並びに、係る撮像装置組立体を用いた３次元形状測定装置及び動き検出装置を提供することにある。
上記の目的を達成するための本開示の撮像装置組立体は、
被写体を照射する光源、
撮像装置、並びに、
光源及び撮像装置を制御する制御装置、
を備えており、
撮像装置は、複数の撮像素子から構成されており、
各撮像素子は、
受光部、
第１電荷蓄積部及び第２電荷蓄積部、並びに、
制御装置の制御下、受光部に蓄積された電荷の第１電荷蓄積部への転送を制御する第１電荷転送制御手段、及び、受光部に蓄積された電荷の第２電荷蓄積部への転送を制御する第２電荷転送制御手段、
から構成されており、
第１動作モードで動作させられる。
ここで、第１動作モードにあっては、
制御装置の制御下、撮像素子は、第１期間ＴＰ1において、光源から出射された高輝度光に基づき被写体を撮像して、受光部において得られた第１画像信号電荷を第１電荷蓄積部に蓄積し、第２期間ＴＰ2において、低輝度光に基づき被写体を撮像して、受光部において得られた第２画像信号電荷を第２電荷蓄積部に蓄積し、
制御装置は、第１電荷蓄積部に蓄積された第１画像信号電荷と、第２電荷蓄積部に蓄積された第２画像信号電荷との差分に基づき、画像信号を得る（生成する）。
上記の目的を達成するための本開示の３次元形状測定装置は、本開示の撮像装置組立体を備えている。
上記の目的を達成するための本開示の動き検出装置は、本開示の撮像装置組立体を備えている。
図１Ａ及び図１Ｂは、実施例１の撮像装置組立体を構成する撮像素子の動作を説明するための撮像素子の概念図であり、図１Ｃは、実施例１の撮像装置組立体を構成する撮像素子の第１動作モードにおける経時的な動作を説明するための図である。 図２Ａは、実施例１の撮像装置組立体の概念図であり、図２Ｂは、実施例２の撮像装置組立体の概念図である。 図３Ａ及び図３Ｂは、それぞれ、実施例１の撮像装置組立体において、第１画像信号電荷を取得する状態及び第２画像信号電荷を取得する状態を模式的に示す図である。 図４Ａ及び図４Ｂは、それぞれ、実施例２の撮像装置組立体において、第１画像信号電荷を取得する状態及び第２画像信号電荷を取得する状態を模式的に示す図である。 図５は、実施例４の撮像装置組立体を構成する撮像素子の第２動作モードにおける経時的な動作を説明するための図である。 図６Ａ、図６Ｂ及び図６Ｃは、１撮像フレーム当たりの撮像時間Ｔ1，Ｔ2を模式的に示す図である。 図７Ａ及び図７Ｂは、１撮像フレーム当たりの撮像時間Ｔ1，Ｔ2を模式的に示す図である。 図８Ａ及び図８Ｂは、１撮像フレーム当たりの撮像時間Ｔ1，Ｔ2を模式的に示す図である。 図９Ａ及び図９Ｂは、それぞれ、ストラクチャードライト法及びアクティブステレオ法を説明するための撮像装置等の配置を示す概念図である。 図１０は、光が壁によって反射される結果、複数の反射光が発生し、測定距離の値に不連続あるいは異常が発生する状態を模式的に説明する図である。
以下、図面を参照して、実施例に基づき本開示を説明するが、本開示は実施例に限定されるものではなく、実施例における種々の数値や材料は例示である。尚、説明は、以下の順序で行う。
１．本開示の撮像装置組立体、本開示の３次元形状測定装置、本開示の動き検出装置全般に関する説明
２．実施例１（本開示の撮像装置組立体、本開示の３次元形状測定装置、及び、本開示の動き検出装置全般）
３．実施例２（実施例１の変形）
４．実施例３（実施例１～実施例２の変形）
５．実施例４（実施例１～実施例３の変形）
６．その他
〈本開示の撮像装置組立体、本開示の３次元形状測定装置、本開示の動き検出装置全般に関する説明〉
本開示の撮像装置組立体、あるいは又、本開示の３次元形状測定装置、本開示の動き検出装置に備えられた本開示の撮像装置組立体を、総称して、『本開示の撮像装置組立体等』と呼ぶ場合がある。第２期間ＴＰ2においては低輝度光に基づき被写体を撮像するが、光源から出射された低輝度光に基づき被写体を撮像する形態、及び、光源から出射された光ではなく、即ち、光源は不動作状態であり、外光（環境光）に基づき被写体を撮像する形態が包含される。第１期間ＴＰ1において光源から出射された高輝度光に基づき被写体を撮像する状態を、便宜上、『高輝度光照射状態』と呼び、第２期間ＴＰ2において低輝度光に基づき被写体を撮像するとき状態を、便宜上、『低輝度光照射状態』と呼ぶ。
本開示の撮像装置組立体等において、
光源から出射される高輝度光は参照光パターンであり、
制御装置は、得られた画像信号に基づき、被写体までの距離を求め、又は、被写体の外形形状を求め、又は、被写体までの距離及び被写体の外形形状を求める形態とすることができる。そして、この場合、制御装置は、得られた画像信号から、三角測量（具体的には、ストラクチャードライト法あるいはアクティブステレオ法）に基づき、被写体までの距離を求め、又は、被写体の外形形状を求め、又は、被写体までの距離及び被写体の外形形状を求める形態とすることができる。尚、低輝度光照射状態において光源は参照光パターンを出射していない状態とされてもよいし、参照光パターンを出射している状態とされてもよい。
光源から出射される参照光パターンの輝度（光源の発する光の光量）は、各種の試験を行い、適宜、決定すればよい。あるいは又、使用者が、例えば、屋外モード／屋内モードの切り替えを行うことで、光源から出射される参照光パターンの輝度（光源の発する光の光量）を、切り替え、あるいは、変化させてもよい。尚、低輝度光照射状態において、光源を動作状態（即ち、参照光パターンを出射している状態）としても、高輝度光照射状態／低輝度光照射状態を適切に選択すれば、第１画像信号電荷と第２画像信号電荷との差分を算出することで、画像信号から環境光の影響を除去することができる。
以上に説明した各種の好ましい形態を含む本開示の撮像装置組立体等にあっては、更に、第２動作モードで動作させられる形態とすることができる。ここで、第２動作モードにあっては、
制御装置の制御下、撮像素子は、第３期間ＴＰ3及び第４期間ＴＰ4に跨がる第５期間ＴＰ5において光源から出射された光に基づき被写体を撮像して、第３期間ＴＰ3にあっては、受光部において得られた第３画像信号電荷を第１電荷蓄積部に蓄積し、第４期間ＴＰ4にあっては、受光部において得られた第４画像信号電荷を第２電荷蓄積部に蓄積し、
制御装置は、第１電荷蓄積部に蓄積された第３画像信号電荷と、第２電荷蓄積部に蓄積された第４画像信号電荷とに基づき、撮像装置から被写体までの距離を求める。そして、この場合、第３画像信号電荷をＱ3、第４画像信号電荷をＱ4、ｃを光速、ＴPを第３期間ＴＰ3及び第４期間ＴＰ4の時間としたとき、撮像装置から被写体までの距離Ｄは、
Ｄ＝（ｃ・ＴP／２）×Ｑ4／（Ｑ3＋Ｑ4）
に基づき求められる構成とすることができる。尚、これらの好ましい構成を、便宜上、『第２動作モードを備えた本開示の撮像装置組立体等』と呼ぶ。このような第２動作モードは、インダイレクト・ＴＯＦ（Time Of Flight）方式とも呼ばれる。即ち、第２動作モードにあっては、光が被写体に当たり、被写体によって反射されてから、撮像装置に入射するまでの時間を撮像装置の露光量に置き換えて距離の計測を行う。
第２動作モードを備えた本開示の撮像装置組立体等において、制御装置は、第１動作モードから第２動作モードへの切り替え、第２動作モードから第１動作モードへの切り替えを行う構成とすることができる。例えば、使用者の指示に基づき、第１動作モードから第２動作モードへの切り替え、また、第２動作モードから第１動作モードへの切り替えを行えばよい。そして、この場合、あるいは又、第２動作モードを備えた本開示の撮像装置組立体等において、制御装置は、第１動作モードに基づき第１のデプスマップを作成し、第２動作モードに基づき第２のデプスマップを作成し、第１のデプスマップと第２のデプスマップとを合成する構成とすることができ、これによって、デプスマップ（奥行き情報）の精度の向上を図ることができる。一般に、第１動作モードに基づく距離測定は、近距離（例えば１ｍ未満）の距離測定に適しており、第２動作モードに基づく距離測定は、遠距離（例えば１ｍ以上）の距離測定に適している。従って、例えば、測定距離が１ｍ未満の領域にあっては第１動作モードに基づき第１のデプスマップを作成し、測定距離が１ｍ以上の領域にあっては第２動作モードに基づき第２のデプスマップを作成すればよい。
あるいは又、第２動作モードを備えた本開示の撮像装置組立体等において、制御装置は、撮像装置の所望の領域において第１動作モードを動作させ、撮像装置の他の所望の領域において第２動作モードを動作させる構成とすることができる。このような構成例として、例えば、第１動作モードでは被写体（パターン）の輝度不足でパターン認識しない領域（即ち、第１動作モードでは距離情報が取得できない領域）に第２動作モードを適用する例を挙げることができる。
あるいは又、第２動作モードを備えた本開示の撮像装置組立体等において、制御装置は、第１動作モードに基づき求められた被写体までの距離に基づき、第２動作モードに基づき求められる被写体までの距離を校正する構成とすることができる。例えば、使用者が、校正モードの切り替えを行えばよい。具体的には、校正モードボタンを押すと、撮像装置起動後の決められたフレーム数において第１動作モードで距離情報が取得され、その後、速やかに第２動作モードで距離情報が取得され、取得された第１動作モードでの距離情報と第２動作モードでの距離情報の摺り合わせ（校正する）を行えばよい。あるいは又、撮像装置起動後、毎回、数フレームは第１動作モードで距離を測り、第２動作モードの距離補正を撮像装置の毎起動後行う構成を採用することもできる。
あるいは又、第２動作モードを備えた本開示の撮像装置組立体等において、制御装置は、第２動作モードに基づき求められた被写体までの距離に基づき、第１動作モードに基づき求められる被写体までの距離を校正する構成とすることができる。上述したと同様に、例えば、使用者が、校正モードの切り替えを行えばよい。
あるいは又、第２動作モードを備えた本開示の撮像装置組立体等において、制御装置は、第２動作モードに基づき求められた被写体までの距離に不連続状態が認められたとき、あるいは又、第２動作モードに基づき求められた被写体までの距離が不定な値となってしまったとき、第１動作モードに切り替えて被写体までの距離を求める構成とすることができる。あるいは又、（第３期間ＴＰ3の時間長Ｔ3）／（第４期間ＴＰ4の時間長Ｔ4）の値を一定として、第３期間ＴＰ3の時間長Ｔ3及び第４期間ＴＰ4の時間長Ｔ4を変化させたとき、本来ならば、撮像装置から被写体までの距離Ｄは不変であるはずであるが、撮像装置から被写体までの距離Ｄに差異が生じた場合、第１動作モードに切り替えて被写体までの距離を求める構成とすることができる。
あるいは又、第２動作モードを備えた本開示の撮像装置組立体等において、制御装置は、第２動作モードに基づき求められた被写体までの距離が所定の値未満のとき、第１動作モードに切り替えて被写体までの距離を求める構成とすることができる。即ち、第２動作モードでの動作中、求められた被写体までの距離が所定の値未満のとき、制御装置は第１動作モードに切り替えて被写体までの距離を求める構成とすることができる。所定の値として、１ｍを例示することができるが、このような値に限定するものではない。次の説明においても同様である。第２動作モードから第１動作モードへの切り替えは、制御装置、それ自体が行えばよい。
あるいは又、第２動作モードを備えた本開示の撮像装置組立体等において、制御装置は、第１動作モードに基づき求められた被写体までの距離が所定の値以上のとき、第２動作モードに切り替えて被写体までの距離を求める構成とすることができる。即ち、第１動作モードでの動作中、求められた被写体までの距離が所定の値以上のとき、制御装置は第２動作モードに切り替えて被写体までの距離を求める構成とすることができる。第１動作モードから第２動作モードへの切り替えは、制御装置、それ自体が行えばよい。
更には、以上に説明した各種の好ましい形態、構成を含む本開示の撮像装置組立体等において、撮像装置を１つ備えている形態とすることができるし、撮像装置はアクティブステレオ撮像装置から構成されている形態とすることができる。本開示の撮像装置組立体等において、１つの撮像装置が備えられている形態にあっては、撮像装置から被写体までの距離や被写体の２次元・３次元形状、被写体の動き等を前述したストラクチャードライト法に基づき算出する構成とすることができる。また、２つの撮像装置が備えられている形態にあっては、撮像装置から被写体までの距離や被写体の２次元・３次元形状、被写体の動き等をアクティブステレオ法に基づき算出する構成とすることができる。
以上に説明した各種の好ましい形態、構成を含む本開示の撮像装置組立体を備えた本開示の３次元形状測定装置にあっては、
演算装置を更に備えており、
演算装置は、画像信号から被写体の３次元形状を算出する形態とすることができる。
以上に説明した各種の好ましい形態、構成を含む本開示の撮像装置組立体を備えた本開示の動き検出装置にあっては、
演算装置を更に備えており、
演算装置は、画像信号から被写体の３次元形状を算出し、算出した３次元形状から被写体の特徴点を抽出して被写体の特徴点の位置を算出し、算出した特徴点の位置の変化から被写体の動きを検出する形態とすることができる。
以上に説明した好ましい形態、構成を含む本開示の撮像装置組立体等にあっては、第１期間ＴＰ1の時間長（撮像時間）をＴ1、第２期間ＴＰ2の時間長（撮像時間）をＴ2としたとき、
Ｔ1＞Ｔ2
を満足する構成とすることができ、これによって、光源から出射される高輝度光の光量の低減を図ることができる。但し、これに限定するものではなく、例えば、
Ｔ1／Ｔ2＝１
とすることもできる。撮像時間Ｔ1，Ｔ2は、撮像装置の仕様等に基づき決定すればよいし、撮像装置組立体の使用者からの指示に基づき、撮像時間Ｔ1，Ｔ2を可変とすることもできるし、Ｔ1／Ｔ2の割合を可変とすることもできる。
あるいは又、以上に説明した好ましい形態、構成を含む本開示の撮像装置組立体等において、
１撮像フレームは複数の期間に分割されており、
その内の１つの期間は低輝度光照射状態とされ、
残りの期間は高輝度光照射状態とされる構成とすることができる。そして、この場合、限定するものではないが、
撮像フレームレートは３０フレーム／秒であり、
１撮像フレームは、２以上の期間（例えば、２乃至４）に分割されている構成とすることができる。
尚、本明細書において、『１撮像フレーム』とは、第１画像信号電荷と第２画像信号電荷との差分から画像信号を生成するための１つの撮像フレームを意味する。動画像を得るための１秒当たり画像の枚数を意味するものではない。
あるいは又、上記の好ましい形態、構成を含む本開示の撮像装置組立体等において、高輝度光照射状態において被写体を撮像する撮像期間と、低輝度光照射状態において被写体を撮像する撮像期間が繰り返され、前者の撮像期間（第１期間ＴＰ1）が後者の撮像期間（第２期間ＴＰ2）よりも長い構成とすることができる。
更には、以上に説明した各種の好ましい形態、構成を含む本開示の撮像装置組立体等において、
撮像装置は、第１の方向及び第２の方向に２次元マトリクス状に配列された撮像素子を有し、
撮像装置は、ローリングシャッター機構を有する形態とすることができるし、グローバルシャッター機構を有する形態とすることもできる。そして、高輝度光照射状態において全ての撮像素子が被写体を撮像して第１画像信号電荷を得るように、また、低輝度光照射状態において全ての撮像素子が被写体を撮像して第２画像信号電荷を得るように、制御装置は光源及び撮像装置を制御する形態とすることができる。
以上に説明した各種の好ましい形態、構成を含む本開示の撮像装置組立体等において、光源は、例えば、波長７８０ｎｍ乃至９８０ｎｍを有する赤外線を出射する光源であることが好ましいが、これに限定するものではない。光源は、例えば、半導体レーザ素子、発光ダイオード（ＬＥＤ）やスーパールミネッセントダイオード（ＳＬＤ）等の半導体発光素子から構成することができる。光源は、光源を構成する発光素子の形態に依存して、照射中、連続駆動されてもよいし、パルス駆動されてもよい。パルス駆動される場合のデューティー比は、適宜、決定すればよい。
参照光パターンとして、ライン・アンド・スペース状パターン、格子状パターン、ドット状パターンを例示することができるが、これらに限定するものではなく、本質的に任意のパターンとすることができる。ライン・アンド・スペース状パターン、格子状パターン、ドット状パターンを得るためには、例えば、光源の光出射側に回折格子等を配置すればよいし、また、ＭＥＭＳミラーによってパターンを生成することもできる。あるいは又、濃度傾斜パターン、市松格子パターン、円錐形状パターン等を採用することもできる。
本開示の撮像装置組立体等において、撮像装置として、ＣＣＤ（Charge Coupled Device：電荷結合素子）型の撮像素子やＣＭＯＳ（Complementary Metal Oxide Semiconductor：：相補性金属酸化膜半導体）型の撮像素子、ＣＭＤ（Charge Modulation Device）型の信号増幅型撮像素子、ＣＩＳ（Contact Image Sensor）といった撮像素子（イメージセンサー）を備えた周知の撮像装置を例示することができる。撮像装置それ自体は周知の構成、構造とすることができる。また、撮像装置として、表面照射型の固体撮像装置あるいは裏面照射型の固体撮像装置を挙げることができるし、例えば、デジタルスチルカメラやビデオカメラ、カムコーダから撮像装置を構成することができる。撮像装置は、上記の波長を有する光を信号に換え得る撮像素子（具体的には、例えば、赤外線を受光する撮像素子）を備えていればよい。あるいは又、撮像装置は、例えば参照光パターンを撮像するために適した撮像素子だけでなく、被写体を撮像するために適した撮像素子を備えていることが好ましく、例えば、赤外線を検出する撮像素子、並びに、赤色光を受光（検出）する撮像素子、緑色光を受光（検出）する撮像素子及び青色光を受光（検出）する撮像素子の組合せから構成することができる。例えば参照光パターンを照射した被写体の３次元形状の測定や動きの検出には、最低限、参照光パターンの波長（例えば、赤外線）で撮像できればよい。但し、赤外線を受光する撮像素子以外に、赤色光を受光する撮像素子、緑色光を受光する撮像素子及び青色光を受光する撮像素子等を更に備えることで、より測定や検出の精度を上げることができるし、３次元形状測定や動き検出と同時に被写体の撮像（撮影）を行うことが可能となる。
撮像装置には、光源から出射される光の波長と同じ波長を有する光を通過させるフィルターが備えられていてもよい。所定の波長（例えば約８５０ｎｍの波長）の光を被写体に照射し、照射された被写体の３次元形状の測定や動きを検出する場合、撮像装置は、最低限、所定の波長成分だけを撮像できれば充分である。従って、撮像装置の光入射側に所望の特性を有する波長選択用のフィルター、例えば、８５０ｎｍ付近の波長の光のみを透過させるバンドパスフィルターを配置してもよい。このようにすることで、環境光の内、８５０ｎｍ以外の波長成分の影響を出来るだけ無くすことができ、環境光に一層影響を受けない撮像装置組立体や３次元形状測定装置、動き検出装置を実現することができる。尚、波長選択用のフィルターの特性は、バンドパスフィルターに限定されるものではなく、環境光の波長プロファイルや撮像装置の周波数特性に合せて、適宜、決定すればよい。
被写体は本質的に任意である。本開示の撮像装置組立体等は、屋外あるいは屋内で使用することができる。本開示の撮像装置組立体等は、例えば、モーションセンサー、監視用カメラシステム、ディプスセンサー、３次元形状センサー、２次元形状センサー、３次元位置センサー、２次元位置センサー、距離センサー、測域センサー、車両の衝突防止センサー、品質管理や品質検査システムに適用することができる。
本開示における撮像方法は、実質的に、本開示の撮像装置組立体を用いた撮像方法であって、
第１期間ＴＰ1において、光源から出射された高輝度光に基づき被写体を撮像して、受光部において得られた第１画像信号電荷を第１電荷蓄積部に蓄積し、第２期間ＴＰ2において、低輝度光に基づき被写体を撮像して、受光部において得られた第２画像信号電荷を第２電荷蓄積部に蓄積し、
第１電荷蓄積部に蓄積された第１画像信号電荷と、第２電荷蓄積部に蓄積された第２画像信号電荷との差分に基づき、画像信号を得る（生成する）。
本開示における３次元形状測定方法は、実質的に、本開示の撮像装置組立体を用いた３次元形状測定方法であって、
第１期間ＴＰ1において、光源から出射された高輝度光に基づき被写体を撮像して、受光部において得られた第１画像信号電荷を第１電荷蓄積部に蓄積し、第２期間ＴＰ2において、低輝度光に基づき被写体を撮像して、受光部において得られた第２画像信号電荷を第２電荷蓄積部に蓄積し、
第１電荷蓄積部に蓄積された第１画像信号電荷と、第２電荷蓄積部に蓄積された第２画像信号電荷との差分に基づき、画像信号を得た後（生成した後）、画像信号から３次元形状を算出する。
更には、本開示における動き検出方法は、実質的に、本開示の撮像装置組立体を用いた動き検出方法であって、
第１期間ＴＰ1において、光源から出射された高輝度光に基づき被写体を撮像して、受光部において得られた第１画像信号電荷を第１電荷蓄積部に蓄積し、第２期間ＴＰ2において、低輝度光に基づき被写体を撮像して、受光部において得られた第２画像信号電荷を第２電荷蓄積部に蓄積し、
第１電荷蓄積部に蓄積された第１画像信号電荷と、第２電荷蓄積部に蓄積された第２画像信号電荷との差分に基づき、画像信号を得た後（生成した後）、画像信号から３次元形状を算出する操作を、順次、行い、
順次、算出した３次元形状から被写体の特徴点を、順次、抽出して被写体の特徴点の位置を、順次、算出し、算出した特徴点の位置の変化から被写体の動きを検出する。
実施例１は、本開示の撮像装置組立体、本開示の３次元形状測定装置、及び、本開示の動き検出装置に関する。
概念図を図２Ａに示す実施例１の撮像装置組立体１００1は、被写体１４０を照射する光源１１０、撮像装置１２０、並びに、光源１１０及び撮像装置１２０を制御する制御装置１３０を備えており、撮像装置１２０は、複数の撮像素子１０から構成されている。そして、各撮像素子１０は、図１Ａ及び図１Ｂに示すように、受光部２１、第１電荷蓄積部２２及び第２電荷蓄積部２４、並びに、制御装置１３０の制御下、受光部２１に蓄積された電荷（あるいは、受光部２１で生成した電荷）の第１電荷蓄積部２２への転送を制御する第１電荷転送制御手段２３、及び、受光部２１に蓄積された電荷（あるいは、受光部２１で生成した電荷）の第２電荷蓄積部２４への転送を制御する第２電荷転送制御手段２５から構成されており、第１動作モードで動作させられる。尚、このような撮像素子１０は、ＣＡＰＤ（Current Assisted Photonic Demodulator）型の撮像素子、あるいは、ゲート・トランスファー型の撮像素子とも呼ばれる。受光部２１以外の領域は遮光層２６で覆われている。第１電荷転送制御手段２３及び第２電荷転送制御手段２５は、ゲート電極と同じ構成、構造を有する。
ここで、第１動作モードにあっては、
制御装置１３０の制御下、撮像素子１０は、第１期間ＴＰ1（撮像時間であり、時間長Ｔ1）において、光源１１０から出射された高輝度光に基づき被写体１４０を撮像して（図３Ａ参照）、受光部２１において得られた第１画像信号電荷ｑ1を第１電荷蓄積部２２に蓄積し、第２期間ＴＰ2（撮像時間であり、時間長Ｔ2）において、低輝度光に基づき、具体的には、例えば、光源１１０からの光の出射がない状態で、被写体１４０を撮像して（図３Ｂ参照）、受光部２１において得られた第２画像信号電荷ｑ2を第２電荷蓄積部２４に蓄積し、
制御装置１３０は、第１電荷蓄積部２２に蓄積された第１画像信号電荷ｑ1と、第２電荷蓄積部２４に蓄積された第２画像信号電荷ｑ2との差分に基づき、画像信号を得る（生成する）。
実施例１においては、Ｔ1＝Ｔ2とした。１撮像フレーム当たりの撮像時間Ｔ1，Ｔ2を模式的に図６Ａ、図６Ｂ及び図６Ｃに示すが、これらの図は、シャッター機構としてローリングシャッター機構を採用した場合の図である。尚、図６Ａ、図６Ｂ、図６Ｃ、後述する図７Ａ、図７Ｂ、図８Ａ、図８Ｂにおいて、第１期間ＴＰ1における高輝度光照射状態及び第２期間ＴＰ2における低輝度光照射状態のそれぞれを、実線の矩形で示す。図６Ａ、図６Ｂ、図６Ｃ、図７Ａ、図７Ｂ、図８Ａ、図８Ｂにおいて、時刻ｔ11からｔ12の撮像時間Ｔ1にあっては高輝度光照射状態にあり、時刻ｔ21からｔ22の撮像時間Ｔ2にあっては低輝度光照射状態にある。
高輝度光照射状態において被写体１４０を照射する光は、光源１１０からの光及び外光（環境光）を含む。即ち、高輝度光照射状態において、光源１１０は動作状態とされ、参照光パターンを出射する。また、低輝度光照射状態において被写体１４０を照射する光は、外光（環境光）を含むが、場合によっては、光源からの光も含まれる。具体的には、実施例１～実施例４にあっては、例えば、低輝度光照射状態において、光源１１０は不動作状態（即ち、参照光パターンを出射していない状態）とされる。
実施例１において、光源１１０から出射される高輝度光は参照光パターン（図面においては横方向に延びる複数の点線で示す）である。そして、制御装置１３０は、得られた画像信号に基づき、被写体１４０までの距離を求め、又は、被写体１４０の外形形状を求め、又は、被写体１４０までの距離及び被写体１４０の外形形状を求める。具体的には、制御装置１３０は、得られた画像信号から、三角測量（具体的には、ストラクチャードライト法あるいはアクティブステレオ法）に基づき、被写体１４０までの距離を求め、又は、被写体１４０の外形形状を求め、又は、被写体１４０までの距離及び被写体１４０の外形形状を求める。
実施例１の３次元形状測定装置、動き検出装置は、実施例１の撮像装置組立体を備えている。ここで、本開示の３次元形状測定装置は、演算装置を更に備えており、演算装置は、画像信号から被写体１４０の３次元形状を算出する。また、実施例１の動き検出装置は、演算装置を更に備えており、演算装置は、画像信号から被写体１４０の３次元形状を算出し、算出した３次元形状から被写体１４０の特徴点を抽出して被写体１４０の特徴点の位置を算出し、算出した特徴点の位置の変化から被写体１４０の動きを検出する。
光源１１０，２１０は、例えば、波長８５０ｎｍを有する赤外線を出射する光源であり、半導体レーザ素子から構成されている。参照光パターンとして、ライン・アンド・スペース状パターンを用いたが、これに限定するものではない。ライン・アンド・スペース状パターンを得るために、必要に応じて、光源１１０，２１０の光出射側に回折格子（図示せず）が配置されている。ＣＭＯＳ型の撮像素子（ＣＭＯＳイメージセンサー）が、第１の方向（行方向）にＭ個、第２の方向（列方向）にＮ個、２次元マトリクス状に配列されて成る、周知のビデオカメラあるいはカムコーダから撮像装置１２０は構成されている。また、撮像装置１２０は、赤色光を受光（検出）する撮像素子、緑色光を受光（検出）する撮像素子、青色光を受光（検出）する撮像素子、及び、赤外線を検出する撮像素子の組合せから構成されている。但し、これに限定するものではなく、撮像装置１２０は、赤外線を検出する撮像素子だけから構成されていてもよい。
実施例１の撮像装置組立体１００1は、撮像装置１２０を１つ備えている。撮像装置１２０におけるシャッター機構は、グローバルシャッター機構、ローリングシャッター機構のいずれであってもよい。撮像装置１２０は、第１の方向及び第２の方向に２次元マトリクス状に配列された撮像素子を有し、撮像装置１２０は、具体的には、ローリングシャッター機構を有し、制御装置１３０は、高輝度光照射状態において全ての撮像素子が参照光パターン及び被写体１４０を撮像し、また、低輝度光照射状態において全ての撮像素子が少なくとも被写体１４０を撮像する。
以下、実施例１の撮像装置組立体を用いた撮像方法の概要を説明する。尚、この撮像方法にあっては、例えば、撮像装置から被写体１４０までの距離や被写体１４０の２次元・３次元形状、被写体１４０の動き、被写体１４０までの距離等をストラクチャードライト法に基づき算出する。また、実施例１の本開示の３次元形状測定装置においては、実施例１の撮像装置組立体を用いた撮像方法によって得られた画像信号に基づく画像データから、周知の処理アルゴリズムに基づき、被写体１４０の３次元形状を測定する。実施例１の動き検出装置においては、実施例１の撮像装置組立体を用いた撮像方法によって得られた画像信号に基づく画像データから、周知の処理アルゴリズムに基づき、被写体１４０の動きを検出する。
即ち、実施例１の撮像方法、実施例１の３次元形状測定方法、あるいは、実施例１の動き検出方法は、実施例１の撮像装置組立体を用いた撮像方法、３次元形状測定方法、あるいは、動き検出方法であって、
第１期間ＴＰ1において、光源１１０から出射された高輝度光に基づき被写体１４０を撮像して、受光部２１において得られた第１画像信号電荷ｑ1を第１電荷蓄積部２２に蓄積し、第２期間ＴＰ2において、低輝度光に基づき被写体１４０を撮像して、受光部２１において得られた第２画像信号電荷ｑ2を第２電荷蓄積部２４に蓄積し、
第１電荷蓄積部２２に蓄積された第１画像信号電荷ｑ1と、第２電荷蓄積部２４に蓄積された第２画像信号電荷ｑ2との差分に基づき、画像信号を得る（生成する）。
そして、実施例１の３次元形状測定方法にあっては、得られた画像信号から３次元形状を算出する。また、実施例１の動き検出方法にあっては、画像信号から３次元形状を算出する操作を、順次、行い；順次、算出した３次元形状から被写体１４０の特徴点を、順次、抽出して、被写体１４０の特徴点の位置を、順次、算出し、算出した特徴点の位置の変化から被写体１４０の動きを検出する。
具体的には、撮像装置１２０は、高輝度光照射状態において参照光パターン及び被写体１４０を撮像して第１画像信号電荷ｑ1を得るし、低輝度光照射状態において少なくとも被写体１４０を撮像して（実施例１にあっては、低輝度光照射状態において被写体１４０を撮像して）第２画像信号電荷ｑ2を得る。即ち、図１Ａ及び図１Ｃに示すように、制御装置１３０の制御下、撮像素子１０は、第１期間ＴＰ1（時間長Ｔ1、時刻ｔ0～ｔ1）において、光源１１０から出射された高輝度光に基づき被写体１４０を撮像して（図３Ａ参照）、受光部２１において得られた第１画像信号電荷ｑ1を第１電荷蓄積部２２に蓄積する。このとき、第１電荷転送制御手段２３を作動状態（オン状態）とし、第２電荷転送制御手段２５を不作動状態（オフ状態）とする。次いで、図１Ｂ及び図１Ｄに示すように、第２期間ＴＰ2（時間長Ｔ2、時刻ｔ1～ｔ2）において、低輝度光に基づき（具体的には、光源１１０からの光の出射がない状態で）被写体１４０を撮像して（図３Ｂ参照）、受光部２１において得られた第２画像信号電荷ｑ2を第２電荷蓄積部２４に蓄積する。このとき、第１電荷転送制御手段２３を不作動状態（オフ状態）とし、第２電荷転送制御手段２５を作動状態（オン状態）とする。尚、図１Ａ及び図１Ｂにおいて、電荷（例えば、電子）を黒丸で示す。
その後、例えば、１撮像フレームが終了した後、転送期間において、第１電荷蓄積部２２に蓄積された第１画像信号電荷ｑ1及び第２電荷蓄積部２４に蓄積された第２画像信号電荷ｑ2を制御装置１３０に転送し、制御装置１３０は、第１電荷蓄積部２２に蓄積された第１画像信号電荷ｑ1と、第２電荷蓄積部２４に蓄積された第２画像信号電荷ｑ2との差分に基づき、画像信号を得る（生成する）。具体的には、例えば、１撮像フレームが終了した後、制御装置１３０において、第１画像信号電荷ｑ1及び第２画像信号電荷ｑ2に基づき電圧Ｖ1，Ｖ2を生成し、電圧Ｖ1と電圧Ｖ2との差分から画像信号を生成する。即ち、電圧Ｖ1から電圧Ｖ2を減算する処理を行う。
そして、こうして得られた画像信号から、制御装置１３０は、図９Ａに示した角度α，βを求め、更に、式（Ａ）に基づいて座標（ｘ，ｙ）を求め、また、ｚ座標を求め、以上の結果として、制御装置１３０は、例えば、撮像装置から被写体１４０までの距離や被写体１４０の２次元・３次元形状、被写体１４０の動き等をストラクチャードライト法に基づき算出することができる。尚、これらの処理アルゴリズムは、周知の処理アルゴリズムとすることができる。以下に説明する各種の実施例においても同様である。
画像信号電荷を得るための撮像装置１２０の動作や各種処理、制御装置１３０への画像信号電荷の送出に関連する動作や各種処理は、周知の動作、処理とすることができる。以下に説明する各種の実施例においても同様である。第１画像信号電荷ｑ1及び第２画像信号電荷ｑ2を得る時間的順序は本質的に任意であり、第１期間ＴＰ1と第２期間ＴＰ2の時間的順序を逆とし、第２期間ＴＰ2に引き続き第１期間ＴＰ1としてもよい。また、第１期間ＴＰ1と第２期間ＴＰ2との間に撮像素子が不作動の期間を設けてもよい。
図６Ａに示した例にあっては、１秒当たりの撮像フレーム数を１５（撮像フレームレート：１５ｆｐｓ）とし、１撮像フレーム期間を２つの期間（期間－１及び期間－２）に分割した。また、図６Ｂ及び図６Ｃに示した例にあっては、１秒当たりの撮像フレーム数を３０（撮像フレームレート：３０ｆｐｓ）とし、図６Ｂでは、１撮像フレーム期間を２つの期間（期間－１及び期間－２）に分割し、図６Ｃでは、１撮像フレーム期間を４つの期間（期間－１、期間－２、期間－３及び期間－４）に分割した。分割した期間の時間長さは同一である。１秒当たりの撮像フレーム数が多くなるほど、また、１撮像フレーム期間の分割期間数が多くなるほど、１撮像フレームを模式的に示す平行四辺形の形状が変化する。具体的には、左上から右下に延びる斜辺の傾斜角が、１秒当たりの撮像フレーム数が多くなるほど、また、１撮像フレーム期間の分割期間数が多くなるほど、大きくなる。即ち、１秒当たりの撮像フレーム数が多くなるほど、また、１撮像フレーム期間の分割期間数が多くなるほど、ローリングシャッター機構を採用した場合の感光時間が増大される。そして、以上の結果として、高輝度光照射状態とし得る時間長さを長くすることができる。
１撮像フレーム内で全ての撮像素子に同じ光量の参照光パターンを照射できる時間が存在しないと、正確に環境光の影響を除去することが困難となる。図６Ａに示す例にあっては、撮像時間Ｔ1，Ｔ2の時間長さは、期間－１、期間－２の時間長さの１０％程度である。従って、１秒当たりの撮像フレーム数は１５（撮像フレームレート：１５ｆｐｓ）以上、１撮像フレームにおける分割期間数は２以上であることが好ましい。そして、上述したとおり、１秒当たりの撮像フレーム数（撮像フレームレート）が多くなるほど、また、１撮像フレーム期間の分割期間数が多くなるほど、１撮像フレーム内で全ての撮像素子に同じ光量の参照光パターンを照射できる時間を長くすることができるので、１秒当たりの撮像フレーム数は３０（撮像フレームレート：３０ｆｐｓ以上）以上、１撮像フレームにおける分割期間数は２以上であることが一層好ましく、１秒当たりの撮像フレーム数は３０以上（撮像フレームレート：３０ｆｐｓ以上）、１撮像フレームにおける分割期間数は３以上であることがより一層好ましい。尚、図６Ｂ、図６Ｃに示す例にあっては、撮像時間Ｔ1，Ｔ2の時間長さは、期間－１、期間－２の時間長さの５０％、７０％程度である。
実施例１の撮像装置組立体、あるいは又、実施例１の撮像装置組立体を備えた実施例１の３次元形状測定装置、動き検出装置にあっては、第１画像信号電荷と第２画像信号電荷との差分から画像信号を生成するので、画像信号から環境光の影響を除去することができる。即ち、環境光に基づき生成する電荷は、第１画像信号電荷と第２画像信号電荷のいずれにも含まれる。従って、第１画像信号電荷と第２画像信号電荷との差分を算出することで、画像信号から環境光の影響を除去することができる。それ故、高輝度光の輝度を増加させること無く、高輝度光に基づく参照光パターンを撮像装置によって捉えることができる。また、光源における消費電力の増加といった問題や、場合によっては参照光パターンが視認されてしまうといった問題を解消することができる。しかも、より自由な環境（屋内や部屋の照度によらない、又は、屋外での使用）において、撮像装置から被写体までの距離や被写体の２次元・３次元形状、被写体の動き等の測定が可能となるし、光源から遠い所に位置する被写体や画角の広い被写体にあっては参照光パターンが暗くなるが、それにも拘わらず、参照光パターンを撮像装置によって確実に捉えることが可能となり、距離制限を緩和することができる。更には、光源の光強度を低減することが可能となるため、例えば、半導体レーザ素子から光源を構成する場合にも高い安全性を確保することができる。以下の実施例においても同様である。尚、制御装置は、第１電荷蓄積部に蓄積された第１画像信号電荷と、第２電荷蓄積部に蓄積された第２画像信号電荷との差分に基づき、画像信号を得るので、制御装置にフレームメモリを備える必要はないし、第１画像信号電荷と第２画像信号電荷との差分をソフトウエアに基づく計算によって算出する必要もなく、制御装置の構成、構造の簡素化を図ることができる。
実施例２は、実施例１の変形である。概念図を図２Ｂに示す実施例２の撮像装置組立体１００2において、撮像装置はアクティブステレオ撮像装置から構成されている。具体的には、撮像装置は、第１の撮像装置１２０Ａ及び第２の撮像装置１２０Ｂから構成されている。即ち、実施例１の撮像装置組立体における光源１１０を第１の撮像装置１２０Ａに置き換えて、光源２１０を、別途、配設する。撮像装置１２０Ａ，１２０Ｂにおけるシャッター機構は、グローバルシャッター機構、ローリングシャッター機構のいずれであってもよい。
以下、実施例２の撮像装置組立体を用いた撮像方法の概要を説明する。尚、この撮像方法にあっては、例えば、撮像装置から被写体までの距離や被写体の２次元・３次元形状、被写体の動き等をアクティブステレオ法に基づき算出する。ここで、制御装置１３０の制御下、光源１１０は、実施例１と同様に、参照光パターンを高輝度光照射状態で被写体１４０に向けて出射し、また、低輝度光照射状態で光を照射する。高輝度光照射状態において、光源１１０は動作状態（即ち、参照光パターンを出射している状態）とされ、低輝度光照射状態において、光源１１０は不動作状態（即ち、参照光パターンを出射していない状態）とされる。実施例２にあっても、実施例１と同様に、Ｔ1＝Ｔ2、１秒当たりの撮像フレーム数を３０（撮像フレームレート：３０ｆｐｓ）とした。
撮像装置１２０Ａ，１２０Ｂのそれぞれは、高輝度光照射状態において参照光パターン及び被写体１４０を撮像して第１画像信号電荷を得るし（図４Ａ参照）、低輝度光照射状態において少なくとも被写体１４０を撮像して（実施例２にあっては、低輝度光照射状態において被写体１４０を撮像して）第２画像信号電荷を得る（図４Ｂ参照）。第１の撮像装置１２０Ａから得られた第１画像信号電荷を『第１画像信号電荷－Ａ』と呼び、第２の撮像装置１２０Ｂから得られた第１画像信号電荷を『第１画像信号電荷－Ｂ』と呼ぶ。第１の撮像装置１２０Ａから得られた第２画像信号電荷を『第２画像信号電荷－Ａ』と呼び、第２の撮像装置１２０Ｂから得られた第２画像信号電荷を『第２画像信号電荷－Ｂ』と呼ぶ。
そして、例えば、１撮像フレームが終了した後、制御装置１３０は、第１画像信号電荷－Ａと第２画像信号電荷－Ａとの差分、及び、第１画像信号電荷－Ｂと第２画像信号電荷－Ｂとの差分から画像信号（第１の撮像装置１２０Ａから得られた画像信号－Ａ、及び、第２の撮像装置１２０Ｂから得られた画像信号－Ｂ）を生成する。即ち、制御装置１３０は、得られた第１画像信号電荷－Ａ及び第１画像信号電荷－Ｂと第２画像信号電荷－Ａ及び第２画像信号電荷－Ｂとの間で減算処理を行う。
こうして得られた画像信号－Ａ及び画像信号－Ｂから、制御装置１３０は、図９Ｂに示した角度α，βを求め、更に、式（Ａ）に基づいて座標（ｘ，ｙ）を求め、また、ｚ座標を求め、以上の結果として、制御装置１３０は、例えば、撮像装置から被写体までの距離や被写体の２次元・３次元形状、被写体の動き等をアクティブステレオ法に基づき算出することができる。尚、これらの処理アルゴリズムは、周知の処理アルゴリズムとすることができる。以下に説明する各種の実施例においても同様である。
実施例２において、第２画像信号電荷－Ａ、第２画像信号電荷－Ｂは、参照光パターンが存在しない状態で得られた画像信号電荷であり、第１画像信号電荷－Ａ、第１画像信号電荷－Ｂは、参照光パターンが存在する状態で得られた画像信号電荷である。従って、第１画像信号電荷－Ａと第２画像信号電荷－Ａとの差分、及び、第１画像信号電荷－Ｂと第２画像信号電荷－Ｂとの差分を算出することで、画像信号－Ａ及び画像信号－Ｂを得ることができる。環境光は、第１画像信号電荷－Ａ、第１画像信号電荷－Ｂ、第２画像信号電荷－Ａ及び第２画像信号電荷－Ｂのいずれにも含まれる。従って、第１画像信号電荷と第２画像信号電荷との差分を算出することで、画像信号から環境光の影響を除去することができる。
実施例３は、実施例１～実施例２の変形である。実施例１～実施例２にあっては、Ｔ1＝Ｔ2とした。一方、実施例３にあっては、
Ｔ1＞Ｔ2
とした。シャッター機構として、グローバルシャッター機構、ローリングシャッター機構のいずれも用いることができる。図７Ａ、図７Ｂ、図８Ａ、図８Ｂに、シャッター機構としてローリングシャッター機構を用いた場合の、１撮像フレーム当たりの撮像時間Ｔ1，Ｔ2を模式的に示す。図７Ａ、図７Ｂ、図８Ａ、図８Ｂに示す例にあっては、１秒当たりの撮像フレーム数を３０（撮像フレームレート：３０ｆｐｓ）とし、１撮像フレームは、２以上の期間、具体的には、４つの期間に均等に分割されている。
図７Ａに示す例では、Ｔ1／Ｔ2の値は３を超えており、期間－１の一部分が低輝度光照射状態にあり、期間－２の一部分、期間－３の全部、期間－４の一部分が高輝度光照射状態にある。図７Ｂに示す例では、Ｔ1／Ｔ2の値は３であり、期間－１の一部分が低輝度光照射状態にあり、期間－２の一部分、期間－３の一部分、期間－４の一部分が高輝度光照射状態にある。図８Ａに示す例では、Ｔ1／Ｔ2の値は１であり、期間－２の全部が高輝度光照射状態にあり、期間－４の全部が低輝度光照射状態にある。図８Ｂに示す例では、Ｔ1／Ｔ2の値は１を超えており、期間－１の一部分、期間－２の全部、期間－３の一部分、期間－４の全部が高輝度光照射状態にあり、期間－１の残りの部分、期間－３の残りの部分が低輝度光照射状態にある。尚、撮像装置組立体の使用者からの指示に基づき、撮像時間Ｔ1，Ｔ2を可変とすることもできるし、Ｔ1／Ｔ2の割合を可変とすることもできる。
図７Ａ、図７Ｂ、図８Ａに示す例にあっては、１撮像フレームは複数の期間に分割されており、その内の１つの期間は低輝度光照射状態とされ、残りの期間は高輝度光照射状態とされる。あるいは又、図７Ａ、図７Ｂ、図８Ａ、図８Ｂ、特に図８Ｂに示す例にあっては、高輝度光照射状態において参照光パターン及び被写体を撮像する撮像期間と、低輝度光照射状態において少なくとも被写体を撮像する撮像期間が繰り返され、前者の撮像期間が後者の撮像期間よりも長い。
例えば、図７Ａに示す例にあっては、時刻ｔ11から時刻ｔ12の撮像時間Ｔ1において得られた第１画像信号電荷と、時刻ｔ21から時刻ｔ22の撮像時間Ｔ2において得られた第２画像信号電荷との差分から、画像信号を得ることができる。但し、画像信号を得るために、以下の補正を施す必要がある。図７Ｂに示す例でも同様である。
（第１画像信号電荷）－｛２＋（期間－３の時間長さ）／（Ｔ2の時間長さ）｝×（第２画像信号電荷）
図７Ｂに示す例では、例えば、期間－１において得られた第２画像信号電荷と、期間－２、期間－３及び期間－４において得られた画像信号電荷の合計との差分に基づき、画像信号から環境光の影響を除去すればよい。
図８Ａに示す例では、期間－１において得られた第２画像信号電荷と、期間－３において得られた画像信号電荷と期間－１において得られた画像信号電荷との差分に基づき、画像信号から環境光の影響を除去すればよい。
図８Ｂに示す例では、期間－１において得られた第２画像信号電荷を第２電荷蓄積部に蓄積しておき、期間－１の一部分、期間－２の全部、期間３の一部分において得られ、第１電荷蓄積部に蓄積された第１画像信号電荷と、第２画像信号電荷との差分に基づき、画像信号から環境光の影響を除去すればよい。
尚、画像信号が得難い場合には、Ｔ1／Ｔ2の値を大きくすることが好ましい。また、環境光が乏しい場合、Ｔ1／Ｔ2の値を変更して最適化を図ることが望ましい。例えば、環境光が殆ど存在しない場合、Ｔ1／Ｔ2の値を非常に大きな値、あるいは、Ｔ1／Ｔ2＝∞としてもよい。
また、実施例３において、場合によっては、第１画像信号電荷に基づく信号量は、第２画像信号電荷に基づく信号量のＴ1／Ｔ2倍となる。従って、第１画像信号電荷と第２画像信号電荷との差分を算出するとき、第２画像信号電荷に基づく信号量をＴ1／Ｔ2倍にするか、第１画像信号電荷に基づく信号量を（Ｔ2／Ｔ1）倍とすればよい。
以上の点を除き、実施例３の撮像装置組立体あるいは撮像方法は、実施例１～実施例２の撮像装置組立体あるいは撮像方法と同様とすることができるので、詳細な説明は省略する。
実施例４は、実施例１～実施例３の変形である。実施例４にあっては、更に、各撮像素子は、第２動作モードで動作させられる。即ち、実施例４の撮像装置組立体は、第２動作モードを備えた本開示の撮像装置組立体である。図５に、実施例４の撮像装置組立体を構成する撮像素子の第２動作モードにおける経時的な動作を示す。
具体的には、第２動作モードにあっては、
制御装置１３０の制御下、撮像素子は、第３期間ＴＰ3（時間長Ｔ3）及び第４期間ＴＰ4（時間長Ｔ4）に跨がる第５期間ＴＰ5（時間長Ｔ5）において光源１１０から出射された光に基づき被写体を撮像して、第３期間ＴＰ3にあっては、受光部２１において得られた第３画像信号電荷を第１電荷蓄積部２２に蓄積し、第４期間ＴＰ4にあっては、受光部２１において得られた第４画像信号電荷を第２電荷蓄積部２４に蓄積し、
制御装置１３０は、第１電荷蓄積部２２に蓄積された第３画像信号電荷と、第２電荷蓄積部２４に蓄積された第４画像信号電荷とに基づき、撮像装置１２０から被写体までの距離を求める。そして、この場合、第３画像信号電荷をＱ3、第４画像信号電荷をＱ4、ｃを光速、ＴPを第３期間ＴＰ3及び第４期間ＴＰ4の時間としたとき、撮像装置１２０から被写体までの距離Ｄは、
Ｄ＝（ｃ・ＴP／２）×Ｑ4／（Ｑ3＋Ｑ4）
に基づき求められる。即ち、実施例４にあっては、インダイレクト・ＴＯＦ方式に基づき、被写体までの距離を求める。
ここで、第３期間に引き続き第４期間が設けられており、Ｔ3＋Ｔ4＞Ｔ5の関係にある。具体的には、Ｔ3＝Ｔ4＝Ｔ5である。
実施例４の撮像装置組立体において、制御装置１３０は、第１動作モードから第２動作モードへの切り替え、第２動作モードから第１動作モードへの切り替えを行う。即ち、制御装置１３０は、撮像装置１２０からの各種画像信号電荷に基づき、制御装置１３０、それ自体が、第１動作モードから第２動作モードへの切り替え、第２動作モードから第１動作モードへの切り替えを行い、あるいは又、使用者からの指示に基づき、第１動作モードから第２動作モードへの切り替え、第２動作モードから第１動作モードへの切り替えを行い、あるいは又、使用者からの指示に加えて、撮像装置１２０からの各種画像信号電荷に基づき、制御装置１３０は、第１動作モードから第２動作モードへの切り替え、第２動作モードから第１動作モードへの切り替えを行う。
一般に、第１動作モードに基づく距離測定は、近距離（例えば１ｍ未満）の距離測定に適しており、第２動作モードに基づく距離測定は、遠距離（例えば１ｍ以上）の距離測定に適している。従って、実施例４の撮像装置組立体において、制御装置１３０は、第２動作モードに基づき求められた被写体までの距離が所定の値未満のとき、即ち、第２動作モードに基づき求められた被写体までの距離を測定しているとき、測定結果の距離が所定の値（例えば、１ｍ）未満となったならば、第２動作モードから第１動作モードに切り替えて被写体までの距離を求める。また、制御装置１３０は、第１動作モードに基づき求められた被写体までの距離を測定しているとき、測定結果の距離が所定の値（例えば、１ｍ）以上となったならば、第１動作モードから第２動作モードに切り替えて被写体までの距離を求める。
前述したとおり、第２動作モードにあっては、光が被写体に当たり、撮像装置に入射するまでの時間を撮像装置の露光量に置き換えて計測する。ところで、被写体が、例えば、部屋の隅の場合、模式的に図１０に示すように、光が壁によって反射される結果、第２動作モードに基づき求められた被写体までの距離に不連続状態が発生する。あるいは又、第２動作モードに基づき求められた被写体までの距離が不定な値となる。
具体的には、例えば、壁の或る地点Ｐ1で反射され、撮像装置１２０に、直接、入射する光ＬＢ1が存在するが、壁の或る地点Ｐ1で反射され、地点Ｐ2に向かい、地点Ｐ2で反射され、撮像装置１２０に入射する光ＬＢ2も存在し得る。この場合、光ＬＢ1に基づく地点Ｐ1から撮像装置１２０までの距離はＬ1となるが、光ＬＢ2に基づく地点Ｐ1から撮像装置１２０までの距離は、実際には、仮想の地点Ｐ3から撮像装置１２０までの距離Ｌ2となる。従って、地点Ｐ1の近傍の地点から撮像装置１２０までの距離は、地点Ｐ1の近傍の地点での反射光が、直接、撮像装置１２０に入射する場合、Ｌ1に近い値となる一方、地点Ｐ1において光ＬＢ2が生成すると、地点Ｐ1から撮像装置１２０までの距離はＬ2となり、第２動作モードに基づき求められた被写体までの距離に不連続状態が発生する。あるいは又、第２動作モードに基づき求められた被写体までの距離が不定な値となってしまう。
このような場合、制御装置１３０は、それ自体が、第１動作モードに切り替えて被写体までの距離を求める。第１動作モードにあっては、被写体の形状に基づき距離を求めるので、第２動作モードに基づく距離測定の不都合が生じることが無い。
あるいは又、例えば、撮像装置全体として、先ず、第１動作モードで被写体の外形形状を求め、例えば、被写体の一部が部屋の隅の場合、制御装置１３０は、撮像装置１２０の所望の領域（具体的には、部屋の隅が写っている領域）において第１動作モードを動作させ、撮像装置１２０の他の所望の領域（具体的には、部屋の隅が写っている領域以外の領域）において第２動作モードを動作させる。あるいは又、例えば、撮像装置全体として、先ず、第２動作モードで被写体までの距離を求めるが、例えば、被写体の一部が部屋の隅の場合、被写体までの距離に不連続状態が発生し、あるいは又、被写体までの距離が不定な値となってしまうといった現象が生じた場合、制御装置１３０は、撮像装置１２０の所望の領域（具体的には、部屋の隅が写っている領域）において第１動作モードを動作させ、撮像装置１２０の他の所望の領域（具体的には、部屋の隅が写っている領域以外の領域）において第２動作モードを動作させる。
また、実施例４の撮像装置組立体において、制御装置１３０は、第１動作モードに基づき求められた被写体までの距離に基づき、第２動作モードに基づき求められる被写体までの距離を校正する構成とすることができる。具体的には、撮像素子の温度変化によって第２動作モードに基づき得られる距離測定結果に誤差が生じる場合がある。撮像素子に温度変化が生じても、第１動作モードに基づき得られる距離測定結果に誤差は生じない。従って、或る距離（例えば、１ｍ）に位置する被写体までの距離を第１動作モード及び第２動作モードに基づき求め、第１動作モードによって得られた距離に基づき、第２動作モードの距離測定の校正を行えばよい。一方、第１動作モードにあっては、光源と撮像装置との間の距離（基線の長さ）Ｌや２つの撮像装置の間の距離に変化が生じると、第１動作モードに基づき得られる距離測定結果に誤差が生じる場合がある。このような変化が生じても、第２動作モードに基づき得られる距離測定結果に誤差は生じない。従って、或る距離（例えば、１ｍ）に位置する被写体までの距離を第１動作モード及び第２動作モードに基づき求め、第２動作モードによって得られた距離に基づき、第１動作モードの距離測定の校正を行えばよい。例えば、撮像装置組立体の使用者からの指示に基づき、第１動作モードの校正、第２動作モードの校正のどちらを行うかを決定すればよい。
また、実施例４の撮像装置組立体において、制御装置１３０は、第１動作モードに基づき第１のデプスマップを周知の方法に基づき作成し、第２動作モードに基づき第２のデプスマップを周知の方法に基づき作成し、第１のデプスマップと第２のデプスマップとを合成することで、デプスマップ（奥行き情報）の精度の向上を図ることができる。
以上、本開示を好ましい実施例に基づき説明したが、本開示はこれらの実施例に限定するものではない。実施例において説明した撮像装置組立体や撮像装置、光源、制御装置の構成、構造の構成は例示であり、適宜、変更することができる。また、実施例においては、種々の値を示したが、これらも例示であり、例えば、使用する光源、撮像装置、制御装置の仕様が変われば、変わることは当然である。実施例２～実施例４において説明した撮像装置組立体を３次元形状測定装置や動き検出装置に適用することができることは云うまでもない。
尚、本開示は、以下のような構成を取ることもできる。
［Ａ０１］《撮像装置組立体》
被写体を照射する光源、
撮像装置、並びに、
光源及び撮像装置を制御する制御装置、
を備えており、
撮像装置は、複数の撮像素子から構成されており、
各撮像素子は、
受光部、
第１電荷蓄積部及び第２電荷蓄積部、並びに、
制御装置の制御下、受光部に蓄積された電荷の第１電荷蓄積部への転送を制御する第１電荷転送制御手段、及び、受光部に蓄積された電荷の第２電荷蓄積部への転送を制御する第２電荷転送制御手段、
から構成されており、
第１動作モードで動作させられる撮像装置組立体。
ここで、第１動作モードにあっては、
制御装置の制御下、撮像素子は、第１期間において、光源から出射された高輝度光に基づき被写体を撮像して、受光部において得られた第１画像信号電荷を第１電荷蓄積部に蓄積し、第２期間において、低輝度光に基づき被写体を撮像して、受光部において得られた第２画像信号電荷を第２電荷蓄積部に蓄積し、
制御装置は、第１電荷蓄積部に蓄積された第１画像信号電荷と、第２電荷蓄積部に蓄積された第２画像信号電荷との差分に基づき、画像信号を得る。
［Ａ０２］光源から出射される高輝度光は参照光パターンであり、
制御装置は、得られた画像信号に基づき、被写体までの距離を求め、又は、被写体の外形形状を求め、又は、被写体までの距離及び被写体の外形形状を求める［Ａ０１］に記載の撮像装置組立体。
［Ａ０３］制御装置は、得られた画像信号から、三角測量に基づき、被写体までの距離を求め、又は、被写体の外形形状を求め、又は、被写体までの距離及び被写体の外形形状を求める［Ａ０２］に記載の撮像装置組立体。
［Ａ０４］更に、第２動作モードで動作させられる［Ａ０１］乃至［Ａ０３］のいずれか１項に記載の撮像装置組立体。
ここで、第２動作モードにあっては、
制御装置の制御下、撮像素子は、第３期間及び第４期間に跨がる第５期間において光源から出射された光に基づき被写体を撮像して、第３期間にあっては、受光部において得られた第３画像信号電荷を第１電荷蓄積部に蓄積し、第４期間にあっては、受光部において得られた第４画像信号電荷を第２電荷蓄積部に蓄積し、
制御装置は、第１電荷蓄積部に蓄積された第３画像信号電荷と、第２電荷蓄積部に蓄積された第４画像信号電荷とに基づき、撮像装置から被写体までの距離を求める。
［Ａ０５］第３画像信号電荷をＱ3、第４画像信号電荷をＱ4、ｃを光速、ＴPを第３期間及び第４期間の時間としたとき、撮像装置から被写体までの距離Ｄは、
Ｄ＝（ｃ・ＴP／２）×Ｑ4／（Ｑ3＋Ｑ4）
に基づき求められる［Ａ０４］に記載の撮像装置組立体。
［Ａ０６］制御装置は、第１動作モードから第２動作モードへの切り替え、第２動作モードから第１動作モードへの切り替えを行う［Ａ０４］又は［Ａ０５］に記載の撮像装置組立体。
［Ａ０７］制御装置は、第１動作モードに基づき第１のデプスマップを作成し、第２動作モードに基づき第２のデプスマップを作成し、第１のデプスマップと第２のデプスマップとを合成する［Ａ０４］乃至［Ａ０６］のいずれか１項に記載の撮像装置組立体。
［Ａ０８］制御装置は、撮像装置の所望の領域において第１動作モードを動作させ、撮像装置の他の所望の領域において第２動作モードを動作させる［Ａ０４］乃至［Ａ０７］のいずれか１項に記載の撮像装置組立体。
［Ａ０９］制御装置は、第１動作モードに基づき求められた被写体までの距離に基づき、第２動作モードに基づき求められる被写体までの距離を校正する［Ａ０４］乃至［Ａ０８］のいずれか１項に記載の撮像装置組立体。
［Ａ１０］制御装置は、第２動作モードに基づき求められた被写体までの距離に基づき、第１動作モードに基づき求められる被写体までの距離を校正する［Ａ０４］乃至［Ａ０８］のいずれか１項に記載の撮像装置組立体。
［Ａ１１］制御装置は、第２動作モードに基づき求められた被写体までの距離に不連続状態が認められたとき、第１動作モードに切り替えて被写体までの距離を求める［Ａ０４］乃至［Ａ１０］のいずれか１項に記載の撮像装置組立体。
［Ａ１２］制御装置は、第２動作モードに基づき求められた被写体までの距離が所定の値未満のとき、第１動作モードに切り替えて被写体までの距離を求める［Ａ０４］乃至［Ａ１１］のいずれか１項に記載の撮像装置組立体。
［Ａ１３］制御装置は、第１動作モードに基づき求められた被写体までの距離が所定の値以上のとき、第２動作モードに切り替えて被写体までの距離を求める［Ａ０４］乃至［Ａ１１］のいずれか１項に記載の撮像装置組立体。
［Ａ１４］撮像装置を１つ備えている［Ａ０１］乃至［Ａ１３］のいずれか１項に記載の撮像装置組立体。
［Ａ１５］制御装置は、得られた画像信号から、ストラクチャードライト法に基づき、撮像装置から被写体までの距離を求める［Ａ１４］に記載の撮像装置組立体。
［Ａ１６］撮像装置はアクティブステレオ撮像装置から構成されている［Ａ０１］乃至［Ａ１３］のいずれか１項に記載の撮像装置組立体。
［Ａ１７］制御装置は、得られた画像信号から、アクティブステレオ法に基づき、撮像装置から被写体までの距離を求める［Ａ１６］に記載の撮像装置組立体。
［Ａ１８］光源は赤外線を出射する［Ａ０１］乃至［Ａ１７］のいずれか１項に記載の撮像装置組立体。
［Ａ１９］高輝度光照射状態において光源は動作状態とされ、低輝度光照射状態において光源は不動作状態とされる［Ａ０１］乃至［Ａ１８］のいずれか１項に記載の撮像装置組立体。
［Ａ２０］光源は半導体発光素子から成る［Ａ０１］乃至［Ａ１９］のいずれか１項に記載の撮像装置組立体。
［Ａ２１］高輝度光照射状態において参照光パターン及び被写体を撮像するときの撮像時間をＴ1、低輝度光照射状態において少なくとも被写体を撮像するときの撮像時間をＴ2としたとき、
Ｔ1＞Ｔ2
を満足する［Ａ０１］乃至［Ａ２０］のいずれか１項に記載の撮像装置組立体。
［Ａ２２］撮像装置組立体の使用者からの指示に基づき、撮像時間Ｔ1，Ｔ2は可変とされ、又は、Ｔ1／Ｔ2の割合は可変とされる［Ａ２１］に記載の撮像装置組立体。
［Ａ２３］１撮像フレームは複数の期間に分割されており、
その内の１つの期間は低輝度光照射状態とされ、
残りの期間は高輝度光照射状態とされる［Ａ０１］乃至［Ａ２０］のいずれか１項に記載の撮像装置組立体。
［Ａ２４］撮像フレームレートは３０フレーム／秒であり、
１撮像フレームは、２以上の期間に分割されている［Ａ２３］に記載の撮像装置組立体。
［Ａ２５］高輝度光照射状態において参照光パターン及び被写体を撮像する撮像期間と、低輝度光照射状態において少なくとも被写体を撮像する撮像期間が繰り返され、前者の撮像期間が後者の撮像期間よりも長い［Ａ０１］乃至［Ａ２０］のいずれか１項に記載の撮像装置組立体。
［Ａ２６］撮像装置は、第１の方向及び第２の方向に２次元マトリクス状に配列された撮像素子を有し、
撮像装置は、ローリングシャッター機構を有し、
制御装置は、高輝度光照射状態において全ての撮像素子が参照光パターン及び被写体を撮像して第１画像信号を制御装置に出力し、低輝度光照射状態において全ての撮像素子が少なくとも被写体を撮像して第２画像信号を制御装置に出力するように、光源及び撮像装置を制御する［Ａ０１］乃至［Ａ２５］のいずれか１項に記載の撮像装置組立体。
［Ｂ０１］《３次元形状測定装置》
［Ａ０１］乃至［Ａ２６］のいずれか１項に記載の撮像装置組立体を備えた３次元形状測定装置。
［Ｂ０２］演算装置を更に備えており、
演算装置は、画像信号から被写体の３次元形状を算出する［Ｂ０１］に記載の３次元形状測定装置。
［Ｃ０１］《動き検出装置》
［Ａ０１］乃至［Ａ２６］のいずれか１項に記載の撮像装置組立体を備えた動き検出装置。
［Ｃ０２］演算装置を更に備えており、
演算装置は、画像信号から被写体の３次元形状を算出し、算出した３次元形状から被写体の特徴点を抽出して被写体の特徴点の位置を算出し、算出した特徴点の位置の変化から被写体の動きを検出する［Ｃ０１］に記載の動き検出装置。
１００1，１００2・・・撮像装置組立体、１１０，２１０・・・光源、１２０，１２０Ａ，１２０Ｂ・・・撮像装置、１３０・・・制御装置、１４０・・・被写体、１０・・・撮像素子、２１・・・受光部、２２・・・第１電荷蓄積部、２４・・・第２電荷蓄積部、２３・・・第１電荷転送制御手段、２５・・・第２電荷転送制御手段、２６・・・遮光層

Claims (19)

  1. 被写体を照射する光源、
    撮像装置、並びに、
    光源及び撮像装置を制御する制御装置、
    を備えており、
    撮像装置は、複数の撮像素子から構成されており、
    各撮像素子は、
    受光部、
    第１電荷蓄積部及び第２電荷蓄積部、並びに、
    制御装置の制御下、受光部に蓄積された電荷の第１電荷蓄積部への転送を制御する第１電荷転送制御手段、及び、受光部に蓄積された電荷の第２電荷蓄積部への転送を制御する第２電荷転送制御手段、
    から構成されており、
    第１動作モードで動作させられる撮像装置組立体。
    ここで、第１動作モードにあっては、
    制御装置の制御下、撮像素子は、第１期間において、光源から出射された高輝度光に基づき被写体を撮像して、受光部において得られた第１画像信号電荷を第１電荷蓄積部に蓄積し、第２期間において、低輝度光に基づき被写体を撮像して、受光部において得られた第２画像信号電荷を第２電荷蓄積部に蓄積し、
    制御装置は、第１電荷蓄積部に蓄積された第１画像信号電荷と、第２電荷蓄積部に蓄積された第２画像信号電荷との差分に基づき、画像信号を得る。
  2. 光源から出射される高輝度光は参照光パターンであり、
    制御装置は、得られた画像信号に基づき、被写体までの距離を求め、又は、被写体の外形形状を求め、又は、被写体までの距離及び被写体の外形形状を求める請求項１に記載の撮像装置組立体。
  3. 制御装置は、得られた画像信号から、三角測量に基づき、被写体までの距離を求め、又は、被写体の外形形状を求め、又は、被写体までの距離及び被写体の外形形状を求める請求項２に記載の撮像装置組立体。
  4. 更に、第２動作モードで動作させられる請求項１に記載の撮像装置組立体。
    ここで、第２動作モードにあっては、
    制御装置の制御下、撮像素子は、第３期間及び第４期間に跨がる第５期間において光源から出射された光に基づき被写体を撮像して、第３期間にあっては、受光部において得られた第３画像信号電荷を第１電荷蓄積部に蓄積し、第４期間にあっては、受光部において得られた第４画像信号電荷を第２電荷蓄積部に蓄積し、
    制御装置は、第１電荷蓄積部に蓄積された第３画像信号電荷と、第２電荷蓄積部に蓄積された第４画像信号電荷とに基づき、撮像装置から被写体までの距離を求める。
  5. 第３画像信号電荷をＱ3、第４画像信号電荷をＱ4、ｃを光速、ＴPを第３期間及び第４期間の時間としたとき、撮像装置から被写体までの距離Ｄは、
    Ｄ＝（ｃ・ＴP／２）×Ｑ4／（Ｑ3＋Ｑ4）
    に基づき求められる請求項４に記載の撮像装置組立体。
  6. 制御装置は、第１動作モードから第２動作モードへの切り替え、第２動作モードから第１動作モードへの切り替えを行う請求項４に記載の撮像装置組立体。
  7. 制御装置は、第１動作モードに基づき第１のデプスマップを作成し、第２動作モードに基づき第２のデプスマップを作成し、第１のデプスマップと第２のデプスマップとを合成する請求項４に記載の撮像装置組立体。
  8. 制御装置は、撮像装置の所望の領域において第１動作モードを動作させ、撮像装置の他の所望の領域において第２動作モードを動作させる請求項４に記載の撮像装置組立体。
  9. 制御装置は、第１動作モードに基づき求められた被写体までの距離に基づき、第２動作モードに基づき求められる被写体までの距離を校正する請求項４に記載の撮像装置組立体。
  10. 制御装置は、第２動作モードに基づき求められた被写体までの距離に基づき、第１動作モードに基づき求められる被写体までの距離を校正する請求項４に記載の撮像装置組立体。
  11. 制御装置は、第２動作モードに基づき求められた被写体までの距離に不連続状態が認められたとき、第１動作モードに切り替えて被写体までの距離を求める請求項４に記載の撮像装置組立体。
  12. 制御装置は、第２動作モードに基づき求められた被写体までの距離が所定の値未満のとき、第１動作モードに切り替えて被写体までの距離を求める請求項４に記載の撮像装置組立体。
  13. 制御装置は、第１動作モードに基づき求められた被写体までの距離が所定の値以上のとき、第２動作モードに切り替えて被写体までの距離を求める請求項４に記載の撮像装置組立体。
  14. 撮像装置を１つ備えている請求項１に記載の撮像装置組立体。
  15. 撮像装置はアクティブステレオ撮像装置から構成されている請求項１に記載の撮像装置組立体。
  16. 請求項１乃至請求項１５のいずれか１項に記載の撮像装置組立体を備えた３次元形状測定装置。
  17. 演算装置を更に備えており、
    演算装置は、画像信号から被写体の３次元形状を算出する請求項１６に記載の３次元形状測定装置。
  18. 請求項１乃至請求項１５のいずれか１項に記載の撮像装置組立体を備えた動き検出装置。
  19. 演算装置を更に備えており、
    演算装置は、画像信号から被写体の３次元形状を算出し、算出した３次元形状から被写体の特徴点を抽出して被写体の特徴点の位置を算出し、算出した特徴点の位置の変化から被写体の動きを検出する請求項１８に記載の動き検出装置。
JP2020566398A 2019-01-16 2020-01-10 撮像装置組立体、３次元形状測定装置及び動き検出装置 Active JP7362670B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019004853 2019-01-16
JP2019004853 2019-01-16
PCT/JP2020/000628 WO2020149226A1 (ja) 2019-01-16 2020-01-10 撮像装置組立体、３次元形状測定装置及び動き検出装置

Publications (2)

Publication Number Publication Date
JPWO2020149226A1 JPWO2020149226A1 (ja) 2021-11-25
JP7362670B2 true JP7362670B2 (ja) 2023-10-17

Family

ID=71613348

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020566398A Active JP7362670B2 (ja) 2019-01-16 2020-01-10 撮像装置組立体、３次元形状測定装置及び動き検出装置

Country Status (3)

Country Link
US (1) US11895406B2 (ja)
JP (1) JP7362670B2 (ja)
WO (1) WO2020149226A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002164529A (ja) 2000-11-28 2002-06-07 Sony Corp 固体撮像素子およびその製造方法
JP2013207321A (ja) 2012-03-27 2013-10-07 Sony Corp 固体撮像装置、及び、電子機器

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1155573A (ja) * 1997-07-30 1999-02-26 Sony Corp Ｃｃｄ固体撮像素子及びその駆動方法
US11099008B2 (en) * 2014-12-15 2021-08-24 Sony Corporation Capture device assembly, three-dimensional shape measurement device, and motion detection device
US10861888B2 (en) * 2015-08-04 2020-12-08 Artilux, Inc. Silicon germanium imager with photodiode in trench
EP3826062A4 (en) * 2018-07-18 2022-04-06 Sony Semiconductor Solutions Corporation LIGHT RECEIVING ELEMENT AND RANGEFINDER MODULE

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002164529A (ja) 2000-11-28 2002-06-07 Sony Corp 固体撮像素子およびその製造方法
JP2013207321A (ja) 2012-03-27 2013-10-07 Sony Corp 固体撮像装置、及び、電子機器

Also Published As

Publication number Publication date
JPWO2020149226A1 (ja) 2021-11-25
WO2020149226A1 (ja) 2020-07-23
US11895406B2 (en) 2024-02-06
US20220046159A1 (en) 2022-02-10

Similar Documents

Publication Publication Date Title
JP6881622B2 (ja) ３次元形状の測定方法
JP6977045B2 (ja) 物体までの距離を決定するためのシステム及び方法
JP6270813B2 (ja) 複数の光源を有するモーションセンサ装置
JP7028878B2 (ja) 物体までの距離を測定するためのシステム
US20180299554A1 (en) System and method for determining a distance to an object
US8907282B2 (en) Thermal imaging camera with intermittent image capture
US9978148B2 (en) Motion sensor apparatus having a plurality of light sources
US20120307046A1 (en) Methods and apparatus for thermographic measurements
US10473461B2 (en) Motion-sensor device having multiple light sources
JP7201592B2 (ja) 車両の周囲を特徴付けるためのシステム
JP6467516B2 (ja) 距離画像取得装置付きプロジェクタ装置及びプロジェクション方法
JP7362670B2 (ja) 撮像装置組立体、３次元形状測定装置及び動き検出装置
JP6679289B2 (ja) 処理装置、処理システム、撮像装置、処理方法、処理プログラムおよび記録媒体
WO2020084957A1 (ja) 異常検出装置と異常検出方法およびプログラムと測距装置
JP7147729B2 (ja) 移動量推定装置、移動量推定方法、移動量推定プログラム、及び移動量推定システム
JP6524680B2 (ja) 撮像システム、距離情報の取得方法及び距離情報の生産方法
US20230078063A1 (en) Distance measurement device and distance measurement system
WO2020021886A1 (ja) 生体状態検出装置および生体状態検出方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230905

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231004

R150 Certificate of patent or registration of utility model

Ref document number: 7362670

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150