JP7600129B2 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP7600129B2
JP7600129B2 JP2021548852A JP2021548852A JP7600129B2 JP 7600129 B2 JP7600129 B2 JP 7600129B2 JP 2021548852 A JP2021548852 A JP 2021548852A JP 2021548852 A JP2021548852 A JP 2021548852A JP 7600129 B2 JP7600129 B2 JP 7600129B2
Authority
JP
Japan
Prior art keywords
pixel
unit
imaging
mode
imaging device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021548852A
Other languages
English (en)
Other versions
JPWO2021060120A1 (ja
Inventor
泰史 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of JPWO2021060120A1 publication Critical patent/JPWO2021060120A1/ja
Application granted granted Critical
Publication of JP7600129B2 publication Critical patent/JP7600129B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H04N25/136—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Description

本開示は、撮像装置に関する。
従来から、撮像装置において、撮像素子により検知した被写体や撮像環境の明るさなどに基づき露出時間、画素信号に対するゲインなどを制御して撮像を行うようにした技術が知られている。
特開２０１３－０６６１４６号公報
しかしながら、従来では、例えば解像度が要求されない撮像対象であっても通常と同様の解像度での撮像となり、消費電力や画像処理のリソースの最適化が困難であった。
本開示は、撮像画像を撮像条件に応じて適応的に取得可能な撮像装置を提供することを目的とする。
本開示に係る撮像装置は、車両に搭載される撮像装置であって、前記撮像装置は、それぞれＮ個×Ｎ個（Ｎは２以上の整数）の画素を含む複数の画素グループを有する画素アレイを含み、各画素から読み出した画素信号を出力する撮像部と、前記撮像部による前記画素それぞれから前記画素信号を読み出す読出モードを切り替える切替部と、を備え、前記切替部は、前記車両から車両情報として取得される前記車両の周辺の明るさに応じて、前記読出モードを、前記画素グループに含まれる前記Ｎ個×Ｎ個の各画素から読み出した前記画素信号それぞれを加算して１つの画素信号とする加算モードと、前記画素グループに含まれる前記Ｎ個×Ｎ個の各画素から読み出した前記画素信号それぞれを個別に出力する個別モードと、で切り替える。
各実施形態に適用可能な撮像装置の機能を説明するための一例の機能ブロック図である。 ベイヤ配列の例を示す図である。 各実施形態に適用可能なカラーフィルタ配列の例を示す図である。 各実施形態に適用可能な撮像部の一例の構成を示すブロック図である。 各実施形態に適用可能な撮像装置のハードウェア構成の例を示すブロック図である。 実施形態に適用可能な同色間グラジエントの検出を説明するための模式図である。 実施形態に適用可能な異色間グラジエントの検出を説明するための模式図である。 実施形態に適用可能なグラジエント算出の方向の例を示す図である。 実施形態に適用可能なグラジエント算出の方向の例を示す図である。 分割ベイヤ型ＲＧＢ配列における画素信号の読み出し方法の例を説明するための模式図である。 ＨＤＲ撮像の第１の例を説明するための模式図である。 ＨＤＲ撮像の第２の例を説明するための模式図である。 ＨＤＲ撮像の第２の例に対して加算モードを適用した場合の例を説明するための模式図である。 ＨＤＲ撮像の第２の例に対して個別モードを適用しリモザイク処理を施す場合の例を説明するための模式図である。 第１の実施形態に係る撮像装置の機能を説明するための一例の機能ブロック図である。 第１の実施形態に係る画素処理部の機能を説明するための一例の機能ブロック図である。 第１の実施形態に係る、２つの撮像条件に従い切替制御信号ＣＮＧを生成する例を説明するための模式図である。 第１の実施形態の第１の変形例に係る処理領域について説明するための模式図である。 第１の実施形態の第１の変形例に係る処理領域について説明するための模式図である。 第１の実施形態の第１の変形例に適用可能な画像処理部の機能を説明するための一例の機能ブロック図である。 第１の実施形態の第２の変形例に係る処理領域について説明するための模式図である。 第１の実施形態の第２の変形例に適用可能な画像処理部の機能を説明するための一例の機能ブロック図である。 本開示に適用可能な画素配列の例を示す模式図である。 本開示に適用可能な画素配列の例を示す模式図である。 本開示に適用可能な画素配列の例を示す模式図である。 本開示に適用可能な画素配列の例を示す模式図である。 本開示に適用可能な画素配列の例を示す模式図である。 第２の実施形態に係る、画素グループ内における個別モードおよび加算モードの切り替え方法の例を説明するための模式図である。 第２の実施形態に係る、画素グループ内における個別モードおよび加算モードの切り替え方法の例を説明するための模式図である。 第２の実施形態に係る、画素グループ内における個別モードおよび加算モードの切り替え方法の例を説明するための模式図である。 第２の実施形態に適用可能な画像処理部の機能を説明するための一例の機能ブロック図である。 第２の実施形態の変形例に係る撮像部の一例の構成を示すブロック図である。 本開示に係る撮像装置の使用例を示す図である。 本開示に係る撮像装置を搭載可能な車両のシステム構成例を示すブロック図である。 車両システムのフロントセンシングカメラに係る一例の構成を示すブロック図である。 本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。 撮像部の設置位置の例を示す図である。 内視鏡手術システムの概略的な構成の一例を示す図である。 カメラヘッドおよびＣＣＵの機能構成の一例を示すブロック図である。
以下、本開示の実施形態について、図面に基づいて詳細に説明する。なお、以下の実施形態において、同一の部位には同一の符号を付することにより、重複する説明を省略する。
以下、本開示の実施形態について、下記の順序に従って説明する。
１．本開示の各実施形態に適用可能な技術
１－１．各実施形態に適用可能な構成
１－２．リモザイク処理についての概略的な説明
１－３．画素読み出し方法の例
２．第１の実施形態
２－１．第１の実施形態の第１の変形例
２－２．第１の実施形態の第２の変形例
２－３．第１の実施形態の第３の変形例
３．第２の実施形態
３－１．第２の実施形態の変形例
４．第３の実施形態
４－０．移動体への応用例
４－１．内視鏡手術システムへの応用例
［１．本開示の各実施形態に適用可能な技術］
（１－１．各実施形態に適用可能な構成）
先ず、本開示の各実施形態に適用可能な技術について説明する。図１は、各実施形態に適用可能な撮像装置の機能を説明するための一例の機能ブロック図である。
図１において、撮像装置１は、撮像部１０と、光学部１１と、画像処理部１２と、出力処理部１３と、制御部１４と、を含む。また、撮像装置１が車載用途である場合には、撮像装置１は、車両情報取得部１５をさらに含む。
撮像部１０は、それぞれ１以上の受光素子を含む複数の画素が行列状に配列された画素アレイを有する。また、光学部１１は、レンズや絞り機構、フォーカス機構などを含み、被写体からの光を画素アレイの受光面に導く。
撮像部１０は、指定された露出時間で露出された各画素から画素信号を読み出して、読み出した画素信号に対してノイズ除去やゲイン調整といった信号処理を施すと共にデジタル方式の画素データに変換する。撮像部１０は、この画素信号に基づく画素データを出力する。この、撮像部１０による、露出および露出された画素から画素信号を読み出して画素データとして出力する一連の動作を、撮像と呼ぶ。
画像処理部１２は、撮像部１０から出力された画素データに対して所定の画像処理を施し、例えばフレーム単位の画像データとして出力する。画像処理部１２が画素データに対して施す画像処理は、例えば画素データの合成、変換処理、ホワイトバランス処理といった色調整処理を含む。
出力処理部１３は、画像処理部１２から出力された画像データを、撮像装置１から出力するために適した形式に変換する。出力処理部１３から出力された出力画像データは、例えば、図示されないディスプレイに供給され、画像として表示される。これに限らず、出力画像データが他の装置、例えば出力画像データに対して認識処理を行う装置や、出力画像データに基づき制御を行う制御装置に供給されてもよい。
制御部１４は、この撮像装置１の全体の動作を制御する。制御部１４は、例えばＣＰＵ(Central Processing Unit)と、撮像装置１の各部と通信を行うためのインタフェース回路とを含み、ＣＰＵが所定のプログラムに従い動作することで各種の制御信号を生成し、生成した制御信号により撮像装置１の各部を制御する。
なお、上述した画像処理部１２および出力処理部１３は、例えば、所定のプログラムに従い動作するＤＳＰ(Digital Signal Processor)やＩＳＰ(Image Signal Processor)により構成することができる。これに限らず、画像処理部１２および出力処理部１３のうち一方または両方を、制御部１４と共にＣＰＵ上で動作するプログラムにより実現してもよい。これらのプログラムは、撮像装置１が有する不揮発性のメモリに予め記憶されていてもよいし、外部から撮像装置１に供給して当該メモリに書き込んでもよい。
車両情報取得部１５は、当該撮像装置１が車両に搭載されて用いられる場合に、当該車両から車両情報を取得する。車両情報取得部１５は、車両情報として、車両の速度、車両前方の明るさ、などを取得する。車両情報取得部１５により取得された車両情報は、制御部１４に渡される。制御部１４は、撮像部１０や画像処理部１２に対して、渡された車両情報に応じた処理を指示することができる。
撮像部１０が有する画素アレイに含まれる各画素は、それぞれ所定の波長領域の光を透過させる光学フィルタが設けられる。特に記載の無い限り、この所定の波長領域の光を透過させる光学フィルタを、カラーフィルタとして説明を行う。フルカラーの画像データを得る場合、一般的には、Ｒ（赤）色の波長帯域の光を透過させるカラーフィルタ（以下、Ｒ色のカラーフィルタ）と、Ｇ（緑）色の波長帯域の光を透過させるカラーフィルタ（以下、Ｇ色のカラーフィルタ）と、Ｂ（青）色の波長帯域の光を透過させるカラーフィルタ（以下、Ｂ色のカラーフィルタ）と、による３種のカラーフィルタが用いられる。これらＲ色、Ｇ色およびＢ色それぞれのカラーフィルタの配列は様々に考えられるが、一般的には、ベイヤ(Bayer)配列と呼ばれる配列が用いられる。
図２は、ベイヤ配列の例を示す図である。図２において、ベイヤ配列１２０は、それぞれＧ色のカラーフィルタが配置される２つの画素１００Ｇと、Ｒ色のカラーフィルタが配置される１つの画素１００Ｒと、Ｂ色のカラーフィルタが配置される画素１００Ｂと、を含む。ベイヤ配列においては、これら４つの画素が、２つの画素１００Ｇが隣接しないように、２画素×２画素の格子状に配列されて構成される。換言すれば、ベイヤ配列は、同一波長帯域の光を透過させるカラーフィルタが配置された画素１００が隣接しないような配列である。
なお、以下では、特に記載の無い限り、「Ｒ色のカラーフィルタが配置される画素１００Ｒ」を、「Ｒ色の画素１００Ｒ」、あるいは、単に「画素１００Ｒ」と呼ぶ。Ｇ色のカラーフィルタが配置される画素１００Ｇ、および、Ｂ色のカラーフィルタが配置される画素１００Ｂ、についても、同様である。また、カラーフィルタを特に問題にしない場合、各画素１００Ｒ、１００Ｇおよび１００Ｂを、画素１００で代表させて記述する。
図３は、各実施形態に適用可能なカラーフィルタ配列の例を示す図である。図３の配列では、同一色による２画素×２画素が格子状に配列された画素ブロックを単位とし、４個のＲ色の画素１００Ｒと、４個のＧ色の画素１００Ｇと、４個のＢ色の画素１００Ｂと、による各画素ブロックが、ベイヤ配列に準じた画素配列にて配置されて構成されている。以下では、特に記載の無い限り、このような画素配列を、４分割ベイヤ型ＲＧＢ配列と呼ぶ。
より具体的には、４分割ベイヤ型ＲＧＢ配列は、Ｒ色の画素１００Ｒ、Ｇ色の画素１００Ｇ、および、Ｂ色の画素１００Ｂによる各画素ブロックが、画素１００Ｒ、画素１００Ｇおよび画素１００Ｂの数が１：２：１の割合となり、且つ、同一色の画素による画素ブロックが隣接しないように、２×２の格子状に配列される。図３の例では、Ｒ色の画素１００Ｒによる画素ブロックの左および下にＧ色の画素１００Ｇによる画素ブロックが配置され、Ｒ色の画素１００Ｒによる画素ブロックの対角に、Ｂ色の画素１００Ｂによる画素ブロックが配置されている。
図４は、各実施形態に適用可能な撮像部１０の一例の構成を示すブロック図である。図４において、撮像部１０は、画素アレイ部１１０と、垂直走査部２０と、水平走査部２１と、制御部２２と、を含む。
画素アレイ部１１０は、それぞれ受光した光に応じた電圧を生成する受光素子を有する複数の画素１００を含む。受光素子としては、フォトダイオードを用いることができる。画素アレイ部１１０において、複数の画素１００は、水平方向（行方向）および垂直方向（列方向）に行列状に配列される。画素アレイ部１１０において、画素１００の行方向の並びをラインと呼ぶ。この画素アレイ部１１０において所定数のラインから読み出された画素信号に基づき、１フレームの画像（画像データ）が形成される。例えば、３０００画素×２０００ラインで１フレームの画像が形成される場合、画素アレイ部１１０は、少なくとも３０００個の画素１００が含まれるラインを、少なくとも２０００ライン、含む。
また、画素アレイ部１１０には、各画素１００の行および列に対し、行毎に画素信号線ＨＣＴＬが接続され、列毎に垂直信号線ＶＳＬが接続される。
画素信号線ＨＣＴＬの画素アレイ部１１０と接続されない端部は、垂直走査部２０に接続される。垂直走査部２０は、例えば制御部１４から供給される制御信号に従い、画素１００から画素信号を読み出す際の駆動パルスなどの複数の制御信号を、画素信号線ＨＣＴＬを介して画素アレイ部１１０へ伝送する。垂直信号線ＶＳＬの画素アレイ部１１０と接続されない端部は、水平走査部２１に接続される。
水平走査部２１は、ＡＤ(Analog to Digital)変換部と、出力部と、信号処理部と、を含む。画素１００から読み出された画素信号は、垂直信号線ＶＳＬを介してを水平走査部２１のＡＤ変換部に伝送される。
画素１００からの画素信号の読み出し制御について、概略的に説明する。画素１００からの画素信号の読み出しは、露出により受光素子に蓄積された電荷を浮遊拡散層（ＦＤ；Floating Diffusion）に転送し、浮遊拡散層において転送された電荷を電圧に変換することで行う。浮遊拡散層において電荷が変換された電圧は、アンプを介して垂直信号線ＶＳＬに出力される。
より具体的には、画素１００において、露出中は、受光素子と浮遊拡散層との間をオフ（開）状態として、受光素子において、光電変換により入射された光に応じて生成された電荷を蓄積させる。露出終了後、画素信号線ＨＣＴＬを介して供給される選択信号に応じて浮遊拡散層と垂直信号線ＶＳＬとを接続する。さらに、画素信号線ＨＣＴＬを介して供給されるリセットパルスに応じて浮遊拡散層を電源電圧ＶＤＤまたは黒レベル電圧の供給線と短期間において接続し、浮遊拡散層をリセットする。垂直信号線ＶＳＬには、浮遊拡散層のリセットレベルの電圧（電圧Ｐとする）が出力される。その後、画素信号線ＨＣＴＬを介して供給される転送パルスにより受光素子と浮遊拡散層との間をオン（閉）状態として、受光素子に蓄積された電荷を浮遊拡散層に転送する。垂直信号線ＶＳＬに対して、浮遊拡散層の電荷量に応じた電圧（電圧Ｑとする）が出力される。
水平走査部２１において、ＡＤ変換部は、垂直信号線ＶＳＬ毎に設けられたＡＤ変換器を含み、垂直信号線ＶＳＬを介して画素１００から供給された画素信号は、ＡＤ変換器によりＡＤ変換処理が施され、ノイズ低減を行う相関二重サンプリング（ＣＤＳ：Correlated Double Sampling）処理のための２つのディジタル値（電圧Ｐおよび電圧Ｑにそれぞれ対応する値）が生成される。
ＡＤ変換器により生成された２つのディジタル値は、信号処理部によりＣＤＳ処理が施され、ディジタル信号による画素信号（画素データ）が生成される。生成された画素データは、撮像部１０から出力される。
水平走査部２１は、制御部２２の制御の下、垂直信号線ＶＳＬ毎のＡＤ変換器を所定の順番で選択する選択走査を行うことによって、各ＡＤ変換器が一時的に保持している各ディジタル値を信号処理部へ順次出力させる。水平走査部２１は、例えばシフトレジスタやアドレスデコーダなどを含む構成により、この動作を実現する。
制御部２２は、垂直走査部２０、水平走査部２１などの駆動制御を行う。制御部２２は、垂直走査部２０および水平走査部２１の動作の基準となる各種の駆動信号を生成する。制御部２２は、外部（例えば制御部１４）から供給される垂直同期信号または外部トリガ信号と、水平同期信号とに基づき、垂直走査部２０が画素信号線ＨＣＴＬを介して各画素１００に供給するための制御信号を生成する。制御部２２は、生成した制御信号を垂直走査部２０に供給する。
垂直走査部２０は、制御部２２から供給される制御信号に基づき、画素アレイ部１１０の選択された画素行の画素信号線ＨＣＴＬに駆動パルスを含む各種信号を、ライン毎に各画素１００に供給し、各画素１００から、画素信号を垂直信号線ＶＳＬに出力させる。垂直走査部２０は、例えばシフトレジスタやアドレスデコーダなどを用いて構成される。
このように構成された撮像部１０は、ＡＤ変換器が列毎に配置されたカラムＡＤ方式のＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージセンサである。
図５は、各実施形態に適用可能な撮像装置１のハードウェア構成の例を示すブロック図である。図５において、撮像装置１は、それぞれバス２０２０により接続される、ＣＰＵ２０００と、ＲＯＭ(Read Only Memory)２００１と、ＲＡＭ(Random Access Memory)２００２と、撮像部２００３と、ストレージ２００４と、データＩ／Ｆ２００５と、操作部２００６と、表示制御部２００７と、を含む。また、撮像装置１は、それぞれバス２０２０により接続される、画像処理部２０１０と、出力Ｉ／Ｆ２０１２と、を含む。
ＣＰＵ２０００は、ＲＯＭ２００１に予め記憶されたプログラムに従い、ＲＡＭ２００２をワークメモリとして用いて、この撮像装置１の全体の動作を制御する。
撮像部２００３は、図１の撮像部１０に対応し、撮像を行い画素データを出力する。撮像部２００３から出力された画素データは、画像処理部２０１０に供給される。画像処理部２０１０は、フレームメモリ２０１１を用いて、撮像部１０から供給された画素データに対して所定の画像処理を施し、フレーム単位の画像データを生成する。
出力Ｉ／Ｆ２０１２は、画像処理部２０１０で生成された画像データを外部に出力するためのインタフェースである。出力Ｉ／Ｆ２０１２は、画像処理部２０１０から供給された画像データを、所定の形式の画像データに変換して出力することができる。
ストレージ２００４は、例えばフラッシュメモリであって、画像処理部２０１０から出力された画像データを記憶、蓄積することができる。また、ストレージ２００４は、ＣＰＵ２０００を動作させるためのプログラムを記憶させることもできる。さらには、ストレージ２００４は、撮像装置１に内蔵される構成に限らず、撮像装置１に対して着脱可能な構成としてもよい。
データＩ／Ｆ２００５は、撮像装置１が外部機器とデータの送受信を行うためのインタフェースである。データＩ／Ｆ２００５としては、例えばＵＳＢ(Universal Serial Bus)を適用することができる。また、データＩ／Ｆ２００５として、Ｂｌｕｅｔｏｏｔｈ（登録商標）といった近距離無線通信を行うインタフェースを適用することもできる。
操作部２００６は、撮像装置１に対するユーザ操作を受け付ける。操作部２００６は、ユーザ入力を受け付ける入力デバイスとして、ダイヤルやボタンなどの操作子を含む。操作部２００６は、入力デバイスとして、接触した位置に応じた信号を出力するタッチパネルを含んでもよい。
表示制御部２００７は、ＣＰＵ２０００により渡された表示制御信号に基づき、ディスプレイ２００８が表示可能な表示信号を生成する。ディスプレイ２００８は、例えばＬＣＤ(Liquid Crystal Display)を表示デバイスとして用い、表示制御部２００７により生成された表示信号に従った画面を表示させる。なお、撮像装置１の用途によっては、表示制御部２００７およびディスプレイ２００８を省略することができる。
（１－２．リモザイク処理についての概略的な説明）
ここで、上述したリモザイク処理について概略的に説明する。４分割ベイヤ型ＲＧＢ配列における各画素の画素信号の処理モードとして、画素グループに含まれる４つの画素の画素信号を加算して１つの画素信号として処理するモード（加算モードと呼ぶ）と、当該４つの画素の画素信号をそれぞれ処理するモード（個別モードと呼ぶ）とがある。これらのうち、個別モードにおいては、リモザイク処理により、４分割ベイヤ型ＲＧＢ配列の各画素の画素値を例えばベイヤ型配列における各画素の画素値に変換することができる。
画像処理部１２は、注目画素の位置における画素値の傾斜（グラジエント）を各方向について検出し、検出されたグラジエントが最も小さい方向を判定する。画像処理部１２は、検出された方向における画素の画素値に基づき、注目画素の位置に対応するベイヤ配列上の画素の画素値を予測し、予測した画素値により当該注目画素の画素値を置換する。これにより、４分割ベイヤ型ＲＧＢ配列の各画素の画素値が、ベイヤ型配列における各画素の画素値に変換される。
より具体的には、画像処理部１２は、図６に示されるような、同一色の画素間のグラジエント（同色間グラジエント）と、図７に示されるような、異なる色の画素間のグラジエント（異色間グラジエント）と、を検出する。
なお、図６および図７、ならびに、以下の同様の図面において、各マスは画素を示し、各マス内の文字（Ｒ、ＧおよびＢ）は、その画素に対応するカラーフィルタの色（Ｒ色、Ｇ色およびＢ色）を示している。ここでは、Ｒ色、Ｇ色およびＢ色のカラーフィルタが設けられる各画素を、それぞれ画素Ｒ、画素Ｇおよび画素Ｂと呼ぶ。また、格子の左上のマスを原点として、図面の横方向をｘ方向、縦方向をｙ方向とし、画素単位で座標（ｘ，ｙ）を表すものとする。例えば、図６において、原点の画素は、座標（０，０）の画素Ｒであり、画素（０，０）のように記述する。
図６の例では、画素Ｇについて、ｘ方向に沿って、画素Ｇ（０，２）および（１，２）、画素Ｇ（４，２）および（５，２）、画素Ｇ（０，３）および（１，３）、ならびに、画素Ｇ（４，３）および（５，３）の同色の各組について、それぞれグラジエントを検出している。また、画素Ｂについて、画素Ｂ（２，２）および（３，２）、ならびに、画素Ｂ（２，３）および（３，３）の同色の各組について、グラジエントを検出している。
一方、図７の例では、ｘ方向に沿って、画素Ｇ（１，２）および画素Ｂ（２，２）、画素Ｇ（１，３）および画素Ｂ（２，３）、画素Ｂ（３，２）および画素Ｇ（４，２）、ならびに、画素Ｂ（３，３）および画素Ｇ（４，３）の、異なる色による各組について、それぞれグラジエントを検出している。
ここで、同色間グラジエントの検出は、感度が同一の画素同士のグラジエント算出となる。これに対して、異色間グラジエントの検出は、そのままでは、感度が異なる画素同士でのグラジエント算出となり、画素の色毎の感度差に依存したグラジエントが算出されてしまう。そのため、画像処理部１２は、入力画像信号に含まれる画素Ｒおよび画素Ｂの各画素値に対して、それぞれ所定の係数を乗じてグラジエントの検出を行う。
各実施形態に適用可能な画像処理部１２の方向判定処理について、より詳細に説明する。画像処理部１２は、局所領域において、複数の方向に対してグラジエントを算出する。図８および図９は、実施形態に適用可能なグラジエント算出の方向の例を示す図である。図８および図９、ならびに、以下の同様の図において、局所領域のサイズを６画素×６画素としている。
画像処理部１２は、図８に示されるように、水平方向（Ｈ）、垂直方向（Ｖ）、右上４５°方向（Ａ）、右下４５°方向（Ｄ）の４方向に沿ってグラジエント算出を行う。さらに、画像処理部１２は、図９に示されるように、右上２２．５°方向（Ａ２）、右上６７．５°方向（Ａ３）、右下２２．５°方向（Ｄ２）および右下６７．５°方向（Ｄ３）の４方向に沿ってグラジエント算出を行う。すなわち、実施形態では、画像処理部１２は、２２．５°ずつ角度の異なる８方向に沿って、グラジエント算出を行う。
図３を用いて説明した４分割ベイヤ型ＲＧＢ配列は、図２に示したベイヤ型配列と比較して、同色成分のサンプリング間隔が疎であるため、折返しが１／２ナイキスト周波数で発生してしまう。図８および図９に示すように、８方向に沿ってそれぞれグラジエント算出を行うことで、このような周波数の繰り返しパターンを高精度に検出可能となる。
画像処理部１２は、グラジエントの判定結果に基づき、ベイヤ配列における、注目画素の位置に対応する画素の画素値を予測し、予測した画素値により注目画素の画素値を置換する。
（１－３．画素読み出し方法の例）
次に、４分割ベイヤ型ＲＧＢ配列における画素信号の読み出しの例について説明する。図１０は、分割ベイヤ型ＲＧＢ配列における画素信号の読み出し方法の例を説明するための模式図である。図１０において、配列１２１は、４分割ベイヤ型ＲＧＢ配列による画素配列を示している。配列１３０は、この配列１２１に対して、上述した個別モードによる読み出しを行いリモザイク処理を施して、各画素の画素値をベイヤ配列による画素値に変換した画素データの配列の例を示している。
配列１３１は、配列１２１に対して上述した加算モードによる読み出しを行った配列の例を示している。このように、加算モードでは、画素グループに含まれる４つの画素を纏めて１つの画素として扱う。図１０の例では、配列１３１に示されるように、４分割ベイヤ型ＲＧＢ配列（配列１２１）における画素Ｒによる画素グループに含まれる４つの画素Ｒが、画素値の加算により１つの画素Ｒ（＋）として扱われる。同様に、配列１２１における画素Ｇによる画素グループに含まれる４つの画素Ｇが、画素値の加算により１つの画素Ｇ（＋）として扱われ、画素Ｂによる画素グループに含まれる４つの画素Ｂが、画素値の加算により１つの画素Ｂ（＋）として扱われる。
配列１３２は、配列１２１に示す画素グループに含まれる４つの画素のうち少なくとも１つの画素の露出時間を、当該画素グループに含まれる他の画素の露出時間と異ならせた配列の例を示している。図１０の例では、画素グループに含まれる４つの画素のうち１つの画素の露出時間を第１の露出時間とし、２つの画素の露出時間を第１の露出時間よりも長い第２の露出時間とし、残り１つの画素を第２の露出時間よりも長い第３の露出時間としている。以下、第１の露出時間での読み出しを短蓄、第２の露出時間での読み出しを中蓄、第３の露出時間での読み出しを長蓄、と呼ぶ。
図１０では、例えば画素Ｒの画素グループを例に取ると、左上が長蓄の画素Ｒ（Ｌ）、右上および左下が中蓄の画素Ｒ（Ｍ）、右下が短蓄の画素Ｒ（Ｓ）とされている。画素Ｇの画素グループも同様に、左上が長蓄の画素Ｇ（Ｌ）、右上および左下が中蓄の画素Ｇ（Ｍ）、右下が短蓄の画素Ｇ（Ｓ）とされ、画素Ｂの画素グループも、左上が長蓄の画素Ｂ（Ｌ）、右上および左下が中蓄の画素Ｂ（Ｍ）、右下が短蓄の画素Ｂ（Ｓ）とされている。
配列１３２の場合、短蓄、中蓄および長蓄により読み出された画素データ（画像データ）を合成して、１つの画像データを生成する。異なる露出時間で露出された画素データに基づく画像データを合成することで、よりダイナミックレンジの広い画像データを生成することができる。このようにして生成された広ダイナミックレンジの画像を画像データをＨＤＲ(High Dynamic Range)画像と呼ぶ。また、このような撮像方法をＨＤＲ撮像と呼ぶ。
図１０の例では、配列１３１ＨＤＲに示されるように、ＨＤＲ撮像により、例えば画素Ｒの画素グループの場合、画素Ｒ（Ｌ）と、２つの画素Ｒ（Ｍ）と、画素Ｒ（Ｓ）とが合成されて、画素グループのサイズを有する画素Ｒ（ＨＤＲ）が生成される。画素ＧおよびＢの各画素グループの場合も同様に、画素グループのサイズを有する画素Ｇ（ＨＤＲ）およびＢ（ＨＤＲ）が生成される。
図１１は、ＨＤＲ撮像の第１の例を説明するための模式図である。図１１および後述する図１２において、右方向に時間の経過を示している。また、縦方向にラインを示し、フレームの上端のラインをラインＬｎ＃１とし、ラインＬｎ＃１からフレームの下端側に向けてライン順次で読み出しが行われることが示されている（ローリングシャッタ方式）。
ＨＤＲ撮像の第１の例では、長蓄、中蓄および短蓄の露出が並列的に実行され、長蓄、中蓄および短蓄それぞれの画素からの読み出しが同時に実行される。
例えば、ラインＬｎ＃１において、１フレーム時間中の時間ｔ0で長蓄による露出が開始され、時間ｔ0から所定時間が経過した時間ｔ1で中蓄による露出が開始される。さらに時間ｔ1から所定時間が経過した時間ｔ2で短蓄による露出が開始される。時間ｔ2から所定時間の経過後の時間ｔ3において、長蓄、中蓄および短蓄それぞれの露出が終了され、長蓄、中蓄および短蓄それぞれの画素からの読み出しを行う。
図１２は、ＨＤＲ撮像の第２の例を説明するための模式図である。ＨＤＲ撮像の第２の例では、長蓄、中蓄および短蓄の露出がシーケンシャルに実行され、各露出毎に画素からの読み出しが実行される。
例えば、ラインＬｎ＃１において、１フレーム時間中の時間ｔ0で長蓄による露出が開始され、時間ｔ0から所定時間が経過した時間ｔ1で、長蓄による露出が終了され、長蓄の画素から読み出しが行われる。次に、時間ｔ1で中蓄による露出が開始され、時間ｔ1から所定時間が経過した時間ｔ2で、中蓄による露出が終了され、中蓄の画素から読み出しが行われる。さらに、時間ｔ2で短蓄による露出が開始され、時間ｔ2から所定時間が経過した時間ｔ3で、短蓄による露出が終了され、短蓄の画素から読み出しが行われる。すなわち、このＨＤＲ撮像の第２の例では、各ラインにおいて、１フレーム時間内で長蓄、中蓄および短蓄の、３回の露出が行われる。
このＨＤＲ撮像の第２の例では、上述した加算モードと個別モードとの何れも適用可能である。図１３は、ＨＤＲ撮像の第２の例に対して加算モードを適用した場合の例を説明するための模式図である。
図１３において、上段に示す配列１３１Ｌ、１３１Ｍおよび１３１Ｓは、それぞれ、配列１２１に対して、長蓄、中蓄および短蓄により露出を行い、加算モードによる読み出しを行った配列の例を示している。配列１３１Ｌ、１３１Ｍおよび１３１Ｓは、それぞれ、長蓄、中蓄および短蓄により露出を行い加算モードによる読み出しを行った配列の例を示している。一例として、画素Ｒによる画素グループについて説明すると、配列１３１Ｌにおいて、長蓄により露出された４つの画素Ｒ（Ｌ）が、画素値の加算により１つの画素Ｒ（Ｌ＋）として扱われる。配列１３１Ｍにおいて、中蓄により露出された４つの画素Ｒ（Ｍ）が、画素値の加算により１つの画素Ｒ（Ｍ＋）として扱われる。また、配列１３１Ｓにおいて、中蓄により露出された４つの画素Ｒ（Ｍ）が、画素値の加算により１つの画素Ｒ（Ｍ＋）として扱われる。他の画素ＧおよびＢにより画素グループについても、同様である。
配列１３１ＨＤＲ＋は、これら配列１３１Ｌ、１３１Ｍおよび１３１Ｓによる各画素を合成した例を示している。配列１３１ＨＤＲ＋において、各画素Ｒ（Ｌ＋）、Ｒ（Ｍ＋）およびＲ（Ｓ＋）が合成されて、広ダイナミックレンジの画素Ｒ（ＨＤＲ＋）が得られる。同様に、各画素Ｇ（Ｌ＋）、Ｇ（Ｍ＋）およびＧ（Ｓ＋）、ならびに、各画素Ｂ（Ｌ＋）、Ｂ（Ｍ＋）およびＢ（Ｓ＋）がそれぞれ合成されて、高ダイナミックレンジの画素Ｒ（ＨＤＲ＋）、Ｇ（ＨＤＲ＋）およびＢ（ＨＤＲ＋）が得られる。すなわち、配列１３１ＨＤＲ＋は、配列１３１Ｌ、１３１Ｍおよび１３１Ｓによる各画素を、各画素グループ単位で合成した配列となる。
図１４は、ＨＤＲ撮像の第２の例に対して個別モードを適用しリモザイク処理を施す場合の例を説明するための模式図である。配列１３３Ｌ、１３３Ｍおよび１３３Ｓは、それぞれ図１３の配列１３１Ｌ、１３１Ｍおよび１３１Ｓに対応するもので、各画素グループに含まれる４つの画素を分離して示している。配列１３４Ｌ、１３４Ｍおよび１３４Ｓは、これら配列１３３Ｌ、１３３Ｍおよび１３３Ｓの各画素に対してリモザイク処理を施し、各画素グループに含まれる４つの画素の画素値をベイヤ配列における各画素の画素値に変換した例を示している。この場合、配列１３４Ｌは、長蓄の画素データに基づく各画素値のみを含み、同様に、配列１３４Ｍおよび１３４Ｓは、それぞれ中蓄および短蓄の画素データに基づく各画素値のみを含む。
図１４の下段に示す配列１３５ＨＤＲは、これら配列１３４Ｌ、１３４Ｍおよび１３４Ｓを、位置が対応する画素同士で合成したものである。このように、ＨＤＲ撮像の第２の例では、ベイヤ配列に対応する各画素において、高ダイナミックレンジを得ることができる。
ここで、図１０、図１３および図１４を用いて、上述したＨＤＲ撮像の第１の例と第２の例との差異について説明する。ＨＤＲ撮像の第１の例では、例えば長蓄（あるいは中蓄、短蓄）に割り当てられる画素が４分割ベイヤ型ＲＧＢ配列に含まれる１６画素のうち４画素である（図１０の配列１３２参照）。これに対して、ＨＤＲ撮像の第２の例では、１６画素全てが長蓄（あるいは中蓄、短蓄）に割り当てられる（図１３の配列１３１Ｌ、１３１Ｍおよび１３１Ｓ参照）。そのため、解像度を同一とした場合、ＳＮＲ(Signal-Noise Ratio)の点で、第２の例が第１の例に対して有利である。
また、ＨＤＲ撮像の第１の例では、画素グループに含まれる４画素の露出時間が異なるため（図１０の配列１３２参照）、リモザイク処理の適用が困難である。これに対して、ＨＤＲ撮像の第２の例では、４分割ベイヤ型ＲＧＢ配列に含まれる１６画素の露出時間が同一であるため、リモザイク処理を容易に適用できる（図１４参照）。したがって、解像度の点で、第２の例が第１の例に対して有利である。
一方、加算モードと個別モードとを比較した場合、加算モードは、個別モードと比較して、画素の高速な読み出しが可能であると共に、ＳＮＲの点で有利である。また、個別モードではリモザイク処理が可能であるため、加算モードに対して解像度の点で有利である。各実施形態では、撮像部１０における画素の読み出しを、加算モードと個別モードとを適応的に切り替えて実行する。これにより、撮像の目的や撮像環境など撮像条件に適応した撮像を実行することが可能となる。
［２．第１の実施形態］
次に、本開示の第１の実施形態について説明する。第１の実施形態は、加算モードと個別モードとの切り替えを、画像処理により実現する場合の例である。図１５は、第１の実施形態に係る撮像装置１の機能を説明するための一例の機能ブロック図である。
図１５に示される撮像装置１は、上述したＨＤＲ撮像の第２の例による撮像を行う。すなわち、撮像部１０において、画素アレイ部１１０の各画素１００に対して４分割ベイヤ型ＲＧＢ配列に従いＲ色、Ｇ色およびＢ色のカラーフィルタが設けられる。制御部１４は、図１２を用いて説明した、長蓄、中蓄および短蓄による各撮像を行うように、撮像部１０を制御する。撮像部１０は、長蓄、中蓄および短蓄それぞれの露出により撮像され各画素１００から読み出された画素データを、画像処理部１２に供給する。
第１の実施形態に係る撮像装置１において、画像処理部１２は、画素処理部１２００と、ＨＤＲ合成処理部１２０１と、ＷＢ（ホワイトバランス）処理部１２０２と、階調圧縮処理部１２０３と、デモザイク処理部１２０４と、ガンマ補正処理部１２０５と、出力処理部１２０６と、を含む。
これら画素処理部１２００、ＨＤＲ合成処理部１２０１、ＷＢ処理部１２０２、階調圧縮処理部１２０３、デモザイク処理部１２０４、ガンマ補正処理部１２０５および出力処理部１２０６は、例えばＤＳＰ、ＩＳＰ、ＣＰＵといったプロセッサ上で所定のプログラムが実行されることにより実現される。これに限らず、画素処理部１２００、ＨＤＲ合成処理部１２０１、ＷＢ処理部１２０２、階調圧縮処理部１２０３、デモザイク処理部１２０４、ガンマ補正処理部１２０５および出力処理部１２０６の一部または全部を、互いに協働して動作するハードウェア回路によって実現してもよい。
画素処理部１２００は、撮像部１０から供給された画素データに対して、加算モードによる、画素グループに含まれる４画素の画素値を加算する加算処理と、個別モードによる、各画素データに基づくリモザイク処理とを実行する。画素処理部１２００は、この加算処理およびリモザイク処理を、制御部１４から供給される切替制御信号ＣＮＧに従い切り替えて実行する。画素処理部１２００は、撮像部１０から供給された長蓄、中蓄および短蓄それぞれの画素データに対して加算処理またはリモザイク処理を実行する。
画素処理部１２００で加算処理またはリモザイク処理された長蓄、中蓄および短蓄それぞれの画素データは、ＨＤＲ合成処理部１２０１に供給される。なお、この時点での各画素データは、位置が対応するカラーフィルタの色、あるいは、リモザイク処理された位置の色に対応する、ＲＡＷデータである。
ＨＤＲ合成処理部１２０１は、画素処理部１２００から供給された長蓄、中蓄および短蓄それぞれの画素データを合成してＨＤＲ画像を生成するＨＤＲ合成処理を実行する。ＨＤＲ合成処理を施された画素データは、ビット深度が２０～２４ビット程度とされ、例えばビット深度が８～１０ビット程度の通常の画素データに対してより広いダイナミックレンジを有している。
ＨＤＲ合成処理部１２０１は、例えば１フレーム分の画素データに対してＨＤＲ合成処理を実行すると、ＨＤＲ合成処理により生成された１フレーム分の画素データをフレーム単位の画像データとして出力する。ＨＤＲ合成処理部１２０１から出力された画像データ（ＨＤＲ画像データ）は、ＷＢ処理部１２０２に供給され、ＷＢ処理部１２０２により既知のホワイトバランス処理を施され、階調圧縮処理部１２０３に供給される。階調圧縮処理部１２０３は、供給された画像データの階調を圧縮し、後段での処理に適した階調を有する画像データを生成する。例えば、階調圧縮処理部１２０３は、画像データに含まれる各画素データのビット深度を、ＨＤＲ合成処理による２０～２４ビットのビット深度から例えば８ビット～１０ビット程度のビット深度に変換し、階調の圧縮を行う。
階調圧縮処理部１２０３は、階調圧縮処理した画像データをデモザイク処理部１２０４に供給する。デモザイク処理部１２０４は、供給された画像データに対して、既知のデモザイク処理を施し、各画素に対して、Ｒ色、Ｇ色およびＢ色それぞれの画素値を与える。デモザイク処理部１２０４が実行するデモザイク処理は、例えば、注目画素の画素値と、注目画素の近傍の各画素の画素値とを用いて、１つの注目画素に対してＲ色、Ｇ色およびＢ色それぞれの画素値を与える処理となる。
デモザイク処理部１２０４は、デモザイク処理を施した画像データのＲ色、Ｇ色およびＢ色の各成分のデータをガンマ補正処理部１２０５に供給する。ガンマ補正処理部１２０５は、供給された各データに基づきガンマ補正処理を実行し、ガンマ補正されたＲ色、Ｇ色およびＢ色の各成分のデータを出力処理部１３に供給する。出力処理部１３は、ガンマ補正処理部１２０５から供給されたＲ色、Ｇ色およびＢ色の各成分のデータを、後段の処理に適した形式のデータに変換する。図１５の例では、出力処理部１３は、Ｒ色、Ｇ色およびＢ色の各成分のデータを、輝度成分Ｙと、各色差成分Ｒ－Ｙ、Ｂ－Ｙとによる画像データに変換して出力する。
図１６は、第１の実施形態に係る画素処理部１２００の機能を説明するための一例の機能ブロック図である。図１６の例では、画素処理部１２００は、画素切替スイッチ２１０と、フレームメモリ２００Ｌ、２００Ｍおよび２００Ｓと、処理切替スイッチ２０１Ｌ、２０１Ｍおよび２０１Ｓと、画素加算部２０２Ｌ、２０２Ｍおよび２０２Ｓと、リモザイク処理部２０３Ｌ、２０３Ｍおよび２０３Ｓと、セレクタ２０４Ｌ、２０４Ｍおよび２０４セレクタと、を含む。
これらのうち、フレームメモリ２００Ｌ、処理切替スイッチ２０１Ｌ、画素加算部２０２Ｌ、リモザイク処理部２０３Ｌおよびセレクタ２０４は、長蓄による画素データの処理に係る構成である。同様に、フレームメモリ２００Ｍおよび２００Ｓ、処理切替スイッチ２０１Ｍおよび２０１Ｓ、画素加算部２０２Ｍおよび２０２Ｓ、リモザイク処理部２０３Ｍおよび２０３Ｓ、ならびに、セレクタ２０４Ｍおよび２０４セレクタは、それぞれ中蓄および短蓄による画素データの処理に係る構成である。
撮像部１０から出力された画素データは、画素切替スイッチ２１０に入力される。画素切替スイッチ２１０は、例えば制御部１４から供給される制御信号（図示しない）に応じて、第１、第２および第３の出力端を切り替える。ここで、第１の出力端は、長蓄の構成を選択するもので、フレームメモリ２００Ｌに接続される。第２の出力端は、中蓄の構成を選択するもので、フレームメモリ２００Ｍに接続される。また、第３の出力端は、短蓄の構成を選択するもので、フレームメモリ２００Ｓに接続される。
より具体的には、例えば制御部１４は、撮像部１０における長蓄、中蓄および短蓄それぞれの読み出しタイミングに同期して、画素切替スイッチ２１０の出力先を第１、第２および第３の出力端のうち読み出しに対応する出力端に切り替える。画素切替スイッチ２１０は、ライン毎に、例えば図１２に示した時間ｔ1、ｔ2およびｔ3にそれぞれ対応するタイミングで、第１、第２および第３の出力端を切り替える。
画素処理部１２００の動作について、長蓄による画素データに係る処理を例にとって説明する。画素切替スイッチ２１０において第１の出力端に切り替えられると、フレームメモリ２００Ｌに長蓄による１ライン分の画素データが書き込まれる。処理切替スイッチ２０１Ｌは、制御部１４から供給される切替制御信号ＣＮＧに従い、フレームメモリ２００Ｌから読み出された画素データの供給先を、画素加算部２０２Ｌおよびリモザイク処理部２０３Ｌの何れかに切り替える。
なお、中蓄および短蓄に係る各構成における処理切替スイッチ２０１Ｍおよび２０１Ｍは、切替制御信号ＣＮＧに従い、処理切替スイッチ２０１Ｌと同期して、画素加算部２０２Ｍおよびリモザイク処理部２０３Ｍの何れか、ならびに、画素加算部２０２Ｓおよびリモザイク処理部２０３Ｓの何れかが切り替えられる。
先ず、フレームメモリ２００Ｌに１フレーム分の画素データが書き込まれ、処理切替スイッチ２０１Ｌにおいて、第１の出力端に切り替えられている場合について説明する。この場合、画素加算部２０２Ｌは、画素切替スイッチ２１０を介してフレームメモリ２００Ｌから画素グループ単位で画素データを読み出して、読み出した各画素データによる画素値を、画素グループ毎に加算する。画素加算部２０２Ｌは、この画素グループ毎に加算された画素値による画素データの１フレーム分を、加算モードによる画像データとして出力する。画素加算部２０２Ｌから出力されたこの加算モードによる画像データは、セレクタ２０４Ｌの第１の入力端に供給される。
次に、フレームメモリ２００Ｌに１フレーム分の画素データが書き込まれ、処理切替スイッチ２０１Ｌにおいて、第１の出力端に切り替えられている場合について説明する。この場合、リモザイク処理部２０３Ｌは、フレームメモリ２００Ｌからリモザイク処理の処理単位（例えば６画素×６画素）で画素データを読み出して、読み出した各画素データに基づき上述したようにしてリモザイク処理を実行する。リモザイク処理部２０３Ｌは、それぞれリモザイク処理された１フレーム分の画素データを、個別モードによる画像データとして出力する。リモザイク処理部２０３Ｌから出力されたこの個別モードによる画像データは、セレクタ２０４Ｌの第２の入力端に供給される。
セレクタ２０４Ｌ、ならびに、セレクタ２０４Ｍおよび２０４Ｓは、切替制御信号ＣＮＧに従い、上述した処理切替スイッチ２０１Ｌ、２０１Ｍおよび２０１Ｓと同期して、第１および第２の入力端のうち一方を選択する。セレクタ２０４Ｌ、セレクタ２０４Ｍおよび２０４Ｓの出力は、長蓄、中蓄および短蓄の画像データとして、それぞれ画素処理部１２００から出力される。
なお、フレームメモリ２００Ｍおよび２００Ｓ、処理切替スイッチ２０１Ｍおよび２０１Ｓ、画素加算部２０２Ｍおよび２０２Ｓ、ならびに、リモザイク処理部２０３Ｍおよび２０３Ｓによる、中蓄および短蓄の画素データに関する処理は、上述したフレームメモリ２００Ｌ、処理切替スイッチ２０１Ｌ、画素加算部２０２Ｌ、ならびに、リモザイク処理部２０３Ｌによる処理と同等であるので、ここでの説明を省略する。
制御部１４は、例えば所定の撮像条件に応じて、加算モードによる処理と、個別モードによる処理とのうち何れを実行するかを指示するための切替制御信号ＣＮＧを生成し、画素処理部１２００に供給する。制御部１４は、例えば、切替制御信号ＣＮＧを生成するための撮像条件として、撮像装置１の被写体に対する速度を適用することができる。別の例として、制御部１４は、被写体の明るさ、あるいは、撮像環境の明るさを、切替制御信号ＣＮＧを生成するための撮像条件に適用することができる。
撮像装置１が車両に搭載されて用いられる場合を例にとって、より具体的に説明する、撮像装置１は、車両情報取得部１５（図１参照）により、当該車両から車両の走行に関する情報を含む車両情報を取得する。撮像装置１において、制御部１４は、取得した車両情報から走行速度を示す情報を抽出し、抽出した走行速度と閾値ｖthとを比較する。制御部１４は、走行速度が閾値ｖth以上であれば、個別モードを指示するための切替制御信号ＣＮＧを生成し、画素処理部１２００に供給する。
一方、走行速度が閾値ｖth未満であれば、制御部１４は、加算モードを指示するための切替制御信号ＣＮＧを生成し、画素処理部１２００に供給する。加算モードでは、画素処理部１２００や、画素処理部１２００の後段の各部における処理量が、個別モードに対して少ないため、省電力化を実現することが可能である。
また、撮像装置１は、本撮像装置１、あるいは車両に搭載される例えば他のセンサの出力に基づき撮像環境の明るさを示す情報（例えば輝度値）を取得する。撮像装置１において、制御部１４は、取得した明るさと、閾値Ｙthとを比較する。制御部１４は、明るさが閾値Ｙth以上であれば、個別モードを指示するための切替制御信号ＣＮＧを生成し、画素処理部１２００に供給する。一方、明るさが閾値Ｙth未満であれば、制御部１４は、個別モードを指示するための切替制御信号ＣＮＧを生成し、画素処理部１２００に供給する。
上述では、制御部１４が１つの撮像条件に従い切替制御信号ＣＮＧを生成しているが、これはこの例に限定されない。制御部１４は、複数の撮像条件に従い切替制御信号ＣＮＧを生成してもよい。
図１７は、第１の実施形態に係る、２つの撮像条件に従い切替制御信号ＣＮＧを生成する例を説明するための模式図である。図１７の例では、上述した、車両の走行速度と、撮像環境の明るさと、に基づき加算モードと個別モードとを切り替えている。すなわち、制御部１４は、走行速度が閾値ｖth以上であって、且つ、明るさが閾値Ｙth以上である場合に、個別モードを指示するための切替制御信号ＣＮＧを生成し、画素処理部１２００に供給する。一方、制御部１４は、走行速度が閾値ｖth未満、または、明るさがＹth未満である場合に、加算モードを指示するための切替制御信号ＣＮＧを生成し、画素処理部１２００に供給する。
このように、個別モードを指示するための切替制御信号ＣＮＧと、加算モードを指示するための切替制御信号ＣＮＧと、を撮像条件に基づき生成することで、撮像画像に基づくセンシングの性能を最適化することが可能となる。また、切替制御信号ＣＮＧを複数の撮像条件に基づき生成することで、よりきめ細かな制御が可能となる。
なお、個別モードでは、加算モードと比較して、画素データに対して４倍の処理が必要となる。このとき、個別モードにおける撮像部１０からの読み出しと、画像処理の対象となる領域と、を水平および垂直共に例えば１／２とすることが考えられる。これにより、省電力化が可能となり、また、画像処理部１２における演算リソースの消費を抑制することが可能となる。
上述では、第１の実施形態に適用される撮像方式がローリングシャッタ方式であるものとして説明したが、これはこの例に限定されない。すなわち、第１の実施形態に対して、全ラインで同時に露出を実行する撮像方式であるグローバルシャッタ方式を適用することもできる。
また、上述では、画素処理部１２００においてリモザイク処理された長蓄、中蓄および短蓄の各画素データがＨＤＲ合成処理部１２０１に供給されるように説明したが、これはこの例に限定されない。例えば、ＨＤＲ合成処理部１２０１におけるＨＤＲ合成処理の後に、画素処理部１２００によるリモザイク処理を実行することも可能である。より具体的には、撮像部１０から出力された長蓄、中蓄および短蓄の各画素データに対してＨＤＲ合成処理を実行し、ＨＤＲ合成処理が施された例えば１フレーム分の画素データに対して、リモザイク処理を実行する。
［２－１．第１の実施形態の第１の変形例］
次に、第１の実施形態の第１の変形例について説明する。上述の第１の実施形態では、加算モードおよび個別モードのうちフレームの全面に対して単一のモードによる読み出し処理を行っていた。これに対して、第１の実施形態の第１の変形例では、フレーム内に、個別モードによる処理を実行する処理領域と、加算モードによる処理を実行する処理領域と、を設定する。
図１８Ａおよび図１８Ｂは、第１の実施形態の第１の変形例に係る処理領域について説明するための模式図である。図１８Ａに示されるように、第１の実施形態の第１の変形例では、例えばフレーム３００の中央部分に個別モードによる処理を実行する第１の処理領域３０１を設定し、フレーム３００における第１の処理領域３０１以外の領域（フレーム３００の周辺部）を、加算モードによる処理を実行する第２の処理領域３０２に設定する。第１の処理領域３０１は、例えば、水平および垂直方向のサイズをフレーム３００の水平および垂直方向のサイズのそれぞれ１／２とすることが考えられる。
図１８Ｂに示されるように、例えば第１の実施形態の第１の変形例に係る撮像装置１が搭載される車両３０４から見たときに、フレーム３００の中央部分の第１の処理領域３０１は、例えば車両３０４の走行方向に向けてより遠方の、車両の運転者が注視すべき注視領域３０３の画像を含む。そのため、第１の処理領域３０１は、より高解像度の個別モードによる画像処理を実行することが好ましい。一方、第１の処理領域３０１の外の第２の処理領域３０２は、第１の処理領域３０１と比較して低い解像度の加算モードによる画像処理を実行する。
このように、第１の実施形態の第１の変形例は、フレーム内の領域を撮像条件として切替制御信号ＣＮＧを生成する。フレーム３００の中央部と周辺部とで個別モードと加算モードとを分けて設定することで、出力される画像に必要な情報を含めつつ、省電力化が可能となる。
図１９は、第１の実施形態の第１の変形例に適用可能な画素処理部１２００ａの機能を説明するための一例の機能ブロック図である。なお、図１９は、上述した図１６と対応する図であって、長蓄に係る構成を抜き出して示し、中蓄および短蓄に係る構成を省略している。
図１９に示される画素処理部１２００ａは、上述した図１６に示した画素処理部１２００に対して、画素加算部２０２Ｌに接続されるフレームメモリ２０２０Ｌと、リモザイク処理部２０３Ｌに接続されるフレームメモリ２０３０Ｌと、が追加されている。
制御部１４は、切替制御信号ＣＮＧを第１の処理領域３０１と第２の処理領域３０２との境界で切り替えることで、第１の処理領域３０１において個別モードによる処理を実行し、第２の処理領域３０２において加算モードによる処理を実行するように、制御する。
より具体的な例として、制御部１４は、切替制御信号ＣＮＧをライン順次で画素処理部１２００に供給し、各ラインにおいて、フレーム３００の左端から右端に向けて、切替制御信号ＣＮＧを画素処理部１２００に供給するものとする。
制御部１４は、フレーム３００の上端から第１の処理領域３０１の上端の直前のラインまでは、加算モードを指示するための切替制御信号ＣＮＧを生成し、画素処理部１２００に供給する。制御部１４は、第１の処理領域３０１の上端から下端までのラインでは、ライン毎に、フレーム３００の左端から第１の処理領域３０１の左端の直前までを加算モードを指示するための切替制御信号ＣＮＧを生成して画素処理部１２００に供給する。制御部１４は、第１の処理領域３０１の左端から右端までは、個別モードを指示するための切替制御信号ＣＮＧを生成して画素処理部１２００に供給する。制御部１４は、第１の処理領域３０１の右端の直後からフレーム３００の右端までは、加算モードを指示するための切替制御信号ＣＮＧを生成して画素処理部１２００に供給する。また、制御部１４は、第１の処理領域３０１の下端直後のラインからフレーム３００の下端のラインまでは、加算モードを指示するための切替制御信号ＣＮＧを生成し、画素処理部１２００に供給する。
画素加算部２０２Ｌは、加算モードを指示するための切替制御信号ＣＮＧが供給されている間、フレームメモリ２００Ｌから第２の処理領域３０２に対応する画素データを例えばライン順次で読み出し、読み出した画素データをフレームメモリ２０２０Ｌに書き込む。このとき、画素加算部２０２Ｌは、第１の処理領域３０１を含むラインにおいては、例えば当該第１の処理領域３０１の内部の画素データをスキップする。画素加算部２０２Ｌは、フレームメモリ２０２０Ｌに書き込まれた画素データに対して画素グループ単位で加算処理を実行し、加算処理結果の画素値によって、フレームメモリ２０２０Ｌを更新する。
リモザイク処理部２０３Ｌも同様に、個別モードを指示するための切替制御信号ＣＮＧが供給されている間、フレームメモリ２００Ｌから第１の処理領域３０１に対応する画素データを読み出し、読み出した画素データをフレームメモリ２０３０Ｌに書き込む。このとき、リモザイク処理においては注目画素に対して数画素分の周辺画素を用いるため、リモザイク処理部２０３Ｌは、周辺画素分を見込んで、フレームメモリ２００Ｌから画素データを読み出す。リモザイク処理部２０３Ｌは、フレームメモリ２０３０Ｌに書き込まれた画素データを用いてリモザイク処理を実行し、リモザイク処理結果の画素値によって、フレームメモリ２０３０Ｌを更新する。
画素加算部２０２Ｌによる加算処理、および、リモザイク処理部２０３Ｌによるリモザイク処理が実行されてフレームメモリ２０２０Ｌおよび２０３０Ｌにそれぞれ書き込まれた、画素データは、切替制御信号ＣＮＧに応じて第１および第２の入力端が切り替えられるセレクタ２０４Ｌを介して出力されることで合成され、長蓄のフレーム画像として出力される。
［２－２．第１の実施形態の第２の変形例］
次に、第１の実施形態の第２の変形例について説明する。上述した実施の第１の形態の第１の変形例では、個別モードの処理を実行する処理領域と、加算モードの処理を実行する処理領域とをそれぞれ固定的に設定していた。これに対して、第１の実施形態の第２の変形例は、個別モードの処理を実行する処理領域と、加算モードの処理を実行する処理領域とを、適応的に設定する。
図２０は、第１の実施形態の第２の変形例に係る処理領域について説明するための模式図である。第１の実施形態の第２の変形例では、撮像部１０から読み出された画素データによる画像に含まれる特定のオブジェクトを検出し、検出された特定のオブジェクトに基づき、個別モードの処理を実行する処理領域と、加算モードの処理を実行する処理領域とを設定する。
図２０の例では、撮像部１０より読み出された画素データによる画像３１０から、特定のオブジェクトとして２つの信号機、標識および２台の対向車がそれぞれ検出されている。特定のオブジェクトとしては、例えば路上を歩行する歩行者も含まれる。検出された標識を含む領域３２０と、検出された２つの信号機をそれぞれ含む領域３２１および３２２と、検出された２台の対向車をそれぞれ含む領域３２３および３２４と、が個別モードの処理を実行する処理領域とされ、画像３１０におけるこれら領域３２０～３２４以外の領域が、加算モードの処理を実行する処理領域とされている。
このように、第１の実施形態の第２の変形例は、フレームの画像に含まれるオブジェクトおよび当該オブジェクトを含む領域を撮像条件として切替制御信号ＣＮＧを生成する。例えば車両の走行にとって重要なオブジェクトを含む領域に対して個別モードによる処理を実行し、高解像度の画像を生成する。一方、例えば車両の走行にとって重要性の低い領域に対して、加算モードにより個別モードと比較して低解像度の画像を生成する。これにより、車両の走行にとって重要なオブジェクトの認識が容易となり、走行の安全性を向上させることが可能となる。また、加算モードによる処理は、生成される画像の解像度の点では個別モードに劣るが、個別モードより処理の負荷が小さい。これにより、全体として、演算リソースおよび消費電力が抑制できる。
図２１は、第１の実施形態の第２の変形例に適用可能な画素処理部１２００ｂの機能を説明するための一例の機能ブロック図である。なお、図１９に示される画素処理部１２００ｂは、上述した図１６の構成に対して検出部２２０が追加され、処理切替スイッチ２０１Ｌ、２０１Ｍおよび２０１Ｓ、ならびに、セレクタ２０４Ｌ、２０４Ｍおよび２０４Ｓが、検出部２２０から出力される切替制御信号ＣＮＧに従い切り替えられる構成となっている。
より具体的には、検出部２２０は、例えばフレームメモリ２００Ｌに書き込まれた画素データによる１フレームの画像データに基づき、当該画像データによる画像に含まれる特定のオブジェクトを検出する。検出部２２０は、例えば予め登録されたパターンに基づくパターン認識によりオブジェクトの検出を行うことができる。これに限らず、検出部２２０は、所定の教師データを用いて予め学習された学習モデルを用いた機械学習処理によりオブジェクトの認識を行うようにしてもよい。
なお、切替制御信号ＣＮＧによる処理切替スイッチ２０１Ｌ、２０１Ｍおよび２０１Ｓ、ならびに、セレクタ２０４Ｌ、２０４Ｍおよび２０４Ｓの切り替え制御は、上述の第１の実施形態の第１の変形例において図１９を用いて説明した制御と同様であるので、ここでの説明を省略する。
また、ここでは、検出部２２０がフレームメモリ２００Ｌの画像データに基づき特定のオブジェクトを検出するように説明したが、これはこの例に限定されない。例えば、検出部２２０は、フレームメモリ２００Ｌ、２００Ｍおよび２００Ｓのうち少なくとも１つに書き込まれた画像データに基づき特定のオブジェクトの検出を行ってもよい。また、図２１では、画素処理部１２００ｂが検出部２２０の機能を有しているように示されているが、これはこの例に限定されない。例えば、制御部１４が検出部２２０の機能を有していてもよい。
［２－３．第１の実施形態の第３の変形例］
次に、第１の実施形態の第３の変形例について説明する。上述した第１の実施形態、および、第１の実施形態の第１および第２の変形例では、撮像部１０における画素配列が４分割ベイヤ型ＲＧＢ配列であるものとして説明したが、本開示に適用可能な画素配列は、４分割ベイヤ型ＲＧＢ配列に限定されない。すなわち、本開示は、同一波長帯域の光を透過させる光学フィルタが２画素×２画素で配列される画素配列であれば、４分割ベイヤ型ＲＧＢ配列以外の画素配列にも適用可能である。
図２２Ａ～図２２Ｅは、本開示に適用可能な画素配列の例を示す模式図である。図２２Ａは、４分割ベイヤ型ＲＧＢ配列における画素Ｇの代わりに、可視光領域全域の光を透過させるフィルタを設けた画素Ｗを配置した画素配列の例である。図２２Ｂは、４分割ベイヤ型ＲＧＢ配列における画素Ｇの代わりに、黄色のカラーフィルタを設けた画素Ｙｅを配置した画素配列の例である。また、図２２Ｃは、図２２Ｂの画素配列に対し、さらに、画素Ｂの代わりにシアン（Ｃｙａｎ）色のカラーフィルタを設けた画素Ｃｙを配置した画素配列の例である。
これら図２２Ａ、図２２Ｂおよび図２２Ｃに示した画素配列は、４分割ベイヤ型ＲＧＢ配列と比較して高い感度を得ることが可能である。また、画素Ｙｅを含む図２２Ｂおよび図２２Ｃに示す画素配列は、レンズ収差の影響を受け難い特性を有する。一方、図２２Ａ～図２２Ｃの何れの画素配列も、加法混合における三原色のうちＧ（緑）色を含まずフルカラーの再現ができない。そのため、図２２Ａ～図２２Ｃに示す各画素配列は、センシング用途に用いて好適である。
図２２Ｄは、２画素×２画素の画素グループを、４列×４行に配置した画素配列の例を示している。図２２Ｄに示される画素配列では、画素Ｒによる２つの画素グループと、画素Ｂによる２つの画素グループと、画素Ｇによる４つの画素グループと、画素Ｗによる８つの画素グループと、が同色の画素による画素グループが互いに隣接しないように配置されている。図２２Ｄの画素配列では、画素Ｗによる８つの画素グループにより感度を稼ぐことができると共に、１：２：１の割合で配置された画素Ｒ、画素Ｇおよび画素Ｂそれぞれの画素グループによりフルカラーの再現が可能である。一方で、例えば４分割ベイヤ型ＲＧＢ配列と比較して各色の画素グループの間隔が広いため、解像度の点では不利である。
図２２Ｅは、赤外領域の光を透過させるＩＲ(Infrared)フィルタを設けた画素ＩＲを含む画素配列の例である。画素ＩＲを用いることで、赤外光の反射を利用した測距などが可能となる。図２２Ｅの例では、４分割ベイヤ型ＲＧＢ配列における画素Ｂの代わりに、画素ＩＲを配置した例である。なお、図２２Ｅでは、４分割ベイヤ型ＲＧＢ配列における画素Ｂの画素グループに含まれる４つの画素Ｂを全て画素ＩＲに置き換えているが、これはこの例に限定されない。例えば、当該画素Ｂ（あるいは画素Ｒ、または画素Ｇ）の画素グループに含まれる４つの画素のうち１～３の画素を画素ＩＲと置き換えた画素配列でもよい。
この図２２Ｅに示される画素配列は、例えば４分割ベイヤ型ＲＧＢ配列と組み合わせて用いることができる。例えば、フレームに対応して繰り返し配置された４分割ベイヤ型ＲＧＢ配列に対して、所定間隔で図２２Ｅの画素配列を挿入することが考えられる。また、フレームに対応して繰り返し配置された４分割ベイヤ型ＲＧＢ配列に対して、図２２Ｅの画素配列を所定数、配置することも考えられる。
［３．第２の実施形態］
次に、本開示の第２の実施形態について説明する。上述した第１の実施形態およびその各変形例では、加算モードによる画素グループに含まれる各画素の画素値の加算処理を、画像処理部１２において実行している。これはこの例に限定されず、当該加算処理を、撮像部１０において各画素アレイ部１１０の内部で実行することも可能である。
図２３Ａ、図２３Ｂおよび図２３Ｃは、第２の実施形態に係る、画素グループ内における個別モードおよび加算モードの切り替え方法の例を説明するための模式図である。
図２３Ａは、第２の実施形態に係る、画素ブロックに含まれる各画素１００から信号を読み出す方法を説明するための模式図である。ここでは、画素Ｇの画素ブロックを例に取って説明を行う。図２３Ａに示されるように、当該画素ブロックに含まれる画素１００Ｇ1、１００Ｇ2、１００Ｇ3および１００Ｇ4は、１つの浮遊拡散層を共有する構成となっている。
先ず、切替制御信号ＣＮＧにより加算モードが指示された場合の読み出し方法の例について、図２３Ｂのタイムチャートを参照しながら説明する。なお、図２３Ｂおよび後述する図２３Ｃにおいて、右方向に時間の経過を示し、画素１００Ｇ1～１００Ｇ4をそれぞれ画素Ｇ1、Ｇ2、Ｇ3およびＧ4として示している。
加算モードでは、画素グループに含まれる画素１００Ｇ1、１００Ｇ2、１００Ｇ3および１００Ｇ4において各受光素子に蓄積された電荷を当該画素ブロック内部で加算して読み出す。
例えば、制御部２２の制御に従い、垂直走査部２０は、図２３Ｂの時間ｔ00において、画素ブロックにおいて浮遊拡散層のリセットを行い、その後、画素１００Ｇ1～１００Ｇ4において各受光素子から電荷の読み出しを行い、読み出された電荷を浮遊拡散層に転送する。浮遊拡散層では、各受光素子から転送された電荷が加算部１４０において加算される。この場合、加算部１４０は、画素１００Ｇ1～１００Ｇ4に共通の浮遊拡散層に対応する。浮遊拡散層において、各受光素子から転送され加算された電荷が電荷量に応じた電圧に変換されて、各画素１００Ｇ1～１００Ｇ4の合計の画素信号として垂直信号線ＶＳＬに出力される。
各画素１００Ｇ1～１００Ｇ4の合計の画素信号は、水平走査部２１が有するＡＤ変換器により画素データに変換されて画素処理部１２００ｃに供給される。
次に、切替制御信号ＣＮＧにより個別モードが指示された場合の読み出し方法の例について、図２３Ｃのタイムチャートを参照しながら説明する。
例えば、制御部２２の制御に従い、垂直走査部２０は、図２３Ｃの時間ｔ10において、画素ブロックにおいて浮遊拡散層のリセットを行い、その後、画素１００Ｇ1において受光素子から電荷の読み出しを行い、読み出された電荷を浮遊拡散層に転送する。浮遊拡散層において、転送された電荷が電荷量に応じた電圧に変換されて、画素１００Ｇ1から読み出された画素信号として垂直信号線ＶＳＬに出力される。なお、加算部１４０による加算処理は、行われない。
次に、垂直走査部２０は、図２３Ｃの時間ｔ11において、画素ブロックにおいて浮遊拡散層のリセットを行い、その後、画素１００Ｇ2において受光素子から電荷の読み出しを行い、読み出された電荷を浮遊拡散層に転送する。浮遊拡散層において、転送された電荷が電荷量に応じた電圧に変換されて、画素１００Ｇ2から読み出された画素信号として垂直信号線ＶＳＬに出力される。なお、加算部１４０による加算処理は、行われない。
垂直走査部２０は、画素１００Ｇ3および１００Ｇ4からの画素信号の読み出しも同様にして、それぞれ浮遊拡散層のリセットを行った後に、受光素子からの電荷の読み出しと、読み出した電荷の浮遊拡散層への転送とを実行する（図２３Ｃの時間ｔ12およびｔ13）。なお、それぞれ、加算部１４０による加算処理は、行われない。
各画素１００Ｇ1～１００Ｇ4から読み出された各画素信号は、それぞれ水平走査部２１が有するＡＤ変換器により画素データに変換されて画素処理部１２００ｃに供給される。
図２４は、第２の実施形態に適用可能な画素処理部１２００ｃの機能を説明するための一例の機能ブロック図である。なお、図２４は、上述した図１６と対応する図であって、長蓄に係る構成を抜き出して示し、中蓄および短蓄に係る構成を省略している。
図２４に示される画素処理部１２００ｃは、上述した図１６に示した画素処理部１２００に対して、画素加算部２０２Ｌの代わりにフレームメモリ２４０Ｌが設けられている。また、処理切替スイッチ２３０Ｌは、切替制御信号ＣＮＧに従い、撮像部１０から加算モードにより画素データが出力される場合には、当該画素データの出力先をフレームメモリ２４０Ｌに切り替える。撮像部１０から出力された画素データは、フレームメモリ２４０Ｌに書き込まれる。
一方、撮像部１０から個別モードにより画素データが出力される場合には、当該画素データの出力先をリモザイク処理部２０３Ｌに切り替える。撮像部１０から出力された画素データは、リモザイク処理部２０３Ｌに供給され、フレームメモリ２０３０Ｌに書き込まれる。リモザイク処理部２０３Ｌは、フレームメモリ２０３０Ｌに書き込まれた画素データに基づきリモザイク処理を実行し、リモザイク処理された画素データにより、例えばフレームメモリ２０３０Ｌを更新する。
このように、加算モードにおける画素値の加算処理を、撮像部１０において各画素アレイ部１１０の内部で実行することで、画像処理部１２（画素処理部１２００ｃ）の構成を軽減することができる。
［３－１．第２の実施形態の変形例］
次に、第２の実施形態の変形例について説明する。第２の実施形態の変形例は、加算モードにおける画素値の加算処理を、撮像部１０において各画素アレイ部１１０の内部で実行可能とした構成において、フレーム内に、個別モードによる処理を実行する処理領域と、加算モードによる処理を実行する処理領域と、を設定可能としたものである。
図２５は、第２の実施形態の変形例に係る撮像部１０の一例の構成を示すブロック図である。図２５において、画素アレイ部１１０ａは、図４で説明した画素アレイ部１１０に対して、切替制御信号生成部（Ｖ）１５１Ｖと、切替制御信号生成部（Ｈ）１５１Ｈと、が追加されている。また、図２５では、各画素が、画素１００1、１００2、１００3および１００4の４画素を含む画素グループ毎に纏められて示されている。さらに、画素グループ毎に、ＡＮＤ回路１５０が設けられている。
なお、図２５では、画素グループ毎に垂直信号線ＶＳＬに接続されるように示されているが、実際には、各画素グループの画素１００1、１００2、１００3および１００4のそれぞれが、垂直信号線ＶＳＬに接続される。
切替制御信号生成部（Ｖ）１５１Ｖは、例えば制御部２２から供給される制御信号に基づき、加算モードおよび個別モードを指示するための切替制御信号ＣＮＧＶを、画素アレイ部１１０ａに含まれる各画素グループの列毎に生成する。また、切替制御信号生成部（Ｈ）１５１Ｈは、例えば制御部２２から供給される制御信号に基づき、加算モードおよび個別モードを指示するための切替制御信号ＣＮＧＨを、画素アレイ部１１０ａに含まれる各画素グループの行毎に生成する。
各画素グループにおいて、ＡＮＤ回路の一方の入力端に切替制御信号ＣＮＧＶが入力され、他方の入力端に切替制御信号ＣＮＧＨが入力される。ＡＮＤ回路１５０において、切替制御信号ＣＮＧＶおよびＣＮＧＨの論理積が取られる。ＡＮＤ回路１５０は、切替制御信号ＣＮＧＶおよびＣＮＧＨの論理積の結果を切替制御信号ＣＮＧとして出力し、当該ＡＮＤ回路１５０が含まれる画素グループに供給される。
画素アレイ部１１０ａをこのような構成とすることで、上述した第１の実施形態の第１および第２の変形例と同様に、画素アレイ部１１０ａに含まれる各画素グループにおける加算モードによる読み出しと、個別モードによる読み出しとを、１以上の画素グループを含む矩形領域で切り替えて指示することが可能となる。
［４．第３の実施形態］
次に、本開示に係る技術を適用した撮像装置の使用例について説明する。図２６は、上述した本開示に係る撮像装置１の使用例を示す図である。
上述した撮像装置１は、例えば、以下のように、可視光や、赤外光、紫外光、Ｘ線等の光をセンシングする様々なケースに使用することができる。
・デジタルカメラや、撮影機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置。
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置。
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置。
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置。
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置。
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置。
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置。
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置。
（４－０．移動体への応用例）
本開示に係る技術（本技術）は、上述のように様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
（本開示の撮像装置を車両に搭載する場合のより具体的な例）
本開示に係る撮像装置１の応用例として、当該撮像装置１を車両に搭載して使用する場合のより具体的な例について説明する。
（第１の搭載例）
先ず、本開示に係る撮像装置１の第１の搭載例について説明する。図２７は、本開示に係る撮像装置１を搭載可能な車両のシステム構成例を示すブロック図である。図２７において、車両システム１３２００は、車両１３０００に対して設けられるＣＡＮ(Controller Area Network)に対して接続される各ユニットを含む。
フロントセンシングカメラ(Front Sensing camera)１３００１は、車両進行方向の前方を撮像するカメラである。一般的には、画像表示用には用いられず、センシングに特化したカメラである。フロントセンシングカメラ１３００１は、例えばウィンドシールドの内側のルームミラー近傍に配置される。
フロントカメラＥＣＵ(Front camera ECU)１３００２は、フロントセンシングカメラ１３００１で撮像された画像データを受信し、画質の向上や、物体検知などの画像認識処理を含む画像信号処理を実行する。フロントカメラＥＣＵによる画像認識結果は、ＣＡＮ通信に送られる。
なお、ＥＣＵは、「Electronic Control Unit」の略である。
セルフドライビングＥＣＵ(Self-driving ECU)１３００３は、自動運転を司るＥＣＵであり、例えばＣＰＵ、ＩＳＰ、ＧＰＵ(Graphics Processing Unit)などで構成される。ＧＰＵで画像認識した結果をサーバへ送り、サーバは、ディープニューラルネットなどのディープラーニングを実行して学習した結果を当該セルフドライビングＥＣＵ１３００３に戻す。
ＧＰＳ(Global Positioning System)１３００４は、ＧＰＳによる電波を受信して現在位置を求める位置情報取得部である。ＧＰＳ１３００４で取得された位置情報は、ＣＡＮ通信に送られる。
ディスプレイ(Display)１３００５は、車体１３０００内に配置される表示装置である。ディスプレイ１３００５は、車体１３０００におけるインストルメントパネルの中央部や、ルームミラー内部などに配置される。ディスプレイ１３００５は、車両１３０００が搭載するカーナビゲーション装置と一体的に構成されていてもよい。
コミュニケーションユニット(Communication Unit)１３００６は、車車間通信、歩車間通信、路車間通信において、データの送受信を担う。コミュニケーションユニット１３００６は、サーバとの送受信も行う。コミュニケーションユニット１３００６は、種々の無線通信を適用可能である。
インテグレーテッドＥＣＵ(Integrated ECU)１３００７は、種々のＥＣＵが集められた統合ＥＣＵである。この例では、インテグレーテッドＥＣＵ１３００７は、ＡＤＡＳ ＥＣＵ１３００８と、セルフドライビングＥＣＵ１３００３と、バッテリＥＣＵ(Battery ECU)１３０１０を含んでいる。バッテリＥＣＵ１３０１０は、バッテリ（２００Ｖバッテリ１３０２３、１２Ｖバッテリ１３０２４など）を制御する。インテグレーテッドＥＣＵ１３００７は、例えば車体１３０００の中央部に配置される。
ターンシグナル(Turn Signal)１３００９は、方向指示器であって、インテグレーテッドＥＣＵ１３００７により点灯を制御される。
ＡＤＡＳ ＥＣＵ(Advanced Driver Assistance System ECU)１３００８は、ドライバ操作や画像認識結果などに応じて、車両システム１３２００のコンポーネントを制御するための制御信号を生成する。ＡＤＡＳ ＥＣＵ１３００８は、ＣＡＮ通信を通じて各部と信号の送受信を行う。
車両システム１３２００において、駆動源（エンジン、モータ）の制御は、図示しないパワートレインＥＣＵ(Power Train ECU)により行われる。パワートレインＥＣＵは、クルーズコントロールの際は、画像認識結果に応じて駆動源を制御する。
ステアリング(Steering)１３０１１は、画像認識により白線から逸脱しそうになったら、ＡＤＡＳ ＥＣＵ１３００８により生成された制御信号に応じて電子パワーステアリングモータを駆動する。
スピードセンサ(Speed sensor)１３０１２は、車両１３０００の走行速度を検出する。スピードセンサ１３０１２は、走行速度から、加速度や加速度の微分（ジャーク）を算出する。加速度情報は、物体との衝突までの推定時間の算出に用いられる。ジャークは乗員の乗り心地に影響を与える指数である。
レーダ(Radar)１３０１３は、ミリ波などの長めの波長の電磁波を用いて測距を行うセンサである。ライダー(Lidar)１３０１４は、光を用いて測距を行うセンサである。
ヘッドランプ(Head lamp)１３０１５は、ランプとランプの駆動回路とを含み、画像認識により検知した対向車のヘッドライトの有無に応じて、ハイビームとロービームの切り替えを行う。または、ヘッドランプ１３０１５は、対向車を避けるようなハイビームを照射する。
サイドビューカメラ(Side View camera)１３０１６は、サイドミラーの筐体内またはサイドミラー近傍に配置されるカメラである。サイドビューカメラ１３０１６から出力される画像データはｍ画像表示用に用いられる。サイドビューカメラ１３０１６は、例えば運転者の死角領域を撮像する。また、サイドビューカメラ１３０１６は、アラウンドビューモニタの左右領域に用いられる画像を撮像する。
サイドビューカメラＥＣＵ(Side View camera ECU)１３０１７は、サイドビューカメラ１３０１６で撮像された画像の信号処理を行う。サイドビューカメラＥＣＵ１３０１７は、ホワイトバランスなどの画質を向上させる。サイドビューカメラＥＣＵ１３０１７で信号処理された画像データは、ＣＡＮとは異なるケーブルで送られる。
フロントビューカメラ(Front View camera)１３０１８は、フロントグリル近傍に配置されるカメラである。フロントビューカメラ１３０１８で撮像された画像データは、画像表示用に用いられる。フロントビューカメラ１３０１８は、車両前方の死角領域を撮像する。また、フロントビューカメラ１３０１８は、アラウンドビューモニタの上方領域に用いられる画像を撮像する。フロントビューカメラ１３０１８は、上述したフロントセンシングカメラ１３００１とは枠割が異なる。
フロントビューカメラＥＣＵ(Front View camera ECU)１３０１９は、フロントビューカメラ１３０１８で撮像された画像の信号処理を行う。フロントビューカメラＥＣＵ１３０１９は、ホワイトバランスなどの画質を向上させる。フロントビューカメラＥＣＵ１３０１９で信号処理された画像データは、ＣＡＮとは異なるケーブルで送られる。
車体１３０００は、エンジン(ENG)１３０２０、発電機(GEN)１３０２１および駆動用モータ(MOT)１３０２２を含む。エンジン１３０２０、発電機１３０２１および駆動用モータ１３０２２は、図示されないパワートレインＥＣＵにより制御される。
２００Ｖバッテリ(200V Battery)１３０２３は、駆動用およびエアコン用の電源である。１２Ｖバッテリ(12V Battery)１３０２４は、駆動用とエアコン用以外の電源である。１２Ｖバッテリ１３０２４は、車体１３０００に搭載される各カメラや各ＥＣＵの電源を供給する。
リアビューカメラ(Rear View camera)１３０２５は、例えばテールゲートのナンバープレート近傍に配置されるカメラである。リアビューカメラ１３０２５で撮像された画像データは、画像表示用に用いられる。リアビューカメラ１３０２５は、後方の死角領域を撮像する。また、リアビューカメラ１３０２５は、アラウンドビューモニタの下方領域に用いられる画像を撮像する。リアビューカメラ１３０２５は、例えばシフトレバーを「Ｒ（後退）」に入れることで起動する。
リアビューカメラＥＣＵ(Rear View camera ECU)１３０２６は、リアビューカメラ１３０２５で撮像された画像の信号処理を行う。リアビューカメラＥＣＵ１３０２６は、ホワイトバランスなどの画質を向上させる。リアビューカメラＥＣＵ１３０２６で信号処理された画像データは、ＣＡＮとは異なるケーブルで送られる。
図２８は、車両システム１３２００のフロントセンシングカメラ１３００１に係る一例の構成を示すブロック図である。
フロントカメラモジュール(Front Camera Module)１３１００は、レンズ(Lens)１３１０１と、イメージャ(Imager)１３１０２と、フロントカメラＥＣＵ１３００２と、ＭＣＵ(Micro Controller Unit)１３１０３と、を含む。レンズ１３１０１およびイメージャ１３１０２により、上述したフロントセンシングカメラ１３００１が構成される。フロントカメラモジュール１３１００は、例えばウィンドシールドの内側のルームミラー近傍に配置される。
イメージャ１３１０２は、本開示による撮像部１０を適用することができ、画素に含まれる受光素子により前方画像を撮像し、画素データを出力する。画素のカラーフィルタ配列は、例えばベイヤ配列が用いられる。イメージャ１３１０２は、単層のチップにて形成されてもよいし、２以上のチップを積層させた積層型イメージャでもよい。イメージャ１３１０２は、画素データを例えばＲＡＷデータとして出力する。フロントカメラＥＣＵ１３００２は、例えば本開示による画像処理部１２、出力処理部１３および制御部１４を含む。すなわち、イメージャ１３１０２とフロントカメラＥＣＵ１３００２とを含んで、本開示に係る撮像装置１が構成される。
なお、イメージャ１３１０２と、フロントカメラＥＣＵ１３００２との間のデータ伝送は、シリアル伝送およびパラレル伝送の何れを適用してもよい。また、イメージャ１３１０２は、イメージャ１３１０２自身の故障を検知する機能を有すると、好ましい。
ＭＣＵ１３１０３は、ＣＡＮバス(CAN Bus)１３１０４とのインタフェースの機能を有する。ＣＡＮバス１３１０４に対して、図２７示した各部（セルフドライビングＥＣＵ１３００３、コミュニケーションユニット１３００６、ＡＤＡＳ ＥＣＵ１３００８、ステアリング１３０１１、ヘッドランプ１３０１５、エンジン１３０２０、駆動用モータ１３０２２、…）が接続される。また、ＣＡＮバス１３０４０に対して、ブレーキシステム(Brake)１３０３０も接続される。
フロントカメラモジュール１３１００は、ＣＡＮバス１３０４０から、車両１３０００の車両情報（走行速度、周囲の明るさ、など）を取得できる。例えば、フロントカメラモジュール１３１００においてフロントカメラＥＣＵ１３００２は、取得した車両情報に基づき、イメージャ１３１０２における画素の読み出しを、加算モードおよび個別モードの何れで実行するかを指示することができる。これにより、走行速度や明るさなどに応じた画像データを出力でき、また、省電力化が可能となる。
なお、上述では、本開示に係る撮像装置１がフロントセンシングカメラ１３００１に適用されるものとして説明したが、これはこの例に限定されない。例えば、本開示に係る撮像装置１を、フロントビューカメラ１３０１８やサイドビューカメラ１３０１６、リアビューカメラ１３０２５に適用してもよい。
（第２の搭載例）
次に、本開示に係る撮像装置１の第２の搭載例について説明する。図２９は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図２９に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。
駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２９の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
図３０は、撮像部１２０３１の設置位置の例を示す図である。
図３０では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図３０には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部１２０３１に適用され得る。具体的には、撮像部１２０３１として、本開示の第１および第２の実施形態、ならびに、それらの各変形例の何れかに係る撮像装置１を、撮像部１２０３１に適用できる。
この場合、撮像部１２０３１は、通信ネットワーク１２００１から車両の車両情報（走行速度、周囲の明るさ、など）を取得できる。例えば、撮像部１２０３１は、取得した車両情報に基づき、撮像部１２０３１が有する画素アレイにおける画素の読み出しを、加算モードおよび個別モードの何れで実行するかを指示することができる。これにより、走行速度や明るさなどに応じた画像データを出力でき、また、省電力化が可能となる。
（４－１．内視鏡手術システムへの応用例）
本開示に係る撮像装置１のさらなる応用例として、当該撮像装置１を内視鏡手術システムに適用する場合のより具体的な例について説明する。
図３１は、本開示に係る技術（本技術）が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。
図３１では、術者（医師）１１１３１が、内視鏡手術システム１１０００を用いて、患者ベッド１１１３３上の患者１１１３２に手術を行っている様子が図示されている。図示するように、内視鏡手術システム１１０００は、内視鏡１１１００と、気腹チューブ１１１１１やエネルギー処置具１１１１２等の、その他の術具１１１１０と、内視鏡１１１００を支持する支持アーム装置１１１２０と、内視鏡下手術のための各種の装置が搭載されたカート１１２００と、から構成される。
内視鏡１１１００は、先端から所定の長さの領域が患者１１１３２の体腔内に挿入される鏡筒１１１０１と、鏡筒１１１０１の基端に接続されるカメラヘッド１１１０２と、から構成される。図示する例では、硬性の鏡筒１１１０１を有するいわゆる硬性鏡として構成される内視鏡１１１００を図示しているが、内視鏡１１１００は、軟性の鏡筒を有するいわゆる軟性鏡として構成されてもよい。
鏡筒１１１０１の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡１１１００には光源装置１１２０３が接続されており、当該光源装置１１２０３によって生成された光が、鏡筒１１１０１の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者１１１３２の体腔内の観察対象に向かって照射される。なお、内視鏡１１１００は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
カメラヘッド１１１０２の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Ｃａｍｅｒａ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）１１２０１に送信される。
ＣＣＵ１１２０１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等によって構成され、内視鏡１１１００及び表示装置１１２０２の動作を統括的に制御する。さらに、ＣＣＵ１１２０１は、カメラヘッド１１１０２から画像信号を受け取り、その画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。
表示装置１１２０２は、ＣＣＵ１１２０１からの制御により、当該ＣＣＵ１１２０１によって画像処理が施された画像信号に基づく画像を表示する。
光源装置１１２０３は、例えばＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）等の光源から構成され、術部等を撮影する際の照射光を内視鏡１１１００に供給する。
入力装置１１２０４は、内視鏡手術システム１１０００に対する入力インタフェースである。ユーザは、入力装置１１２０４を介して、内視鏡手術システム１１０００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、内視鏡１１１００による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示等を入力する。
処置具制御装置１１２０５は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具１１１１２の駆動を制御する。気腹装置１１２０６は、内視鏡１１１００による視野の確保及び術者の作業空間の確保の目的で、患者１１１３２の体腔を膨らめるために、気腹チューブ１１１１１を介して当該体腔内にガスを送り込む。レコーダ１１２０７は、手術に関する各種の情報を記録可能な装置である。プリンタ１１２０８は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
なお、内視鏡１１１００に術部を撮影する際の照射光を供給する光源装置１１２０３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成することができる。ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置１１２０３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
また、光源装置１１２０３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
また、光源装置１１２０３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Ｎａｒｒｏｗ Ｂａｎｄ Ｉｍａｇｉｎｇ）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察すること（自家蛍光観察）、又はインドシアニングリーン（ＩＣＧ）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得ること等を行うことができる。光源装置１１２０３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。
図３２は、図３１に示すカメラヘッド１１１０２及びＣＣＵ１１２０１の機能構成の一例を示すブロック図である。
カメラヘッド１１１０２は、レンズユニット１１４０１と、撮像部１１４０２と、駆動部１１４０３と、通信部１１４０４と、カメラヘッド制御部１１４０５と、を有する。ＣＣＵ１１２０１は、通信部１１４１１と、画像処理部１１４１２と、制御部１１４１３と、を有する。カメラヘッド１１１０２とＣＣＵ１１２０１とは、伝送ケーブル１１４００によって互いに通信可能に接続されている。
レンズユニット１１４０１は、鏡筒１１１０１との接続部に設けられる光学系である。鏡筒１１１０１の先端から取り込まれた観察光は、カメラヘッド１１１０２まで導光され、当該レンズユニット１１４０１に入射する。レンズユニット１１４０１は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。
撮像部１１４０２は、撮像素子で構成される。撮像部１１４０２を構成する撮像素子は、１つ（いわゆる単板式）であってもよいし、複数（いわゆる多板式）であってもよい。撮像部１１４０２が多板式で構成される場合には、例えば各撮像素子によってＲＧＢそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、撮像部１１４０２は、３Ｄ（Ｄｉｍｅｎｓｉｏｎａｌ）表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成されてもよい。３Ｄ表示が行われることにより、術者１１１３１は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部１１４０２が多板式で構成される場合には、各撮像素子に対応して、レンズユニット１１４０１も複数系統設けられ得る。
また、撮像部１１４０２は、必ずしもカメラヘッド１１１０２に設けられなくてもよい。例えば、撮像部１１４０２は、鏡筒１１１０１の内部に、対物レンズの直後に設けられてもよい。
駆動部１１４０３は、アクチュエータによって構成され、カメラヘッド制御部１１４０５からの制御により、レンズユニット１１４０１のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部１１４０２による撮像画像の倍率及び焦点が適宜調整され得る。
通信部１１４０４は、ＣＣＵ１１２０１との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４０４は、撮像部１１４０２から得た画像信号をＲＡＷデータとして伝送ケーブル１１４００を介してＣＣＵ１１２０１に送信する。
また、通信部１１４０４は、ＣＣＵ１１２０１から、カメラヘッド１１１０２の駆動を制御するための制御信号を受信し、カメラヘッド制御部１１４０５に供給する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。
なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、ユーザによって適宜指定されてもよいし、取得された画像信号に基づいてＣＣＵ１１２０１の制御部１１４１３によって自動的に設定されてもよい。後者の場合には、いわゆるＡＥ（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）機能、ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）機能及びＡＷＢ（Ａｕｔｏ Ｗｈｉｔｅ Ｂａｌａｎｃｅ）機能が内視鏡１１１００に搭載されていることになる。
カメラヘッド制御部１１４０５は、通信部１１４０４を介して受信したＣＣＵ１１２０１からの制御信号に基づいて、カメラヘッド１１１０２の駆動を制御する。
通信部１１４１１は、カメラヘッド１１１０２との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４１１は、カメラヘッド１１１０２から、伝送ケーブル１１４００を介して送信される画像信号を受信する。
また、通信部１１４１１は、カメラヘッド１１１０２に対して、カメラヘッド１１１０２の駆動を制御するための制御信号を送信する。画像信号や制御信号は、電気通信や光通信等によって送信することができる。
画像処理部１１４１２は、カメラヘッド１１１０２から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。
制御部１１４１３は、内視鏡１１１００による術部等の撮像、及び、術部等の撮像により得られる撮像画像の表示に関する各種の制御を行う。例えば、制御部１１４１３は、カメラヘッド１１１０２の駆動を制御するための制御信号を生成する。
また、制御部１１４１３は、画像処理部１１４１２によって画像処理が施された画像信号に基づいて、術部等が映った撮像画像を表示装置１１２０２に表示させる。この際、制御部１１４１３は、各種の画像認識技術を用いて撮像画像内における各種の物体を認識してもよい。例えば、制御部１１４１３は、撮像画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具１１１１２の使用時のミスト等を認識することができる。制御部１１４１３は、表示装置１１２０２に撮像画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させてもよい。手術支援情報が重畳表示され、術者１１１３１に提示されることにより、術者１１１３１の負担を軽減することや、術者１１１３１が確実に手術を進めることが可能になる。
カメラヘッド１１１０２及びＣＣＵ１１２０１を接続する伝送ケーブル１１４００は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
ここで、図示する例では、伝送ケーブル１１４００を用いて有線で通信が行われていたが、カメラヘッド１１１０２とＣＣＵ１１２０１との間の通信は無線で行われてもよい。
以上、本開示に係る技術が適用され得る内視鏡手術システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、内視鏡１１１００や、カメラヘッド１１１０２の撮像部１１４０２に適用され得る。具体的には、上述した撮像素子を撮像部１０１１２に適用することができる。
本開示に係る撮像素子が適用された撮像部１０１１２は、撮像部１２０３１が有する画素アレイにおける画素の読み出しを、高速読み出しが可能でＳＮＲに優れた加算モードと、解像度の点で優れた個別モードと、の何れで実行するかを指示することができる。これにより、例えば術者１１１３１は、術部および術部の状況に応じた撮像画像を得ることができる。これにより、例えば術者１１１３１は、より確実に手術を進めることが可能となり、また、省電力化が可能となる。
なお、ここでは、一例として内視鏡手術システムについて説明したが、本開示に係る技術は、その他、例えば、顕微鏡手術システム等に適用されてもよい。
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
なお、本技術は以下のような構成も取ることができる。
（１）
それぞれＮ個×Ｎ個（Ｎは２以上の整数）の画素を含む複数の画素グループを有する画素アレイを含み、各画素から読み出した画素信号を出力する撮像部と、
前記撮像部による前記画素それぞれから前記画素信号を読み出す読出モードを切り替える切替部と、
を備え、
前記切替部は、
前記読出モードを、
前記画素グループに含まれる前記Ｎ個×Ｎ個の各画素から読み出した前記画素信号それぞれを加算して１つの画素信号とする加算モードと、
前記画素グループに含まれる前記Ｎ個×Ｎ個の各画素から読み出した前記画素信号それぞれを個別に出力する個別モードと、
で切り替える、
撮像装置。
（２）
当該撮像装置は、車両に搭載され、
前記切替部は、
前記車両から取得される車両情報に基づき前記読出モードを切り替える、
前記（１）に記載の撮像装置。
（３）
前記切替部は、
前記車両情報として取得される前記車両の速度に応じて前記読出モードを切り替える、
前記（２）に記載の撮像装置。
（４）
前記切替部は、
前記車両情報として取得される前記車両の周辺の明るさに応じて前記読出モードを切り替える、
前記（２）または（３）に記載の撮像装置。
（５）
前記切替部は、
前記車両情報として取得される前記車両の速度が所定以上、且つ、前記車両情報として取得される前記車両の周辺の明るさが所定以上の場合に、前記読出モードを前記個別モードに切り替える、
前記（２）乃至（４）の何れかに記載の撮像装置。
（６）
前記切替部は、
前記画素信号によるフレーム画像の領域に応じて前記読出モードを切り替える、
前記（１）乃至（５）の何れかに記載の撮像装置。
（７）
前記切替部は、
前記読出モードを、前記フレーム画像の中央部の所定領域で前記個別モードとし、該フレーム画像の該所定領域以外で前記加算モードとする、
前記（６）に記載の撮像装置。
（８）
前記切替部は、
前記画素信号によるフレーム画像に含まれるオブジェクトに基づき前記読出モードを切り替える、
前記（１）乃至（７）の何れかに記載の撮像装置。
（９）
前記切替部は、
前記画像に特定のオブジェクトが含まれる場合に、該画像の該特定のオブジェクトが含まれる特定領域と、該特定領域以外の領域と、で前記読出モードを切り替える、
前記（８）に記載の撮像装置。
（１０）
当該撮像装置は、車両に搭載されて用いられ、
前記切替部は、
信号機、交通標識、対向車および歩行者のうち少なくとも１つを前記特定のオブジェクトとして、該特定のオブジェクトが含まれる前記特定領域の前記読出モードを前記個別モードに切り替える、
前記（９）に記載の撮像装置。
（１１）
前記切替部は、
前記画素アレイに含まれる前記画素の読み出しを制御することで、前記読出モードを切り替える、
前記（１）乃至（１０）の何れかに記載の撮像装置。
（１２）
前記切替部は、
前記撮像部により出力された前記画素信号に対する画像処理を制御することで、前記読出モードを切り替える、
前記（１）乃至（１０）の何れかに記載の撮像装置。
（１３）
第１の露出時間で前記画素が露出された第１の画素信号による第１の画像と、該露出に続けて第２の露出時間で該画素が露出された第２の画素信号による第２の画像と、を合成する合成部をさらに備える、
前記（１）乃至（１２）の何れかに記載の撮像装置。
（１４）
前記画素アレイは、
前記複数の画素グループに、
第１の光学フィルタを透過した光を受光する第１の画素グループと、
第２の光学フィルタを透過した光を受光する第２の画素グループと、
第３の光学フィルタを透過した光を受光する第３の画素グループと、
を含み、
前記第１の画素グループと、前記第２の画素グループと、前記第３の画素グループと、が該第１の画素グループと該第２の画素グループと該第３の画素グループとのうち互いに異なる画素グループが隣接するように配置される、
前記（１）乃至（１３）の何れかに記載の撮像装置。
（１５）
前記読出モードが前記個別モードである場合に、前記第１の画素グループ、前記第２の画素グループおよび前記第３の画素グループそれぞれに含まれる各画素を、それぞれの画素の位置に応じた特性の画素に変換するリモザイク処理を実行するリモザイク処理部をさらに備える、
前記（１４）に記載の撮像装置。
１ 撮像装置
１０ 撮像部
１２ 画像処理部
１３ 出力処理部
１４，２２ 制御部
１５ 車両情報取得部
１１０，１１０ａ 画素アレイ部
２０１Ｌ，２０１Ｍ，２０１Ｓ 処理切替スイッチ
２０２Ｌ，２０２Ｍ，２０２Ｓ 画素加算部
２０３Ｌ，２０３Ｍ，２０３Ｓ リモザイク処理部
２０４Ｌ，２０４Ｍ，２０４Ｓ セレクタ
２２０ 検出部
１２００，１２００ａ，１２００ｂ 画素処理部
１２０１ ＨＤＲ合成処理部

Claims (13)

  1. 車両に搭載される撮像装置であって、
    前記撮像装置は、
    それぞれＮ個×Ｎ個（Ｎは２以上の整数）の画素を含む複数の画素グループを有する画素アレイを含み、各画素から読み出した画素信号を出力する撮像部と、
    前記撮像部による前記画素それぞれから前記画素信号を読み出す読出モードを切り替える切替部と、
    を備え、
    前記切替部は、
    前記車両から車両情報として取得される前記車両の周辺の明るさに応じて、前記読出モードを、
    前記画素グループに含まれる前記Ｎ個×Ｎ個の各画素から読み出した前記画素信号それぞれを加算して１つの画素信号とする加算モードと、
    前記画素グループに含まれる前記Ｎ個×Ｎ個の各画素から読み出した前記画素信号それぞれを個別に出力する個別モードと、
    で切り替える、
    撮像装置。
  2. 前記切替部は、
    前記車両情報として取得される前記車両の速度に応じて前記読出モードを切り替える、
    請求項１に記載の撮像装置。
  3. 前記切替部は、
    前記車両情報として取得される前記車両の速度が所定以上、且つ、前記車両情報として取得される前記車両の周辺の明るさが所定以上の場合に、前記読出モードを前記個別モードに切り替える、
    請求項１に記載の撮像装置。
  4. 前記切替部は、
    前記画素信号によるフレーム画像の領域に応じて前記読出モードを切り替える、
    請求項１に記載の撮像装置。
  5. 前記切替部は、
    前記読出モードを、前記フレーム画像の中央部の所定領域で前記個別モードとし、該フレーム画像の該所定領域以外で前記加算モードとする、
    請求項４に記載の撮像装置。
  6. 前記切替部は、
    前記画素信号によるフレーム画像に含まれるオブジェクトに基づき前記読出モードを切り替える、
    請求項１に記載の撮像装置。
  7. 前記切替部は、
    前記フレーム画像に特定のオブジェクトが含まれる場合に、該フレーム画像の該特定のオブジェクトが含まれる特定領域と、該特定領域以外の領域と、で前記読出モードを切り替える、
    請求項６に記載の撮像装置。
  8. 前記切替部は、
    信号機、交通標識、対向車および歩行者のうち少なくとも１つを前記特定のオブジェクトとして、該特定のオブジェクトが含まれる前記特定領域の前記読出モードを前記個別モードに切り替える、
    請求項７に記載の撮像装置。
  9. 前記切替部は、
    前記画素アレイに含まれる前記画素の読み出しを制御することで、前記読出モードを切り替える、
    請求項１に記載の撮像装置。
  10. 前記切替部は、
    前記撮像部により出力された前記画素信号に対する画像処理を制御することで、前記読出モードを切り替える、
    請求項１に記載の撮像装置。
  11. 第１の露出時間で前記画素が露出された第１の画素信号による第１の画像と、該露出に続けて第２の露出時間で該画素が露出された第２の画素信号による第２の画像と、を合成する合成部をさらに備える、
    請求項１に記載の撮像装置。
  12. 前記画素アレイは、
    前記複数の画素グループに、
    第１の光学フィルタを透過した光を受光する第１の画素グループと、
    第２の光学フィルタを透過した光を受光する第２の画素グループと、
    第３の光学フィルタを透過した光を受光する第３の画素グループと、
    を含み、
    前記第１の画素グループと、前記第２の画素グループと、前記第３の画素グループと、が該第１の画素グループと該第２の画素グループと該第３の画素グループとのうち互いに異なる画素グループが隣接するように配置される、
    請求項１に記載の撮像装置。
  13. 前記読出モードが前記個別モードである場合に、前記第１の画素グループ、前記第２の画素グループおよび前記第３の画素グループそれぞれに含まれる各画素を、それぞれの画素の位置に応じた特性の画素に変換するリモザイク処理を実行するリモザイク処理部をさらに備える、
    請求項１２に記載の撮像装置。
JP2021548852A 2019-09-24 2020-09-16 撮像装置 Active JP7600129B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019173428 2019-09-24
JP2019173428 2019-09-24
PCT/JP2020/035160 WO2021060120A1 (ja) 2019-09-24 2020-09-16 撮像装置

Publications (2)

Publication Number Publication Date
JPWO2021060120A1 JPWO2021060120A1 (ja) 2021-04-01
JP7600129B2 true JP7600129B2 (ja) 2024-12-16

Family

ID=75166649

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021548852A Active JP7600129B2 (ja) 2019-09-24 2020-09-16 撮像装置

Country Status (7)

Country Link
US (1) US11936979B2 (ja)
EP (1) EP4035942A4 (ja)
JP (1) JP7600129B2 (ja)
KR (1) KR20220068990A (ja)
CN (1) CN114208154B (ja)
TW (1) TW202130163A (ja)
WO (1) WO2021060120A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10471611B2 (en) * 2016-01-15 2019-11-12 Irobot Corporation Autonomous monitoring robot systems
DE102020123504A1 (de) * 2020-09-09 2022-03-10 Carl Zeiss Microscopy Gmbh Mikroskopiesystem und verfahren zum erzeugen eines hdr-bildes
DE102020123505A1 (de) 2020-09-09 2022-03-10 Carl Zeiss Microscopy Gmbh Mikroskopiesystem und verfahren zum erzeugen eines übersichtsbildes
CN114666469B (zh) * 2020-12-24 2023-11-14 富泰华工业（深圳）有限公司 图像处理装置、方法及具有该图像处理装置的镜头模组
EP4391575A4 (en) * 2021-08-18 2024-07-17 Sony Semiconductor Solutions Corporation IMAGE CAPTURE DEVICE, SENSOR AND IMAGE CAPTURE CONTROL DEVICE
US12279048B2 (en) * 2021-11-08 2025-04-15 Samsung Electronics Co., Ltd. Enhancing remosaiced images
JP2023077932A (ja) * 2021-11-25 2023-06-06 キヤノン株式会社 電子機器及びその制御方法
EP4219237A1 (en) * 2022-01-26 2023-08-02 Ficosa Adas, S.L.U. Rear-view mirror system
US12527102B2 (en) * 2022-08-08 2026-01-13 Samsung Electronics Co., Ltd. Image sensor
WO2024168495A1 (zh) * 2023-02-13 2024-08-22 北京小米移动软件有限公司 拍摄装置以及固体拍摄元件
JP2024135404A (ja) * 2023-03-22 2024-10-04 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US12513414B2 (en) 2023-11-13 2025-12-30 Htc Corporation Image adjusting method, electronic device, and non-transitory computer readable storage medium

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004146904A (ja) 2002-10-22 2004-05-20 Omron Corp 車載用撮像装置及びそれを用いた車両運転支援装置
JP2012253462A (ja) 2011-05-31 2012-12-20 Canon Inc 撮像装置およびその制御方法
JP2013066146A (ja) 2011-08-31 2013-04-11 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2015061260A (ja) 2013-09-20 2015-03-30 株式会社ニコン 撮像装置および撮像処理プログラム
JP2015089033A (ja) 2013-10-31 2015-05-07 リコーイメージング株式会社 撮像装置および撮像方法
JP2015154153A (ja) 2014-02-12 2015-08-24 リコーイメージング株式会社 撮像装置を備えたカメラ
JP2016052041A (ja) 2014-09-01 2016-04-11 ソニー株式会社 固体撮像素子及びその信号処理方法、並びに電子機器
WO2018079071A1 (ja) 2016-10-31 2018-05-03 株式会社日立国際電気 撮像装置
JP2018117220A (ja) 2017-01-17 2018-07-26 ソニーセミコンダクタソリューションズ株式会社 撮像装置、および、撮像装置の制御方法
JP2019110471A (ja) 2017-12-19 2019-07-04 キヤノン株式会社 撮像装置

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4984915B2 (ja) * 2006-03-27 2012-07-25 セイコーエプソン株式会社 撮像装置、撮像システム及び撮像方法
JP5014168B2 (ja) * 2008-01-15 2012-08-29 キヤノン株式会社 撮像システム及び撮像システムの制御方法
JP4661912B2 (ja) * 2008-07-18 2011-03-30 ソニー株式会社 固体撮像素子およびカメラシステム
TWI422020B (zh) * 2008-12-08 2014-01-01 Sony Corp 固態成像裝置
US8083148B2 (en) * 2008-12-16 2011-12-27 Hand Held Products, Inc. Indicia reading terminal including frame processing
JP5319347B2 (ja) * 2009-03-17 2013-10-16 キヤノン株式会社 撮像装置及びその制御方法
JP5629568B2 (ja) * 2010-12-16 2014-11-19 富士フイルム株式会社 撮像装置及びその画素加算方法
JP2013055499A (ja) * 2011-09-02 2013-03-21 Sony Corp 固体撮像素子およびカメラシステム
JP2013055500A (ja) * 2011-09-02 2013-03-21 Sony Corp 固体撮像素子およびカメラシステム
US9699429B2 (en) * 2012-03-27 2017-07-04 Sony Corporation Image processing apparatus, imaging device, image processing method, and program for reducing noise or false colors in an image
US9160912B2 (en) * 2012-06-08 2015-10-13 Apple Inc. System and method for automatic image capture control in digital imaging
JP2014150444A (ja) * 2013-02-01 2014-08-21 Toshiba Corp 固体撮像装置
JP6346479B2 (ja) * 2013-05-16 2018-06-20 キヤノン株式会社 撮像装置、撮像装置の制御方法及びプログラム
WO2015045785A1 (ja) * 2013-09-30 2015-04-02 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
CN106537892B (zh) * 2014-05-29 2021-01-05 株式会社尼康 摄像装置及车辆
KR101629825B1 (ko) * 2014-12-04 2016-06-22 현대모비스 주식회사 Ｈｄｒ 기능을 이용한 차량용 디스플레이 장치 및 방법
JP6748454B2 (ja) * 2016-03-10 2020-09-02 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
EP3229172A1 (en) * 2016-04-04 2017-10-11 Conti Temic microelectronic GmbH Driver assistance system with variable image resolution
CN109076163B (zh) * 2016-04-27 2021-08-31 索尼公司 成像控制装置、成像控制方法以及成像装置
DE102016213493A1 (de) * 2016-07-22 2018-01-25 Conti Temic Microelectronic Gmbh Kameravorrichtung zur Aufnahme eines Umgebungsbereichs eines eigenen Fahrzeugs sowie Verfahren zur Bereitstellung einer Fahrerassistenzfunktion
CN110226325B (zh) * 2017-02-01 2022-04-15 索尼半导体解决方案公司 摄像系统和摄像装置
JP6889571B2 (ja) * 2017-02-24 2021-06-18 キヤノン株式会社 撮像装置および撮像システム
EP4027640B1 (en) * 2017-04-25 2024-08-14 Sony Group Corporation Solid state image sensor and electronic equipment
WO2018207210A1 (en) * 2017-05-10 2018-11-15 Lightmetrics Technologies Pvt. Ltd. Vehicle monitoring system and method using a connected camera architecture
US10848670B2 (en) * 2017-06-19 2020-11-24 Amazon Technologies, Inc. Camera systems adapted for installation in a vehicle
JP7171199B2 (ja) * 2017-08-03 2022-11-15 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、及び電子機器
CN109934952B (zh) * 2017-12-18 2021-05-11 华创车电技术中心股份有限公司 车载行车影像图像数据建立系统
US11820289B2 (en) * 2018-07-31 2023-11-21 Sony Semiconductor Solutions Corporation Solid-state imaging device and electronic device
EP3998767B1 (en) * 2019-07-12 2023-10-11 Koito Manufacturing Co., Ltd. Imaging device, lighting device for same, vehicle, and lamp fitting for vehicle

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004146904A (ja) 2002-10-22 2004-05-20 Omron Corp 車載用撮像装置及びそれを用いた車両運転支援装置
JP2012253462A (ja) 2011-05-31 2012-12-20 Canon Inc 撮像装置およびその制御方法
JP2013066146A (ja) 2011-08-31 2013-04-11 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2015061260A (ja) 2013-09-20 2015-03-30 株式会社ニコン 撮像装置および撮像処理プログラム
JP2015089033A (ja) 2013-10-31 2015-05-07 リコーイメージング株式会社 撮像装置および撮像方法
JP2015154153A (ja) 2014-02-12 2015-08-24 リコーイメージング株式会社 撮像装置を備えたカメラ
JP2016052041A (ja) 2014-09-01 2016-04-11 ソニー株式会社 固体撮像素子及びその信号処理方法、並びに電子機器
WO2018079071A1 (ja) 2016-10-31 2018-05-03 株式会社日立国際電気 撮像装置
JP2018117220A (ja) 2017-01-17 2018-07-26 ソニーセミコンダクタソリューションズ株式会社 撮像装置、および、撮像装置の制御方法
JP2019110471A (ja) 2017-12-19 2019-07-04 キヤノン株式会社 撮像装置

Also Published As

Publication number Publication date
EP4035942A4 (en) 2022-11-30
KR20220068990A (ko) 2022-05-26
WO2021060120A1 (ja) 2021-04-01
CN114208154B (zh) 2026-03-20
JPWO2021060120A1 (ja) 2021-04-01
TW202130163A (zh) 2021-08-01
US20220345606A1 (en) 2022-10-27
US11936979B2 (en) 2024-03-19
CN114208154A (zh) 2022-03-18
EP4035942A1 (en) 2022-08-03

Similar Documents

Publication Publication Date Title
JP7600129B2 (ja) 撮像装置
JP7608335B2 (ja) 固体撮像装置、及び電子機器
JP7284171B2 (ja) 固体撮像装置
JP7520804B2 (ja) 信号処理方法および撮像装置
JP7600103B2 (ja) 撮像素子および電子機器
US11606518B2 (en) Imaging apparatus and electronic equipment
JP7521023B2 (ja) 画像処理装置、画像処理方法、および撮像装置
US11889206B2 (en) Solid-state imaging device and electronic equipment
TW202316649A (zh) 攝像裝置
JP7566761B2 (ja) 撮像装置
KR20210133968A (ko) 촬상 장치
US11778345B2 (en) Information processing device, information processing method, and information processing program
JP7034925B2 (ja) 固体撮像装置および撮像方法
US20230343802A1 (en) Solid-state imaging device and electronic device
WO2021100338A1 (ja) 固体撮像素子
WO2023162496A1 (ja) 撮像装置
TW202138848A (zh) 攝像裝置及電子機器
WO2023080011A1 (ja) 撮像装置及び電子機器
JP2023152522A (ja) 光検出装置
WO2023132137A1 (ja) 撮像素子および電子機器
JP2023023141A (ja) 撮像素子及び電子機器

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230809

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240730

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240924

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20241105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20241204

R150 Certificate of patent or registration of utility model

Ref document number: 7600129

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150