JPWO2018079372A1 - 撮像装置、撮像システム、移動体、及び撮像方法 - Google Patents

撮像装置、撮像システム、移動体、及び撮像方法 Download PDF

Info

Publication number
JPWO2018079372A1
JPWO2018079372A1 JP2018547598A JP2018547598A JPWO2018079372A1 JP WO2018079372 A1 JPWO2018079372 A1 JP WO2018079372A1 JP 2018547598 A JP2018547598 A JP 2018547598A JP 2018547598 A JP2018547598 A JP 2018547598A JP WO2018079372 A1 JPWO2018079372 A1 JP WO2018079372A1
Authority
JP
Japan
Prior art keywords
infrared ray
image
infrared
light source
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018547598A
Other languages
English (en)
Inventor
圭俊 中田
圭俊 中田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Publication of JPWO2018079372A1 publication Critical patent/JPWO2018079372A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G03B15/03—Combinations of cameras with lighting apparatus; Flash units
    • G03B15/05—Combinations of cameras with electronic flash apparatus; Electronic flash units
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/103—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using camera systems provided with artificial illumination device, e.g. IR light source

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

撮像装置（３）は、撮像素子（７）と、制御部（９）と、を備える。制御部（９）は、赤外光線が所定値の光量より高いときに撮像素子７が生成した赤外光線画像を取得する。制御部（９）は、赤外光線が所定値の光量より低いときに撮像素子（７）が生成した通常画像を取得する。制御部（９）は、赤外光線画像と通常画像とに基づいて合成画像を生成する。これにより、暗い環境でも、複数の赤外光源を備えることなく、輝度のコントラストが高く、かつ色を含む画像を生成することができる。

Description

関連出願の相互参照
本出願は、２０１６年１０月２８日出願の日本国特許出願２０１６−２１２３２５の優先権を主張するものであり、当該出願の開示全体を、ここに参照のために取り込む。
本開示は、撮像装置、撮像システム、移動体、及び撮像方法に関する。
従来、夜間等の暗い環境において撮像する場合、撮像画像において被写体をよりよく識別するために、赤外光線を被写体に対して照射して被写体を撮像することが知られている。しかし、赤外光線を照射した被写体を撮像すると、明るい環境であれば人間の目に見える該被写体の色を撮像画像において十分に再現することができない。
そこで、可視光が少ない環境で被写体の色を再現するための撮像装置が、例えば、特許文献１に記載されている。特許文献１に記載の撮像装置は、赤、青、緑の各色にそれぞれ対応付けられた異なる波長を有する赤外光を順次、点灯する。該撮像装置は、それぞれの赤外光が点灯されている間に撮像された画像に基づいて合成画像を生成する。
特開２０１５−１４９５８５号公報
しかしながら、上述の従来技術においては、異なる波長を有する赤外光を点灯させるための複数の赤外光源を備えることが必要となる。このため、撮像装置の大型化するという課題がある。
本開示は、簡便な構成で、暗い環境でも輝度のコントラストが高く、かつ色を含む画像を生成することができる撮像システム、移動体、及び撮像方法を提供する。
本開示の撮像装置は、撮像素子と、制御部と、を備える。前記制御部は、赤外光線が所定値の光量より高いときに前記撮像素子が生成した赤外光線画像を取得する。前記制御部は、前記赤外光線が所定値の光量より低いときに前記撮像素子が生成した通常画像を取得する。前記制御部は、前記赤外光線画像と前記通常画像とに基づいて合成画像を生成する。
本開示の撮像システムは、赤外光源と、撮像装置とを備える。前記赤外光源は、赤外光線を出射する。前記撮像装置は、撮像素子と、制御部とを含む。前記制御部は、前記赤外光線が所定値の光量より高いときに前記撮像素子が生成した赤外光線画像を取得する。前記制御部は、前記赤外光線が所定値の光量より低いときに前記撮像素子が生成した通常画像を取得する。前記制御部は、前記赤外光線画像と前記通常画像とに基づいて合成画像を生成する。
本開示の移動体は、撮像システムを備える。前記撮像システムは、赤外光源と、撮像装置とを含む。前記赤外光源は、赤外光線を出射する。前記撮像装置は、撮像素子と、制御部とを有する。前記制御部は、前記赤外光線が所定値の光量より高いときに前記撮像素子が生成した赤外光線画像を取得する。前記制御部は、前記赤外光線が所定値の光量より低いに前記撮像素子が生成した通常画像を取得する。前記制御部は、前記赤外光線画像と前記通常画像とに基づいて合成画像を生成する。
本開示の撮像方法は、撮像装置の撮像方法である。前記撮像装置が、赤外光線が所定値の光量より高いときに撮像素子が撮像した赤外光線画像を取得する。前記撮像装置が、前記赤外光線が所定値の光量より低いときに前記撮像素子が撮像した通常画像を取得する。前記撮像装置が、前記赤外光線画像と前記通常画像とに基づいて合成画像を生成する。
本開示の一実施形態によれば、簡便な構成で、暗い環境でも輝度のコントラストが高く、かつ色を含む画像を生成することが可能となる。
本実施形態に係る撮像システムを搭載した移動体の例を示す図である。 本実施形態に係る撮像システムの概略構成を示す機能ブロック図である。 本実施形態に係る赤外光源、白色光源、及び撮像装置の動作のタイミングの一例を示すタイミングチャートである。 本実施形態に係る撮像装置の処理フローを示すフロー図である。 本実施形態に係るゲイン補正の詳細な処理フローを示すフロー図である。 他の例に係る撮像システムの赤外光源、白色光源、及び撮像装置の動作のタイミングの他の例を示すタイミングチャートである。
以下、本開示の本実施形態について、図面を参照して説明する。
図１に示すように、本実施形態に係る撮像装置３を含む撮像システム１は、移動体２に取り付けることができる。撮像装置３は、移動体２からみて所定の方向を撮像するように配置される。赤外光源４及び白色光源５は、撮像装置３の撮像範囲にそれぞれ赤外光及び白色光を照射可能に取り付けられる。
本開示における「移動体」は、車両、船舶、航空機を含む。本開示における「車両」は、自動車、鉄道車両、産業車両、及び生活車両を含むが、これに限られない。例えば車両は、滑走路を走行する飛行機を含んでよい。自動車は、乗用車、トラック、バス、二輪車、及びトロリーバス等を含むがこれに限られず、道路上を走行する他の車両を含んでよい。軌道車両は、機関車、貨車、客車、路面電車、案内軌道鉄道、ロープウエー、ケーブルカー、リニアモーターカー、及びモノレールを含むがこれに限られない。軌道車両は、軌道に沿って進む他の車両を含んでよい。産業車両は、農業及び建設向けの産業車両を含む。産業車両は、フォークリフト、及びゴルフカートを含むがこれに限られない。農業向けの産業車両は、トラクター、耕耘機、移植機、バインダー、コンバイン、及び芝刈り機を含むが、これに限られない。建設向けの産業車両は、ブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、及びロードローラを含むが、これに限られない。生活車両は、自転車、車いす、乳母車、手押し車、及び電動立ち乗り二輪車を含むが、これに限られない。車両の動力機関は、ディーゼル機関、ガソリン機関、及び水素機関を含む内燃機関、並びにモーターを含む電気機関を含むが、これに限られない。車両は、人力で走行するものを含む。なお、車両の分類は、上述に限られない。例えば、自動車は、道路を走行可能な産業車両を含んでよく、複数の分類に同じ車両が含まれてよい。
図２に示すように、撮像システム１は、撮像装置３と、赤外光源４と、白色光源５と、を備える。
撮像装置３は、光学系６と、撮像素子７と、通信部８と、制御部９と、メモリ１０とを有する。
光学系６は、所望の光学特性に合わせてレンズ、絞り等少なくとも１つの光学素子を有する。光学系６は焦点距離及び焦点深度等の所望の光学特性を満たすように設計されている。光学系６は、被写体の像を撮像素子７に結像させる。
撮像素子７は、該撮像素子７の受光面が光学系６の光軸に垂直となるように配置される。また、撮像素子７は、光学系６の光軸と受光面の略中心で交差するように配置される。
撮像素子７は、光学系６を介して受光面上に結像される被写体の像を撮像して撮像画像に対応する画像信号を出力する。撮像素子７としては、例えばＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等を用いることができる。
撮像素子７は、少なくとも可視光及び近赤外光に対して感度を有し、受光面に受光した可視光及び近赤外光を画像信号に変換する。撮像素子７が近赤外光の波長より長い波長の赤外光に対して感度を有する場合、撮像素子７の被写体側に近赤外光の波長より長い波長の赤外光を吸収又は反射するフィルタが配置されてもよい。
通信部８は、制御部９によって出力される制御信号を赤外光源４に送信する。制御信号は、赤外光線が所定値の光量より高くなるように、又は低くなるように赤外光源４を制御するための信号である。赤外光線の点灯により、赤外光線は所定値の光量より高くなる。また、赤外光線の消灯により、赤外光線は所定値の光量より低くなる。
また、通信部８は、撮像装置３の外部に画像信号を送信することが可能である。これにより、通信部８は、制御部９によって生成された合成画像を撮像装置３の外部に送信することができる。合成画像は、撮像装置３の外部の、例えば、移動体２に搭載されている表示装置１１、移動体２のＥＣＵ（Electric Control Unit）１２、または無線通信ネットワークを介して接続される移動体２の外部の装置等に送信される。
制御部９は、撮像素子７が撮像した画像を取得して処理する、例えばＩＳＰ（Image Signal Processor）である。
メモリ１０は、制御部９が撮像素子７から取得した画像を記憶する。また、メモリ１０は、制御部９が処理した画像を記憶する。
赤外光源４は、赤外光線を出射する。赤外光源４の照射範囲は、後述する白色光源５の照射範囲の一部である。赤外光源４は、通信部１３と、制御部１４と、発光素子１７とを含んで構成される。
通信部１３は、外部の装置と信号を送受信する。また、制御部１４は、発光素子１７を制御して赤外光線が点灯したり、消灯したりするよう制御する。発光素子１７は、制御部１４の制御に基づいて、赤外光線を点灯させたり消灯させたりする。発光素子１７は、撮像素子７の撮像範囲の少なくとも一部に赤外光を照射可能なように、移動体２に取付けられる。
白色光源５は、白色光を出射する。白色光源５は、通信部１５と、制御部１６と、発光素子１８とを含んで構成される。
通信部１５は、外部の装置と信号を送信する。また、制御部１６は、白色光が点灯したり、消灯したりするよう発光素子１８を制御する。
発光素子１８は、制御部１６の制御に基づいて、白色光を点灯させたり消灯させたりする。発光素子１７は、撮像素子７の撮像範囲の少なくとも一部に白色光を照射可能なように、移動体２に取付けられる。
白色光源５は、移動体２に取り付けられる。白色光源５は、いわゆるヘッドライトとされうる。白色光源５は、白色光を照射する２つの照射範囲を切り替えることができる。２つの照射範囲は、少なくとも路面の鉛直方向に異なる。鉛直下方の照射範囲が「第１の照射範囲」に、鉛直上方の照射範囲が第１の照射範囲より鉛直上方の範囲を含む「第２の照射範囲」に対応する。白色光源５が鉛直下方の照射範囲を照射している場合、白色光源５から照射される白色光は、いわゆるロービームである。白色光源５が鉛直上方の照射範囲を照射している場合、白色光源５から照射される白色光はいわゆるハイビームである。
ここで、撮像装置３について詳細に説明する。
撮像素子７は、赤外光源４が赤外光線を照射可能で、白色光源５が白色光を照射可能な方向の被写体を撮像して画像を生成する。
制御部９は、フレーム撮像時間ごとに撮像素子７に撮像を実行させる。これにより、撮像素子７は、予め設定されたフレームレートに応じたフレーム撮像時間に被写体を撮像して１フレームの画像を生成する。
また、制御部９は、フレーム撮像時間に同期した制御信号を、通信部８を介して赤外光源４に送信する。具体的には、図３に示すように、制御部９は、期間Ｐ1に赤外光源４に赤外光線を照射させるよう、制御信号を送信する。また、制御部９は、期間Ｐ1に撮像素子７に画像を生成させる。また、制御部９は、期間Ｐ1に対応するフレーム撮像時間の次のフレーム撮像時間（期間Ｐ2）に赤外光源４に赤外光線の照射を停止させるよう、制御信号を送信する。期間Ｐ1が「第１の期間」に、期間Ｐ2が「第２の期間」に対応する。同じく、制御部９は、さらに次のフレーム撮像時間（期間Ｐ1）に赤外光源４に赤外光線を照射させるよう、制御信号を送信する。このように、制御部９は、期間Ｐ1と期間Ｐ2のフレーム撮像時間が交互に繰り返されるのに対応して、赤外光線に点灯及び消灯を繰り返させるための制御信号を赤外光源４に繰り返し送信する。赤外光源４の通信部１３は、撮像装置３から送信された制御信号を受信する。赤外光源４の制御部１４は、通信部１３が受信した制御信号に基づいて、赤外光線を点灯させたり、消灯させたりする。
これにより、赤外光線は、撮像装置３のフレームレートに応じたフレーム撮像時間と同期して点灯及び消灯を繰り返す。具体的には、赤外光線は一のフレーム撮像時間に点灯し、次のフレーム撮像時間に消灯する。そして、このような赤外光線の点灯と消灯が繰り返し実行される。
また、制御部９は、本実施形態に係る撮像処理の間、常時、白色光を点灯させるための制御信号を、通信部８を介して白色光源５に送信する。白色光源５の通信部１５は、撮像装置３から送信された制御信号を受信する。白色光源５の制御部１６は、通信部１５が受信した制御信号に基づいて、白色光を点灯させる。これにより、図３に示すように、白色光は常時、点灯する。
制御部９は、赤外光線が点灯または消灯しているときに撮像素子７が撮像した画像を取得する。赤外光線が点灯しているときの画像が「赤外光線画像」、赤外光線が消灯しているときの画像が「通常画像」に対応する。
制御部９は、撮像素子７から取得した赤外光線画像と通常画像とに基づいて合成画像を生成する。具体的には、制御部９は、赤外光線画像を構成する各画素の画素信号から輝度信号Ｙの強度を算出する。また、制御部９は、通常画像を構成する各画素の画素信号から色差信号Ｃｂ及びＣｒの強度を算出する。そして、制御部９は、それぞれ算出した各画素の輝度信号Ｙ、並びに対応する各画素の色差信号Ｃｂ及びＣｒを用いて、色信号を生成する。
制御部９は、合成画像を生成するにあたって、色差信号Ｃｂ及びＣｒに対してゲイン補正を行ってもよい。具体的には、制御部９は、輝度信号Ｙの強度並びに色差信号Ｃｂ及びＣｒの強度に基づいてゲイン補正を行う。例えば、制御部９は、赤外光線画像を構成する全ての画素の輝度信号Ｙの強度に基づく値を算出する。全ての画素の輝度信号Ｙの強度に基づく値は、例えば、輝度信号Ｙの代表値Ｙｒ（平均値、中央値、最大値等の統計値）である。また、制御部９は、通常画像を構成する全ての画素の色差信号Ｃｂ及びＣｒに基づく値を算出する。全ての画素の色差信号Ｃｂ及びＣｒに基づく値は、例えば、色差信号Ｃｂ及びＣｒそれぞれの強度の代表値Ｃｂｒ及びＣｒr（平均値、中央値、最大値等の統計値）である。
この場合、制御部９は、代表値Ｃｂr及びＣｒrの平均値と、代表値Ｙrとの差又は比が所定の範囲内となるように各画素の色差信号Ｃｂ及びＣｒに乗じるゲインを算出する。また、制御部９は、算出したゲインを各画素の色差信号Ｃｂ及びＣｒに乗じる。制御部９は、各画素の輝度信号Ｙ、並びに対応する各画素の補正色差信号Ｃｂ１及びＣｒ１とによって色信号を生成する。
制御部９は、赤外光線画像及び通常画像を構成する全ての画素に基づいて代表値Ｙｒ、Ｃｂr、及びＣｒrを算出したが、赤外光線画像及び通常画像の一部を構成する画素に基づいて代表値Ｙr、Ｃｂr、及びＣｒrを算出してもよい。
続いて、本実施形態の撮像装置３の撮像方法について、図４を参照して説明する。撮像装置３は、白色光源５が白色光の照射を開始したときに、処理を開始する。白色光源５は、撮像システム１の利用者による動作開始の指示を受けたときに白色光の照射を開始する。また、白色光源５は、光量センサによって環境が暗くなったことを検知したＥＣＵからの制御により、白色光の照射を開始してもよい。
まず、制御部９は、撮像素子７が撮像の実行を開始させる（ステップＳ１）。すなわち、制御部９は、予め設定されたフレームレートに従って、撮像素子７に連続して画像を撮像させる。
また、制御部９は、赤外光線を点灯させるための制御信号を、通信部８を介して赤外光源４に送信する（ステップＳ２）。
制御部９は、ステップＳ２の制御信号による赤外光線の点灯のときに撮像された赤外光線画像を取得し、メモリ１０に記憶させる（ステップＳ３）。
制御部９は、ステップＳ３でメモリ１０に記憶させた赤外光線画像の輝度信号Ｙと、既にメモリ１０に記憶されている通常画像のうち直近に撮像された通常画像の補正色差信号Ｃｒ１及びＣｂ１とに基づいて合成画像を生成する（ステップＳ４）。
続いて、制御部９は、次のフレーム撮像時間に同期して、赤外光線を消灯させるための制御信号を、通信部８を介して赤外光源４に送信する（ステップＳ５）。
ステップＳ５で制御信号が送信されると、制御部９は、ステップＳ５の制御信号による赤外光線の消灯のときに撮像された通常画像を取得し、メモリ１０に記憶させる（ステップＳ６）。
制御部９は、ステップＳ６で取得された通常画像の色差信号Ｃｒ及びＣｂに対してゲイン補正を行う（ステップＳ７）。
ここで、制御部９によるゲイン補正について図５を参照して詳細に説明する。
まず、制御部９は、ステップＳ５で通常画像が取得される直前に取得されて、メモリ１０に記憶されている赤外光線画像の輝度信号Ｙの強度の代表値Ｙｒを算出する（ステップＳ７１）。
制御部９は、ステップＳ５で取得した通常画像の色差信号Ｃｒ及びＣｂの強度のそれぞれ代表値Ｃｒｒ及びＣｂｒを算出する（ステップＳ７２）。ステップＳ７１の処理の前にステップＳ７２の処理が行われてもよい。
制御部９は、代表値Ｙｒ、並びに代表値Ｃｒｒ及びＣｂｒに基づいて、各画素の色差信号Ｃｒ及びＣｂにゲイン補正を行って、補正色差信号Ｃｒ１及びＣｂ１を生成する（ステップＳ７３）。具体的には、例えば、制御部９は、代表値Ｃｒｒ及びＣｂｒの平均値と代表値Ｙｒとの差又は比が所定の範囲内となるように各画素の色差信号Ｃｂ及びＣｒの強度に対して乗じるゲインを算出してもよい。そして、制御部９は、各画素の色差信号Ｃｂ及びＣｒの強度にゲインを乗じる。
図４に戻って、ステップＳ７でゲイン補正が行われると、制御部９は、通常画像の補正色差信号Ｃｒ１及びＣｂ１と、既にメモリ１０に記憶されている赤外光線画像のうち直近に撮像された赤外光線画像の輝度信号Ｙとに基づいて合成画像を生成する（ステップＳ８）。
ステップＳ８で合成画像が送信されると、制御部９は、撮像装置３に停止の指示が入力されているか判定する（ステップＳ９）。
ステップＳ９で停止の指示が入力されていると判定された場合、撮像装置３は処理を終了する。ステップＳ９で停止の指示が入力されていないと判定された場合、撮像装置３は、再びステップＳ２に戻って、制御信号を送信する。そして、制御部９は、ステップＳ２〜Ｓ９の処理を繰り返す。
本実施形態によれば、撮像装置３は、赤外光線画像と通常画像とに基づいて画像を生成する。具体的には、撮像装置３は、赤外光線画像の輝度信号Ｙと通常画像の色差信号Ｃｂ及びＣｒとを有する合成画像を生成する。赤外光線は、暗い環境であっても白色光に比べて被写体からの反射率が高い。したがって、制御部９は、通常画像に比べて、強度が高く、コントラストの大きな輝度信号Ｙを赤外光線画像から得ることができる。また、制御部９は、通常画像から、色差信号Ｃｒ及びＣｂを得ることができる。このため、撮像装置３は、夜間等の暗い環境であっても、輝度信号Ｙに基づく、Ｓ／Ｎ比が低くコントラストの高い画像であって、色差信号Ｃｂ及びＣｒに基づく色味を含んだ画像を生成することができる。
また、本実施形態によれば、撮像装置３は通常画像の色差信号Ｃｂ及びＣｒに対してのみゲイン補正を行う。暗い環境においては画素信号の強度が全体的に小さいため、色差信号Ｃｂ及びＣｒの強度も比較的小さく、合成画像の色味が弱くなり得る。しかし、ゲイン補正により、色差信号Ｃｂ及びＣｒの強度が高められ、色味が強く再現され得る。輝度信号Ｙに対してゲイン補正は行われないため、画像全体が白色に近づくことが防がれ得る。このため、撮像装置３は、輝度のコントラストが高く、鮮やかな色を含んだ画像を生成することができる。
また、本実施形態によれば、赤外光源４は赤外光線をハイビームとして照射する。移動体２に対向する又は前走する移動体の利用者に眩しさを与えるのを防ぐために、通常、多くの運転者は、白色光源５から照射される白色光をロービームとして照射する。人間の目は赤外光線を感知しない。そのため、撮像装置３は、赤外光源４をハイビームで照射することによって、利用者に眩しさを感知させず、被写体を検知可能に撮像し得る。
また、本実施形態によれば、白色光源５は、常時、白色光を照射する。そのため、赤外光線が点灯するときに白色光が消灯し、赤外光線が消灯するときに白色光が点灯する場合の白色光の点滅による違和感を、撮像システム１の利用者に与えないという利点がある。
上述の実施形態は代表的な例として説明したが、本開示の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本開示は、上述の実施形態及び実施例によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態及び実施例に記載の複数の構成ブロックを１つに組合せたり、あるいは１つの構成ブロックを分割したりすることが可能である。
例えば、制御部９は、通信部８を介して、赤外光源４による赤外光線の点灯を制御するための制御信号を送信するとしたが、この限りではない。例えば、制御部９は、通信部８を介して、赤外光源４から赤外光線の点灯状態を示す点灯状態信号を受信してもよい。点灯状態信号は、赤外光線が点灯していること及び赤外光線が消灯していることのいずれか１つ以上を示す信号である。
この場合、制御部９は、赤外光源４から赤外光線の点灯を示す点灯状態信号を受信すると、赤外光線が点灯しているときに撮像素子７が生成した画像を赤外光線画像として取得する。また、制御部９は、通信部８が赤外光源４から赤外光線の消灯を示す点灯状態信号を受信すると、赤外光線が消灯しているときに撮像素子７が生成した画像を通常画像として取得する。
また、変形例として、図６に示すように、白色光源５は、赤外光源４が赤外光線を照射しているときに白色光の照射を停止し、赤外光源４が赤外光線の照射を停止しているときに白色光を照射してもよい。この場合、白色光の点灯及び消灯は、人間の目に認識されないように高速に繰り返されるのがよい。これにより、点灯及び消灯の連続によって人間が不快感を催すことが回避され得る。
また、制御部９は、代表値Ｃｂr及びＣｒrの両方を用いてゲインを算出するとしたが、この限りではない。例えば、制御部９は、代表値Ｃｂr及びＣｒrのいずれかを用いて、該代表値に係る色差信号Ｃｂ及びＣｒのいずれかを補正するためのゲインを算出してもよい。制御部９がゲインを算出する方法は、利用者によって用途に応じて求められる合成画像の特性に応じて、適宜、決定される。
１ 撮像システム
２ 移動体
３ 撮像装置
４ 赤外光源
５ 白色光源
６ 光学系
７ 撮像素子
８,１３,１５ 通信部
９,１４,１６ 制御部
１０ メモリ
１１ 表示装置
１２ ＥＣＵ
１７,１８ 発光素子

Claims (13)

  1. 撮像素子と、
    赤外光線が所定値の光量より高いときに前記撮像素子が生成した赤外光線画像と、前記赤外光線が前記所定値の光量より低いときに前記撮像素子が生成した通常画像とを取得し、前記赤外光線画像と前記通常画像とに基づいて合成画像を生成する制御部と、
    を備える撮像装置。
  2. 前記制御部は、赤外光源における赤外光線の点灯状態を示す点灯状態信号を受信し、当該点灯状態信号に基づいて、前記赤外光線が前記所定値の光量より高いときに前記赤外光線画像を取得し、前記赤外光線が前記所定値の光量より低いときに前記通常画像を取得する請求項１に記載の撮像装置。
  3. 前記制御部は、第１の期間に赤外光源が赤外光線を前記所定値の光量より高くし、前記第１の期間とは異なる第２の期間に前記赤外光源が赤外光線を前記所定値の光量より低くするよう前記赤外光源を制御する請求項１に記載の撮像装置。
  4. 前記制御部は、前記赤外光線画像の輝度信号と、前記通常画像の色差信号とに基づいて前記合成画像を生成する請求項１から３のいずれか一項に記載の撮像装置。
  5. 前記制御部は、前記色差信号のゲインを補正して補正色差信号を生成し、前記補正色差信号と前記輝度信号とに基づいて前記合成画像を生成する請求項４に記載の撮像装置。
  6. 前記制御部は、前記輝度信号の強度及び前記色差信号の強度に基づいて前記色差信号のゲインを補正する請求項５に記載の撮像装置。
  7. 前記制御部は、前記色差信号のいずれか１つ以上の強度に基づく値と前記輝度信号の強度との差又は比が所定の範囲内となるように前記色差信号のゲインを補正する請求項６に記載の撮像装置。
  8. 赤外光線を出射する赤外光源と、
    撮像素子と、
    前記赤外光線が所定値の光量より高いときに前記撮像素子が生成した赤外光線画像と、前記赤外光線が前記所定値の光量より低いときに前記撮像素子が生成した通常画像とを取得し、前記赤外光線画像と前記通常画像とに基づいて合成画像を生成する制御部と、
    を含む撮像装置と、
    を備える撮像システム。
  9. 前記撮像装置が撮像する範囲に白色光を出射する白色光源をさらに備え、
    前記白色光源は、前記赤外光源が前記所定値の光量より高いときに前記白色光を消灯し、前記赤外光源が前記所定値の光量より低いときに前記白色光を点灯する請求項８に記載の撮像システム。
  10. 前記撮像装置が撮像する範囲に白色光を出射する白色光源をさらに備え、
    前記白色光源は、常時、前記白色光を出射する請求項８に記載の撮像システム。
  11. 赤外光線を出射する赤外光源と、撮像素子と、前記赤外光線が所定値の光量より高いときに前記撮像素子が生成した赤外光線画像と、前記赤外光線が前記所定値の光量より低いときに前記撮像素子が生成した通常画像とを取得し、前記赤外光線画像と前記通常画像とに基づいて合成画像を生成する制御部と、を有する撮像装置と、を含む撮像システム
    を備える移動体。
  12. 前記赤外光源は、第１の照射範囲と、当該第１の照射範囲より鉛直上方を含む第２の照射範囲との照射を切り替え可能な白色光源の前記第２の照射範囲を照射する請求項１１に記載の移動体。
  13. 撮像装置の撮像方法であって、
    前記撮像装置が、赤外光線が所定値の光量より高いときに撮像素子が生成した赤外光線画像を取得し、前記赤外光線が前記所定値の光量より低いときに前記撮像素子が生成した通常画像を取得し、前記赤外光線画像と前記通常画像とに基づいて合成画像を生成する撮像方法。
JP2018547598A 2016-10-28 2017-10-18 撮像装置、撮像システム、移動体、及び撮像方法 Pending JPWO2018079372A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016212325 2016-10-28
JP2016212325 2016-10-28
PCT/JP2017/037678 WO2018079372A1 (ja) 2016-10-28 2017-10-18 撮像装置、撮像システム、移動体、及び撮像方法

Publications (1)

Publication Number Publication Date
JPWO2018079372A1 true JPWO2018079372A1 (ja) 2019-09-12

Family

ID=62023425

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018547598A Pending JPWO2018079372A1 (ja) 2016-10-28 2017-10-18 撮像装置、撮像システム、移動体、及び撮像方法

Country Status (4)

Country Link
US (1) US10742890B2 (ja)
EP (1) EP3534603B1 (ja)
JP (1) JPWO2018079372A1 (ja)
WO (1) WO2018079372A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10958830B2 (en) 2018-05-24 2021-03-23 Magna Electronics Inc. Vehicle vision system with infrared LED synchronization
CN109963086B (zh) * 2018-07-30 2020-06-16 华为技术有限公司 时分复用补光成像装置和方法
CN110493493B (zh) * 2019-05-31 2022-04-29 杭州海康威视数字技术股份有限公司 全景细节摄像机及获取图像信号的方法
CN110493495B (zh) * 2019-05-31 2022-03-08 杭州海康威视数字技术股份有限公司 图像采集装置和图像采集的方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006013884A (ja) * 2004-06-25 2006-01-12 Fuji Photo Film Co Ltd カメラ
JP2008299538A (ja) * 2007-05-30 2008-12-11 Toyota Motor Corp 車両用撮像システム、及び車両用制御装置
JP2010103740A (ja) * 2008-10-23 2010-05-06 Panasonic Corp デジタルカメラ
JP2011119917A (ja) * 2009-12-02 2011-06-16 Denso Corp 車両用表示装置
JP2014135627A (ja) * 2013-01-10 2014-07-24 Hitachi Ltd 撮像装置
WO2014192876A1 (ja) * 2013-05-30 2014-12-04 独立行政法人産業技術総合研究所 撮像システム及び撮像方法
JP2016096430A (ja) * 2014-11-13 2016-05-26 パナソニックＩｐマネジメント株式会社 撮像装置及び撮像方法
JP2017097645A (ja) * 2015-11-25 2017-06-01 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4984634B2 (ja) * 2005-07-21 2012-07-25 ソニー株式会社 物理情報取得方法および物理情報取得装置
WO2008139565A1 (ja) * 2007-05-07 2008-11-20 Fujitsu Limited 暗視装置
KR100863497B1 (ko) 2007-06-19 2008-10-14 마루엘에스아이 주식회사 이미지 감지 장치, 이미지 신호 처리 방법, 광 감지 소자, 제어 방법 및 화소 어레이
JP2011199798A (ja) * 2010-03-24 2011-10-06 Sony Corp 物理情報取得装置、固体撮像装置、物理情報取得方法
KR20130086066A (ko) * 2010-11-16 2013-07-30 코니카 미놀타 가부시키가이샤 화상 입력 장치 및 화상 처리 장치
JP6533358B2 (ja) * 2013-08-06 2019-06-19 三菱電機エンジニアリング株式会社 撮像装置
KR20150021353A (ko) * 2013-08-20 2015-03-02 삼성테크윈 주식회사 영상 융합 시스템 및 그 방법
US10051211B2 (en) * 2013-12-05 2018-08-14 Omnivision Technologies, Inc. Image sensors for capturing both visible light images and infrared light images, and associated systems and methods
JP6183238B2 (ja) 2014-02-06 2017-08-23 株式会社Ｊｖｃケンウッド 撮像装置及び撮像装置の制御方法
WO2015118911A1 (ja) 2014-02-06 2015-08-13 株式会社Ｊｖｃケンウッド 撮像装置及び撮像装置の制御方法、並びに、撮像システム及び撮像システムの制御方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006013884A (ja) * 2004-06-25 2006-01-12 Fuji Photo Film Co Ltd カメラ
JP2008299538A (ja) * 2007-05-30 2008-12-11 Toyota Motor Corp 車両用撮像システム、及び車両用制御装置
JP2010103740A (ja) * 2008-10-23 2010-05-06 Panasonic Corp デジタルカメラ
JP2011119917A (ja) * 2009-12-02 2011-06-16 Denso Corp 車両用表示装置
JP2014135627A (ja) * 2013-01-10 2014-07-24 Hitachi Ltd 撮像装置
WO2014192876A1 (ja) * 2013-05-30 2014-12-04 独立行政法人産業技術総合研究所 撮像システム及び撮像方法
JP2016096430A (ja) * 2014-11-13 2016-05-26 パナソニックＩｐマネジメント株式会社 撮像装置及び撮像方法
JP2017097645A (ja) * 2015-11-25 2017-06-01 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム

Also Published As

Publication number Publication date
EP3534603A4 (en) 2020-04-29
US10742890B2 (en) 2020-08-11
US20190273858A1 (en) 2019-09-05
EP3534603A1 (en) 2019-09-04
WO2018079372A1 (ja) 2018-05-03
EP3534603B1 (en) 2022-07-20

Similar Documents

Publication Publication Date Title
US11917281B2 (en) Camera system, method and instructions using images captured by a first mage sensor and a second image sensor to generate a third image corresponding to a simulated lens having an intermediate focal length
WO2018079372A1 (ja) 撮像装置、撮像システム、移動体、及び撮像方法
AU2022203095B2 (en) Real-time HDR video for vehicle control
US10432847B2 (en) Signal processing apparatus and imaging apparatus
JP5853947B2 (ja) 暗視装置
US10304312B2 (en) Imaging apparatus, imaging system, target person monitoring system and control method of imaging apparatus
WO2018061882A1 (ja) カメラモジュール、セレクタ、コントローラ、カメラモニタシステム及び移動体
US20220191449A1 (en) Image processing device, image capturing device, mobile body, and image processing method
JP5716944B2 (ja) 車載カメラ装置
JP6727946B2 (ja) 車両用カメラモニタシステム及び車両
JP2020177242A (ja) 車両用カメラモニタシステム及びその制御方法
JP2018107620A (ja) 撮像システム、移動体、および制御方法
JP2007228208A (ja) 車両周囲監視装置
WO2018155280A1 (ja) 周辺監視システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190403

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200519

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20201124