WO2017169274A1 - 撮像制御装置、撮像制御方法、コンピュータプログラム及び電子機器 - Google Patents

Abstract

【課題】被写体に動いている物体が含まれる場合でも自然なＨＤＲ画像を生成することが可能な撮像制御装置を提供する。 【解決手段】第１露光時間による第１露光で画素へ露光することで第１画像を生成し、該第１画像に続いて第２露光時間による第２露光で画素へ露光することで第２画像を生成する制御部と、前記第１画像及び前記第２画像を合成した合成画像と、前記第１画像または前記第２画像のいずれかから選択される選択画像と、を合成する合成部と、を備え、前記制御部は、前記合成画像の露光時間と前記選択画像の露光時間との比である露光比に基づいて前記合成部で前記選択画像として選択される画像が切り替わるよう前記第１露光時間及び前記第２露光時間を決定する、撮像制御装置が提供される。

Description

撮像制御装置、撮像制御方法、コンピュータプログラム及び電子機器

　本開示は、撮像制御装置、撮像制御方法、コンピュータプログラム及び電子機器に関する。

　ＣＣＤイメージセンサやＣＭＯＳイメージセンサを備えたデジタルカメラには、ダイナミックレンジの幅を広げるＨＤＲ（Ｈｉｇｈ　Ｄｙｎａｍｉｃ　Ｒａｎｇｅ）という機能が備えられているものがある。ＨＤＲ画像を撮像する技術として、互いに異なる露光時間で撮像された複数枚の画像を用いてＨＤＲ画像を生成する方法がある（例えば、特許文献１参照）。

特開２０１１－４３５３号公報

　長時間露光で撮像された画像と短時間露光で撮像された画像とを合成してＨＤＲ画像を生成する場合、露光時間の比率によっては画像の撮像間でブランクが生じる。被写体に動いている物体が含まれる場合、ＨＤＲ画像の生成時に、その動いている被写体が不自然なものなる。

　そこで、本開示では、被写体に動いている物体が含まれる場合でも自然なＨＤＲ画像を生成することが可能な、新規かつ改良された撮像制御装置、撮像制御方法、コンピュータプログラム及び電子機器を提案する。

　本開示によれば、第１露光時間による第１露光で画素へ露光することで第１画像を生成し、該第１画像に続いて第２露光時間による第２露光で画素へ露光することで第２画像を生成する制御部と、前記第１画像及び前記第２画像を合成した合成画像と、前記第１画像または前記第２画像のいずれかから選択される選択画像と、を合成する合成部と、を備え、前記制御部は、前記合成画像の露光時間と前記選択画像の露光時間との比である露光比に基づいて前記合成部で前記選択画像として選択される画像が切り替わるよう前記第１露光時間及び前記第２露光時間を決定する、撮像制御装置が提供される。

　また本開示によれば、第１露光時間による第１露光で画素へ露光することで第１画像を生成し、該第１画像に続いて第２露光時間による第２露光で画素へ露光することで第２画像を生成することと、前記第１画像及び前記第２画像を合成した合成画像と、前記第１画像または前記第２画像のいずれかから選択される選択画像と、を合成することと、前記合成画像の露光時間と前記選択画像の露光時間との比である露光比に基づいて、前記選択画像として選択される画像が切り替わるよう前記第１露光時間及び前記第２露光時間を決定することと、を含む、撮像制御方法が提供される。

　また本開示によれば、コンピュータに、第１露光時間による第１露光で画素へ露光することで第１画像を生成し、該第１画像に続いて第２露光時間による第２露光で画素へ露光することで第２画像を生成することと、前記第１画像及び前記第２画像を合成した合成画像と、前記第１画像または前記第２画像のいずれかから選択される選択画像と、を合成することと、前記合成画像の露光時間と前記選択画像の露光時間との比である露光比に基づいて、前記選択画像として選択される画像が切り替わるよう前記第１露光時間及び前記第２露光時間を決定することと、を実行させる、コンピュータプログラムが提供される。

　また本開示によれば、上記撮像制御装置を備える、電子機器が提供される。

　以上説明したように本開示によれば、被写体に動いている物体が含まれる場合でも自然なＨＤＲ画像を生成することが可能な、新規かつ改良された撮像制御装置、撮像制御方法、コンピュータプログラム及び電子機器を提供することが出来る。

　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

既存のＨＤＲ画像の撮像技術を説明するための説明図である。 既存のＨＤＲ画像の撮像技術を説明するための説明図である。 本開示の実施の形態に係る電子機器１０の機能構成例を示す説明図である。 撮像部１１に含まれるセンサモジュール１００の構成例を示す説明図である。 本開示の実施の形態に係るセンサモジュール１００の機能構成例を示す説明図である。 本開示の実施の形態に係るセンサモジュール１００の動作例を示す流れ図である。 露光比による短蓄画像の選択例を示す説明図である。 極めて短い時間で２つのフレームの露光を行う例を示す説明図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。

　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

　なお、説明は以下の順序で行うものとする。
　１．本開示の実施の形態
　　１．１．概要
　　１．２．撮像装置の機能構成例
　　１．３．センサモジュールの構成例
　　１．４．動作例
　２．移動体への応用例
　３．まとめ

　［１．１．概要］
　本開示の実施の形態について詳細に説明する前に、まず本開示の実施の形態の概要について説明する。

　上述したように、ＣＣＤイメージセンサやＣＭＯＳイメージセンサを備えたデジタルカメラには、ダイナミックレンジの幅を広げるＨＤＲという機能が備えられているものがある。ＨＤＲ画像を撮像する技術として、互いに異なる露光時間で撮像された複数枚の画像を用いてＨＤＲ画像を生成する方法がある。

　以下では、既存のＨＤＲ画像の撮像技術を説明する。図１及び図２は、既存のＨＤＲ画像の撮像技術を説明するための説明図である。図１及び図２では、２枚の画像を互いに異なる、または同じ露光時間で撮像することでＨＤＲ画像を生成する例が示されている。また図１及び図２では、２つのフレームを加算することで長時間露光による画像（長蓄画像）を生成し、長蓄画像の基となるフレームのいずれか１つを短時間露光による画像（短蓄画像）とする場合の例が示されている。

　なお、以下の実施の形態の説明では、ＨＤＲ画像の生成に際し、２枚の画像それぞれにおいて設定される露光時間のうち、長い方の露光時間を長露光時間と称し、短い方の露光時間を短露光時間と称する。また、長露光時間で露光して得られる１枚の画像を長露光画像、短露光時間で露光して得られる１枚の画像を短露光画像、長露光時間で露光して得られる画素信号を長露光信号、短露光時間で露光して得られる画素信号を短露光信号とも称する。

　図１は、短蓄画像を２番目のフレームに固定した場合の、露光比と露光タイミングとの関係を例示したものである。ここで露光比とは、短蓄画像の露光時間を１とした場合の長蓄画像の露光時間を現している。すなわち、露光比２とは、長蓄画像の露光時間：短蓄画像の露光時間＝２：１であることを示している。

　ＣＭＯＳイメージセンサなどの撮像素子からは、例えば垂直方向にＨ行の画素からなる場合、１行目からＨ行目まで順次データを読み出すことが出来るが、最後のＨ行目のデータを読み出し終えてからでないと、次のフレームの１行目からの読み出しを開始することができない。

　そのため、イメージセンサからの画像の出力フレームレートが３０ｆｐｓ（１フレームあたりの時間がおよそ３３．３ミリ秒）の場合に、露光比をおよそ５としようとすると、２番目のフレームの露光時間を６．６ミリ秒とすればよい。そして、明るい被写体と暗い被写体が混在するような場合に、撮像された画像においてどちらの被写体も適切に表示できるよう、露光比を５以上にしようとすると、２番目のフレームの露光時間を６．６ミリ秒より短くすれば良い。しかし、１番目のフレームの露光時間は、上述の読み出しの制限から、２６．７ミリ秒より長くすることができない。従って、短蓄画像を２番目のフレームに固定した場合、露光比を５以上にしようとすると、１番目のフレームと２番目のフレームにブランクが生じてしまう。１番目のフレームと２番目のフレームにブランクが生じると、被写体に動いている物体が含まれる場合、ＨＤＲ画像の生成時に、その動いている被写体が不自然なものなる。

　図２は、短蓄画像を１番目のフレームに固定した場合の、露光比と露光タイミングとの関係を例示したものである。

　短蓄画像を１番目のフレームに固定すると、イメージセンサからの画像の出力フレームレートが３０ｆｐｓの場合に、露光比をおよそ１．２５としようとすると、２番目のフレームの露光時間を６．６ミリ秒とすればよい。そして、明るい被写体と暗い被写体が混在するような場合に、撮像された画像においてどちらの被写体も適切に表示できるよう、露光比を１．２５以下にしようとすると、２番目のフレームの露光時間を６．６ミリ秒より短くすれば良い。しかし、１番目のフレームの露光時間は、上述の読み出しの制限から、２６．７ミリ秒より長くすることができない。従って、短蓄画像を１番目のフレームに固定した場合、露光比を１．２５以下にしようとすると、１番目のフレームと２番目のフレームにブランクが生じてしまう。１番目のフレームと２番目のフレームにブランクが生じると、被写体に動いている物体が含まれる場合、ＨＤＲ画像の生成時に、その動いている被写体が不自然なものなる。

　そこで本件開示者は、上述した内容に鑑み、露光比によってＨＤＲ画像の生成時に被写体が不自然な画像とならないようにＨＤＲ画像を生成出来る技術について鋭意検討を行った。その結果、本件開示者は、以下で説明するように、露光比によってＨＤＲ画像の生成時に被写体が不自然な画像とならないようにＨＤＲ画像を生成出来る技術を考案するに至った。

　以上、本開示の実施の形態の概要について説明した。

　［１．２．機能構成例］
　続いて、本開示の実施の形態に係る電子機器の機能構成例について説明する。図３は、本開示の実施の形態に係る電子機器１０の機能構成例を示す説明図である。以下、図３を用いて本開示の実施の形態に係る電子機器１０の機能構成例について説明する。

　図３に示したように、本開示の実施の形態に係る電子機器１０は、撮像部１１と、画像処理部１２と、表示部１３と、制御部１４と、記憶部１５と、操作部１６と、を含んで構成される。

　撮像部１１は、レンズや、センサモジュール等を含んで構成され、レンズを通じてセンサモジュールの受光面に結像される像に応じて、所定期間電子を蓄積する。撮像部１１は、その蓄積された電子に応じた信号に対して所定の信号処理を行う。そして撮像部１１は、信号処理を行った後の信号を画像処理部１２に出力する。なお、撮像部１１に含まれるセンサモジュールの構成については後に詳述する。

　撮像部１１は、上記所定の信号処理として、電子式手振れ補正方式による手振れ補正処理、自動ホワイトバランス処理、自動露出処理、歪補正処理、欠陥補正処理、ノイズ低減処理、ハイダイナミックレンジ合成処理などの信号処理を実行しうる。

　画像処理部１２は、例えばアプリケーションプロセッサ（ＡＰ）で構成され、撮像部１１から出力される信号を用いて画像処理を実行する。画像処理部１２が実行する画像処理には、例えば撮像部１１から出力される信号を用いたデモザイク処理、デモザイク処理後の画像の表示部１３への表示処理や、記憶部１５への記憶処理などがある。

　表示部１３は、例えば液晶ディスプレイ、有機ＥＬディスプレイなどで構成される表示デバイスである。表示部１３は、制御部１４によって表示内容が制御される。例えば、表示部１３は、撮像部１１によって撮像されて、画像処理部１２によって画像処理が行われた画像を、制御部１４の制御に基づいて表示する。

　制御部１４は、例えばＣＰＵ（Central Processing Unit）等のプロセッサや、ＲＯＭ、ＲＡＭなどで構成され、電子機器１０の各部の動作を制御する。

　記憶部１５は、例えばフラッシュメモリその他の不揮発性メモリなどの記憶媒体で構成される。記憶部１５は、撮像部１１によって撮像されて、画像処理部１２によって画像処理が行われた画像を記憶する。記憶部１５が記憶した画像は、電子機器１０のユーザの操作に応じて表示部１３に表示されうる。

　操作部１６は、電子機器１０の操作のためのデバイスであり、例えばボタンやタッチパネルなどで構成される。操作部１６がタッチパネルを含む場合、タッチパネルは表示部１３の表示面に設けられる。電子機器１０のユーザは、撮像部１１が撮像する画像を電子機器１０に記録したい場合には、操作部１６の所定のボタンを操作することでシャッタトリガを発生させる。撮像部１１や画像処理部１２は、シャッタトリガの発生を検知すると、そのシャッタトリガの発生に応じて画像を電子機器１０に記録するための処理を実行する。

　図３に示した電子機器１０は、特定の機器に限定されるものでは無く、例えばデジタルカメラ、スマートフォン、タブレット型携帯端末、携帯型音楽再生装置、ゲーム機などの様々な形態をとりうる。

　以上、本開示の実施の形態に係る電子機器１０の機能構成例について説明した。続いて、本開示の実施の形態に係る電子機器１０の、撮像部１１に含まれるイメージセンサの構成例について説明する。

　［１．３．センサモジュールの構成例］
　図４は、撮像部１１に含まれるセンサモジュール１００の構成例を示す説明図である。本開示の実施の形態に係るセンサモジュール１００は、本開示の画像処理装置の一例で有り、図４に示したように、３つの基盤が積層されて構成されている。本開示の実施の形態に係るセンサモジュール１００は、画素基板１１０と、メモリ基板１２０と、信号処理基板１３０と、の順に積層された構成を有する。

　画素基板１１０は、単位画素がアレイ状に形成された画素領域からなる撮像素子を有する基板である。各単位画素は、被写体からの光を受光し、その入射光を光電変換して電荷を蓄積し、所定のタイミングにおいて、その電荷を画素信号として出力する。画素基板１１０が出力する画素信号は、メモリ基板１２０に蓄えられ、また信号処理基板１３０において信号処理が施される。なお、画素基板１１０は、アナログ信号をデジタル信号に変換するＡＤ変換器を備える。すなわち画素基板１１０が出力する画素信号はデジタル信号である。

　メモリ基板１２０は、画素基板１１０が出力する画素信号を一時的に蓄えるＤＲＡＭ（Dynamic Random Access Memory）などのメモリを有する基板である。メモリ基板１２０は、複数フレーム、例えば、信号処理基板１３０において電子式手振れ補正方式による手振れ補正処理を実行することが出来るだけのフレームの画素信号を一時的に蓄えることができる容量を有する。メモリ基板１２０に蓄えられた画素信号は、信号処理基板１３０からの読出し命令に基づいて読み出される。

　信号処理基板１３０は、メモリ基板１２０に蓄えられた画素信号に対する各種信号処理を実行する。信号処理基板１３０が実行する信号処理は、メモリ基板１２０に蓄えられた画素信号に対する画質に関する信号処理であり、例えば、電子式手振れ補正方式による手振れ補正処理、自動ホワイトバランス処理、自動露出処理、歪補正処理、欠陥補正処理、ノイズ低減処理、ハイダイナミックレンジ合成処理などの信号処理を実行しうる。

　なお、図４にはセンサモジュール１００が画素基板１１０と、メモリ基板１２０と、信号処理基板１３０と、の順に積層された構成の図を示したが、本開示は係る例に限定されない。例えば、センサモジュール１００が画素基板１１０と、信号処理基板１３０と、メモリ基板１２０と、の順に積層された構成を有していても良い。

　以上、図４を用いてセンサモジュール１００の構成例について説明した。続いて、センサモジュール１００の機能構成例について説明する。

　図５は、本開示の実施の形態に係るセンサモジュール１００の機能構成例を示す説明図である。以下、図５を用いて本開示の実施の形態に係るセンサモジュール１００の機能構成例について説明する。

　画素基板１１０は、単位画素がアレイ状に形成された画素領域からなる撮像素子１１１と、所定のクロック信号やタイミング信号を撮像素子１１１に供給する制御部１１２と、を備える。制御部１１２からの信号に応じて撮像素子１１１が出力する画素信号は信号処理基板１３０に一旦送られた後に、メモリ基板１２０に送られる。

　本実施形態では、制御部１１２は、ＨＤＲ画像の撮像の際に、フレーム間でブランクが生じないように２つの露光信号が撮像素子１１１から出力されるよう、タイミング信号を撮像素子１１１に供給する。そして制御部１１２は、ＨＤＲ画像の撮像の際に設定される露光比となるようにタイミング信号を撮像素子１１１に供給する。

　メモリ基板１２０は、ＤＲＡＭ（Dynamic Random Access Memory）などで構成される画像記憶部１２１を有する。画像記憶部１２１は、撮像素子１１１が出力する画素信号を一時的に蓄える。画像記憶部１２１は、複数フレームの画素信号を一時的に蓄えることができる容量を有する。画像記憶部１２１に蓄えられた画素信号は、信号処理基板１３０からの読出し命令に基づいて読み出される。

　信号処理基板１３０は、前処理部１３１と、後処理部１３２と、を含んで構成される。

　前処理部１３１は、撮像素子１１１が出力する画素信号に対する信号処理を施す。前処理部１３１は、信号処理を施した後の画素信号を画像記憶部１２１に記憶させる。前処理部１３１が実行する信号処理には、例えば、ゲイン調整処理やクランプ処理、画素加算処理などが含まれうる。

　後処理部１３２は、画像記憶部１２１に記憶された画素信号に対する信号処理を実行する。後処理部１３２は、画像記憶部１２１に記憶された画素信号に対する信号処理を実行すると、信号処理後の画素信号を画像処理部１２へ出力する。後処理部１３２が実行する信号処理としては、例えば、自動ホワイトバランス処理、自動露出処理、歪補正処理、欠陥補正処理、ノイズ低減処理、ハイダイナミックレンジ合成処理などが含まれうる。また後処理部１３２は、複数フレームで撮像された画像の合成処理を実行しうる。

　本実施形態では、後処理部１３２は、ＨＤＲ画像を生成する際に、長蓄画像として、撮像素子１１１から出力された長時間露光と短露光画像とをフレーム合成したものを使用する。そして後処理部１３２は、短蓄画像として、露光比に応じて、１番目のフレームの露光信号による画像を使用するか、２番目のフレームの露光信号による画像を使用するか、を決定する。従って、後処理部１３２は、本開示の制御部及び合成部の一例として機能しうる。

　本開示の実施の形態に係るセンサモジュール１００は、係る構成を有することで、露光比によってＨＤＲ画像の生成時に被写体が不自然な画像とならないようにＨＤＲ画像を生成することができる。

　以上、本開示の実施の形態に係るセンサモジュール１００の機能構成例について説明した。

　［１．４．動作例］
　続いて、本開示の実施の形態に係るセンサモジュール１００の動作例を説明する。図６は、本開示の実施の形態に係るセンサモジュール１００の動作例を示す流れ図である。図６に示したのは、ＨＤＲ画像を生成する際の、本開示の実施の形態に係るセンサモジュール１００の流れ図である。以下、図６を用いて本開示の実施の形態に係る本開示の実施の形態に係るセンサモジュール１００の動作例について説明する。

　本開示の実施の形態に係るセンサモジュール１００は、ＨＤＲ画像を生成する際に、ＨＤＲ画像の基となる長蓄画像と短蓄画像との露光比が２より大きいかどうかを判定する（ステップＳ１０１）。ステップＳ１０１の判定処理は、例えば制御部１１２が実行する。

　ステップＳ１０１の判定の結果、ＨＤＲ画像の基となる長蓄画像と短蓄画像との露光比が２より大きい場合は（ステップＳ１０１、Ｙｅｓ）、続いてセンサモジュール１００は、第１フレームの露光信号を短蓄画像とするよう、第１フレーム及び第２フレームの露光時間を決定する（ステップＳ１０２）。ステップＳ１０２の決定処理は、例えば制御部１１２が実行する。

　一方、ステップＳ１０１の判定の結果、ＨＤＲ画像の基となる長蓄画像と短蓄画像との露光比が２以下の場合は（ステップＳ１０１、Ｎｏ）、続いてセンサモジュール１００は、第２フレームの露光信号を短蓄画像とするよう、第１フレーム及び第２フレームの露光時間を決定する（ステップＳ１０３）。ステップＳ１０３の決定処理は、例えば制御部１１２が実行する。

　第１フレーム及び第２フレームの露光時間を決定すると、続いてセンサモジュール１００は、ステップＳ１０２またはステップＳ１０３で決定した露光時間で撮像素子１１１を露光し、撮像素子１１１から第１フレームの露光信号を読み出す（ステップＳ１０４）。ステップＳ１０４の処理は、例えば制御部１１２が撮像素子１１１に対して露光信号を読み出すための信号を供給することによって行われる。

　撮像素子１１１から第１フレームの露光信号を読み出すと、続いてセンサモジュール１００は、読み出した第１フレームの露光信号を画像記憶部１２１に一時記憶する（ステップＳ１０５）。露光比が２より大きい場合は、この第１フレームの露光信号が短蓄画像となる。

　読み出した第１フレームの露光信号を画像記憶部１２１に一時記憶すると、続いてセンサモジュール１００は、ステップＳ１０２またはステップＳ１０３で決定した露光時間で撮像素子１１１を露光し、撮像素子１１１から第２フレームの露光信号を読み出す（ステップＳ１０６）。ステップＳ１０６の処理は、例えば制御部１１２が撮像素子１１１に対して露光信号を読み出すための信号を供給することによって行われる。

　撮像素子１１１から第２フレームの露光信号を読み出すと、続いてセンサモジュール１００は、読み出した第２フレームの露光信号を画像記憶部１２１に一時記憶する（ステップＳ１０７）。露光比が２以下の場合は、この第２フレームの露光信号が短蓄画像となる。

　読み出した第２フレームの露光信号を画像記憶部１２１に一時記憶すると、続いてセンサモジュール１００は、画像記憶部１２１に記憶されている第１フレームの露光信号及び第２フレームの露光信号を取得し、取得した第１フレームの露光信号及び第２フレームの露光信号を加算した加算信号を生成する（ステップＳ１０８）。ステップＳ１０５の加算信号の生成処理は、例えば後処理部１３２が実行する。センサモジュール１００は、加算信号を生成すると、生成した加算信号を画像記憶部１２１に一時記憶する。

　加算信号を生成すると、続いてセンサモジュール１００は、ステップＳ１０８で生成した加算信号を長蓄画像として、長蓄画像と短蓄画像と合成することでＨＤＲ画像を生成する（ステップＳ１０９）。ステップＳ１０９のＨＤＲ画像の生成処理は、例えば後処理部１３２が実行する。

　本開示の実施の形態に係るセンサモジュール１００は、係る動作を実行することで、露光比によってＨＤＲ画像の生成時に被写体が不自然な画像とならないようにＨＤＲ画像を生成することができる。

　ここで、上記一連の処理のステップＳ１０６で、長蓄画像と短蓄画像との露光比が２より大きいかどうかで処理を分けていることを説明する。

　図７は、本開示の実施の形態に係るセンサモジュール１００によるＨＤＲ画像の生成時の、露光比による短蓄画像の選択例を示す説明図である。図７に示した例では、いずれも、第１フレームと第２フレームとの間に空き時間が無いように露光を行っている。

　センサモジュール１００は、露光比が２以下の場合は、第２フレームの露光信号を短蓄画像に選択する。一方、センサモジュール１００は、露光比が２を超える場合は、第１フレームの露光信号を短蓄画像に選択する。

　このようにセンサモジュール１００は、露光比が２以下の場合と、２を超える場合とで、短蓄画像に選択するフレームを切り替えることで、長蓄画像の生成時に１番目のフレームと２番目のフレームにブランクが生じることを防ぐことが出来る。すなわち、本開示の実施の形態に係るセンサモジュール１００は、露光比が２以下の場合と、２を超える場合とで、短蓄画像に選択するフレームを切り替えることで、露光比によってＨＤＲ画像の生成時に被写体が不自然な画像とならないようにＨＤＲ画像を生成することができる。

　なお、上述した例では、センサモジュール１００は、露光比が２以下の場合と、２を超える場合とで、短蓄画像に選択するフレームを切り替えていたが、短蓄画像に選択するフレームを切り替える露光比は、係る例に限定されるものではない。

　また上述した例では、センサモジュール１００は、露光比が２以下の場合と、２を超える場合とで、短蓄画像に選択するフレームを切り替えていたが、被写体の明るさによって露光比が２前後となるような状況では、短蓄画像に選択するフレームが頻繁に切り替わってしまう。短蓄画像に選択するフレームが頻繁に切り替わると、生成するＨＤＲ画像に動く被写体が含まれている場合、被写体のブレの方向が頻繁に切り替わる。

　そこで、センサモジュール１００は、短蓄画像に選択するフレームが頻繁に切り替わることを回避するため、短蓄画像に選択するフレームが切り替わる露光比の近辺で、短蓄画像に選択するフレームの切り替わりにヒステリシスを設けても良い。例えば、センサモジュール１００は、露光比が大きくなる方向に変わっていく場合は、露光比が２倍ではなく例えば２．１倍となったところで第１フレームの露光信号を短蓄画像とするよう決定し、露光比が小さくなる方向に変わっていく場合は、露光比が２倍ではなく例えば１．９倍となったところで第２フレームの露光信号を短蓄画像とするよう決定してもよい。

　このように短蓄画像に選択するフレームが切り替わる露光比の近辺で、短蓄画像に選択するフレームの切り替わりにヒステリシスを設けることで、センサモジュール１００は、短蓄画像に選択するフレームが頻繁に切り替わることを回避することができる。

　露光時間の条件によっては、極めて短い時間で露光しなければ被写体が白飛びしてしまう場合もありうる。そして露光時間の条件によっては、第１フレームと第２フレームとの間にブランクが生じてしまう場合もあり得る。例えば、第１フレームのリード時間と第２フレームの露光時間とが重なる場合である。図８は、極めて短い時間で２つのフレームの露光を行う例を示す説明図である。例えば、センサモジュール１００は、露光比が高い場合では第１フレームを短蓄画像とするが、図８のように第１フレームと第２フレームとの間にブランクが生じてしまうと、長蓄画像として使用する画像に動きのある被写体が含まれていれば、その被写体が不自然なものとなる。

　そこでセンサモジュール１００は、露光時間の条件によっては、第１フレームと第２フレームとの間にブランクが生じてしまう場合、長蓄画像と短蓄画像との合成を行わず、短蓄画像だけを出力しても良い。センサモジュール１００は、露光時間の条件によっては長蓄画像と短蓄画像との合成を行わないようにすることで、動きのある被写体を撮像する場合であっても被写体が不自然なものとならないような画像を生成することが出来る。

　＜２．移動体への応用例＞
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。

　図９は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。

　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図９に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。

　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。

　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。

　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。

　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。

　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ　Ｄｒｉｖｅｒ　Ａｓｓｉｓｔａｎｃｅ　Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。

　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。

　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図９の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。

　図１０は、撮像部１２０３１の設置位置の例を示す図である。

　図１０では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。

　撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

　なお、図１０には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。

　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。

　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。

　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。

　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２０３１等に適用され得る。撮像部１２０３１等に本開示に係る技術が適用されることで、被写体に動いている物体が含まれる場合でも自然なＨＤＲ画像を生成することができる。

　＜３．まとめ＞
　以上説明したように本開示の実施の形態によれば、複数の画像を合成することでダイナミックレンジを拡張したＨＤＲ画像を生成する際に、露光比に応じて短蓄画像として使用するフレームを選択するセンサモジュール１００が提供される。

　本開示の実施の形態に係るセンサモジュール１００は、第１露光時間による第１露光で画素へ露光することで第１画像を生成し、第１画像に続いて第２露光時間による第２露光で画素へ露光することで第２画像を生成する。本開示の実施の形態に係るセンサモジュール１００は、第１画像及び第２画像を合成した合成画像と、第１画像または第２画像のいずれかから選択される選択画像と、を合成する際に、選択画像として選択する画像を、第１露光時間と第２露光時間との関係が所定の条件を満たした時点を境に切り替える。

　本開示の実施の形態に係るセンサモジュール１００は、係る構成を有することで、ＨＤＲ画像を生成する際に、露光比に応じて短蓄画像として使用するフレームを選択することで、動きのある被写体を撮像する場合であっても被写体が不自然なものとならないようなＨＤＲ画像を生成することが出来る。

　本明細書の各装置が実行する処理における各ステップは、必ずしもシーケンス図またはフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、各装置が実行する処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。

　また、各装置に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した各装置の構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供されることが可能である。また、機能ブロック図で示したそれぞれの機能ブロックをハードウェアまたはハードウェア回路で構成することで、一連の処理をハードウェアまたはハードウェア回路で実現することもできる。

　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　第１露光時間による第１露光で画素へ露光することで第１画像を生成し、該第１画像に続いて第２露光時間による第２露光で画素へ露光することで第２画像を生成する制御部と、
　前記第１画像及び前記第２画像を合成した合成画像と、前記第１画像または前記第２画像のいずれかから選択される選択画像と、を合成する合成部と、
を備え、
　前記制御部は、前記合成画像の露光時間と前記選択画像の露光時間との比である露光比に基づいて前記合成部で前記選択画像として選択される画像が切り替わるよう前記第１露光時間及び前記第２露光時間を決定する、撮像制御装置。
（２）
　前記制御部は、前記第１露光と前記第２露光との間に空き時間を入れない条件で前記画素へ露光させる、前記（１）に記載の撮像制御装置。
（３）
　前記合成部で合成された画像もしくは前記選択画像の少なくともいずれか一方を出力する出力部をさらに備え、
　前記出力部は、前記第１露光のリード時間と前記第２露光時間とが時間的に重なる場合では、前記選択画像のみを出力する、前記（１）または（２）に記載の撮像制御装置。
（４）
　前記第１露光時間は、前記第２露光時間以下である、請求項１に記載の撮像制御装置。
前記（１）～（３）のいずれかに記載の撮像制御装置。
（５）
　前記露光比が２より大きい場合は、前記選択画像として前記第１画像が選択され、前記露光比が２より小さい場合は、前記選択画像として前記第２画像が選択される、前記（４）に記載の撮像制御装置。
（６）
　前記制御部は、前記合成部で前記選択画像として選択される画像が切り替わる際にヒステリシスが生じるよう前記第１露光時間及び前記第２露光時間を決定する、前記（１）～（５）のいずれかに記載の撮像制御装置。
（７）
　第１半導体基板、第２半導体基板、第３半導体基板からなる３枚の半導体基板を積層して構成され、
　前記第１半導体基板には、前記画素が少なくとも形成され、
　前記第２半導体基板には、前記第１画像及び前記第２画像を記憶する記憶部が形成され、
　前記第３半導体基板には、前記制御部が少なくとも形成されている、前記（１）～（６）のいずれかに記載の画像処理装置。
（８）
　前記第２半導体基板が、前記第１半導体基板と前記第３半導体基板との間に設けられる、前記（７）に記載の画像処理装置。
（９）
　前記第３半導体基板が、前記第１半導体基板と前記第２半導体基板との間に設けられる、前記（７）に記載の画像処理装置。
（１０）
　第１露光時間による第１露光で画素へ露光することで第１画像を生成し、該第１画像に続いて第２露光時間による第２露光で画素へ露光することで第２画像を生成することと、
　前記第１画像及び前記第２画像を合成した合成画像と、前記第１画像または前記第２画像のいずれかから選択される選択画像と、を合成することと、
　前記合成画像の露光時間と前記選択画像の露光時間との比である露光比に基づいて、前記選択画像として選択される画像が切り替わるよう前記第１露光時間及び前記第２露光時間を決定することと、
を含む、撮像制御方法。
（１１）
　コンピュータに、
　第１露光時間による第１露光で画素へ露光することで第１画像を生成し、該第１画像に続いて第２露光時間による第２露光で画素へ露光することで第２画像を生成することと、
　前記第１画像及び前記第２画像を合成した合成画像と、前記第１画像または前記第２画像のいずれかから選択される選択画像と、を合成することと、
　前記合成画像の露光時間と前記選択画像の露光時間との比である露光比に基づいて、前記選択画像として選択される画像が切り替わるよう前記第１露光時間及び前記第２露光時間を決定することと、
を実行させる、コンピュータプログラム。
（１２）
　前記（１）～（１０）のいずれかに記載の撮像制御装置を備える、電子機器。

　１０　　　電子機器
　１００　　センサモジュール

Claims (12)

1. 　第１露光時間による第１露光で画素へ露光することで第１画像を生成し、該第１画像に続いて第２露光時間による第２露光で画素へ露光することで第２画像を生成する制御部と、
   　前記第１画像及び前記第２画像を合成した合成画像と、前記第１画像または前記第２画像のいずれかから選択される選択画像と、を合成する合成部と、
   を備え、
   　前記制御部は、前記合成画像の露光時間と前記選択画像の露光時間との比である露光比に基づいて前記合成部で前記選択画像として選択される画像が切り替わるよう前記第１露光時間及び前記第２露光時間を決定する、撮像制御装置。
2. 　前記制御部は、前記第１露光と前記第２露光との間に空き時間を入れない条件で前記画素へ露光させる、請求項１に記載の撮像制御装置。
3. 　前記合成部で合成された画像もしくは前記選択画像の少なくともいずれか一方を出力する出力部をさらに備え、
   　前記出力部は、前記第１露光のリード時間と前記第２露光時間とが時間的に重なる場合では、前記選択画像のみを出力する、請求項１に記載の撮像制御装置。
4. 　前記第１露光時間は、前記第２露光時間以下である、請求項１に記載の撮像制御装置。
5. 　前記露光比が２より大きい場合は、前記選択画像として前記第１画像が選択され、前記露光比が２より小さい場合は、前記選択画像として前記第２画像が選択される、請求項４に記載の撮像制御装置。
6. 　前記制御部は、前記合成部で前記選択画像として選択される画像が切り替わる際にヒステリシスが生じるよう前記第１露光時間及び前記第２露光時間を決定する、請求項１に記載の撮像制御装置。
7. 　第１半導体基板、第２半導体基板、第３半導体基板からなる３枚の半導体基板を積層して構成され、
   　前記第１半導体基板には、前記画素が少なくとも形成され、
   　前記第２半導体基板には、前記第１画像及び前記第２画像を記憶する記憶部が形成され、
   　前記第３半導体基板には、前記制御部が少なくとも形成されている、請求項１に記載の画像処理装置。
8. 　前記第２半導体基板が、前記第１半導体基板と前記第３半導体基板との間に設けられる、請求項７に記載の画像処理装置。
9. 　前記第３半導体基板が、前記第１半導体基板と前記第２半導体基板との間に設けられる、請求項７に記載の画像処理装置。
10. 　第１露光時間による第１露光で画素へ露光することで第１画像を生成し、該第１画像に続いて第２露光時間による第２露光で画素へ露光することで第２画像を生成することと、
    　前記第１画像及び前記第２画像を合成した合成画像と、前記第１画像または前記第２画像のいずれかから選択される選択画像と、を合成することと、
    　前記合成画像の露光時間と前記選択画像の露光時間との比である露光比に基づいて、前記選択画像として選択される画像が切り替わるよう前記第１露光時間及び前記第２露光時間を決定することと、
    を含む、撮像制御方法。
11. 　コンピュータに、
    　第１露光時間による第１露光で画素へ露光することで第１画像を生成し、該第１画像に続いて第２露光時間による第２露光で画素へ露光することで第２画像を生成することと、
    　前記第１画像及び前記第２画像を合成した合成画像と、前記第１画像または前記第２画像のいずれかから選択される選択画像と、を合成することと、
    　前記合成画像の露光時間と前記選択画像の露光時間との比である露光比に基づいて、前記選択画像として選択される画像が切り替わるよう前記第１露光時間及び前記第２露光時間を決定することと、
    を実行させる、コンピュータプログラム。
12. 　請求項１に記載の撮像制御装置を備える、電子機器。

Images