JP6833751B2 - 撮像制御装置、撮像装置、及び撮像制御方法 - Google Patents

Description

本発明の実施形態は、撮像制御装置、撮像装置及び撮像制御方法に関する。

幅広いダイナミックレンジを表現した画像であるハイダイナミックレンジ画像を得るために、短露光時間の第１画像と、短露光画像よりも露光時間の長い長露光時間の第２画像とを合成し、合成画像を得るハイダイナミックレンジ合成（ＨＤＲＩ：ＨｉｇｈＤｙｎａｍｉｃ Ｒａｎｎｇｅ Ｉｍａｇｉｎｇ）が行われている。この合成画像には、画素値が所定値以上の飽和画素および画素値が所定値以下の黒画素が含まれる。これらの飽和画素数および黒画素数を目標の数にする露光時間の撮像制御が知られている。

ところが、このような飽和画素数および黒画素数を目標の数にする露光時間の撮像制御では、画像の輝度が変動し、視認しにくい合成画像が合成されてしまう恐れがある。

米国特許第７３８２９３１号公報

合成画像の輝度の調整と、飽和画素数および黒画素数の少なくとも一方との調整とが可能な撮像制御装置、撮像装置及び撮像制御方法を提供する。

本実施形態によれば、撮像制御装置は合成部と、露光時間制御部とを備える。合成部は、第１露光時間で撮像された第１画像と、第１露光時間よりも長い第２露光時間で撮像された第２画像とに基づき、合成画像を合成する。露光時間制御部は、合成画像における画素値が所定値以上の飽和画素および画素値が所定値以下の黒画素のうちの少なくとも一方の数と、合成画像の輝度に関する値とに基づき、第１露光時間および第２露光時間のうちの少なくとも一方を制御する。

一実施形態に係る撮像装置の全体構成を示すブロック図。 露光時間制御部の詳細な構成を示すブロック図。 第１露光時間の制御概念図。 第２露光時間の制御概念図。 第１および第２露光時間の制御概念図。 第１露光時間の制御例を示すフローチャート。 第２露光時間の制御例を示すフローチャート。 処理効果例を示す図。 分岐数を増加させた場合の第１および第２露光時間の制御概念図。 分岐数を増加させた場合の第１露光時間の制御例を示すフローチャート。 分岐数を増加させた場合の第２露光時間の制御例を示すフローチャート。

以下、本発明の実施形態に係る撮像装置について、図面を参照しながら詳細に説明する。なお、以下に示す実施形態は、本発明の実施形態の一例であって、本発明はこれらの実施形態に限定して解釈されるものではない。また、本実施形態で参照する図面において、同一部分又は同様な機能を有する部分には同一の符号又は類似の符号を付し、その繰り返しの説明は省略する場合がある。また、図面の寸法比率は説明の都合上実際の比率とは異なる場合や、構成の一部が図面から省略される場合がある。

（一実施形態）
図１は、一実施形態に係る撮像装置１の全体構成を示すブロック図である。図１に示すように、撮像装置１は、ハイダイナミックレンジ合成（ＨＤＲＩ：Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ Ｉｍａｇｉｎｇ）を行う装置であり、カメラ１０と、撮像制御装置２０とを備えて構成されている。

カメラ１０は、露光時間の異なる複数の画像を取得可能な装置であり、第１カメラ１００と、第２カメラ１０２とを有している。第１カメラ１００は、例えば画素を２次元の平面状に配置したイメージングセンサであり、撮像制御装置２０から入力された第１露光時間Ｔ１を含む制御信号により第１画像を撮像する。

第２カメラ１０２は、第１カメラ１００と同等の構成であり、撮像制御装置２０から入力された第２露光時間Ｔ２を含む制御信号により第２画像を撮像する。第１露光時間Ｔ１と第２露光時間Ｔ２とが異なる場合には、第１露光時間Ｔ１より第２露光時間Ｔ２を長くする。すなわち、ｌｏｗ画素露光側のカメラが第１カメラ１００であり、ｈｉｇｈ画素露光側のカメラが第２カメラ１０２である。

撮像制御装置２０は、ハイダイナミックレンジ合成した合成画像を生成するとともに、カメラ１０の露光時間を制御する装置である。この撮像制御装置２０は、合成部２００と、露光時間制御部２０２とを有している。

合成部２００は、第１露光時間Ｔ１により撮像された第１画像と、第２露光時間Ｔ２により撮像された第２画像と、を合成する。すなわち、合成倍率は、Ｔ２／Ｔ１となる。

ただし、ｌｏｗ画素のフィルタとしてｈｉｇｈ画素の透過率の１／Ｎ （Ｎ＞＝１） 倍のフィルタを使用することがあり、その場合の合成倍率は Ｎ＊Ｔ２／Ｔ１ と表される。本明細書には簡単のため Ｎ＝１ の （フィルタの透過率がｈｉｇｈとｌｏｗで同じ）場合についてのみ記載するが、これに限定されない。

露光時間制御部２０２は、第１露光時間Ｔ１および第２露光時間Ｔ２を含む制御信号を生成し、カメラ１０を制御する。露光時間制御部２０２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を含んだ構成にしてもよい。

図２は、露光時間制御部２０２の詳細な構成を示すブロック図である。図２に示すように、露光時間制御部２０２は、飽和画素数検知部２０４と、黒画素数検知部２０６と、
制御部２０８と、を備えて構成されている。

飽和画素数検知部２０４は、合成部２００により合成された合成画像の中から画素値が所定値以上の飽和画素を検出する。すなわち、所定値は、合成画像のダイナミックレンジにより規定される画素であり、例えば最大画素値に対応する。

黒画素数検知部２０６は、合成部２００により合成された合成画像の中から画素値が所定値以下の黒画素を検出する。すなわち、所定値は、合成画像のダイナミックレンジにより規定される画素値であり、例えばカメラ１０を遮光した状態で撮像した画像の画素値の平均値に対応する。

制御部２０８は、飽和画素数検知部２０４により検知された飽和画素および黒画素数検知部２０６により検知された黒画素のうちの少なくとも一方の数と、合成部２００により合成された合成画像の輝度に関する値とに基づき、第１露光時間および第２露光時間のうちの少なくとも一方を制御する。輝度に関する値は、例えば合成画像の平均輝度、合成画像の中間値などの合成画像における画素値の統計量である。なお、合成画像の画素値は輝度値に対応する。

図３は、第１露光時間Ｔ１の制御概念図である。図３に示すように、制御部２０８は、平均輝度が目標値より高い場合には、平均輝度が低下するように第１露光時間Ｔ１を現状の第１露光時間Ｔ１よりも短くする。また、飽和画素数が目標値より多い場合には、飽和画素数が減るように第１露光時間Ｔ１を現状の第１露光時間Ｔ１より短くする。一方で、制御部２０８は、平均輝度が目標値より低い場合には、平均輝度が増加するように第１露光時間Ｔ１を現状の第１露光時間Ｔ１よりも長くする。また、飽和画素数が目標値より少ない場合には飽和画素数が増えるように第１露光時間Ｔ１を現状の第１露光時間Ｔ１よりも長くする。一方、黒画素数に関しては、第１画像の各画素値に合成倍率をかけることにより、黒画素値より大きい値となるうえ、黒画素値付近の暗い画像領域はより長い露光時間で撮像された第２画像の画素値を使う方がノイズの少ない良好な画像に合成できるため、合成画像における黒画素には第１画像の黒画素は使われず、よって合成画像における黒画素数は第１露光時間Ｔ１により調整できない。このように、制御部２０８は、合成画像の平均輝度値が目標値に近づくように、第１露光時間Ｔ１を調整するＡＥ（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）機能を有する。

図４は、第２露光時間Ｔ２の制御概念図である。図４に示すように、制御部２０８は、平均輝度が目標値より高い場合には、平均輝度が低下するように第２露光時間Ｔ２を現状の第２露光時間Ｔ２よりも短くする。また、黒画素数が目標値より多い場合には、黒画素数が減るように第２露光時間Ｔ２を現状の第２露光時間Ｔ２より長くする。一方で、制御部２０８は、平均輝度が目標値より低い場合には、平均輝度が増加するように第２露光時間Ｔ２を現状の第２露光時間Ｔ２よりも長くする。また、黒画素数が目標値より少ない場合には、黒画素数が増えるように第２露光時間Ｔ２を現状の第２露光時間Ｔ２より短くする。一方、飽和画素数に関しては、第２画像の飽和部分は第１画像の画素に合成倍率をかけた画素値となるため、第２画像の画素は使われず、合成画像における飽和画素数は第２露光時間Ｔ２により調整できない。このように、制御部２０８は、合成画像の平均輝度値が目標値に近づくように、第２露光時間Ｔ２を調整するＡＥ（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）機能を有する。

図５は、合成画像の画素数の割合と第１および第２露光時間の制御との制御概念図である。上側の棒グラフは、横軸が各合成画像を示し、縦軸が、飽和画素、黒画素、それ以外の画素の割合を濃淡で示している。図５では、白が飽和画素の割合を示し、黒が黒画素の割合を示している。３種類の模様は、飽和画素および黒画素以外の画素の割合を示し、模様の相違で平均輝度を示している。

棒グラフの下側の図では、ｌｏｗ画素露光が第１露光時間Ｔ１に対応し、ｈｉｇｈ画素露光が第２露光時間Ｔ２に対応し、第１露光時間Ｔ１と第２露光時間Ｔ２との比率が合成倍率に対応している。上向きの矢印は増加を示し、下向きの矢印は減少を示し、「―」は、増減が無いことを示している。右端の棒グラフが目標値の例を示している。すなわち、右端の棒グラフの飽和画素数の割合が目標飽和画素数に対応し、黒画素数の割合が目標黒画素数に対応し、グレーが飽和画素および黒画素以外の画素数の色が目標輝度値に対応する。

図５に示すように、制御部２０８は、飽和画素数に応じて第１露光時間（ｌｏｗ画素露光の時間）Ｔ１を増減させており、輝度値に関する値（平均輝度値）が目標値より高い場合と、輝度値に関する値が目標値より低い場合とで、第１露光時間Ｔ１増減量を異ならせている。このように、輝度と飽和画素数に応じて第１露光時間Ｔ１を増減させるので、輝度と飽和画素数とを考慮した第１露光時間Ｔ１の制御が可能となる。例えば、制御部２０８は、輝度値に関する値が目標値より高い場合には、飽和画素数が目標値より少ない場合に、第１露光時間Ｔ１を減少させ、輝度値に関する値が目標値より低い場合には、飽和画素数が目標値より少ない場合に、第１露光時間Ｔ１を増加させる制御を行う。

また、制御部２０８は、黒画素数に応じて第２露光時間（ｈｉｇｈ画素露光の時間）Ｔ２を増減させており、輝度値に関する値が目標値より高い場合と、輝度値に関する値が目標値より低い場合とで、第２露光時間Ｔ２の増減量を異ならせている。このように、輝度と黒画素数に応じて第２露光時間Ｔ２を増減させるので、輝度と黒画素数とを考慮した第２露光時間Ｔ２の制御が可能となる。例えば、制御部２０８は、輝度値に関する値が目標値より高く、黒画素数が目標値より少ない場合に、第２露光時間Ｔ２を減少させ、輝度値に関する値が目標値より低く、黒画素数が目標値より少ない場合に、第２露光時間Ｔ２を増加させる制御を行う。

図６は、図５に示す制御例をフロ−チャートにした図であり、第１露光時間Ｔ１の制御例を示すフローチャートである。図６に示すように、まず、制御部２０８は、合成画像の平均輝度値と目標値を比較する（ステップＳ１００）。

平均輝度値が目標値の所定範囲よりも低い場合（ステップＳ１００のａ）に、飽和画素数が飽和画素数目標値よりも多いか少ないかを判定する（ステップＳ１０２）、飽和画素数が飽和画素数目標値以下の場合（ステップＳ１０２のＮＯ）、制御部２０８は、第１露光時間Ｔ１を増加させる制御を行う（ステップＳ１０４）。一方で、飽和画素数が飽和画素数目標値よりも少ない場合（ステップＳ１０２のＹＥＳ）、制御部２０８は、第１露光時間Ｔ１を減少させる制御を行う（ステップＳ１０４）。

一方で、平均輝度値が目標値の所定範囲内の場合（ステップＳ１００のｂ）に
、制御部２０８は、飽和画素数と飽和画素数目標値とを比較する（ステップＳ１０８）。
飽和画素数が目標値の所定範囲よりも少ない場合（ステップＳ１０８のａ）、制御部２０８は、第１露光時間Ｔ１を増加させる制御を行う（ステップＳ１１０）。一方で、飽和画素数が目標値の所定範囲内の場合（ステップＳ１０８のｂ）、制御部２０８は、第１露光時間Ｔ１を維持させる制御を行う（ステップＳ１１２）。一方で、飽和画素数が目標値の所定範囲内よりも多い場合（ステップＳ１０８のｃ）、制御部２０８は、第１露光時間Ｔ１を減少させる制御を行う（ステップＳ１１４）。

一方で、平均輝度値が目標値の所定範囲内よりも高い場合（ステップＳ１００のｃ）に、飽和画素数が飽和画素数目標値よりも多いか少ないかを判定する（ステップＳ１１６）、飽和画素数が飽和画素数目標値よりも少ない場合（ステップＳ１１６のＹＥＳ）、制御部２０８は、第１露光時間Ｔ１を微減させる制御を行う（ステップＳ１１８）。一方で、飽和画素数が飽和画素数目標値以上の場合（ステップＳ１１６のＮＯ）、制御部２０８は、第１露光時間Ｔ１を減少させる制御を行う（ステップＳ１２０）。

図７は、図５に示す制御例をフロ−チャートにした図であり、第２露光時間Ｔ２の制御例を示すフローチャートである。図６に示すように、まず、制御部２０８は、合成画像の平均輝度値と目標値を比較する（ステップＳ１００）。

平均輝度値が目標値の所定範囲よりも低い場合（ステップＳ１００のａ）に、黒画素数が黒画素数目標値よりも多いか少ないかを判定する（ステップＳ２０２）、黒画素数が黒画素数目標値以上の場合（ステップＳ２０２のＮＯ）、制御部２０８は、第２露光時間Ｔ２を増加させる制御を行う（ステップＳ２０４）。一方で、黒画素数が黒画素数目標値よりも少ない場合（ステップＳ２０２のＹＥＳ）、制御部２０８は、第２露光時間Ｔ２を微増させる制御を行う（ステップＳ２０６）。

一方で、平均輝度値が目標値の所定範囲内の場合（ステップＳ１００のｂ）、制御部２０８は、黒画素数と黒画素数目標値とを比較する（ステップＳ２０８）。黒画素数が目標値の所定範囲よりも多い場合（ステップＳ２０８のａ）、制御部２０８は、第２露光時間Ｔ２を増加させる制御を行う（ステップＳ２１０）。一方で、黒画素数が目標値の所定範囲内の場合（ステップＳ２０８のｂ）、制御部２０８は、第２露光時間Ｔ２を維持させる制御を行う（ステップＳ２１２）。一方で、黒画素数が目標値の所定範囲よりも少ない場合（ステップＳ２０８のｃ）、制御部２０８は、第２露光時間Ｔ２を減少させる制御を行う（ステップＳ２１４）。

一方で、平均輝度値が目標値の所定範囲内よりも高い場合（ステップＳ１００のｃ）に、黒画素数が黒画素数目標値よりも多いか少ないかを判定する（ステップＳ２１６）、黒画素数が黒画素数目標値よりも大きい場合（ステップＳ２１６のＹＥＳ）、制御部２０８は、第２露光時間Ｔ２を増加させる制御を行う（ステップＳ２１８）。一方で、黒画素数が黒画素数目標値以下の場合（ステップＳ２１６のＮＯ）、制御部２０８は、第２露光時間Ｔ２を減少させる制御を行う（ステップＳ２２０）。

なお、制御部２０８は、第１露光時間Ｔ１を微減させる場合には、例えば、現在の第１露光時間Ｔ１をｐ倍にする。例えばｐ＝０．９などであり、制御部２０８内のレジスタに設定されている。同様に、制御部２０８は、第１露光時間Ｔ１を減少させる場合には、例えば、現在の第１露光時間Ｔ１をｒ倍にする。例えばｒ＝０．７などであり、制御部２０８内のレジスタに設定されている。同様に、制御部２０８は、第１露光時間Ｔ１を大幅に減少させる場合には、例えば、現在の第１露光時間Ｔ１をｖ倍にする。例えばｖ＝０．５などであり、制御部２０８内のレジスタに設定されている。

制御部２０８は、第１露光時間Ｔ１を微増させる場合には、現在の第１露光時間Ｔ１をｑ倍にする。例えばｑ＝１．１などであり、制御部２０８内のレジスタに設定されている。同様に、制御部２０８は、第１露光時間Ｔ１を増加させる場合には、現在の第１露光時間Ｔ１をｓ倍にする。例えばｓ＝１．３などであり、制御部２０８内のレジスタに設定されている。同様に、制御部２０８は、第１露光時間Ｔ１を大幅に増加させる場合には、現在の第１露光時間Ｔ１をｕ倍にする。例えばｕ＝１．５などであり、制御部２０８内のレジスタに設定されている。

また、制御部２０８は、第２露光時間Ｔ２の増減も第１露光時間Ｔ１の増減と同様の処理を行う。すなわち、制御部２０８は、第２露光時間Ｔ２を微減させる場合には、例えば、現在の第２露光時間Ｔ２をｐ倍にする。例えばｐ＝０．９などであり、制御部２０８内のレジスタに設定されている同様に、制御部２０８は、第２露光時間Ｔ２を減少させる場合には、例えば、現在の第２露光時間Ｔ２をｒ倍にする。例えばｒ＝０．７などであり、制御部２０８内のレジスタに設定されている。同様に、制御部２０８は、第２露光時間Ｔ２を大幅に減少させる場合には、例えば、現在の第１露光時間Ｔ１をｖ倍にする。例えばｖ＝０．５などであり、制御部２０８内のレジスタに設定されている。

制御部２０８は、第２露光時間Ｔ２を微増させる場合には、現在の第２露光時間Ｔ２をｑ倍にする。例えばｑ＝１．１などであり、制御部２０８内のレジスタに設定されている。同様に、制御部２０８は、第２露光時間Ｔ２を増加させる場合には、現在の第２露光時間Ｔ２をｓ倍にする。例えばｓ＝１．３などであり、制御部２０８内のレジスタに設定されている。同様に、制御部２０８は、第２露光時間Ｔ２を大幅に増加させる場合には、現在の第２露光時間Ｔ２をｕ倍にする倍にする。例えばｕ＝１．５などであり、制御部２０８内のレジスタに設定されている。

制御部２０８は、平均輝度を目標値に近づける処理例として、輝度を増加させる場合に、現在の平均輝度のｔ＝１．４倍にし、下げる場合に、現在の平均輝度のｔ＝０．６倍にする。

また、制御部２０８は、第１露光時間Ｔ１を微減、減、大幅減する場合に、第１露光時間Ｔ１に、（目標値／飽和数）をγ乗して乗算してもよい。例えば、γは、微減の場合に０．１であり、減の場合に０．２であり、大幅減の場合に０．３である。一方で、制御部２０８は、微増、増、大幅増する場合に、第１露光時間Ｔ１に、（目標値／飽和数）をβ乗して乗算してもよい。例えば、βは、微幅の場合に０．１であり、幅の場合に０．２であり、大幅幅の場合に０．３である。

同様に、制御部２０８は、第２露光時間Ｔ２を微減、減、大幅減する場合に、第１露光時間Ｔ１に、（目標値／黒画素数）をγ乗して乗算してもよい。例えば、γは、微減の場合に０．１であり、減の場合に０．２であり、大幅減の場合に０．３である。一方で、制御部２０８は、微増、増、大幅増する場合に、第２露光時間Ｔ２に、（目標値／黒画素数）をβ乗して乗算してもよい。例えば、βは、微増の場合に０．１であり、増の場合に０．２であり、大幅増の場合に０．３である。

さらにまた、制御部２０８は、第１露光時間Ｔ１を微減、減、大幅減する場合に、第１露光時間Ｔ１に、（１＋（目標値／飽和数−１））×δを乗算してもよい。例えば、δは、微減の場合に０．１であり、減の場合に０．２であり、大幅減の場合に０．３である。一方で、制御部２０８は、微増、増、大幅増する場合に、第１露光時間Ｔ１に、（１＋（目標値／飽和数−１））×θを乗算してもよい。例えば、θは、微増の場合に０．１であり、増の場合に０．２であり、大幅増の場合に０．３である。

同様に、制御部２０８は、第２露光時間Ｔ２を微減、減、大幅減する場合に、第２露光時間Ｔ２に、（１＋（目標値／黒画素数−１））×δを乗算してもよい。例えば、δは、微減の場合に０．１であり、減の場合に０．２であり、大幅減の場合に０．３である。一方で、制御部２０８は、微増、増、大幅増する場合に、第１露光時間Ｔ１に、（１＋（目標値／黒画素数−１））×θを乗算してもよい。例えば、θは、微増の場合に０．１であり、増の場合に０．２であり、大幅増の場合に０．３である。

図８は、処理効果例を示す図である。左側の図は、人間の視覚特性を示す図であり、中図は、輝度調整をせずに、飽和画素数および黒画素数の調整をした例を示す図であり、右図は、本実施形態の撮像制御装置２０により輝度調整と、飽和画素数および黒画素数の調整とをした例を示す図である。左図の縦軸は輝度を示し、横軸は視覚感度を示す。中図および右図の縦軸は輝度を示し、横軸は画素数を示す。

左図の視覚感度に示すように、人間の目の輝度感度は例えば平均輝度を含み高輝度側の視覚感度が、低輝度側よりも高いと言われている。これに対して、輝度調整をしなかった中図では、平均輝度の値が左図よりも低輝度側となり、視認しづらい画像となっている。一方で、輝度調整をした右図では、平均輝度の値が中図よりも高輝度側となり、中図よりも視認しやすい画像となっている。このように、輝度調整と、飽和画素数および黒画素数の調整とをした場合には、平均輝度を人間の視覚感度に調整できるとともに、飽和画素数および黒画素数の調整も可能となる。

図９は、処理分岐数を増加させた場合の第１および第２露光時間の制御概念図である。上側の棒グラフは、横軸が各合成画像を示し、縦軸が、飽和画素、黒画素、それ以外の画素の割合を濃淡で示している。図９では、白が飽和画素の値を示し、黒が黒画素の割合を示している。３種類の模様は、飽和画素および黒画素以外の画素の割合を示し、模様の相違で平均輝度を示している。

棒グラフの下側の図では、ｌｏｗ画素露光が第１露光時間Ｔ１に対応し、ｈｉｇｈ画素露光が第２露光時間Ｔ２に対応し、第１露光時間Ｔ１と第２露光時間Ｔ２との比率を合成倍率で示している。上向きの矢印は増加を示し、下向きの矢印は減少を示し、「―」は、増減が無いことを示している。また、矢印の数と長さで第１露光時間Ｔ１と第２露光時間Ｔ２との増減量を示している。右端の棒グラフが目標値の例を示している。すなわち、右端の棒グラフの飽和画素数が目標飽和画素数の割合に対応し、黒画素数が目標黒画素数の割合に対応し、グレーが飽和画素および黒画素以外の画素の目標輝度値に対応する。

図１０は、図９に示す制御例をフロ−チャートにした図であり、第１露光時間Ｔ１の制御例を示すフローチャートである。図６に示すように、まず、制御部２０８は、合成画像の平均輝度値と目標値を比較する（ステップＳ１００）。

平均輝度値が目標値の所定範囲よりも低い場合（ステップＳ１００のａ）に、制御部２０８は、飽和画素数と飽和画素数目標値とを比較する（ステップＳ３０２）。飽和画素数が目標値の所定範囲よりも少ない場合（ステップＳ３０２のａ）、制御部２０８は、第１露光時間Ｔ１を大幅に増加させる制御を行う（ステップＳ３０４）。一方で、飽和画素数が目標値の所定範囲内の場合（ステップＳ３０４のｂ）、制御部２０８は、第１露光時間Ｔ１を増加させる制御を行う（ステップＳ３０６）。一方で、飽和画素数が目標値の所定範囲よりも多い場合（ステップＳ３０２のｃ）、制御部２０８は、第１露光時間Ｔ１を減少させる制御を行う（ステップＳ３０８）。

一方で、平均輝度値が目標値の所定範囲内の場合（ステップＳ１００のｂ）に、制御部２０８は、飽和画素数と飽和画素数目標値とを比較する（ステップＳ３１０）。
飽和画素数が目標値の所定範囲よりも小さい場合（ステップＳ３１０のａ）、制御部２０８は、第１露光時間Ｔ１を増加させる制御を行う（ステップＳ３１２）。一方で、飽和画素数が目標値の所定範囲内の場合（ステップＳ３１０のｂ）、制御部２０８は、第１露光時間Ｔ１を維持させる制御を行う（ステップＳ３１４）。一方で、飽和画素数が目標値の所定範囲内のよりも大きい場合（ステップＳ３１０のｃ）、制御部２０８は、第１露光時間Ｔ１を減少させる制御を行う（ステップＳ３１６）。

一方で、平均輝度値が目標値の所定範囲内よりも高い場合（ステップＳ１００のｃ）に、飽和画素数が目標値の所定範囲よりも小さい場合（ステップＳ３１８のａ）、制御部２０８は、を微減させる制御を行う（ステップＳ３２０）。一方で、飽和画素数が目標値の所定範囲内の場合（ステップＳ３１８のｂ）、制御部２０８は、第１露光時間Ｔ１を減少させる制御を行う（ステップＳ３２２）。一方で、飽和画素数が目標値の所定範囲内よりも大きい場合（ステップＳ３１８のｃ）、制御部２０８は、第１露光時間Ｔ１を大幅に減少させる制御を行う（ステップＳ３２４）。このように、露光時間制御部２０２の制御部２０８は、飽和画素数が目標値の所定範囲内である場合、飽和画素数が目標値の所定範囲よりも多い場合、および飽和画素数が目標値の所定範囲よりも少ない場合のいずれかに応じて第１露光時間Ｔ１の増減量を変更する。

図１１は、図９に示す制御例をフロ−チャートにした図であり、第２露光時間Ｔ２の制御例を示すフローチャートである。図１１に示すように、まず、制御部２０８は、合成画像の平均輝度値と目標値を比較する（ステップＳ１００）。

平均輝度値が目標値の所定範囲よりも低い場合（ステップＳ１００のａ）に、制御部２０８は、黒画素数と黒画素数目標値とを比較する（ステップＳ４０２）。黒画素数が目標値の所定範囲よりも少ない場合（ステップＳ４０２のａ）、制御部２０８は、第２露光時間Ｔ２を微増させる制御を行う（ステップＳ４０４）。一方で、黒画素数が目標値の所定範囲内の場合（ステップＳ４０２のｂ）、制御部２０８は、第２露光時間Ｔ２を増加させる制御を行う（ステップＳ４０６）。一方で、黒画素数が目標値の所定範囲内のよりも多いい場合（ステップＳ４０２のｃ）、制御部２０８は、第２露光時間Ｔ２を大幅に増加させる制御を行う（ステップＳ４０８）。

一方で、平均輝度値が目標値の所定範囲内の場合（ステップＳ１００のｂ）に、制御部２０８は、黒画素数と黒画素数目標値とを比較する（ステップＳ４１０）。黒画素数が目標値の所定範囲よりも少ない場合（ステップＳ４１０のａ）、制御部２０８は、第２露光時間Ｔ２を減少させる制御を行う（ステップＳ４１２）。一方で、黒画素数が目標値の所定範囲内の場合（ステップＳ４１０のｂ）、制御部２０８は、第２露光時間Ｔ２を維持させる制御を行う（ステップＳ４１４）。一方で、黒画素数が目標値の所定範囲内のよりも多い場合（ステップＳ４１０のｃ）、制御部２０８は、第２露光時間Ｔ２を増加させる制御を行う（ステップＳ４１６）。

一方で、平均輝度値が目標値の所定範囲内よりも高い場合（ステップＳ１００のｃ）に、制御部２０８は、黒画素数と黒画素数目標値とを比較する（ステップＳ４１８）。黒画素数が目標値の所定範囲よりも少ない場合（ステップＳ４１８のａ）、制御部２０８は、第２露光時間Ｔ２を大幅に減少させる制御を行う（ステップＳ４２０）。一方で、黒画素数が目標値の所定範囲内の場合（ステップＳ４１８のｂ）、制御部２０８は、第２露光時間Ｔ２を減少させる制御を行う（ステップＳ４２２）。一方で、黒画素数が目標値の所定範囲内のよりも多い場合（ステップＳ４１８のｃ）、制御部２０８は、第２露光時間Ｔ２を増加させる制御を行う（ステップＳ４２４）。このように、露光時間制御部２０２の制御部２０８は、黒画素数が目標値の所定範囲内である場合、黒画素数が目標値の所定範囲よりも多い場合、および黒画素数が目標値の所定範囲よりも少ない場合のいずれかに応じて第２露光時間Ｔ２の増減量を変更する。

以上のように、本実施形態によれば、露光時間制御部２０２が、合成画像における画素値が所定値以上の飽和画素および画素値が所定値以下の黒画素のうちの少なくとも一方の数と、合成画像の輝度に関する値とに基づき、第１露光時間および第２露光時間のうちの少なくとも一方を制御することとした。これにより、飽和画素および黒画素のうちの少なくとも一方の数と、輝度に関する値との双方を考慮した第１露光時間および第２露光時間の制御が可能となる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として例示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１：撮像装置、 カメラ１０：撮像制御装置、２００：合成部、２０２：露光時間制御部

Claims (8)

1. 第１露光時間で撮像された第１画像と、前記第１露光時間よりも長い第２露光時間で撮像された第２画像とに基づき、合成画像を合成する合成部と、
   前記合成画像における画素値が所定値以上の飽和画素および画素値が所定値以下の黒画素のうちの少なくとも一方の数と、前記合成画像の輝度値に関する値とに基づき、前記第１露光時間および前記第２露光時間のうちの少なくとも一方を制御する露光時間制御部と、
   を備え、
   前記露光時間制御部は、前記飽和画素数に応じて前記第１露光時間を増減させており、前記輝度値に関する値が目標値より高い場合と、前記輝度値に関する値が目標値より低い場合とで、異なる増減量とする、撮像制御装置。
2. 前記露光時間制御部は、
   前記輝度値に関する値が目標値より高く、前記飽和画素数が前記目標値より少ない場合に、前記第１露光時間を減少させ、
   前記輝度値に関する値が前記目標値より小さく、前記飽和画素数が前記目標値より少ない場合に、前記第１露光時間を増加させる、請求項項１に記載の撮像制御装置。
3. 第１露光時間で撮像された第１画像と、前記第１露光時間よりも長い第２露光時間で撮像された第２画像とに基づき、合成画像を合成する合成部と、
   前記合成画像における画素値が所定値以上の飽和画素および画素値が所定値以下の黒画素のうちの少なくとも一方の数と、前記合成画像の輝度値に関する値とに基づき、前記第１露光時間および前記第２露光時間のうちの少なくとも一方を制御する露光時間制御部と、
   を備え、
   前記露光時間制御部は、前記飽和画素数に応じて前記第１露光時間を増減させており、前記輝度値に関する値が目標値から所定の範囲内にある場合には、
   前記飽和画素数が前記目標値より少ない場合に、第１露光時間を増加させ、
   前記飽和画素数が前記目標値より多い場合に、第１露光時間を減少させる、撮像制御装置。
4. 前記露光時間制御部は、飽和画素数が目標値の所定範囲内である場合、飽和画素数が目標値の所定範囲よりも多い場合、および飽和画素数が目標値の所定範囲よりも少ない場合のいずれかに応じて第１露光時間の増減量を変更する、請求項１乃至３のいずれか一項に記載の撮像制御装置。
5. 前記露光時間制御部は、黒画素数に応じて第２露光時間を増減させており、前記輝度値に関する値が目標値より大きい場合と、前記輝度値に関する値が目標値より小さい場合とで、異なる増減量とする、請求項１乃至４のいずれか一項に記載の撮像制御装置。
6. 前記露光時間制御部は、
   前記輝度値に関する値が目標値より大きく、前記黒画素数が目標値より少ない場合に、第２露光時間を減少させ、
   前記輝度値に関する値が目標値より小さく、前記黒画素数が目標値より少ない場合に、第２露光時間を増加させる、請求項５に記載の撮像制御装置。
7. 前記露光時間制御部は、前記黒画素に応じて第２露光時間を増減させており、前記輝度値に関する値が目標値から所定の範囲内にある場合には、
   前記黒画素数が前記目標値より少ない場合に、第２露光時間を減少させ、
   前記黒画素数が前記目標値より多い場合に、第２露光時間を増加させる、請求項１乃至６のいずれか一項に記載の撮像制御装置。
8. 前記露光時間制御部は、黒画素数が目標値の所定範囲内である場合、黒画素数が目標値の所定範囲よりも多い場合、および黒画素数が目標値の所定範囲よりも少ない場合のいずれかに応じて第２露光時間の増減量を変更する、請求項１乃至７のいずれか一項に記載の撮像制御装置。

Images