JP6593581B2 - 画質調整装置並びにカメラユニット - Google Patents

Description

本発明は、画像信号に基づきホワイトバランスの調整値を算出する画質調整装置等に関する。

特許文献１はホワイトバランス調整装置を開示する。ホワイトバランス調整装置は画像内にホワイトバランス用の測光範囲を設定する。ストロボの利用時には測光範囲は画像全体から画像の局部に狭められる。こうして確実にストロボの閃光に応じてホワイトバランスの調整値は算出される。ストロボの色温度に応じて画像の色は本来の色に調整されることができる。

特開平７−１５４８１４号公報

屋外の撮像では画像の一部に空が映されることもある。こうした場合に、空の青さに応じてホワイトバランスの調整値が算出されると、太陽光で照らされる被写体は赤味や黄色味を帯びてしまう。本来の色から外れ色の再現性が悪化してしまう。特に、撮像された画像が画像認識に利用される場合などには、色の誤認は、画像認識を利用した処理動作に誤動作を引き起こすおそれがあり、望ましくない。特許文献１は一部に空を映す画像に言及しない。

本発明は、屋外の撮像でも、より適切に色を再現することができる画質調整装置を提供することを目的とする。

本発明の一形態は、一部に空を映す画像を特定する画像信号を受信する受信部と、前記画像で前記空以外の範囲にホワイトバランス用の測光範囲を設定する測光範囲設定部と、前記測光範囲の画像信号に基づきホワイトバランスの調整値を算出する算出部とを備える画質調整装置に関する。

画質調整装置では、ホワイトバランスの調整値の算出にあたって測光範囲の画像信号が用いられる。このとき、太陽光に比べて青い青空は測光範囲から除外される。青空の色温度ではなく太陽光の色温度に基づきホワイトバランスの調整値は算出される。その結果、画像全体は太陽光に応じて自然な色合いで再現される。その一方で、空の青さに応じてホワイトバランスの調整値が算出されると、太陽光で照らされる被写体は赤味や黄色味を帯びてしまう。

前記測光範囲設定部は、画像に描かれ地面からの前記画質調整装置を搭載したカメラユニットの設置高さを示す仮想的な高さ線よりも下方に設定される枠で前記測光範囲を仕切ってもよい。仮想的な高さ線は画像内で地平線に相当する。したがって、枠で規定される測光範囲には撮像装置の設置高さよりも低い位置しか映り込まない。確実に測光範囲から空は除外されることができる。

前記測光範囲設定部は、前記空の色温度または輝度が所定の色温度または輝度よりも低い場合には、前記仮想的な高さ線よりも上方の範囲を含むように、前記枠の大きさを変更してもよい。変更された枠の測光範囲には撮像装置の設置高さよりも高い位置の被写体が映り込む。こうして画像内で測光の対象物は増加する。広い選択肢の中から測光の対象物は選び出されることができる。画像は高い精度で色温度を反映することができる。

前記測光範囲設定部は、前記画像の色温度または輝度が第１閾値を上回ると、前記仮想的な高さ線よりも上方の範囲を含む枠で規定される測光範囲から、前記仮想的な高さ線よりも下方に描かれる枠で規定される測光範囲に変更し、前記画像の色温度または輝度が前記第１閾値よりも小さい第２閾値を下回ると、前記仮想的な高さ線よりも下方に描かれる枠で規定される測光範囲から、前記仮想的な高さ線よりも上方の範囲を含む枠で規定される測光範囲に変更してもよい。こうした設定によれば、第１閾値と第２閾値との間で色温度または輝度が変動しても、枠で規定される測光範囲の変更は控えられる。頻繁なホワイトバランスの調整値の変化は回避されることができる。

前記測光範囲設定部は、前記第１閾値および前記第２閾値の間で前記色温度または前記輝度の値に応じて前記枠で規定される測光範囲の大きさを前記色温度または前記輝度が小さくなるにつれて除々に大きくなる様に変化させてもよい。こうして色温度または輝度の度合いに応じて測光範囲を変化させると、色味の急激な変化は避けられ、時間的に色合いが徐々に変化し、閾値を境に画像の色味が突然変わることがなくなり、見た目の違和感が軽減される。枠の大きさの変化には、線形補間が用いられてもよく、対数補間やその他の補間方法が用いられてもよい。

画質調整装置はカメラユニットに組み込まれて利用されてもよい。

以上のように開示の装置によれば、屋外の撮像でも、より適切に色を再現することができる画質調整装置を提供される。

一実施形態に係る自動車を概略的に示す斜視図である。 第１実施形態に係る画質調整装置を含むカメラユニットの構成を概略的に示すブロック図である。 第１枠で仕切られる測光範囲を示す概念図である。 第２枠で仕切られる測光範囲を示す概念図である。 晴天時に第１枠の測光範囲に基づき再現された画像の一例である。 晴天時に第２枠の測光範囲に基づき再現された画像の一例である。 夜間走行中に第２枠の測光範囲に基づき再現された画像の一例である。 夜間走行中に第１枠の測光範囲に基づき再現された画像の一例である。 第２実施形態に係る画質調整装置を含むカメラユニットの構成を概略的に示すブロック図である。

以下、添付図面を参照しつつ本発明の一実施形態を説明する。

図１は一実施形態に係る自動車１１を概略的に示す。自動車（移動体）１１の車体１２には運転支援装置１３が搭載される。運転支援装置１３はナビゲーション装置１４を備える。ナビゲーション装置１４はディスプレイパネル（表示装置）を有する。ディスプレイパネルは例えば自動車１１のダッシュボードに設置されることができる。ディスプレイパネルの表示画面には地図その他の情報が表示されることができる。

運転支援装置１３はカメラユニット１６を備える。カメラユニット１６は例えば車体１２の前部に設置される。カメラユニット１６は例えば自動車１１のフロントバンパーに取り付けられる。カメラユニット１６の光軸１７は例えば自動車１１が置かれる地面に対して平行に設定される。カメラユニット１６は車体１２前方の被写体を撮像する。ここでは、光軸１７に対して平行方向および垂直方向にいずれも少なくとも±９０°の画角範囲で被写体の撮像画像は取得される。こうした画角範囲の実現にあたってカメラユニット１６では例えば魚眼レンズや広角レンズが用いられることができる。

カメラユニット１６は撮像画像に基づき画像信号を生成する。カメラユニット１６はナビゲーション装置１４に接続される。ナビゲーション装置１４にはカメラユニット１６から画像信号が供給される。ディスプレイパネルの表示画面には画像信号に基づき車体１２前方の画像が映し出されることができる。撮像画像は例えば自動車１１の自動運転やブレーキ支援システムなどに利用されることができる。例えば画像認識技術に基づき車体１２前方の環境は把握されることができる。

図２はカメラユニット１６の構成を概略的に示す。カメラユニット１６はイメージセンサ２１を備える。イメージセンサ２１は画像信号を出力する。画像信号は個々の画素ごとに赤（Ｒ）、緑（Ｇ）および青（Ｂ）の値を特定する。赤（Ｒ）、緑（Ｇ）および青（Ｂ）に応じて画素ごとに色は再現される。こうした画素の集合体で画像は形成される。

カメラユニット１６は画質調整装置２２を備える。第１実施形態に係る画質調整装置２２はイメージセンサ２１に接続される。画像の画質は画質調整装置２２の働きで高められる。画質の調整にあたって画質調整装置２２は、イメージセンサ２１の動作を制御してイメージセンサ２１から出力されるＲＧＢ値を変化させたり、信号処理に基づき画像信号中のＲＧＢ値を変化させたりする。画質調整装置２２は自然な色合いの画像の生成に寄与する。

イメージセンサ２１は撮像素子２３を備える。撮像素子２３は個々の画素ごとにＲ信号、Ｇ信号およびＢ信号を出力する。個々の信号で赤の光量、緑の光量および青の光量は特定される。撮像素子２３には例えばＣＣＤ素子やＣＭＯＳ素子が用いられる。撮像素子２３は、決められた露光時間で露光を実施する。露光時間は、撮像素子２３に入力される制御信号に基づき設定される。

イメージセンサ２１はアナログアンプ２４を備える。アナログアンプ２４は撮像素子２３に接続される。アナログアンプ２４には撮像素子２３からアナログの撮像信号が供給される。アナログアンプ２４は決められたゲイン値でＲ信号、Ｇ信号およびＢ信号を増幅する。ゲイン値は、アナログアンプ２４に入力されるゲイン信号に基づき設定される。

画質調整装置２２はＩＳＰ（イメージシグナルプロセッサ）２５を備える。ＩＳＰ２５には自動露出（ＡＥ）回路２６が組み込まれる。自動露出回路２６はイメージセンサ２１に接続される。自動露出回路２６からイメージセンサ２１に露光時間の制御信号およびゲイン信号が供給される。自動露出回路２６は受信部２７から受信した画像の輝度値に応じて露光時間およびゲイン値を設定する。露光時間およびゲイン値は輝度の指標として機能することができる。

ＩＳＰ２５は受信部２７を備える。受信部２７はイメージセンサ２１に接続される。イメージセンサ２１から受信部２７に画像信号が供給される。受信部２７はアナログアンプ２４で増幅された画像信号を受信する。受信部２７ではデジタルのＲＧＢ値が特定される。例えば、Ｒ値、Ｇ値およびＢ値はそれぞれ２５６階調で表現される。

ＩＳＰ２５はホワイトバランス調節部２８を備える。ホワイトバランス調節部２８は受信部２７に接続される。ホワイトバランス調節部２８には受信部２７から画像信号が供給される。ホワイトバランス調節部２８は画像信号にホワイトバランスの処理を施す。ホワイトバランスの処理ではホワイトバランスの調整値に応じてＲＧＢ値が調節される。

ＩＳＰ２５は算出部２９を備える。算出部２９は受信部２７およびホワイトバランス調節部２８に接続される。算出部２９には受信部２７から測光範囲の画像信号が供給される。測光範囲は測光信号に基づき特定される。ホワイトバランス調節部２８には算出部２９から調整値信号が供給される。調整値信号ではホワイトバランスの調整値が特定される。算出部２９は、測光範囲の画像信号に基づきホワイトバランスの調整値を算出する。調整値の算出にあたって算出部２９は測光範囲内で最も明るい画素を抽出する。例えば測光範囲全体の総和でのＧの合計値を基準にＲの合計値、Ｂの合計値が均一になる様に調整値（倍率）が設定される。こうした調整値の算出やホワイトバランスの処理には一般に知られる手法が用いられればよい。

画質調整装置２２はマイクロコンピュータ（マイコン）３１を備える。マイコン３１はＩＳＰ２５に接続される。マイコン３１は輝度検出部３２を備える。輝度検出部３２にはＩＳＰ２５の自動露出回路２６から露光時間の制御信号およびゲイン信号が供給される。輝度検出部３２は露光時間およびアナログゲイン値に応じて画像の輝度を特定する。一般には、画像が明るいほど、露光時間は短縮され、ゲイン値は縮小される。ここでは、露光時間とゲイン値との積で画像の輝度は特定される。

マイコン３１は測光範囲設定部３３を備える。測光範囲設定部３３はＩＳＰ２５の算出部２９に接続される。測光範囲設定部３３は算出部２９に測光信号を供給する。測光信号の供給にあたって、測光範囲設定部３３は画像の色温度または輝度に応じてホワイトバランス用の測光範囲を設定する。色温度信号または輝度信号は輝度検出部３２から測光範囲設定部３３に供給される。

図３および図４に示されるように、測光範囲の設定にあたって測光範囲設定部３３は画像上に第１枠ＦＲおよび第２枠ＳＤを特定する。第１枠ＦＲは、画像に描かれ地面からのイメージセンサ２１の設置高さを示す仮想的な高さ線ＬＮよりも下方に描かれる四角い枠で測光範囲を仕切る。図３に示されるように、第１枠ＦＲは、一部に空を映す画像で空以外の範囲に測光範囲を区画する。消失点で設置高さが無視できる程度の高さであれば、光軸１７が地面に平行に設定されるとき、仮想的な高さ線ＬＮは画像内で消失点を通過する横方向の直線で特定される。魚眼レンズの場合には、光軸１７が前下がりに傾斜すると仮想的な高さ線ＬＮは凸形状に湾曲する。傾斜が大きいほど、湾曲の曲率は縮小する。

第２枠ＳＤは、仮想的な高さ線ＬＮよりも上方の範囲を含むように、第１枠ＦＲの四角い枠から拡張された四角い枠で測光範囲を仕切る。図４に示されるように、第２枠ＳＤは、一部に空を映す画像で空以外の範囲に加えて空を含む範囲に測光範囲を区画する。第１枠ＦＲおよび第２枠ＳＤは画像の色温度または輝度の第１閾値（例えば色温度であれば５５００ケルビン、輝度であれば５０００ルクス）および第１閾値より小さい第２閾値（例えば色温度であれば２８００ケルビン、輝度であれば１０００ルクス）に基づき交互に切り替えられる。第２閾値は、第１閾値よりも小さい。画像の色温度または輝度が第１閾値を上回ると、第２枠ＳＤから第１枠ＦＲに測光範囲は切り替えられる。画像の色温度または輝度が第２閾値を下回ると、第１枠ＦＲから第２枠ＳＤに測光範囲は切り替えられる。第１閾値および第２閾値はメモリ３４に格納されればよい。

次に画質調整装置２２の動作を説明する。例えば自動車１１の走行中、図５に示されるようにカメラユニット１６は車体１２前方の被写体を撮像する。ここでは、仮想的な高さ線ＬＮは画像の上下方向中央近くに位置することから、画像の上半分に空が映り込む。晴天の場合、画像全体は明るいことから、測光範囲設定部３３では第１閾値を上回る色温度または輝度を認定する。したがって、測光範囲設定部３３は第１枠ＦＲで測光範囲を仕切る。仮想的な高さ線ＬＮは画像内で地平線に相当する。四角い枠の測光範囲にはカメラユニット１６の設置高さよりも低い位置しか映り込まない。確実に測光範囲から空は除外される。

算出部２９は、空以外の範囲に設定される測光範囲の画像信号に基づきホワイトバランスの調整値を算出する。地表部分と比較し輝度が高い青空は測光範囲から除外され、ホワイトバランスの調整値は算出される。その結果、画像全体は自然な色合いで再現される。輝度の第１閾値には、例えば５０００ルクス程度が設定されればよい。その一方で、空の青さを含んだ測光画像を基にホワイトバランスの調整値が算出されると、図６に示されるように、太陽光で照らされる被写体は赤味や黄色味を帯びてしまう。こうして屋外の撮像でも、より適切に色は再現される。

夜間の場合、画像全体は暗いことから、測光範囲設定部３３では第２閾値を下回る輝度を認定する。したがって、測光範囲設定部３３は第２枠ＳＤで測光範囲を仕切る。測光範囲は第１枠ＦＲから第２枠ＳＤに変更される。変更された四角い枠の測光範囲にはカメラユニット１６の設置高さよりも高い位置の被写体が映り込む。こうして画像内で測光の対象物は増加する。広い選択肢の中から測光の対象物は選び出されることができる。画像は高い精度で輝度を反映することができる。仮に測光範囲に空が含まれても、画像は自然な色合いで再現されることができる。信号や標識の色は正確に再現されることができる。

本実施形態では第２枠ＳＤから第１枠ＦＲへの切り替えにあたって第１閾値が用いられ、第１枠ＦＲから第２枠ＳＤへの切り替えにあたって第２閾値が用いられる。こうした設定によれば、第１閾値と第２閾値との間で輝度が変動しても、四角い枠の変更は控えられる。第１閾値と第２閾値との間で輝度が変動しても四角い枠の変更は行わない。頻繁なホワイトバランス動作の変更は回避されることができる。第１閾値および第２閾値の間には頻繁な変更を回避することができる程度の輝度の差が設定されればよい。ここでは、５０００ルクスの第１閾値に対して例えば１０００ルクス程度が第２閾値に設定されればよい。

例えばカメラユニット１６が車体１２の後部に設置されると、夜間の走行中に路面はブレーキランプの赤い光で照らされてしまう。ここでは、測光範囲設定部３３は第２枠ＳＤで測光範囲を仕切ることから、ブレーキランプから十分に離れた光源が測光範囲に含まれることができる。その結果、図７に示されるように、自然な色合いで画像は再現されることができる。その一方で、測光範囲が第１枠ＦＲで固定されると、図８に示されるように、赤い光で照らされた白線や路面標示に基づきホワイトバランスの処理が施されてしまう。その結果、ブレーキランプで照らされて赤みを帯びるべき白線は赤味を失ってしまう。画像は全体的に不自然な色合いに映ってしまう。

ＩＳＰ２５の算出部２９は測光範囲全域の画素に基づきホワイトバランスの調整値（倍率）を算出してもよい。このとき、測光範囲設定部３３は第１閾値および第２閾値の間で輝度の程度に応じて測光範囲の大きさを徐々に変化させてもよい。例えば、第１閾値が５０００ルクスであって第２閾値が１０００ルクスのとき、第１枠ＦＲの上辺が画像の上端から２４０ドット下方に位置し、第２枠ＳＤの上辺が画像の上端から４０ドット下方に位置すると、第２閾値から輝度が増加するにつれて、２０ルクスごとに１ドットで枠の上辺は画像の上端に近づけばよい。こうして輝度の度合いに応じて徐々に測光範囲を変化させると、色味の急激な変化は避けられ、色合いが徐々に変化し、見た目の違和感が軽減される。例えば、トンネルに出入りするとき、入り口から遠ざかるにつれて徐々に暗くなり、出口に近づくにつれて徐々に明るくなるので、測光範囲が徐々に変化すると、色合いも徐々に変化する。枠の大きさの変化には、こうした線形補間が用いられてもよく、対数補間やその他の補間方法が用いられてもよい。

図９は第２実施形態に係る画像調整装置２２ａの構成を概略的に示す。画像調整装置２２ａのマイコン３１ａは色温度検出部３６を備える。色温度検出部３６はＩＳＰ２５の算出部２９に接続される。色温度検出部３６には算出部２９からホワイトバランスの調整値が供給される。色温度検出部３６はＲ値の調整値（ゲイン）とＧ値の調整値（ゲイン）とＢ値の調整値（ゲイン）との比率から色温度を算出する。Ｒ値ゲイン／Ｇ値ゲインといった比率およびＢ値ゲイン／Ｇ値ゲインといった比率と色温度計などで測定した色温度とが関連づけられればよい。例えば、Ｒ値ゲインが２倍で、Ｇ値ゲインが２倍で、Ｂ値ゲインが１倍であれば、色温度５５００ケルビンの太陽光が想定される。Ｒ値ゲインが１．５倍で、Ｇ値ゲインが１倍で、Ｂ値ゲインが１．５倍であれば、色温度３８００ケルビンの蛍光灯が想定され、Ｒ値ゲインが１倍で、Ｇ値ゲインが２倍で、Ｂ値ゲインが２倍であれば、色温度２８００ケルビンのハロゲン光が想定される。

ここでは、測光範囲設定部３７は色温度に応じてホワイトバランス用の測光範囲を設定する。色温度は色温度信号に基づき特定される。色温度信号は色温度検出部３６から測光範囲設定部３７に供給される。画像の色温度が第１閾値を上回ると、第２枠ＳＤから第１枠ＦＲに測光範囲は切り替えられる。画像の色温度が第２閾値を下回ると、第１枠ＦＲから第２枠ＳＤに測光範囲は切り替えられる。第１閾値および第２閾値はメモリ３４に格納されればよい。第１閾値には例えば太陽光の色温度が設定されればよく、第２閾値には例えば日の入り時の色温度が設定されればよい。なお、こうして色温度がＲ値ゲイン、Ｇ値ゲインおよびＢ値ゲインから算出され、Ｒ値ゲイン、Ｇ値ゲインおよびＢ値ゲインは測光範囲内のＲＧＢバランスから算出されるので、循環したフィードバック制御となる。そのため、値のハンチングに注意するとよい。また、この場合でも、第１実施形態に係る画質調整装置２２と同様に、測光範囲設定部３７は第１閾値および第２閾値の間で色温度の程度に応じて測光範囲の大きさを徐々に変化させてもよい。その他、測光範囲設定部３７の構成および動作は、色温度の判断以外、前述の測光範囲設定部３３のそれらと同様である。

なお、前述のマイコン３１、３１ａの機能はＩＳＰ２５にハードウェアまたはソフトウェアとして組み込まれてもよい。第１枠ＦＲおよび第２枠ＳＤは必ずしも四角い必要はなくその他の形状で仕切られてもよい。

１１ 移動体（自動車）、１６ カメラユニット、２２ 画質調整装置、２２ａ 画質調整装置、２７ 受信部、２９ 算出部、３３ 測光範囲設定部。

Claims (3)

1. 一部に空を映す画像を特定する画像信号を受信する受信部と、
   前記画像で前記空以外の範囲にホワイトバランス用の測光範囲を設定する測光範囲設定部と、
   前記測光範囲の画像信号に基づきホワイトバランスの調整値を算出する算出部とを備え、
   前記測光範囲設定部は、
   画像に描かれ地面からの画質調整装置を搭載したカメラユニットの設置高さを示す仮想的な高さ線よりも下方に設定される枠で前記測光範囲を仕切り、前記空の色温度または輝度が所定の色温度または輝度よりも低い場合には、前記仮想的な高さ線よりも上方の範囲を加えるように、前記枠の大きさを変更し、
   前記画像の色温度または輝度が第１閾値を上回ると、前記仮想的な高さ線よりも上方の範囲を含む枠で規定される測光範囲から、前記仮想的な高さ線よりも下方に描かれる枠で規定される測光範囲に変更し、前記画像の色温度または輝度が前記第１閾値よりも小さい第２閾値を下回ると、前記仮想的な高さ線よりも下方に描かれる枠で規定される測光範囲から、前記仮想的な高さ線よりも上方の範囲を含む枠で規定される測光範囲に変更することを特徴とする画質調整装置。
2. 請求項１に記載の画質調整装置において、前記測光範囲設定部は、前記第１閾値および前記第２閾値の間で色温度または輝度の値に応じて前記枠で規定される測光範囲の大きさを前記色温度または前記輝度が小さくなるにつれて除々に大きくなる様に変化させることを特徴とする画質調整装置。
3. 請求項１または２に記載の画質調整装置を備えることを特徴とするカメラユニット。