JP5716944B2 - 車載カメラ装置 - Google Patents

Description

本発明は、外部環境下に置かれたカメラによって取得された撮影画像から表示画像を生成してモニタに出力するカメラ装置、特に車両に搭載された車載カメラ装置に関する。

例えば、最近、自動車の後部に取り付けられたカメラによる撮影画像を処理して、死角の少ないバックミラー代わりとなる後方風景画像や自車を上方から見た俯瞰画像を表示画像として生成してモニタに出力する駐車支援装置が提案されている。

後進駐車の場合頻繁にブレーキ操作が行われることによりブレーキランプが点いたり消えたりする。つまり、カメラの撮影条件のひとつである照明光特性が頻繁に変化し、これにより路面の色や隣接する自動車の塗装色が変化し、モニタでの表示再現性が低下し、見づらい画面となる。このような現象は、ブレーキランプだけでなく、ハザードランプ、ウィンカー、テールランプ、ヘッドランプ等、車両周辺を照明する光源の点滅による環境光の変化によっても同様に生じる。さらには、太陽の向きや突然の陰りなど気象条件によってもモニタでの表示再現性が低下する。このような問題を解決するため、車両周辺の外光状態に応じた輝度補正のためのテンプレートを予め複数用意しておき、車載カメラで取得された撮影画像をその撮影画像の撮影時の外光状態に対応するテンプレートを使って撮影画像を輝度補正した後、モニタ表示ための表示画像を生成する駐車支援装置が提案されている（例えば、特許文献１参照）。この装置では、外光の変化に応じた輝度値を画素単位でもつことになる撮影画像に対して、撮像時の外光状態の輝度補正のためのテンプレートを使って輝度補正を行うことでモニタでの表示再現性を高めている。そのためにはテンプレートの予めの作成が重要となるが、この特許文献によれば、例えば、１８０種類の色補正用テンプレートが予め実験で求められて作成され、その時々の外光条件（車両に装備されている各ランプの点灯） に基づいて選択され、ランプ点灯による反射光を除去する色補正（輝度補正）されている。
しかしながら、この特許文献１による技術では、多数の色補正用のテンプレートを予め作成する必要があるばかりか、そのテンプレートを瞬時に選択可能に格納しておき、そのようなテンプレートを選択しながらの色補正を行う必要がある。このような色補正処理をリアルタイムで行うためには、高価な高速の画像処理モジュールが要求される。

上述したようなテンプレートを必要としない色補正方法として表示装置に表示した基準色画像を撮像し変換係数及び原色信号の夫々に対応するガンマ特性を求め、求めたガンマ特性に基づいてガンマ変換するガンマ変換手段と、入力された被処理画像を線形信号に変換した後、求めた変換係数に基づいてマトリクス変換するマトリクス変換手段とを用いて、全ての色再現範囲において正確な色変換を行うことの方法が知られている（例えば、特許文献２参照）。しかしながら、この色補正方法では、外部の表示装置(モニタ)に表示させた基準色画像と、この基準色画像を撮像して得られた撮像画像とを一致させて色補正を行うため、色補正を行う度にカメラを表示装置の前に移動させて撮影を行わなければならない。

特開２００７−２４３４６４号公報（段落番号０００３−００２０、０１１２、図１） 特開２００９−１７２０９号公報（段落番号００１２−００１３、図１）

上記実状に鑑み、本発明の目的は、簡単な構成で、車載カメラによる撮影画像のモニタにおける色の表示再現性を良好にする技術を提供することである。

上記目的を達成するため、本発明に係る車載カメラ装置の特徴構成は、車両に搭載された車載カメラと、前記車載カメラの撮影領域内に配置された基準色担体と、前記車載カメラの撮影画像から前記基準色担体の画像部分を参照画像として抽出する画像抽出部と、前記抽出された参照画像と予め登録されている基準画像とに基づいて前記参照画像の色かぶりを抑制するよう算定された目標色変換曲線に対応して調整された色変換曲線を用いて、前記撮影画像のうちモニタ表示される画像の全領域又は前記撮影画像の全領域の色補正を行う色補正部とを備えていることである。

この特徴構成によれば、車載カメラで取得された撮影画像には基準色が付与されている物体としての基準色担体が撮影画像に映っている。よって、この画像部分を参照画像として、つまりこの参照画像の色が予め規定されている本来の色つまり基準色となるように、撮影画像を色補正することで、色の表示再現性に優れた画像をモニタに表示させることができる。本発明による車載カメラ装置では、日中の太陽光下、電球や蛍光灯などの人工光下、曇天時や早朝といった、色温度が大きく異なり、色に影響を及ぼす種々の撮影条件で取得された撮影画像であっても、基準色に対応した色を有する参照画像に基づいてその参照画像の色が本来の基準色となるように撮影画像が色補正されて、出力される。

本発明の好適な実施形態の１つでは、前記画像抽出部は前記撮影画像から前記基準色担体の画像部分を排除した画像領域を前記車両に搭載されたモニタに表示用画像として出力する。当初の撮影画像に含まれている基準色担体の画像部分は色補正に利用されるものであり、運転支援等のために車載モニタに表示する必要はなく、むしろその画像部分は邪魔となる。従って、車載カメラが取得した撮影画像から基準色担体の画像部分を除外した領域から任意に選択された画像部分をモニタ表示画像としてトリミングし、そのトリミングされた画像部分をモニタ画面サイズ等に合わせる処理をすることで、運転支援等の目的に最適な画角で適正な色を有するモニタ表示画像が出力される。

この車載カメラが乗用車に搭載される場合、運転支援等でバックカメラとして適用され、死角を可能な限り少なくするため超広角レンズが使用される。したがって、一般的には所定の塗装色が施されているバンパーをその撮影領域の下方端領域に入れることは容易である。従って、本発明の好適な実施形態の１つでは、前記基準色担体は所定の基準色を施したバンパーとされている。この実施形態では、車両の一部として装備され所定色で塗装されているとともに、車載カメラで容易に撮影視野に入れることができるバンパーを基準色担体として兼用することで、特別に基準色担体を用意しなくてもよい。バンパーの塗装色はユーザの好みに応じて任意に選択されるが、乗用車の工場出荷時にはその塗装色のデータは工場側で把握できているので、その塗装色が基準画像の基準色となるように車載カメラ装置を設定しておくことで、本発明における、撮影画像のモニタでの良好な色再現性の利益を受けることができる。

本発明による車載カメラ装置の基本的な原理を図解説明するための説明図である。 本発明による車載カメラ装置を搭載した車両の一部を切り欠いて運転席を見た斜視図である。 本発明による車載カメラ装置を構成するカメラ制御ユニット及びその他のユニットの機能を示す機能ブロック図である。 色補正処理の一例を示すフローチャート 別な実施形態でのカメラ制御ユニットの機能を示す機能ブロック図である。

最初に、図１に示された図解を用いて本発明の基本的な原理を説明する。
ここでは、車載カメラは、図２で示されているように、車両の一例としての乗用車１の後部に装備されたバックカメラ８であり、基準色担体は、所定色度を有する基準色（例えば青色）で塗装された後部バンパー１ａとする。車載カメラ装置が起動すると、バックカメラ８が撮影を開始し、撮影画像が生成される（＃０１）。この撮影画像には、通常の車両後方の風景だけでなく、その下端領域にバンパー１ａが映し込まれるように、バックカメラ８の撮影レンズと画角とが設定されている。この撮影画像から、車両後方の風景である、特に運転支援に有効な画像領域とみなされる車両後方画像領域（以下単に車両後方画像）がトリミング抽出されるとともに（＃０２）、バンパー１ａの他部品が取り付いていない箇所の画像領域である参照画像領域とがトリミング抽出される（＃０３）。トリミング抽出された参照画像領域（以下単に参照画像と称する）は、予め登録されている基準画像と色比較処理される（＃０４）。この色比較処理では、画像処理の分野でよく知られているように、参照画像の画像データ（ＲＧＢデータ、ＣＭＹデータ、ＨＳＶデータなど）と、基準画像の画像データを統計学的な処理を通じて対比して、最新の撮影画像から抽出された参照画像が基準画像に対してどの色相の傾向でどの程度の色かぶりを表しているかが評価される。次に、この色かぶり評価（色かぶりデータ）に基づいて、色補正処理で用いられる色変換曲線（実際的には色補正ＬＵＴ：ルックアップテーブル）を調整するための調整係数を算出する（＃０５）。具体的には、青色に赤色がかぶっている場合にはマゼンタ成分が少なくなるような調整係数が算出される。ただし、直接色値を調整するよりまえに、明るさやコントラストを調整した方が自然な画像が得られることも考えられるので、本発明における色変換曲線の考え、つまり色補正処理には、明るさ補正やコントラス補正も色を補正することになるので、これらの補正のための補正曲線も色補正を目的としている限りにおいて、本発明の色変換曲線含まれている。

調整係数が算出されると、この調整係数を用いて色変換曲線の形状姿勢が調整される（＃０６）。次に、ステップ＃０２でトリミング抽出された車両後方画像が、この調整された色変換曲線を用いて色補正処理が施される（＃０７）。この色補正処理が施されることにより、日中の太陽光下、電球や蛍光灯などの人工光下、曇天時や早朝といった色温度が大きく異なる環境下、といった色に影響を及ぼす種々の撮影条件で取得された撮影画像であっても、本来の色をできるだけ保持した色再現性の良い車両後方画像となり、モニタ１０での表示目的のために送り出される。送り出された色補正済み車両後方画像は、モニタ表示制御処理を通じて運転支援のためのガイドラインや案内メッセージが合成され（＃０８）、最終的にモニタ１０の画面に表示される（＃０９）。

参照画像を用いた色変換曲線の調整は、演算処理の負担を考慮して、一般的には、所定の間隔で実行され、調整された色変換曲線は、次の参照画像に基づく調整係数の算出が行われるまで、そのまま維持される。色に影響を及ぼす撮影条件の変化を検出する機能が備えられている場合には、所定以上の条件変化が生じた時のみ、色変換曲線の調整を行うようにするとよい。

図２に車両１の基本構成が示されており、運転席３の周辺には、回転操作力を前車輪２ｆに伝えて駆動操向を行うステアリング４、走行速度を制御するシフトレバー５やアクセルペダル６、前車輪２ｆ及び後車輪２ｒに制動力を作用させるブレーキペダル７が配置されている。さらに、運転席３の近傍のコンソールの上部位置には表示面にタッチパネル１０Ｔが形成されたモニタ１０が備えられている。モニタ１０の両側面にはスピーカ１１が備えられている。尚、スピーカ１１はドアの内側やその他の車両内装面に設けてもよい。本発明の車載カメラ装置の重要な構成要素の１つである車載カメラは、車両１の後部バンパー１ａの上方に設けられた、車両周辺を撮影するバックカメラ８である。モニタ１０は、バックライトを備えた液晶式のものである。もちろん、プラズマ表示型のものやＣＲＴ型のものであっても良い。また、このモニタにはタッチパネルが取り付けられており、指等の接触位置をロケーションデータとして出力する。なお、モニタ１０は運転支援システムの表示装置として用いられる。

バックカメラ８はＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）などの撮像素子を内蔵するとともに、撮影した情報をリアルタイムで動画情報として出力するデジタルカメラである。バックカメラ８には超広角レンズが装備されており、その撮影視野の下端領域にバンパー１ａが入るようにその画角が設定されているとともに、車両１の後方約８ｍ程度までの領域を車両後方画像領域としている。

図中２０は、車両１における各種電子制御を行うＥＣＵ（electronic control unit）を内蔵している電子制御ボックスである。本発明に特に関係するいくつかのＥＣＵの機能を模式的に示す機能ブロック図が図３に示されている。各ＥＣＵは、コンピュータを中核要素として構成されており、そのネットワーク機能を用いて相互のデータ伝送が可能となっている。図３には、ＥＣＵとして、センサ信号処理ユニット３０と、本発明による車載カメラ装置の制御ユニットであるカメラ制御ユニット４０と、車両状態／車両周辺状態検出ユニット５０と、駐車支援ユニット６０と、モニタ表示制御ユニット７０とが示されている。

センサ信号処理ユニット３０は、前述した各種センサ等からの信号を内部的に演算可能なデータに変換して、そのようなデータを要求している各ＥＣＵに送信する。このセンサ信号データを受け取った各ＥＣＵは、演算処理によって生成されたデータを演算結果データとしてさらにこれを要求する各ＥＣＵに送信する。

車両状態／車両周辺状態検出ユニット５０は、走行データ等の車両状態に関する情報、及び障害物検出データや障害物追従データや道路や駐車場などの走行路データ等の車両周辺状態に関する情報を生成する機能を有する。例えば、注意すべき走行障害物までの距離や車両１との相対位置関係は、衝突予知センサ９などのセンサ信号データに基づいて演算し、さらにはその衝突の可能性も推定することができる。ここで生成された障害物検知データは、駐車支援ユニット６０に送られる。

駐車支援ユニット６０自体は公知であるので、ここでは詳しく説明しないが、この駐車支援ユニット６０によって作り出される機能として、駐車支援画像生成機能と、駐車目標位置設定機能と、誘導機能と、移動状態検出機能などが挙げられる。駐車支援画像生成機能によって駐車支援に関するイメージ情報が生成され、モニタ１０に表示される。駐車目標位置設定機能によって、運転者は、車両１を駐車させる目標位置を設定することができる。誘導機能は、現在位置から駐車目標位置へ車両１を誘導する経路を演算する。移動状態検出機能は、誘導経路に沿って移動する車両１の移動状態を検出し、この検出結果に基づいて車両１の移動中の位置誤差が演算される。

カメラ制御ユニット４０は、図３に示すように、バックカメラ８からの画像信号を撮影画像として受け取る画像入力部３１と、当該撮影画像から所定の領域の画像をトリミング抽出（切り出し）する画像抽出部３２と、画像を色補正する色補正部９０と、色補正された画像を他のユニットに送り出す画像出力部３３を備えている。画像抽出部３２は、画像入力部３１を経てワーキングメモリに展開された撮影画像から、この撮影画像の所定座標領域に位置する基準色担体としてのバンパー１ａの画像部分を参照画像として抽出する。さらに、この画像抽出部３２は、撮影画像から運転支援等の目的でモニタ表示に用いられる領域の画像、ここでは車両１の後方の風景を映し出している領域の画像を車両後方画像として抽出する。色補正部９０は、前記撮影画像の色補正を行うが、その色補正処理における入力画像値から出力画像値を導く色変換曲線の形状及び姿勢を前記抽出された参照画像に基づいて調整する機能も有する。

色補正部９０は、色変換部９１と、色変換曲線の具体的な構築の一例である色変換ＬＵＴ９２と、参照画像評価部９３と、調整係数算出部９４と、調整実行部９５と、この色補正部９０における各制御を管理する色補正管理部９６を備えている。

色変換部９１は、画像抽出部３２によって撮影画像から抽出された画像（ここでは車両後方画像）を入力画像として、色変換ＬＵＴ９２を用いて色変換した出力画像（色変換済画像）を生成するものである。その際、色変換ＬＵＴ９２は、入力値として与えられた入力画像の各画素値から出力画像の画素値となる出力値を導出するための変換データ群がマトリックス状に格納されたものであるが、単に入力値から出力値を導く関数として構築することも可能である。この変換データ群または関数を修正して、同じ入力値から異なる出力値を導出するように色変換ＬＵＴ９２を調整する機能は、参照画像評価部９３と調整係数算出部９４と調整実行部９５とによって構築されている。

参照画像評価部９３は、画像抽出部３２によって撮影画像から抽出された、バンパー１ａの他部品が取り付いていない箇所の画像領域である参照画像と、予め格納されている基準画像とを比較して、参照画像の色かぶりデータを算出する。ここでいう基準画像は、適正な撮影条件（照明状態など）で、同色のバンパー１ａを撮影した場合に得られる基準撮影画像、正確には基準撮影画像の色成分毎の画素値である。色かぶりデータは、基準画像と比較して参照画像にどのような色成分毎にどのようなずれが生じているかを示すデータである。例えば、青色にどの程度マゼンタがのっているかということを定量的に示すデータである。調整係数算出部９４は、参照画像評価部９３によって算出された色かぶりデータに基づいて、この色かぶりを取り除くために適切な目標色変換曲線を算定し、現状の色変換ＬＵＴ９２に設定されている色変換曲線を目標色変換曲線とするための調整係数を算出する。調整実行部９５は、調整係数算出部９４によって算出された調整係数に基づいて色変換ＬＵＴ９２を調整する。色変換ＬＵＴ９２の調整は、一秒間に多数のフレーム数で取得される撮影画像毎に行う必要はないので、通常は予め定められたタイミングで調整作業が実行されるが、このタイミング制御は色補正管理部９６が行う。

上述したように構成されたカメラ制御ユニットにおける色補正処理の制御の流れを図４のフローチャートを用いて説明する。
まず、画像入力部３１を介してバックカメラ８から受け取った画像信号が撮影画像としてワーキングメモリに展開される（＃１０）。画像抽出部３２が、ワーキングメモリに展開された撮影画像から、運転支援等の目的でモニタ表示に適した領域の画像を車両後方画像としてトリミング抽出する（＃１２）。

次に、色変換ＬＵＴ９２の調整が実行されるかどうかが判定される（＃１４）。色変換ＬＵＴ９２の調整が実行される場合（＃１４Yes分岐）、画像抽出部３２が、ワーキングメモリに展開された撮影画像から、バンパー１ａを映している領域の画像である参照画像をトリミング抽出する（＃１６）。参照画像評価部９３は、抽出された参照画像の画素値を読み込む（＃１８）とともに、予め登録されている基準画像の画素値を読み込む（＃２０）。参照画像の画素値と基準画像の画素値とから参照画像の色かぶり、つまりバンパー１ａが周囲環境によってどの程度色かぶりをしているかを示す色かぶりデータが算出される（＃２２）。続いて、調整係数算出部９４が、参照画像評価部９３によって算出された色かぶりデータに基づいて色かぶりを抑制するための色変換曲線の調整、つまり色変換ＬＵＴ９２を調整するための調整係数を算出する（＃２４）。さらに、調整実行部９５が、調整係数に基づいて色変換ＬＵＴ９２を調整する（＃２６）。

以上のステップ＃１６からステップ＃２６までの色変換調整処理により、色変換ＬＵＴ９２が現時点の撮影画像に生じている色かぶりを取り除くかまたはある程度抑制することが可能なように設定されたことになる。そして、色変換部９０が、この調整された色変換ＬＵＴ９２を用いて、ステップ＃１２でトリミング抽出された車両後方画像に対する色補正処理を行う（＃２８）。色補正処理を施された車両後方画像は、モニタ表示されるべく画像出力部３３を経て、モニタ表示制御ユニット７０に出力される（＃３０）。なお、ステップ＃１８での色変換ＬＵＴ調整の実行判定において色変換ＬＵＴ９２に対する調整が指令されない場合（＃１４No分岐）、直接ステップ＃２８にジャンプし、これまでの設定のままの色変換ＬＵＴ９２を用いて、車両後方画像の色補正処理が行われる（＃２８）。以上のステップ＃１０からステップ＃３０まで処理は、撮影中止指令が入る（ステップ＃３２Yes分岐）まで繰り返される。

〔別実施形態〕
（１）上述した実施形態では、色変換ＬＵＴ９２の調整は、色補正管理部９６が管理している予め定められたタイミングで実行されていた。この調整タイミングの具体的かつ好適な形態として、リアルタイムに取得された撮影画像から直接色かぶり状態を判定し、所定のしきい値条件を超えた場合に、色変換ＬＵＴ９２の調整を行うようにすることが提案される。このような別実施形態では、図５に示すように、新たに色かぶり判定部９７を設けるだけでよい。この色かぶり判定部９７は、参照画像評価部９３が算出する色かぶりデータを入力して、この色かぶりデータを予め設定されているしきい値条件に適用し、色変換ＬＵＴ調整をするかどうかを決定し、その判定結果を色補正管理部９６に出力する。しきい値条件として、例えば、マゼンタかぶり度が１０％以上、シアンかぶり度が２０以上といったように色かぶりする特定色に応じてそのしきい値を変更してもよいし、種々のしきい値条件を設定することができる。このしきい値条件を運転者の好みに応じて設定できるようにしてもよい。
（２）モニタ表示のために利用される車両後方画像は、必ずしも撮影画像の部分画像である必要はなく、画像抽出部３２をスルーすることで、車両後方画像が撮影画像と同一である形態も、本発明の車両後方画像には含まれている。
（３）上述した実施形態では、基準色担体としてバンパー１ａが用いられていたが、バンパー１ａ以外の車両構成部材、あるいはナンバープレートなどを利用することも可能である。また、基準色担体として、専用の指標体のようなものを車載カメラの撮影視野に入るように装備することも可能である。そのような場合、指標体に付与される色としてはニュートラルグレーを採用することが好ましい。

８ バックカメラ（車載カメラ）
１０ モニタ
３０ カメラ制御ユニット
３１ 画像入力部
３２ 画像抽出部
３３ 画像出力部
６０ 駐車支援ユニット
７０ モニタ表示制御ユニット
９０ 色補正部
９１ 色変換部
９２ 色変換ＬＵＴ（色変換曲線）
９３ 参照画像評価部
９４ 調整係数算出部
９５ 調整実行部
９６ 色補正管理部
９７ 色かぶり判定部

Claims (3)

1. 車両に搭載された車載カメラと、前記車載カメラの撮影領域内に配置された基準色担体と、前記車載カメラの撮影画像から前記基準色担体の画像部分を参照画像として抽出する画像抽出部と、前記抽出された参照画像と予め登録されている基準画像とに基づいて前記参照画像の色かぶりを抑制するよう算定された目標色変換曲線に対応して調整された色変換曲線を用いて、前記撮影画像のうちモニタ表示される画像の全領域又は前記撮影画像の全領域の色補正を行う色補正部とを備える車載カメラ装置。
2. 前記画像抽出部は前記撮影画像から前記基準色担体の画像部分を排除した画像領域を前記車両に搭載されたモニタに表示用画像として出力する請求項１に記載の車載カメラ装置。
3. 前記基準色担体は所定の基準色を施したバンパーである請求項１または２に記載の車載カメラ装置。