JP6413830B2 - 車載カメラ - Google Patents

Description

本発明は、車載カメラに関し、特にホワイトバランス調整を改良した車載カメラに関する。

従来、自動車の左右の後方の安全確認にはサイドミラーが使用されている。近年においては、サイドミラーの代わりに撮像装置をサイドミラー代替カメラとして使用する動向がある。ミラーの代替として撮像装置を使用した場合、従来のサイドミラーで映っていた範囲を撮像装置で撮像する必要がある。従来サイドミラーは運転手の身長や確認する範囲に合わせて、上下左右の角度の調整が可能である。このため、従来のサイドミラーの調整範囲も含めたより広範囲を撮像装置で撮像する必要がある。この場合、撮像範囲には自動車左右後方の路面や縁石などの障害物及び自車の車体の一部が入るように撮像装置の設置位置が決められる。

一般的に撮像装置には、撮影された画像のホワイトバランスを自動調整するオートホワイトバランス処理が行われる。特に車載用の撮像装置などにおいては、画面全体の緑（Ｇ）信号レベルを基準として赤（Ｒ）信号あるいは青（Ｂ）信号を同じレベルにする様に赤（Ｒ）と青（Ｂ）のゲインを調整するオートホワイトバランス処理が行われる（例えば特許文献１）。

特開平８−１８９９５号公報［０００４］〜［０００７］、［図５］

サイドミラー代替カメラやバックカメラといった車載用の撮像装置は自車の車体の少なくとも一部を撮像範囲に入れて使用される。このとき、自車の車体の一部を含んだ撮像画像全体に対しオートホワイトバランス処理が実行される。オートホワイトバランス処理とは自動で撮像画像全体のＲＧＢの各色成分毎の総和値を均一に補正する処理のため、自車の車体の一部が撮像範囲に入っていると、自車の車体の色に影響され、自車の車体の一部以外の撮像画像が最適なホワイトバランスにならないという問題があった。

上記問題点をより詳述すると撮像範囲に入る自車の車体の一部の色が赤（Ｒ）であるときには、撮像装置のオートホワイトバランス処理は赤（Ｒ）のゲインを下げる処理を行う。結果、自車の車体の一部以外の撮像領域の画像は赤（Ｒ）の色再現が悪くなり、青（Ｂ）や緑（Ｇ）が強調された画像となってしまう。

本発明は、上記課題を鑑みてなされたものであり、撮像範囲に自車の車体の一部が入る場合においても、適切にオートホワイトバランス処理を行うことのできる車載カメラを提供することを目的とする。

上記目的を達成するため、本発明の一形態に係る車載カメラは、レンズと撮像素子とを少なくとも備え、車両に搭載され前記車両周辺及び前記車両の車体の一部を撮像し、前記レンズの光軸の方向を水平及び垂直の二軸方向に各々制御可能な車載カメラにおいて、予め定められた複数の前記車体の色情報と前記光軸の前記二軸方向の少なくとも一方の軸方向の角度との組み合わせ毎に前記撮像画像のホワイトバランスの調整データが記憶されたデータ記憶部と、入力された前記車体の前記色情報と前記角度との組み合わせに対応する前記調整データを前記データ記憶部から読み出し、読み出した前記調整データをもとに前記撮像画像のホワイトバランスの調整を行う画像処理部とを備える。

この車載カメラでは、画像処理部が、画像処理部が、入力された車体の色情報とレンズの光軸の角度との組み合わせに対応する調整データをデータ記憶部から読み出し、この調整データをもとに撮像画像のオートホワイトバランス処理を行うので、光軸の角度によって撮像範囲に占める割合が変わる自車の車体の一部の色によるオートホワイトバランス処理への悪影響を抑制することができ、撮像画像のホワイトバランスを最適にすることができる。

上記の車載カメラは、前記車体の色情報と前記光軸の角度との組み合わせ情報を外部より受信し、前記画像処理部に出力する制御部をさらに備えるものであってよい。

本発明によれば、撮像範囲に自車の車体の一部が入る場合においても、最適な撮像画像のオートホワイトバランス処理を行うことができる。

本発明に係る実施の形態である車載カメラシステムの全体の構成を示す図である。 ２つの車載カメラ１００Ｌ、１００Ｒのうち一方の車載カメラのメカ構成を示す斜視図である。 車載カメラシステム１および２つの車載カメラ１００Ｌ、１００Ｒの構成をブロック化して示す図である。 車載カメラ１００のレンズの光軸の仰角の違いによる撮像画像の変化を示す図である。 車載カメラ１００のレンズの光軸の方位角の違いによる撮像画像の変化を示す図である。 データ記憶部１５に記憶された調整データのテーブル構造を示す図である。

以下、図面を参照しながら、本発明に係る実施の形態を説明する。
まず、本発明に係る実施の形態である車載カメラを用いた車載カメラシステムの構成を説明する。
図１は、本発明に係る実施の形態である車載カメラシステムの全体の構成を示す図である。

同図に示すように、この車載カメラシステム１は、左右の車載カメラ１００Ｌ、１００Ｒ、コントローラ２００および左右のモニター３００Ｌ、３００Ｒを備える。

車載カメラ１００Ｌ、１００Ｒは、車両Ｄの車両の左右の両側部の運転者より前の位置に取り付けられ、車両Ｄの左右の後方の画像を撮像するものである。すなわち、この車載カメラシステム１は車両Ｄの左右のサイドミラーに代わる手段として利用される。

コントローラ２００は、マイクロコンピュータなどにより構成される。コントローラ２００は、車両Ｄに搭載されている車両Ｄの各部の制御を行う電子制御ユニットの機能の一部として実現されてもよい。コントローラ２００は、車載カメラ１００Ｌ、１００Ｒおよびモニター３００Ｌ、３００Ｒを制御し、左右の車載カメラ１００Ｌ、１００Ｒにより撮像された各画像を、左右の対応するモニター３００Ｌ、３００Ｒにリアルタイムで映し出す。

この図のように車載カメラ１００Ｌ、１００Ｒおよびモニター３００Ｌ、３００Ｒが設置された場合、コントローラ２００は、左側の車載カメラ１００Ｌの画像を左側のモニター３００Ｌに、右側の車載カメラ１００Ｒの画像を右側のモニター３００Ｒに映し出す。

モニター３００Ｌ、３００Ｒは、車載カメラ１００Ｌ、１００Ｒにより撮像された画像を表示する。

［車載カメラについて］
次に、車載カメラシステム１における車載カメラ１００Ｌ、１００Ｒの構成を説明する。

図２は、２つの車載カメラ１００Ｌ、１００Ｒのうち一方の車載カメラのメカ構成を示す斜視図である。
なお、２つの車載カメラ１００Ｌ、１００Ｒは同じメカ構成を有するため、本明細書では、２つの車載カメラ１００Ｌ、１００Ｒのうち一方を特定して説明する必要がない場合には「車載カメラ１００」と表記する。

同図に示すように、車載カメラ１００は、レンズ１１ａの光軸Ｃの方向を水平及び垂直の二軸（ｘ軸およびｙ軸）方向に制御可能なように構成される。すなわち、車載カメラ１００は、主にカメラ本体１０と、カメラ本体１０のレンズ１１ａの光軸Ｃの仰角を調整させるようにカメラ本体１０を回動させるチルトモータ２０と、カメラ本体１０およびチルトモータ２０を支持するカメラベース３０と、カメラ本体１０のレンズ１１の光軸Ｃの方位角を調整させるようにカメラベース３０を回動させるパンモータ４０とで構成される。パンモータ４０は車両Ｄの車体との連結のための部材５０に固定される。

図３は、車載カメラシステム１および２つの車載カメラ１００Ｌ、１００Ｒの機能的な構成をブロック化して示す図である。
なお、車載カメラ１００の機能的な構成についても２つの車載カメラ１００Ｌ、１００Ｒとも共通である。

同図に示すように、車載カメラ１００は、レンズ１１ａ及び１１ｂと、レンズ１１ａ及び１１ｂによって結像された被写体像を光電変換するＣＣＤ（Charge Coupled Device）イメージセンサ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの撮像素子１２と、撮像素子１２により変換された信号のＡ／Ｄ変換及び欠陥画素補正などを行ってＲＡＷデータを生成する前置信号処理部１３とを備える。

また、車載カメラ１００は、前置信号処理部１３より出力されたＲＡＷデータに対してオートホワイトバランス処理をはじめとする各種の信号処理を行う画像処理部１４と、車両Ｄに用いられる可能性のある複数の車体の色とレンズ１１ａの光軸Ｃの仰角および方位角との組み合わせ毎の撮像画像のホワイトバランスの調整データが予め記憶されたデータ記憶部１５と、画像処理部１４にて処理された画像データを出力形式に合わせたビデオフォーマットに変換するエンコーダ１６とを備える。

さらに、車載カメラ１００は、２つのモータ制御入力端子２１、４１と、チルトモータ２０を車載カメラシステム１のコントローラ２００からモータ制御入力端子２１を通じて印加されたチルトモータ制御情報をもとに駆動するチルトモータ駆動回路２２と、パンモータ４０を車載カメラシステム１のコントローラ２００からモータ制御入力端子４１を通じて印加されたパンモータ制御情報をもとに駆動するパンモータ駆動回路４２とを備える。

さらに、車載カメラ１００はカメラコントローラ１７を有する。カメラコントローラ１７は、車載カメラシステム１のコントローラ２００は複数の色車体Ｄの色の候補を表示し、ユーザは車体Ｄの色と同じ色をその中から選択する。こうして選択された車体の色情報、レンズ１１ａの光軸Ｃの仰角情報および方位角情報などを外部通信端子１９を通じて受信し、画像処理部１４に通知する処理などを行う。

［車載カメラシステム１のコントローラ２００］
コントローラ２００には、調整対象の車載カメラ１００を左右の車載カメラ１００Ｌ、１００Ｒの間で切り替える左右切替スイッチ６１と、左右切替スイッチ６１によって選択された車載カメラ１００の仰角および方位角のドライバからの調整操作を受け付ける十字キー６２が接続される。

十字キー６２は、仰角の１ステップ分の角度のプラス方向への調整の指示を受け付ける仰角プラスキーと、仰角の１ステップ分の角度のマイナス方向への調整の指示を受け付ける仰角マイナスキーと、方位角の１ステップ分の角度のプラス方向への調整の指示を受け付ける方位角プラスキーと、方位角の１ステップ分の角度のマイナス方向への調整の指示を受け付ける方位角マイナスキーとを有する。

コントローラ２００は、左右の車載カメラ１００Ｌ、１００Ｒのうち、ユーザによる左右切替スイッチ６１の操作によって選択された車載カメラ１００を角度調整対象として設定する。コントローラ２００は、角度調整対象として設定された車載カメラ１００についてユーザによる十字キー６２の操作によって受け付けた指示に従って、チルトモータ２０の制御またはパンモータ４０の制御のための制御情報を生成する。

例えば、基準の仰角としてｎ度が初期設定され、基準の方位角としてｍ度が初期設定されているものとする。仰角の１ステップの制御量をΔａ、方位角の１ステップの制御量をΔｂとする。十字キー６２の「仰角＋」キーが一回操作（例えば押圧操作）されると、コントローラ２００は、仰角が１ステップ分増す方向（上方向）に光軸Ｃを調整させるためのチルトモータ制御情報を角度調整対象として設定された車載カメラ１００のチルトモータ駆動回路２２に供給する。チルトモータ駆動回路２２は、このチルトモータ制御情報を受けると、車載カメラ１００のレンズ１１ａの光軸Ｃの仰角を１ステップ分の制御量だけ仰角が増す方向に調整させるための駆動信号をチルトモータ２０に印加する。これにより、車載カメラ１００のレンズ１１ａの光軸Ｃの仰角はｎ＋Δａに調整される。

また、十字キー６２の「方位角−」キーが一回操作（例えば押圧操作）された場合には、コントローラ２００は、方位角が１ステップ分減る方向（左方向）に調整させるためのパンモータ制御情報を角度調整対象として設定された車載カメラ１００のパンモータ駆動回路４２に供給する。パンモータ駆動回路４２は、このパンモータ制御情報を受けると、車載カメラ１００のレンズ１１ａの光軸Ｃの方位角を１ステップ分の制御量だけ方位角が減る方向（左方向）に調整させるための駆動信号をパンモータ４０に印加する。これにより、車載カメラ１００のレンズ１１ａの光軸Ｃの方位角はｍ−Δｂに調整される。

コントローラ２００は、レンズ１１ａの光軸Ｃの仰角および方位角の状態を算出している。ここで、仰角および方位角の状態は下記の計算式によって与えられる。
仰角の状態 ＝ｎ＋Δａ（Ｃ１−Ｃ２）
方位角の状態 ＝ｍ＋Δｂ（Ｃ３−Ｃ４）
ここで、Ｃ１は「仰角＋」キーの操作回数、Ｃ２は「仰角−」キーの操作回数、Ｃ３は「方位角＋」キーの操作回数、Ｃ４は「方位角−」キーの操作回数である。

コントローラ２００は、十字キー６２のキーの上下左右のいずれかの部分が押下されたことを認識すると、その操作されたキーが「仰角＋」キーまたは「仰角−」キーのいずれかである場合には、仰角の値を更新し、この結果を保持するように構成される。

また、コントローラ２００は、操作されたキーが「方位角＋」キーまたは「方位角−」キーのいずれかである場合には、方位角の値を更新し、この結果を保持するように構成される。

［オートホワイトバランス処理のための調整データについて］
オートホワイトバランスの調整データは車体の色と車載カメラ１００の撮像範囲に占める車体の割合に依存する。例えば、車体の色が赤（Ｒ）であるときには、オートホワイトバランス調整によって赤（Ｒ）のゲインが下げられるため、赤（Ｒ）の色再現性が悪くなるとともに青（Ｂ）や緑（Ｇ）が強調された画像となり、本来の色が再現されない。

また、図４および図５に示すように、レンズ１１ａの光軸Ｃの仰角および方位角の少なくとも一方が変化すると、車載カメラ１００の撮像範囲に占める車体の割合が変化するため、単に車体の色別に作成された調整データでは常に良好なホワイトバランス調整結果が得られるとは限らない。

図４は、レンズ１１ａの光軸Ｃの仰角を変えて撮像された２つの撮像画像７０、７１を示す図である。図４（ａ）の撮像画像７０は図４（ｂ）の撮像画像７１の撮像時よりもレンズ１１ａの光軸Ｃが水平に近い状態にある。上の撮像画像７０では下の撮像画像７１に比べ車両Ｄの窓７４の部分がより広く入り込んでいるため、車体７３の色によるホワイトバランス処理への影響が図４（ｂ）の撮像画像７１に対するそれよりも少ない。したがって、レンズ１１ａの光軸Ｃの仰角の違いによって最適な調整データが違ってくる。

図５は、レンズ１１ａの光軸Ｃの方位角を変えて撮像された２つの撮像画像８０、８１を示す図である。図５（ａ）の撮像画像８０は図５（ｂ）の撮像画像８１の撮像時よりもレンズ１１ａの光軸Ｃの向きが水平方向において車体８３に近い状態にある。したがって、撮像画像８０に占める車体８３の割合は撮像画像８１より撮像画像８０の方が大きく、車体８３の色によるホワイトバランス処理への影響が下の撮像画像８１に対するそれよりも大きい。したがって、レンズ１１ａの光軸Ｃの方位角の違いによって最適な調整データが違ってくる。

このような課題を解決するために、本実施形態の車載カメラ１００には、車両Ｄの車体の色と、車載カメラ１００のレンズ１１ａの光軸Ｃの仰角および方位角との組み合わせに対し、最適な調整データが記憶されたデータ記憶部１５が設けられている。

図６は、データ記憶部１５に記憶された調整データのテーブル構造を示す図である。
この例では、テーブルは車体の色情報毎に作成される。車体の色情報毎のテーブルは複数の仰角情報毎のレコード群で構成される。仰角情報毎のレコード群は、複数の方位角情報と個々の方位角情報に各々対応付けられた複数の調整データとで構成される。調整データは具体的にはＲＧＢ毎のゲインの値で構成される。

［オートホワイトバランス処理の動作について］
次に、データ記憶部１５に記憶された調整データに基づくオートホワイトバランス処理の一連の動作を説明する。

まず、ユーザは、車載カメラシステム１のコントローラ２００のユーザインタフェースを使って車両Ｄの車体の色を入力する。ユーザインタフェースとしてはグラフィカルユーザインタフェースが採用される。グラフィカルユーザインタフェースには、車載カメラ１００のデータ記憶部１５に記憶された調整データに対応付けられたすべての色情報が選択可能な状態で表示されるのでユーザは自車の車体の色に対応する色情報を選択することで、色情報の入力を行う。

車載カメラシステム１のコントローラ２００は、ユーザにより入力された車両Ｄの車体の色情報を受け付けると、車載カメラ１００のカメラコントローラ１７に、その選択された車体の色情報とともに、レンズ１１ａの光軸Ｃの状態として保持されている仰角情報および方位角情報を出力する。

車載カメラ１００のカメラコントローラ１７は、車載カメラシステム１のコントローラ２００からの車両Ｄの車体の色情報、仰角情報および方位角情報が入力されると、これらの情報を画像処理部１４に出力する。

画像処理部１４は、カメラコントローラ１７から車両Ｄの車体の色情報と、仰角情報および方位角情報を受け取ると、これらの組み合わせ情報に対応付けられた調整データをデータ記憶部１５から読み出し、この調整データをもとにホワイトバランスの調整つまりＲＧＢ毎のゲインの調整を行う。

例えば車体の色が赤（Ｒ）の場合、調整データによって緑（Ｇ）のゲインに対し赤（Ｒ）のゲインが高く設定され、かつ仰角および方位角による撮影画像に占める車体の割合に対応して緑（Ｇ）のゲインに対する赤（Ｒ）のゲインの最適な比率が与えられる。これにより、画像処理部１４は、前置信号処理部１３より出力されたＲＡＷデータに対して、車体の色に影響されない最適な撮像画像のホワイトバランスの調整を行うことができ、適切に撮像画像のオートホワイトバランス処理を行うことが可能となる。

＜変形例＞
以上の実施形態では、車体の色情報、仰角情報および方位角情報の組み合わせ対して最適な調整データをもとにオートホワイトバランス処理を行う場合について説明したが、本発明は、車体の色情報と仰角情報との組み合わせ対して最適な調整データをもとにオートホワイトバランス処理を行うように構成されてもよい。あるいは、車体の色情報と方位角情報との組み合わせ対して最適な調整データをもとにオートホワイトバランス処理を行うように構成されてもよい。

なお、上記の車両Ｄの車体の色に応じたホワイトバランス調整は、画面全体の緑（Ｇ）信号レベルを基準として赤（Ｒ）信号あるいは青（Ｂ）信号を同じレベルにする様に赤（Ｒ）と青（Ｂ）のゲインを調整するオートホワイトバランスの初期調整にも同様に応用され得る。

上記の実施形態では、車両Ｄのサイドミラーに代わる車載カメラ１００について説明したが、本発明は、自車の車体の一部に取り付けられ、自車の車体の一部を撮像範囲とするバックカメラなどの車載型のカメラ全般に応用され得る。

以上、本発明の好ましい実施形態について説明したが、本発明は上述した実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。

Ｄ…車両
１４…画像処理部
１５…データ記憶部
１７…カメラコントローラ
１００、１００Ｌ、１００Ｒ…車載カメラ

Claims (2)

1. レンズと撮像素子とを少なくとも備え、車両に搭載され前記車両周辺及び前記車両の車体の一部を撮像し、前記レンズの光軸の方向を水平及び垂直の二軸方向に各々制御可能な車載カメラにおいて、
   予め定められた複数の前記車体の色情報と前記光軸の前記二軸方向の少なくとも一方の軸方向の角度との組み合わせ毎に撮像画像のホワイトバランスの調整データが記憶されたデータ記憶部と、
   入力された前記車体の前記色情報と前記角度との組み合わせに対応する前記調整データを前記データ記憶部から読み出し、読み出した前記調整データをもとに撮像画像のホワイトバランスの調整を行う画像処理部と
   を備える車載カメラ。
2. 請求項１に記載の車載カメラであって、
   前記車体の前記色情報と前記光軸の角度との組み合わせ情報を外部より受信し、前記画像処理部に出力する制御部
   をさらに備える車載カメラ。

Images