JP4973681B2 - カメラ制御ユニット、移動体および移動体カメラシステム - Google Patents
カメラ制御ユニット、移動体および移動体カメラシステム Download PDFInfo
- Publication number
- JP4973681B2 JP4973681B2 JP2009070723A JP2009070723A JP4973681B2 JP 4973681 B2 JP4973681 B2 JP 4973681B2 JP 2009070723 A JP2009070723 A JP 2009070723A JP 2009070723 A JP2009070723 A JP 2009070723A JP 4973681 B2 JP4973681 B2 JP 4973681B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- image
- moving body
- camera device
- reference data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Cameras In General (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Closed-Circuit Television Systems (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
Description
画像合成表示装置820は、各カメラCAM1〜CAM8(801〜808)から供給された画像を記憶する画像メモリ821〜828が設けられ、この画像メモリ821〜828が画像抽出合成部813に接続され、その出力が補正信号発生手段814と画像補正手段815に接続される。補正信号発生手段814は画像補正手段815に接続され、画像抽出合成部813から供給された制御信号により画像抽出合成部813から出力された合成画像を補正してモニタ装置816に出力する。
各カメラCAM1〜CAM8(801〜808)から出力された画像は各画像メモリ821〜828にそれぞれ記憶され、その画像が画像抽出合成部813に出力される。画像抽出合成部813で画像メモリ821〜828から供給された各画像の補正ゲインを求め、画像補正手段815で補正ゲイン係数に基づいて合成画像を補正する。
このように、特許文献1においては、各カメラCAM1〜CAM8(801〜808)で画像補正を行うのでなく、カメラ制御ユニットに相当する画像合成表示装置820で各カメラから供給された画像を補正している。
このため、近年では、運転者の死角に位置する自車近傍周りを監視する車載カメラを搭載し、その撮像画像をカーナビゲーション用の表示画面に表示する様になってきている。
さらに、複数台のカメラ装置を接続した時に、画像合成した画像の共通部分を認識し、隣接するカメラ画像間の輝度や色味の差異を小さくする技術も開示されている。
また、一般に設置場所が異なりかつ撮影対象が異なる複数のカメラ装置を有するカメラシステムにおいて、複数のカメラ装置で撮影した画像を合成したとき、画像間の繋ぎ目において輝度と色味の違いが顕著に見られる。それぞれのカメラ装置の露光時間やゲインを同じレベルで制御すれば、カメラ装置間の色/明るさの違いは吸収されるが、本来別々に制御していたら見えていたはずの部分が見えなくなる問題がある。
例えば、図11のCAM1(801)の被写体が日陰で、CAM2(802)の被写体が日向の場合で、CAM1(801)の露光時間やゲインと同じレベルでCAM2(802)を制御した場合、CAM2(802)の画像は白飛びしてしまい、画像の認識が出来なくなってしまう。
上記問題に鑑みて、本発明の目的は各カメラ装置の取り付け位置を問わずカメラ画像合成時に隣接するカメラとの輝度や色の調整ができるようにすることである。
また、輝度や色は各カメラ装置で単独に調整され、車両内や特定の場所に備えられたC/U(Camera Control Unit;カメラコントロールユニット)では、マスター(基準)とするカメラ装置から輝度と色信号のリファレンスデータを受信し、他のカメラ装置に転送することで、C/Uの負荷を削減することができる。
本発明の移動体は、進行方向を切替えるギアと、第1および第2のカメラ装置を含む複数のカメラ装置と、上記複数のカメラ装置が接続され、上記第1および第2のカメラ装置から基準とするマスタカメラを選択し、上記選択されたマスタカメラからリファレンスデータが供給され、当該供給されたリファレンスデータを、上記マスタカメラ以外の他のカメラ装置で画像信号を補正するためのリファレンスデータとして当該他のカメラ装置に供給するカメラ制御ユニットと、を備え、上記カメラ制御ユニットは、上記ギアの状態又は上記移動体の進行方向に応じて、上記第1および第2のカメラ装置から上記マスタカメラを選択する。
本発明の、移動体カメラシステムは、移動体の前方の画像を撮影する第1のカメラ装置と、上記移動体の後方の画像を撮影する第2のカメラ装置とを含む複数のカメラ装置と、上記複数のカメラ装置が接続され、上記第1および第2のカメラ装置から基準とするマスタカメラを選択し、上記選択されたマスタカメラからリファレンスデータが供給され、当該供給されたリファレンスデータを、上記マスタカメラ以外の他のカメラ装置で画像信号を補正するためのリファレンスデータとして当該他のカメラ装置に供給するとともに、上記複数のカメラ装置でそれぞれ補正された複数の画像を入力して、当該入力された複数の画像を1枚の画像に合成するカメラ制御ユニットと、上記カメラ制御ユニットで合成された画像を表示する表示装置と、を有し、上記カメラ制御ユニットは、上記移動体の進行方向を切り換えるギアの状態又は上記移動体の進行方向に応じて、上記第1および第2のカメラ装置から上記マスタカメラを選択する。
また、上記2つのバランスとしてどちらに重点を置くかの選択、調整ができる構成にすることにより、色/輝度の調整は、各カメラ装置内で単独に制御を行い、各カメラ装置は取り付け位置を認識する事無く独立に制御をすることができる。
Cam(カメラ装置)―1(101)とCam(カメラ装置)−2(102)がCamera Control Unit(C/U:カメラコントロールユニット:カメラ制御部)103に接続される。
いま仮に、Cam−1装置(101)を基準(マスター)カメラ装置とし、Cam−2装置(102)を被調整用スレーブカメラ装置とする。Cam−1装置(101)、Cam−2装置(102)でそれぞれ被写体を撮影した後、C/U103はマスターカメラ装置に設定したCam−1装置(101)からリファレンスデータ(輝度/色状態)を受信してその値をそのまま他のスレーブカメラ装置のCam−2装置(102)に転送する。Cam−2装置(102)では、リファレンスデータを受信し、このリファレンスデータを基に画像を調整する。
リファレンスデータとして、例えば輝度信号や色信号がある。スレーブカメラ装置のCam−2装置(102)で、輝度信号を用いて、シャッタースピードの調整やAFE(アナログフロントエンド)の利得制御装置のゲインを制御し、また色信号を用いてDSPの色信号処理回路のAWB(オートホワイトバランス)アンプの利得を調整して色調整を行う。
図2(a)に、車両210のフロントにカメラ装置Cam1(Front)、左側にカメラ装置Cam2(Side−L)、右側にカメラ装置Cam3(Dide−R)、後方にカメラ装置Cam4(Rear)を装着したときの車載カメラシステム200の構成を示す。
ここではカメラ装置Cam1〜Cam4の4台で構成された例を示すが、図1に示したように、カメラ装置は基本的に2台以上で構成される場合に適用される。また、各カメラ装置Cam1〜Cam4の取付位置や接続位置は図2に示した位置に限定されない。
また、C/U250はバッファ回路261〜264と切り出し&(アンド)合成回路265で構成されている。
各カメラ装置Cam−1(251)〜Cam−4(254)には、現在のAEの状態と現在のAWBの状態を通知する機能と、C/U250からAEとAWBのリファレンスデータを受信する機能を備える。
C/U250は、各カメラ装置Cam−1(251)〜Cam−4(254)から出力される画像を蓄えるためのBuffer(バッファまたはメモリ)を備え、各カメラ装置Cam−1(251)〜Cam−4(254)の画像の表示部分の切り出しと合成を行う機能を備える。
ここで合成された画像は、カーナビゲーション等の表示装置270、例えばモニタに表示される。
またC/U250は、各カメラ装置Cam−1(251)〜Cam−4(254)から現在のAEの状態と現在のAWBの状態を読み出す機能と、各カメラ装置Cam−1(251)〜Cam−4(254)にAEのリファレンス値(データ)とAWBのリファレンス値(データ)を送信する機能を備える。
なお、例えば、マスターとするカメラ装置Cam−1(251)で撮影されたリファレンスデータ生成用の画像と、このカメラ装置Cam−1(251)からの合成画像生成用の画像とは、同じでも、異なってもよい。
このカメラシステム300において、一方のカメラ装置(Cam−1(310))をマスターとし、他方のカメラ装置(Cam−2(320))をスレーブとした時の動作を説明する。ただし、マスターカメラ装置310は一義的に決めるのではなく、C/U330でその時、場所などの条件に応じて適宜変更することができる。
C/U330の動作は、マスターであるカメラ装置Cam−1(310)の撮像信号を受信し、リファレンスデータとしてスレーブのカメラ装置Cam−2(320)に送信する。この動作を一定周期で実行する。
また、C/U330は、マスターであるカメラ装置Cam−1(310)に対してリファレンスデータ“0”(補正なし)を転送することもできる。
このとき、スレーブのカメラ装置Cam−2(320)の状態を検出する必要はないため、通信は必ずしも必要ではない。しかし、スレーブ/マスターが切り替わったりした場合には、補正なしの“0”信号を送信する必要がある。
一方、カメラ装置Cam−2(320)は、カメラ装置Cam−1(310)の状態が、補正用リファレンスデータとして受信されるので、その値を加味した補正がオート制御に組み込まれる。
カメラ装置Cam−1(310)から出力されたリファレンスデータとカメラ装置Cam−2(320)から出力された画像をC/U330を介して画像を合成する。
なお、マスターであるカメラ装置Cam−1(310)で撮影されたリファレンスデータ生成用の画像と、このカメラ装置Cam−1(310)からの合成画像生成用の画像とは、同じでも、異なってもよい。
車が前進している場合、運転手にとって、一番写したい(モニタで確認したい)場所は、Front(前方)の位置である。
この場合、C/U250は、Frontカメラ装置Cam1(251)をマスター(基準)とし、Side−L(左)カメラ装置Cam−2(252)/Side−R(右)カメラ装置Cam−3(253))/Rear(後方)カメラ装置Cam−4(254)をスレーブとし、Front(前方)カメラ装置Cam−1(251)の色/輝度のデータを、Side−L/Side−R/Rearの各カメラ装置に送信する。
Side−Lカメラ装置Cam−2(252)/Side−Rカメラ装置Cam−3(253)/Rearカメラ装置Cam−4(254)は、Frontカメラ装置Cam1(251)の色/輝度データをリファレンスデータとしC/U250を介して受信し、各カメラ装置内のカメラ信号処理ブロックで、色/輝度を調整する。
ここで、Rearカメラ装置Cam−4(254)に対しては、Side−Lカメラ装置Cam−2(252)/Side−Rカメラ装置Cam−3(253)のデータの平均値をマスターデータとすることもできる。
また、C/U250側では、車のギア(車が前進しているのか、後進しているのか)をマスターカメラ装置Cam1(251)の選択の判断材料とすることや、車が前進している時は、Frontカメラ装置Cam1(251)をマスターと判断することや、後進している時は、Rearカメラ装置Cam−4(254)をマスターと判断することができる。
さらに、全て同じカメラ装置が取り付けられている場合、全てのカメラ装置をスレーブとして、同じ色/輝度のデータを送信し、全てのカメラ装置の制御値を同じにすることもできる。
このように、本移車載カメラシステム200では、C/U250では画像の信号処理、輝度/色信号の調整は行わないで、各スレーブカメラ装置で単独に調整するシステム構成としている。
これまで、車載カメラシステムについて述べてきたが、本発明は車両などの移動体カメラシステムに限定するものではない。移動体以外のシステムにも明らかに適用することができ、例えば、屋内、屋外に上述した複数のカメラ装置を備えたカメラシステムを構築し、色と輝度の違和感のない画像を合成することができる。
なお、例えば、マスターとするカメラ装置Cam1(251)で撮影されたリファレンスデータ生成用の画像と、このカメラ装置Cam1(251)からの合成画像生成用の画像とは、同じでも、異なってもよい。
C/U250はマスターカメラ装置251からスレーブカメラ装置252〜254にリファレンスデータを転送するが、この他に状態通知機能なども有している。
この状態通知機能に関するデータは、自発的に通知するパスは通信仕様上存在しないため、状態をカメラ装置(251〜254)内のバッファ回路261〜264、例えばRAM(Random Access Memory)等に格納しておき、一定周期にC/U250が参照する。
カメラ装置内のRAMへ格納するデータとして、露光状態と色状態を示すデータがある。
AEレベル=シャッターゲイン+ゲインレベル
このAEレベルの具体的な特性を図5に示す。
図5に、AEレベル、シャッターゲイン、ゲインレベルの関係を示し、横軸を露光状態(明るさ)、縦軸をAEレベル、シャッターゲイン、AFEの利得制御装置のゲインとする。
シャッターゲインは明るさh2まではレベルL4と一定であるが、h2からh3になると直線的に減少し、h3になるとレベルL2となる。このシャッターゲインにより受光素子の露光時間が制御される。
一方、AFEとディジタル信号処理回路の利得を制御するゲインレベルは、明るさh1からh2までレベルL3からL1へと直線的に減少するが、明るさh2からh3までは一定レベルL1となる。
マスターカメラ装置251で、AEレベルが測定されると、それに対応してシャッターゲインとAFEとディジタル信号処理回路の利得制御のゲインレベルが求まる。すなわち、明るさh1のときAEレベルはL6で、シャッターゲインはL4、AFEのゲインはL3である。このシャッターゲインL4とAFEのゲインL3がリファレンスデータの輝度情報としてC/Uを介してスレーブカメラ装置252〜254に転送される。
明るさh2では、AEレベルはL5で、シャッターゲインはL4、AFEのゲインはL1であり、明るさh3では、AEレベルはL3で、シャッターゲインはL2、AFEのゲインはL1となる。
このように、マスターカメラ装置251で測定したAEレベルからシャッターゲイン、AFEのゲインがリファレンスデータとして求められ、このリファレンスデータがC/U250を介してスレーブカメラ装置252〜254に転送される。
そして、各カメラ装置はこのリファレンスデータに基づき、各カメラ装置内で単独にAEレベルを調整する。
図6は、各カメラ装置(Cam1(251)〜Cam4(254))のOPD(光検出器)で得られたAWB(オートホワイトバランス)の、プリホワイトバランス調整に基づいたR/G、B/G座標に変換した色状態を示す。この座標変換して得られた値は、各カメラ装置(Cam1(251)〜Cam4(254))で異なり、座標上で異なる位置にある。
カメラ装置400は、レンズ410、シャッター機能付きセンサー420、AFE(アナログフロントエンド)430、カメラ信号処理ブロック440、C/U(カメラコントロールユニット)450、マイクロコンピュータ460等で構成される。
レンズ410は、外部からの光を集光し、撮像素子上へ画像を結像する。シャッター機能付きセンサー420は、撮像素子で光を電気信号に変換し、また電子シャッターにより、電荷の蓄積時間を可変する。
AFE430は、相関2重サンプリング回路によりノイズを除去し、AGC(自動利得制御)とセンサーから入力されたアナログ信号をディジタル信号に変換する。
カメラ信号処理ブロック440は、センサーから供給された入力信号を映像信号に変換する。
C/U450は、カメラ信号処理ブロック440から映像信号と同期(SYNC)信号が供給され、マスターカメラ装置を設定(選択)したり、マスターカメラ装置から転送された輝度/色信号に関するリファレンスデータをスレーブカメラ装置に送信したりし、この他各カメラ装置から送られた画像を合成する機能を有する。また各カメラ装置の制御は、マイクロコンピュータ460と通信することにより行われる。
マイクロコンピュータ460は、シャッター機能付きセンサー420、AFE430、カメラ信号処理ブロック440に接続され、C/U450から供給されたリファレンスデータに関連した制御信号をスレーブカメラ装置に送り、各スレーブカメラ装置は単独で輝度/色信号を制御する。
露光状態のシャッターゲインは、図7のシャッター機能付きセンサー420の電子シャッターの制御値を示し、ゲインレベルは、AFE430のAGCの制御値とカメラ信号処理ブロック(440)内に持つディジタルゲインアンプの制御値を示す。
マスターカメラ装置から供給されたリファレンスデータがC/U450を介して他のカメラ装置のマイクロコンピュータ460に転送されると、マイクロコンピュータ460は、露光状態に対応するシャッターゲイン、ゲインレベルを発生し、シャッター機能付きセンサー420にシャッターゲインを制御する制御信号を供給して図5に示す電子シャッターのゲイン(期間)を調整する。
また、マイクロコンピュータ460は、AFE430のAGC回路にゲインレベルの制御電圧を供給して利得を制御し、あるいはカメラ信号処理ブロック440にゲインレベルの制御信号を供給してディジタル信号処理回路のディジタルゲインを制御する。
また、色状態を示すリファレンスデータもカメラ信号処理ブロック440に供給されて、色処理回路を調整する。
このように、C/U250で合成画像の輝度、色調整を行うのではなく、各カメラ装置内で基準カメラ装置からC/U250を介して転送されて来たリファレンスデータを用いて輝度、色信号の調整を行う。
色信号処理回路500は、原色分離回路501、WB(ホワイトバランス)アンプ520、OPD(オプティカルディテクタ;光検出器)530、マイクロコンピュータ540で構成される。また、WBアンプ520は原色R,G,Bの利得を制御する利得制御アンプ521〜523で構成される。
原色分離回路501は、AFE430に設けられたAD(アナログ・ディジタル)変換器から出力されたディジタル信号を、それぞれ赤、青、緑の原色信号R,G,Bに分離し、これらの原色信号R,G,Bをそれぞれ利得制御アンプ521〜523に出力する。
また、原色信号R,G,Bは、ホワイトバランス調整するため、OPD530にも供給される。
マイクロコンピュータ540は、内蔵や外部メモリを有し、これらのメモリから読み出されたプログラムに従って、座標変換、色温度の引き込み枠設定とその制御、色温度制御、R,G,B毎のゲイン設定などの処理を実行する。
WBアンプ520を構成する利得制御アンプ521〜523は、マイクロコンピュータ540から出力されたゲイン値Rゲイン、Gゲイン、Bゲインに基づいて、必要に応じてゲインが変更可能である。
利得制御アンプ521の入力には、原色分離回路501から出力された原色信号Rが供給され、マイクロコンピュータ540から出力されたRゲインを用いて増幅または減衰の利得が制御される。
利得制御アンプ522の入力には、原色分離回路501から出力された原色信号Gが供給され、マイクロコンピュータ540から出力されたGゲインを用いて増幅または減衰の利得が制御される。
また、利得制御アンプ523の入力には、原色分離回路501から出力された原色信号Bが供給され、マイクロコンピュータ540から出力されたBゲインを用いて増幅または減衰の利得が制御される。
一般に、WBアンプ520の利得制御アンプ521〜523の各出力信号をOPD530にフィードックし、そのレベルと原色分離回路501から出力された原色信号R,G,Bをそれぞれ比較し、その差信号に応じて制御信号を発生し、WBアンプ520を制御するフィードバック構成が多い。
これに対して、図8の色信号処理回路500はフィードフォワード構成であるので、フィードバック構成と比較して系の応答特性が改善される。
原色分離回路501では入力されたディジタル信号がR(赤)、G(緑)、B(青)の原色信号に分離される。分離された原色信号R,G,BはWBアンプ520に入力される。原色分離されたR,G,B信号は、ホワイトバランス調整に利用するべく、オプティカルディテクタ(OPD)530にも供給される。OPD530はR,G,Bの各原色信号をフィールド毎に積分する積分回路を有する。
OPD530で得られた積分値データは、次段のマイクロコンピュータ540に供給される。マイクロコンピュータ540は、OPD530から供給されるR,G,B各積分値データを基に、R/GとB/Gのデータを出力し、R/G、B/Gとプリホワイトバランス調整値に基づいてR信号、G信号、B信号の各ゲインを設定する。これらの動作は、マイクロコンピュータまたはDSP(ディジタル信号演算装置)などによって実行される。
ここで、プリホワイトバランス調整とは、基準色温度下で基準の白色を決める調整のことを示す。
C/Uからから受け取るデータは、前述したAEレベルとAWBの座標位置となる。単純なケースとしてC/Uはマスターとなるカメラ装置から、リファレンスデータを取り出してその値をそのまま他のカメラ装置に転送することで、色/輝度の調整が可能となる。
尚、C/Uは、各カメラ装置に対して輝度/色調整を実行する場合と実効しない場合のフラッグを送り調整モードを制御する。例えば、AEレベル/AWB座標位置として“0”を指定した場合は、オート補正を禁止するモードと定義し、C/Uはデータを“0”とする事で補正をOFF(オフ)する事が可能となる。一方、“0”以外のAEレベル/AWB座標位置の情報を転送した場合は、自動的に調整モードと判断し、調整を実行する。
図9のAE制御装置600は、OPD(光検出器)610、評価値計算部620、エラー算出部630、ゲイン算出部640、露出補正自動計算部650で構成される。これらの構成のうち、評価値計算部620、エラー算出部630、ゲイン算出部640、露出補正自動計算部650の処理は、例えば上述したカメラ信号処理ブロックに内蔵されているマイクロコンピュータあるいはDSP等で行うことができ、またこれ以外にハードウェアーでも実現することができる。したがって、ここではいずれかを問わない。
評価値計算部620は、OPD610から出力された輝度信号と露出補正自動計算部650から出力された輝度信号のレベルをそれぞれ演算する。
エラー算出部630は、評価値計算部620から出力された輝度信号の評価値と露出補正自動計算部650から出力された輝度信号の評価値を比較演算しエラーを算出する。
ゲイン算出部640は、エラー算出された結果に基づいて、スレーブカメラ装置で補正すべく輝度信号量、すなわちAEレベルを求める。
露出補正自動計算部650は、ゲイン算出部640から出力されたAEレベル、例えばマスターカメラ装置から転送されたAEレベルとゲイン算出部640から供給されたAEレベルがそれぞれ供給されシャッターゲインが算出される。
現在の自己のカメラ装置(例えばスレーブカメラ装置)のAEレベルと、転送されて来たAEレベル(リファレンスデータ)の比により、露出補正レベルを加減算する方式とする。毎フレームゲイン算出した結果から、自己のカメラ装置のAEレベルを求めてカメラ装置内のRAMに格納する。
AE補正を行うための調整パラメータとして、例えば、露出補正レベルの最大範囲、露出補正レベルを可変するステップ、露出補正レベルを可変するフレーム周期、補正しないレベル差、不感帯幅などがあり、これらの値を状況に応じて適宜設定することができる。
自己のカメラ装置(例えばスレーブカメラ装置)の露出レベルの補正方法として、自己のカメラ装置のAEレベルとマスターカメラ装置から受け取ったAEレベルを比較して、露出補正のレベルを予め設定したステップ量だけ上げたり下げたりして調整する方法があり、また、補正しないレベル差(差が設定基準以下)であった場合や、フラッグを立てて、受け取ったAEレベルが“0”(補正OFF)であった場合は、ステップ量を“0”に近づける方向に調整する方法がある。
図5に示したように、例えば明るさがh1の場合、AEレベルが“L6”であるから、シャッターゲインは“L4”、ゲインレベルは“L3”と求められ、シャッター機能付きセンサー420にシャッターゲイン“L4”に対応した制御信号が供給され、シャッター時間等が調整される。またAFE430とカメラ信号処理ブロック440にはゲイン“L3”に対応するアナログ制御電圧とディジタル制御電圧がそれぞれ供給され、利得が制御される。
次に、明るさがh2の場合、AEレベルが“L5”であるから、シャッターゲインは“L4”、ゲインレベルは“L1”と求められ、シャッター機能付きセンサー420にシャッターゲイン“L4”に対応した制御信号が供給され、シャッター時間等が調整される。
またAFE430とカメラ信号処理ブロック440にはゲイン“L1”に対応するアナログ制御電圧とディジタル制御電圧がそれぞれ供給され、利得が制御される。さらに、明るさがh3の場合も同様に制御される。
スレーブカメラ装置が複数台のとき、このような輝度状態の調整が他のスレーブカメラ装置においても単独に行われる。
スレーブカメラ装置の輝度は、マスターカメラ装置のリファレンスデータのAEレベルを基準に、自己のAEレベルを予め設定された補正割合に従って自動的に計算を行う。
この結果、後述の色信号調整と合わせて輝度調整することにより各カメラ装置で撮影された画像をC/Uを介して転送された後各画像を合成しても画像の接続部分の輝度/色信号のレベル差が無くなり違和感を減少することができる。
このAWB制御装置700は、OPD710,R/G,B/G計算部720、座標補正自動計算部730、引込み枠判定部740、色温度推定部750、引込み処理部760、ゲイン設定部770で構成される。ここでOPD710以外はハードウェアーで構成することもできるが、マイクロコンピュータあるいはDSPなどの制御装置を用いたソフトウェアーで構成することができる。
R/G,B/G計算部720は、入力された色情報(信号)がソフトウェアーまたはハードウェアーで演算処理される。色情報の表現は色々あるが、例えば座標軸の一方にB/Gを他方にR/Gをとり、この座標上で色情報を表現する。
OPD710から供給された原色信号のR,G,B信号からR/GとB/G軸上で表現するための色情報が計算される。
引込み制限枠内で有った場合は、その値から色温度推定計算へ進む。補正した値が引込み制限枠外の場合は、補正前の座標位置(OPD710から計算した座標位置)から引込み制限枠の判定を行い、その値から色温度推定を行う。
上述した引込み制限枠内は、その制限枠内を色調整の領域とし、制限枠外を無調整領域とする。この引込み制限枠として、色座標上に四角等の枠を設定する。
AWB制御装置700は、通常のホワイトバランス制御に、マスターカメラ装置から受信したリファレンスデータで微調整する機能を追加している。
現在の自己のスレーブカメラ装置のプリホワイトバランス調整値に基づいた座標位置と、マスターカメラ装置からカメラ制御ユニットを介して転送されて来た座標位置の関係から、自分の座標位置を少し可変した後、引き込み枠の設定、色温度推定の順に処理する。
マスターカメラ装置から受け取ったR/Gデータを、受信R/Gデータとし、自己のスレーブカメラ装置のプリホワイトバランス調整値に基づいたR/Gデータを自R/Gデータと表記して、求めるR/Gの式を以下に示す。また、B/Gも同様な式にて計算し補正する。
自R/G+((受信R/G−自R/G)*(補正量の最大割合/255))
自B/G+((受信B/G−自B/G)*(補正量の最大割合/255))…(1)
ここで*印は乗算記号を表す。
式(1)で補正量の最大割合が0の時、補正結果は自R/Gと自B/Gととなり、自己のスレーブカメラの補正は行われない。
補正量の最大割合が128(50%)の時、補正結果は自R/G+(1/2)*(受信R/G−自R/G)、自B/G+(1/2)*(受信B/G−自B/G)となる。これは、自己のカメラ装置で得られた色座標上の座標位置とマスターカメラ装置から転送された座標位置の中間(50%補正)位置を補正量としたときの色信号の値である。
また補正量の最大割合が255(100%)の時、補正結果は自R/G+((受信R/G−自R/G)、自B/G+((受信B/G−自B/G)となる。
補正された色信号の座標が引込み制限枠内の場合は、その値から色温度の推定計算へ進む。一方、補正された色信号の座標が引込み制限枠外の場合は、補正前の座標位置(もともとの自己のスレーブカメラ装置のOPD710から計算した座標位置)から引込み制限枠判定を行い、その値から色温度推定をするものとする。
色温度推定された後引込み処理が行われ、その結果ゲイン設定が行われる。ゲインが設定されると、図8に示すマイクロコンピュータ540等でRゲイン、Gイン、Bゲインの各制御信号を発生して、WBアンプ520を構成する利得制御アンプ521〜523に供給され利得の制御が行われ、ホワイトバランス調整が行われる。
このように、リファレンスデータを基準に各スレーブカメラ装置で色調整行われることにより、各カメラ装置で撮像された画像を合成した場合の色味の違和感を減少することができる。
このように、カメラ装置を少なくとも2台以上の複数台とし、このカメラ装置を移動体例えば車両、船舶、航空機等に搭載し、そのうちの1台のカメラ装置をマスターカメラ装置とする。マスターカメラ装置は図2(a)に示すように、必ずしも車両の前面に設置したカメラ装置に限定する必要はなく、例えばRear(後方)に設置されたカメラ装置をマスターとして良い。
車両が後進する時に、Rearのカメラ装置をマスターとして使用することができ、後方の画像を基準にした画像を合成することができる。
したがって、マスターカメラ装置は補正前から固定される必要はなく、車両の場合進行方向に応じたギヤ度の切り替えに伴い逐次設定することもできる。
さらに、C/U側でマスターカメラ装置から転送されたデータを加工して各カメラ装置にデータを出力することも可能であるので、全てのカメラ装置に対して同じ色/輝度のデータを送信することにより、全てのカメラ装置の色/輝度の制御値を同じにすることが出来る。
これらのことを実現させ、上記2つのバランスとしてどちらに重点を置きたいのか選択でき、またその調整を可能とする構成にすることにより、色/輝度の調整は、各カメラ装置内で独立して制御動作を行い、各カメラ装置は取り付け位置を認識すること無く単独に制御することができる。
カメラ装置自体が移動体や場所の異なる位置に配置されたカメラ装置に関係なく動作することが出来、接続台数を限定することなく、色/輝度の調整が出来る。
また、C/Uから受け取るデータは、色/輝度のデータのみとすることにより、カメラ装置とC/U間の通信負荷を少なくすることが出来る。
Claims (17)
- 進行方向を切り換えるギアを備えた移動体に搭載した、第1と第2のカメラ装置を含む複数のカメラ装置が接続され、上記複数のカメラ装置で撮影した画像を合成する移動体カメラシステムに使用されるカメラ制御ユニットであって、
上記ギアの状態又は上記移動体の進行方向に応じて基準とするマスタカメラとして、上記第1のカメラ装置と上記第2のカメラ装置の一方を選択し、当該選択されたマスタカメラからリファレンスデータが供給され、当該供給されたリファレンスデータを、上記マスタカメラ以外の他のカメラ装置で画像信号を補正するためのリファレンスデータとして当該他のカメラ装置に供給する、
カメラ制御ユニット。 - 上記リファレンスデータは、輝度信号に関するデータと色に関するデータの少なくとも一方である
請求項1記載のカメラ制御ユニット。 - 上記第1のカメラ装置は上記移動体の前方に設置され、上記第2のカメラ装置は上記移動体の後部に設置されている
請求項1または2記載のカメラ制御ユニット。 - 上記移動体はさらに第3と第4のカメラ装置を有し、当該第3と第4のカメラ装置はそれぞれ上記移動体の進行方向に対して左右向きに設置されている
請求項3記載のカメラ制御ユニット。 - 進行方向を切り換えるギアと、
第1および第2のカメラ装置を含む複数のカメラ装置と、
上記複数のカメラ装置が接続され、上記第1および第2のカメラ装置から基準とするマスタカメラを選択し、上記選択されたマスタカメラからリファレンスデータが供給され、当該供給されたリファレンスデータを、上記マスタカメラ以外の他のカメラ装置で画像信号を補正するためのリファレンスデータとして当該他のカメラ装置に供給するカメラ制御ユニットと、
を備え、
上記カメラ制御ユニットは、上記ギアの状態又は上記移動体の進行方向に応じて、上記第1および第2のカメラ装置から上記マスタカメラを選択する、
移動体。 - 上記リファレンスデータは、輝度信号に関するデータと色に関するデータの少なくとも一方である
請求項5記載の移動体。 - 上記第1のカメラ装置は上記移動体の前方に設置され、上記第2のカメラ装置は上記移動体の後部に設置されている
請求項5または6記載の移動体。 - 上記移動体はさらに第3と第4のカメラ装置を有し、当該第3と第4のカメラ装置はそれぞれ上記移動体の進行方向に対して左右向きに設置されている
請求項7記載の移動体。 - 表示装置をさらに有し、
上記第1、2、3、4のカメラ装置で得られた画像は、上記カメラ制御ユニットで1枚の画像に合成され、当該合成後の画像が上記表示装置の画面上に表示される、
請求項8記載の移動体。 - 上記表示装置で表示される画像は、当該画像の中央部に上記移動体が表示される
請求項9記載の移動体。 - 上記カメラ制御ユニットは、上記第1および第2のカメラ装置の一方を上記マスタカメラとして選択し、当該マスタカメラから供給されたリファレンスデータを上記第3および第4のカメラ装置に供給し、
上記第1および第2のカメラ装置のうち、上記マスタカメラとして選択されない他方のカメラ装置は、上記リファレンスデータに基づいて上記第3および第4のカメラ装置で画像信号に対し画像信号に対し輝度および色の補正を行った後の輝度および色データの各平均値を、当該他方のカメラ装置で画像信号を補正するときのリファレンスデータとして用いる、
請求項8から10の何れか一項に記載の移動体。 - 移動体の前方の画像を撮影する第1のカメラ装置と、上記移動体の後方の画像を撮影する第2のカメラ装置とを含む複数のカメラ装置と、
上記複数のカメラ装置が接続され、上記第1および第2のカメラ装置から基準とするマスタカメラを選択し、上記選択されたマスタカメラからリファレンスデータが供給され、当該供給されたリファレンスデータを、上記マスタカメラ以外の他のカメラ装置で画像信号を補正するためのリファレンスデータとして当該他のカメラ装置に供給するとともに、上記複数のカメラ装置でそれぞれ補正された複数の画像を入力して、当該入力された複数の画像を1枚の画像に合成するカメラ制御ユニットと、
上記カメラ制御ユニットで合成された画像を表示する表示装置と、
を有し、
上記カメラ制御ユニットは、上記移動体の進行方向を切り換えるギアの状態又は上記移動体の進行方向に応じて、上記第1および第2のカメラ装置から上記マスタカメラを選択する、
移動体カメラシステム。 - 上記リファレンスデータは、輝度信号に関するデータと色に関するデータの少なくとも一方である
請求項12記載の移動体カメラシステム。 - 第3と第4のカメラ装置をさらに有し、当該第3と第4のカメラ装置はそれぞれ上記移動体の進行方向に対して左右向きに設置されている
請求項12または13記載の移動体カメラシステム。 - 上記第1、2、3、4のカメラ装置で得られた画像から合成後の画像が、上記表示装置の画面上で1枚の画像として表示される、
請求項14記載の移動体カメラシステム。 - 上記表示装置で表示される画像は、当該画像の中央部に上記移動体が表示される
請求項15記載の移動体カメラシステム。 - 上記カメラ制御ユニットは、上記第1および第2のカメラ装置の一方を上記マスタカメラとして選択し、当該マスタカメラから供給されたリファレンスデータを上記第3および第4のカメラ装置に供給し、
上記第1および第2のカメラ装置のうち、上記マスタカメラとして選択されない他方のカメラ装置は、上記リファレンスデータに基づいて上記第3および第4のカメラ装置で画像信号に対し輝度および色の補正を行った後の輝度および色データの各平均値を、当該他方のカメラ装置で画像信号を補正するときのリファレンスデータとして用いる、
請求項14から16の何れか一項に記載の移動体カメラシステム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009070723A JP4973681B2 (ja) | 2009-03-23 | 2009-03-23 | カメラ制御ユニット、移動体および移動体カメラシステム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009070723A JP4973681B2 (ja) | 2009-03-23 | 2009-03-23 | カメラ制御ユニット、移動体および移動体カメラシステム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006152413A Division JP4325642B2 (ja) | 2006-05-31 | 2006-05-31 | 移動体カメラシステム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2009147977A JP2009147977A (ja) | 2009-07-02 |
JP2009147977A5 JP2009147977A5 (ja) | 2009-08-13 |
JP4973681B2 true JP4973681B2 (ja) | 2012-07-11 |
Family
ID=40917974
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009070723A Expired - Fee Related JP4973681B2 (ja) | 2009-03-23 | 2009-03-23 | カメラ制御ユニット、移動体および移動体カメラシステム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4973681B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5319433B2 (ja) | 2009-07-16 | 2013-10-16 | エンパイア テクノロジー ディベロップメント エルエルシー | 撮影システム、移動体、撮影制御方法 |
KR102082365B1 (ko) * | 2013-02-26 | 2020-02-27 | 삼성전자주식회사 | 이미지 처리 방법 및 그 전자 장치 |
EP3276939A4 (en) * | 2015-03-27 | 2018-12-05 | Kyocera Corporation | Image capturing device, image capturing system, and vehicle |
KR102664060B1 (ko) * | 2017-01-24 | 2024-05-09 | 삼성전자 주식회사 | 복수의 카메라를 제어 하는 방법 및 전자 장치 |
KR102544709B1 (ko) * | 2018-09-18 | 2023-06-20 | 삼성전자주식회사 | 외부 조도에 기반하여 복수개의 카메라를 구동하는 전자 장치 |
JP2021068950A (ja) * | 2019-10-18 | 2021-04-30 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置及び電子機器 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0984056A (ja) * | 1995-09-12 | 1997-03-28 | Omron Corp | 画像処理方法およびその装置 |
JP3830689B2 (ja) * | 1999-05-25 | 2006-10-04 | 三菱電機株式会社 | ステレオカメラ |
JP3297040B1 (ja) * | 2001-04-24 | 2002-07-02 | 松下電器産業株式会社 | 車載カメラの画像合成表示方法及びその装置 |
-
2009
- 2009-03-23 JP JP2009070723A patent/JP4973681B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2009147977A (ja) | 2009-07-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4325642B2 (ja) | 移動体カメラシステム | |
JP4973681B2 (ja) | カメラ制御ユニット、移動体および移動体カメラシステム | |
KR101247647B1 (ko) | 화상 합성 장치, 화상 합성 방법, 및 기록 매체 | |
CN110830779B (zh) | 一种图像信号的处理方法和系统 | |
WO2011013642A1 (ja) | 車両用周辺監視装置および車両用周辺画像表示方法 | |
JP2009017020A (ja) | 画像処理装置及び表示画像生成方法 | |
JP4982127B2 (ja) | 画像表示システム | |
EP3076655B1 (en) | Imaging settings changing device, imaging system, and imaging settings changing method | |
WO2015064095A1 (ja) | 画像の補正パラメータ出力装置、カメラシステム、および補正パラメータ出力方法 | |
JP2009267923A (ja) | 撮像システム | |
JP2012156672A (ja) | 車両周辺監視装置 | |
JP2010188765A (ja) | 測光領域決定装置および測光領域決定方法 | |
JP2013029995A (ja) | 撮像システム | |
JP2009134517A (ja) | 合成画像生成装置 | |
JP2001045512A (ja) | 白黒/カラー切換カメラ | |
JP4619981B2 (ja) | 画像認識装置 | |
KR101406073B1 (ko) | 어라운드 뷰 영상을 생성하는 방법 및 장치 | |
US20180069998A1 (en) | Imaging apparatus, imaging system, and vehicle | |
US20090207276A1 (en) | Image pick up device | |
JP2005303785A (ja) | ホワイトバランス調整装置、ホワイトバランス調整方法 | |
EP2839662A1 (en) | Method for white balance of an image considering the colouring of the motor vehicle | |
JP2009021959A (ja) | カメラネットワークシステム、表示装置、カメラ | |
JP3619066B2 (ja) | 自動ホワイトバランス調整装置及び自動ホワイトバランス調整方法 | |
JP2003070009A (ja) | 撮像装置 | |
KR20180028354A (ko) | 다중 뷰 모드에서의 영상 디스플레이 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090513 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090623 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110906 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111018 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111212 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120313 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120326 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150420 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |