JPWO2015064095A1 - 画像の補正パラメータ出力装置、カメラシステム、および補正パラメータ出力方法 - Google Patents

Abstract

移動体周辺の結合画像の視認性を向上可能な画像の補正パラメータを出力する。画像の補正パラメータ出力装置（２２）は、移動体（１５）の周辺領域を一部重複して撮像する複数の画像を補正するための複数のパターンの補正パラメータ群を、移動体（１５）の制御情報に対応付けて記憶する記憶部（２４）と、移動体（１５）の制御情報を取得する制御情報取得部（２３）と、取得した制御情報に対応する補正パラメータ群を出力する出力部（２５）とを備える。

Description

関連出願へのクロスリファレンス

本出願は、日本国特許出願２０１３−２２４５０８号（２０１３年１０月２９日出願）の優先権を主張するものであり、当該出願の開示全体を、ここに参照のために取込む。

本発明は、撮像画像の補正に用いるパラメータを出力する画像の補正パラメータ出力装置、カメラシステム、および補正パラメータ出力方法に関する。

従来、自動車などの移動体に複数の車載カメラを設置して移動体周辺を撮像し、生成した複数の撮像画像を用いて移動体周辺を俯瞰する結合画像を表示するアラウンドビューモニタシステムが知られている。このようなシステムにおいて、各撮像画像間のつなぎ目に視覚的な連続性を持たせる技術が知られている（例えば、特許文献１）。

特開２０１０−１１６１９６号公報

画像の視認性確保のため、所定の補正パラメータを用いた画像の色および明るさの補正が行われることが一般的である。しかしながら、移動体周辺の環境や移動体の状態によっては、結合画像の視認性が低下することがあった。例えば、移動体周辺の多様な光源に対して、視認性を確保し得る適切な補正パラメータの値は必ずしも一定ではない。このように、結合画像は、移動体の多様な状態に対して十分な視認性を確保できないことがあった。

かかる事情に鑑みてなされた本発明の目的は、移動体周辺の結合画像の視認性を向上可能な画像の補正パラメータを出力する画像の補正パラメータ出力装置、カメラシステム、および補正パラメータ出力方法を提供することにある。

上記課題を解決するために本発明に係る画像の補正パラメータ出力装置は、
移動体の周辺領域を一部重複して撮像する複数の画像を補正するための複数のパターンの補正パラメータ群を、該移動体の制御情報に対応付けて記憶する記憶部と、
前記移動体の制御情報を取得する制御情報取得部と、
前記取得した制御情報に対応する補正パラメータ群を出力する出力部とを備える
ことを特徴とする。

また、本発明に係る補正パラメータ出力装置において、
前記出力部は、制御情報に前記移動体の照明の点灯を示す情報が含まれるか否かに応じて異なる補正パラメータ群を出力する
ことが好ましい。

また、本発明に係る補正パラメータ出力装置において、
前記補正パラメータ群には、前記複数の画像間で色の差を低減するように補正するための色補正パラメータが含まれる
ことが好ましい。

また、本発明に係る補正パラメータ出力装置は、
前記出力部が出力した前記補正パラメータ群に基づいて補正された複数の画像を取得する画像取得部と、
前記補正された複数の画像のうち１つを基準画像として定め、該基準画像と他の補正された画像との重複領域における色信号成分に基づいて、前記他の補正された画像を調整するための色調整パラメータを算出する調整パラメータ算出部とを更に備え、
前記出力部は、前記算出した色調整パラメータを出力する
ことが好ましい。

また、本発明に係る補正パラメータ出力装置において、
前記画像取得部は、前記出力部が出力した前記色調整パラメータに基づいて調整された画像を取得し、
前記調整パラメータ算出部は、前記調整された画像と、前記基準画像とは異なる補正された画像との重複領域における色信号成分に基づいて、前記補正された画像を調整するための色調整パラメータを算出し、
前記出力部は、前記算出した色調整パラメータを出力する
ことが好ましい。

また、本発明に係る補正パラメータ出力装置において、
前記基準画像は、前記補正された複数の画像のうちから前記制御情報に基づいて定められる
ことが好ましい。

また、本発明に係る補正パラメータ出力装置において、
前記基準画像は、前記補正された複数の画像のうちから、前記制御情報に含まれる前記移動体の進行方向を示す情報に基づいて定められる
ことが好ましい

また、本発明に係るカメラシステムは、
移動体の周辺領域を一部重複して撮像する複数の画像を生成する複数の撮像部と、
前記複数の画像を補正するための複数のパターンの補正パラメータ群を、該移動体の制御情報に対応付けて記憶する記憶部と、
前記移動体の制御情報を取得する制御情報取得部と、
前記取得した制御情報に対応する補正パラメータ群を出力する出力部と
前記出力部が出力する補正パラメータに基づいて前記複数の画像を補正する画像処理部と、
前記補正した複数の画像を結合し結合画像を生成する画像結合部とを備える
ことを特徴とする。

また、本発明に係る画像の補正パラメータ出力方法は、
移動体の周辺領域を一部重複して撮像する複数の画像を補正するための複数のパターンの補正パラメータ群を、該移動体の制御情報に対応付けて記憶するステップと、
前記移動体の制御情報を取得するステップと、
前記取得した制御情報に対応する補正パラメータ群を出力するステップとを含む
ことを特徴とする。

本発明に係る画像の補正パラメータ出力装置、カメラシステム、および補正パラメータ出力方法によれば、移動体周辺の結合画像の視認性を向上する画像の補正パラメータを出力可能である。

本発明の第１の実施形態に係るカメラシステムの概略構成を示す機能ブロック図である。 図１のカメラシステムの構成要素の配置を示す概略図である。 図１の撮像装置の撮像範囲を示す概略図である。 図１の記憶部が記憶する補正パラメータ群の例を示す図である。 図１のカメラシステムの動作を説明するフローチャートである。 移動体周辺の結合画像の例を示す図である。 本発明の第２の実施形態に係るカメラシステムの概略構成を示す機能ブロック図である。 図７のカメラシステムの動作を説明するフローチャートである。

以下、本発明の実施形態について、図面を参照して説明する。

（第１の実施形態）
はじめに、本発明の第１の実施形態に係る補正パラメータ出力装置およびカメラシステムについて説明する。図１は、本発明の第１の実施形態に係るカメラシステムの概略構成を示す機能ブロック図である。

図１に示すように、カメラシステム１００は、撮像装置１０と、表示装置１１と、を備える。撮像装置１０は、複数の撮像部、本実施形態においては、例えば、フロントカメラ１２、リアカメラ１３、サイドカメラ１４（左サイドカメラ１４Ｌ，右サイドカメラ１４Ｒ）を有する。

図２に示すように、表示装置１１は、運転席から視認可能な位置に配置される。フロントカメラ１２は、移動体１５の前方の周辺領域を撮像可能となるように配置される。リアカメラ１３は、移動体１５の後方の周辺領域を撮像可能となるように配置される。サイドカメラ１４は、例えば左右のドアミラー１６において鉛直下向きに、移動体１５の側方の周辺領域をそれぞれ撮像可能となるように配置される。また、サイドカメラ１４は、移動体１５の左右両側にそれぞれ対称に配置される。

フロントカメラ１２、リアカメラ１３、およびサイドカメラ１４は、例えば魚眼レンズなどの画角の広いレンズを備えており、移動体１５の周辺領域を広角撮影可能である。図３に示すように、フロントカメラ１２の撮像範囲は、移動体１５の前方領域ＦＡを含む。リアカメラ１３の撮像範囲は、移動体１５の後方領域ＲｅＡを含む。左サイドカメラ１４Ｌの撮像範囲および右サイドカメラ１４Ｒの撮像範囲は、移動体１５の左側方領域ＬＡおよび右側方領域ＲＡをそれぞれ含む。

各カメラ１２，１３，１４Ｌ，１４Ｒの撮像範囲は、移動体１５の四隅周辺の領域を互いに重複して含む。詳細には、フロントカメラ１２の撮像範囲とサイドカメラ１４（１４Ｌ，１４Ｒ）の撮像範囲は、移動体１５の左前方の領域ＦＬＡおよび右前方の領域ＦＲＡを、互いに重複して含む。また、リアカメラ１３の撮像範囲とサイドカメラ１４（１４Ｌ，１４Ｒ）の撮像範囲は、移動体１５の左後方の領域ＲｅＬＡおよび右後方の領域ＲｅＲＡを、互いに重複して含む。以下、各カメラ１２，１３，１４Ｌ，１４Ｒの撮像範囲が互いに重複する移動体１５周辺の領域を重複領域（ＦＬＡ，ＦＲＡ，ＲｅＬＡ，ＲｅＲＡ）という。

次に、撮像部（フロントカメラ１２、リアカメラ１３、サイドカメラ１４）の構成について説明する。フロントカメラ１２は、光学系１７ａと、イメージャ１８ａと、画像処理部１９ａと、カメラ制御部２０ａと、画像結合装置（画像結合部）２１と、補正パラメータ出力装置２２と、を備える（図１参照）。

光学系１７ａは、複数のレンズを含んで構成され、被写体像を結像させる。本実施形態において、光学系１７ａは広い画角を有しており、上述のように移動体１５の周辺領域に含まれる被写体像を結像可能である。

イメージャ１８ａは、例えばＣＭＯＳ撮像素子であって、光学系１７ａによって結像する被写体像を撮像した画像を生成する。

画像処理部１９ａは、イメージャ１８ａが生成した画像に、画像変換、色補正、ガンマ補正、および輝度補正などの画像処理を施す。また、画像処理部１９ａは、画像処理を施した画像を出力する。

画像処理部１９ａは、画像変換により、イメージャ１８ａが生成した広角の撮像画像を俯瞰画像に変換する。即ち、画像変換によって、広角撮影により生成し、一般的に画像周辺部が歪んだ撮像画像が、移動体１５の周辺領域を移動体１５の上方から鉛直下向きにみた俯瞰画像に変換される。具体的には、画像処理部１９ａは、イメージャ１８ａによる撮像画像を、移動体１５の前方領域ＦＡおよび重複領域ＦＬＡ，ＦＲＡ（図３参照）における俯瞰画像に変換する。

画像処理部１９ａは、色補正により、撮像画像又は俯瞰画像の色を補正する。色補正のために、画像処理部１９ａは、補正パラメータ出力装置２２から色補正パラメータを取得する。例えば、画像処理部１９ａは、撮像画像又は俯瞰画像における特定の色信号成分に対して、取得した色補正パラメータを乗じることにより色補正を行う。

画像処理部１９ａは、例えば通常のガンマ補正により、表示装置１１の入力信号対発光強度の非線形性を補正する。

画像処理部１９ａは、輝度補正により、撮像画像又は俯瞰画像の輝度を補正する。輝度補正のために、画像処理部１９ａは、補正パラメータ出力装置２２から輝度補正パラメータを取得する。例えば、画像処理部１９ａは、撮像画像又は俯瞰画像における輝度信号成分に対して、取得した輝度補正パラメータを乗じることにより輝度補正を行う。

カメラ制御部２０ａは（図１参照）、フロントカメラ１２の各部位の動作を制御する。例えば、カメラ制御部２０ａは、リアカメラ１３およびサイドカメラ１４と同期して移動体１５の周辺領域をイメージャ１８ａに撮像させ、周期的に、例えば３０ｆｐｓで画像を生成させる。また、カメラ制御部２０ａは、車載ネットワーク１０１又は専用線を介して情報の送受信を行う。

画像結合装置２１は、フロントカメラ１２、リアカメラ１３、およびサイドカメラ１４Ｌ，１４Ｒの画像処理部１９ａ，１９ｂ，１９ｃ，１９ｄがそれぞれ出力した画像を結合して、結合画像を生成する。結合画像は、例えば移動体１５の全周囲の俯瞰画像である。本実施形態における全周囲の俯瞰画像では、移動体の前方領域ＦＡおよび重複領域ＦＬＡ，ＦＲＡにはフロントカメラ１２の画像、後方領域ＲｅＡおよび重複領域ＲｅＬＡ，ＲｅＲＡにはリアカメラ１３の画像、左右側方領域ＬＡ，ＲＡにはサイドカメラ１４Ｌ，１４Ｒの画像がそれぞれ用いられる（図３参照）。また、画像結合装置２１は、生成した結合画像を表示装置１１に出力する。

補正パラメータ出力装置２２は（図１参照）、制御情報取得部２３と、記憶部２４と、出力部２５と、制御部２６と、を備える。

制御情報取得部２３は、移動体１５の制御情報を取得する。本実施形態において、制御情報には、時刻情報および移動体１５の状態に関する多様な情報が含まれる。移動体１５の状態に関する多様な情報には、例えば、移動体１５の照明（ヘッドランプ、テールランプ、およびブレーキランプ）の点灯又は消灯を示す情報が含まれる。制御情報取得部２３は、任意の方法により制御情報を取得可能であり、例えば車載ネットワーク１０１を介して移動体１５から取得してもよく、あるいは移動体１５の他の構成要素が出力する制御情報を有線／無線により取得してもよい。

記憶部２４は、多様な制御情報にそれぞれ対応付けられた複数のパターンの補正パラメータ群を記憶する。補正パラメータ群は、予め実験又はシミュレーションなどにより定められている。

例えば図４のパターン１に示すように、状態が“昼”である場合、対応する補正パラメータ群に含まれる各カメラ１２，１３，１４Ｌ，１４Ｒの補正パラメータ（色補正パラメータおよび輝度補正パラメータ）は同一である。状態の判別に関し、制御情報に含まれる時刻情報が“７時〜１７時”を示す場合、状態が“昼”であると判別する。

昼の場合、各カメラ１２，１３，１４Ｌ，１４Ｒの撮影範囲の多様な被写体は太陽光などの同一の光源により照らされることが多い。それゆえ、通常のホワイトバランスを実行させる共通の値（基準値）を各補正パラメータとして用いることにより、各カメラ１２，１３，１４Ｌ，１４Ｒが撮像した各画像の色および輝度が平均的に等しいと視認し得るように調整される。

一方、例えば図４のパターン２に示すように、状態が“夜（ヘッドランプＯＮ）”である場合、フロントカメラ１２の補正パラメータは基準値である。また、リアカメラ１３およびサイドカメラ１４Ｌ，１４Ｒの補正パラメータにおいて、色補正パラメータは画像の彩度を上げるように定められ、輝度補正パラメータは画像の輝度を上げるように定められる。状態の判別に関し、制御情報に含まれる時刻情報が“１７時〜７時”を示し、かつ制御情報にヘッドランプ（白色）の点灯を示す情報が含まれる場合、状態が“夜（ヘッドランプＯＮ）”であると判別する。

夜の場合、移動体１５の前方のみにヘッドランプが照射されると、前方の被写体は、左右後方の被写体よりも画像上で明度、彩度が高くなる。それゆえ、前述のような補正パラメータを用いることにより、各カメラ１２，１３，１４Ｌ，１４Ｒが撮像した画像の色および輝度が平均的に等しいと視認し得るように調整される。

また、例えば図４のパターン３に示すように、状態が“夜（ヘッド・テールランプＯＮ）”である場合、フロントカメラ１２の補正パラメータは基準値である。また、リアカメラ１３の補正パラメータにおいて、色補正パラメータは画像の赤みを低減（弱）するように定められ、輝度補正パラメータは画像の輝度を上げるように定められる。また、サイドカメラ１４Ｌ，１４Ｒの補正パラメータにおいて、色補正パラメータは画像の彩度を上げるように定められ、輝度補正パラメータは画像の輝度を上げるように定められる。状態の判別に関し、制御情報に含まれる時刻情報が“１７時〜７時”を示し、かつ制御情報にヘッドランプ（白色）およびテールランプ（赤色）の点灯を示す情報が含まれる場合、状態が“夜（ヘッド・テールランプＯＮ）”であると判別する。

夜の場合、移動体１５の後方のみに赤色のテールランプが照射されると、後方の被写体は、左右前方の被写体よりも赤みの強い画像として撮像される。それゆえ、前述のような補正パラメータを用いることにより、各カメラ１２，１３，１４Ｌ，１４Ｒが撮像した画像の色および輝度が平均的に等しいと視認し得るように調整される。

また、例えば図４のパターン４に示すように、状態が“夜（ヘッド・ブレーキランプＯＮ）”である場合、フロントカメラ１２の補正パラメータは基準値である。また、リアカメラ１３の補正パラメータにおいて、色補正パラメータは画像の赤みを低減（強）するように定められ、輝度補正パラメータは画像の輝度を上げるように定められる。また、サイドカメラ１４Ｌ，１４Ｒの補正パラメータにおいて、色補正パラメータは画像の彩度を上げるように定められ、輝度補正パラメータは画像の輝度を上げるように定められる。状態の判別に関し、制御情報に含まれる時刻情報が“１７時〜７時”を示し、かつ制御情報にヘッドランプ（白色）およびブレーキランプ（赤色）の点灯を示す情報が含まれる場合、状態が“夜（ヘッド・ブレーキランプＯＮ）”であると判別する。

夜の場合、移動体１５の後方のみに赤色のブレーキランプが照射されると、後方の被写体は、左右前方の被写体よりも赤みの強い画像として撮像される。一般に、ブレーキランプはテールランプよりも明るく、赤色が強い。それゆえ、前述のような補正パラメータを用いることにより、各カメラ１２，１３，１４Ｌ，１４Ｒが撮像した画像が平均的に等しいと視認し得る色および輝度に調整される。

また、例えば図４のパターン５に示すように、状態が“夜（照明ＯＦＦ）”である場合、フロントカメラ１２、リアカメラ１３、およびサイドカメラ１４Ｌ，１４Ｒの補正パラメータにおいて、色補正パラメータは画像の彩度を上げるように定められ、輝度補正パラメータは画像の輝度を上げるように定められる。状態の判別に関し、制御情報に含まれる時刻情報が“１７時〜７時”を示す場合、状態が“夜（照明ＯＦＦ）”であると判別する。

夜の場合、移動体１５の照明がいずれも消灯していると、移動体１５周囲の被写体は、昼の場合と比較して画像上で明度、彩度が低くなる。それゆえ、前述のような補正パラメータを用いることにより、各カメラ１２，１３，１４Ｌ，１４Ｒが撮像した画像の色および輝度が平均的に等しいと視認し得るように調整される。

出力部２５は（図１参照）、制御情報取得部２３が取得した制御情報に対応する補正パラメータ群に含まれる補正パラメータを、各カメラ１２，１３，１４Ｌ，１４Ｒの画像処理部１９ａ，１９ｂ，１９ｃ，１９ｄに出力する。

制御部２６は、補正パラメータ出力装置２２の各部位の動作を制御する。例えば、制御部２６は、各カメラ１２，１３，１４Ｌ，１４Ｒのイメージャ１８ａ，１８ｂ，１８ｃ，１８ｄによる画像生成と同時に移動体１５の制御情報を制御情報取得部２３に取得させ、出力部２５に補正パラメータを周期的に出力させる。また、制御部２６は、車載ネットワーク１０１又は専用線を介して情報の送受信を行う。

リアカメラ１３およびサイドカメラ１４（１４Ｌ，１４Ｒ）は（図１参照）、フロントカメラ１２と同様に、光学系１７ｂ，１７ｃ，１７ｄ、イメージャ１８ｂ，１８ｃ，１８ｄ、画像処理部１９ｂ，１９ｃ，１９ｄ、およびカメラ制御部２０ｂ，２０ｃ，２０ｄをそれぞれ備える。光学系１７ｂ，１７ｃ，１７ｄ、イメージャ１８ｂ，１８ｃ，１８ｄ、画像処理部１９ｂ，１９ｃ，１９ｄ、およびカメラ制御部２０ｂ，２０ｃ，２０ｄの機能および構成は、フロントカメラ１２と同様である。

例えば、リアカメラ１３の画像処理部１９ｂは、リアカメラ１３のイメージャ１８ｂによる撮像画像を後方領域ＲｅＡおよび重複領域ＲｅＬＡ，ＲｅＲＡにおける俯瞰画像に変換する。また、左サイドカメラ１４Ｌの画像処理部１９ｃは、左サイドカメラ１４Ｌのイメージャ１８ｃによる撮像画像を左側方領域ＬＡおよび重複領域ＦＬＡ，ＲｅＬＡにおける俯瞰画像に変換する。また、右サイドカメラ１４Ｒの画像処理部１９ｄは、右サイドカメラ１４のイメージャ１８ｄによる撮像画像を右側方領域ＲＡおよび重複領域ＦＲＡ，ＲｅＲＡにおける俯瞰画像に変換する。

表示装置１１は、例えばＬＣＤであり、リアルタイムの動画像を表示可能である。表示装置１１は、画像結合装置２１が出力する結合画像を取得して表示する。表示装置１１は、例えばタッチパネルで構成され、ユーザ操作を受け付けるインターフェースとして機能してもよい。また、表示装置１１は、車載ネットワーク１０１又は専用線を介して情報を送受信可能である。

次に、第１の実施形態に係るカメラシステム１００が実行する処理について、図５のフローチャートを用いて説明する。本処理は、例えば、撮像装置１０が稼働したときに開始され、ユーザによる終了指示があるまで繰り返し実行される。

はじめに、各カメラ１２，１３，１４Ｌ，１４Ｒのカメラ制御部２０ａ，２０ｂ，２０ｃ，２０ｄは、イメージャ１８ａ，１８ｂ，１８ｃ，１８ｄを制御して、移動体１５の周辺領域を撮像した画像を生成する（ステップＳ１００）。

次に、補正パラメータ出力装置２２の制御部２６は、制御情報取得部２３を制御して、各カメラ１２，１３，１４Ｌ，１４Ｒによる撮像画像の撮像時における制御情報を取得する（ステップＳ１０１）。制御情報には、時刻情報および移動体１５の照明（ヘッドランプ、テールランプ、およびブレーキランプ）の点灯を示す情報が含まれる。

続いて、制御部２６は、記憶部２４が記憶している複数のパターンの補正パラメータ群から、ステップＳ１０１の制御情報に対応する補正パラメータ群を読出し（ステップＳ１０２）、補正パラメータを各カメラ１２，１３，１４Ｌ，１４Ｒに出力する。

次に、各カメラ１２，１３，１４Ｌ，１４Ｒのカメラ制御部２０ａ，２０ｂ，２０ｃ，２０ｄは、画像処理部１９を制御して、ステップＳ１００で生成した画像を俯瞰画像にそれぞれ変換する（ステップＳ１０３）。

続いて、各カメラ制御部２０ａ，２０ｂ，２０ｃ，２０ｄは、画像処理部１９ａ，１９ｂ，１９ｃ，１９ｄを制御して、ステップＳ１０２の補正パラメータに基づいて、ステップＳ１０３の俯瞰画像をそれぞれ補正し（ステップＳ１０４）、補正した俯瞰画像を画像結合装置２１に出力する。

次に、画像結合装置２１は、ステップＳ１０４の複数の補正した俯瞰画像の結合画像を生成し（ステップＳ１０５）、表示装置１１に出力する。

そして、表示装置１１は、ステップＳ１０５の結合画像を表示する（ステップＳ１０６）。

このように、第１の実施形態の画像の補正パラメータ出力装置によれば、移動体１５の制御情報に応じて複数の画像を補正するための補正パラメータを出力する。このため、以下に説明するように、移動体１５の多様な状態に適応した補正が可能となり、結合画像の視認性を向上可能である。

例えば、夜間においてヘッドランプが点灯している場合、移動体１５の前方にヘッドランプの白色光が照射されるため、移動体１５の前方の被写体像は、左方、右方、および後方の被写体像に比べて白みがかる。したがって、図６（ａ）に示すように、フロントカメラ１２による画像ＦＩｍ上の左右領域と、サイドカメラ１４による画像ＬＩｍ，ＲＩｍとは、平均的な色および輝度が異なる。同様に、夜間においてテールランプ又はブレーキランプが点灯している場合、移動体１５の後方にテールランプ又はブレーキランプの赤色光が照射されるため、移動体１５の後方の被写体像は、左方、右方、および前方の被写体像に比べて赤みがかる。したがって、リアカメラ１３による画像ＲｅＩｍ全体と、サイドカメラ１４による画像ＬＩｍ，ＲＩｍとは、平均的な色および輝度が異なる。

第１の実施形態の補正パラメータ出力装置は、記憶部２４に予め記憶した複数のパターンの補正パラメータ群から、移動体１５の制御情報に対応する補正パラメータ群を読出して出力する。このようにして、各カメラ１２，１３，１４Ｌ，１４Ｒの画像処理部１９ａ，１９ｂ，１９ｃ，１９ｄは、移動体１５の多様な状態に対して、各撮像画像を平均的に等しいと視認し得る色および輝度に補正可能となる（図６（ｂ）参照）。

また、第１の実施形態では、制御情報に移動体１５の照明の点灯を示す情報が含まれるか否かによって異なる補正パラメータを出力する。このため、移動体１５の照明の点灯の有無による各画像の色および輝度の差を低減し、結合画像の視認性をさらに向上可能である。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。第２の実施形態に係るカメラシステム１００の構成は第１の実施形態と同様であるが、画像処理部の機能および補正パラメータ出力装置の構成が異なる。

画像処理部１９ａ，１９ｂ，１９ｃ，１９ｄは（図７参照）、第１の実施形態と同様に、イメージャ１８ａ，１８ｂ，１８ｃ，１８ｄが生成した画像に、画像変換、色補正、および輝度補正などの画像処理を施す。本実施形態に係る画像処理部１９ａ，１９ｂ，１９ｃ，１９ｄは、補正パラメータ出力装置２２０から後述する調整パラメータを取得する。例えば、画像処理部１９ａ，１９ｂ，１９ｃ，１９ｄは、画像の色信号成分に対して、取得した色調整パラメータを乗じることにより画像調整を行う。

本実施形態に係る補正パラメータ出力装置２２０は、制御情報取得部２３と、記憶部２４と、出力部２５と、制御部２６と、画像取得部２７０と、調整パラメータ算出部２８０とを備える。制御情報取得部２３、記憶部２４、および制御部２６の構成および機能は、第１の実施形態と同様である。

出力部２５は、第１の実施形態と同様に、制御情報取得部２３が取得した制御情報に対応する補正パラメータ群に含まれる補正パラメータを、各カメラ１２，１３，１４Ｌ，１４Ｒの画像処理部１９ａ，１９ｂ，１９ｃ，１９ｄに出力する。また、本実施形態における出力部２５は、調整パラメータ算出部２８０が算出する調整パラメータを、各カメラ１２，１３，１４Ｌ，１４Ｒの画像処理部１９ａ，１９ｂ，１９ｃ，１９ｄに出力する。

画像取得部２７０は、各カメラ１２，１３，１４Ｌ，１４Ｒの画像処理部１９ａ，１９ｂ，１９ｃ，１９ｄから画像を取得する。

調整パラメータ算出部２８０は、画像取得部２７０が取得した複数の画像を調整するための調整パラメータを算出する。例えば、調整パラメータ算出部２８０は、以下に示すように２段階の処理により調整パラメータを算出する。

はじめに、第１段階の処理について説明する。調整パラメータ算出部２８０は、画像取得部２７０が取得した複数の画像のうちの１つを基準画像に定める。ここではフロントカメラ１２による画像を基準画像に定めるものとする。

調整パラメータ算出部２８０は、基準画像および基準画像と共通の重複領域をそれぞれ含む隣接画像（サイドカメラ１４Ｌ，１４Ｒによる画像）について、各重複領域（ＦＬＡ，ＦＲＡ）における画像の色信号成分の平均値をそれぞれ算出する。

調整パラメータ算出部２８０は、基準画像と隣接画像との色信号成分平均値の差が所定の閾値以上である場合、即ち基準画像と隣接画像との間で平均的な色の差が大きい場合、色の差を低減するように隣接画像の色信号成分に乗じる色調整パラメータを算出する。例えば、調整パラメータ算出部２８０は、平均値の差が所定の閾値未満となるように、或いは隣接画像の平均値を基準画像の平均値に一致させるように、隣接画像の色調整パラメータを算出する。

そして、調整パラメータ算出部２８０は、出力部２５を介して算出した色調整パラメータをサイドカメラ１４Ｌ，１４Ｒに出力する。

調整パラメータ算出部２８０は、上述のように算出した色調整パラメータに基づいて調整されたサイドカメラ１４Ｌ，１４Ｒによる画像を画像取得部２７０が取得すると、以下に説明する第２段階の処理を行う。

調整パラメータ算出部２８０は、サイドカメラ１４Ｌ，１４Ｒによる画像および当該画像とそれぞれ共通の重複領域を含み基準画像と異なる第３の画像（リアカメラ１３による画像）について、各重複領域（ＲｅＬＡ，ＲｅＲＡ）における画像の色信号成分の平均値をそれぞれ算出する。

調整パラメータ算出部２８０は、左サイドカメラ１４Ｌによる画像の色信号成分平均値と、右サイドカメラ１４Ｒによる画像の色信号成分平均値と、の平均値Ａを算出する。また、調整パラメータ算出部２８０は、重複領域ＲｅＬＡにおけるリアカメラ１３による画像の色信号成分平均値と、重複領域ＲｅＲＡにおけるリアカメラ１３による画像の色信号成分平均値と、の平均値Ｂを算出する。

調整パラメータ算出部２８０は、平均値Ａと平均値Ｂとの差が所定の閾値以上である場合、例えば、平均値の差が所定の閾値未満となるように、或いは平均値Ｂを平均値Ａに一致させるように、リアカメラ１３による画像の色調整パラメータを算出する。

そして、調整パラメータ算出部２８０は、出力部２５を介して算出した色調整パラメータをリアカメラ１３に出力する。

好適には、調整パラメータ算出部２８０は、画像取得部２７０が取得した複数の画像のうちいずれの画像を上述の基準画像に定めるかを、制御情報取得部２３が取得した制御情報に基づいて決定する。ここで、制御情報には、移動体１５の進行方向を示す情報が含まれる。調整パラメータ算出部２８０は、制御情報に基づいて移動体１５の進行方向を判定し、例えば前進時にはフロントカメラ１２による画像、後進時にはリアカメラ１３による画像、左折時又は右折時にはサイドカメラ１４（１４Ｌ又は１４Ｒ）による画像を基準画像に定める。

次に、第２の実施形態に係るカメラシステム１００が実行する処理について、図８のフローチャートを用いて説明する。本処理は、例えば、撮像装置１０が稼働したときに開始され、ユーザによる終了指示があるまで繰り返し実行される。

ステップＳ２００からステップＳ２０３では、第１の実施形態におけるステップＳ１００からステップＳ１０３と同様の処理が行われる。

続いて、各カメラ制御部２０ａ，２０ｂ，２０ｃ，２０ｄは、画像処理部１９を制御して、ステップＳ２０２の補正パラメータに基づいて、ステップＳ２０３の俯瞰画像をそれぞれ補正し（ステップＳ２０４）、補正した俯瞰画像を補正パラメータ出力装置２２０に出力する。

次に、補正パラメータ出力装置２２０は、ステップＳ２００の制御情報に基づいて、ステップＳ２０４の複数の補正した俯瞰画像のうち１つを基準画像に定める（ステップＳ２０５）。ここでは、フロントカメラ１２による画像を基準画像に定めるものとする。

続いて、補正パラメータ出力装置２２０は、基準画像およびステップＳ２０４の複数の補正した俯瞰画像のうちサイドカメラ１４Ｌ，１４Ｒによる画像の色信号成分に基づいて、サイドカメラ１４Ｌ，１４Ｒによる画像を調整するための色調整パラメータを算出し（ステップＳ２０６）、サイドカメラ１４Ｌ，１４Ｒに出力する。

次に、サイドカメラ１４Ｌ，１４Ｒは、ステップＳ２０６の色調整パラメータに基づいて、ステップＳ２０４で補正したサイドカメラ１４Ｌ，１４Ｒによる画像を調整し（ステップＳ２０７）、調整した画像を補正パラメータ出力装置２２０に出力する。

次に、補正パラメータ出力装置２２０は、ステップＳ２０７で調整したサイドカメラ１４Ｌ，１４Ｒによる画像およびステップＳ２０４で補正したリアカメラ１３による画像の色信号成分に基づいて、リアカメラ１３による画像を調整するための色調整パラメータを算出し（ステップＳ２０８）、リアカメラ１３に出力する。

次に、リアカメラ１３は、ステップＳ２０８の色調整パラメータに基づいて、ステップＳ２０４で補正したリアカメラ１３による画像を調整する（ステップＳ２０９）。

続いて、各カメラ１２，１３，１４Ｌ，１４Ｒは、補正又は調整した俯瞰画像を補正パラメータ出力装置２２に出力する（ステップＳ２１０）。詳細には、ステップＳ２０４で補正したフロントカメラ１２による画像、ステップＳ２０７で調整したサイドカメラ１４Ｌ，１４Ｒによる画像、およびステップＳ２０９で調整したリアカメラ１３による画像を出力する。

次に、画像結合装置２１は、ステップＳ２１０の俯瞰画像による結合画像を生成し（ステップＳ２１１）、表示装置１１に出力する。

そして、表示装置１１は、ステップＳ２１１の結合画像を表示する（ステップＳ２１２）。

このように、第２の実施形態のカメラシステムによれば、第１の実施形態のカメラシステムと同様に各カメラ１２，１３，１４Ｌ，１４Ｒによる画像を補正した上で、基準画像の色信号成分を基準として各カメラ１２，１３，１４Ｌ，１４Ｒによる画像を調整するため、結合画像の視認性を向上可能である。

また、第２の実施形態では、例えば移動体１５の進行方向に応じて基準画像を決定するため、運転者が注目する移動体１５の周辺領域を含む画像の色に合わせて他の画像の色を補正し、結合画像の視認性を更に向上可能である。

本発明を諸図面や実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。したがって、これらの変形や修正は本発明の範囲に含まれることに留意されたい。

例えば、上述の実施形態において、撮像装置１０は、フロントカメラ１２、リアカメラ１３、サイドカメラ１４を備えるが、更に多くのカメラを備えてもよい。例えば、移動体１５の全周囲を撮像可能な遠景カメラを更に備える構成であってもよい。

また、上述の実施形態のカメラシステムの各構成要素は、分割及び再配置可能である。例えば、画像結合装置２１および補正パラメータ出力装置２２を、フロントカメラ１２から分割し単独の装置として構成してもよい。また、例えばナビゲーションシステムを更に備え、画像結合装置２１および補正パラメータ出力装置２２をナビゲーションシステムに備えるように構成してもよい。

また、上述の実施形態において、補正パラメータは、画像の補正に関する他の任意のパラメータを採用してもよい。また、例えば第２の実施形態では、調整パラメータ算出部２８０が色調整パラメータを算出する構成について説明したが、同様の処理により輝度調整パラメータを算出する構成であってもよい。この場合、例えば画像処理部１９ａ，１９ｂ，１９ｃ，１９ｄは、画像の輝度信号成分に対して、輝度調整パラメータを乗じることにより画像調整を行う。

また、上述の実施形態において、制御情報には、時刻情報や移動体１５の照明の点灯を示す情報、移動体１５の進行方向を示す情報などが含まれるものとして説明したが、他の任意の情報を含んでもよい。

また、上述の実施形態では、画像処理部１９ａ，１９ｂ，１９ｃ，１９ｄが、イメージャ１８ａ，１８ｂ，１８ｃ，１８ｄが生成した撮像画像（又は俯瞰画像）を補正する構成について説明したが、例えばゲインコントローラを有するＡＦＥ（Analog Front End）又はホワイトバランスの制御部に補正パラメータを入力し、イメージャ１８ａ，１８ｂ，１８ｃ，１８ｄによる画像生成時に色および輝度を補正する構成であってもよい。

また、上述の実施形態において、輝度補正パラメータは、画像の輝度信号成分に対して乗じるパラメータとして説明したが、例えば絞り値およびシャッタ速度を示すパラメータであってもよい。この場合、絞りおよび露出時間の制御部に輝度補正パラメータを入力して輝度の調整を行う。また、輝度補正パラメータとして、画像の輝度信号成分に対して乗じるパラメータと、絞り値およびシャッタ速度を示すパラメータとを組合わせて用いてもよい。

また、第２の実施形態において、調整パラメータ算出部２８０は、左右のサイドカメラ１４による画像の色信号成分を用いてリアカメラ１３による画像の補正パラメータを算出するが、左右何れか一方のサイドカメラ１４による画像の色信号成分を用いて補正パラメータを算出する構成であってもよい。

１０ 撮像装置
１１ 表示装置
１２ フロントカメラ
１３ リアカメラ
１４，１４Ｌ，１４Ｒ サイドカメラ
１５ 移動体
１６ ドアミラー
１７ａ，１７ｂ，１７ｃ，１７ｄ 光学系
１８ａ，１８ｂ，１８ｃ，１８ｄ イメージャ
１９ａ，１９ｂ，１９ｃ，１９ｄ 画像処理部
２０ａ，２０ｂ，２０ｃ，２０ｄ カメラ制御部
２１ 画像結合装置
２２，２２０ 補正パラメータ出力装置
２３ 制御情報取得部
２４ 記憶部
２５ 出力部
２６ 制御部
１００ カメラシステム
１０１ 車載ネットワーク
２７０ 画像取得部
２８０ 調整パラメータ算出部

上記課題を解決するために本発明に係る画像の補正パラメータ出力装置は、
移動体の周辺領域を一部重複して撮像する複数の画像を補正するための複数のパターンの補正パラメータ群を、該移動体の制御情報に対応付けて記憶する記憶部と、
前記移動体の制御情報を取得する制御情報取得部と、
前記取得した制御情報に対応する補正パラメータ群を出力する出力部と、
前記出力部が出力した前記補正パラメータ群に基づいて補正された複数の画像を取得する画像取得部と、
前記補正された複数の画像のうち１つを基準画像として定め、該基準画像と他の補正された画像との重複領域における色信号成分に基づいて、前記他の補正された画像を調整するための色調整パラメータを算出する調整パラメータ算出部とを備え、
前記出力部は、前記算出された色調整パラメータを出力する
ことを特徴とする。

また、本発明に係るカメラシステムは、
移動体の周辺領域を一部重複して撮像する複数の画像を生成する複数の撮像部と、
前記複数の画像を補正するための複数のパターンの補正パラメータ群を、該移動体の制御情報に対応付けて記憶する記憶部と、
前記移動体の制御情報を取得する制御情報取得部と、
前記取得した制御情報に対応する補正パラメータ群を出力する出力部と、
前記出力部が出力する補正パラメータに基づいて前記複数の画像を補正する画像処理部と、
前記画像処理部によって補正された複数の画像のうち１つを基準画像として定め、該基準画像と他の補正された画像との重複領域における色信号成分に基づいて、前記他の補正された画像を調整するための色調整パラメータを算出する調整パラメータ算出部とを備え、
前記画像処理部は、前記他の補正された画像を前記色調整パラメータに基づいて調整し、
補正または調整された前記複数の画像を結合し結合画像を生成する画像結合部とを備える
ことを特徴とする。

また、本発明に係る画像の補正パラメータ出力方法は、
移動体の周辺領域を一部重複して撮像する複数の画像を補正するための複数のパターンの補正パラメータ群を、該移動体の制御情報に対応付けて記憶するステップと、
前記移動体の制御情報を取得するステップと、
前記取得した制御情報に対応する補正パラメータ群を出力するステップと、
前記補正パラメータ群に基づいて補正された複数の画像を取得するステップと、
補正された前記複数の画像のうち１つを基準画像として定め、該基準画像と他の補正された画像との重複領域における色信号成分に基づいて、前記他の補正された画像を調整するための色調整パラメータを算出するステップと、
算出された前記色調整パラメータを出力するステップとを含む
ことを特徴とする。

Claims (9)

1. 移動体の周辺領域を一部重複して撮像する複数の画像を補正するための複数のパターンの補正パラメータ群を、該移動体の制御情報に対応付けて記憶する記憶部と、
   前記移動体の制御情報を取得する制御情報取得部と、
   前記取得した制御情報に対応する補正パラメータ群を出力する出力部とを備えることを特徴とする画像の補正パラメータ出力装置。
2. 請求項１に記載の補正パラメータ出力装置であって、前記出力部は、制御情報に前記移動体の照明の点灯を示す情報が含まれるか否かに応じて異なる補正パラメータ群を出力することを特徴とする補正パラメータ出力装置。
3. 請求項１に記載の補正パラメータ出力装置であって、前記補正パラメータ群には、前記複数の画像間で色の差を低減するように補正するための色補正パラメータが含まれることを特徴とする補正パラメータ出力装置。
4. 請求項１に記載の補正パラメータ出力装置であって、
   前記出力部が出力した前記補正パラメータ群に基づいて補正された複数の画像を取得する画像取得部と、
   前記補正された複数の画像のうち１つを基準画像として定め、該基準画像と他の補正された画像との重複領域における色信号成分に基づいて、前記他の補正された画像を調整するための色調整パラメータを算出する調整パラメータ算出部とを更に備え、
   前記出力部は、前記算出した色調整パラメータを出力することを特徴とする補正パラメータ出力装置。
5. 請求項４に記載の補正パラメータ出力装置であって、
   前記画像取得部は、前記出力部が出力した前記色調整パラメータに基づいて調整された画像を取得し、
   前記調整パラメータ算出部は、前記調整された画像と、前記基準画像とは異なる補正された画像との重複領域における色信号成分に基づいて、前記補正された画像を調整するための色調整パラメータを算出し、
   前記出力部は、前記算出した色調整パラメータを出力することを特徴とする補正パラメータ出力装置。
6. 請求項４に記載の補正パラメータ出力装置であって、前記基準画像は、前記補正された複数の画像のうちから前記制御情報に基づいて定められることを特徴とする補正パラメータ出力装置。
7. 請求項６に記載の補正パラメータ出力装置であって、前記基準画像は、前記補正された複数の画像のうちから、前記制御情報に含まれる前記移動体の進行方向を示す情報に基づいて定められることを特徴とする補正パラメータ出力装置。
8. 移動体の周辺領域を一部重複して撮像する複数の画像を生成する複数の撮像部と、
   前記複数の画像を補正するための複数のパターンの補正パラメータ群を、該移動体の制御情報に対応付けて記憶する記憶部と、
   前記移動体の制御情報を取得する制御情報取得部と、
   前記取得した制御情報に対応する補正パラメータ群を出力する出力部と
   前記出力部が出力する補正パラメータに基づいて前記複数の画像を補正する画像処理部と、
   前記補正した複数の画像を結合し結合画像を生成する画像結合部とを備えることを特徴とするカメラシステム。
9. 移動体の周辺領域を一部重複して撮像する複数の画像を補正するための複数のパターンの補正パラメータ群を、該移動体の制御情報に対応付けて記憶するステップと、
   前記移動体の制御情報を取得するステップと、
   前記取得した制御情報に対応する補正パラメータ群を出力するステップとを含むことを特徴とする画像の補正パラメータ出力方法。

Images