JP7100574B2 - 半導体装置、画像処理方法およびプログラム - Google Patents

Description

本発明は半導体装置、画像処理方法およびプログラムに関する。

複数のカメラで一の風景を同時に撮像し、撮像した画像に合成や幾何変換を施して表示させる画像処理技術が普及している。自動車においては、このような技術を利用して自動車の周囲を運転者に容易に認識させるシステムが普及しつつある。このような画像処理技術の一例としてサラウンドビューが挙げられる。サラウンドビューは、例えば、運転者が操作する自動車の周囲３６０度の風景を真上から見た二次元画像として運転者に表示する。サラウンドビューを目視することにより、運転者は自動車の周囲に存在する物体を直観的に認識することができる。そのためサラウンドビューは、自動車の安全性を向上させることに寄与する技術として急速に普及している。

ところで、複数のカメラにより周囲の風景を同時に撮像する場合、カメラが撮像した撮像領域ごとに照明の色が異なる場合がある。また、カメラはそれぞれに色バランス処理を施す機能を有している。そのため、複数のカメラがそれぞれ撮像した画像を合成する場合、互いの色バランスが異なる場合がある。そこで、異なる色バランス処理が施された複数の画像を違和感なく合成するための技術が求められている。

例えば、特許文献１に記載の合成映像表示装置は、合成映像において重複して対応する撮影画素の画素値を統計した第１の統計値と第２の統計値とを算出し、第１の統計値と第２の統計値の平均値を第１の統計値で除算した目標ゲインを算出する。そして、合成映像表示装置は、映像調整の対象とする撮影映像を撮影した撮影装置の光軸にあたる撮影画素から、重複して対応する撮影画素にかけて施す映像調整の調整ゲインを１から目標ゲインに変化させる。

特開２００８－０７９２４８号公報

しかし、特許文献１に記載の技術は、撮影装置の光軸にあたる撮影画素を基準として色バランスが施されている。そのため、特許文献１に記載の技術は、撮影装置の光軸から離れるに連れて、適切な色バランスから離れる虞がある。例えば、自動車の前側を撮影した画像と自動車の左側を撮影した画像とを合成する場合に、重複領域である自動車の左前側の領域が他の領域とは異なる色の照明により照射されている可能性がある。このような場合には、特許文献１に記載の技術は、画像全体に好適な色バランス処理を施すことができない。

その他の課題と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。

一実施の形態によれば、半導体装置は、画像データ取得回路と、推定画像生成回路と、再調整回路と、画像合成回路と、出力回路とを有している。画像データ取得回路は、撮像領域に互いに重複する重複領域を含む画像を撮像し、撮像した画像の色バランスの調整である初期色調整を施した画像データをそれぞれ生成する複数の画像信号処理装置から上記画像データを取得する。推定元画像生成回路は、上記画像データの初期色調整の効果をそれぞれキャンセルすることにより推定元画像データを生成する。再調整回路は、推定元画像データを、予め設定された複数画素を有する複数の処理領域に分割するとともに、処理領域ごとに色バランスの再調整を施す。画像合成回路は、上記画像データをそれぞれの重複領域が互いに重なるように合成して合成画像を生成する。出力回路は、再調整が施された合成画像を出力する。

また、一実施の形態によれば、半導体装置は、画像データ取得インタフェースと、プロセッサとを有している。画像データ取得インタフェースは、撮像領域に互いに重複する重複領域を含む画像を撮像して色バランスの調整である初期色調整をそれぞれ施した画像データを生成する複数の画像信号処理装置から上記画像データを取得する。プロセッサは、上記画像データの初期色調整の効果をそれぞれキャンセルすることにより推定元画像データを生成し、推定元画像データを、予め設定された複数画素を有する処理領域に分割するとともに、処理領域ごとに色バランスの再調整を施す。また、プロセッサは、上記画像データをそれぞれの重複領域が互いに重なるように合成して合成画像を生成し、再調整が施された合成画像を出力する。

また、一実施の形態によれば、画像処理方法は、画像データ取得ステップと、元画像推定ステップと、再調整ステップと、画像合成ステップと、出力ステップとを有する。画像データ取得ステップは、撮像領域に互いに重複する重複領域を含む画像を撮像して色バランスの調整である初期色調整をそれぞれ施した画像データを生成する複数の画像信号処理装置から上記画像データを取得する。元画像推定ステップは、上記画像データの上記初期色調整の効果をそれぞれキャンセルすることにより推定元画像データを生成する。再調整ステップは、推定元画像データを、予め設定された複数画素を有する処理領域に分割するとともに、処理領域ごとに色バランスの再調整を施す。画像合成ステップは、上記画像データをそれぞれの上記重複領域が互いに重なるように合成して合成画像を生成する。出力ステップは、再調整が施された合成画像を出力する。

前記一実施の形態によれば、画像全体に好適な色バランス処理を施す半導体装置等を提供することができる。

実施の形態１にかかる画像処理システムが搭載された自動車の概観図である。 実施の形態１にかかる画像処理システムの概略構成図である。 実施の形態１にかかる半導体装置の機能ブロック図である。 実施の形態１にかかる半導体装置の処理を示すフローチャートである。 画像処理システムが有するカメラが撮像する撮像領域の例を示す図である。 前カメラが生成する画像データの例を示す図である。 左カメラが生成する画像データの例を示す図である。 半導体装置が行う一致化ゲイン算出時の一連の処理を示すフローチャートである。 重複領域における処理領域が完全には重ならない場合を例示した図である。 隣接領域を利用した補間処理の一例を示した図である。 画像の端部における補間処理の一例を示した図である。 実施の形態１にかかる画像の幾何変換を示した図である。 実施の形態１にかかる画像の合成を模式的に示した図である。 実施の形態１の変形例における自動車の概観図である。 実施の形態２にかかる半導体装置の機能ブロック図である。 実施の形態２にかかる半導体装置の処理を示すフローチャートである。

説明の明確化のため、以下の記載および図面は、適宜、省略、および簡略化がなされている。また、様々な処理を行う機能ブロックとして図面に記載される各要素は、ハードウェア的には、ＣＰＵ（Central Processing Unit）、メモリ、その他の回路で構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。したがって、以下の説明において、回路として例示した構成は、ハードウェアまたはソフトウェアのいずれかまたはその両方によって実現することが可能であり、ある機能を実現する回路として示され構成は、同様の機能を実現するソフトウェアの一部としても示され得る。例えば、制御回路と記載された構成は、制御部として記載され得る。なお、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。

＜実施の形態１＞
図１および図２を参照しながら、実施の形態１の構成概略について説明する。図１は、実施の形態１にかかる画像処理システムが搭載された自動車の概観図である。画像処理システム１０は、図に示す自動車１に搭載されている。図は自動車１の上面図であり、図の上側が自動車１の前側であり、図の左側が自動車１の左側であり、図の下側が自動車１の後ろ側であり、図の右側が自動車１の右側である。

図２は、実施の形態１にかかる画像処理システムの概略構成図である。図２は、自動車１に搭載されている画像処理システム１０の主なハードウェア構成を模式的に示したものである。以下に、図１および図２を参照しながら画像処理システム１０の各構成について説明する。

画像処理システム１０は、自動車１の周囲を撮像し、撮像した画像の画像データに所定の処理を施して運転者等に表示するためのシステムである。画像処理システム１０は、主な構成として、カメラ１１Ｆ、カメラ１１Ｌ、カメラ１１Ｂ、カメラ１１Ｒ、表示装置１２、および半導体装置１００を有している。

カメラ１１Ｆ、カメラ１１Ｌ、カメラ１１Ｂおよびカメラ１１Ｒは、自動車１の周囲の風景をそれぞれ撮像するための撮像装置である。これら４台のカメラは、それぞれレンズ、画像を電気信号に変換する撮像素子および撮像素子が生成した電気信号から画像データを生成するＩＳＰ（Image Signal Processor）等により構成されている。ＩＳＰは、撮像素子が生成した電気信号に対して画素ごとに適宜画質の調整を行う画像信号処理装置である。このような構成により、それぞれのカメラは、予め設定されたアルゴリズムに従い、色バランスなどを自動的に調整し、調整した画像データを出力する。すなわち、屋内の特別な照明環境や夕焼けで撮影されたオブジェクトは識別し難くなる。それに対して、ＩＳＰが実行するアルゴリズムは、自然光（白色光）で撮影されたオブジェクトのようにオブジェクトが識別し易くなるように各画素のＲ,Ｇ,Ｂ毎の信号レベルを変更する機能を有している。

また、これら４台のカメラは、画像データを所定のファイル形式に適合するように処理する。所定のファイル形式とは、例えばＥｘｉｆ（Exchangeable image file format）である。Ｅｘｉｆに適合するように処理が施された画像データは、撮像された画像データと併せて、撮像された日時、カメラの機種、絞り値、画素数、または色調整ゲインといった情報を含んでいる。なお、ＩＳＰが施す色調整は、初期色調整、ＡＷＢ（Automatic White Balance）またはカラーバランスとも称される。Ｅｘｉｆに適合した画像データは、これらの情報によって、データの管理や、機器同士のデータ交換、最適な設定での出力などが行われるように構成されている。また、これら４台のカメラはそれぞれ半導体装置１００に接続されており、生成した画像データを半導体装置１００に供給する。

上記４台のカメラの内、カメラ１１Ｆは自動車の前方を撮像するように、自動車１の前部に設置されている。同様に、カメラ１１Ｌは自動車の左方を撮像するように自動車１の左側に設置されている。同じく、カメラ１１Ｂは自動車１の後方を撮像するように自動車１の後部に設置され、カメラ１１Ｒは自動車の右方を撮像するように自動車１の右側に設置されている。

なお、上記４台のカメラは、互いに重複する撮像領域をそれぞれ含んでいる。例えば、自動車１の前方を撮像するカメラ１１Ｆの撮像領域および自動車１の左方を撮像するカメラ１１Ｌの撮像領域は、それぞれが自動車１の左前方を撮像するため、この部分は互いに重複する。同様に、カメラ１１Ｌの撮像領域およびカメラ１１Ｂの撮像領域は、自動車１の左後方部分が互いに重複する。同じく、カメラ１１Ｂの撮像領域およびカメラ１１Ｒの撮像領域は、自動車１の右後方部分が互いに重複し、カメラ１１Ｒの撮像領域およびカメラ１１Ｆの撮像領域は、自動車１の右前方部分が互いに重複する。このように、上記４台のカメラがそれぞれ互いに重複領域を含むことにより、画像処理システム１０は、自動車１の前後左右を切れ目なく撮像する。

半導体装置１００は、上記４台のカメラから画像データを取得し、取得した画像データに所定の処理を施して、処理済みの画像データを表示装置１２に出力する。半導体装置１００はＣＰＵおよびメモリ等を含む電気部品により構成されており、自動車１の任意の位置に設置される。半導体装置１００は、主な構成として、画像データ取得ＩＦ（Interface）、プロセッサ１２０、内部メモリ１３０、画像データ出力ＩＦ１４０を有している。半導体装置１００の各構成は、内部バスにより接続されている。

画像データ取得ＩＦ１１０は上述した４台のカメラから画像データを取得するインタフェースである。画像データ取得ＩＦ１１０は、カメラから画像データを取得すると、取得した画像データをプロセッサ１２０または内部メモリ１３０に供給する。

プロセッサ１２０はカメラから取得した画像データに対して内部メモリ１３０と協働しながら所定の処理を施すための演算装置である。プロセッサ１２０は、主な機能として、取得した画像データの初期色調整の効果をそれぞれキャンセルすることにより推定元画像データを生成する。また、プロセッサ１２０は、推定元画像データを、予め設定された複数画素を有する処理領域に分割するとともに、処理領域ごとに色バランスの再調整を施し、画像データをそれぞれの重複領域が互いに重なるように合成して合成画像を生成する。

内部メモリ１３０は、プロセッサ１２０と協働して画像データを一時的に記憶するための記憶装置である。内部メモリ１３０は、例えばＤＲＡＭ（Dynamic Random Access Memory）やＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等の揮発性メモリ若しくはフラッシュメモリ等の不揮発メモリまたはこれらの組合せにより構成される。画像データ出力ＩＦ１４０は、プロセッサにより生成された処理後の画像データを表示装置に出力するためのインタフェースである。

表示装置１２は、半導体装置１００から受け取った画像データを表示するための装置であって、画像データ入力回路、表示デバイス、表示ドライバ等により構成されている。表示デバイスは、例えば、液晶パネル、有機ＥＬ（Electro Luminescence）、ＨＵＤ（Head-up Display）等である。表示装置１２は、例えば運転者が目視し易いダッシュボードやセンタークラスタ等に設置される。

次に、半導体装置１００の機能および半導体装置１００が行う処理について説明する。図３は、実施の形態１にかかる半導体装置の機能ブロック図である。半導体装置１００は主な機能として、画像データ取得部１０１、推定元画像生成部１０２、再調整部１０３、色補間部１０４、幾何変換部１０５、画像合成部１０６および出力部１０７を有している。

図４は、実施の形態１にかかる半導体装置の処理を示すフローチャートである。半導体装置１００は、図３に示す機能により、図４の処理を実現する。以下に、図４の処理について図３の機能とともに説明する。

まず、画像データ取得部１０１は、上述した４台のカメラからそれぞれの画像データを取得する（ステップＳ１０）。画像データ取得部１０１が取得する画像データは、Ｅｘｉｆに適合するファイル形式となっている。画像データは、例えばＪＰＥＧ形式の複数の画素から構成される画像を有する。複数の画素のそれぞれは、Ｒ,Ｇ,Ｂという３つの信号レベルを有している。更に、画像データは、ＡＷＢゲイン等の情報が含まれている。画像データ取得部１０１は、取得した画像データを推定元画像生成部１０２に供給する。

ここで、画像データに含まれるＡＷＢゲインの導出例について説明する。カメラのＩＳＰは、撮像素子から複数の画素で構成される画像を受け取る。画像の含まれる複数の画素のそれぞれの画素はＲ,Ｇ,Ｂという３つの信号レベルを有している。各信号レベルは、８ビット階調（０～２５６）で示される。ここで、画像のＲの信号レベルの集合をＲ０とする。同様に、画像のＧの信号レベルの集合をＧ０、画像のＢの信号レベルの集合をＢ０とする。カメラのＩＳＰは、撮像素子から画像を受け取ると、画像の中央部から無彩色の領域を抽出する。なお、本開示において、「無彩色」というのは、ＲＧＢの各信号レベルの最大値と最小値の差が予め設定された値より小さい色を言う。例えば、本開示における無彩色は、ＲＧＢの各信号レベルの最大値と最小値の差が１０より小さい色であってもよい。ここで、ＩＳＰが抽出した無彩色の領域のＲの信号レベルの集合をＣ＿Ｒ０とする。同様に、無彩色の領域のＧの信号レベルの集合をＣ＿Ｇ０, 無彩色の領域のＢの信号レベルの集合をＣ＿Ｂ０とする。なお、当然ながら、抽出された無彩色の領域の複数の画素は、画像を構成する複数の画素に含まれる。カメラのＩＳＰは、この無彩色の領域が白色に近付くように色バランスを調整するＡＷＢゲインを決定する。なお、本開示において「白色」とは、ＲＧＢの各信号レベルの差が略０になる色を意味している。具体的には、ＩＳＰは、以下の式においてそれぞれの積分値が等しくなるように、Ｃ_Ｒ０、Ｃ_Ｇ０、Ｃ_Ｂ０の積分値に乗算するＡＷＢゲイン（パラメータ）α、γおよびβを決定する。

ＩＳＰは、このようにして決定したＡＷＢゲインα、γおよびβのそれぞれを、画像全体の画素のＲ,Ｇ,Ｂの信号レベルそれぞれに乗算する。これにより、画像のＲの信号レベルの集合がＲ１に変わる。同様に、画像のＧの信号レベルの集合がＧ１、画像のＢの信号レベルの集合がＢ１に変化した画像が生成される。なお、この画像が先述した画像データに含まれる画像である。

なお、最終的に、白をどのような色で表示するかはディスプレイやプリンターなどのような出力デバイス側の色設定で決まるのが一般的である。このようにして、ＩＳＰは撮像素子から受け取った画素信号の色バランスを調整した画素信号を生成する。そして、ＩＳＰは、生成した画素信号にＥｘｉｆに対応した種々の情報を付加した画像データを出力する。

上述の処理は一般的なカメラにおけるＡＷＢの処理例である。本開示における上記４台のカメラにおいても、これと同様の処理がそれぞれ行われている。つまり、上記４台のカメラは、それぞれがＡＷＢ処理を施している。そのため、上記４台のカメラがそれぞれ決定するＡＷＢゲインの値が同じになるとは限らない。

次に、図５を参照しながら画像の撮像領域について説明する。図５は、画像処理システムが有するカメラが撮像する撮像領域の例を示す図である。自動車１の前部に設置されたカメラ１１Ｆは、撮像領域３００Ｆを撮像するように設定されている。同様に、自動車１の左側部に設置されたカメラ１１Ｌは、撮像領域３００Ｌを撮像するように設定され、後部に設置されたカメラ１１Ｂは、撮像領域３００Ｂを撮像するように設定され、右側部に設置されたカメラ１１Ｒは、撮像領域３００Ｒを撮像するように設定されている。

また、重複領域３００ＦＬは、カメラ１１Ｆが撮像する撮像領域３００Ｆとカメラ１１Ｌが撮像する撮像領域３００Ｌとが重複する領域である。同様に、重複領域３００ＬＢは、カメラ１１Ｌが撮像する撮像領域３００Ｌとカメラ１１Ｂが撮像する撮像領域３００Ｂとが重複する領域である。同じく、重複領域３００ＢＲはカメラ１１Ｂが撮像する撮像領域３００Ｂとカメラ１１Ｒが撮像する撮像領域３００Ｒとが重複する領域であり、重複領域３００ＲＦはカメラ１１Ｒが撮像する撮像領域３００Ｒとカメラ１１Ｆが撮像する撮像領域３００Ｆとが重複する領域である。

以上に説明したとおり、上記４台のカメラがそれぞれ撮像した画像には重複領域が含まれる一方、上記４台のカメラはそれぞれ異なるＡＷＢゲインを決定している可能性がある。そのため、例えば、前方を撮像するカメラ１１Ｆと左方を撮像するカメラ１１Ｌがそれぞれ決定したＡＷＢゲインが異なる場合、画像データの左前方の重複領域３００ＦＬにおける色バランスが互いに異なる。

次に半導体装置１００は、各画像データの領域情報を取得する（ステップＳ１１）。領域情報は、各カメラから取得する画像データに含まれる画素信号を予め設定された複数画素を有する領域に画定するための情報である。領域情報には、例えば、取得する画像データの画角や重複領域に関する情報が含まれており、例えば内部メモリ１３０に予め記憶されている。したがって、半導体装置１００は、例えば予め記憶されている領域情報と、カメラ１１Ｆから取得した画像データとを照合することにより、画像データに含まれる画素信号を予め設定された領域に画定する。

図６および図７を参照しながら領域情報について説明する。図６は、前カメラ（カメラ１１Ｆ）が生成する画像データの例を示す図である。図に示す画像データ３０１Ｆは、カメラ１１Ｆが撮像領域３００Ｆを撮像することにより生成したものである。画像データ３０１Ｆはカメラが撮像することにより、カメラ１１Ｆが有する広角レンズの収差の影響を受けて樽型の歪みが発生している。なお、本実施の形態において、画像データは樽型の歪んだ形状により示されているが、カメラから供給される画像データは一般的には矩形である。ここでは理解を容易にするため、矩形の画像データの内、後述する表示領域に採用する部分の画像データを抽出して説明している。

画像データ３０１Ｆは、樽型の歪みに沿って格子状の領域に分割されている。本実施の形態の場合、画像データ３０１Ｆは画像の左上を起点として、横方向に３２分割され、縦方向に１２分割されている。このように分割された各領域を、以降処理領域と称する。すなわち画像データ３０１Ｆは、３２×１２＝３８４の処理領域に分割されている。ここで、画像データ３０１Ｆは、説明の便宜上、横方向にＦＣ１～ＦＣ３２までの番号が付与され、縦方向にＦＲ１～ＦＲ１２までの番号が付与されている。例えば画像データ３０１Ｆの左上は、処理領域（ＦＣ１、ＦＲ１）と示される。処理領域は、再調整部１０３によって生成される。換言すると、再調整部１０３は、画像データ３０１Ｆを、領域情報に従い、複数の処理領域に分割する。

図に太枠で示す重複領域３０１ＦＬは、図５で示した重複領域３００ＦＬに対応する領域である。重複領域３０１ＦＬは、処理領域（ＦＣ１、ＦＲ１）から処理領域（ＦＣ１２、ＦＲ１２）までの範囲を占めている。同様に、図に太枠で示す重複領域３０１ＲＦは、図５で示した重複領域３００ＲＦに対応する領域である。重複領域３０１ＲＦは、処理領域（ＦＣ２１、ＦＲ１）から処理領域（ＦＣ３２、ＦＲ１２）までの範囲を占めている。

図７は、左カメラ（カメラ１１Ｌ）が生成する画像データの例を示す図である。図に示す画像データ３０１Ｌは、カメラ１１Ｌが撮像領域３００Ｌを撮像することにより生成したものである。なお、図７に示す画像データの例も、図６の説明と同様に複数の画素を有する処理領域に分割され、それぞれの領域を示すことができるように横方向および縦方向にそれぞれ番号が付与されている。すなわち、画像データ３０１Ｌは、横方向に１２分割、縦方向に４８分割されており、１２×４８＝５７６の処理領域に分割されている。また、画像データ３０１Ｌの左上が処理領域（ＬＣ１、ＬＲ１）と示され、画像データ３０１Ｌの右下が処理領域（ＬＣ１２、ＬＲ４８）と示される。

図に太枠で示す重複領域３０１ＬＦは、図５で示した重複領域３００ＦＬに対応する領域である。重複領域３０１ＬＦは、処理領域（ＬＣ１、ＬＲ１）から処理領域（ＬＣ１２、ＬＲ１２）までの範囲を占めている。同様に、図に太枠で示す重複領域３０１ＬＢは、図５で示した重複領域３００ＬＢに対応する領域である。重複領域３０１ＬＢは、処理領域（ＬＣ１、ＬＲ３７）から処理領域（ＬＣ１２、ＬＲ４８）までの範囲を占めている。

次に、重複領域の対応関係について説明する。図６に示した画像データ３０１Ｆの重複領域３０１ＦＬは、図７に示した画像データ３０１Ｌの重複領域３０１ＬＦと対応関係にある。より具体的には、画像データ３０１Ｆの処理領域（ＦＣ１、ＦＲ１）は、画像データ３０１Ｌの処理領域（ＬＣ１、ＬＲ１）と対応関係にあり、共通の領域を撮像した画像のデータである。同様に、画像データ３０１Ｆの処理領域（ＦＣ１２、ＦＲ１）は、画像データ３０１Ｌの処理領域（ＬＣ１２、ＬＲ１）と対応関係にある。同じく、画像データ３０１Ｆの処理領域（ＦＣ１、ＦＲ１２）は、画像データ３０１Ｌの処理領域（ＬＣ１、ＬＲ１２）と対応関係にある。そして画像データ３０１Ｆの処理領域（ＦＣ１２、ＦＲ１２）は、画像データ３０１Ｌの処理領域（ＬＣ１２、ＬＲ１２）と対応関係にある。

領域情報には、上述したそれぞれの画像データの、処理領域および重複領域を画定することができる情報が含まれている。したがって、半導体装置１００は、領域情報を取得して、各画像データの処理領域および重複領域を画定するとともに、重複領域の対応関係を決定する。

次に、推定元画像生成部１０２は、受け取った画像データのそれぞれについて、以下のステップに従い、推定元画像データを生成する処理を行う。推定元画像生成部１０２は、受け取った画像データに含まれる情報にＡＷＢゲイン値が含まれているか否かを判定する（ステップＳ１２）。なお、ここで「ＡＷＢゲイン値」とは、ＡＷＢゲインの具体的な値のことを指しており、「オート」等の情報は含まない。

画像データに含まれる情報にＡＷＢゲインに関する情報が含まれていない場合（ステップＳ１２：Ｎｏ）、推定元画像生成部１０２は、一致化ゲインの算出を行う（ステップＳ１３）。一致化ゲインを算出し、算出した一致化ゲインを利用することにより、半導体装置１００は、ＩＳＰが画像データに施した初期色調整の効果をキャンセルすることができる。

図８を参照しながら、ステップＳ１３の処理の詳細を説明する。図８は、半導体装置が行う一致化ゲイン算出時の一連の処理を示すフローチャートである。一致化ゲイン算出時の一連の処理を、任意の画像の画像データを例として以下に説明する。ここで説明する例では、画像データにおける横方向の処理領域の座標を０からＨｍａｘまで、縦方向の処理領域の座標を０からＶｍａｘまでそれぞれ順次インクリメントしながら処理を進める。

まず、推定元画像生成部１０２は、任意の処理領域の横方向の座標がＨｍａｘ＋１未満か否かを判定する（ステップＳ１３０）。この処理領域の横方向の座標がＨｍａｘ＋１未満と判定する場合（ステップＳ１３０：Ｙｅｓ）、推定元画像生成部１０２は、縦方向の座標がＶｍａｘ＋１未満か否かを判定する（ステップＳ１３１）。縦方向の座標がＶｍａｘ＋１未満の場合（ステップＳ１３１：Ｙｅｓ）、この処理領域が重複領域に含まれるか否かを判定する（ステップＳ１３２）。そして、この処理領域が重複領域に含まれると判定した場合（ステップＳ１３２：Ｙｅｓ）、推定元画像生成部１０２は、この処理領域（ｍ、ｎ）と対応関係にある別の画像データにおける処理領域（ｓ、ｔ）のＲ,Ｇ,Ｂ毎の信号レベルに関するデータを取得する（ステップＳ１３３）。なお、ここで扱う処理領域（ｍ、ｎ）のＲ,Ｇ,Ｂ毎の信号レベルおよび処理領域（ｓ、ｔ）のＲ,Ｇ,Ｂ毎の信号レベルに関するデータは、例えば、複数画素を有する処理領域内の特定の画素の信号レベルをＲＧＢの色ごとに平均化した値である。ここで言う特定の画素とは、無彩色かつ輝度値が予め設定された値よりも高い画素である。更に、予め設定された値とは、例えば２５６階調の内の２００以上の値である。また、特定の画素がそれぞれの処理領域内に十分に存在しない場合（例えば、５パーセント以上存在しない場合）は、元の光源を推定する情報が十分に得られないと考え、この処理領域では後述する一致化ゲインを算出しない。

次に、推定元画像生成部１０２は、上記に記載した処理領域（ｍ、ｎ）のＲ,Ｇ,Ｂ毎の信号レベルに関するデータと処理領域（ｓ、ｔ）のＲ,Ｇ,Ｂ毎の信号レベルに関するデータとから一致化ゲインを算出する（ステップＳ１３４）。ここで、例えば、画像データ３０１Ｆに含まれる処理領域（ｍ、ｎ）における各色の信号レベルと画像データ３０１Ｌに含まれる処理領域（ｓ、ｔ）における各色の輝度値とは、以下の式により定義することができる。

ここで、αは画像データ３０１ＦのＲ信号にかかるＡＷＢゲイン、γは画像データ３０１ＦのＧ信号にかかるＡＷＢゲイン、βは画像データ３０１ＦのＢ信号にかかるＡＷＢゲインである。Ｆ_{（ｍ、ｎ）}＿ＲはＩＳＰが生成した領域（ｍ、ｎ）における無彩色かつ輝度値が予め設定された値よりも高い画素のＲ信号レベルを平均化した値、Ｆ_{（ｍ、ｎ）}＿ＧはＩＳＰが生成した領域（ｍ、ｎ）における無彩色かつ輝度値が予め設定された値よりも高い画素のＧの信号レベルを平均化した値、Ｆ_{（ｍ、ｎ）}＿ＢはＩＳＰが生成した領域（ｍ、ｎ）における無彩色かつ輝度値が予め設定された値よりも高い画素のＢの信号レベルを平均化した値である。α´は画像データ３０１ＬのＲ信号にかかるＡＷＢゲイン、γ´は画像データ３０１ＬのＧ信号にかかるＡＷＢゲイン、β´は画像データ３０１ＬのＢ信号にかかるＡＷＢゲインである。Ｌ_{（ｓ、ｔ）}＿ＲはＩＳＰが生成した領域（ｓ、ｔ）における無彩色かつ輝度値が予め設定された値よりも高い画素のＲの信号レベルを平均化した値、Ｌ_{（ｓ、ｔ）}＿ＧはＩＳＰが生成した領域（ｓ、ｔ）における無彩色かつ輝度値が予め設定された値よりも高い画素のＧの信号レベルを平均化した値、Ｌ_{（ｓ、ｔ）}＿ＢはＩＳＰが生成した領域（ｓ、ｔ）における無彩色かつ輝度値が予め設定された値よりも高い画素のＢの信号レベルを平均化した値である。式（３）に示すように、重複領域の対応関係にある領域は、カメラのＩＳＰが施したＡＷＢゲインの逆数をそれぞれ乗ずることにより、色バランスを調整する前の画素信号となるため、対応する領域の色ごとの信号レベルは等しくなる。

上記原則を利用し、ＡＷＢゲインに関する情報が含まれていない画像データに対して、重複領域の対応関係にある領域の色ごとの信号レベルを一致させるためのゲインを以下の式に従い算出する。

ここで、α_Ｆｅは、画像データ３０１Ｆにおける処理領域（ｍ、ｎ）のＲ信号の一致化ゲインである。同様に、γ_Ｆｅは、画像データ３０１Ｆにおける処理領域（ｍ、ｎ）のＧ信号の一致化ゲインであり、β_Ｆｅは、画像データ３０１Ｆにおける処理領域（ｍ、ｎ）のＢ信号の一致化ゲインである。また、α_Ｌｅは、画像データ３０１Ｌにおける処理領域（ｓ、ｔ）のＲ信号の一致化ゲインである。同様に、γ_Ｌｅは、画像データ３０１Ｌにおける処理領域（ｓ、ｔ）のＧ信号の一致化ゲインであり、β_Ｌｅは、画像データ３０１Ｌにおける処理領域（ｓ、ｔ）のＢ信号の一致化ゲインである。

上述のように、推定元画像生成部１０２は受け取った画像データのそれぞれについて一致化ゲインを算出する。ただし上述の例は、重複領域において対応関係にある処理領域が完全に重なっていることが前提となっている。対応関係にある処理領域が完全には重ならず、隣接する領域に跨るような関係にある場合は、以下に説明するように重み付けをつけて一致化ゲインを算出する。

図９は、重複領域における処理領域が完全には重ならない場合を例示した図である。画像データ３０１Ｆの処理領域（ｍ、ｎ）は、図に示すように、画像データ３０１Ｌの対応する処理領域（ｓ、ｔ）とは完全に重なっているわけではなく、右下にずれている。このような場合には、以下に示す式のように、重み付けを行って一致化ゲインを算出する。

ここで、ｗ_１、ｗ_２、ｗ_３、ｗ_４はそれぞれ重み係数であり、ｗ_１＋ｗ_２＋ｗ_３＋ｗ_４＝４である。

図８に戻る。ステップＳ１３４において一致化ゲインを算出した後、推定元画像生成部１０２は、一致化ゲインを算出する領域を移動させるため、ｎをインクリメントする（ステップＳ１３５）。そして、ｎをインクリメントした後に、推定元画像生成部１０２は、再びステップＳ１３１に戻り処理を継続する。

ステップＳ１３２において、この処理領域が重複領域に含まれると判定しない場合（ステップＳ１３２：Ｎｏ）、推定元画像生成部１０２は、ステップＳ１３５に進み、ｎをインクリメントする処理を行う（ステップＳ１３５）。

ステップＳ１３１において、ｎが縦方向の座標の最大値であるＶｍａｘを越える場合、推定元画像生成部１０２は、ｎ＜Ｖｍａｘ＋１と判定しない（ステップＳ１３１：Ｎｏ）。この場合、推定元画像生成部１０２は、ｎをゼロに設定し、ｍをインクリメントする（ステップＳ１３６）。そして、推定元画像生成部１０２は、再びステップＳ１３０に戻り処理を続ける。ステップＳ１３０において、横方向の座標の最大値であるＨｍａｘを越える場合、推定元画像生成部１０２は、ｍ＜Ｈｍａｘ＋１と判定しない（ステップＳ１３０：Ｎｏ）。この場合、推定元画像生成部１０２は、一連の処理を終了する。

なお、本実施の形態において説明した一致化ゲイン算出の例では、処理領域ごとに一致化ゲインを算出する。半導体装置１００は、このようにして算出した複数の一致化ゲインの平均値をさらに算出してもよい。また、平均値に代えて標準偏差による値を算出してもよいし、代表値を選定してもよい。あるいは、外れ値を除外したうえでこれらの計算を行ってもよい。さらに、複数の一致化ゲインの平均値を算出する観点で言えば、複数の領域を１つの処理領域として纏め、画像データのそれぞれの複数の処理領域同士ごとに一致化ゲインを算出しても良い。

また、推定元画像生成部１０２は、例えば画像データ３０１Ｆに対しては、重複領域を有する画像データ３０１Ｌとの関係において、上述の算出処理を行い、これと同様に、同じく重複領域を有する画像データ３０１Ｒとの関係においても上述の算出処理を行う。そのため、推定元画像生成部１０２は、これらすべての一致化ゲインから、画像データ３０１Ｆに対する一の一致化ゲインを決定する。

図４に戻る。推定元画像生成部１０２は、上述のようにして算出した一致化ゲインを利用して、推定元画像を生成する（ステップＳ１４）。一致化ゲインを利用することにより、例えば、画像データ３０１ＦのＲ,Ｇ,Ｂ毎の信号レベルと画像データ３０１ＬのＲ,Ｇ,Ｂ毎の信号レベルは、以下のような関係となる。

ここで、α_ＦＥ、γ_ＦＥ、β_ＦＥは、画像データ３０１Ｆに対する一致化ゲインであり、α_ＬＥ、γ_ＬＥおよびβ_ＬＥは、画像データ３０１Ｌに対する一致化ゲインである。推定元画像生成部１０２は、重複領域の互いに対応する処理領域における各色の信号レベルを一致させる一致化ゲインを画像データごとに算出し、一致化ゲインをそれぞれ対応する画像データに含まれる画素の各色の信号レベルに乗じる。これにより推定元画像生成部１０２は、推定元画像データを生成する。以上のように、一致化ゲインを算出し、算出した一致化ゲインを利用することにより、半導体装置１００は、ＩＳＰが画像に施した初期色調整の効果をキャンセルすることができる。

ステップＳ１２に戻る。画像データに含まれる情報にＡＷＢゲインに関する情報が含まれている場合（ステップＳ１２：Ｙｅｓ）、推定元画像生成部１０２は、ＡＷＢゲインを利用して推定元画像を生成する（ステップＳ２１）。この場合、推定元画像生成部１０２は、ＡＷＢゲインの値の逆数を各領域に乗じることにより、ＩＳＰが画像データに施した初期色調整の効果をキャンセルすることができる。

次に、図３に示すように、推定元画像生成部１０２は、上述のようにステップＳ１４またはステップＳ２１の処理によってＩＳＰによる初期色調整の効果をキャンセルした後に、生成した推定元画像の画像データを再調整部１０３に供給する。

次に、図４に示すように、再調整部１０３は、受け取った画像データから各処理領域における再調整ゲインを求める（ステップＳ１５）。再調整とは、推定元画像データの色バランスを再度調整する処理である。。例えば、再調整部１０３は、画像データ３０１Ｆに対して、最大で３８４個の処理領域ごとに再調整ゲインを算出する。

再調整ゲインを算出するにあたり、まず再調整部１０３は、受け取った推定元画像の画像データを処理領域に分割し、分割した各処理領域から、無彩色かつＲ,Ｇ,Ｂの各信号レベルが予め設定された値よりも高い画素を参照画素として抽出する。予め設定された値とは、例えば２５６階調の内の２００以上の値である。参照画素が処理領域内の５パーセント以上を占める場合、再調整部１０３は、参照画素を利用して再調整ゲインを算出する。

以下に再調整ゲインの算出方法の例を示す。再調整ゲインは例えば以下の式により算出される。

ここで、α_wb、γ_wb、β_wbは、任意の処理領域における再調整ゲインである。また、ＡＶＲ（Ｒ）、ＡＶＲ（Ｇ）、ＡＶＲ（Ｂ）は、参照画素の各色の平均信号レベルである。さらに、ＭＩＮ（Ｒ、Ｇ、Ｂ）は、各色の平均信号レベル（ＡＶＲ（Ｒ）、ＡＶＲ（Ｇ）、ＡＶＲ（Ｂ））の内の、最小値である。

再調整ゲインの算出について具体例を用いて説明する。例えば、ある処理領域における複数の参照画素の平均信号レベルが（Ｒ、Ｇ、Ｂ）＝（２００、２１０、２０５）であったとする。この場合、平均信号レベルの最小値は、２００である。したがって、再調整ゲインは、（α_wb、γ_wb、β_wb）＝（２００／２００、２００／２１０、２００／２０５）＝（１、０．９５、０．９８）となる。なお、式７は一例であって、例えば分母を参照画素の各色の平均信号レベルから最大値（上記具体例の場合だと２１０）に、分子を最小値から参照画素の各色の平均信号レベルに変えたりしても良い。

再調整部１０３は、再調整ゲインの算出をすると、算出した再調整ゲインを用いて各処理領域に対して再調整処理を施す。なお、処理領域内において、参照画素が処理領域内の５パーセント以上を占めない場合には、周囲の再調整ゲインを利用して処理を施す。

また、再調整部１０３は、隣接する処理領域の再調整ゲインである隣接ゲインが複数存在する場合には、複数の隣接ゲインの平均値を算出し、処理対象である処理領域の色バランスの再調整ゲインとしてもよい。

再調整部１０３は、参照画素が処理領域内の５パーセント以上を占めない場合、処理領域に対応する過去に使用した再調整ゲインである過去ゲインを複数記憶しておき、これらの平均値を用いて処理対象である処理領域の再調整ゲインとしてもよい。すなわち、画像データ取得部１０１が複数のＩＳＰから複数の異なる時刻における画像データを連続して取得する場合がある。この場合、所定のタイミングで取得する画像データを１フレーム分の画像データという。このような場合において、再調整部１０３は、予め設定された期間遡った時点から１フレーム前までの処理領域における再調整ゲインの平均値を過去ゲインとしてもよい。なお、平均値は加重平均や移動平均も含む。

再調整部１０３は、このようにして各処理領域に対する再調整ゲインを求めた後、再調整ゲインとともに画像データを色補間部１０４に供給する。なお、再調整部１０３は、重複領域に一以上の処理領域が含まれるように推定元画像データを分割する。このように処理をすることにより、半導体装置１００は、重複領域におけるホワイトバランス処理を好適に施すことができる。

次に、色補間部１０４は、再調整部１０３から受け取った再調整ゲインと画像データを基に、画像データの処理領域のそれぞれに対して色補間処理を施す（ステップＳ１６）。このとき、色補間部１０４は、処理対象である所定の処理領域における再調整ゲインの値が、周囲に隣接する処理領域の再調整ゲインである隣接再調整ゲインの値と大きく異なる場合に、色補間処理を施す。なぜならば、再調整ゲインの値が隣接再調整ゲインの値と大きく異なると処理領域とそれに隣接する処理領域間で、本来は存在しない境界（急激な色変化）が発生してしまうからである。そこで、本来は存在しない境界（急激な色変化）が発生するのを抑制する為に、処理領域間で色補間処理を行う。

図１０を参照しながら、色補間処理の一例について説明する。図１０は、隣接領域を利用した補間処理の一例を示した図である。図に示す例は、処理領域（ｍ、ｎ）内の任意の画素ｐｘ０を、周囲の画素ｐｘ１～ｐｘ４を利用して補間する処理を行う場合の例である。図において、画素ｐｘ１は処理領域（ｍ、ｎ）の中央部の画素である。また、画素ｐｘ２は処理領域（ｍ＋１、ｎ）の中央部の画素である。同様に、画素ｐｘ３は処理領域（ｍ、ｎ＋１）の中央部の画素であり、画素ｐｘ４は処理領域（ｍ＋１、ｎ＋１）の中央部の画素である。画素ｐｘ１および画素ｐｘ２は縦方向の座標が同じであり、画素ｐｘ１および画素ｐｘ３は横方向の座標が同じである。また、画素ｐｘ２および画素ｐｘ４は横方向の座標が同じであり、ｐｘ３およびｐｘ４は縦方向の座標が同じである。補間処理を行う対象である画素ｐｘ０は、画素ｐｘ１～ｐｘ４により形成される矩形内の任意の位置に存在している。ｐｘ０からｐｘ１またはｐｘ３までの横方向の距離はｄｈ０であり、ｐｘ０からｐｘ２またはｐｘ４までの横方向の距離はｄｈ１である。ｐｘ０からｐｘ１またはｐｘ２までの縦方向の距離はｄｖ０であり、ｐｘ０からｐｘ３またはｐｘ４までの縦方向の距離はｄｖ１である。また、画素ｐｘ１に係る再調整ゲインｇ１、画素ｐｘ２に係る再調整ゲインはｇ２、画素ｐｘ３に係る再調整ゲインはｇ３、そして、画素ｐｘ４に係る再調整ゲインはｇ４とする。以上の状況において、次に示す補間処理により画素ｐｘ０のゲインを算出する。

まず、以下の式により、横方向のゲインを算出する。

次に、式（８）により算出したゲインｇ１２および式（９）により算出したｇ３４を用いて以下のようにｐｘ０に係るゲインｇ０を算出する。

色補間部１０４は、このようにして線形補間した再調整ゲインにより、画素ｐｘ１～ｐｘ４に囲まれた領域内の画素に係る補間ゲインをそれぞれ算出し、算出した補間ゲインを用いて色補間処理を行う。なお、上述した補間処理は一例に過ぎず、上述した線形補間に代えて、バイキュービック法や、ニアレストネイバー法などを用いた補間を行ってもよい。

なお、色補間部１０４は、処理領域内の所定の領域に対しては色補間処理を施さないように設定されていてもよい。図１０に示す非補間領域ＢＳは、処理領域（ｍ＋１、ｎ＋１）における中央部の所定領域である。このように処理領域の中央部に色補間処理を施さない領域を設けることにより、色補間処理の結果を優先させた画作りが可能になる。また、処理領域間のつなぎ目（境界）が目立つようならば、非補間領域ＢＳを小さくし、補間処理を施す範囲を広げることで、つなぎ目を抑制することが出来る。

色補間部１０４は、上述の色補間処理に加えて、画像データの外縁部の処理領域に対して補間処理を行う。図１１は、画像の端部における補間処理の一例を示した図である。図１１は、画像データ３０１Ｆの右下の処理領域（ＦＣ３１、ＦＲ１１）、処理領域（ＦＣ３２、ＦＲ１１）、処理領域（ＦＣ３１、ＦＲ１２）および処理領域（ＦＣ３２、ＦＲ１２）を拡大して示している。そして、図に示す外縁領域は、隣接する処理領域が存在しない状況である。

このような状況において、色補間部１０４は、例えば処理領域（ＦＣ３１、ＦＲ１１）の中央部の画素ｐｘ５、処理領域（ＦＣ３２、ＦＲ１１）の中央部の画素ｐｘ６、処理領域（ＦＣ３１、ＦＲ１２）の中央部の画素ｐｘ７および処理領域（ＦＣ３２、ＦＲ１２）の中央部の画素ｐｘ８を利用して、上記外縁領域に対して線形補間を行う。

色補間部１０４は、上述の色補間処理を行うと、画像データを幾何変換部１０５に供給する。そして幾何変換部１０５は、色補間部１０４から画像データを受け取ると、画像データに対して幾何変換処理を施す（ステップＳ１７）。

図１２は、実施の形態１にかかる画像の幾何変換を示した図である。図の上側に示している樽型の形状は、色補間処理が施された画像データ３０１Ｆである。幾何変換部１０５は、この画像データ３０１Ｆに対して幾何変換処理を施す。これにより、画像データ３０１Ｆは、広角レンズの収差の影響により生じた樽型の歪みが解消されて矩形の画像データ３０２Ｆとなる。幾何変換部１０５は、自動車１に搭載されている４台のカメラからそれぞれ取得し、上述の処理が施された画像データ３０１Ｆ、３０１Ｌ、３０１Ｂおよび３０１Ｒのそれぞれに対してこのような処理を施す。これにより上記４台のカメラから取得した画像データはそれぞれ矩形の画像に加工される。

なお、本実施の形態における説明では、画像データを樽型で示し、この樽型の歪みを幾何変換する例を示したが、このような樽型の歪みを補正する処理に加えて、台形補正等の線形変換を行う場合がある。自動車１に設置されたカメラから自動車１の周囲を撮像し、撮像した画像からサラウンドビューと称される視点変換処理を施す画像を生成する場合には、半導体装置１００は、このような視点変換処理を行い、これに伴い上述の線形変換を行う。

次に、幾何変換部１０５は、上述の幾何変換処理を行うと、画像データを画像合成部１０６に供給する。そして画像データを画像合成部１０６は、受け取った画像データを合成する処理を行う（ステップＳ１８）。図１３は、実施の形態１にかかる画像の合成を模式的に示した図である。図の上側には、画像合成部１０６により矩形の画像に加工された画像データ３０２Ｆが示されている。同様に、図の左側には画像データ３０２Ｌが、図の下側には画像データ３０２Ｂが、図の右側には画像データ３０２Ｒが、それぞれ示されている。そして、これら４つの画像データに囲まれた部分には、合成画像データ３０３が示されている。

合成画像データ３０３は、画像データ３０２Ｆ、３０２Ｌ、３０２Ｂおよび３０２Ｒの重複領域を重畳させるようにして構成されている。例えば、画像データ３０２Ｆの処理領域（ＦＣ１、ＦＲ１）は、画像データ３０２Ｌの処理領域（ＬＣ１、ＬＲ１）と対応関係にある。したがって、合成画像データ３０３では、画像データ３０２Ｆの処理領域（ＦＣ１、ＦＲ１）と画像データ３０２Ｌの処理領域（ＬＣ１、ＬＲ１）とが重畳された状態となっている。

また、合成画像データ３０３の横方向のサイズは、画像データ３０２Ｆおよび画像データ３０２Ｂの幅と一致するように構成される。そして、縦方向のサイズは、画像データ３０２Ｌおよび画像データ３０２Ｒの幅と一致するように構成される。したがって、合成画像データ３０３は、幅方向がＣ１からＣ３２と示され、縦方向がＲ１からＲ４８と示されている。

また、これら４つの画像データから生成される合成画像データ３０３は、中央部に画像データが存在しない。そこで、半導体装置１００は、予め記憶しておいたダミー自動車の画像データ１Ｄを合成画像データ３０３に重畳させる。これにより、合成画像データ３０３は、運転者が自ら運転する自動車を自動車の上方から俯瞰しているような画像を生成する。このようなシステムにおいて、運転者が物体を認識しやすいよう好適な色バランスで画像を表示することは、自動車および自動車を取り巻く環境の安全性を向上させることに寄与し得る。

画像データ３０２Ｆ、３０２Ｌ、３０２Ｂおよび３０２Ｒは、画像合成部１０６が受け取る前に、ＩＳＰによる初期色調整の効果がキャンセルされ、さらに再調整ゲインによって色バランスが再調整された状態である。したがって、このように対応関係にある処理領域を重畳させても、合成画像データ３０３は全体として好適な色バランスを維持することができる。

なお、このように対応関係にある処理領域を重畳させる場合に、各色の信号レベルが完全に一致することなく、対応関係にある２つの処理領域の信号レベルが異なる場合がある。そのような場合は、互いの信号レベルの平均値を採用する。本実施の形態によれば、このように平均値を採用する場合であっても、上述の処理により互いの信号レベルの差が抑えられているため、運転者等にとって好適な色バランスにより合成画像データを生成することができる。

画像合成部１０６は、このようにして生成した合成画像データ３０３を出力部１０７に供給する。そして、出力部１０７は、受け取った合成画像データ３０３を外部（表示装置１２）に出力する（ステップＳ１９）。

次に、半導体装置１００は、処理を終了するか否かを判定する（ステップＳ２０）。処理を終了すると判定しない場合（ステップＳ２０：Ｎｏ）、半導体装置１００は、再びステップＳ１０に戻り処理を繰り返す。一方、処理を終了すると判定する場合（ステップＳ２０：Ｙｅｓ）、半導体装置１００は、処理を終了する。

以上、実施の形態１について説明したが、実施の形態１にかかる構成は上述の内容に限られない。例えば、図１に示した４台のカメラは、自動車１の左前部、左後部、右前部および右後部に設置されていてもよい。あるいは、これら４台のカメラは自動車１のルーフに設置され、自動車１の周囲を撮像範囲とするように設置されていてもよい。また、カメラの台数は４台に限られない。さらに、カメラは可動式であって、動きながら自動車の周囲を順次撮像する構成であってもよい。

以上の構成により、半導体装置１００ないし画像処理システム１０は、自動車１の周囲の物体に対して好適な色バランスによる処理を行う。これにより、自動車１の運転者等は、自動車１の周囲の物体を容易に認識することができる。すなわち実施の形態１によれば、画像全体に好適な色バランス処理を施す半導体装置等を提供することができる。

＜実施の形態１の変形例＞
次に、実施の形態１の変形例について説明する。図１４は、実施の形態１の変形例における自動車の概観図である。実施の形態１の変形例は、カメラの数およびカメラの配置が実施の形態１の画像処理システム１０と異なる。

実施の形態１の変形例にかかる画像処理システム２０は、自動車１の後方を撮像し、撮像した画像の画像データに所定の処理を施して運転者等に表示するためのシステムである。画像処理システム２０は、自動車のサイドミラーおよびバックミラーに代えて設置されていてもよい。画像処理システム２０は、主な構成として、カメラ２１Ｌ、カメラ１１Ｂ、カメラ２１Ｒ、表示装置１２、および半導体装置１００を有している。

カメラ２１Ｌは自動車１の後方左側の撮像領域２１０Ｌを撮像し、カメラ１１Ｂは自動車１の後方中央の撮像領域２１０Ｂを撮像し、そして、カメラ２１Ｒは自動車１の後方右側の撮像領域２１０Ｒを撮像する。これらの撮像領域の内、隣接する撮像領域は互いに重複する重複領域をそれぞれ有している。すなわち、撮像領域２１０Ｌと撮像領域２１０Ｂとは、互いに重複する重複領域２１０ＬＢをそれぞれ有している。同様に、撮像領域２１０Ｂと撮像領域２１０Ｒとは、互いに重複する重複領域２１０ＢＲをそれぞれ有している。

このような構成において、半導体装置１００は、ＩＳＰが行った画像データの初期色調整の効果をそれぞれキャンセルすることにより推定元画像データを生成する。そして、半導体装置１００は、推定元画像データを、予め設定された複数画素を有する処理領域に分割するとともに、処理領域ごとに色バランスの再調整を施し、画像データをそれぞれの重複領域が互いに重なるように合成して合成画像を生成する。さらに、半導体装置１００は、再調整が施された合成画像データを表示装置１２に出力する。

以上の構成により、運転者は自動車１の後方を好適な色バランスが施された画像により認識することができる。そのため、実施の形態１の変形例は、画像全体に好適な色バランス処理を施す半導体装置等を提供することができる。

＜実施の形態２＞
次に、実施の形態２について説明する。実施の形態２にかかる画像処理システムは、半導体装置の機能ブロックの構成および半導体装置が行う処理手順が実施の形態１と異なる。以下に、図１５および図１６を参照しながら実施の形態１との差異点について説明する。

図１５は、実施の形態２にかかる半導体装置の機能ブロック図である。実施の形態２にかかる半導体装置２００が有する機能ブロックは、実施の形態１に示した半導体装置１００と同じである。しかし、半導体装置２００は、幾何変換部１０５が画像データ取得部１０１と推定元画像生成部１０２との間に設けられている。また、半導体装置２００は、画像合成部１０６が推定元画像生成部１０２と再調整部１０３との間に設けられている。

図１６は、実施の形態２にかかる半導体装置の処理を示すフローチャートである。実施の形態２にかかる半導体装置２００の各ステップは、半導体装置１００が行う処理と同じである。しかし、実施の形態２にかかる処理では、領域情報取得（ステップＳ１１）の後に幾何変換（ステップＳ１７）が行われ、幾何変換（ステップＳ１７）の後にＡＷＢゲイン情報があるか否かを判定する（ステップＳ１２）。また、実施の形態２にかかる処理では、推定元画像が生成された後（ステップＳ１４またはステップＳ２１の後）に、画像の合成（ステップＳ１８）が行われる。そして、合成画像が生成された後に、合成画像に対して再調整（ステップＳ１５）が行われる。

以上、実施の形態２について説明したが、実施の形態２の構成はこれに限られず、半導体装置の特性に応じて処理内容の置換等を適宜行ってもよい。

以上の構成により、半導体装置２００は、自動車１の周囲の物体に対して好適な色バランスによる処理を行う。これにより、自動車１の運転者等は、自動車１の周囲の物体を容易に認識することができる。すなわち実施の形態２によれば、画像全体に好適な色バランス処理を施す半導体装置等を提供することができる。

なお、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は既に述べた実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において種々の変更が可能であることはいうまでもない。

１ 自動車
１ 通常自動車
１０、２０ 画像処理システム
１１Ｂ、１１Ｆ、１１Ｌ、１１Ｒ、２１Ｌ、２１Ｒ カメラ
１２ 表示装置
１００、２００ 半導体装置
１０１ 画像データ取得部
１０２ 推定元画像生成部
１０３ 再調整部
１０４ 色補間部
１０５ 幾何変換部
１０６ 画像合成部
１０７ 出力部
１１０ 画像データ取得ＩＦ
１２０ プロセッサ
１３０ 内部メモリ
１４０ 画像データ出力ＩＦ

Claims (20)

1. 撮像領域に互いに重複する重複領域を含む画像を撮像し、撮像した画像の色バランスの調整である初期色調整を施した画像データをそれぞれ生成する複数の画像信号処理装置から前記画像データを取得する画像データ取得回路と、
   前記画像データの前記初期色調整の効果をそれぞれキャンセルすることにより推定元画像データを生成する推定元画像生成回路と、
   前記推定元画像データを、予め設定された複数画素を有する複数の処理領域に分割するとともに、前記処理領域ごとに色バランスの再調整を施す再調整回路と、
   前記画像データをそれぞれの前記重複領域が互いに重なるように合成して合成画像を生成する画像合成回路と、
   を備える半導体装置。
2. 前記再調整回路は、前記重複領域に一以上の前記処理領域が含まれるように前記推定元画像データを分割する、
   請求項１に記載の半導体装置。
3. 前記再調整が施された前記合成画像を出力する出力回路をさらに有する、
   請求項１に記載の半導体装置。
4. 前記推定元画像生成回路は、前記重複領域の互いに対応する前記処理領域における色の信号レベルを一致させる一致化ゲインを前記画像データごとに算出し、前記一致化ゲインをそれぞれ対応する前記画像データに含まれる画素の信号レベルに乗じることにより前記推定元画像データを生成する、
   請求項１に記載の半導体装置。
5. 前記推定元画像生成回路は、前記重複領域に対応する２つの前記画像データにおいて互いに対応する前記処理領域の特定の画素群から各色の信号レベルの平均値を算出し、算出した平均値に基づいて前記一致化ゲインを算出する、
   請求項４に記載の半導体装置。
6. 前記推定元画像生成回路は、前記画像データに含まれる前記初期色調整に関する情報に基づいて前記推定元画像データを生成する、
   請求項１に記載の半導体装置。
7. 前記推定元画像生成回路は、前記画像データに含まれる前記初期色調整に関する情報の逆数をそれぞれ対応する前記画像データに含まれる画素の各色の信号レベルに乗じることにより前記推定元画像データを生成する、
   請求項４に記載の半導体装置。
8. 前記再調整回路は、前記処理領域内において予め設定された色であり且つ予め設定された信号レベルを有する参照画素が存在する場合、前記参照画素に基づいて前記再調整のための再調整ゲインを算出し、前記再調整ゲインによって前記処理領域の色バランスの前記再調整を施す、
   請求項１に記載の半導体装置。
9. 前記再調整回路は、前記参照画素が存在しない場合、前記処理領域に隣接する隣接処理領域において算出された隣接ゲインに基づいて前記処理領域の色バランスの前記再調整を施す、
   請求項８に記載の半導体装置。
10. 前記再調整回路は、前記隣接ゲインが複数存在する場合に、複数の前記隣接ゲインの平均値を算出し、前記平均値に基づいて前記処理領域の色バランスの前記再調整を施す、
    請求項９に記載の半導体装置。
11. 前記再調整回路は、前記参照画素が予め設定された割合で存在しない場合、前記処理領域に対応する過去に使用した過去ゲインに基づいて前記処理領域の色バランスの前記再調整を施す、
    請求項８に記載の半導体装置。
12. 前記画像データ取得回路が複数の画像信号処理装置から複数の異なる時刻における前記画像データを連続して取得する場合に、
    前記再調整回路は、予め設定された期間遡った時点から１フレーム前までの前記処理領域における前記再調整ゲインの平均値に基づいて、前記過去ゲインを算出する、
    請求項１１に記載の半導体装置。
13. 前記再調整が施された前記処理領域において算出された再調整ゲインと、前記処理領域に隣接する隣接処理領域において算出された隣接再調整ゲインとが異なる場合に、
    前記再調整ゲインと前記隣接再調整ゲインとの差と、前記隣接処理領域との境界までの距離と、に応じて前記処理領域内の画素に使用するゲインを設定する色調補間処理を施す色調補間回路をさらに有する、
    請求項１に記載の半導体装置。
14. 前記色調補間回路は、前記処理領域が前記処理領域の中央部に前記色調補間処理を施さない非補間領域を有する場合、前記非補間領域に対しては前記色調補間処理を施さない、
    請求項１３に記載の半導体装置。
15. 前記画像合成回路は、前記再調整が施された前記画像データをそれぞれの前記重複領域が互いに重なるように合成して前記合成画像を生成する、
    請求項１に記載の半導体装置。
16. 前記画像合成回路は、前記画像データ取得回路が取得した複数の前記画像データをそれぞれの前記重複領域が互いに重なるように合成して前記合成画像を生成し、
    前記再調整回路は、前記合成画像のデータである合成画像データに対して複数の前記処理領域に分割するとともに、前記処理領域ごとに前記再調整を施す、
    請求項１に記載の半導体装置。
17. 前記画像データ取得回路は、移動体の周囲を撮像して生成された前記画像データを取得する、
    請求項１に記載の半導体装置。
18. 撮像領域に互いに重複する重複領域を含む画像を撮像して色バランスの調整である初期色調整をそれぞれ施した画像データを生成する複数の画像信号処理装置から前記画像データを取得する画像データ取得インタフェースと、
    前記画像データの前記初期色調整の効果をそれぞれキャンセルすることにより推定元画像データを生成し、
    前記推定元画像データを、予め設定された複数画素を有する処理領域に分割するとともに、前記処理領域ごとに色バランスの再調整を施し、
    前記画像データをそれぞれの前記重複領域が互いに重なるように合成して合成画像を生成し、
    前記再調整が施された前記合成画像を出力するプロセッサと、
    を備える半導体装置。
19. 撮像領域に互いに重複する重複領域を含む画像を撮像して色バランスの調整である初期色調整をそれぞれ施した画像データを生成する複数の画像信号処理装置から前記画像データを取得する画像データ取得ステップと、
    前記画像データの前記初期色調整の効果をそれぞれキャンセルすることにより推定元画像データを生成する元画像推定ステップと、
    前記推定元画像データを、予め設定された複数画素を有する処理領域に分割するとともに、前記処理領域ごとに色バランスの再調整を施す再調整ステップと、
    前記画像データをそれぞれの前記重複領域が互いに重なるように合成して合成画像を生成する画像合成ステップと、
    前記再調整が施された前記合成画像を出力する出力ステップと、
    を備える画像処理方法。
20. 請求項１９に記載の方法をコンピュータに実行させるプログラム。

Images