JP6743889B2 - 画像処理装置と画像処理方法および学習装置と学習方法 - Google Patents

Description

この技術は、画像処理装置と画像処理方法および学習装置と学習方法に関し、複数の撮像部で個々に生成された撮像画の画像データを用いて、個々に生成された撮像画よりも性能を向上させた撮像画の画像データを生成できるようにする。

従来、携帯型の電子機器例えばスマートフォン等の情報処理端末では、小型化・薄型化のために撮像部の性能が一眼レフカメラ等に比べて低下している。このため、例えば特許文献１では、情報処理端末に対して着脱可能なカメラで生成された撮像画を、無線通信で情報処理端末に供給することが行われている。また、特許文献２では、複数の撮像部を設けて、画質の異なる複数の画像例えば第１の画角と第１の画角よりも狭い第２の画角の画像を同時に生成することが開示されている。

特開２０１５−０８８８２４号公報 特開２０１３−２１９５２５号公報

ところで、着脱可能なカメラは、情報処理端末の撮像部に比べてサイズが大きく、着脱可能なカメラを利用する場合には情報処理端末との通信を確立する必要がある。このため良好な撮像画を得るための操作が煩雑で携帯性も低下する。また、複数の撮像部を設けても、取得できる画像はそれぞれの撮像部の性能に応じた画像であり、例えば第１の画角の画質を高めることはできない。

そこで、この技術では、複数の撮像部で個々に生成された撮像画の画像データを用いて、個々に生成された撮像画よりも性能を向上させた撮像画の画像データを生成できる画像処理装置と画像処理方法および学習装置と学習方法を提供することを目的とする。

この技術の第１の側面は、
第１の撮像部で生成される学習画像の画像データと前記第１の撮像部と特性が異なる第２の撮像部で生成される前記学習画像の画像データの一方を教師データおよび他方を生徒データとして、前記生徒データを前記教師データの特性とする学習モデルに従って、前記第１の撮像部と前記第２の撮像部で生成された撮像画の画像データにおける性能が低い一方の画像データを性能の高い画像データに補正する特性差補正部と、
学習画像の画像データを教師データとして、前記第１の撮像部で生成される前記学習画像の画像データと前記第２の撮像部で生成される前記学習画像の画像データを生徒データとして、前記複数の生徒データの合成データを前記教師データの特性とする学習モデルに従って予め学習によって生成された合成制御パラメータを用いて、前記第１の撮像部と前記第２の撮像部で生成された撮像画の画像データを合成する画像合成部
を備える画像処理装置にある。

この技術では、第１の撮像部で生成される学習画像の画像データと第１の撮像部と特性が異なる第２の撮像部で生成される学習画像の画像データの一方を教師データおよび他方を生徒データとして、生徒データを教師データの特性とする学習モデルに従って、例えば生徒データを教師データの特性とする予め学習によって生成された特性差補正パラメータを用いて、第１の撮像部と第２の撮像部で生成された撮像画の画像データにおける性能が低い一方の画像データを性能の高い画像データに特性差補正部で補正する。性能は画質性能を含み、特性差補正部では、画質性能に関する特性差の補正として、色空間の相違と帯域の相違の少なくともいずれかの特性差を補正する。例えば、第１の撮像部は白黒撮像画の画像データを生成して、第２の撮像部は画素が１つの色成分を示すカラー撮像画の画像データを生成して、特性差補正部は、帯域の相違についての特性差の補正として、カラー撮像画の画像データの感度を第２の撮像部で生成される画像データよりも高くする。また、性能は機能性能を含み、特性差補正部では、機能性能に関する特性差の補正として、画角、焦点距離、合焦制御、絞り制御、ホワイトバランス制御の少なくともいずれかの相違によって生じる特性差を補正する。

また、特性差補正部によって特性差が補正された第１の撮像部と第２の撮像部で生成された画像データを用いて第１の撮像部と第２の撮像部の視差を検出する視差検出部と、視差検出部で検出された視差検出結果に基づき、第１の撮像部と第２の撮像部で生成された画像データに対する視差補償を行う視差補償部をさらに備えて、例えば視差補償部は、第１の撮像部と第２の撮像部で生成された画像データの一方を視差補償して、特性差補正部は、視差の検出に用いる画像データに対して、視差補償を行う画像データの解像度に他方の画像データの解像度を補正する。

また、学習画像の画像データを教師データとして、第１の撮像部で生成される学習画像の画像データと第２の撮像部で生成される学習画像の画像データを生徒データとして、複数の生徒データの合成データを教師データの特性とする予め学習によって生成された合成制御パラメータを用いて、第１の撮像部と第２の撮像部で生成された撮像画の画像データに対する視差補償後の画像データの合成を行う。

この技術の第２の側面は、
第１の撮像部で生成される学習画像の画像データと前記第１の撮像部と特性が異なる第２の撮像部で生成される前記学習画像の画像データの一方を教師データおよび他方を生徒データとして、前記生徒データを前記教師データの特性とする学習モデルに従って、前記第１の撮像部と前記第２の撮像部で生成された撮像画の画像データにおける性能が低い一方の画像データを性能の高い画像データに特性差補正部で補正することと、
学習画像の画像データを教師データとして、前記第１の撮像部で生成される前記学習画像の画像データと前記第２の撮像部で生成される前記学習画像の画像データを生徒データとして、前記複数の生徒データの合成データを前記教師データの特性とする学習モデルに従って予め学習によって生成された合成制御パラメータを用いて、前記第１の撮像部と前記第２の撮像部で生成された撮像画の画像データを画像合成部で合成すること
を含む画像処理方法にある。

この技術の第３の側面は、
学習画像の画像データから第１撮像シミュレーション部で生成された前記学習画像を第１の撮像部で撮像した画像データと、前記学習画像の画像データから第２撮像シミュレーション部で生成された前記学習画像を第２の撮像部で撮像した画像データについて、一方を教師データおよび他方を生徒データとして、学習によって前記生徒データを前記教師データの特性とするための特性差補正パラメータを生成する特性差パラメータ生成部と、
前記学習画像の画像データを教師データ、前記第１撮像シミュレーション部と前記第２撮像シミュレーション部で生成された画像データを生徒データとして、学習によって前記複数の生徒データの合成データを前記教師データとするための合成制御パラメータを生成する合成制御パラメータ生成部と
を備える学習装置にある。

この技術の第４の側面は、
学習画像の画像データから第１撮像シミュレーション部で生成された前記学習画像を第１の撮像部で撮像した画像データと、前記学習画像の画像データから第２撮像シミュレーション部で生成された前記学習画像を第２の撮像部で撮像した画像データについて、一方を教師データおよび他方を生徒データとして、学習によって前記生徒データを前記教師データの特性とするための特性差補正パラメータを特性差パラメータ生成部で生成することと、
前記学習画像の画像データを教師データ、前記第１撮像シミュレーション部と前記第２撮像シミュレーション部で生成された画像データを生徒データとして、学習によって前記複数の生徒データの合成データを前記教師データとするための合成制御パラメータを合成制御パラメータ生成部で生成すること
を含む学習方法にある。

この技術によれば、第１の撮像部で生成される学習画像の画像データと第１の撮像部と特性が異なる第２の撮像部で生成される学習画像の画像データについて一方を教師データおよび他方を生徒データとして、生徒データを教師データの特性とする学習モデルに従って、第１の撮像部と第２の撮像部で生成された画像データにおける性能が低い一方の画像データが性能の高い画像データに補正される。このため、複数の撮像部で個々に生成された撮像画の画像データを用いて、個々に生成された撮像画よりも性能を向上させた撮像画の画像データを生成できるようになる。なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また付加的な効果があってもよい。

画像処理装置を適用した機器の外観を例示した図である。 情報処理端末の構成を例示した図である。 画像処理部の構成を例示した図である。 撮像部の画素配列を例示した図である。 特性差補正パラメータを生成する場合の学習装置の構成を例示した図である。 合成制御パラメータを生成する場合の学習装置の構成を例示した図である。 特性差補正パラメータを生成する学習装置の動作を例示したフローチャートである。 特性差補正部の動作を例示したフローチャートである。 画像処理部で行われる特性差補正動作を示した図である。 第２特性差補正部で行われる特性差補正処理を例示した図である。 色空間に対する特性差補正結果を模式的に示した図である。 合成制御パラメータを生成する学習装置の動作を例示したフローチャートである。 画像合成部の動作を例示したフローチャートである。 画像合成部で行われる画像合成動作を示した図である。 画像合成部で行われる画像合成動作を例示した図である。 撮像部の構成と動作（生成される撮像画）の組み合わせ要素を例示した図である。 複数の撮像部の撮像領域を例示した図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。

以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．画像処理装置を適用した機器の構成
２．画像処理装置の構成
３．学習装置の構成
３−１．特性差補正パラメータを生成する場合
３−２．合成制御パラメータを生成する場合
４．学習装置と画像処理部の動作
５．変形例
６．応用例

＜１．画像処理装置を適用した機器の構成＞
図１は、この技術の画像処理装置を適用した機器の外観を例示している。なお、以下の説明では、例えば情報処理端末に画像処理装置を適用している。図１の（ａ）は情報処理端末１０の表側を示しており、表示部２５および操作部２７が表側に設けられている。図１の（ｂ）は情報処理端末１０の裏側を示しており、複数の撮像部例えば２つの撮像部２１-1，２１-2が裏側に設けられている。

図２は、情報処理端末の構成を例示している。情報処理端末１０は、複数の撮像部例えば２つの撮像部２１-1，２１-2、画像処理部２２、センサ部２３、通信部２４、表示部２５、タッチパネル２６、操作部２７、記憶部２８、および制御部３０を有している。

撮像部２１-1，２１-2は、図１の（ｂ）に示すように情報処理端末１０の同一面側に設けられている。撮像部２１-1，２１-2は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの撮像素子を用いて構成されており、レンズ（図示せず）により取り込まれた光の光電変換を行い、撮像画の画像データを生成して画像処理部２２へ出力する。画像処理部２２は、撮像部２１-1と撮像部２１-2で生成された撮像画の画像データを用いて画像処理を行い、性能を向上させた撮像画の画像データすなわち撮像部２１-1と撮像部２１-2の個々の性能よりも高性能の撮像部で生成された撮像画と同様な撮像画の画像データを生成する。

この技術における性能は、画質性能や機能性能を含む。画質性能とは撮像画の色空間や解像度，感度，ノイズ等に関する性能であり、機能性能とは撮像画の生成時における画角や焦点距離、合焦制御、絞り制御、ホワイトバランス制御等の機能に関する性能である。

撮像部２１-1，２１-2は、画質に関する特性差を有している。画質に関する特性差は、画質性能に関する特性の差であり、色空間の相違と帯域の相違の少なくともいずれかの特性差を含む。例えば、分光特性差（一方の撮像部が白黒画像を生成して他方の撮像部がカラー画像を生成）、色配列差（一方の撮像部のカラーフィルタがベイヤ配列で他方の撮像部のカラーフィルタがプレーン配列）、画素数差（一方の撮像部が他方の撮像部よりも高画素数）、Ｆ値やＭＴＦ（Modulation Transfer Function）値の差等である。また、撮像部２１-1，２１-2は、特性差として機能性能に関する特性差を有してもよい。機能に関する特性差は、例えば画角や焦点距離、合焦制御、絞り制御、ホワイトバランス制御の少なくともいずれかの相違によって生じる特性差を含む。

画像処理部２２は、撮像部２１-1と撮像部２１-2で生成された画像データを用いて画像処理を行い、撮像部２１-1や撮像部２１-2を個々に用いる場合よりも高性能な撮像部を用いた場合のような撮像画の画像データを生成して、表示部２５や記憶部２８へ出力する。なお、画像処理部２２の構成および動作の詳細については後述する。

センサ部２３はジャイロセンサなどを用いて構成されており、情報処理端末１０に生じた揺れを検出する。センサ部２３は、検出した揺れの情報を制御部３０へ出力する。

通信部２４は、ＬＡＮ(Local Area Network)やインターネットなどのネットワーク上の機器と通信を行う。

表示部２５は、画像処理部２２から供給された画像データに基づき撮像画の表示、制御部３０からの情報信号に基づきメニュー画面や各種アプリケーション画面等の表示を行う。また、表示部２５の表示面側にはタッチパネル２６が載置されており、ＧＵＩ機能利用できるように構成されている。

操作部２７は操作スイッチ等を用いて構成されており、ユーザ操作に応じた操作信号を生成して制御部３０へ出力する。

記憶部２８は、情報処理端末１０で生成された情報例えば画像処理部２２から供給された画像データや、情報処理端末１０で通信やアプリケーションを実行するために用いられる各種情報を記憶する。

制御部３０は、ＣＰＵ（Central Processing Unit），ＲＯＭ（Read Only Memory），ＲＡＭ（Random Access Memory）（図示せず）などで構成されている。制御部３０は、ＲＯＭまたはＲＡＭに記憶されたプログラムを実行して、タッチパネル２６や操作部２７に対するユーザ操作に応じた動作が情報処理端末１０で行われるように各部の動作を制御する。また、制御部３０には、画像処理部２２で画像処理を行う際に必要とされるパラメータを記憶したデータベース部ＤＢ１，ＤＢ２が設けられている。なお、データベース部ＤＢ１，ＤＢ２は、記憶部２８に設けてもよい。

なお、情報処理端末１０は、図２に示す構成に限られず、例えば画像データを符号化して記憶部２８に記憶するための符号化処理部、画像データを表示部の解像度に合わせる解像度変換部等が設けられてもよい。

＜２．画像処理装置の構成＞
図３は、画像処理部の構成を例示している。画像処理部２２は、撮像部２１-1と撮像部２１-2で生成された画像データを用いて画像処理を行い、撮像部２１-1と撮像部２１-2で個々に取得された撮像画よりも性能が向上された撮像画の画像データを生成する。

画像処理部２２は、画像処理として、撮像部２１-1と撮像部２１-2で生成された画像データを用いて特性差補正処理を行う。また、画像処理部２２は、撮像部２１-1と撮像部２１-2の視点位置が異なることから、視差補償を行う。さらに、画像処理部２２は、特性差補正処理および視差補償が行われた画像データの合成を行う。以下、撮像部２１-1は白黒撮像画の画像データ、撮像部２１-2はカラー撮像画の画像データを生成して、画像処理部２２は生成された画像データを用いて画像処理を行い、例えば撮像部２１-2で取得されたカラー撮像画よりも高画質のカラー撮像画の画像データを生成する場合について説明する。

図４は、撮像部の画素配列を例示している。図４の（ａ）は、撮像部２１-1の画素配列を示している。撮像部２１-1は、全画素が、可視光の全波長領域の入射光量に基づく電気信号を出力するＷ（ホワイト）画素によって構成される。したがって、撮像部２１-1は、白黒撮像画の画像データを生成する。

図４の（ｂ）は、撮像部２１-2の画素配列を示している。撮像部２１-2は、赤色（Ｇ）画素と青色（Ｂ）画素と緑色（Ｇ）画素をベイヤ配列としたカラーフィルタを用いて構成されている。ベイヤ配列では２×２画素の画素単位において対角位置の２つの画素が緑色（Ｇ）画素で、残りの画素が赤色（Ｒ）画素と青色（Ｂ）画素とされている。撮像部２１-2は、各画素が赤色と青色と緑色のいずれか１つの色成分の入射光量に基づく電気信号の生成を行う。すなわち、撮像部２１-2は、三原色（ＲＧＢ）のカラー撮像画の画像データを生成する。

画像処理部２２は、現像処理部２２１、特性差補正部２２２、視差検出部２２３、視差補償部２２４、画像合成部２２５を有している。

現像処理部２２１は、撮像部２１-2で生成されたカラー撮像画の画像データを用いて現像処理を行う。現像処理では、各画素が赤色と青色と緑色のいずれか１つの色成分を示す画像データから画素毎に赤色と青色と緑色の各色成分を示す画像データを生成するデモザイク処理を行う。また現像処理では、白い被写体が白色で表示されるように各色成分の画像データを調整するホワイトバランス処理等を行う。現像処理部２２１は、現像処理後の画像データを特性差補正部２２２と視差検出部２２３へ出力する。

特性差補正部２２２は、撮像部２１-1で生成される学習画像の画像データと特性が異なる撮像部２１-2で生成される学習画像の画像データの一方を教師データおよび他方を生徒データとして、生徒データを教師データの特性とする学習モデルに従って、撮像部２１-1と撮像部２１-2で生成された撮像画の画像データにおける画質性能が低い一方の画像データを画質性能の高い画像データに補正する。例えば、特性差補正部２２２は、撮像部２１-1から供給された白黒撮像画の画像データと、現像処理部２２１から供給されたカラー撮像画の画像データの特性差が無くなるように、予め学習によって生成されている特性差補正パラメータを用いて特性差補正を行う。

特性差補正部２２２では、特性差の補正として例えば色空間の相違と帯域の相違（解像度と感度の特性差）を補正する。色空間の補正では、例えば現像処理部２２１から供給された画像データに応じてデータベース部ＤＢ１から特性差補正パラメータを取得する。また取得した特性差補正パラメータを用いて、現像処理部２２１から供給された画像データを撮像部２１-1から供給された画像データの色空間とする特性差補正処理を行う。解像度の特性差補正では、例えば撮像部２１-1から供給された画像データに応じてデータベース部ＤＢ１から特性差補正パラメータを取得する。また取得した特性差補正パラメータを用いて、撮像部２１-1から供給された画像データを現像処理部２２１から供給された画像データの解像度とする特性差補正を行う。また、感度の特性差補正では、例えば現像処理部２２１から供給された画像データに応じてデータベース部ＤＢ１から特性差補正パラメータを取得する。また取得した特性差補正パラメータを用いて、現像処理部２２１から供給された画像データを撮像部２１-1から供給された画像データの感度とする特性差補正を行う。また、特性差補正部２２２は、後述する視差補償部２２４で、撮像部２１-1，２１-2で生成された画像データの一方を視差補償する場合、視差補償を行う画像データの解像度に他方の画像データの解像度を補正する。特性差補正部２２２は、特性差が補正された各画像データを視差検出部２２３へ出力する。なお、特性が等しくされた画像データにおいて、撮像部２１-1からの画像データを視差検出第１画像データ、現像処理部２２１からの画像データを視差検出第２画像データとする。また、視差検出第１画像データに基づく画像を視差検出第１撮像画、視差検出第２画像データに基づく画像を視差検出第２撮像画とする。

視差検出部２２３は、特性差が補正された視差検出第１画像データと視差検出第２画像データに基づいて、視差検出第１撮像画と視差検出第２撮像画の視差を示す視差情報を生成する。撮像部２１-1と撮像部２１-2は、図１の（ｂ）に示すように異なる視点から撮像を行うため、撮像部２１-1と撮像部２１-2で生成された画像データに基づく撮像画、すなわち視差検出第１撮像画と視差検出第２撮像画は視差を持つ画像となる。従って、視差検出部２２３は、視差検出第１画像データと視差検出第２画像データを用いてブロックマッチングなどの対応点検出処理を行い、画素毎の視差を示す視差情報を生成して、生成した視差情報を視差補償部２２４へ出力して視差補償を行う。

視差検出部２２３は、例えば視差検出第１撮像画と視差検出第２撮像画のいずれか一方を基準撮像画として、基準撮像画上の注目位置を基準とした基準ブロック領域に最も類似する他方の撮像画上のブロック領域を検出する。視差検出部２２３は、検出したブロック領域と基準ブロック領域の位置の差を視差とする。また、視差検出部２２３は、基準撮像画上の各画素を注目位置として視差の算出を行い、画素毎に算出した視差を示す視差情報を生成する。

視差補償部２２４は、視差情報に基づき撮像部２１-2で生成された画像データに基づく撮像画の視差補償を行う。視差補償部２２４は、現像処理部２２１から供給された画像データに対して視差情報に基づき画素位置の移動を行い、撮像部２１-1の視点から撮像された場合と同様な撮像画を示す画像データを生成する。視差補償部２２４は、生成した画像データを画像合成部２２５へ出力する。

画像合成部２２５は、学習画像の画像データを教師データとして、撮像部２１-1，２１-2で生成される学習画像の画像データを生徒データとして、複数の生徒データの合成データを教師データの特性とする学習モデルに従って、例えば複数の生徒データの合成データを教師データの特性とする予め学習によって生成された合成制御パラメータを用いて、撮像部２１-1から供給された画像データと、撮像部２１-2で生成された画像データに対して視差補償部２２４で視差補償が行われた画像データを合成する。画像合成部２２５は、予め学習によって取得されている合成制御パラメータから、撮像部２１-1で生成された画像データと視差補償部２２４から供給された画像データに応じて、例えば帯域を最大化する合成処理を行うための合成制御パラメータをデータベース部ＤＢ２から取得する。画像合成部２２５は、取得した合成制御パラメータで示された合成比で、撮像部２１-1から供給された画像データと視差補償部２２４から供給された画像データを合成して、撮像部２１-1，２１-2で取得された撮像画よりも高性能な画像データを生成する。

＜３．学習装置の構成＞
次に、画像処理部で用いるパラメータを予め生成する際に用いる学習装置の構成について説明する。

＜３−１．特性差補正パラメータを生成する場合＞
図５は特性差補正パラメータを生成する場合の学習装置の構成を例示している。学習装置５０は、第１撮像シミュレーション部５１、第２撮像シミュレーション部５２、第１特性差補正パラメータ生成部５３、第２特性差補正パラメータ生成部５４を有している。

第１撮像シミュレーション部５１と第２撮像シミュレーション部５２には、学習画像の画像データが供給されている。

第１撮像シミュレーション部５１は、例えば撮像部２１-1の撮像特性をシミュレーションして、学習画像を撮像部２１-1で撮像した画像データを、学習画像の画像データに基づいて生成する。第１撮像シミュレーション部５１は、生成した画像データを生徒データとして第１特性差補正パラメータ生成部５３へ出力する。また、第１撮像シミュレーション部５１は、生成した画像データを教師データとして第２特性差補正パラメータ生成部５４へ出力する。

第２撮像シミュレーション部５２は、例えば撮像部２１-2の撮像特性をシミュレーションして、学習画像を撮像部２１-2で撮像した画像データを、学習画像の画像データに基づいて生成する。第２撮像シミュレーション部５２は、生成した画像データを生徒データとして第２特性差補正パラメータ生成部５４へ出力する。また、第２撮像シミュレーション部５２は、生成した画像データを教師データとして第１特性差補正パラメータ生成部５３へ出力する。

第１特性差補正パラメータ生成部５３は、教師データと生徒データを用いて学習を行い、生徒データから教師データと同等の画像データを生成するための特性差補正パラメータを算出する。第１特性差補正パラメータ生成部５３は、生徒データが示す生徒画像における注目画素の分類を行うため、生徒画像から注目画素を基準とした特徴量算出対象領域の画素を抽出して、抽出した画素の画素データから特徴量を算出する。また、第１特性差補正パラメータ生成部５３は、算出した特徴量に基づき注目画素の分類を行い、分類毎に予測係数を算出する。第１特性差補正パラメータ生成部５３は、予測係数の算出において、生徒画像から注目画素を基準として予測タップの画素を抽出する。また、第１特性差補正パラメータ生成部５３は、予測タップの画素データと予測係数の乗算結果を累積した累積データと注目画素に対応する教師画像の画素データの差が最小となる予測係数を算出する。第１特性差補正パラメータ生成部５３は、分類毎に算出した予測係数を特性差補正パラメータとしてデータベース部ＤＢ１-1に記憶する。すなわち、データベース部ＤＢ１-1には、撮像部２１-1で生成された画像データから、撮像部２１-2で生成される画像データと同等の特性である画像データを、特性差補正部２２２の第１特性差補正部２２２-1で生成するための特性差補正パラメータが記憶される。

第２特性差補正パラメータ生成部５４は、第１特性差補正パラメータ生成部５３と同様に、教師データと生徒データを用いて学習を行い、生徒データから教師データと同等の画像データを生成するための特性差補正パラメータを算出する。第２特性差補正パラメータ生成部５４は、生徒データが示す生徒画像における注目画素の分類を行うため、生徒画像から注目画素を基準とした特徴量算出対象領域の画素を抽出して、抽出した画素の画素データから特徴量を算出する。また、第２特性差補正パラメータ生成部５４は、算出した特徴量に基づき注目画素の分類を行い、分類毎に予測係数を算出する。第２特性差補正パラメータ生成部５４は、予測係数の算出において、生徒画像から注目画素を基準として予測タップの画素を抽出する。また、第２特性差補正パラメータ生成部５４は、予測タップの画素データと予測係数の乗算結果を累積した累積データと注目画素に対応する教師画像の画素データの差が最小となる予測係数を算出する。第２特性差補正パラメータ生成部５４は、分類ごとに算出した予測係数を特性差補正パラメータとしてデータベース部ＤＢ１-2に記憶する。すなわち、データベース部ＤＢ１-2には、撮像部２１-2で生成された画像データから、撮像部２１-1で生成される画像データと同等の特性である画像データを、特性差補正部２２２の第２特性差補正部２２２-2で生成するための特性差補正パラメータが記憶される。

学習装置５０で行う注目画素の分類では、特徴量として例えば特徴量算出対象領域の画素データのダイナミックレンジを用いてもよく、特徴量算出対象領域の平均画素データを用いてもよく、特徴量算出対象領域の画素のノイズ量（標準偏差）を用いてもよい。さらに、注目画素の像高を特徴量として用いてもよい。また、特徴量算出対象領域の画素データを用いてＡＤＲＣ（Adaptive Dynamic Range Coding）処理を行い、再量子化されたデータを特徴量として用いてもよい。

＜３−２．合成制御パラメータを生成する場合＞
図６は合成制御パラメータを生成する場合の学習装置の構成を例示している。学習装置６０は、第１撮像シミュレーション部６１、第２撮像シミュレーション部６２、合成制御パラメータ生成部６３を有している。

第１撮像シミュレーション部６１と第２撮像シミュレーション部６２には、学習画像の画像データが供給されている。また、学習画像の画像データは、教師データとして合成制御パラメータ生成部６３に供給されている。

第１撮像シミュレーション部６１は、例えば撮像部２１-1の撮像特性をシミュレーションして、学習画像を撮像部２１-1で撮像した画像データを、学習画像の画像データに基づいて生成する。第１撮像シミュレーション部５１は、生成した画像データを生徒データとして合成制御パラメータ生成部６３へ出力する。

第２撮像シミュレーション部６２は、例えば撮像部２１-2の撮像特性をシミュレーションして、学習画像を撮像部２１-2で撮像した画像データを、学習画像の画像データに基づいて生成する。第２撮像シミュレーション部６２は、生成した画像データを生徒データとして合成制御パラメータ生成部６３へ出力する。

合成制御パラメータ生成部６３は、教師データと生徒データを用いて学習を行い、第１撮像シミュレーション部６１から供給された生徒データと第２撮像シミュレーション部６２から供給された生徒データを合成する際に、教師データとの特性差が最小となる画像データを生成するための合成制御パラメータを算出する。合成制御パラメータ生成部６３は、生徒データが示す生徒画像における注目画素の分類を行うため、例えば２つの生徒画像のそれぞれで、注目画素を基準として特徴量算出領域の画素を抽出して、抽出した画素の画素データからそれぞれ特徴量を算出する。また、合成制御パラメータ生成部６３は、算出したそれぞれの特徴量に基づき注目画素の分類を行い、分類毎に合成比率を算出する。合成制御パラメータ生成部６３は、合成比率の算出において、それぞれの生徒画像から注目画素を基準として予測タップを抽出する。また、合成制御パラメータ生成部６３は、生徒画像毎に予測タップの画素データと予測係数の乗算結果を累積した累積データを算出して、生徒画像毎に算出した累積データの加算結果と注目画素に対応する教師画像の画素データの特性差が最小となる予測係数を算出する。また、合成制御パラメータ生成部６３は、分類毎に算出した予測係数を合成制御パラメータとしてデータベース部ＤＢ２に記憶する。すなわち、データベース部ＤＢ２には、撮像部２１-1で生成された画像データと撮像部２１-2で生成された画像データを合成して学習画像に最も類似した性能の画像データを生成するための合成比率を示す合成制御パラメータが記憶される。

学習装置６０で行う注目画素の分類では、特徴量として例えば特徴量算出対象領域の画素データのダイナミックレンジを用いてもよく、特徴量算出対象領域の平均画素データを用いてもよく、特徴量算出対象領域の画素のノイズ量（標準偏差）を用いてもよい。また、注目画素の像高を特徴量として用いてもよい。また、特徴量算出対象領域の画素データを用いてＡＤＲＣ（Adaptive Dynamic Range Coding）処理を行い、再量子化されたデータを特徴量として用いてもよい。さらに、合成対象の撮像画が位置ずれを生じている場合、合成画像は合成前よりも画質の劣化を生じるおそれがあるので、合成対象の撮像画間における各画素位置の画素データの差を特徴量として用いてもよい。

＜４．学習装置と画像処理部の動作＞
図７は特性差補正パラメータを生成する学習装置の動作、図８は特性差補正部の動作を例示したフローチャートである。

図７のステップＳＴ１において学習装置は第１撮像シミュレーション処理を行う。学習装置５０は、学習画像の画像データから撮像部２１-1で生成される画像データと同性能である第１シミュレーション画像データを生成してステップＳＴ２に進む。

ステップＳＴ２において学習装置は第２撮像シミュレーション処理を行う。学習装置５０は、学習画像の画像データから撮像部２１-2で生成される画像データと同性能である第２シミュレーション画像データを生成してステップＳＴ３に進む。

ステップＳＴ３で学習装置は特性差補正パラメータの学習を行う画素ループを開始してステップＳＴ４に進む。

ステップＳＴ４で学習装置は教師画素を取得する。学習装置５０は、教師データとされている第１シミュレーション画像データまたは第２シミュレーション画像データから、注目画素の画素データを取得してステップＳＴ５に進む。

ステップＳＴ５で学習装置は生徒画素を取得する。学習装置５０は、教師データと異なり生徒データとされている第１シミュレーション画像データまたは第２シミュレーション画像データから、注目画素を基準とした特徴量算出対象領域の画素データを取得してステップＳＴ６に進む。

ステップＳＴ６で学習装置は注目画素の分類を行う。学習装置５０は、ステップＳＴ５で取得した特徴量算出対象領域の画素データから注目画素の特徴量を算出して、算出した特徴量に基づき注目画素の分類を行いステップＳＴ７に進む。

ステップＳＴ７で学習装置は予測タップを取得する。学習装置５０は、生徒データから注目画素を基準とした予測タップの画素データを取得してステップＳＴ８に進む。

ステップＳＴ８で学習装置は学習行列への足し込みを行う。学習装置５０は、ステップＳＴ４で取得した教師データにおける注目画素の画素データとステップＳＴ７で取得した予測タップの画素データを用いて、学習行列例えば正規方程式への足し込みを行いステップＳＴ９に進む。なお、正規方程式は、注目画素の分類毎に設ける。

ステップＳＴ９で学習装置は画素ループを終了する。学習装置５０は、学習画像における各画素を注目画素として学習行列への足し込みを行った場合には画素ループを終了してステップＳＴ１０に進む。また、正規方程式への足し込みが終了していない画素が残っている場合はステップＳＴ６に戻り、学習画像において注目画素に設定されていない新たな画素を注目画素に設定して、ステップＳＴ６からステップＳＴ８の処理を行う。

ステップＳＴ１０で学習装置は特性差補正パラメータを算出する。学習装置５０は分類毎の学習行列について逆行列を算出して予測係数とする。学習装置５０は、例えば足し込みが終了した正規方程式の係数解を算出して、算出した係数を予測係数とする。また、学習装置５０は算出した分類毎の予測係数を特性差補正パラメータとしてデータベース部ＤＢ１に記憶する。

図８のステップＳＴ２１において画像処理部は第１撮像画像データを取得する。画像処理部２２の特性差補正部２２２は、撮像部２１-1で生成された画像データを第１撮像画像データとして取得してステップＳＴ２２に進む。

ステップＳＴ２２において画像処理部は第２撮像画像データを取得する。画像処理部２２の特性差補正部２２２は、撮像部２１-2で生成された画像データを取得して現像処理を行い、現像処理後の画像データを第２撮像画像データとしてステップＳＴ２３に進む。

ステップＳＴ２３で画像処理部は特性差補正を行う画素ループを開始してステップＳＴ２４に進む。

ステップＳＴ２４で画像処理部は注目画素の分類を行う。画像処理部２２の特性差補正部２２２は、特性差補正を行う第１撮像画像データまたは第２撮像画像データから、注目画素を基準とした特徴量算出対象領域の画素データを取得して、取得した画素データから注目画素の特徴量を算出する。また、特性差補正部２２２は、算出した特徴量に基づいて注目画素の分類を行いステップＳＴ２５に進む。

ステップＳＴ２５で画像処理部は特性差補正パラメータを取得する。画像処理部２２の特性差補正部２２２は、ステップＳＴ２５の分類結果に対応した特性差補正パラメータをデータベース部ＤＢ１から取得してステップＳＴ２６に進む。

ステップＳＴ２６で画像処理部は予測タップを取得する。画像処理部２２の特性差補正部２２２は、特性差補正を行う撮像画像データから注目画素を基準として予測タップの画素データを取得してステップＳＴ２７に進む。

ステップＳＴ２７で画像処理部は特性差補正を行う。画像処理部２２の特性差補正部２２２は、ステップＳＴ２６で取得した特性差補正パラメータで示されている予測係数と予測タップの画素データを用いて予測演算を行い、注目画素の特性差が補正された画素データを算出してステップＳＴ２８に進む。

ステップＳＴ２８で画像処理部は画素ループを終了する。画像処理部２２の特性差補正部２２２は、特性差補正対象の画像における各画素を注目画素として特性差が補正された画素データの算出を行った場合には画素ループを終了する。また、特性差が補正された画素データの算出が行われていない画素が残っている場合はステップＳＴ２４に戻り、特性差補正対象の画像において注目画素に設定されていない新たな画素を注目画素に設定して、ステップＳＴ２４からステップＳＴ２７の処理を行う。

図９は、画像処理部で行われる特性差補正動作を示している。なお、図９では、特性差として色空間と帯域（解像度と簡素）について補正を行う場合を例示しており、性能が高い順に二重丸印、丸印、三角印のマークを用いている。また、図９では補正方向を矢印で示している。例えば撮像部２１-2の画像データに対しては、色空間と感度を撮像部２１-1の画像データに合わせる補正処理を行い、撮像部２１-1の画像データに対しては、解像度を撮像部２１-2の画像データに合わせる補正処理を行う。なお、特性差補正動作は、視差検出に用いる画像データを生成することを目的としており、撮像部２１-1の画像データを撮像部２１-2の画像データの解像度に合わせることで、カラー撮像画に対する視差補償を最適に行うことができるようになる。

図１０は、第２特性差補正部で行われる特性差補正処理を例示している。なお、データベース部ＤＢ１-2aには、色空間変換を行うための予測係数が予め学習によって記憶されている。また、データベース部ＤＢ１-2bには、帯域補正を行うための予測係数が予め学習によって記憶されている。

第２特性差補正部２２２-2は、色空間変換と帯域補正を行う。色空間変換において、第２特性差補正部２２２-2は、現像処理部２２１から供給されたＲＧＢ成分を示す画像データとデータベース部ＤＢ１-2ａから注目画像の分類結果に応じて取得した予測係数ｋ1，ｋ2，ｋ3を用いて式（１）の演算を行う。第２特性差補正部２２２-2は、このような演算を行い、Ｗ(白)成分を示す画像データＷＹを生成する。
ＷＹ＝ｋ1×Ｒ＋ｋ2×Ｇ＋ｋ3×Ｂ ・・・（１）

帯域補正において、第２特性差補正部２２２-2は、画像データＷＹから注目画素を基準とした例えば二次元方向の予測タップの取得と、データベース部ＤＢ１-2bから注目画像の分類結果に応じた予測係数である二次元フィルタ係数を取得する。その後、第２特性差補正部２２２-2は、取得した予測タップｐｉｘ（ｉ）と二次元フィルタ係数ｃｏｅｆ（ｉ）を用いて式（２）に示すように予測タップと係数の畳み込み演算を行い、注目画素の特性差補正画素データＷ’を生成する。なお、式（２）において「ｎ」はタップ数である。

図１１は、色空間に対する特性差補正結果を模式的に示している。図１１の（ａ）は、撮像部２１-1で生成された画像データが示す撮像画のＷ（白）成分、および撮像部２１-2で生成された画像データが示す撮像画のＲ（赤色）成分，Ｇ（緑色）成分，Ｂ（青色）成分の波長と感度の関係を模式的に示している。

図１１の（ｂ）は、図１１の（ａ）に対して、色空間変換式を用いてＲ成分とＧ成分とＢ成分から算出されたＹ（輝度）成分の波長と感度の関係を追加した図である。

図１１の（ｃ）は、図１１の（ａ）に対して、学習によって予め生成されている特性差補正パラメータを用いて算出されたＷ’(白)成分の波長と感度の関係を追加した図である。

図１１の（ｂ）に示すように、色空間変換式を用いて算出したＹ成分はＷ成分と特性が異なる。したがって、Ｗ成分の画像データと色空間変換式を用いて算出したＹ成分の画像データを用いて視差検出を行った場合、波長に対する感度の違いによって視差検出を精度よく行うことができないことが想定される。しかし、図１１の（ｃ）に示すように、学習によって予め生成されている特性差補正パラメータを用いて算出されたＷ’成分はＷ成分と類似した特性に補正されている。したがって、色空間変換式を用いて算出したＹ成分の画像データを用いる場合に比べて、視差検出性能を向上できるようになる。

次に合成制御パラメータを生成する学習装置の動作と画像合成部の動作について説明する。図１２は合成制御パラメータを生成する学習装置の動作、図１３は画像合成部の動作を例示したフローチャートである。

図１２のステップＳＴ３１において学習装置は第１撮像シミュレーション処理を行う。学習装置６０は、学習画像の画像データから撮像部２１-1で生成される画像データと同性能である第１シミュレーション画像データを生成してステップＳＴ３２に進む。

ステップＳＴ３２において学習装置は第２撮像シミュレーション処理を行う。学習装置６０は、学習画像の画像データから撮像部２１-2で生成される画像データと同性能である第２シミュレーション画像データを生成してステップＳＴ３３に進む。

ステップＳＴ３３で学習装置は合成制御パラメータの学習を行う画素ループを開始してステップＳＴ３４に進む。

ステップＳＴ３４で学習装置は教師画素を取得する。学習装置６０は、学習画像の画像データである教師データから、注目画素の画素データを取得してステップＳＴ３５に進む。

ステップＳＴ３５で学習装置は生徒画素を取得する。学習装置６０は、生徒データである第１シミュレーション画像データと第２シミュレーション画像データから、注目画素を基準とした特徴量算出対象領域の画素データを取得してステップＳＴ３６に進む。

ステップＳＴ３６で学習装置は注目画素の分類を行う。学習装置６０は、ステップＳＴ３５で取得した画素データから注目画素の特徴量を算出して、算出した特徴量に基づいた注目画素の分類を行いステップＳＴ３７に進む。

ステップＳＴ３７で学習装置は予測タップを取得する。学習装置６０は、各生徒データから注目画素を基準とした予測タップの画素データを取得してステップＳＴ３８に進む。

ステップＳＴ３８で学習装置は学習行列への足し込みを行う。学習装置６０は、ステップＳＴ３４で取得した教師データにおける注目画素の画素データとステップＳＴ３７で取得した予測タップの画素データを用いて、学習行列例えば正規方程式への足し込みを行いステップＳＴ３９に進む。なお、正規方程式は、注目画素の分類毎に設ける。

ステップＳＴ３９で学習装置は画素ループを終了する。学習装置６０は、学習画像における各画素を注目画素として学習行列への足し込みを行った場合には画素ループを終了してステップＳＴ４０に進む。また、正規方程式への足し込みが終了していない画素が残っている場合はステップＳＴ３６に戻り、学習画像において注目画素に設定されていない新たな画素を注目画素に設定して、ステップＳＴ３６からステップＳＴ３８の処理を行う。

ステップＳＴ４０で学習装置は合成制御パラメータを算出する。学習装置６０は分類毎の学習行列について逆行列を算出して予測係数とする。学習装置６０は、例えば足し込みが終了した正規方程式の係数解を算出して、算出した係数を予測係数と合成比とする。また、学習装置６０は算出した分類毎の予測係数と合成比を合成制御パラメータとしてデータベース部ＤＢ２に記憶する。

図１３のステップＳＴ５１において画像処理部は第１撮像画像データを取得する。画像処理部２２の画像合成部２２５は、撮像部２１-1で生成された画像データを第１撮像画像データとして取得してステップＳＴ５２に進む。

ステップＳＴ５２において画像処理部は第２撮像画像データを取得する。画像処理部２２の画像合成部２２５は、撮像部２１-2で生成された画像データを取得して現像処理を行い、現像処理後の画像データを第２撮像画像データとしてステップＳＴ５３に進む。

ステップＳＴ５３で画像処理部は画像合成を行う画素ループを開始してステップＳＴ５４に進む。

ステップＳＴ５４で画像処理部は注目画素の分類を行う。画像処理部２２の画像合成部２２５は、画像合成に用いる第１撮像画像データと第２撮像画像データから、注目画素を基準として特徴量算出対象領域の画素データを取得して、取得した画素データから注目画素の特徴量を算出する。また、画像合成部２２５は、算出した特徴量に基づいた注目画素の分類を行いステップＳＴ５５に進む。

ステップＳＴ５５で画像処理部は合成制御パラメータを取得する。画像処理部２２の画像合成部２２５は、ステップＳＴ５４の分類結果に対応した合成制御パラメータをデータベース部ＤＢ２から取得してステップＳＴ５６に進む。

ステップＳＴ５６で画像処理部は予測タップを取得する。画像処理部２２の画像合成部２２５は、画像合成に用いる第１撮像画像データと第２撮像画像データから注目画素を基準として予測タップの画素データを取得してステップＳＴ５７に進む。

ステップＳＴ５７で画像処理部は画像合成を行う。画像処理部２２の画像合成部２２５は、ステップＳＴ５５で取得した合成制御パラメータで示された予測係数と予測タップの画素データを用いて畳み込み演算を行う。また、画像合成部２２５は、畳み込み演算の演算結果を合成制御パラメータで示された合成比で加算して合成画素データを算出してステップＳＴ５８に進む。なお、合成画素データは合成画像の画素データである。

ステップＳＴ５８で画像処理部は画素ループを終了する。画像処理部２２の画像合成部２２５は、画像合成対象の第１撮像画像データと第２撮像画像データにおける各画素を注目画素として画素合成値の算出を行った場合には画素ループを終了する。また、画像合成部２２５は、画素合成値の算出が行われていない画素が残っている場合はステップＳＴ５４に戻り、注目画素に設定されていない新たな画素を注目画素に設定して、ステップＳＴ５４からステップＳＴ５７の処理を行う。

図１４は、画像合成部で行われる画像合成動作を示している。なお、図１４では、性能として色空間と帯域（解像度と感度）を例示しており、性能が高い順に二重丸印、丸印、三角印のマークを用いている。画像処理部２２の画像合成部２２５は、予め学習によって生成されている合成制御パラメータを用いて画素毎に合成処理を行うことで、例えば撮像部２１-1で生成された画像データと撮像部２１-2で生成された画像データを合成したＲＧＢ成分を示す合成画像データを生成する。また、画像合成部２２５は、予め学習によって生成されている合成制御パラメータを用いて画素毎に合成処理を行うことで、例えば撮像部２１-2で生成された画像データよりも高解像度である合成画像データを生成する。さらに、画像合成部２２５は、予め学習によって生成されている合成制御パラメータを用いて画素毎に合成処理を行うことで、例えば撮像部２１-2で生成された画像データよりも高感度である合成画像データを生成する。

図１５は、画像合成部で行われる画像合成動作を例示している。画像合成部２２５は、撮像部２１-1で生成された画像データ（Ｗ）と現像処理部２２１からの画像データ（ＲＧＢ）から注目画素を基準とした例えば二次元方向の予測タップを取得する。また、画像合成部２２５は、データベース部ＤＢ２から画像データ（Ｗ）と画像データ（ＲＧＢ）における注目画素の分類結果に応じた合成比αと予測係数である二次元フィルタ係数を取得する。画像合成部２２５は、取得した予測タップＰｉｘ１（ｉ），Ｐｉｘ（ｊ）と合成比αと二次元フィルタ係数ｃｏｅｆ１（ｉ），ｃｏｅｆ２（ｊ）を用いて式（３）に示す演算を行う。すなわち、画像合成部２２５は、予測タップと予測係数の畳み込み演算の演算結果を合成比で加算して注目画素の合成画素データＤＹを生成する。なお、式（３）において「ｎ」はタップ数である。

また、式（３）で生成される合成画素データは、輝度（白）成分を示す画像データであることから、例えば現像処理部２２１から供給されたＲＧＢ成分を示す画像データの色空間変換を行いＵ成分とＶ成分を生成して、ＤＹ成分とＵ成分およびＶ成分を示す画像データを出力する。また、画像合成部２２５から撮像部２１-2で生成される画像データと等しい色空間の画像データを出力する場合、ＤＹ成分とＵ成分およびＶ成分を示す画像データからＲＧＢ成分を示す画像データを生成して出力してもよい。

＜５．変形例＞
ところで、上述の実施の形態では、白黒撮像画の画像データを生成する撮像部２１-1とカラー撮像画を生成する撮像部２１-2を用いて、撮像部２１-2で生成されるカラー撮像画よりも解像度と感度の高いカラー撮像画を生成する場合を例示した。しかし、複数の撮像部や生成する撮像画は、上述の構成に限られない。

図１６は、撮像部の構成と動作（生成される撮像画）の組み合わせ要素を例示している。機能性能に関する特性差を生じる要素は、例えば画角、色配列、露光時間、フォーカス、その他の要素である。画角に関しては例えば広角の撮像画や望遠の撮像画を用いてもよい。色配列は、上述のベイヤ配列及び単一の白画素に限らず、原色と補色の各色を示す画素を設けた配列、原色の画素に白色や赤外光領域に感度を有する画素等を設けた配列であってもよい。また、光電変換の波長域が異なる光電変換層を光の入射方向に積層した縦分光の配列であってもよい。露光時間に関しては、例えば長時間露光の撮像画や短時間露光の撮像画、露光タイミングが異なる撮像画を用いてもよい。フォーカスに関しては、例えば前景に焦点が合った撮像画や背景に焦点が合った撮像画を用いてもよい。その他の要素として、画素数の異なる撮像画、画素配列が異なる撮像画、光源の色温度が異なる撮像画、特定の偏光方向の撮像画等を用いてもよい。

画像処理部は、このような要素を組み合わせて特性差補正や画像合成を行い、特性差補正や画像合成では学習モデルに従って、良好な画質の合成画像をモデルベースの合成処理に比べて容易に生成できる。例えば画像処理部は、露光時間が異なる複数の撮像画を合成して良好な画質のハイダイナミックレンジ合成画像を生成できる。また、画像処理部は、露光タイミングが異なる複数の撮像画の特性を揃えて時間方向に並べて良好な画質のハイフレームレート画像を生成することもできる。また、画像処理部は、色配列の異なる複数の撮像画を合成して色再現性を向上させた合成画像を生成することもできる。

さらに、画像処理部は、機能性を向上させた合成画像をモデルベースの特性差補正や合成処理に比べて容易に生成できる。図１７は、複数の撮像部の撮像領域を例示している。なお、図１７では、２つの撮像部２１-1，２１-2を用いた場合を例示しており、撮像部２１-1の画角をＡＧ1、撮像部２１-2の画角をＡＧ２として示している。図１７の（ａ）は、上述の実施の形態のように同一の被写体範囲を撮像部２１-1，２１-2で撮像する場合を示している。また、図１７の（ｂ）は撮像部２１-1，２１-2で撮像される被写体範囲の一部のみが重複する場合、図１７の（ｃ）は画角が異なる撮像部２１-1，２１-2の一方で撮像される被写体範囲が他方で撮像される被写体範囲に含まれる場合を例示している。例えば画像処理部は、図１７の（ｂ）に示すように配置された撮像画の特性を揃えて合成することで、広画角の撮像画を生成できる。また、画像処理部は、図１７の（ｃ）に示すように配置された撮像画の特性を揃えることで、広角画像とズーム画像の切り替えを高画質で容易に行うことができる。また、図１７の（ｃ）において、撮像部２１-1で白黒撮像画またはカラー撮像画の生成を行い、撮像部２１-2で赤外撮像画の解像度を白黒撮像画またはカラー撮像画の解像度に高めることも可能である。さらに、画像処理部は、図１６に示す要素を組み合わせることで、オートフォーカス速度やオートアイリス調整、オートホワイトバランス調整等の性能を向上させることも可能となる。

＜６．応用例＞
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、情報処理端末に限らず、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。

図１８は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図１８に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。

各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図１８では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。

駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock Brake System）又はＥＳＣ（Electronic Stability Control）等の制御装置としての機能を有してもよい。

駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。

ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。

車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。

環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。

ここで、図１９は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

なお、図１９には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。

車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０〜７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。

図１８に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。

また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。

車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。

統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal Digital Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。

記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read Only Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。

汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（Global System of Mobile communications）、ＷｉＭＡＸ、ＬＴＥ（Long Term Evolution）若しくはＬＴＥ−Ａ（LTE−Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ−Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer To Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine Type Communication）端末）と接続してもよい。

専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless Access in Vehicle Environment）、ＤＳＲＣ（Dedicated Short Range Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、車両と家との間（Vehicle to Home）の通信及び歩車間（Vehicle to Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。

測位部７６４０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global Positioning System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。

ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。

車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）又はＷＵＳＢ（Wireless USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（High-Definition Multimedia Interface）、又はＭＨＬ（Mobile High-definition Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。

車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。

統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。

マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。

音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１８の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。

なお、図１８に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。

以上説明した車両制御システム７０００において、撮像部７４１０，７９１０，７９１２，７９１４，７９１６，７９１８は、それぞれ複数の撮像部例えば図１に示す撮像部２１-1，２１-2を用いる構成とする。また、図１８に示した応用例の統合制御ユニット７６００に画像処理部２２を設ける。このような構成とすれば、撮像部７４１０，７９１０，７９１２，７９１４，７９１６，７９１８を小型・薄型化しても高性能な撮像画を取得できるので、取得した撮像画を運転支援や運転制御等に利用できる。なお、画像処理部２２は、図１８に示した統合制御ユニット７６００のためのモジュール（例えば、一つのダイで構成される集積回路モジュール）において実現されてもよい。

明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。

また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。

また、本技術の画像処理装置は以下のような構成も取ることができる。
（１） 第１の撮像部で生成される学習画像の画像データと前記第１の撮像部と特性が異なる第２の撮像部で生成される前記学習画像の画像データの一方を教師データおよび他方を生徒データとして、前記生徒データを前記教師データの特性とする学習モデルに従って、前記第１の撮像部と前記第２の撮像部で生成された撮像画の画像データにおける性能が低い一方の画像データを性能の高い画像データに補正する特性差補正部
を備える画像処理装置。
（２） 前記特性差補正部によって特性差が補正された画像データを用いて前記第１の撮像部と前記第２の撮像部の視差を検出する視差検出部と、
前記視差検出部で検出された視差検出結果に基づき、前記第１の撮像部と前記第２の撮像部で生成された画像データに対する視差補償を行う視差補償部をさらに備える（１）に記載の画像処理装置。
（３） 前記視差補償部は、前記第１の撮像部と前記第２の撮像部で生成された画像データの一方を視差補償して、
前記特性差補正部は、前記視差の検出に用いる画像データに対して、前記視差補償を行う画像データの解像度に他方の画像データの解像度を補正する（２）に記載の画像処理装置。
（４） 学習画像の画像データを教師データとして、前記第１の撮像部で生成される前記学習画像の画像データと前記第２の撮像部で生成される前記学習画像の画像データを生徒データとして、前記複数の生徒データの合成データを前記教師データの特性とする学習モデルに従って、予め学習によって生成された合成制御パラメータを用いて、前記第１の撮像部と前記第２の撮像部で生成された撮像画の画像データを合成する画像合成部をさらに備える（２）または（３）に記載の画像処理装置。
（５） 前記画像合成部は、前記第１の撮像部と前記第２の撮像部で生成された画像データに対する視差補償後の画像データの合成を行う（４）に記載の画像処理装置。
（６） 前記特性差補正部は、前記生徒データを前記教師データの特性とする予め学習によって生成された特性差補正パラメータを用いて、前記第１の撮像部と前記第２の撮像部で生成された撮像画の画像データにおける性能が低い一方の画像データを性能の高い画像データに補正して、
前記画像合成部は、前記複数の生徒データの合成データを前記教師データの特性とする予め学習によって生成された合成制御パラメータを用いて、前記第１の撮像部と前記第２の撮像部で生成された撮像画の画像データを合成する（４）または（５）に記載の画像処理装置。
（７） 前記性能は画質性能を含み、
前記特性差補正部は、前記画質性能に関する特性差を補正する（１）乃至（６）のいずれかに記載の画像処理装置。
（８） 前記特性差補正部は、前記画質性能に関する特性差の補正として、色空間の相違と帯域の相違の少なくともいずれかの特性差を補正する（７）に記載の画像処理装置。
（９） 前記第１の撮像部は白黒撮像画の画像データを生成して、
前記第２の撮像部は画素が１つの色成分を示すカラー撮像画の画像データを生成して、
前記特性差補正部は、前記帯域の相違についての特性差の補正として、前記カラー撮像画の画像データの感度を前記第２の撮像部で生成される画像データよりも高くする（８）に記載の画像処理装置。
（１０） 前記性能は機能性能を含み、
前記特性差補正部は、前記機能性能に関する特性差を補正する（１）乃至（９）のいずれかに記載の画像処理装置。
（１１） 前記特性差補正部は、前記機能性能に関する特性差の補正として、画角、焦点距離、合焦制御、絞り制御、ホワイトバランス制御の少なくともいずれかの相違によって生じる特性差を補正する（１０）に記載の画像処理装置。

この技術の画像処理装置と画像処理方法および学習装置と学習方法では、第１の撮像部で生成される学習画像の画像データと第１の撮像部と特性が異なる第２の撮像部で生成される学習画像の画像データの一方を教師データおよび他方を生徒データとして、生徒データを教師データの特性とする学習モデルに従って、第１の撮像部と第２の撮像部で生成された画像データにおける性能が低い一方の画像データが性能の高い画像データに補正されるので、複数の撮像部で個々に生成された撮像画の画像データを用いて、個々に生成された撮像画よりも性能を向上させた撮像画の画像データを生成できるようになる。したがって、撮像部を用いる機器であって、撮像部の小型化や薄型化が必要とされる機器に適している。

１０・・・情報処理端末
２１-1，２１-2・・・撮像部
２２・・・画像処理部
２３・・・センサ部
２４・・・通信部
２５・・・表示部
２６・・・タッチパネル
２７・・・操作部
２８・・・記憶部
３０・・・制御部
５０，６０・・・学習装置
５１，６１・・・第１撮像シミュレーション部
５２，６２・・・第２撮像シミュレーション部
５３・・・第１特性差補正パラメータ生成部
５４・・・第２特性差補正パラメータ生成部
６３・・・合成制御パラメータ生成部
２２１・・・現像処理部
２２２・・・特性差補正部
２２２-1・・・第１特性差補正部
２２２-2・・・第２特性差補正部
２２３・・・視差検出部
２２４・・・視差補償部
２２５・・・画像合成部
７０００・・・車両制御システム

Claims (13)

1. 第１の撮像部で生成される学習画像の画像データと前記第１の撮像部と特性が異なる第２の撮像部で生成される前記学習画像の画像データの一方を教師データおよび他方を生徒データとして、前記生徒データを前記教師データの特性とする学習モデルに従って、前記第１の撮像部と前記第２の撮像部で生成された撮像画の画像データにおける性能が低い一方の画像データを性能の高い画像データに補正する特性差補正部と、
   学習画像の画像データを教師データとして、前記第１の撮像部で生成される前記学習画像の画像データと前記第２の撮像部で生成される前記学習画像の画像データを生徒データとして、前記複数の生徒データの合成データを前記教師データの特性とする学習モデルに従って予め学習によって生成された合成制御パラメータを用いて、前記第１の撮像部と前記第２の撮像部で生成された撮像画の画像データを合成する画像合成部
   を備える画像処理装置。
2. 前記特性差補正部によって特性差が補正された画像データを用いて前記第１の撮像部と前記第２の撮像部の視差を検出する視差検出部と、
   前記視差検出部で検出された視差検出結果に基づき、前記第１の撮像部と前記第２の撮像部で生成された画像データに対する視差補償を行う視差補償部をさらに備える
   請求項１に記載の画像処理装置。
3. 前記視差補償部は、前記第１の撮像部と前記第２の撮像部で生成された画像データの一方を視差補償して、
   前記特性差補正部は、前記視差の検出に用いる画像データに対して、前記視差補償を行う画像データの解像度に他方の画像データの解像度を補正する
   請求項２に記載の画像処理装置。
4. 前記画像合成部は、前記第１の撮像部と前記第２の撮像部で生成された画像データに対する視差補償後の画像データの合成を行う
   請求項２に記載の画像処理装置。
5. 前記特性差補正部は、前記生徒データを前記教師データの特性とする予め学習によって生成された特性差補正パラメータを用いて、前記第１の撮像部と前記第２の撮像部で生成された撮像画の画像データにおける性能が低い一方の画像データを性能の高い画像データに補正して、
   前記画像合成部は、前記複数の生徒データの合成データを前記教師データの特性とする予め学習によって生成された合成制御パラメータを用いて、前記第１の撮像部と前記第２の撮像部で生成された撮像画の画像データを合成する
   請求項１に記載の画像処理装置。
6. 前記性能は画質性能を含み、
   前記特性差補正部は、前記画質性能に関する特性差を補正する
   請求項１に記載の画像処理装置。
7. 前記特性差補正部は、前記画質性能に関する特性差の補正として、色空間の相違と帯域の相違の少なくともいずれかの特性差を補正する
   請求項６に記載の画像処理装置。
8. 前記第１の撮像部は白黒撮像画の画像データを生成して、
   前記第２の撮像部は画素が１つの色成分を示すカラー撮像画の画像データを生成して、
   前記特性差補正部は、前記帯域の相違についての特性差の補正として、前記カラー撮像画の画像データの感度を前記第２の撮像部で生成される画像データよりも高くする
   請求項７に記載の画像処理装置。
9. 前記性能は機能性能を含み、
   前記特性差補正部は、前記機能性能に関する特性差を補正する
   請求項１に記載の画像処理装置。
10. 前記特性差補正部は、前記機能性能に関する特性差の補正として、画角、焦点距離、合焦制御、絞り制御、ホワイトバランス制御の少なくともいずれかの相違によって生じる特性差を補正する
    請求項９に記載の画像処理装置。
11. 第１の撮像部で生成される学習画像の画像データと前記第１の撮像部と特性が異なる第２の撮像部で生成される前記学習画像の画像データの一方を教師データおよび他方を生徒データとして、前記生徒データを前記教師データの特性とする学習モデルに従って、前記第１の撮像部と前記第２の撮像部で生成された撮像画の画像データにおける性能が低い一方の画像データを性能の高い画像データに特性差補正部で補正することと、
    学習画像の画像データを教師データとして、前記第１の撮像部で生成される前記学習画像の画像データと前記第２の撮像部で生成される前記学習画像の画像データを生徒データとして、前記複数の生徒データの合成データを前記教師データの特性とする学習モデルに従って予め学習によって生成された合成制御パラメータを用いて、前記第１の撮像部と前記第２の撮像部で生成された撮像画の画像データを画像合成部で合成すること
    を含む画像処理方法。
12. 学習画像の画像データから第１撮像シミュレーション部で生成された前記学習画像を第１の撮像部で撮像した画像データと、前記学習画像の画像データから第２撮像シミュレーション部で生成された前記学習画像を第２の撮像部で撮像した画像データについて、一方を教師データおよび他方を生徒データとして、学習によって前記生徒データを前記教師データの特性とするための特性差補正パラメータを生成する特性差パラメータ生成部と、
    前記学習画像の画像データを教師データ、前記第１撮像シミュレーション部と前記第２撮像シミュレーション部で生成された画像データを生徒データとして、学習によって前記複数の生徒データの合成データを前記教師データとするための合成制御パラメータを生成する合成制御パラメータ生成部と
    を備える学習装置。
13. 学習画像の画像データから第１撮像シミュレーション部で生成された前記学習画像を第１の撮像部で撮像した画像データと、前記学習画像の画像データから第２撮像シミュレーション部で生成された前記学習画像を第２の撮像部で撮像した画像データについて、一方を教師データおよび他方を生徒データとして、学習によって前記生徒データを前記教師データの特性とするための特性差補正パラメータを特性差パラメータ生成部で生成することと、
    前記学習画像の画像データを教師データ、前記第１撮像シミュレーション部と前記第２撮像シミュレーション部で生成された画像データを生徒データとして、学習によって前記複数の生徒データの合成データを前記教師データとするための合成制御パラメータを合成制御パラメータ生成部で生成すること
    を含む学習方法。

Images