WO2025211103A1 - 画像処理装置および画像処理方法 - Google Patents

Abstract

画質が著しく低下した場合においても、正確に画質を改善することができる画像処理装置および画像処理方法を提供する。第一のカメラおよび第二のカメラにより撮像された第一の画像および第二の画像を取得する画像取得部１００と、前記第一のカメラおよび前記第二のカメラの設置位置に関するカメラ位置情報が格納された情報格納部１０２と、前記第一の画像の少なくとも一部の領域における距離情報を取得する距離情報取得部１０１と、前記カメラ位置情報および前記距離情報に基づいて、前記第一の画像を前記第二のカメラの視点へ視点変換することで第一の視点変換画像を生成する視点変換部１０３と、前記第二の画像と前記第一の視点変換画像に基づいて、前記第二の画像の画質を改善する画質改善部１０４と、を有する。

Description

画像処理装置および画像処理方法

　本発明は、画像処理装置および画像処理方法に関する。

　交通事故の削減や物流の効率化などの観点から、自動運転に期待が寄せられる。自動運転ではカメラの利用が想定され、画像を解析することで車両や歩行者などの立体物を検出できる。ここで、立体物の検出における課題として、画像の画質低下が挙げられる。画質の低下要因として、例えば、カメラが車室外に設置される場合には雨滴や泥などの汚れがカメラに付着して画像に撮像されることで画質が低下し、また、カメラが車室内に設置される場合であってもフロントガラスに付着した汚れが間接的に画像に撮像されることで画質が低下する。このように画質が低下した場合、車両や歩行者などは本来の見え方とは異なるように撮像されるため、検出精度が低下してしまう。その結果、正しく車両制御を実行することができず、自動運転システムの信頼性が低下する。そのため、特許文献１では、機械学習された生成モデルを利用し、汚れを含んだ画像から汚れを取り除いた画像を生成する方法が開示されている。

特開２０２３－８３８４１号公報

　特許文献１に開示された方法を利用することで、雨滴などの透明度が高く、画質の低下レベルが低い場合、正しく汚れを取り除くことができる。一方で、透明度が低い泥などが画像中の車両を完全に遮蔽する形で付着した場合を想定すると、特許文献１に開示された方法により泥自体は除去できるが、その背後に存在していた車両も除去されてしまう。その結果、本来検出すべき車両を検出することができず、適切に車両を制御することができない。

　本発明は、このような課題に鑑み、画質が著しく低下した場合においても、正確に画質を改善することができる画像処理装置および画像処理方法を提供することを目的とする。

　上記目的を達成するために、本発明に係る画像処理装置は、第一のカメラおよび第二のカメラにより撮像された第一の画像および第二の画像を取得する画像取得部と、前記第一のカメラおよび前記第二のカメラの設置位置に関するカメラ位置情報が格納された情報格納部と、前記第一の画像の少なくとも一部の領域における距離情報を取得する距離情報取得部と、前記カメラ位置情報および前記距離情報に基づいて、前記第一の画像を前記第二のカメラの視点へ視点変換することで第一の視点変換画像を生成する視点変換部と、前記第二の画像と前記第一の視点変換画像に基づいて、前記第二の画像の画質を改善する画質改善部と、を有する。

　また、本発明に係る画像処理方法は、コンピュータにより実行される画像処理方法であって、第一のカメラおよび第二のカメラにより撮像された第一の画像および第二の画像を取得する画像取得ステップと、前記第一の画像の少なくとも一部の領域における距離情報を取得する距離情報取得ステップと、前記第一のカメラおよび前記第二のカメラの設置位置に関するカメラ位置情報ならびに前記距離情報に基づいて、前記第一の画像を前記第二のカメラの視点へ視点変換することで第一の視点変換画像を生成する視点変換ステップと、前記第二の画像と前記第一の視点変換画像に基づいて、前記第二の画像の画質を改善する画質改善ステップと、を含む。

　本発明によれば、画質が著しく低下した場合においても、正確に画質を改善することができる。

　上記した以外の課題、構成及び効果は以下の実施形態の説明により明らかにされる。

本発明に係る実施形態１の画像処理装置の構成を示す機能ブロック図である。 実施形態１における車両とカメラの位置関係を示す図である。 実施形態１の画像処理装置における処理フロー図である。 距離算出の方法を説明する図である。 画質の改善方法を説明する図である。 実施形態１の機能ブロックに要因特定部を追加した機能ブロック図である。 図６の機能ブロックの画像処理装置における処理フロー図である。 視点変換画像における画素の割り当て方法を説明する図である。 ５台のカメラを利用した場合におけるカメラの設置位置と画角の関係を示す図である。 本発明に係る実施形態２の画像処理装置の構成を示す機能ブロック図である。 実施形態２の画像処理装置における処理フロー図である。 領域特定部の処理内容を説明する図である。 領域特定部の出力を利用した画質の改善方法を説明する図である。

　以下に、本発明の実施形態について図面を参照して詳細に説明する。

［実施形態１］
　図１は、実施形態１の画像処理装置１の構成を示す機能ブロック図である。実施形態１の構成では、画像処理装置１に複数台のカメラが接続される。また、以降では、画像処理装置１は、車両に搭載されているものとする。

　本実施形態の画像処理装置１は、カメラ、コンピュータ、メモリおよび記憶装置などで構成されており、コンピュータが、メモリ等に格納された制御プログラムを実行することにより各種機能部として動作する。

　図１に示すように、画像処理装置１は、カメラやコンピュータの動作により実現される機能部として、画像取得部１００、距離情報取得部１０１、情報格納部１０２、視点変換部１０３、画質改善部１０４を有している。

　画像取得部１００では、画像処理装置１に接続された複数のカメラの画像を取得する。

　距離情報取得部１０１では、画像取得部１００で取得したカメラ画像のうち、少なくとも一部が重複した領域における距離情報を取得する。距離情報は、複数台のカメラを利用した多視点ステレオにより算出してもよいし、LiDARなどの３次元センサを利用してもよい。

　情報格納部１０２では、複数のカメラ同士の位置と姿勢の情報（カメラ位置情報）が格納される。ここで、位置と姿勢は、カメラ間の相対的な関係のことである。また、３次元センサを利用する場合には、カメラと３次元センサ間の位置と姿勢も格納される。

　視点変換部１０３では、距離情報取得部１０１で取得した距離情報と情報格納部１０２に格納されたカメラ間やカメラと３次元センサ間の位置と姿勢を利用し、画像取得部１００が撮像した画像の視点を変換する。具体的な方法は後述する。

　画質改善部１０４では、画像取得部１００が取得した画像と視点変換部１０３で計算した視点変換後の画像を利用して、汚れなどにより画質が低下した画像の画質を改善する。画質の改善には、機械学習モデルを利用することができる。

　以降では、図３のフローチャートを参照し、本実施形態の画像処理装置１の動作例を詳細に説明する。本実施形態の画像処理装置１は、カメラが車室外に設置される場合に雨滴や泥などの汚れがカメラ（のレンズ）に付着して画像に撮像されることで画質が低下したり、カメラが車室内に設置される場合にフロントガラスなどに付着した汚れが間接的に画像に撮像されることで画質が低下した場合に、画像に含まれる汚れを取り除いた画像を生成することで画質を改善するものである。以降の動作例では、カメラが車室外に設置され、雨滴や泥などの汚れがカメラ（のレンズ）に付着して画像に撮像されることで画質が低下した画像に含まれる汚れを除去した画像を生成することで画質を改善する方法に関して言及する。ここで、図２に記載のように、車両Ｖ１に３台のカメラ（Ｃ１、Ｃ２、Ｃ３）が車両Ｖ１の周囲環境を撮像するように設置され、Ｃ１はレンズに雨滴が付着することで画質が低下し、Ｃ２とＣ３は雨滴は付着しておらず画質は低下していないとする。また、Ｃ２とＣ３はステレオカメラであるとする。なお、後述する距離算出処理Ｐ１０２が実行可能であれば、ステレオカメラに限定されるものではなく、車両に設置された３台以上のカメラから構成されるマルチカメラであってもよい。画像処理装置１にマルチカメラが接続される場合、視野の少なくとも一部が重複する重複撮像領域を有する任意の２台のカメラペアにより撮像された画像に対して、距離算出処理Ｐ１０２を適用することができる。

　画像取得処理Ｐ１０１では、カメラＣ１、Ｃ２、Ｃ３のそれぞれのカメラで撮像した画像を取得する。

　距離算出処理Ｐ１０２では、画質が低下していないＣ２とＣ３の２台のカメラを利用して、距離を算出する。図４に距離の算出方法を示す。ここで、Ｃ２が撮像した画像が３０１であり、Ｃ３が撮像した画像が３００である。距離の算出には、ステレオマッチングを利用する。Ｃ２が撮像した画像３０１の位置３０２（ｘ，ｙ）に対して距離を算出する場合、Ｃ３が撮像した画像３００の位置３０３（ｘ，ｙ）から位置３０４（ｘ＋Ｄ，ｙ）までブロックマッチングを実行し、ＺＳＡＤ（Zero Mean Sum of Absolute Difference）が最小となる位置ｄを視差とする。ここで、Ｄは、ステレオマッチングにおける探索幅である。計算したｄを利用して、距離Ｚはｆ*Ｂ/ｄにより求めることができる。ここで、ｆはＣ２とＣ３の焦点距離、Ｂはベースラインである。画像３０１の各位置に対して距離を算出した結果から、画像３０１の少なくとも一部が重複した領域における距離情報を含む視差画像（距離画像）３０１Ｄを生成することができる。

　視点変換処理Ｐ１０３では、カメラＣ２で撮像された画像３０１をカメラＣ１で撮像された画像となるように（カメラＣ１の視点へ）視点を変換する。ここで、距離算出処理Ｐ１０２で算出した距離Ｚを利用して、画像３０１の各画素を３次元点群Ｘとして扱うことができる。また、Ｒ、ｔをそれぞれ、カメラＣ２からカメラＣ１への回転行列、並進ベクトルとし、ＫをカメラＣ１の内部パラメータ行列とした場合、Ｋ[Ｒ|t]Ｘを計算することで、カメラＣ２で撮像された画像３０１をカメラＣ１で撮像した視点の画像に変換することができる。

　画質改善処理Ｐ１０４では、カメラＣ１に付着した雨滴を除去した画像を生成する。処理の内容を図５に示す。図５では、深層学習モデルとして画質改善後の画像を生成するように学習された生成モデルを利用する。ここで、カメラＣ１で撮像された画像が５００であり、カメラＣ２で撮像された画像を視点変換処理Ｐ１０３でカメラＣ１の視点へ視点変換した画像（視点変換画像）が５０１である。画像５００中の領域５１０は、雨滴が付着した領域を示している。画像５０１は、雨滴を含まない画像を視点変換したものであるため、画像５００が含むような雨滴は含まれない。画質改善処理Ｐ１０４では、このような画像５００と画像５０１の２枚を深層学習モデルに入力し、汚れを取り除いた画像５０２を生成する。それぞれの画像はチャンネル方向に結合され、入力される。深層学習モデルは、後述する学習により学習された畳み込みニューラルネットワークであり、５ステージ(1/2, 1/4, 1/8, 1/16, 1/32)で構成された、エンコーダ・デコーダ形式の畳み込みニューラルネットワークである。各ステージは3x3の畳み込み層が2回繰り返されており、各畳み込み後はバッチ正規化層とRectified Linear Unitにより活性化される。ただし、ネットワークの最終層のみRectified Linear Unitでは無く、sigmoid関数により活性化される。次に、深層学習モデルの学習方法について述べる。学習でも同様に、雨滴や泥などにより画質が低下した画像（図５の５００に相当）と、視点変換した画像（図５の５０１に相当）を入力する。また、雨滴や泥などにより画質が低下していない画像（図５の５０２に相当）を正解値として利用する。そして、損失として、|v-v’|を利用する。ここで、vはネットワークの出力であり、v’は画質の低下していない画像である正解値の画素値である。この損失関数を最小化することで、汚れなどが付着した画像の画質を改善することができる。

　以上より、本実施形態の画像処理装置１は、汚れが付着していないカメラを利用して、汚れが付着したカメラの画質を改善する。これにより、泥や土などの透過性の悪い汚れがカメラに付着し、その汚れの背後に車両などが存在していた場合においても、汚れが付着していないカメラ画像の情報を利用することができるため、正確に画質を改善できる。

　また、本実施形態の画像処理装置１は、深層学習モデルを利用して画質を改善する。例えば、深層学習モデルを利用せずに画質を改善する方法として、視点変換処理の出力である視点変換画像をそのまま画質の改善結果とすることもできる。しかしながら、視点変換で利用する距離情報自体が誤差を含むため、誤りを含んだ改善結果となってしまう。一方、深層学習モデルを利用することで、視点変換自体が誤りを含んだ画像であっても、その誤りを考慮して最終的な画質を改善できるため、高精度に画質の改善ができる。

　また、本実施形態の画像処理装置１は、図６に記載のように、要因特定部１０５を追加することもできる。要因特定部１０５は、画質が低下した要因が雨滴に起因するのか、泥に起因するのかなど、その要因を特定する。要因特定部１０５は、深層学習を利用した機械学習モデルを利用することもできるし、古典的な画像処理により要因を特定することもできる。

　以降では、要因特定部１０５を追加した構成における一連の処理の流れを図７を参照して説明する。ここで、画像取得処理Ｐ１０１、距離算出処理Ｐ１０２、視点変換処理Ｐ１０３は、図３で説明した内容と同一であるため、詳細説明は割愛する。また、要因特定処理Ｐ１０５では、画質の低下要因として、雨滴、泥の２パターンの要因を特定する場合について述べる。

　要因特定処理Ｐ１０５では、深層学習を用いた機械学習モデルを利用して、画質低下の要因を特定する。具体的には、５ステージ(1/2, 1/4, 1/8, 1/16, 1/32)の特徴抽出ブロックと、Global Average Poolingと、識別層から構成される畳み込みニューラルネットワークを利用する。特徴抽出ブロックの各ステージは3x3の畳み込み層が2回繰り返されており、各畳み込み後はバッチ正規化層とRectified Linear Unitにより活性化される。識別層は、全結合層で構成される。また、１枚の画像において雨滴と泥の両方が付着することも想定される。そのため、これら２つの画質低下要因を同時に扱う必要があることから、各クラスに対応した出力ノードはsigmoid関数により活性化し、マルチラベル識別できる構成とする。次に、ネットワークの学習方法について述べる。ネットワークは、画質が低下した画像とその要因を表現したラベルを利用する。例えば、要因が雨滴であった場合は、雨滴に対応した活性値が１に近づくように学習し、泥に対応した活性値は０に近づくように学習する。また、要因が雨滴と泥の２つであった場合、雨滴と泥に対応した活性値は両方とも１に近づくように学習する。要因特定処理Ｐ１０５では、このように学習されたネットワークを利用し、画質の低下要因を特定する。

　画質改善処理Ｐ１０４では、汚れなどにより画質が低下した画像と、視点変換画像に加え、要因特定処理Ｐ１０５が出力する画質の低下要因情報を利用して、画像の画質を改善する。これら画像と画質の低下要因情報はチャンネル方向に結合され、ネットワークへ入力される。ここで、画質の低下要因情報は、要因特定処理Ｐ１０５の出力を空間方向にタイルし、他の画像と結合される。画質改善処理Ｐ１０４で利用するネットワークは、前述した損失関数を利用して学習される。

　本実施形態の画像処理装置１は、画像に含まれる画質の低下要因を特定し、その要因情報を利用して画質を改善する。こうすることで、画質の改善処理では、汚れの要因を考慮して汚れを除去でき、より高精度に汚れを取り除くことができる。また、上で述べた説明では、画質改善処理Ｐ１０４は、要因特定処理Ｐ１０５の出力をそのまま利用したが、要因特定処理Ｐ１０５が出力する各要因のスコアに対して閾値を導入し、０もしくは１となるバイナリ表現に変えて入力しても良い。また、要因特定処理Ｐ１０５では、入力画像における画質の低下要因を特定する識別問題を扱っていたが、入力画像の各画素における画質の低下要因を特定するセマンティックセグメンテーションを扱うこともできる。

　これまで説明した本実施形態の画像処理装置１では、視点変換画像の各画素に画素値が割り当てられる場合について述べた。以降では、３次元点群Ｘの再投影に基づいて視点変換が実行されることに起因して、視点変換画像の全ての画素に画素値が割り当てられない場合について述べる。図８に視点変換画像（８０２）を示す。図中の黒色の画素は画素値が割り当てられなかった箇所を示している。このような場合、画素値が割り当てられなかった画素の値を０とする。すなわち、画素値が割り当てられない視点変換画像（８０２）の画素に対して、０を割り当てる。このようにすることで、画質改善処理は、画素値が割り当てられず情報を持たない画素か否かを、値０に着目することで判別することができる。その結果、画素値の割り当てが成された箇所を積極的に利用することができ、より高精度に画質を改善できる。また、これまでの説明では、２台のカメラを利用したステレオマッチングにより距離を算出する例について述べたが、本発明ではLiDARなどの３次元センサを利用して距離情報を取得しても良い。LiDARなどの３次元センサを利用した場合、取得できる距離情報が疎になるため、視点変換後の画像において、画素値が割り当てられない画素が増加する。このような場合においても、画素値の割り当てが発生しなかった画素に対して値０を適用することで、３次元センサを利用しつつ、画質改善の精度を担保することができる。

　また、これまで説明した本実施形態の画像処理装置１では、３台のカメラを利用する場合について言及したが、５台以上の構成も適用できる。以降では、図９を参照して説明する。図９において、車両Ｖ１に５台のカメラ（Ｃ１、Ｃ２、Ｃ３、Ｃ４、Ｃ５）が車両Ｖ１の周囲環境を撮像するように設置され、Ｃ１はレンズに雨滴が付着することで画質が低下し、Ｃ２、Ｃ３、Ｃ４、Ｃ５には雨滴は付着しておらず画質は低下していないとする。また、Ｃ２とＣ３はステレオカメラであるとする。また、図９の右側に示すように、Ｃ１で撮像された画像（Ｉ９）のうち、左側の画角（Ｒ２）はカメラＣ２と共有しており、右側の画角（Ｒ４）はカメラＣ４と共有しているものとする。この構成における一連の処理の流れを図３を参照しながら説明する。

　画像取得処理Ｐ１０１では、カメラＣ１、Ｃ２、Ｃ３、Ｃ４、Ｃ５のそれぞれのカメラで撮像した画像を取得する。

　距離算出処理Ｐ１０２では、カメラペア（Ｃ２とＣ３）を利用してカメラＣ２における距離情報を算出し、カメラペア（Ｃ４とＣ５）を利用してカメラＣ４における距離を算出する。ここで、カメラペア（Ｃ２とＣ３）を利用した距離情報の算出では、既に述べたようにステレオマッチングに基づき距離情報を算出する。また、カメラペア（Ｃ４とＣ５）を利用した距離の算出では、公知の多視点ステレオ法を利用して距離を算出する。

　視点変換処理Ｐ１０３では、カメラＣ２で撮像された画像をカメラＣ１で撮像された画像となるように（カメラＣ１の視点へ）視点を変換するのに加え、カメラＣ４で撮像された画像をカメラＣ１で撮像された画像となるように（カメラＣ１の視点へ）視点を変換する。視点変換の方法は、既に述べたように、カメラ間の回転と並進、カメラの内部パラメータ、距離情報を利用して、カメラＣ２とカメラＣ４の画像をそれぞれカメラＣ１の視点となるように視点変換する。

　画質改善処理Ｐ１０４では、既に述べたように、畳み込みニューラルネットワークを利用して、カメラＣ１の画像とカメラＣ２の視点変換画像を入力として画質の改善を実行するのに加え、カメラＣ１の画像とカメラＣ４の視点変換画像を入力として画質の改善も実行する。これにより、２枚の画質が改善された画像を計算することができるが、図９の右側に示す領域の情報に基づき、２枚の画像を統合する。具体的には、カメラＣ１の画像とカメラＣ２の視点変換画像から生成された画質改善結果においては、領域Ｒ２に対応した結果を取得し、また、カメラＣ１の画像とカメラＣ４の視点変換画像から生成された画質改善結果においては、領域Ｒ４に対応した結果を取得し、それら２つの結果を統合したものを最終的な出力結果とする。

　このように、本実施形態の画像処理装置１は、複数台のカメラを連携して、１台のカメラ画像の画質を改善する。すなわち、複数のカメラで分担してカメラ画像の画質を改善できるため、多様なカメラの設置位置・姿勢においても、画質を改善することができる。

　これまで説明した本実施形態の画像処理装置１では、画質が低下していないカメラ画像を利用する。そのため、画質が低下していないカメラに対し、試験的に汚れを付着させた場合、画質の改善結果が変化する。このように試験的にカメラに汚れを付着させることで、画質が変化することとなるため、物体検出などの挙動も変わり、最終的には車両の制御結果も変化する。このような試験的な実験を行い、車両制御の挙動を解析することで、本発明の適用有無を判定することができる。

［実施形態２］
　図１０は、実施形態２の画像処理装置２の構成を示す機能ブロック図である。実施形態２の構成では、画像取得部１００、距離情報取得部１０１、情報格納部１０２、視点変換部１０３、画質改善部１０４に加え、領域特定部１０６を有している。以降では、実施形態１に追加された構成や処理フローに焦点を絞り説明する。

　領域特定部１０６は、画像中の画質が低下した領域を特定する。すなわち、領域特定部１０６は、画質を低下する要因である、雨滴や泥などが付着した領域を特定する。領域特定部１０６は、深層学習に基づいた機械学習モデルや、輝度値やボケ量に基づいた古典的な画像処理などで画質が低下した領域を特定する。

　以降では、図１１のフローチャートを参照し、本実施形態の画像処理装置２の動作例を詳細に説明する。本実施形態の画像処理装置２は、カメラが車室外に設置される場合に雨滴や泥などの汚れがカメラ（のレンズ）に付着して画像に撮像されることで画質が低下したり、カメラが車室内に設置される場合にフロントガラスなどに付着した汚れが間接的に画像に撮像されることで画質が低下した場合に、画像に含まれる汚れを取り除いた画像を生成することで画質を改善するものである。以降の動作例では、カメラが車室外に設置され、雨滴や泥などの汚れがカメラ（のレンズ）に付着して画像に撮像されることで画質が低下した画像に含まれる汚れを除去した画像を生成することで画質を改善する方法に関して言及する。ここで、画像処理装置２は、図２に示すように、車両Ｖ１に３台のカメラ（Ｃ１、Ｃ２、Ｃ３）が車両Ｖ１の周囲環境を撮像するように接続されており、Ｃ１の画像は汚れにより画質が低下しており、Ｃ２とＣ３の画像は画質が低下していないものとする。

　画像取得処理Ｐ１０１では、カメラＣ１、Ｃ２、Ｃ３のそれぞれのカメラで撮像した画像を取得する。

　領域特定処理Ｐ１０６では、カメラＣ１の画像に対して画質が低下した領域を特定する。図１２に示すように、領域特定モデルを利用して汚れなどにより画質が低下した領域（５１０）を特定し、当該画素を１とし、それ以外の画素を０としたラベル画像（１２０）を出力する。すなわち、ラベル画像（１２０）は、画素レベルで画質が低下した領域（５１０）を特定した画像である。領域特定モデルは、セマンティックセグメンテーションを実行することで、ラベル画像を出力する。モデル構造は、５ステージ(1/2, 1/4, 1/8, 1/16, 1/32)で構成された、エンコーダ・デコーダ形式の畳み込みニューラルネットワークである。各ステージは3x3の畳み込み層が2回繰り返されており、各畳み込み後はバッチ正規化層とRectified Linear Unitにより活性化される。ただし、ネットワークの最終層のみSoftMax関数により活性化される。ここで、領域特定モデルは、画質低下有無の正解値を利用して訓練されたものである。具体的には、損失関数として、ネットワークの出力と正解値を利用したクロスエントロピーを用いる。

　処理Ｐ１０７では、領域特定処理Ｐ１０６が特定した領域の画素数をカウントし、そのカウント値に応じて処理を切り替える。具体的には、画素数が閾値以上（例えば10pix以上）であった場合（すなわち、カメラＣ１の画像に対して少なくとも一部の領域を画質が低下した領域として特定した場合）には、実施形態１で説明したように距離算出処理Ｐ１０２、視点変換処理Ｐ１０３、画質改善処理Ｐ１０４を順に実行し、カメラＣ１の画質を改善する。一方で、画素数が閾値未満であった場合には、カメラＣ１はほとんど画質低下していないと判断し、処理を終了する。

　このように、本実施形態の画像処理装置２は、画像（の少なくとも一部の領域）が画質低下している場合にのみ、画質の改善処理を実行する。こうすることで、画質が低下していない場合には処理を実行しないため、計算リソースを節約し、消費電力を抑えることができる。

　また、本実施形態の画像処理装置２は、画質改善処理Ｐ１０４において、図１３に示すように処理することもできる。図１３において、カメラＣ１の画像とカメラＣ２の視点変換画像を利用して汚れを取り除いた画像が５０２である。また、領域特定処理Ｐ１０６が出力したラベル画像が１２０であり、画質が低下したカメラＣ１の画像が５００である。また、上で述べたように、ラベル画像１２０の画質低下箇所の値は１であり、その他の領域は０である。画質改善処理Ｐ１０４では、ラベル画像１２０の情報に基づき、画質低下箇所は生成モデルの出力（５０２）、画質が低下していない箇所は画像５００を利用して、最終的な画像（５０３）を生成する。具体的には、画像５０２とラベル画像１２０で要素積を計算し、その後、ラベル画像１２０を反転し（１を０に、０を１に）、反転後のラベル画像と画像５００との要素積を計算する。それら２つの要素積の計算結果を加算して、最終的な出力を生成する。

　このように、本実施形態の画像処理装置２は、画質が低下した箇所のみ生成モデルの出力（５０２）を利用して画質を改善する。こうすることで、生成モデルの影響を画質が低下した箇所のみに制限することができ、本来の画像の見え方を保ったまま汚れを取り除くことができる。

　また、これまで説明した画像処理装置２における領域特定処理Ｐ１０６では、3x3の畳み込みカーネルのみを利用したニューラルネットワークを利用し、画素レベルで画質の低下箇所を特定していた。一方で、3x3の畳み込みカーネルを利用した演算だけではなく、Global Average Poolingを利用することもできる。具体的には、1/32倍の解像度の特徴マップに対してGlobal Average Poolingを適用し、Global Average Poolingの出力結果を空間方向にタイルする。タイルされた特徴マップを1/32倍の解像度の特徴マップのチャンネル方向に結合する。このようにニューラルネットワークのエンコーダを変更することで、画像全体の大域的な情報を特徴マップの各画素に伝搬することができる。すなわち、このニューラルネットワークでは、画像全体から抽出した特徴量を計算し、当該特徴量を利用して画素レベルで画質の低下箇所を特定する。これにより、画像のある箇所に付着した汚れの情報を利用して、他の汚れを検出することができるようになり、より正確に汚れなどの画質の低下箇所を特定できる。

　また、Global Average Pooling以外にセルフアテンション構造を利用することもできる。具体的には、1/32倍の解像度の特徴マップから、クエリ、キー、バリューを計算し、クエリとキーを利用してアテンションマップ（関連度）を計算する。その後、計算したアテンションマップを重みとして、バリューの特徴量を統合する。すなわち、このニューラルネットワークでは、各画素間の関連度を算出し、当該関連度に基づき画素毎の特徴量を統合し、統合された特徴量を利用して画素レベルで画質の低下箇所を特定する。これにより、ある画素に対して、画素間の関連度を考慮した上で画像全体の情報を伝えることができ、画像のある箇所に付着した汚れの情報を利用して、他の汚れを検出することができるようになり、より未検出を防止することができる。

　また、これまでの説明では、カメラＣ１のみ画質が低下している例で説明したが、実環境ではカメラＣ２にも雨滴などが付着し、画質が低下することも想定される。このような場合、本実施形態の画像処理装置２では、領域特定処理Ｐ１０６（領域特定部１０６）と視点変換処理Ｐ１０３（視点変換部１０３）を以下のように変更することができる。

　領域特定処理Ｐ１０６では、カメラＣ１の画像だけでなく、カメラＣ２の画像においても画質が低下した領域を特定する。そして、視点変換処理Ｐ１０３では、カメラＣ２の画像をカメラＣ１の視点へ視点変換するが、領域特定処理Ｐ１０６で画質が低下していないと判定された領域のみを視点変換する。言い換えれば、カメラＣ２の画像において画質が低下した領域（カメラＣ２の画像に含まれた画質の低下箇所）を除いた領域を視点変換する。こうすることで、カメラＣ２において画質が低下していない箇所の情報のみを使って、カメラＣ１の画質を改善することができ、カメラＣ２の画質が低下している場合においても、カメラＣ１の画質を改善できる。

　また、これまで説明した実施形態１と実施形態２では、同一時刻に撮影されたカメラ画像を利用した画質の改善について述べた。一方で、本発明は、異なる時刻に撮影されたカメラ画像も利用することができる。具体的には、車両の移動量を利用することで、ある時刻に撮影されたカメラ画像を別の時刻に撮影されたカメラの視点へ変更することができる。これにより、異なる時刻に撮影された画像を利用して、画質の改善を実現できる。

　また、これまで説明した実施形態１と実施形態２では、雨滴や泥などによる画質の低下を例に説明したが、画質の低下要因としては、例えば、対向車のヘッドライトや、トンネル出口の急な明るさの変化などが考えられる。これらの画質低下要因も本発明のスコープ内であり、本発明は、雨滴や泥などの汚れの除去に限定されるものではない。

［まとめ］
　以上説明したように、本実施形態の画像処理装置は、（車両Ｖ１の周囲環境を撮像する）第一のカメラ（カメラＣ２）および第二のカメラ（カメラＣ１）により撮像された第一の画像および第二の画像を取得する画像取得部１００と、前記第一のカメラ（カメラＣ２）および前記第二のカメラ（カメラＣ１）の設置位置に関するカメラ位置情報が格納された情報格納部１０２と、前記第一の画像の少なくとも一部の領域における距離情報を取得する距離情報取得部１０１と、前記カメラ位置情報および前記距離情報に基づいて、前記第一の画像を前記第二のカメラ（カメラＣ１）の視点へ視点変換することで第一の視点変換画像を生成する視点変換部１０３と、前記第二の画像と前記第一の視点変換画像に基づいて、前記第二の画像の画質を改善する画質改善部１０４と、を有する。

　本実施形態の画像処理装置は、前記第二の画像に含まれる画質低下箇所を特定する領域特定部１０６をさらに有し、前記領域特定部１０６が前記第二の画像の少なくとも一部の領域を画質低下箇所として特定した場合にのみ、前記画質改善部１０４は、前記第二の画像の画質を改善する（実施形態２）。

　本実施形態の画像処理装置において、前記画質改善部１０４は、前記領域特定部１０６が画質低下箇所として特定した領域のみ前記第二の画像の画質を改善する。

　本実施形態の画像処理装置において、前記領域特定部１０６は、前記第二の画像に加え、前記第一の画像に含まれる画質低下箇所も特定し、前記視点変換部１０３は、前記第一の画像に含まれた画質低下箇所を除いた領域を視点変換する。

　本実施形態の画像処理装置において、前記領域特定部１０６はニューラルネットワークであり、画素レベルで画質低下箇所を特定する。また、前記ニューラルネットワークは画像全体から抽出した特徴量を計算し、前記特徴量を利用して画素レベルで画質低下箇所を特定する。あるいは、前記ニューラルネットワークは各画素間の関連度を算出し、前記関連度に基づき画素毎の特徴量を統合し、統合された特徴量を利用して画素レベルで画質低下箇所を特定する。

　本実施形態の画像処理装置は、前記第二の画像に含まれる画質低下要因を特定する要因特定部１０５をさらに有し、前記画質改善部１０４は、前記第二の画像と前記第一の視点変換画像に加え、前記画質低下要因に基づいて、前記第二の画像の画質を改善する（実施形態１の変形形態）。

　本実施形態の画像処理装置において、前記画像取得部１００は、（車両Ｖ１の周囲環境を撮像する）前記第一のカメラ（カメラＣ２）と前記第二のカメラ（カメラＣ１）のそれぞれと視野が重複した第三のカメラ（カメラＣ３）により撮像された第三の画像を取得し、前記距離情報取得部１０１は、前記第一の画像と前記第三の画像を利用した多視点ステレオ法により前記距離情報を取得する。

　本実施形態の画像処理装置において、前記視点変換部１０３は、前記第一の画像の画素値が割り当てられない前記第一の視点変換画像の画素に対して、０を割り当てる。

　本実施形態の画像処理装置において、前記画質改善部１０４は、画質改善後の画像を生成するように学習された深層学習モデル（生成モデル）である。

　本実施形態の画像処理装置において、前記画質改善部１０４は、前記第二の画像に含まれる汚れ（雨滴や泥など）を除去した画像を生成することで画質を改善する。

　本実施形態の画像処理方法は、コンピュータにより実行される画像処理方法であって、（車両Ｖ１の周囲環境を撮像する）第一のカメラ（カメラＣ２）および第二のカメラ（カメラＣ１）により撮像された第一の画像および第二の画像を取得する画像取得ステップ（画像取得処理Ｐ１０１）と、前記第一の画像の少なくとも一部の領域における距離情報を取得する距離情報取得ステップ（距離算出処理Ｐ１０２）と、前記第一のカメラ（カメラＣ２）および前記第二のカメラ（カメラＣ１）の設置位置に関するカメラ位置情報ならびに前記距離情報に基づいて、前記第一の画像を前記第二のカメラ（カメラＣ１）の視点へ視点変換することで第一の視点変換画像を生成する視点変換ステップ（視点変換処理Ｐ１０３）と、前記第二の画像と前記第一の視点変換画像に基づいて、前記第二の画像の画質を改善する画質改善ステップ（画質改善処理Ｐ１０４）と、を含む。

　本実施形態によれば、画質が著しく低下した場合においても、正確に画質を改善することができる。その結果、例えば、泥や土などの透過性の悪い汚れがカメラに付着し、その汚れの背後に車両などが存在していた場合においても、汚れが付着していないカメラ画像の情報を利用して、汚れを除去したカメラ画像を生成し、汚れが付着したカメラ画像の画質を正確に改善することができ、本来検出すべき車両などを検出でき、適切に車両を制御することができる。

　以上、実施形態１から実施形態２を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。特に、本発明で説明したネットワーク構造は一例を挙げて説明したが、ステージ数や、ステージ間における畳み込み層の数など、それらを変更することは容易に想像することができる。本発明の構成や詳細には、本発明のスコープ内で当事者が理解し得る様々な変更を加えることができる。

　また、以上の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路にて設計する等によりハードウェアによって実現してもよい。また、以上の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアによって実現してもよい。各機能を実現するプログラム、テープ、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（solid state drive）等の記録装置、又は、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

　また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

　１　　　画像処理装置
　２　　　画像処理装置
　１００　画像取得部
　１０１　距離情報取得部
　１０２　情報格納部
　１０３　視点変換部
　１０４　画質改善部
　１０５　要因特定部
　１０６　領域特定部

Claims (13)

1. 　第一のカメラおよび第二のカメラにより撮像された第一の画像および第二の画像を取得する画像取得部と、
   　前記第一のカメラおよび前記第二のカメラの設置位置に関するカメラ位置情報が格納された情報格納部と、
   　前記第一の画像の少なくとも一部の領域における距離情報を取得する距離情報取得部と、
   　前記カメラ位置情報および前記距離情報に基づいて、前記第一の画像を前記第二のカメラの視点へ視点変換することで第一の視点変換画像を生成する視点変換部と、
   　前記第二の画像と前記第一の視点変換画像に基づいて、前記第二の画像の画質を改善する画質改善部と、を有する画像処理装置。
2. 　請求項１に記載の画像処理装置において、
   　前記第二の画像に含まれる画質低下箇所を特定する領域特定部をさらに有し、
   　前記領域特定部が前記第二の画像の少なくとも一部の領域を画質低下箇所として特定した場合にのみ、前記画質改善部は、前記第二の画像の画質を改善することを特徴とする、画像処理装置。
3. 　請求項２に記載の画像処理装置において、
   　前記画質改善部は、前記領域特定部が画質低下箇所として特定した領域のみ前記第二の画像の画質を改善することを特徴とする、画像処理装置。
4. 　請求項２に記載の画像処理装置において、
   　前記領域特定部は、前記第二の画像に加え、前記第一の画像に含まれる画質低下箇所も特定し、
   　前記視点変換部は、前記第一の画像に含まれた画質低下箇所を除いた領域を視点変換することを特徴とする、画像処理装置。
5. 　請求項２に記載の画像処理装置において、
   　前記領域特定部はニューラルネットワークであり、画素レベルで画質低下箇所を特定することを特徴とする、画像処理装置。
6. 　請求項５に記載の画像処理装置において、
   　前記ニューラルネットワークは画像全体から抽出した特徴量を計算し、前記特徴量を利用して画素レベルで画質低下箇所を特定することを特徴とする、画像処理装置。
7. 　請求項５に記載の画像処理装置において、
   　前記ニューラルネットワークは各画素間の関連度を算出し、前記関連度に基づき画素毎の特徴量を統合し、統合された特徴量を利用して画素レベルで画質低下箇所を特定することを特徴とする、画像処理装置。
8. 　請求項１に記載の画像処理装置において、
   　前記第二の画像に含まれる画質低下要因を特定する要因特定部をさらに有し、
   　前記画質改善部は、前記第二の画像と前記第一の視点変換画像に加え、前記画質低下要因に基づいて、前記第二の画像の画質を改善することを特徴とする、画像処理装置。
9. 　請求項１に記載の画像処理装置において、
   　前記画像取得部は、前記第一のカメラと前記第二のカメラのそれぞれと視野が重複した第三のカメラにより撮像された第三の画像を取得し、
   　前記距離情報取得部は、前記第一の画像と前記第三の画像を利用した多視点ステレオ法により前記距離情報を取得することを特徴とする、画像処理装置。
10. 　請求項１に記載の画像処理装置において、
    　前記視点変換部は、前記第一の画像の画素値が割り当てられない前記第一の視点変換画像の画素に対して、０を割り当てることを特徴とする、画像処理装置。
11. 　請求項１に記載の画像処理装置において、
    　前記画質改善部は、画質改善後の画像を生成するように学習された深層学習モデルであることを特徴とする、画像処理装置。
12. 　請求項１に記載の画像処理装置において、
    　前記画質改善部は、前記第二の画像に含まれる汚れを除去した画像を生成することで画質を改善することを特徴とする、画像処理装置。
13. 　コンピュータにより実行される画像処理方法であって、
    　第一のカメラおよび第二のカメラにより撮像された第一の画像および第二の画像を取得する画像取得ステップと、
    　前記第一の画像の少なくとも一部の領域における距離情報を取得する距離情報取得ステップと、
    　前記第一のカメラおよび前記第二のカメラの設置位置に関するカメラ位置情報ならびに前記距離情報に基づいて、前記第一の画像を前記第二のカメラの視点へ視点変換することで第一の視点変換画像を生成する視点変換ステップと、
    　前記第二の画像と前記第一の視点変換画像に基づいて、前記第二の画像の画質を改善する画質改善ステップと、を含む画像処理方法。