JPWO2019181096A1 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

少なくとも、第１画像に基づくディテールの検出結果と、第２画像に対して行われる外乱物の検出結果とに基づいて設定されるフィルタ係数を使用したフィルタ処理を行う画像処理部を有する画像処理装置。
図４

Description

本開示は、画像処理装置、画像処理方法及びプログラムに関する。

屋外での撮像により得られる画像は、悪天候等の要因により視認性の劣化が生じ得る。このため、雨粒を除去して画像の高画質化（高視認化）を図る技術（例えば、特許文献１）や、デプス情報から路面の起伏を判別し、判別結果に応じて、視界が悪い状況下でも路面領域を画像で表示できるようにした技術（例えば、特許文献２）が提案されている。

特開２０１６−１３８８１８号公報 特開２０１１−０３９７２７号公報

このような分野では、雨粒等の外乱物を除去して高画質化を図る場合でも画像の特性を極力、保持することが望まれている。

本開示は、画像の特性を極力保持しつつ、雨粒等の外乱物を除去した画像を得ることができる画像処理装置、画像処理方法及びプログラムを提供することを目的の一つとする。

本開示は、例えば、
少なくとも、第１画像に基づくディテールの検出結果と、第２画像に対して行われる外乱物の検出結果とに基づいて設定されるフィルタ係数を使用したフィルタ処理を行う画像処理部を有する画像処理装置である。

本開示は、例えば、
画像処理部が、少なくとも、第１画像に基づくディテールの検出結果と、第２画像に対して行われる外乱物の検出結果とに基づいて設定されるフィルタ係数を使用したフィルタ処理を行う画像処理方法である。

本開示は、例えば、
画像処理部が、少なくとも、第１画像に基づくディテールの検出結果と、第２画像に対して行われる外乱物の検出結果とに基づいて設定されるフィルタ係数を使用したフィルタ処理を行う画像処理方法をコンピュータに実行させるプログラムである。

本開示の少なくとも一つの実施の形態によれば、画像の特性を極力保持しつつ、雨粒等の外乱物を除去した画像を得ることができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれの効果であっても良い。また、例示された効果により本開示の内容が限定して解釈されるものではない。

図１は、第１の実施の形態に係る画像処理装置の構成例を示すブロック図である。 図２Ａは、第１の実施の形態に係る入力画像の一例を示す図である。図２Ｂは、第１の実施の形態に係るデプス画像の一例を示す図である。図２Ｃは、第１の実施の形態に係る第１フィルタ係数、第２フィルタ係数及び第３フィルタ係数を算出する処理を説明する際に参照される図である。 図３Ａは、第１の実施の形態に係る入力画像の一例を示す図である。図３Ｂは、第１の実施の形態に係るデプス画像の一例を示す図である。図３Ｃは、図３Ａに示す画像の所定のブロックを拡大して示した図である。 図４Ａは、第１フィルタ係数の一例を示す図である。図４Ｂは、第２フィルタ係数の一例を示す図である。図４Ｃは、第３フィルタ係数の一例を示す図である。図４Ｄは、第１、第２及び第３フィルタ係数に基づくフィルタ係数の一例を示す図である。 図５は、第１の実施の形態に係る画像処理装置で行われる処理の流れを示すフローチャートである。 図６は、第１の実施の形態で得られる効果の一例を説明するための図である。 図７は、第２の実施の形態に係る画像処理装置の構成例を示すブロック図である。 図８Ａは、第２の実施の形態に係る入力画像の一例を示す図である。図８Ｂは、第２の実施の形態に係るデプス画像の一例を示す図である。図８Ｃは、第２の実施の形態に係る第１フィルタ係数、第２フィルタ係数及び第３フィルタ係数を算出する処理を説明する際に参照される図である。 図９は、第２の実施の形態に係る画像処理装置で行われる処理の流れを示すフローチャートである。 図１０は、車両制御システムの概略的な構成の一例を示すブロック図である。 図１１は、車外情報検出部及び撮像部の設置位置の一例を示す説明図である。

以下、本開示の実施の形態等について図面を参照しながら説明する。なお、説明は以下の順序で行う。
＜一般的な技術について＞
＜１．第１の実施の形態＞
＜２．第２の実施の形態＞
＜３．応用例＞
＜４．変形例＞

＜一般的な技術について＞
始めに、本開示の理解を容易とするために、一般的な技術について説明する。上述したように、雨粒を除去して画像の高画質化を図る技術や、デプス情報から路面の起伏を判別し、判別結果に応じて、視界が悪い状況下でも路面領域を画像で表示できるようにした技術が提案されている。

しかしながら、前者の技術では雨粒を除去する処理においてメディアンフィルタを使用したメディアン処理を行っているため、得られる画像のエッジやディテールがぼやけてしまうという問題がある。また、後者の技術では、デプス画像で得られるエッジは保持されるものの、デプス画像では得られないディテールはぼやけてしまうという問題がある。また、フィルタリングによりランダムなノイズは低減できるものの、雨粒、雪等の外乱物は除去できないという問題がある。これらの問題を踏まえつつ、本開示の実施の形態について詳細に説明する。

＜１．第１の実施の形態＞
［画像処理装置の構成例］
（画像処理装置の各部について）
図１は、第１の実施の形態に係る画像処理装置（画像処理装置１）の構成例を示すブロック図である。画像処理装置１は、例えば、画像入力部１０１と、位置合わせ部１０２と、エッジ検出部１０３と、第１フィルタ係数算出部１０４と、ディテール検出部１０５と、第２フィルタ係数算出部１０６と、外乱物検出部１０７と、第３フィルタ係数算出部１０８と、画像処理部の一例であるフィルタ処理部１０９と、出力部１１０とを有している。

画像入力部１０１は、画像が入力される構成である。画像入力部１０１は、画像処理装置１のインタフェースであっても良いし、通信等により画像が入力される場合は、通信部であっても良い。第１の実施の形態では、画像入力部１０１に対して、例えば同一の視点で同期して得られるデプス画像Ｄ及び入力画像Ｉが入力される。なお、デプス画像Ｄ及び入力画像Ｉとの間で、視点や同期の多少のずれがあっても構わない。

デプス画像Ｄは、ミリ波レーダ、レーザーレーダ、超音波センサ、ステレオカメラ等のデプスセンサから得られる画像であり、各画素に深度値が付与された画像である。入力画像Ｉは、例えば、撮像装置により撮像された可視画像（可視光画像）である。なお、撮像装置は、画像処理装置１と一体のものでも良いし、別体のものであっても良い。

位置合わせ部１０２は、画像入力部１０１に入力されたデプス画像Ｄと入力画像Ｉとの位置合わせを行う。位置合わせ部１０２による処理が行われたデプス画像Ｄは、エッジ検出部１０３に出力される。また、位置合わせ部１０２による処理が行われた入力画像Ｉは分岐され、ディテール検出部１０５、外乱物検出部１０７及びフィルタ処理部１０９のそれぞれに対して出力される。

エッジ検出部１０３は、デプス画像Ｄに基づいて公知の方法によりエッジを検出する。本実施の形態に係るエッジ検出部１０３は、各画素に前景（背景でも良い）の成分がどれだけ含まれているかを、画素値（例えば、輝度）に基づいて検出する。エッジ検出部１０３は、エッジの検出結果を第１フィルタ係数算出部１０４に出力する。

第１フィルタ係数算出部１０４は、エッジ検出部１０３により検出されたエッジを残すように、第１フィルタ係数ａ_jを算出する。なお、第１フィルタ係数ａ_jの具体例については後述する。第１フィルタ係数算出部１０４は、算出した第１フィルタ係数ａ_jをフィルタ処理部１０９に出力する。

ディテール検出部１０５は、位置合わせ部１０２から供給される入力画像Ｉに基づいて、入力画像Ｉに含まれるディテールを公知の方法により検出する。本実施の形態に係るディテール検出部１０５は、各画素に例えば手前側に位置する物体のディテール成分がどれだけ含まれているかを、画素値（例えば、輝度）に基づいて検出する。ディテール検出部１０５は、ディテールの検出結果を第２フィルタ係数算出部１０６に出力する。

第２フィルタ係数算出部１０６は、ディテール検出部１０５により検出されたディテールを残すように、第２フィルタ係数ｂ_jを算出する。なお、第２フィルタ係数ｂ_jの具体例については後述する。第２フィルタ係数算出部１０６は、算出した第２フィルタ係数ｂ_jをフィルタ処理部１０９に出力する。

外乱物検出部１０７は、位置合わせ部１０２から供給される入力画像Ｉに含まれる外乱物を検出する。実施の形態に係る外乱物は、大気中を飛来する粒状（点状）の微少物である。外乱物は、具体的には、雨粒、雪、霧、みぞれ、あられ、黄砂、塵埃、ハエ、蚊の少なくとも一つを含む。

外乱物検出部１０７は、対象となる外乱物に適した公知の方法で、入力画像Ｉに含まれる外乱物を検出する。例えば、外乱物検出部１０７は、時間方向の情報を用いた孤立点検出により雨粒や雪を検出しても良い。また、外乱物検出部１０７は、ダークチャンネルという局所領域におけるＲ，Ｇ，Ｂの最小値を用いて霧や塵埃等の煙霧の密度を推定し、推定した煙霧の密度から透過率を算出することにより霧等を検出しても良い。また、これらの煙霧の透過率を精度良く検出する手法として、本出願人は、特願２０１７−１８６０１９を提案している。係る出願で開示された事項を適用して、外乱物検出部１０７が霧等を検出するようにしても良い。

なお、外乱物検出部１０７は、各画素に外乱物の成分がどれだけ含まれているかを、画素値（例えば、輝度）に基づいて検出できるようにしても良い。

第３フィルタ係数算出部１０８は、外乱物検出部１０７により検出された外乱物を打ち消すように、第３フィルタ係数ｃ_jを算出する。なお、第３フィルタ係数ｃ_jの具体例については後述する。第３フィルタ係数算出部１０８は、算出した第３フィルタ係数ｃ_jをフィルタ処理部１０９に出力する。

フィルタ処理部１０９は、例えば、位置合わせ部１０２による位置合わせがなされた入力画像Ｉに対して、フィルタ係数を使用したフィルタ処理（フィルタリング）を行う。係るフィルタ処理で使用されるフィルタ係数は、少なくとも、ディテールの検出結果及び外乱物の検出結果に基づいて設定される係数であり、実施の形態では、更に、エッジの検出結果に基づいて設定される係数である。より具体的には、フィルタ係数は、第１フィルタ係数ａ_j、第２フィルタ係数ｂ_j及び第３フィルタ係数ｃ_jに基づく情報、例えば、第１フィルタ係数ａ_j、第２フィルタ係数ｂ_j及び第３フィルタ係数ｃ_jを掛け合わせたものを正規化することにより設定される係数である。フィルタ処理部１０９は、フィルタ処理を行うことにより得られた画像である出力画像Ｉ'を出力部１１０に出力する。

出力部１１０は、例えば、出力画像Ｉ'を表示するディスプレイである。なお、出力画像Ｉ'が、画像処理装置１と異なる外部装置が有するディスプレイに表示されても良い。この場合、出力部１１０は、外部装置に出力画像Ｉ'を伝送するための通信部（有線又は無線による通信かは問わない）であっても良い。また、出力画像Ｉ'は、空間に存在する物体に投射されても良く、この場合、出力部１１０は、所謂、プロジェクションマッピングを実現するための構成であっても良い。

（デプスセンサについて）
上述したように、デプス画像Ｄは、デプスセンサから得られる画像である。デプスセンサは、検出性能に応じて、外乱物を透過するセンサと、外乱物を透過しないセンサとに区分することができる。区分の一例を下記の表１に示す。

表１では、デプスセンサの種類の一例として、周波数が７７ＧＨｚ（ギガヘルツ）のミリ波レーダ、周波数が２４ＧＨｚのミリ波レーダ、レーザーレーダ、超音波センサ及びカメラが示されている。例示されたデプスセンサのうち、ミリ波レーダが外乱物を透過するセンサである。また、例示されたデプスセンサのうち、レーザーレーダ、超音波センサ及びカメラは、外乱物を透過しないセンサである。

第１の実施の形態に係るデプス画像Ｄは、外乱物を透過するデプスセンサに基づいて得られる画像である。即ち、第１の実施の形態に係るデプス画像Ｄには外乱物は表れない。そこで、第１の実施の形態では入力画像Ｉから外乱物を検出するようにしている。

［フィルタ係数の例］
次に、画像処理装置１のフィルタ処理部１０９で用いられるフィルタ係数の具体例について説明する。図２Ａは、入力画像Ｉの一例を示している。入力画像Ｉには、手前側に位置する物体ＡＡ、背景ＢＢ及び外乱物ＣＣが含まれる。本例における外乱物ＣＣは、例えば、雨粒である。また、入力画像Ｉには、物体ＡＡのエッジＥＧと、物体ＡＡのディテールＤＴが含まれる。図２Ａでは、物体ＡＡのディテールＤＴがハッチング（複数の斜線）で示されている。なお、図示が煩雑となることを防止するために、外乱物やディテールの一部のみに参照符号を付している。他の図についても同様である。

図２Ｂは、図２Ａに示した入力画像Ｉに対応するデプス画像Ｄの一例を示している。デプス画像Ｄは、手前側に位置する物体ＡＡと、背景ＢＢと、物体ＡＡと背景ＢＢとの境界であるエッジＥＧを含む。物体ＡＡ及び背景ＢＢにはハッチングを付している。なお、デプス画像Ｄは、デプスセンサに基づく画像であるので、距離が異なる物体間の境界、即ち、エッジＥＧを含むものの物体ＡＡのディテールは含まれない。また、上述したように、本実施の形態に係るデプスセンサは、外乱物ＣＣを透過するセンサであることから、デプス画像Ｄには外乱物ＣＣは表れない。

図２Ｃに示すように、第１の実施の形態では、デプス画像Ｄに含まれるエッジＥＧの検出結果に基づいて、第１フィルタ係数ａ_jが算出（生成）される。また、入力画像Ｉに含まれるディテールＤＴの検出結果に基づいて、第２フィルタ係数ｂ_jが算出される。また、入力画像Ｉに含まれる外乱物ＣＣの検出結果に基づいて、第３フィルタ係数ｃ_jが算出される。フィルタ処理部１０９は、第１フィルタ係数ａ_j、第２フィルタ係数ｂ_j及び第３フィルタ係数ｃ_jに基づいて、フィルタ処理に用いるフィルタ係数を設定する。

フィルタ係数について、更に詳細に説明する。図３Ａは図２Ａに示した入力画像Ｉを示す図であり、図３Ｂは図２Ｂに示したデプス画像Ｄを示す図である。フィルタ係数は、例えば、ブロック単位で設定される。本実施の形態では、５画素×５画素のブロックを例にして説明するが、ブロックの大きさは適宜、変更することができる。図３Ａ及び図３Ｂでは、画像中の同一位置に対応するブロックＢＬが点線の矩形により模式的に示されている。係るブロックＢＬは、物体ＡＡ、背景ＢＢ、外乱物ＣＣ、エッジＥＧ及びディテールＤＴを含むブロックである。

図３Ｃは、入力画像Ｉにおける所定のブロックＢＬを拡大して示した図である。図３Ｃに示すブロックＢＬにおいてハッチングが付された画素は、外乱物ＣＣ（本例では雨粒を）含む画素である。

第１フィルタ係数算出部１０４は、デプス画像Ｄのエッジ（構造線）の検出結果に基づいて第１フィルタ係数ａ_jを算出する。第１フィルタ係数ａ_jは、例えば、物体ＡＡの成分が多く含まれているほど重みが大きく（重く）なるように係数が設定される。画素に含まれる背景ＢＢの成分が多く含まれているほど重みが小さく（軽く）なるように、係数が設定されても良い。

図４Ａは、第１フィルタ係数ａ_jの一例を示している。図４Ａに示すように、物体ＡＡのみが含まれる画素には、係数として「１」が設定される。一方、背景ＢＢのみに対応する画素には、係数として「０」が設定される。エッジＥＧが跨ぐ画素には、例えば、画素に含まれる物体ＡＡの成分の度合いに応じて係数が設定される。例えば、エッジＥＧが跨ぐブロックＢＬの中央の画素（以下、中心画素と適宜称する）は、比較的、物体ＡＡの成分を多く含まれる。このような画素に対しては、重みが大きくなるように、係数として例えば「０．８」が設定される。なお、エッジＥＧを跨ぐ画素に対して係数として「０」が設定されることがないので、画像特性の一つであるエッジＥＧを保持することができる。

第２フィルタ係数算出部１０６は、入力画像Ｉに含まれるディテールの検出結果に基づいて第２フィルタ係数ｂ_jを算出する。第２フィルタ係数ｂ_jは、例えば、物体ＡＡのディテールが多く含まれているほど重みが大きく（重く）設定される係数である。

図４Ｂは、第２フィルタ係数ｂ_jの一例を示している。例えば、ディテールを多く含むブロックＢＬの中心画素には、係数として例えば「１」が設定される。また、例えば、中心画素の左側に隣接する画素にはディテールは含まれないので、係数として例えば「０」が設定される。また、例えば、中心画素の右側に隣接する画素にはディテールが少し含まれるので、係数として例えば「０．３」が設定され、当該画素の下側の画素には、ディテールが僅かに含まれるので、係数として例えば「０．１」が設定される。以上のように、ディテールが含まれる画素には、重みが付加される（係数として「０」が設定されない）ので、画像特性の一つであるディテールを保持することができる。

第３フィルタ係数算出部１０８は、外乱物検出部１０７による外乱物の検出結果に基づいて第３フィルタ係数ｃ_jを算出する。第３フィルタ係数ｃ_jは、例えば、外乱物ＣＣを除去するように設定される係数である。

図４Ｃは、第３フィルタ係数ｃ_jの一例を示している。例えば、外乱物ＣＣを含む画素には、係数として例えば「０」が設定され、外乱物ＣＣを含まない画素には、係数として例えば「１」が設定される。このように、外乱物検出部１０７による外乱物ＣＣの検出結果を用いることにより、ある画素が外乱物ＣＣに対応する画素であってもインペイント処理により効果的に外乱物を除去することが可能となる。

なお、エッジやディテールと同様に、画素に含まれる外乱物の度合いを外乱物検出部１０７が検出するようにし、当該度合いに応じて係数の重みが細かく設定されるようにしても良い。即ち、外乱物を含む画素に対して設定される係数は、外乱物を除去する上で好ましくは「０」であるものの「０」に近い値であっても良い。

第１フィルタ係数ａ_j、第２フィルタ係数ｂ_j及び第３フィルタ係数ｃ_jを受け取ったフィルタ処理部１０９は、それらのフィルタ係数を掛け合わせたフィルタ係数を生成する。係るフィルタ係数の一例が図４Ｄに示されている。フィルタ処理部１０９は、画像全体の輝度レベルの変動を防止するために、図４Ｄに示したフィルタ係数の総和が１となるように正規化したフィルタ係数を生成する。以上の処理が他のブロックＢＬにも同様に行われ、画素毎の係数が得られる。フィルタ処理部１０９は、生成したフィルタ係数を有するフィルタを使用して、位置合わせ後の入力画像Ｉに対するフィルタ処理を行い、出力画像Ｉ'を生成する。

［処理の流れ］
図５のフローチャートを参照して、第１の実施の形態に係る画像処理装置１で行われる処理の流れについて説明する。

ステップＳＴ１０１では、画像入力処理が行われ、画像入力部１０１にデプス画像Ｄ及び入力画像Ｉが入力される。そして、処理がステップＳＴ１０２に進む。

ステップＳＴ１０２では、画像位置合わせ処理が行われる。係る処理では、位置合わせ部１０２がデプス画像Ｄと入力画像Ｉとの位置合わせを行う。位置合わせがなされたデプス画像Ｄがエッジ検出部１０３に供給される。また、位置合わせがなされた入力画像Ｉがディテール検出部１０５、外乱物検出部１０７及びフィルタ処理部１０９のそれぞれに対して供給される。なお、第１の実施の形態では、位置合わせ後の入力画像Ｉが第１及び第２の画像に対応する。

ステップＳＴ１０３〜ステップＳＴ１０６では、位置合わせがなされた入力画像Ｉに含まれるディテールをディテール検出部１０５が検出するディテール検出処理が行われる（ステップＳＴ１０４）。そして、ディテールの検出結果に基づいて、第２フィルタ係数算出部１０６が第２フィルタ係数を算出する第２フィルタ係数算出処理が行われる（ステップＳＴ１０５）。第２フィルタ係数算出処理は、フィルタのタップ数に対応して繰り返される（ステップＳＴ１０３，ＳＴ１０６）。ステップＳＴ１０３〜ステップＳＴ１０６までの処理により第２フィルタ係数ｂ_jが算出され、算出された第２フィルタ係数ｂ_jがフィルタ処理部１０９に供給される。

ステップＳＴ１０７〜ステップＳＴ１１０では、位置合わせがなされた入力画像Ｉに含まれる外乱物を外乱物検出部１０７が検出する外乱物検出処理が行われる（ステップＳＴ１０８）。そして、外乱物の検出結果に基づいて、第３フィルタ係数算出部１０８が第３フィルタ係数を算出する第３フィルタ係数算出処理が行われる（ステップＳＴ１０９）。第３フィルタ係数算出処理は、フィルタのタップ数に対応して繰り返される（ステップＳＴ１０７，ＳＴ１１０）。ステップＳＴ１０７〜ステップＳＴ１１０までの処理により第３フィルタ係数ｃ_jが算出され、算出された第３フィルタ係数ｃ_jがフィルタ処理部１０９に供給される。

ステップＳＴ１１１〜ステップＳＴ１１４では、位置合わせがなされたデプス画像Ｄに基づいてエッジ検出部１０３がエッジを検出するエッジ検出処理が行われる（ステップＳＴ１１２）。そして、エッジの検出結果に基づいて、第１フィルタ係数算出部１０４が第１フィルタ係数を算出する第１フィルタ係数算出処理が行われる（ステップＳＴ１１３）。第１フィルタ係数算出処理は、フィルタのタップ数に対応して繰り返される（ステップＳＴ１１１，ＳＴ１１４）。ステップＳＴ１１１〜ステップＳＴ１１４までの処理により第１フィルタ係数ａ_jが算出され、算出された第１フィルタ係数ａ_jがフィルタ処理部１０９に供給される。

ステップＳＴ１１５では、フィルタ処理部１０９が、第１フィルタ係数ａ_j、第２フィルタ係数ｂ_j及び第３フィルタ係数ｃ_jを掛け合わせたフィルタ係数を生成する。フィルタ処理部１０９は、画像全体の輝度レベルの変動を防止するために、フィルタ係数の総和が１となるように正規化したフィルタ係数を生成する。そして、フィルタ処理部１０９は、正規化後のフィルタ係数を有するフィルタを使用して、位置合わせ後の入力画像Ｉに対するフィルタ処理を行い、出力画像Ｉ'を生成する。フィルタ処理部１０９により行われるフィルタ処理は、下記の数式１により表すことができる。

数式１におけるｉは現在画素、ｊは現在画素の周辺画素、Ｄはデプス画像、Ｉは入力画像、Ｓは外乱物検出結果、１／Ｚは正規化処理、Ｉ'は出力画像をそれぞれ示している。

なお、フィルタ処理部１０９は、ブロックＢＬ単位で係数が得られる毎にフィルタ処理を行うようにしても良いし、全ての画素に対応する係数が算出された後にフィルタ処理を行うようにしても良い。

なお、図示はしていないが、フィルタ処理部１０９によるフィルタ処理により生成された出力画像Ｉ'が出力部１１０に供給される。そして、出力部１１０により出力画像Ｉ'が表示されたり、出力画像Ｉ'が外部装置に対して出力され、アプリケーションに応じた出力画像Ｉ'の使用がなされる。

［効果の一例］
図６は、第１の実施の形態により得られる効果の一例を説明するための図である。図６Ａは入力画像Ｉの一例を示し、図６Ｂは出力画像Ｉ'の一例を示す。第１の実施の形態では、デプス画像Ｄの画像特徴（平坦、エッジ等）及び入力画像Ｉの画像特徴（平坦、エッジ、ディテール等）に応じてフィルタの重みを設定し、且つ、外乱物の検出結果に応じたフィルタ係数を設定している。より、具体的には、エッジ及びディテールを保持するようにフィルタ係数を設定すると共に、検出された外乱物を除去するようにフィルタ係数を設定する。従って、フィルタ処理により得られる出力画像Ｉ'は、図６Ｂに模式的に示すように、エッジＥＧ及びディテールＤＴを保持しながら外乱物ＣＣが除去された画像となる。従って、画像に外乱物が含まれる場合でも画像の高画質化、高視認化を図ることができる。

＜２．第２の実施の形態＞
次に、第２の実施の形態について説明する。なお、第１の実施の形態で説明した構成と同一、同質の構成については同一の参照符号を付し、重複した説明を適宜、省略する。また、特に断らない限り、第１の実施の形態で説明した事項は、第２の実施の形態に適用することができる。

第２の実施の形態が第１の実施の形態と異なる点の一つは、第２の実施の形態に係るデプス画像Ｄが外乱物を透過しないデプスセンサに基づいて得られる画像である点である。従って、デプス画像Ｄには外乱物が含まれるので、第２の実施の形態では、デプス画像Ｄに基づいて外乱物を検出するようにしている。

［画像処理装置の構成例］
図７は、第２の実施の形態に係る画像処理装置（画像処理装置２）の構成例を示すブロック図である。以下では、画像処理装置２と第１の実施の形態に係る画像処理装置１とが相違する点を中心に説明する。

画像処理装置２が有する画像入力部１０１にデプス画像Ｄ及び入力画像Ｉが入力される。そして、位置合わせ部１０２により、デプス画像Ｄ及び入力画像Ｉの位置合わせが行われる。第２の実施の形態では、位置合わせ後のデプス画像Ｄが外乱物検出部１０７に供給される。なお、第２の実施の形態では、位置合わせ後の入力画像Ｉが第１の画像に対応し、位置合わせ後のデプス画像Ｄが第２の画像に対応する。

ここで、上述したように、第２の実施の形態に係るデプス画像Ｄは、外乱物を透過しないデプスセンサに基づいて得られる画像である。このため、図８Ａに示す入力画像Ｉに含まれる外乱物ＣＣは、図８Ｂに示すように、デプス画像Ｄにも含まれる（表れる）。外乱物検出部１０７は、位置合わせ後のデプス画像Ｄに基づいて、当該デプス画像Ｄに含まれる外乱物を検出し、検出結果を第３フィルタ係数算出部１０８に出力する。図８Ｃに示すように、第３フィルタ係数算出部１０８は、外乱物の検出結果に基づいて、第３フィルタ係数ｃ_jを算出する。その他の構成の動作は、第１の実施の形態と同様であるので、重複した説明を省略する。

［処理の流れ］
図９のフローチャートを参照して、第２の実施の形態に係る画像処理装置２で行われる処理の流れについて説明する。

ステップＳＴ２０１では、画像入力処理が行われ、画像入力部１０１にデプス画像Ｄ及び入力画像Ｉが入力される。そして、処理がステップＳＴ２０２に進む。

ステップＳＴ２０２では、画像位置合わせ処理が行われる。係る処理では、位置合わせ部１０２がデプス画像Ｄと入力画像Ｉとの位置合わせを行う。位置合わせがなされたデプス画像Ｄがエッジ検出部１０３及び外乱物検出部１０７のそれぞれに対して供給される。また、位置合わせがなされた入力画像Ｉがディテール検出部１０５及びフィルタ処理部１０９のそれぞれに対して供給される。

ステップＳＴ２０３〜ステップＳＴ２０６では、位置合わせがなされた入力画像Ｉに含まれるディテールをディテール検出部１０５が検出するディテール検出処理が行われる（ステップＳＴ２０４）。そして、ディテールの検出結果に基づいて、第２フィルタ係数算出部１０６が第２フィルタ係数を算出する第２フィルタ係数算出処理が行われる（ステップＳＴ２０５）。第２フィルタ係数算出処理は、フィルタのタップ数に対応して繰り返される（ステップＳＴ２０３，ＳＴ２０６）。ステップＳＴ２０３〜ステップＳＴ２０６までの処理により第２フィルタ係数ｂ_jが算出され、算出された第２フィルタ係数ｂ_jがフィルタ処理部１０９に供給される。

ステップＳＴ２０７〜ステップＳＴ２１０では、位置合わせがなされたデプス画像Ｄに基づいてエッジ検出部１０３がエッジを検出するエッジ検出処理が行われる（ステップＳＴ２０８）。そして、エッジの検出結果に基づいて、第１フィルタ係数算出部１０４が第１フィルタ係数を算出する第１フィルタ係数算出処理が行われる（ステップＳＴ２０９）。第１フィルタ係数算出処理は、フィルタのタップ数に対応して繰り返される（ステップＳＴ２０７，ＳＴ２１０）。ステップＳＴ２０７〜ステップＳＴ２１０までの処理により第１フィルタ係数ａ_jが算出され、算出された第１フィルタ係数ａ_jがフィルタ処理部１０９に供給される。

ステップＳＴ２１１〜ステップＳＴ２１４では、位置合わせがなされたデプス画像Ｄに含まれる外乱物を外乱物検出部１０７が検出する外乱物検出処理が行われる（ステップＳＴ２１２）。そして、外乱物の検出結果に基づいて、第３フィルタ係数算出部１０８が第３フィルタ係数を算出する第３フィルタ係数算出処理が行われる（ステップＳＴ２１３）。第３フィルタ係数算出処理は、フィルタのタップ数に対応して繰り返される（ステップＳＴ２１１，ＳＴ２１４）。ステップＳＴ２１１〜ステップＳＴ２１４までの処理により第３フィルタ係数ｃ_jが算出され、算出された第３フィルタ係数ｃ_jがフィルタ処理部１０９に供給される。

ステップＳＴ２１５では、フィルタ処理部１０９が、第１フィルタ係数ａ_j、第２フィルタ係数ｂ_j及び第３フィルタ係数ｃ_jを掛け合わせたフィルタ係数を生成する。フィルタ処理部１０９は、画像全体の輝度レベルの変動を防止するために、フィルタ係数の総和が１となるように正規化したフィルタ係数を生成する。そして、フィルタ処理部１０９は、正規化後のフィルタ係数を有するフィルタを使用して、位置合わせ後の入力画像Ｉに対するフィルタ処理を行い、出力画像Ｉ'を生成する。

なお、図示はしていないが、フィルタ処理部１０９によるフィルタ処理により生成された出力画像Ｉ'が出力部１１０に供給される。そして、出力部１１０により出力画像Ｉ'が表示されたり、出力画像Ｉ'が外部装置に対して出力され、アプリケーションに応じた出力画像Ｉ'の使用がなされる。

以上説明した第２の実施の形態においても、第１の実施の形態と同様の効果が得られる。

＜３．応用例＞
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。

図１０は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図１０に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。

各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図１０では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。

駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock Brake System）又はＥＳＣ（Electronic Stability Control）等の制御装置としての機能を有してもよい。

駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。

ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。

車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。

環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。

ここで、図１１は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

なお、図１１には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。

車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０〜７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。

図１０に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。

また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。

車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。

統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal Digital Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。

記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read Only Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。

汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（登録商標）（Global System of Mobile communications）、ＷｉＭＡＸ（登録商標）、ＬＴＥ（登録商標）（Long Term Evolution）若しくはＬＴＥ−Ａ（LTE−Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ−Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer To Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine Type Communication）端末）と接続してもよい。

専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless Access in Vehicle Environment）、ＤＳＲＣ（Dedicated Short Range Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、車両と家との間（Vehicle to Home）の通信及び歩車間（Vehicle to Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。

測位部７６４０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global Positioning System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。

ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。

車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）又はＷＵＳＢ（Wireless USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface、又はＭＨＬ（Mobile High-definition Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。

車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。

統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。

マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。

音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１０の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。

なお、図１０に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。

なお、図１及び図７を用いて説明した本実施形態に係る画像処理装置１、２の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。

以上説明した車両制御システム７０００において、図１及び図７を用いて説明した本実施形態に係る画像処理装置１、２は、図１０に示した応用例の車外情報検出ユニット７４００に適用することができる。また上述した実施の形態に係る出力部１１０は、音声画像出力部７６７０に適用することができる。

また、図１及び図７を用いて説明した本実施形態に係る画像処理装置１、２の少なくとも一部の構成要素は、図１０に示した統合制御ユニット７６００のためのモジュール（例えば、一つのダイで構成される集積回路モジュール）において実現されてもよい。あるいは、図１及び図７を用いて説明した本実施形態に係る画像処理装置１、２が、図１０に示した車両制御システム７０００の複数の制御ユニットによって実現されてもよい。

＜４．変形例＞
以上、本開示の複数の実施の形態について具体的に説明したが、本開示の内容は上述した実施の形態に限定されるものではなく、本開示の技術的思想に基づく各種の変形が可能である。以下、変形例について説明する。

第１の実施の形態では、エッジ検出部１０３がデプス画像Ｄに基づいてエッジを検出するようにしたが、これに限定されるものではない。入力画像Ｉにもエッジが含まれることから、エッジ検出部１０３が入力画像Ｉに基づいてエッジを検出するようにしても良い。例えば、デプスセンサの不具合等によりデプス画像Ｄを得ることができない場合でも、第１フィルタ係数算出部１０４が、エッジの検出結果に基づく第１フィルタ係数を算出することができる。なお、対象物（被写体）までの距離等に応じて、エッジを検出するための画像を動的に変化させても良い。

また、エッジ検出部１０３がデプス画像Ｄ及び入力画像Ｉに基づいてエッジを検出するようにしても良い。２枚の画像を使用することによりエッジの検出精度を向上させることができる。

また、第２の実施の形態では、外乱物検出部１０７がデプス画像Ｄに基づいて外乱物を検出するようにしたが、これに限定されるものではない。入力画像Ｉにも外乱物が含まれることから、更に、外乱物検出部１０７が入力画像Ｉに基づいて外乱物を検出するようにしても良い。２枚の画像を使用することによりエッジの検出精度を向上させることができる。この場合に、外乱物検出部１０７が、デプス画像Ｄ及び入力画像Ｉに含まれる外乱物を画像毎に異なる方法で検出するようにしても良い。これにより、外乱物の種類等による検出漏れを防止することができる。

上述した入力画像Ｉとして可視画像を例にして説明したが、これに限定されるものではなく、入力画像Ｉは赤外線画像等の可視光外画像（非可視光画像）であっても良い。また、可視画像と可視光外画像とを合成した画像であっても良い。係る画像は対象物の視認性が向上し得る場合があるので、エッジ、ディテール及び外乱物の検出を容易とすることができる。

上述した実施の形態では、画像の特性としてエッジ、ディテールを挙げたが、他の特性（例えば、グラデーション（階調））に関しても本技術を適用することができる。

上述した実施の形態に係るフィルタ処理部の機能のうち、フィルタ処理に用いるフィルタ係数を設定する機能と、当該フィルタ係数に基づくフィルタ処理を行う機能とが、異なる構成（例えば、ＩＣ（Integrated Circuit）等）により実行されるようにしても良い。

本開示は、装置、方法、プログラム、システム等により実現することもできる。例えば、上述した実施の形態で説明した機能を行うプログラムをダウンロード可能とし、実施の形態で説明した機能を有しない装置が当該プログラムをダウンロードしてインストールすることにより、当該装置において実施の形態で説明した制御を行うことが可能となる。本開示は、このようなプログラムを配布するサーバにより実現することも可能である。また、各実施の形態、変形例で説明した事項は、適宜組み合わせることが可能である。

本開示は、以下の構成も採ることができる。
（１）
少なくとも、第１画像に基づくディテールの検出結果と、第２画像に対して行われる外乱物の検出結果とに基づいて設定されるフィルタ係数を使用したフィルタ処理を行う画像処理部を有する画像処理装置。
（２）
前記第１画像及び前記第２画像は、所定のデプス画像と位置合わせされた同一の入力画像である
（１）に記載の画像処理装置。
（３）
前記第１画像は、前記第２画像に対応するデプス画像とは異なる入力画像である
（１）に記載の画像処理装置。
（４）
前記フィルタ係数は、更に、前記入力画像と位置合わせされた前記デプス画像に基づくエッジの検出結果、前記入力画像に基づくエッジの検出結果、又は、前記デプス画像及び前記入力画像に基づくエッジの検出結果の何れかに基づいて設定される係数である
（２）に記載の画像処理装置。
（５）
前記デプス画像は、前記外乱物を透過するセンサに基づいて得られる画像である
（２）に記載の画像処理装置。
（６）
前記デプス画像は、前記外乱物を透過しないセンサに基づいて得られる画像である
（３）に記載の画像処理装置。
（７）
前記フィルタ係数は、更に、前記入力画像と位置合わせされた前記デプス画像に基づくエッジの検出結果、前記入力画像に基づくエッジの検出結果、又は、前記デプス画像及び前記入力画像に基づくエッジの検出結果の何れかに基づいて設定される係数である
（６）に記載の画像処理装置。
（８）
前記外乱物は、前記デプス画像、又は、前記入力画像及びデプス画像に基づいて検出される
（６）に記載の画像処理装置。
（９）
前記フィルタ係数は、前記エッジの検出結果に基づいて設定される第１フィルタ係数と、前記ディテールの検出結果に基づいて設定される第２フィルタ係数と、前記外乱物の検出結果に基づいて設定される第３フィルタ係数とに基づく情報を正規化した係数である
（４）に記載の画像処理装置。
（１０）
前記第１フィルタ係数は前記エッジを残すように設定される係数であり、前記第２フィルタ係数は前記ディテールを残すように設定される係数であり、前記第３フィルタ係数は前記外乱物を除去するように設定される係数である
（９）に記載の画像処理装置。
（１１）
前記外乱物を含む画素に対して前記第３フィルタ係数として０が設定される
（１０）に記載の画像処理装置。
（１２）
前記入力画像は、可視光画像、可視光外画像、又は、可視光画像と可視光外画像を合成した画像である
（２）から（１１）までの何れかに記載の画像処理装置。
（１３）
前記外乱物は、大気中を飛来する粒状の微少物である
（１）から（１２）までの何れかに記載の画像処理装置。
（１４）
前記外乱物は、雨粒、雪、霧、みぞれ、あられ、黄砂、塵埃、ハエ、蚊の少なくとも一つを含む
（１３）に記載の画像処理装置。
（１５）
前記画像処理部は、前記位置合わせ後の入力画像に対して前記フィルタ処理を行う
（２）から（１４）までの何れかに記載の画像処理装置。
（１６）
前記画像処理部によりフィルタ処理が行われた画像を出力する出力部を有する
（１）から（１５）までの何れかに記載の画像処理装置。
（１７）
画像処理部が、少なくとも、第１画像に基づくディテールの検出結果と、第２画像に対して行われる外乱物の検出結果とに基づいて設定されるフィルタ係数を使用したフィルタ処理を行う画像処理方法。
（１８）
画像処理部が、少なくとも、第１画像に基づくディテールの検出結果と、第２画像に対して行われる外乱物の検出結果とに基づいて設定されるフィルタ係数を使用したフィルタ処理を行う画像処理方法をコンピュータに実行させるプログラム。

１，２・・・画像処理装置、１０２・・・位置合わせ部、１０３・・・エッジ検出部、１０４・・・・第１フィルタ係数算出部、１０５・・・ディテール検出部、１０６・・・第２フィルタ係数算出部、１０７・・・外乱物検出部、１０８・・・第３フィルタ係数算出、１０９・・・フィルタ処理部、１１０・・・出力部

Claims (18)

1. 少なくとも、第１画像に基づくディテールの検出結果と、第２画像に対して行われる外乱物の検出結果とに基づいて設定されるフィルタ係数を使用したフィルタ処理を行う画像処理部を有する画像処理装置。
2. 前記第１画像及び前記第２画像は、所定のデプス画像と位置合わせされた同一の入力画像である
   請求項１に記載の画像処理装置。
3. 前記第１画像は、前記第２画像に対応するデプス画像とは異なる入力画像である
   請求項１に記載の画像処理装置。
4. 前記フィルタ係数は、更に、前記入力画像と位置合わせされた前記デプス画像に基づくエッジの検出結果、前記入力画像に基づくエッジの検出結果、又は、前記デプス画像及び前記入力画像に基づくエッジの検出結果の何れかに基づいて設定される係数である
   請求項２に記載の画像処理装置。
5. 前記デプス画像は、前記外乱物を透過するセンサに基づいて得られる画像である
   請求項２に記載の画像処理装置。
6. 前記デプス画像は、前記外乱物を透過しないセンサに基づいて得られる画像である
   請求項３に記載の画像処理装置。
7. 前記フィルタ係数は、更に、前記入力画像と位置合わせされた前記デプス画像に基づくエッジの検出結果、前記入力画像に基づくエッジの検出結果、又は、前記デプス画像及び前記入力画像に基づくエッジの検出結果の何れかに基づいて設定される係数である
   請求項６に記載の画像処理装置。
8. 前記外乱物は、前記デプス画像、又は、前記入力画像及びデプス画像に基づいて検出される
   請求項６に記載の画像処理装置。
9. 前記フィルタ係数は、前記エッジの検出結果に基づいて設定される第１フィルタ係数と、前記ディテールの検出結果に基づいて設定される第２フィルタ係数と、前記外乱物の検出結果に基づいて設定される第３フィルタ係数とに基づく情報を正規化した係数である
   請求項４に記載の画像処理装置。
10. 前記第１フィルタ係数は前記エッジを残すように設定される係数であり、前記第２フィルタ係数は前記ディテールを残すように設定される係数であり、前記第３フィルタ係数は前記外乱物を除去するように設定される係数である
    請求項９に記載の画像処理装置。
11. 前記外乱物を含む画素に対して前記第３フィルタ係数として０が設定される
    請求項１０に記載の画像処理装置。
12. 前記入力画像は、可視光画像、可視光外画像、又は、可視光画像と可視光外画像を合成した画像である
    請求項２に記載の画像処理装置。
13. 前記外乱物は、大気中を飛来する粒状の微少物である
    請求項１に記載の画像処理装置。
14. 前記外乱物は、雨粒、雪、霧、みぞれ、あられ、黄砂、塵埃、ハエ、蚊の少なくとも一つを含む
    請求項１３に記載の画像処理装置。
15. 前記画像処理部は、前記位置合わせ後の入力画像に対して前記フィルタ処理を行う
    請求項２に記載の画像処理装置。
16. 前記画像処理部によりフィルタ処理が行われた画像を出力する出力部を有する
    請求項１に記載の画像処理装置。
17. 画像処理部が、少なくとも、第１画像に基づくディテールの検出結果と、第２画像に対して行われる外乱物の検出結果とに基づいて設定されるフィルタ係数を使用したフィルタ処理を行う画像処理方法。
18. 画像処理部が、少なくとも、第１画像に基づくディテールの検出結果と、第２画像に対して行われる外乱物の検出結果とに基づいて設定されるフィルタ係数を使用したフィルタ処理を行う画像処理方法をコンピュータに実行させるプログラム。

Images