JP7130046B2 - 車載用撮影装置および車載用画像認識装置 - Google Patents

Description

本願は、車載用撮影装置および車載用画像認識装置に関するものである。

自車の周辺を撮影するための車載用撮影装置は、フロントウインドシールド（フロントガラス）を透して撮影するように、車両室内の運転席の上方に取付けられている。しかし、車体外部からの光によって照らされた車内のダッシュボードがフロントウインドシールドの表面に反射して、撮像装置に映り込むという問題がある。この映り込みを防止するために、様々な車載用撮影装置が提案されている。

その一つは、車載用撮影装置の撮像レンズに入る映り込みの光路に直線偏光フィルタを設けるもので、具体的には、撮像レンズの下部に直線偏光フィルタを取付けることが提案されている（特許文献１）。しかし、撮像レンズの下部に直線偏光フィルタを取付けると、運転者の視界を妨げるという問題がある。

これを解決するために、フロントウインドシールドに光スイッチの機能を持ったフィルタを配置することが提案されている。このフィルタは、オフされた状態で、フロントウインドシールドを透して一般映像を撮影することができ、オンされた状態で、フロントウインドシールドによる反射映像を撮影することができるようにするものである。この提案は、フィルタを使用して、カメラによって撮影された一般映像から、反射映像を差し引いて差映像を生成して、この差映像に基づいて一般映像に補正を加えて最終映像を得るというものである（特許文献２）。

しかしながら、この提案を実施する場合は、フロントウインドシールドの室内側での反射像を得ることが必要なために、フロントウインドシールドの外側にフィルタを配置しなければならず、カメラと連動させるための構成が複雑になると共に、フロントウインドシールドの外側に設けられるワイパーの動作を阻害するという問題が生じることになる。

特許第５４１７７７３号公報 特開２０１３－２５８６７７号公報

フロントウインドシールドを透して得られる一般映像に反射映像が含まれることに対して、運転者の視界を妨げることなく、反射映像の映り込みの影響を消去することができないという問題があった。

本願は、運転者の視界を妨げることが無く、反射映像の影響を小さくした車載用撮影装置を提供することを目的とする。

本願の車載用撮影装置は、車両室内の所定部分の、ウインドシールドによる反射映像と前記ウインドシールドを透過した透過映像とによる一般映像の第１の画像データおよび前記反射映像の対象となった前記車両室内の所定部分を撮影した映像の第２の画像データを得る撮像装置、前記第２の画像データを、前記ウインドシールドによって反射された場合の映像に相当する第３の画像データに変換する画像変換装置、および前記第１の画像データを、前記第３の画像データに基づいて補正する画像補正装置を備え、前記一般映像を補正して前記反射映像を消去するようにしたことを特徴とする。

本願は、一般映像の画像データを、反射映像に相当する画像データを用いた画像処理によって補正するため、映り込みによる影響を小さくすることができる。

実施の形態１の車載用撮影装置の構成を示すブロック図である。 実施の形態１の車載用撮影装置の動作を示すフローチャートである。 実施の形態１の車載用撮影装置による画像処理の説明図である。 実施の形態１の車載用撮影装置の取り付け例を示す構成図である。 実施の形態２の車載用撮影装置の構成を示すブロック図である。 実施の形態２の車載用撮影装置の動作を示すフローチャートである。 実施の形態２の車載用撮影装置の取り付け例を示す構成図である。 実施の形態３の車載用撮影装置の構成を示すブロック図である。 実施の形態３の車載用撮影装置の取り付け例を示す構成図である。 実施の形態４の車載用撮影装置の構成を示すブロック図である。 実施の形態５の車載用撮影装置の構成を示すブロック図である。 実施の形態５の車載用撮影装置の動作を示すフローチャートである。 実施の形態６の画像認識装置の構成を示すブロック図である。 実施の形態において使用される制御装置の構成を示すブロック図である。

実施の形態１
自車の周辺を撮影するための車載用撮影装置は、フロントウインドシールドを透して撮影するように、車両室内の運転席の上方に取付けられている。この車載用撮影装置は、図１に示すように、ウインドシールドを透過した透過映像とウインドシールドによる車両室内の所定部分の反射映像とによる一般映像の第１の画像データを得る第１の撮像装置１０と、反射映像の対象となった車両室内の所定部分の映像の第２の画像データを得る第２の撮像装置２０とを備えている。第１の撮像装置１０および第２の撮像装置２０は、それぞれカメラ１１，２１、データ取得装置１２，２２、および記憶装置１３，２３を備えている。

第１の撮像装置１０から取り出すことのできる画像データは、透過映像に反射映像が加わった一般映像の画像データである。また、第２の撮像装置２０から取り出すことのできる画像データは、反射映像そのものの画像データではなく、反射映像の対象となった所定部分を撮影して得ることのできる映像の画像データである。すなわち、第２の撮像装置２０のカメラ２１は、反射映像の対象となった所定部分を撮影するものである。

第１の撮像装置１０および第２の撮像装置２０の記憶装置１３，２３には画像変換装置３０が接続されている。この画像変換装置３０は、記憶装置２３から取り出された第２の画像データを、反射映像に相当する画像データ（第３の画像データ）に変換する。第３の画像データを反射映像の画像データに近づけるために、第１の撮像装置１０の記憶装置１３に記憶されている一般映像の画像データが参照データとして必要になる。すなわち、画像変換装置３０において、第２の撮像装置２０による第２の画像データから、ウインドシールドによる反射映像の画像データを画像変換技術によって作成する。

例えば、反射映像はウインドシールドによって反射された映像であるため、第２の画像データを反転させて平面上に配置して輝度情報を数値化して平面座標上に配置し、第１の画像データについても平面座標上に輝度情報を数値化して配置し、それぞれの輝度情報の数値の類似性（第２の画像データを画像変換させた第３の画像データが第１の画像データの一部分に類似する）を判断させる類似画像検索技術によって類似する領域を判別し、第３の画像データが、第１の画像データの一部に近づけるように調整を行うことができる。なお、これらの操作は、輝度値および画像データに基づく図形の伸縮、傾きの調整を行うもので、予めパラメータおよび座標軸を設定した調整の繰り返しの学習をマイクロプロセッサを用いて実行することができる。

また、第１の撮像装置１０には画像補正装置４０が接続されている。画像補正装置４０は、記憶装置１３から取り出された第１の画像データを、画像変換装置３０によって変換された第３の画像データに基づいて補正を行う。そして、第３の画像データに基づいて補正された第１の画像データ（補正後の第１の画像データ）は、画像出力装置５０に出力され、一般映像から反射映像が消去された映像を車載用撮影装置の出力として提供することができる。

次に、図１に示した車載用撮影装置の動作を、図２にフローチャートに示す。
まず、第１の撮像装置１０において、カメラ１１によって、一般映像の画像データ（ウインドシールドを透過した透過映像とウインドシールドによる車両室内の所定部分の反射映像とによる一般映像の第１の画像データ）を取得する（ステップＳ００１）。ここで取得される第１の画像データは、例えば車両のフロントウインドシールドに本装置が取り付けられている場合には、車両の進行方向の接触または衝突に注意すべき物体を含む前方の景観の映像と車両室内の反射映像とによる一般映像である。

第２の撮像装置２０において、カメラ２１によって、反射映像の対象となった所定部分を撮影する（ステップＳ００２）。ここで撮影された映像の画像データは、第２の画像データとして、一時的に記憶装置２３に記憶される（ステップＳ００３）。
第２の撮像装置２０によって取得された第２の画像データは、ウインドシールドによって反射された場合の映像になるように画像変換を行い、第１の画像データの一部と類似性の高い第３の画像データを作成する（ステップＳ００４）。

さらに、第１の撮像装置１０によって取得された第１の画像データは、画像補正装置４０に送られる。画像補正装置４０では、画像変換装置３０からの第３の画像データを読込み、画像処理によって第３の画像データに基づいて第１の画像データの該当する部分の補正処理が行われる（ステップＳ００５）。

ここで、映り込みの画像に相当する第３の画像データを画像処理によって補正処理する具体的な方法としては、例えば、映り込み画像の各画素のＲＧＢ値あるいは輝度値またはその両方にある一定量の補正をかけた上で、画像データから除算する処理によって行う。
その後、第３の画像データの部分が処理された第１の画像データは、画像出力装置５０に送られる（ステップＳ００６）。

画像補正装置４０における、第１の画像データを第３の画像データに基づいて補正処理することについて、これを図３に基づいて次に説明する。
図において、Ａ１は、車両の前方の画像、すなわち第１の画像データとなる一般映像を表している。Ａ２は、映り込み部分のみの画像で、すなわち第３の画像データに相当する反射映像を表している。さらに、Ａ３は、画像Ａ１を拡大したときのそれぞれの画素の輝度（画素１ピクセル分の明るさを０から２５５で表したもの）の値を表している。

ここでは簡単化のため、画像Ａ１の一部分のみの画素の輝度値を例に挙げている。同様に、Ａ４は、画像Ａ２の一部分の画素の輝度値を表している。Ａ５は、画素の輝度値Ａ３に乗算する補正値を表している。Ａ６は、画素の輝度値Ａ３に、補正値Ａ５による補正を施した後の輝度値を表している。さらにＡ７は、画像Ａ１の輝度値Ａ３から映り込み画像（補正後）の輝度値Ａ６を減算したときの輝度値であり，これを画像で表すとＡ８のように映り込みが消去された画像となる。

なお、補正値Ａ５は、単純に輝度値Ａ３から輝度値Ａ４を減算したのみでは周囲環境によっては映り込みが消去されない場合があることから設定している。この設定は、例えば、初期設定された補正値Ａ５で減算を行い、この減算後の結果による画像Ａ８による補正の程度の確認を繰り返し、最適な補正係数を設定することになる。

図４は、この実施の形態１の車載用撮影装置の取り付け例を示す構成図である。この図４は、車両のフロントウインドシールド１００および映り込みの対象となるダッシュボード部分１０１を側面から見た構成を示している。この図４に示すように、第１の撮像装置１０のカメラ１１は、フロントウインドシールド１００を透して車両の前方の景色を撮影するように取付けられている。これに対して、第２の撮像装置２０のカメラ２１は、映り込みの対象となるダッシュボード部分１０１を撮影するように取付けられている。この第２の撮像装置によって得られる第２の画像データが、ウインドシールドを透過した透過映像とウインドシールドによる車両室内の所定部分の反射映像とによる一般映像を補正して、反射映像の影響を消去することに使用される。

実施の形態２
実施の形態１においては、ウインドシールドを透過した透過映像とウインドシールドによる車両室内の所定部分の反射映像とによる一般映像の第１の画像データを得る第１の撮像装置１０と、反射映像の対象となった車両室内の所定部分の映像の第２の画像データを得る第２の撮像装置２０とをそれぞれ備えている車載用撮影装置を示した。この実施の形態２においては、第１の撮像装置１０に第２の撮像装置２０の機能を持たせ、第１の撮像装置１０のカメラ１１の撮影領域を切り替えるように構成している。

すなわち、実施の形態２における車載用撮影装置は、図５に示すように、カメラ１１の撮影領域を切り替える機能を備えている。なお、図面における符号は、各々同一または相当する部分については同一の符号を付けている。

図５に示すように、カメラ１１の撮影領域を変更するためにカメラ方向制御装置１４を備えている。このカメラ方向制御装置１４は、一般映像を取得する方向にカメラ１１の撮影領域を設定した場合には、データ取得装置１２に一般映像（第１の画像データ）の取得であることを指示し、反射映像の対象となった車両室内の所定部分を撮影する方向にカメラ１１の撮影領域を設定している場合には、反射対象物の画像データ（第２の画像データ）の取得であることを指示するように構成されている。

また、記憶装置１３においては、第１の画像データと第２の画像データとをそれぞれ異なった記憶領域に記憶するように設定され、実施の形態１と同様に、第２の画像データは、画像変換装置３０において、記憶装置１３から取り出されて、反射映像に相当する画像データ（第３の画像データ）に変換される。そして、記憶装置１３から取り出された第１の画像データを第３の画像データに基づいて、画像補正装置４０において補正を行う。そして、第３の画像データに基づいて補正された第１の画像データ（補正後の第１の画像データ）は、画像出力装置５０に出力される。

次に、図５に示した車載用撮影装置の動作を、図６にフローチャートに示す。
まず、第１の撮像装置１０において、カメラ１１によって、一般映像の画像データ（ウインドシールドを透過した透過映像とウインドシールドによる車両室内の所定部分の反射映像とによる一般映像の第１の画像データ）を取得する（ステップＳ００１）。ここで取得される第１の画像データは、例えば車両のフロントウインドシールドに本装置が取り付けられている場合には、車両の進行方向の接触または衝突に注意すべき物体を含む前方の景観の映像と車両室内の反射映像とによる一般映像である。この部分は、実施の形態１と同じである。

次に、カメラ方向制御装置１４によって、カメラ１１の撮影領域が切り替えられ、反射映像の対象となった所定部分を撮影する（ステップＳ００２１）。ここで撮影された映像の画像データは、第２の画像データとして、第１の画像データとは区分して記憶装置１３に記憶される（ステップＳ００３１）。

カメラ１１の撮影領域が切り替えられて取得された第２の画像データは、ウインドシールドによって反射された場合の映像になるように画像変換を行い、第１の画像データの一部と類似性の高い第３の画像データが作成される（ステップＳ００４）。

さらに、取得された第１の画像データは、画像補正装置４０に送られる。画像補正装置４０では、画像変換装置３０からの第３の画像データを読込み、画像処理によって第３の画像データに基づいて第１の画像データの該当する部分の補正処理が行われる（ステップＳ００５）。 この補正処理（ステップＳ００５）および画像出力装置５０への出力（ステップＳ００６）は、実施の形態１と同じである。

この実施の形態２では、最後に、カメラ１１の方向を定常状態の撮影領域に戻す、すなわち撮影領域がダッシュボード上から車両の前方に向かうように撮影方向の転換を行う動作が加わる（ステップＳ００７）。

図７は、この実施の形態２の車載用撮影装置の取り付け例を示す構成図である。この図７は、車両のフロントウインドシールド１００および映り込みの対象となるダッシュボード部分１０１を側面から見た構成を示している。この図７に示すように、第１の撮像装置１０のカメラ１１は、フロントウインドシールド１００を透して車両の前方の景色を撮影するように取付けられている。そして、カメラ方向制御装置１４の指令に基づいて、カメラ１１は、映り込みの対象となるダッシュボード部分１０１を撮影するように撮影領域が切り替えられる。ダッシュボード部分１０１の撮影によって得られる第２の画像データが、ウインドシールドを透過した透過映像とウインドシールドによる車両室内の所定部分の反射映像とによる一般映像を補正して、反射映像の影響を消去することに使用される。なお、図７においては、理解し易い様に、機械的に方向を変化するように示しているが、実際には、レンズ系を組み合わせて構成することによって、カメラそのものの筐体の角度を変更する必要はなくなる。

実施の形態３
第１の撮像装置１０に第２の撮像装置２０の機能を持たせ、第１の撮像装置１０のカメラ１１の撮影領域を切り替えるように構成している。この撮影領域の切り替えとして、光学系の切り替え装置を使用する事例を示す。

すなわち、実施の形態３における車載用撮影装置は、図８に示すように、カメラ１１の撮影領域を切り替える機能として反射鏡１５を備え、反射鏡１５を必要に応じてカメラ１１の撮影領域に配置するように構成している。なお、図面における符号は、各々同一または相当する部分については同一の符号を付けている。

図８に示すように、カメラ１１の撮影領域を変更するために、反射鏡１５をカメラ１１の前に配置し、反射鏡１５を光路上に配置した場合にカメラ１１の撮影領域が、反射映像の対象となった車両室内の所定部分となるように設定している。この反射鏡１５の挿入動作は、反射鏡制御装置１６によって制御される。

この図８に示した反射鏡１５の挿入と反射鏡制御装置１６との関係は、図５に示したカメラ１１の方向制御とカメラ方向制御装置１４との関係と等しい。したがって、動作のフローチャートは、同等になる。

図９に、この実施の形態３の車載用撮影装置の取り付け例を示す構成図である。この図９は、車両のフロントウインドシールド１００および映り込みの対象となるダッシュボード部分１０１を側面から見た構成を示している。この図９に示すように、第１の撮像装置１０のカメラ１１は、フロントウインドシールド１００を透して車両の前方の景色を撮影するように取付けられている。そして、反射鏡制御装置１６の指令に基づいて、図中の矢印に示すようにカメラ１１の前に、反射鏡１５が挿入されることによって、カメラ１１による撮影領域が、映り込みの対象となるダッシュボード部分１０１になるように切り替えられる。反射鏡１５が挿入されていない場合には、一般映像を取得するように構成されている。

この実施の形態３によれば、カメラ１１の位置を変えることが無く、また反射鏡１５を構成部品に加えるだけであるため、構成は簡単になる。さらに、反射鏡１５を液晶表示板の様にシャッタ機能を備えた装置とすることによって、機械的な構造物を電気的な固定装置に置き換えることができるという効果を得ることができる。

実施の形態４
実施の形態１においては、第１の撮像装置１０によって第１の画像データを取得し、第２の撮像装置２０によって第２の画像データを取得する構成を示した。また、実施の形態２においては、第１の撮像装置１０の機能と第２の撮像装置２０の機能を第１の撮像装置１０によって実施する構成として、カメラ１１の方向を切り替える構成を示した。さらに実施の形態３においては、第１の撮像装置１０の機能と第２の撮像装置２０の機能を第１の撮像装置１０によって実施する構成として、カメラ１１の前に反射鏡１５を設け、反射鏡１５を制御する構成を示した。この実施の形態４においては、第１の撮像装置１０の機能と第２の撮像装置２０の機能を第１の撮像装置１０によって実施する構成として、第１の撮像装置１０のカメラ１１として、広角カメラ１７を使用し、この広角カメラ１７によって一般映像と反射映像の対象となった車両室内の所定部分を同時に撮影するように構成している。

すなわち、実施の形態４の車載用撮影装置の構成をブロック図として図１０に示すように、広角カメラ１７を使用して、第１の画像データと第２の画像データとを一度に取得できるようにしている。取得した第１画像データと第２の画像データは、撮影領域によって区分して、それぞれの画像データを分割して切り出し、記憶装置１３にそれぞれ記憶された後、画像変換装置３０および画像補正装置４０における処理を行うことができる。
広角カメラ１７による撮影と画像処理を行うことによって、異なる画像データを同時に処理できることから、処理時間を短縮できるだけでなく、常時、反射映像の対象となった車両室内の所定部分を撮影することになることから、第１の撮像装置１０と第２の撮像装置２０とを備えている場合と同様に、車両室内の所定部分の変化に追従することができるという効果を得ることができる。

実施の形態５
実施の形態５は、ウインドシールドを透過した透過映像とウインドシールドによる車両室内の所定部分の反射映像とによる一般映像の第１の画像データを得る第１の撮像装置１０によって、一般映像と反射映像とを区別して取得し、一般映像の画像データ（第１の画像データ）を、反射映像の画像データ（第３の画像データ）の影響を小さくするように補正するため、反射映像の画像データ（第３の画像データ）を取得するにあたって、ウインドシールドの外側（車両の室外側）にて回動するワイパーの動きによる一般映像の部分的な遮蔽状態を利用して、反射映像の画像データを取得するようにしたものである。

実施の形態５による車載用撮影装置は、図１１に示すように、ウインドシールドを透過した透過映像とウインドシールドによる車両室内の所定部分の反射映像とによる一般映像の第１の画像データと、ウインドシールドの表面によって反射される反射映像の画像データ（第３の画像データ）とを取得する第１の撮像装置１０を備えている。この第１の撮像装置１０は、カメラ、データ取得装置１２、記憶装置１３、および既存のワイパー６０の動きとデータ取得装置１２の動作を連系するように制御するワイパー制御装置１８を備えている。

この第１の撮像装置１０によって、ウインドシールドを透過した透過映像とウインドシールドによる車両室内の所定部分の反射映像とによる一般映像の第１の画像データと、ワイパー６０によって一般映像が遮られる際に、ウインドシールドの表面によって反射される反射映像の画像データ（第３の画像データ）を取得し、第１の画像データと第３の画像データとを区分して記憶装置１３に記憶する。

そして、第１の撮像装置１０には画像補正装置４０が接続されている。画像補正装置４０は、記憶装置１３から取り出された第１の画像データを、第３の画像データに基づいて補正を行う。そして、第３の画像データに基づいて補正された第１の画像データ（補正後の第１の画像データ）は、画像出力装置５０に出力され、一般映像から反射映像が消去された映像を車載用撮影装置の出力として提供することができる。

実施の形態５による車載用撮影装置の動作は、図１２に示すようになる。
まず、第１の撮像装置１０において、カメラ１１によって、一般映像の画像データ（ウインドシールドを透過した透過映像とウインドシールドによる車両室内の所定部分の反射映像とによる一般映像の第１の画像データ）を取得する（ステップＳ００１）。ここで取得される第１の画像データは、例えば車両のフロントウインドシールドに本装置が取り付けられている場合には、車両の進行方向の接触または衝突に注意すべき物体を含む前方の景観の映像と車両室内の反射映像とによる一般映像であって、ここで取得された画像データ（第１の画像データ）は、記憶装置１３の所定領域に記憶される。

次に、ワイパー６０の動きに合わせて、ワイパー６０によって光が遮蔽されている領域について、第１の撮像装置１０のカメラ１１によって、反射映像が撮影される（ステップＳ００２１）。ここで撮影された映像の画像データは、第３の画像データとして、記憶装置１３の所定領域に記憶される（ステップＳ００３２）。
記憶装置１３に記憶される第３の画像データは、ワイパー６０の動きに従って順番に蓄積され、繋ぎ合せることによって、ウインドシールドによって反射された映像全体を取得することができる（ステップＳ００４）。

反射映像の画像データ（第３の画像データ）の取得のタイミングについては、ワイパー制御装置１８が行う。反射映像の画像データを取得するタイミングであると判定された場合、ワイパー制御装置１８は、ワイパー６０に作動指令を与える（ステップＳ００５１）。
ワイパー６０は、作動指令を受信すると、それに従い、第１の撮像装置１０のカメラ１１の撮影領域に移動することで、部分的な黒い背景を生成する。その後、ワイパー制御装置１８は、データ取得装置１２に対して反射映像を撮影するように指令を行う（ステップＳ００６１）。

この部分的な黒色の背景の生成状態において、データ取得装置１２は、部分的な黒背景生成状態の前方画像データ（第１の画像データ）、すなわち一部の映り込み画像を含んだ前方画像データを取得する（ステップＳ００７１）。そして取得された反射映像の画像データは、記憶装置１３に記憶される（ステップＳ００８１）。

その後、ワイパー６０は、移動し、再度撮影が行われる。すなわち、ワイパー６０の位置の変化に伴なって、ステップＳ００５１からステップＳ００８１の処理が繰り返されることとなる。この繰り返しは、ワイパー制御装置１８によって撮影終了の判断（ステップＳ００９１）が行われるまで実行される。撮影終了の判断は、ワイパー６０によって生成された部分的な黒背景が、撮像範囲すべてを網羅したときに行われる。つまり、撮影された複数の部分的な黒の背景画像を切り出して結合させたとき、撮像範囲すべてに及ぶ一枚の黒の背景画像、すなわち反射映像のすべてを取得したときに、撮影終了と判断される。

実施の形態６
実施の形態６では、実施の形態１～５に示した車載用撮影装置を使用して車載用画像認識装置として利用する場合の構成について説明する。
図１３は、車載用撮影装置１０００を使用した車載用画像認識装置２０００の構成を示している。この車載用画像認識装置２０００は、物体認識装置７０、車両制御装置８０および警告装置９０を備えている。

物体認識装置７０は、物体の形状を比較検討するための参照情報を備え、提供された画像情報と保有している参照情報とを比較して、提供された画像に合致する物体を判断するものである。この物体認識装置７０に接続された車載用撮影装置１０００から提供される画像情報（画像データ）は、反射映像の影響を小さくするように出力情報が補正されている。このため、画像認識の誤りが少なくなり、車載用撮影装置１０００が有効に使用されることになる。

車両制御装置８０は、物体認識装置７０の認識結果に基づいて、車両の動きを制御する。また、警告装置９０は、物体認識装置７０の認識結果に基づいて、必要に応じて警告を発するものである。
具体的には、物体認識装置７０には、様々な人物の形状、動物の形状、車両の形状、道路に設けられている様々な造作物の形状についての画像情報を有しており、保有している画像情報（参照情報）と、車載用撮影装置１０００から提供される画像情報（画像データ）を比較して、車載用撮影装置１０００において表れている画像データが、何に相当するものであるかの判断を行い、その判断結果に基づいて、車両制御装置８０による車両の制御あるいは警告装置９０による警告を行う。

これらの車両の制御あるいは警告を、画像データに基づいて行う場合、その画像データに映り込みによる画像データが含まれている場合には、誤った結果になる。特に、画像データによる学習効果を期待している場合には、誤った案内を行うことになる。
しかし、この実施の形態６のように、反射映像の影響を小さくすることによって、画像認識の誤りを防ぐことができる。

なお、実施の形態１から５の車載用撮影装置および実施の形態６の車載用画像認識装置は、図１４に示すように、プロセッサ５１０と記憶装置５２０から構成される制御装置５００によって行われる。また、実施の形態において、個別の装置の形態で示しているが、それぞれの機能を発揮するものであれば良い。さらに、記憶装置５２０の内容は図示していないが、ランダムアクセスメモリ等の揮発性記憶装置と、フラッシュメモリ等の不揮発性の補助記憶装置とを備えている。また、フラッシュメモリの代わりにハードディスクの補助記憶装置を具備してもよい。プロセッサ５１０は、記憶装置５２０から入力されたプログラムを実行する。この場合、補助記憶装置から揮発性記憶装置を介してプロセッサ５１０にプログラムが入力される。また、プロセッサ５１０は、演算結果等のデータを記憶装置５２０の揮発性記憶装置に出力してもよいし、揮発性記憶装置を介して補助記憶装置にデータを保存してもよい。

本願は、様々な例示的な実施の形態及び実施例が記載されているが、１つ、または複数の実施の形態に記載された様々な特徴、態様、及び機能は特定の実施の形態の適用に限られるのではなく、単独で、または様々な組み合わせで実施の形態に適用可能である。
従って、例示されていない無数の変形例が、本願に開示される技術の範囲内において想定される。例えば、少なくとも１つの構成要素を変形する場合、追加する場合または省略する場合、さらには、少なくとも１つの構成要素を抽出し、他の実施の形態の構成要素と組み合わせる場合が含まれるものとする。

１０ 第１の撮像装置、１１ カメラ、１２ データ取得装置、１３ 記憶装置、１４ カメラ方向制御装置、１５ 反射鏡、１６ 反射鏡制御装置、１７ 広角カメラ、１８ ワイパー制御装置、２０ 第２の撮像装置、２１ カメラ、２２ データ取得装置、２３ 記憶装置、３０ 画像変換装置、４０ 画像補正装置、５０ 画像出力装置、６０ ワイパー、７０ 物体認識装置、８０ 車両制御装置、９０ 警告装置、１００ フロントウインドシールド、１０１ ダッシュボード部分、５００ 制御装置、５１０ プロセッサ、５２０ 記憶装置、１０００ 車載用撮影装置、２０００ 車載用画像認識装置

Claims (7)

1. 車両室内の所定部分の、ウインドシールドによる反射映像と前記ウインドシールドを透過した透過映像とによる一般映像の第１の画像データおよび前記反射映像の対象となった前記車両室内の所定部分を撮影した映像の第２の画像データを得る撮像装置、前記第２の画像データを、前記ウインドシールドによって反射された場合の映像に相当する第３の画像データに変換する画像変換装置、および前記第１の画像データを、前記第３の画像データに基づいて補正する画像補正装置を備え、前記一般映像を補正して前記反射映像を消去するようにしたことを特徴とする車載用撮影装置。
2. 前記撮像装置が、前記第１の画像データを得る第１の撮像装置と前記第２の画像データを得る第２の撮像装置を備えたことを特徴とする請求項１に記載の車載用撮影装置。
3. 前記撮像装置が、前記第１の画像データを得る撮影の方向と前記第２の画像データを得る撮影の方向とに変更し得るカメラを備えたことを特徴とする請求項１に記載の車載用撮影装置。
4. 前記撮像装置が、反射鏡を備え、前記反射鏡を介在させることによって、撮影の方向を変更して前記第１の画像データと前記第２の画像データとを得るようにしたことを特徴とする請求項１に記載の車載用撮影装置。
5. 前記撮像装置が、広角カメラを備え、前記第１の画像データと前記第２の画像データとを得る撮影領域を同時に含むようにしたことを特徴とする請求項１に記載の車載用撮影装置。
6. 車両室内の所定部分の、ウインドシールドによる反射映像とウインドシールドを透過した透過映像とによる一般映像の第１の画像データと、前記ウインドシールドの外側にて回動するワイパーによる前記一般映像の遮蔽時に、前記反射映像の第３の画像データとを得る撮像装置、および前記第１の画像データを、前記第３の画像データに基づいて補正する画像補正装置を備えたことを特徴とする車載用撮影装置。
7. 請求項１から６のいずれか１項に記載の車載用撮影装置と、複数の物体の情報を保有し、前記車載用撮影装置から提供された画像情報に該当する物体を認識する物体認識装置とを備えたことを特徴とする車載用画像認識装置。

Images