JP6620050B2 - 画像処理装置、車載用画像処理装置、プログラム、及び記録媒体 - Google Patents

Description

本発明は、取得した画像を処理する画像処理装置、車載用画像処理装置、当該画像処理装置としてコンピュータを機能させるためのプログラム、及び当該プログラムを記録した記録媒体に関する。

近年、自動運転技術への適用を念頭に、道路上の白線等のオブジェクトの位置を認識する技術が開発されている。このような技術は、例えば特許文献１にも開示されている。

特開２０１１−１５０６８９号公報（２０１１年８月４日公開）

ところで、そのような技術においては、光に関する周辺の環境が変化しても、適切にオブジェクトの認識を行うことができることが好ましい。

本発明は、光に関する周辺の環境が変化しても、適切にオブジェクトの認識を行うことができる画像処理装置を実現することを目的とする。

かかる目的のもと、本発明に係る画像処理装置は、偏光板なしのカメラで撮像された第１の画像と、偏光板付きのカメラで撮像された第２の画像とを取得する画像取得部と、前記第１の画像と前記第２の画像との双方を参照するか、又は、前記第１の画像と前記第２の画像とを選択的に参照することによって１又は複数の認識用画像を生成する画像生成部と、前記１又は複数の認識用画像を参照して画像認識を行う画像認識部とを備えている。

本発明によれば、光に関する周辺の環境が変化しても、適切にオブジェクトの認識を行うことができる。

本発明の実施形態１に係る車載用画像処理装置の要部構成を示すブロック図である。 本発明の実施形態１におけるカメラを車両に取り付けた状態の車両内部を模式的に示す模式図である。 本発明の実施形態１における画像処理装置が実行する処理の流れの一例を示すフローチャートである。 本発明の実施形態１における第１の画像及び第２の画像の一例である。 本発明の実施形態１における画像生成部が実行する処理の流れの一例を示すフローチャートである。 本発明の実施形態１における第１の画像及び第２の画像の他の例である。 本発明の実施形態１における画像生成部が参照または生成する画像の一例である。 本発明の実施形態２に係る車載用画像処理装置の要部構成を示すブロック図である。

［実施形態１］
本発明の実施形態１に係る車載用画像処理装置１について、図１〜図６を参照して説明する。

図１は、本発明の実施形態１に係る車載用画像処理装置１の要部構成を示すブロック図である。車載用画像処理装置１は、車両に設置され、当該車両の周辺を撮像した画像を認識することができる装置である。車載用画像処理装置１は、例えば、道路の白線、道路上の障害物、及び歩行者といったオブジェクトの認識、及び当該オブジェクトまでの距離の算出をすることができる。そのため、車載用画像処理装置１は、道路からはみ出ないように車両を動かしたり、前方の障害物や歩行者を検知すると止まったりする自動走行車両に搭載され得る。

車載用画像処理装置１は、図１に示すように、画像処理装置１０、第１のカメラ２０、及び第２のカメラ３０を備えている。

第１のカメラ２０は、偏光板が取り付けられていないカメラである。以下では、第１のカメラ２０によって撮像された画像（換言すると、偏光板なしのカメラで撮像された画像）を「第１の画像」と称する。

第２のカメラ３０は、偏光板が取り付けられているカメラである。以下では、第２のカメラ３０によって撮像された画像（換言すると、偏光板付きのカメラで撮像された画像）を「第２の画像」と称する。

画像処理装置１０は、第１の画像及び第２の画像を参照し、画像認識を行う。なお、画像処理装置１０が実行する処理の詳細については、参照する図面を替えて後述する。画像処理装置１０は、図１に示すように、画像取得部１２、及び制御部１８を備えており、制御部１８は、画像生成部１４、及び画像認識部１６を備えている。

画像取得部１２は、第１の画像及び第２の画像を取得するための構成であり、例えば、第１のカメラ２０及び第２のカメラ３０と画像処理装置１０との接続のための入出力インターフェースとして実現される。

画像生成部１４は、画像取得部１２が取得した画像のうち、第１の画像と第２の画像との双方を参照するか、又は、第１の画像と第２の画像とを選択的に参照することによって１又は複数の認識用画像を生成する。

画像認識部１６は、画像生成部１４が生成した１又は複数の認識用画像を参照して画像認識を行う。

（第１のカメラ及び第２のカメラの配置）
図２は、本発明の実施形態１における第１のカメラ２０及び第２のカメラ３０を車両に取り付けた状態の車両内部を模式的に示す模式図である。

車載用画像処理装置１を上述したような自動走行車両に搭載する場合、図２に示すように、第１のカメラ２０及び第２のカメラ３０は、フロントガラスのより高い位置に取り付けられることが好ましい。また、車載用画像処理装置１では、第１の画像及び第２の画像の視差に基づいて、認識したオブジェクトまでの距離も算出可能である。そのため、第１のカメラ２０及び第２のカメラ３０は、図２に示すように、それぞれが撮像した第１の画像及び第２の画像が、オブジェクトまでの距離を適切に算出できる視差となるような間隔を空けて取り付けられることが好ましい。

（画像処理装置が実行する処理）
図３は、本発明の実施形態１における画像処理装置１０が実行する処理の流れの一例を示すフローチャートである。画像処理装置１０が実行する処理について、図３を用いて説明する。

（ステップＳ２）
まず、画像取得部１２は、第１のカメラ２０及び第２のカメラ３０から、それぞれ第１の画像及び第２の画像を取得する。画像取得部１２は、取得した第１の画像及び第２の画像を、画像生成部１４に出力する。

（ステップＳ４）
画像生成部１４は、画像取得部１２から出力された第１の画像及び第２の画像のうち、参照する画像を選択する。より具体的には、画像生成部１４は、第１の画像と第２の画像との双方を参照する画像として選択するか、又は、第１の画像と第２の画像との何れかを参照する画像として選択する。画像生成部１４が画像を選択する方法の詳細については後述する。

（ステップＳ６）
画像生成部１４は、ステップＳ４において選択した画像を参照することによって、１又は複数の認識用画像を生成する。そして、画像生成部１４は、生成した１又は複数の認識用画像を、画像認識部１６に出力する。

（ステップＳ８）
画像認識部１６は、画像生成部１４から出力された１又は複数の認識用画像を参照して、道路の白線、道路上の障害物、及び歩行者といったオブジェクトの認識処理、及び、当該オブジェクトまでの距離の算出処理などを行う。なお、画像認識部１６はその他の画像処理を行う構成としてもよい。

（画像生成部１４の処理の具体例１）
ステップＳ４及びステップＳ６における画像生成部１４の処理の具体例について、図４を用いて説明する。図４は、本発明の実施形態１における第１の画像及び第２の画像の一例である。図４の（ａ）は、第１の画像の一例であり、（ｂ）は、第２の画像の一例である。

図４の（ａ）及び（ｂ）はそれぞれ、昼間の濡れた路面をそれぞれ第１のカメラ２０及び第２のカメラ３０が撮像した画像である。図４の（ａ）に示すように、第１の画像では濡れた路面に太陽光などの光が反射しているため、ステップＳ４において画像生成部１４が第１の画像を選択したとしても、画像認識部１６は領域Ａ１に含まれる白線を認識することが難しい。一方、図４の（ｂ）に示すように、第２の画像では偏光板によって光の照り返しが抑えられているため、ステップＳ４において画像生成部１４が第２の画像を選択すれば、画像認識部１６は、領域Ａ１に対応する領域Ａ２に含まれる白線を認識することができる。

画像生成部１４が、図４の（ａ）及び（ｂ）にそれぞれ示す第１の画像及び第２の画像を取得した場合に第２の画像を選択する方法の具体例は以下の通りである。

まず、第１の方法として、画像生成部１４が照度計によって測定された周囲の明るさを取得し、取得した明るさに応じて画像を選択する方法が挙げられる。例えば、画像生成部１４は、照度計によって測定された周囲の明るさが所定の明るさよりも明るい場合、第２の画像を選択する。一方、画像生成部１４は、照度計によって測定された周囲の明るさが所定の明るさよりも暗い場合、第１の画像及び第２の画像を選択する。また、照度計は、車載用画像処理装置１が備える構成としてもよいし、車載用画像処理装置１の外部に設けられる構成としてもよい。

また、第２の方法として、画像生成部１４が、第１の画像及び第２の画像の明るさに応じて画像を選択する方法も挙げられる。例えば、画像生成部１４は、第１の画像の平均輝度及び第２の画像の平均輝度がそれぞれ所定の輝度よりも高い場合、第２の画像を選択する。一方、画像生成部１４は、第１の画像の平均輝度が所定の輝度よりも高く、第２の画像の平均輝度が所定の輝度より低い場合、第１の画像を選択する。一方、画像生成部１４は、第１の画像の平均輝度及び第２の画像の平均輝度がそれぞれ所定の輝度よりも低い場合、第１の画像及び第２の画像を選択する。

画像生成部１４は、第１の画像と第２の画像との何れかを参照する画像として選択した場合、ステップＳ６において、選択した画像に基づき認識用画像を生成する。ここで、認識用画像を生成する際には、選択した画像をそのまま認識用画像としてもよいが、選択した画像に対してノイズ除去等の画像処理を行うことによって、後段の画像認識部１６による画像認識により好適な画質となるように認識用画像を生成することが好ましい。

なお、上述の第１の方法及び第２の方法では、画像生成部１４が第１の画像及び第２の画像を選択する場合として、照度計によって測定された周囲の明るさが所定の明るさよりも暗い場合、又は第１の画像の平均輝度が所定の輝度よりも低い場合を挙げたが、これに限定されない。換言すると、照度計によって測定された周囲の明るさが所定の明るさよりも明るい場合、又は第１の画像の平均輝度が所定の輝度よりも高い場合であっても、画像生成部１４は第１の画像及び第２の画像を選択する構成であってもよい。画像生成部１４が第１の画像及び第２の画像を選択した場合の詳細な処理については、後述する。

このように、画像処理装置１０における画像生成部１４は、周囲の明るさ、又は、第１の画像及び第２の画像の明るさに応じて、第１の画像と第２の画像とを選択的に参照することによって認識用画像を生成する。そのため、画像処理装置１０は、画像に含まれるオブジェクトの認識に適した認識用画像を生成することができる。

（画像生成部１４の処理の具体例２）
ステップＳ４及びステップＳ６における画像生成部１４の処理の他の具体例について説明する。

本例では、画像生成部１４は、上述したステップＳ４において第１の画像及び第２の画像を選択し、第１の画像と第２の画像との差分画像を生成することによって、認識用画像を生成する。画像生成部１４が第１の画像と第２の画像との差分画像を生成することによって認識用画像を生成する処理について、図５を用いて説明する。図５は、本発明の実施形態１における画像生成部１４が実行する処理の流れの一例を示すフローチャートである。

（ステップＳ２２）
まず、画像生成部１４は、第１の画像において設定されたブロック内の画像を抽出し、第２の画像におけるブロックであって、第１の画像におけるブロック内の画像と類似する画像を含むブロックを検出する。ここで、ブロックのサイズは、差分画像を適切に算出できる程度に小さいことが好ましい。ステップＳ２２のより具体的な処理の内容を、図６及び図７を用いて説明する。

図６は、本発明の実施形態１における第１の画像及び第２の画像の他の例である。図６の（ａ）は、第１の画像の他の例であり、（ｂ）は、第２の画像の他の例である。図７は、本発明の実施形態１における画像生成部１４が参照または生成する画像の一例である。図７の（ａ）は、画像生成部１４が参照する第１の画像において設定されたブロック内の画像Ｔ_Ａの一例であり、（ｂ）は、画像生成部１４が参照する第２の画像において設定されたブロック内の画像Ｔ_Ｂの一例であり、（ｃ）は、画像生成部１４が生成する差分画像の一例であり、（ｄ）は、画像生成部１４が生成する差分画像の他の例であり、（ｅ）は、画像生成部１４が生成する認識用画像の一例である。

画像生成部１４は、図６の（ａ）に示す第１の画像において、ブロックＡ３内の画像Ｔ_Ａを抽出する。ここで、図７の（ａ）に示す例では、画像Ｔ_Ａには光の照り返しが含まれている。また、画像生成部１４は、図６の（ｂ）に示す第２の画像における、ブロックＡ３に対応するブロックであるブロックＡ４内の画像Ｔ_Ｂを抽出する。そして、画像生成部１４は、画像Ｔ_Ａと画像Ｔ_Ｂとを参照して、画像Ｔ_Ａにおける各画素値と平均画素値との差と、画像Ｔ_Bにおける各画素値と平均画素値との差との積を正規化したＲ_ＺＮＣＣを、以下の数式（１）を用いて算出する。

ただし、

および

は、次式（２）に示す領域内の平均画素値である。

ここで、Ｍ並びにＮは、画像Ｔ_Ａ及び画像Ｔ_Ｂの水平方向の画素数並びに垂直方向の画素数をそれぞれ表している。

画像生成部１４は、画像Ｔ_Ａに対する画像Ｔ_Ｂの相対位置（すなわち、ブロックＡ３に対するブロックＡ４の相対位置）を変化させつつ、数式（１）を用いたＲ_ＺＮＣＣの算出を繰り返し行い、算出したＲ_ＺＮＣＣのうち、最も１に近いＲ_ＺＮＣＣが算出された画像Ｔ_Ｂを、画像Ｔ_Ａに類似する画像Ｔ_Ｂとして検出する。この方法により、画像生成部１４は、図７の（ａ）に示す画像Ｔ_Ａと、図７の（ｂ）に示す画像Ｔ_Ｂとを取得する。

なお、第１の画像における画像Ｔ_Ａに類似する第２の画像における画像Ｔ_Ｂの検出方法は、上述した方法に限定されない。例えば、画像生成部１４は、第１の画像のブロックＡ３内の画像に含まれるエッジ又はコーナーを検出し、当該エッジ又はコーナーと類似するエッジ又はコーナーを、第２の画像のブロックＡ４内の画像において検索することによって、第１の画像における画像Ｔ_Ａに類似する第２の画像における画像Ｔ_Ｂを検出する構成としてもよい。

（ステップＳ２４）
画像生成部１４は、以下の数式（３）を用いて、ステップＳ２２において取得した画像Ｔ_Ａ及び画像Ｔ_Ｂのそれぞれの対応する画素の差分値であるＰ（ｉ，ｊ）を算出する。

画像生成部１４は、数式（３）を用いて算出した差分値Ｐ（ｉ，ｊ）を各画素値として含む差分画像Ｐを生成する（図７の（ｃ）参照）。

（ステップＳ２６）
画像生成部１４は、上述したステップＳ６の処理として、ステップＳ２２において取得した画像Ｔ_Ａから、ステップＳ２４において生成した差分画像Ｐを減算することによって、認識用画像Ｐ_２を生成する。なお、画像生成部１４は、差分画像Ｐにノイズが含まれると判断した場合、図７の（ｄ）に示す、差分画像Ｐから平滑化等の処理によってノイズを除去した差分画像Ｐ_１を生成してもよい。この場合、画像生成部１４は、画像Ｔ_Ａと差分画像Ｐ_１との差分を取ることにより、図７の（ｅ）に示す認識用画像Ｐ_２を生成する。このように、画像生成部１４は、認識用画像Ｐ_２として、画像Ｔ_Ａから光の照り返しが除去された画像を生成することができる。

画像生成部１４は、第１の画像全体に対して差分画像を生成するまで、ステップＳ２２〜ステップＳ２６の処理を実行することにより、第１の画像全体に対応する認識用画像（以下、「第１の認識用画像」と称する）を生成することができる。ただし、本発明はこの構成に限定されず、例えば、第１の画像又は第２の画像の一部のみに対して認識用画像を生成する構成としてもよい。

このように、画像処理装置１０における画像生成部１４は、第１の画像と第２の画像との差分画像を生成し、差分画像を第１の画像から減算することによって、第１の認識用画像を生成する。

（奥行情報の算出）
画像生成部１４は、上述した処理により、第１の画像と第２の画像との差分画像を生成し、当該差分画像を前記第１の画像から減算することによって第１の認識用画像を生成する。また、画像生成部１４は、第１の画像を参照せずに第２の画像を参照することによって第２の認識用画像を生成する。ここで、画像生成部１４は、第２の画像をそのまま第２の認識用画像としてもよいが、より好ましくは、第２の画像に対してノイズ除去等の画像処理を行うことによって第２の認識用画像を生成する。そして、画像生成部１４は、第１の認識用画像及び第２の認識用画像を画像認識部１６に出力する。

画像認識部１６は、取得した第１の認識用画像及び第２の認識用画像から、第１の認識用画像及び第２の認識用画像に含まれるオブジェクトまでの距離を示す奥行情報を算出する。より具体的には、画像生成部１４は、第１の認識用画像及び第２の認識用画像を参照し、第１の認識用画像に含まれるオブジェクトの位置と、第２の認識用画像におけるオブジェクトの位置とのずれ（視差）に基づいて、オブジェクトまでの距離を示す奥行情報を算出する。

このように、画像処理装置１０では、画像生成部１４が、第１の認識用画像及び第２の認識用画像を参照することによって、第１の認識用画像及び第２の認識用画像に含まれるオブジェクトの奥行情報を算出する。そのため、画像処理装置１０は、光の照り返し等が重畳されたオブジェクトであっても、当該オブジェクトまでの距離を算出することができる。

なお、車載用画像処理装置１は、上述したように奥行情報を算出できる構成を備えているため、例えば、第１の画像に含まれる白線の傾きと、第２の画像に含まれる白線の傾きとが異なる場合がある。車載用画像処理装置１は、抽出した第１の画像のブロック内の画像に対応する第２の画像のブロック内の画像を適切に抽出できるように、ステップＳ２２において画像生成部１４が設定するブロックの大きさを適宜変更可能な構成であることが好ましい。この構成を備えることにより、画像生成部１４は、第１の画像に含まれる白線の傾きと、第２の画像に含まれる白線の傾きとが異なる場合であっても、設定するブロックを小さくすることにより、抽出した第１の画像のブロック内の画像に対応する第２の画像のブロック内の画像を適切に抽出することができる。

また、本実施形態では、画像処理装置１０を車載用画像処理装置１が備える構成について説明したが、これに限定されない。画像処理装置１０は、光の照り返しなどによって認識できないオブジェクトを認識することを目的とした装置に適宜利用可能である。

また、上記の説明では、光の照り返しの例として路面における太陽光の照り返しを例に挙げたが、画像処理装置１０の適用は勿論上述の例に限られるものではなく、例えば、対向車のライトや建築物の照明等が路面又は自車両のボンネット等に反射した光を除去するために用いることもできる。

［実施形態２］
本発明の実施形態２に係る車載用画像処理装置１ａについて、図８を用いて説明する。なお、本明細書では、既に説明した部材には同じ参照符号を付し、以下ではその説明を省略する。図８は、本発明の実施形態２に係る車載用画像処理装置１ａの要部構成を示すブロック図である。

図８に示すように、車載用画像処理装置１ａは、上述した実施形態１における第１のカメラ２０及び第２のカメラ３０に替えて、偏光板付きで撮像するか又は偏光板なしで撮像するかを切替可能なカメラであって、第１の画像及び第２の画像を撮像するカメラである第３のカメラ（カメラ）４０を備える。この場合、第１の画像及び第２の画像に視差が発生しないため、上述したステップＳ２２の処理を省略することができる。

なお、本実施形態に係る車載用画像処理装置は、距離測定用のレーダを備え、当該レーダからの出力情報を参照して奥行情報を算出する構成としてもよい。

〔ソフトウェアによる実現例〕
画像処理装置１０の制御部１８は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。

後者の場合、画像処理装置１０は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラム及び各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

１、１ａ 車載用画像処理装置
１０ 画像処理装置
１２ 画像取得部
１４ 画像生成部
１６ 画像認識部
２０ 第１のカメラ
３０ 第２のカメラ
４０ 第３のカメラ（カメラ）

Claims (5)

1. 偏光板なしのカメラで撮像された第１の画像と、偏光板付きのカメラで撮像された第２の画像とを取得する画像取得部と、
   前記第１の画像と前記第２の画像との双方を参照するか、又は、前記第１の画像と前記第２の画像とを選択的に参照することによって１又は複数の認識用画像を生成する画像生成部と、
   前記１又は複数の認識用画像を参照して画像認識を行う画像認識部と
   を備えており、
   前記画像生成部は、
   前記第１の画像と前記第２の画像との差分画像を生成し、当該差分画像を前記第１の画像から減算することによって第１の認識用画像を生成し、
   前記第１の画像を参照せずに前記第２の画像を参照することによって第２の認識用画像を生成し、
   前記画像認識部は、前記第１の認識用画像及び前記第２の認識用画像を参照することによって、前記第１の認識用画像及び前記第２の認識用画像に含まれるオブジェクトの奥行情報を算出する
   ことを特徴とする画像処理装置。
2. 前記第１の画像を撮像する偏光板なしの第１のカメラと、
   前記第２の画像を撮像する偏光板付きの第２のカメラと、
   請求項１に記載の画像処理装置と
   を備えている車載用画像処理装置。
3. 偏光板付で撮像するか又は偏光板なしで撮像するかを切り替え可能なカメラであって、前記第１の画像及び前記第２の画像を撮像するカメラと、
   請求項１に記載の画像処理装置と
   を備えている車載用画像処理装置。
4. 請求項１〜３の何れか１項に記載の画像処理装置としてコンピュータを機能させるためのプログラムであって、上記画像取得部、上記画像生成部及び上記画像認識部としてコンピュータを機能させるためのプログラム。
5. 請求項４に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。