JP7360304B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明は、画像処理装置および画像処理方法に関する。

従来、カメラで撮影した画像から、人や車両等の物体を検知する技術が知られる。また、カメラで撮影した画像から車両を検知し、当該検知結果にしたがってナンバープレートの認識を行う技術が知られる（例えば特許文献１参照）。

特開２０１５－６４７５２号公報

ところで、例えば、カメラで撮影した画像から車両を検知できた場合でも、当該車両に含まれるナンバープレートを検知できない場合がある。また。例えば、カメラで撮影した画像から人を検知できた場合でも、当該人に含まれる顔を認識できない場合がある。すなわち、カメラで撮影した画像から或る物体を検知できた場合でも、当該物体の一部の検知を行えないことがある。

このような現象は、例えば、撮影画像中において物体の部位が物体全体に対してかなり小さい場合に起こり易い。検知処理の負担を低減するために物体検知に用いる撮影画像の解像度を低下させた場合に、物体を検知できたにもかかわらず、当該物体の部位を検知できないといった現象が起こり易くなる。

本発明は、上記の課題に鑑み、撮影画像中に映る検知したい対象の未検知が生じる可能性を低減することができる技術を提供することを目的とする。

上記目的を達成するために本発明の画像処理装置は、取得した撮影画像から所定の物体および前記所定の物体に含まれる所定の部位を検知可能に設けられる第１検知部と、前記第１検知部により前記所定の物体および前記所定の部位のうち前記所定の物体のみが検知された場合に、前記第１検知部の検知結果に基づき前記撮影画像に検知範囲を設定する設定部と、前記検知範囲から前記所定の部位の検知を試みる第２検知部と、を備える構成（第１の構成）になっている。

また、上記第１の構成の画像処理装置において、前記設定部は、前記所定の物体が検知された領域内において前記所定の部位が存在する可能性が高いと判断される領域に前記検知範囲を設定する構成（第２の構成）であることが好ましい。

また、上記第１又は第２の構成の画像処理装置において、前記第１検知部にて検知処理を行う際に、前記撮影画像に対して、前記所定の物体および前記所定の部位を検知する目的で設けられる主検知対象領域と、前記主検知対象領域に隣接し、前記主検知対象領域における検知処理を補完する目的で設けられる副検知対象領域と、が設定され、前記第１検知部は、前記主検知対象領域と前記副検知対象領域とで、互いに異なる検知処理を行う構成（第３の構成）であってよい。

また、上記第１から第３のいずれかの構成の画像処理装置は、前記第２検知部の検知結果に基づき、前記第１検知部による前記所定の物体の検知が誤検知であるか否かを判断する判断部を更に備える構成（第４の構成）であってよい。

また、上記第１から第４のいずれかの構成の画像処理装置において、前記撮影画像は、車両に搭載されるカメラにより撮影された画像であり、前記車両の走行環境を推定する推定部を更に備え、前記第１検知部が検知処理に用いる前記撮影画像の解像度は、前記走行環境に基づいて調整される構成（第５の構成）であってよい。

また、上記第１から第４のいずれかの構成の画像処理装置において、前記撮影画像は、車両に搭載されるカメラにより撮影された画像であり、前記車両の走行環境を推定する推定部を更に備え、前記第１検知部は、前記走行環境に基づき前記所定の物体および前記所定の部位を検知する検知処理を変更する構成（第６の構成）であってよい。

また、上記第６の構成の画像処理装置において、前記第１検知部は、機械学習により生成された学習済みモデルを用いて前記所定の物体および前記所定の部位を検知可能に設けられ、前記第１検知部は、使用する前記学習済みモデルを前記走行環境に基づき変更する構成（第７の構成）であってよい。

また、上記目的を達成するために本発明の画像処理方法は、取得した撮影画像から所定の物体および前記所定の物体に含まれる所定の部位の検知を試みる第１検知工程と、前記第１検知工程により前記所定の物体および前記所定の部位のうち前記所定の物体のみが検知された場合に、前記第１検知工程の検知結果に基づき前記撮影画像に検知範囲を設定する設定工程と、前記検知範囲から前記所定の部位の検知を試みる第２検知工程と、を備える構成（第８の構成）になっている。

本発明によれば、撮影画像中に映る検知したい対象の未検知が生じる可能性を低減することができる。

第１実施形態に係る画像処理装置の構成を示す図 第１実施形態の画像処理装置の変形例を説明するための図 第１実施形態に係る画像処理装置の動作例を示すフローチャート 取得部により取得される撮影画像の一例を示す図 図４に示す撮影画像に対する第１検知部の検知結果を例示する図 図５に示す検知結果が第１検知部により得られた場合の設定部の処理について説明するための図 統合処理が行われた画像を示す図 第２実施形態に係る画像処理装置の構成を示す図 第２実施形態に係る画像処理装置の動作例を示すフローチャート 第３実施形態に係る画像処理装置の動作例を示すフローチャート

以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。

＜１．第１実施形態＞
（１－１．画像処理装置の構成）
図１は、本発明の第１実施形態に係る画像処理装置１の構成を示す図である。なお、図１においては、第１実施形態の画像処理装置１の特徴を説明するために必要な構成要素のみが示されており、一般的な構成要素についての記載は省略されている。また、図１には、理解を容易とするために画像処理装置１とは別の構成要素であるカメラ２も示されている。

画像処理装置１は、例えば車両等の移動体に搭載されてよい。車両には、例えば自動車、電車、無人搬送車等の車輪のついた乗り物が広く含まれる。画像処理装置１は、例えば車両に搭載されるナビゲーション装置やドライブレコーダ等の車載装置に含まれてよい。画像処理装置１は、移動体に搭載されなくてもよく、例えば、商業施設や駐車場等に設けられる監視施設や、高速道路の料金所等の建物内に配置されてもよい。また、画像処理装置１は、例えば、車載装置等の端末装置とネットワーク等を介して通信可能に設けられるクラウドサーバ等のサーバ装置に含まれてもよい。また、画像処理装置１は、例えば、スマートフォンやタブレット等の携帯端末に含まれてもよい。

カメラ２は、車両等の移動体に搭載されてもよいし、商業施設等の建物内、駐車場等の屋外に固定配置されてもよい。カメラ２は、例えば、有線又は無線により、或いは、ネットワークを利用して、撮影した画像（撮影画像）を画像処理装置１に出力する。

図１に示すように、画像処理装置１は、取得部１１と、制御部１２と、記憶部１３と、を備える。

取得部１１は、撮影画像を取得する。取得部１１は、例えば車両に搭載されるカメラ２からアナログ又はデジタルの撮影画像を所定の周期（例えば、１／３０秒周期）で時間的に連続して取得する。取得部１１によって取得される撮影画像の集合体が、カメラ２で撮影された動画像である。取得した撮影画像がアナログの場合には、取得部１１は、そのアナログの撮影画像をデジタルの撮影画像に変換（Ａ／Ｄ変換）する。取得部１１は、取得した撮影画像（Ａ／Ｄ変換が行われた場合は変換後の画像）を制御部１２に出力する。

制御部１２は、画像処理装置１の全体を統括的に制御するコントローラである。制御部１２は、例えば、ハードウェアプロセッサであるＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、および、ＲＯＭ（Read Only Memory）等を含むコンピュータとして構成される。

記憶部１３は、例えば、ＲＡＭやフラッシュメモリ等の半導体メモリ素子、ハードディスク、或いは、光ディスク等の可搬型の記録媒体を用いる記憶装置等で構成される。記憶部１３は、ファームウェアとしてのプログラムや各種のデータを記憶する。本実施形態では、記憶部１３は、第１学習済みモデル１３１と第２学習済みモデル１３２とを記憶する。なお、第１学習済みモデル１３１および第２学習済みモデル１３２については、例えばクラウドサーバ等から無線通信等を利用することにより更新された学習済みモデルをダウンロードできる構成としてよい。すなわち、第１学習済みモデル１３１および第２学習済みモデル１３２は、アップデートできる構成としてよい。

第１学習済みモデル１３１および第２学習済みモデル１３２は、例えばディープニューラルネットワーク（ＤＮＮ：Deep Neural Network）等の機械学習のアルゴリズムにより学習を行うことで得られる。第１学習済みモデル１３１および第２学習済みモデル１３２は、例えば教師あり学習により得られてよい。本実施形態では、第１学習済みモデル１３１は、所定の物体および所定の物体に含まれる所定の部位を検知するために使用される。第２学習済みモデル１３２は、所定の部位を検知するために使用される。

所定の物体としては、例えば、人や車両等が挙げられる。なお、所定の物体には、人の顔や、車両のフロント等、或る物の一部と解される部分が含まれてよい。所定の部位は、例えば所定の物体が人である場合、顔等である。所定の部位は、例えば所定の物体が車両である場合、ナンバープレート等である。所定の部位は、例えば所定の物体が顔である場合、目等である。なお、所定の物体に、所定の部位が複数含まれてもよい。また、所定の物体には、複数種類の物体が含まれてよい。例えば、第１学習済みモデル１３１は、所定の物体として人および車両を検知するために使用されてよい。

図１に示す、第１検知部１２１、設定部１２２、第２検知部１２３、および、判断部１２４は、制御部１２のＣＰＵが記憶部１３に記憶されるプログラムに従って演算処理を実行することにより実現される制御部１２の機能である。換言すると、画像処理装置１は、第１検知部１２１と、設定部１２２と、第２検知部１２３と、判断部１２４と、を備える。なお、制御部１２は判断部１２４を備えなくてもよい。

なお、制御部１２における、第１検知部１２１、設定部１２２、第２検知部１２３、および、判断部１２４の少なくともいずれか１つは、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）等のハードウェアで構成されてもよい。

また、第１検知部１２１、設定部１２２、第２検知部１２３、および、判断部１２４は、概念的な構成要素である。１つの構成要素が実行する機能を複数の構成要素に分散させたり、複数の構成要素が有する機能を１つの構成要素に統合させたりしてよい。また、取得部１１は、制御部１２のＣＰＵがプログラムに従って演算処理を行うことによって実現される構成としてもよい。また、画像処理装置１の具体的なハードウェア構成に関して、実施の形態に応じて、適宜、構成要素の省略、置換、又は、追加を行ってよい。例えば、制御部１２は、複数のハードウェアプロセッサを含んでもよい。

第１検知部１２１は、取得した撮影画像から所定の物体および所定の物体に含まれる所定の部位を検知可能に設けられる。本実施形態では、第１検知部１２１は、記憶部１３に記憶される第１学習済みモデル１３１を用いて、所定の物体および所定の物体に含まれる所定の部位を撮影画像から検知する。第１検知部１２１は、取得部１１から取得した撮影画像の解像度を低下させた低解像度画像を用いて、第１学習済みモデル１３１による物体検知を行うことが好ましい。これにより、第１検知部１２１における物体検知処理の処理負担を低減することができる。

第１学習済みモデル１３１は、ＤＮＮを用いて所定の物体および所定の部位を検知する構成が好ましい。ただし、第１学習済みモデル１３１は、例えば、ＨＯＧ（Histogram Of Gradient）特徴量を利用したＳＶＭ（Support Vector Machine）等の他の機械学習のアルゴリズムにより所定の物体および所定の部位を検知する構成であってもよい。

なお、第１検知部１２１は、撮影画像の一部の範囲を、検知したい物体（本実施形態では所定の物体および所定の部位）を検知する検知対象領域とし、当該検知対象領域に絞って第１学習済みモデル１３１を用いた物体検知処理を行う構成としてよい。このように構成することにより、物体検知処理の処理量を低減することができる。検知対象領域は、例えば、カメラ２の既知の取付位置情報、および、カメラ２から検知対象までの予め求められた適正距離範囲等に基づいて設定されてよい。

ただし、撮影画像中に検知対象領域を設ける場合、検知対象領域外に物体が存在した場合に、その情報を得ることができない。このために、図２に示すように、第１検知部１２１にて検知処理を行う際に、撮影画像Ｐに対して、検知したい物体を検知することを目的に設けられる主検知対象領域（第１領域）ＴＲ１と、主検知対象領域ＴＲ１に隣接し、主検知対象領域ＴＲ１における検知処理を補完する目的で設けられる副検知対象領域（第２領域）Ｒ２と、が設定される構成としてよい。副検知対象領域ＴＲ２は、主検知対象領域ＴＲ１を囲む領域であってよい。

第１検知部１２１は、主検知対象領域ＴＲ１と副検知対象領域ＴＲ２とで、互いに異なる検知処理を行う構成であってよい。このような構成によれば、物体検知処理の負担を低減しつつ、検知したい物体に関する情報が減ることを抑制できる。

詳細には、主検知対象領域ＴＲ１については、例えば第１学習済みモデル１３１同様の学習済みモデル（物体の分類を行う学習済みモデル）を用いて検知処理を行い、副検知対象領域ＴＲ２については、主検知対象領域ＴＲ１とは異なる学習済みモデル（機械学習により得られる）を用いて検知処理を行う構成としてよい。副検知対象領域ＴＲ２に対して行われる検知処理は、主検知対象領域ＴＲ１に対して行われる検知処理に比べて軽負荷の処理である。副検知対象領域ＴＲ２に対しては、例えば、ピクセル毎に意味をラベル付けする画像セグメンテーションが行われる構成であってよい。

図２に示す例では、撮影画像Ｐには、副検知対象領域ＴＲ２に隣接し、検知処理が行われない検知非対象領域（第３領域）ＮＴＲが設定されている。検知非対象領域ＮＴＲは、例えば、副検知対象領域ＴＲ２を囲む構成であってよい。この検知非対象領域ＮＴＲは設定されなくてもよいが、検知非対象領域ＮＴＲが設定されることにより、第１検知部１２１の処理負担の軽減を更に図ることができる。

図１に戻って、設定部１２２は、第１検知部１２１により所定の物体および所定の部位のうち所定の物体のみが検知された場合に、第１検知部１２１の検知結果に基づき撮影画像に検知範囲を設定する。検知範囲は、検知できなかった所定の部位を検知するために設定される。検知範囲が設定される撮影画像は、取得部１１から得られた撮影画像でもよいし、取得部１１から得られた後に加工された撮影画像でもよい。加工された撮影画像とは、例えば低解像度化された撮影画像であってよい。設定部１２２は、例えば、第１検知部１２１にて所定の物体である人を検知したが所定の部位である顔を検知しなかった場合に、第１検知部１２１の検知結果に基づき、撮影画像に対して顔を検知するための検知範囲を設定する。

詳細には、設定部１２２は、所定の物体が検知された領域内において所定の部位が存在する可能性が高いと判断される領域に検知範囲を設定する。これによれば、所定の部位が存在する可能性が高い領域からを所定の部位の検知を再度試みることが可能となり、所定の部位の再検知処理を効率良く行うことができる。

本実施形態では、第１検知部１２１は、第１学習済みモデル１３１を用いた物体検知処理の際に、例えば、所定の物体の向き、姿勢、タイプ等の付加的な情報も取得可能になっている。このような付加的な情報の取得は、例えば、学習器にて第１学習済みモデル１３１を得るための機械学習を行う際に、付加的な情報に対する大量のデータを用意して教師あり学習を行わせることで可能になる。

例えば、第１検知部１２１は、第１学習済みモデル１３１を用いた物体検知処理の際に、検知した人の姿勢や向き等の付加的な情報も取得する。設定部１２２は、第１検知部１２１の検知処理で得られた人の位置情報に姿勢等の付加的な情報を加味して、撮影画像において人の顔が存在する可能性が高い領域を求める。なお、記憶部１３には、人の姿勢や向きと関連付けられた人の構造化情報が記憶されており、第１検知部１２１は、当該人の構造化情報も参照して人の顔が存在する可能性が高い領域を求めてよい。設定部１２２は、求めた領域を検知範囲に設定する。

なお、第１検知部１２１による検知処理によって所定の部位（例えば顔やナンバープレート）が検知された場合には、所定の部位を再度検知するための処理を行う必要がないために、設定部１２２は検知範囲を設定する処理は行わない。また、第１検知部１２１の検知処理によって所定の物体が検知されない場合には、撮影画像中に所定の部位が存在しないと判断されるために、設定部１２２は検知範囲を設定する処理を行わない。

第２検知部１２３は、設定部１２２により設定された検知範囲から所定の部位の検知を試みる。なお、第２検知部１２３による検知処理は、検知範囲が設定された場合のみ行われる。すなわち、第２検知部１２３による検知処理は、第１検知部１２１により所定の物体を検知できなかった場合、および、所定の部位を検知できた場合には行われない。

本実施形態では、第２検知部１２３は、記憶部１３に記憶される第２学習済みモデル１３２を用いて、設定した検知範囲から所定の部位の検知を試みる。なお、第２検知部１２３が検知処理に用いる画像は、取得部１１から取得したままの解像度の画像でよい。ただし、取得部１１から取得後に低解像度化された画像であってもよい。

第２学習済みモデル１３２を用いた第２検知部１２３の物体検知処理では、所定の部位のみが検知される。このために、第２検知部１２３の物体検知処理の処理負荷は小さくできる。本実施形態では、第２検知部１２３の検知処理は、第１検知部１２１の検知処理よりも処理負荷が小さい。第２学習済みモデル１３２は、例えば、ＤＮＮを用いて所定の部位を検知する構成であってよい。ただし、第２学習済みモデル１３２は、例えば、ＨＯＧ特徴量を利用したＳＶＭ等の他の機械学習のアルゴリズムにより所定の部位を検知する構成であってもよい。

なお、第２検知部１２３は、機械学習により得られる第２学習済みモデル１３２を利用することなく、例えば、テンプレートマッチング等の他の手法を用いて所定の部位を検知する構成であってもよい。

本実施形態によれば、第１検知部１２１により物体を検知できたにもかかわらず、当該物体の所定の部位を検知できなかった場合に、第２検知部１２３により所定の部位の検知が試みられる。このために、撮影画像に映る検知したい対象（本実施形態では、所定の物体および所定の物体に含まれる所定の部位）の未検知が生じる可能性を低減することができる。また、第２検知部１２３が所定の部位を検知する範囲は、設定部１２２により撮影画像の一部の範囲に適切に絞り込まれるために、第２検知部１２３は効率良く所定の部位を検知することができる。

判断部１２４は、第２検知部１２３の検知結果に基づき、第１検知部１２１による所定の物体の検知が誤検知であるか否かを判断する。詳細には、判断部１２４は、第２検知部１２３により所定の部位が検知できた場合に、第１検知部１２１による所定の物体の検知が誤検知でないと判断する。判断部１２４は、第２検知部１２３により所定の部位が検知できなかった場合に、第１検知部１２１による所定の物体の検知が誤検知であると判断する。これによれば、信頼性の低い情報を画像処理装置１外に出力する可能性を低減することができる。

（１－２．画像処理装置の動作例）
図３は、本発明の第１実施形態に係る画像処理装置１の動作例を示すフローチャートである。なお、画像処理装置１は、例えば、取得部１１により撮影画像が取得される毎に図３に示すフローチャートの動作を行う。

ステップＳ１では、取得部１１がカメラ２より撮影画像を取得する。取得部１１は、例えば、図４に示すような撮影画像Ｐを取得する。図４に示す撮影画像Ｐには、道路Ｒ上を１台の車両Ｖが走行している様子が映っている。撮影画像Ｐには、車両Ｖの前方のナンバープレートＮが映っている。取得部１１が撮影画像を取得すると、次のステップＳ２に処理が進められる。

ステップＳ２では、第１検知部１２１が取得した撮影画像に対して物体検知処理（第１検知処理）を行う。詳細には、第１検知部１２１は、第１学習済みモデル１３１を利用して、撮影画像から所定の物体および所定の物体に含まれる所定の部位の検知を試みる。例えば、所定の物体が車両で、当該車両に含まれる所定の部位がナンバープレートである場合、第１検知部１２１は、撮影画像に含まれる車両およびナンバープレートの検知を試みる。第１検知処理が完了すると、ステップＳ３に処理が進められる。

図５は、図４に示す撮影画像Ｐに対する第１検知部１２１の検知結果を例示する図である。図５において、太枠Ｂはバウンディングボックスである。第１検知部１２１は、バウンディングボックスＢ内の物体に対して分類を完了している。すなわち、図５に示す例では、第１検知部１２１は、撮影画像中の車両Ｖを検知することができている（バウンディングボックスＢ）が、車両Ｖに含まれる所定の部位であるナンバープレートＮを検知することはできていない。

ステップＳ３では、設定部１２２により、第１検知部１２１が所定の物体を検知したか否かが確認される。例えば、所定の物体が車両である場合、撮影画像から車両が検知されたか否かが確認される。所定の物体が検知されていると判断された場合（ステップＳ３でＹｅｓ）、ステップＳ４に処理が進められる。一方、所定の物体が検知されていないと判断された場合（ステップＳ３でＮｏ）、図３にフローチャートで示される処理が一旦終了される。

図５に示す例では、所定の物体である車両Ｖの検知ができている。このために、図５に示す例では、ステップＳ４に処理が進められる。

ステップＳ４では、設定部１２２により、第１検知部１２１が所定の物体に含まれる所定の部位を検知したか否かが確認される。例えば、所定の部位がナンバープレートである場合、撮影画像からナンバープレートが検知されたか否かが確認される。所定の部位が検知されていると判断された場合（ステップＳ４でＹｅｓ）、図３にフローチャートで示される処理が一旦終了される。一方、所定の部位が検知されていないと判断された場合（ステップＳ４でＮｏ）、ステップＳ５に処理が進められる。

なお、ステップＳ４では、ステップＳ２の処理において所定の物体が複数検知されている場合には、各所定の物体に対して所定の部位が検知されている否かが確認される。すなわち、第１検知部１２１で検知された各物体に対して、ステップＳ５に処理が進められるか否かが判断される。

図５に示す例では、車両Ｖに含まれる所定の部位であるナンバープレートＮが、第１検知部１２１によって検知されていない。このために、ステップＳ４において、ステップＳ５に処理を進めると判断される。

ステップＳ５では、設定部１２２が撮影画像に対して、所定の部位を検知するための範囲である検知範囲を設定する。例えば、検知できていない所定の部位がナンバープレートである場合、車両が検知された領域内においてナンバープレートが存在する可能性が高いと判断される領域に検知範囲が設定される。検知範囲の設定が完了すると、ステップＳ６に処理が進められる。なお、所定の部位が検知できていない所定の物体が複数ある場合には、各所定の物体に対して検知範囲が設定される。

図６は、図５に示す検知結果が第１検知部１２１により得られた場合の設定部１２２の処理について説明するための図である。図５では、ナンバープレートＮが検知できていない車両Ｖが第１検知部１２１により１つ検知されている。このため、図６に示すように、設定部１２２は、第１検知部１２１により検知できた１台の車両ＶのナンバープレートＮを検知するための検知範囲ＤＲを撮影画像に対して設定する。

本例では、第１検知部１２１は、車両Ｖが存在する領域以外に、例えば車両Ｖの向きや、車両Ｖのタイプといった付加的な情報を得ることができる構成となっている。このような付加的な情報の取得は、上述のように、例えばＤＮＮに教師あり学習を行わせた学習済みモデルを用いることで可能になる。例えば、車両Ｖの向きは、車両Ｖの向きと関係付けたタイヤの見え方が異なる大量の画像データを用いて機械学習を行わせることで取得可能になる。例えば、車両Ｖのタイプは、二輪車、軽自動車、普通自動車、大型自動車等の車両Ｖのタイプと関係付けた大量の画像データを用いて機械学習を行わせることで取得可能になる。

設定部１２２は、第１検知部１２１の検知処理で得られた車両Ｖの位置情報に車両Ｖの向きやタイプといった付加的な情報を加味して、撮影画像においてナンバープレートＮが存在する可能性が高い領域を求める。設定部１２２は、ナンバープレートＮが存在する可能性が高い領域を求めるに際して、記憶部１３に記憶される、車両Ｖの向きやタイプとナンバープレートＮの位置との関係を示す構造化情報を参照する。

ステップＳ６では、第２検知部１２３が撮影画像に設定された検知範囲から所定の部位の検知処理（第２検知処理）を試みる。詳細には、第２検知部１２３は、第２学習済みモデル１３２を利用して、設定された検知範囲から所定の部位の検知を試みる。例えば、所定の部位がナンバープレートである場合、第２検知部１２３は、撮影画像に含まれるナンバープレートの検知を試みる。第２検知処理が完了すると、ステップＳ７に処理が進められる。なお、ステップＳ５において複数の検知範囲が設定された場合には、各検知範囲に対して所定の部位を検知する処理が行われる。

図６に示す例では、撮影画像に設定された検知範囲ＤＲから、第２学習済みモデル１３２を利用したナンバープレートＮの検知が試みられる。

ステップＳ７では、判断部１２４が、ステップＳ６の第２検知処理により所定の部位が検知されたか否かを確認する。所定の部位が検知された場合（ステップＳ７でＹｅｓ）、ステップＳ８に処理が進められる。所定の部位が検知されなかった場合（ステップＳ７でＮｏ）、ステップＳ９に処理が進められる。なお、ステップＳ５において複数の検知範囲が設定された場合には、各検知範囲に対する第２検知処理の結果が確認され、各確認結果に対して、ステップＳ８とステップＳ９とのいずれに処理を進めるかが判断される。

ステップＳ８では、判断部１２４は、所定の部位が検知されているために、第１検知部１２１による所定の物体の検知が誤検知でないと判断する。そして、判断部１２４は、第１検知部１２１で所定の物体を検知した結果と、第２検知部１２３で所定の部位を検知した結果との統合処理を行う。例えば、判断部１２４は、１つの撮影画像に対して、所定の物体を検知したことを示すバウンディングボックスと、所定の部位を検知したことを示すバウンディングボックスとの両方が追加された画像を生成する。なお、統合処理は、必ずしも行われなくてよい。ステップＳ８の処理が完了すると、図３に示すフローチャートの処理が一旦終了される。

図７は、統合処理が行われた画像を示す図である。図７は、図６に示す検知範囲ＤＲを第２検知部１２３により検知処理した結果、ナンバープレートＮが検知されたことを想定した図である。図７に示すように、統合処理により、１つの撮影画像Ｐに、所定の物体である車両Ｖの検知を示すバウンディングボックスＢ１と、所定の部位であるナンバープレートＮの検知を示すバウンディングボックスＢ２とが追加された画像が生成される。

ステップＳ９では、判断部１２４は、所定の部位が検知されなかったために、第１検知部１２１による所定の物体の検知が誤検知であると判断する。第１検知部１２１の誤検知と判断された検知結果については、外部への出力が禁止される。ステップＳ９の処理が完了すると、図３に示すフローチャートの処理が一旦終了される。

＜２．第２実施形態＞
次に、第２実施形態に係る画像処理装置について説明する。第２実施形態の画像処理装置の説明に際して、第１実施形態と重複する部分については、特に説明の必要がない場合には説明を省略する。

（２－１．画像処理装置の構成）
図８は、本発明の第２実施形態に係る画像処理装置１Ａの構成を示す図である。なお、図８においては、第２実施形態の画像処理装置１Ａの特徴を説明するために必要な構成要素のみを示しており、一般的な構成要素についての記載は省略されている。また、図８には、理解を容易とするために画像処理装置１Ａとは別の構成要素であるカメラ２も示されている。なお、本実施形態では、カメラ２は、車両に搭載される。すなわち、本実施形態では、撮影画像は、車両に搭載されるカメラ２により撮影された画像である。詳細には、撮影画像は、車両に搭載されたカメラ２により撮影された車両周辺の画像である。

図８に示すように、画像処理装置１Ａは、取得部１１と、制御部１２Ａと、記憶部１３と、を備える。取得部１１および記憶部１３は、第１実施形態と同様であるために、その説明を省略する。

制御部１２Ａは、第１実施形態と同様に、画像処理装置１Ａの全体を統括的に制御するコントローラである。制御部１２Ａは、例えば、ＣＰＵ、ＲＡＭ、および、ＲＯＭ等を含むコンピュータとして構成される。ただし、制御部１２Ａは、第１実施形態と異なる機能を備える。図８に示す、第１検知部１２１、設定部１２２、第２検知部１２３、判断部１２４、および、推定部１２５は、制御部１２ＡのＣＰＵが記憶部１３に記憶されるプログラムに従って演算処理を実行することにより実現される制御部１２Ａの機能である。換言すると、画像処理装置１Ａは、第１検知部１２１と、設定部１２２と、第２検知部１２３と、判断部１２４と、推定部１２５と、を備える。

なお、制御部１２Ａの各部１２１～１２５の少なくともいずれか１つは、ＡＳＩＣ、ＦＰＧＡ、ＧＰＵ等のハードウェアで構成されてもよい。また、各部１２１～１２５は、概念的な構成要素である。１つの構成要素が実行する機能を複数の構成要素に分散させたり、複数の構成要素が有する機能を１つの構成要素に統合させたりしてよい。また、各部１２１～１２５のうち、設定部１２２、第２検知部１２３、および、判断部１２４のうちの少なくともいずれか１つは、適宜、省略されてよい。

第１検知部１２１、設定部１２２、第２検知部１２３、および、判断部１２４の構成は、第１実施形態と同様であるために、その説明を省略する。なお、制御部１２Ａが、例えば、設定部１２２、第２検知部１２３、および、判断部１２４を備えない構成である場合、第１検知部１２１は、単に機械学習による学習が行われた学習済みモデルを用いて所定の物体を検知する構成であってよい。

推定部１２５は、車両の走行環境を推定する。ここで、車両は、カメラ２が搭載された車両である。車両の走行環境は、例えば、車両の周辺に存在する物体（例えば周辺車両、人、静止物等）との距離、車両の周辺の明るさ、車両が走行する道路状況、車両が走行する道路の種別（一般道／高速道路等）、運転モード（自動運転）等である。推定部１２５は、例えば、車両に備えられる各種のセンサや装置等から取得される情報に基づき走行環境を推定する。

各種のセンサには、例えば、レーダ、ＬＩＤＡＲ（Laser Imaging Detection and Ranging）、超音波センサ、速度センサ、舵角センサ、ＧＰＳ（Global Positioning System）等が含まれてよい。各種のセンサには、カメラ２も含まれてよい。各種の装置には、例えばナビゲーション装置等の外部装置と通信により情報（道路情報等）を得ることができる装置が含まれてよい。例えば、車両の周辺に存在する物体との距離は、レーダ、ＬＩＤＡＲ、超音波センサ、カメラ２等から取得することができる。

本実施形態の画像処理装置１Ａにおいては、第１検知部１２１が検知処理に用いる撮影画像の解像度は、走行環境に基づいて調整される。撮影画像の解像度の調整は、例えば、第１検知部１２１や、新たなに設けられる解像度調整部によって実行される。第１検知部１２１による検知処理で用いられる撮影画像の解像度は、取得部１１で取得した撮影画像の解像度から低下される。この解像度の低下度合いが、推定部１２５により推定される走行環境に基づいて調整される。

物体の検知精度が物体検知に要する処理時間より優先されると走行環境に基づき判断される第１の場合と、前述の処理時間が前述の検知精度より優先されると走行環境に基づき判断される第２の場合とで、解像度の低下度合いが異なる。詳細には、第１の場合の方が、解像度の低下度合いが第２の場合に比べて小さくされる。すなわち、第１学習済みモデル１３１に入力される撮影画像の解像度は、第１の場合の方が第２の場合に比べて大きい。

例えば、車両周辺に存在する物体との距離が長い場合には、処理時間に余裕があり、物体の検知精度が良いことが望まれる。一方、車両周辺に存在する物体との距離が短い場合には、処理時間に余裕がなく、短い時間で物体を検知することが望まれる。このために、推定部１２５によって物体までの距離が所定の距離以下であると判断される場合（第２の場合に該当）には、物体までの距離が所定の距離より長いと判断される場合（第１の場合に該当）に比べて、第１学習済みモデル１３１に入力される撮影画像の解像度は小さくされる。

本実施形態のように、第１検知部１２１の物体検知に用いる撮影画像の解像度を、取得部１１で取得された撮影画像の解像度より低下させると、第１検知部１２１の処理負担を低減させることができる。そして、本実施形態では、走行環境に応じて撮影画像の解像度の低下度合いを調整する構成であり、単純に第１検知部１２１の物体検知に用いる撮影画像の解像度を低下させるわけではない。本実施形態によれば、物体検知における処理量を適度に低減させつつ、検知精度の低下を適度に抑制した適切な物体検知処理を行うことができる。

（２－２．画像処理装置の動作例）
図９は、本発明の第２実施形態に係る画像処理装置１Ａの動作例を示すフローチャートである。図９に示す動作例は、第１実施形態の画像処理装置１の動作例（図３参照）と概ね同様である。図９において、図３と同様である一部の処理（ステップＳ２より後の処理）は省略されている。図９に示す動作例では、図３の示す動作例のステップＳ１の処理とステップＳ２の処理との間に、ステップＳ１１の処理とステップＳ１２の処理とが行われ、この点が第１実施形態と異なる。この異なる部分の処理について以下説明する。

ステップＳ１１では、推定部１２５によりカメラ２が搭載される車両の走行環境が推定される。走行環境が推定されると次のステップＳ１２に処理が進められる。なお、本例では、ステップＳ１１の処理がステップＳ１の処理（画像の取得処理）の後に行われる構成となっているが、ステップＳ１１の処理は、例えばステップＳ１の処理と並行して進められてよい。

ステップＳ１２では、推定部１２５により得られた走行環境の推定結果を利用して、取得部１１で取得した撮影画像の解像度の調整処理が行われる。本例では、解像度の調整処理は、解像度の低下度合いを調整する処理である。ステップＳ１２の処理が完了すると、ステップＳ２に処理が進められ、解像度が調整された撮影画像を用いて第１物体検知処理が行われる。これ以降の処理は、第１実施形態と同様であるために説明を省略する。

＜３．第３実施形態＞
次に、第３実施形態に係る画像処理装置について説明する。第３実施形態の画像処理装置の説明に際して、第１実施形態および第２実施形態と重複する部分については、特に説明の必要がない場合には説明を省略する。

（３－１．画像処理装置の構成）
第３実施形態の画像処理装置の構成は、第２実施形態の画像処理装置の構成と同様である。第３実施形態の画像処理装置も推定部１２５を備える。ただし、推定部１２５による推定結果の利用の仕方が異なる。以下、この異なる点に絞って説明する。なお、第３実施形態においても、カメラ２は車両に搭載され、撮影画像は、車両に搭載されるカメラ２により撮影された画像である。詳細には、撮影画像は、車両に搭載されたカメラ２により撮影された車両周辺の画像である。

第３実施形態においては、第１検知部１２１は、推定部１２５により推定された走行環境に基づき、所定の物体および所定の物体に含まれる所定の部位を検知する検知処理を変更する。走行環境が異なると、撮影画像に映る要素の傾向が変わる。例えば、市街地走行時の撮影画像の方が、高速道路走行時の撮影画像に比べて撮影画像に映る要素が多くなる傾向がある。本実施形態のように、物体の検知処理を走行環境によって変更することで、物体の検知処理の条件を適切として、物体検知に要する時間が長くなり過ぎたり、物体の検知精度が低下したりすることを抑制できる。

第３実施形態の画像処理装置においても、第１実施形態および第２実施形態と同様に、第１検知部１２１は、機械学習により生成された学習済みモデルを用いて所定の物体および所定の物体に含まれる所定の部位を検知可能に設けられる。ただし、第３実施形態では、第１検知部１２１は、記憶部１３に記憶される１つの第１学習済みモデル１３１のみを使用するのではない。

第１検知部１２１は、使用する学習済みモデルを、推定部１２５により推定された走行環境に基づき変更する。すなわち、本実施形態では、記憶部１３には、第１学習済みモデル１３１の代わりに、第１検知部１２１が走行環境に応じて使い分ける複数の学習済みモデルが記憶されている。走行環境に応じて使い分けられる複数の学習済みモデルの数は、２つ以上であればよく、その数は適宜変更されてよい。本実施形態によれば、走行環境に応じて適切な学習済みモデルを用いて物体検知を行え、検知処理に要する時間を短時間化したり、検知精度の低下を抑制したりすることができる。

なお、走行環境に応じて使い分けられる複数の学習済みモデルは、記憶部１３に予め記憶されていなくてもよい。例えば、サーバ装置等のネットワークを介して通信を行うことができる装置から、必要に応じてダウンロードされる構成としてよい。この場合、初期状態において、記憶部１３には、第１検知部１２１が用いる学習済みモデルが１つも記憶されない構成としてもよいが、第１検知部１２１が用いる学習済みモデルが少なくとも１つ記憶される構成としてよい。また、学習済みモデルがダウンロードされる構成では、例えばダウンロードが実行される毎に、記憶部１３に既に記憶されていた学習済みモデルの少なくとも一部が削除される構成としてよい。

（３－２．画像処理装置の動作例）
図１０は、本発明の第３実施形態に係る画像処理装置の動作例を示すフローチャートである。図１０に示す動作例は、第１実施形態の画像処理装置１の動作例（図３参照）と概ね同様である。図１０において、図３と同様である一部の処理（ステップＳ２より後の処理）は省略されている。図１０に示す動作例では、図３の示す動作例のステップＳ１の処理とステップＳ２の処理との間に、ステップＳ１３の処理とステップＳ１４の処理とが行われ、この点が第１実施形態と異なる。この異なる部分の処理について以下説明する。

ステップＳ１３では、推定部１２５によりカメラ２が搭載される車両の走行環境が推定される。走行環境が推定されると次のステップＳ１２に処理が進められる。なお、本例では、ステップＳ１３の処理がステップＳ１の処理（画像の取得処理）の後に行われる構成となっているが、ステップＳ１３の処理は、例えばステップＳ１の処理と並行して進められてよい。

ステップＳ１４では、推定部１２５により得られた走行環境の推定結果を利用して、第１検知部１２１が所定の物体および所定の物体に含まれる所定の部位を検知するために使用する学習済みモデルが決定される。ステップＳ１４の処理が完了すると、ステップＳ２に処理が進められ、第１検知部１２１は、先に決定した学習済みモデルを使用して第１物体検知処理を行う。外部から学習済みモデルをダウンロードする必要がある場合には、第１物体検知処理の前に、当該ダウンロードが行われる。ステップＳ２による第１物体検知処理以降の処理は、第１実施形態と同様であるために説明を省略する。

＜４．留意事項等＞
本明細書中に開示されている種々の技術的特徴は、上記実施形態のほか、その技術的創作の主旨を逸脱しない範囲で種々の変更を加えることが可能である。すなわち、上記実施形態は、全ての点で例示であって、制限的なものではないと考えられるべきであり、本発明の技術的範囲は、上記実施形態の説明ではなく、特許請求の範囲によって示されるものであり、特許請求の範囲と均等の意味及び範囲内に属する全ての変更が含まれると理解されるべきである。また、本明細書中に示される複数の実施形態及び変形例は可能な範囲で適宜組み合わせて実施されてよい。

１、１Ａ・・・画像処理装置
１２１・・・第１検知部
１２２・・・設定部
１２３・・・第２検知部
１２４・・・判断部
１２５・・・推定部
ＤＲ・・・検知範囲
Ｐ・・・撮影画像
ＴＲ１・・・主検知対象領域
ＴＲ２・・・副検知対象領域
Ｖ・・・車両

Claims (13)

1. 制御部を備える画像処理装置であって、
   前記制御部は、
   取得した撮影画像の解像度を低下させた低解像度画像から検知対象物体および前記検知対象物体に含まれる検知対象部位を検知する第１検知処理を行い、
   前記第１検知処理により前記検知対象物体および前記検知対象部位のうち前記検知対象物体のみが検知された場合に、前記撮影画像において、前記第１検知処理により検知された前記検知対象物体の領域内であって、当該領域よりも狭い検知範囲を設定する検知範囲設定処理を行い、
   前記検知範囲設定処理で設定された検知範囲から前記検知対象部位を検知する第２検知処理を行う、画像処理装置。
2. 前記第２検知処理を行う画像は、取得した前記撮影画像を低解像度に加工した画像である、請求項１に記載の画像処理装置。
3. 前記制御部は、
   前記第１検知処理により前記検知対象部位が検知された場合に、前記第２検知処理を行わず検知処理を終了し、
   前記第１検知処理により前記検知対象物体が検知されなかった場合に、前記第２検知処理を行わず検知処理を終了する、請求項１又は２に記載の画像処理装置。
4. 前記検知範囲設定処理は、前記検知対象物体が検知された領域内において前記検知対象部位が存在する可能性が高いと判断される領域に前記検知範囲を設定する処理である、請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記制御部は、
   前記第１検知処理として、
   前記検知対象物体および前記検知対象部位を検知する目的で設けられる主検知対象領域を設定し、
   前記主検知対象領域に隣接し、前記主検知対象領域における検知処理を補完する目的で設けられる副検知対象領域を設定し、
   前記主検知対象領域と前記副検知対象領域とで、互いに異なる検知処理を行う、請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記制御部は、
   前記第２検知処理の検知結果に基づき、前記第１検知処理による前記検知対象物体の検知が誤検知であるか否かを判断する、請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記撮影画像は、車両に搭載されるカメラにより撮影された画像であり、
   前記制御部は、
   前記車両の走行環境を推定する推定処理を行い、
   前記第１検知処理に用いる前記撮影画像の解像度を、前記走行環境に基づいて調整する、請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記撮影画像は、車両に搭載されるカメラにより撮影された画像であり、
   前記制御部は、
   前記車両の走行環境を推定する推定処理を行い、
   前記走行環境に基づき、前記第１検知処理における前記検知対象物体および前記検知対象部位を検知する検知処理を変更する、請求項１から６のいずれか１項に記載の画像処理装置。
9. 前記第１検知処理は、機械学習により生成された学習済みモデルを用いて前記検知対象物体および前記検知対象部位を検知する処理であって、
   前記制御部は、前記第１検知処理において、使用する前記学習済みモデルを前記走行環境に基づき変更する、請求項８に記載の画像処理装置。
10. 前記検知対象物体は車両であり、
    前記検知対象部位は車両のナンバープレートである、請求項１から９のいずれか１項に記載の画像処理装置。
11. 前記検知対象物体は人であり、
    前記検知対象部位は顔である、請求項１から９のいずれか１項に記載の画像処理装置。
12. 制御部が実行する画像処理方法であって、
    取得した撮影画像の解像度を低下させた低解像度画像から検知対象物体および前記検知対象物体に含まれる検知対象部位を検知する第１検知工程と、
    前記第１検知工程により前記検知対象物体および前記検知対象部位のうち前記検知対象物体のみが検知された場合に、前記撮影画像において、前記第１検知工程により検知された前記検知対象物体の領域内であって、当該領域よりも狭い検知範囲を設定する設定工程と、
    前記検知範囲から前記検知対象部位を検知する第２検知工程と、
    を備える、画像処理方法。
13. 制御部に、
    取得した撮影画像の解像度を低下させた低解像度画像から検知対象物体および前記検知対象物体に含まれる検知対象部位を検知する第１検知工程と、
    前記第１検知工程により前記検知対象物体および前記検知対象部位のうち前記検知対象物体のみが検知された場合に、前記撮影画像において、前記第１検知工程により検知された前記検知対象物体の領域内であって、当該領域よりも狭い検知範囲を設定する設定工程と、
    前記検知範囲から前記検知対象部位を検知する第２検知工程と、
    を実行させるためのプログラム。

Images