JP6930243B2 - 画像処理装置 - Google Patents

Description

本開示は、画像処理装置に関する。

例えば特許文献１に記載のように、カメラによって撮像された撮像画像から特定の識別対象を検出する画像処理の技術が知られている。この種の画像処理の技術は、車両の運転の補助、例えば、車両の周辺に存在する歩行者等の識別対象の検出に用いられている。車両に用いられる画像処理では、例えば、撮像画像において、撮像画像の全領域よりも小さい識別領域を複数の位置に移動させ、複数の位置のそれぞれにおいて、識別領域内の画像に識別対象が存在するか否かを判定することにより、撮像画像から識別対象を検出する。

特開平９−２３１３６５号公報

ところで、前述したような画像処理では、識別対象の一部が撮像画像からはみだしていると、識別対象が検出されにくくなる。
本開示の一局面は、識別対象の一部が撮像画像からはみだしている場合でも、識別対象の検出がされやすい画像処理装置を提供することを目的としている。

本開示の一態様は、撮像画像（６１）において識別対象（７）を検出するための画像処理装置（２）であって、生成部（Ｓ２）と、検出部（Ｓ３）と、を備える。生成部は、撮像画像の外側の少なくとも一部に補助画像（６２）が付加された画像である処理対象画像（６）を生成する。検出部は、処理対象画像において、処理対象画像の全領域よりも小さい識別領域（８）を複数の位置に移動させ、複数の位置のそれぞれにおいて識別領域内の画像に識別対象が存在するか否かを判定することにより、撮像画像から識別対象を検出する。

このような構成によれば、識別対象の一部が撮像画像からはみだしている場合でも、識別対象が検出されやすくなる。具体的には、例えば、識別領域が撮像画像の領域のみを移動する場合、識別対象の一部が撮像画像からはみだしていると、識別対象の検出に適した位置まで識別領域が移動できないため、識別対象が検出されにくくなる。これに対し、本開示の一態様の画像処理装置では、識別領域の移動できる範囲が、撮像画像の領域だけでなく補助画像の領域まで拡張される。これにより、識別対象の検出に適した位置まで識別領域が移動可能となる。その結果、識別対象の一部が撮像画像からはみだしている場合でも、識別対象を検出されやすくことができる。

本実施形態における車載システムの構成を示すブロック図である。 本実施形態における画像処理のフローチャートである。 本実施形態における撮像画像の一例を示す図である。 本実施形態における処理対象画像の一例を示す図である。

以下、本発明の例示的な実施形態について図面を参照しながら説明する。また、下記の実施形態の説明で用いる符号を特許請求の範囲にも適宜使用しているが、これは本開示の理解を容易にする目的で使用しており、特許請求の範囲の解釈を限定する意図ではない。

［１．構成］
図１に示す車載システム１００は、車両に搭載されたシステムであって、カメラ１と、ＥＣＵ２と、ディスプレイ３と、報知部４と、ブレーキ制御部５と、を備える。

カメラ１は、車両の前方を撮像するカメラである。カメラ１は、車両における前方中央付近に取り付けられている。カメラ１は、車両の前方を撮像した撮像画像のデータを、ＥＣＵ２に入力する。なお、本実施形態における撮像画像は長方形である。

ＥＣＵ２は、車両の周辺に存在する識別対象を検出するための電子制御装置である。ＥＣＵ２は、ＲＯＭ２１と、図示しないＣＰＵ及びＲＡＭと、を中心とする周知のマイクロコンピュータを備える。ＥＣＵ２は、非遷移的実体的記録媒体であるＲＯＭ２１に記録されているプログラムをＣＰＵが実行することにより、後述する画像処理を行う。

ここで、ＲＯＭ２１には、後述する画像処理において、ＥＣＵ２が車両の周辺に存在する識別対象を検出するために用いられる基準ＨＯＧ特徴量が記憶されている。なお、基準ＨＯＧ特徴量については、後述する画像処理において詳しく説明する。

ディスプレイ３は、カメラ１による撮像画像を表示するディスプレイである。また、ディスプレイ３は、後述する画像処理によって識別対象が検出された旨を表す情報として、識別対象を囲む枠を撮像画像上に表示する。ディスプレイ３は、例えば、運転席前方に設置された専用ディスプレイ、運転席のメータに組み込まれたディスプレイ、及び運転席前方のガラスに映像を表示するいわゆるヘッドアップディスプレイなどでもよく、特に限定されない。

報知部４は、ＥＣＵ２から出力される指示に従い、識別対象が車両の周辺に存在する旨を報知する。具体的には、報知部４は、車室内に設置されたスピーカーであって、運転者に対し、警告音を出力することによって識別対象が車両の周辺に存在する旨を報知する。

ブレーキ制御部５は、ＥＣＵ２から出力される指示に従い、車両のブレーキを自動的に作動させる制御を行う。
［２．処理］
次に、車載システム１００のＥＣＵ２が実行する画像処理について、図２のフローチャートを用いて説明する。画像処理は、運転者の操作によって、シフトレバー位置がドライブに変更されることにより開始され、一定時間ごとに繰り返し行われる。なお、処理及び後述する効果における「中心」とは、左右方向における中心のことを指すものとする。

まず、Ｓ１で、ＥＣＵ２は、カメラ１から撮像画像を受信する。図３に示す撮像画像６１は、カメラ１から受信した撮像画像の一例である。撮像画像６１には、車両の周辺の図示しない景色とともに、右端側に歩行者７が撮像されている。ただし、歩行者７の体の一部は、撮像画像６１からはみだしているため、実質的に撮像画像６１には歩行者７の残りの部分である撮像部分７１のみが撮像されている。

次に、Ｓ２で、ＥＣＵ２は、図４に示す処理対象画像６を生成する。処理対象画像６は、撮像画像６１の外側の少なくとも一部、本実施形態では撮像画像６１の全周を囲むように、補助画像６２が付加された画像である。

ここで、補助画像６２について説明する。補助画像６２は、外形が長方形の画像であって、撮像画像６１の全周を囲む枠状の画像である。補助画像６２は、撮像画像６１に対して隙間なく隣接する。補助画像６２の画素値はあらかじめ決められており、本実施形態では画素値が一定である。補助画像６２の幅は、後述する識別領域８を処理対象画像６におけるどの位置に移動させた場合にも撮像画像６１の少なくとも一部が識別領域８に含まれるという条件を満たす範囲の長さに設定されている。

次に、Ｓ３で、ＥＣＵ２は、処理対象画像６のテンプレートマッチングを行う。具体的には、まず、ＥＣＵ２は、処理対象画像６において、識別領域８を複数の位置に移動させる。識別領域８は、処理対象画像６の全領域よりも小さい、あらかじめ決められた大きさの矩形状の領域である。ここで、識別領域８の移動について説明すると、ＥＣＵ２は、識別領域８を、図４に示す矢印Ｂに沿って処理対象画像６の全領域を通過するように、換言すれば識別領域８が通過しない部分が処理対象画像６内に存在しないように、処理対象画像６内を移動させる。そして、ＥＣＵ２は、当該複数の位置のそれぞれにおいて、識別領域８内の画像に歩行者７が存在するか否かを以下の処理によって判定する。

まず、ＥＣＵ２は、識別領域８を移動させながら、識別領域８の位置ごとに、輝度の勾配強度を勾配方向ごとにヒストグラム化した特徴ベクトルであるＨＯＧ特徴量を算出する。なお、このようなＨＯＧ特徴量の算出方法自体は周知であるため、詳細な説明は割愛する。

ＥＣＵ２は、ＨＯＧ特徴量と、ＲＯＭ２１に記憶されている基準ＨＯＧ特徴量とを、当該ＨＯＧ特徴量を算出した識別領域８の位置ごとに比較する。ここで、基準ＨＯＧ特徴量について説明する。基準ＨＯＧ特徴量とは、あらかじめ学習等により定められた、基準とすべき識別対象の全体形状に基づいて算出されたＨＯＧ特徴量である。本実施形態では、歩行者７の頭部を中心位置とした歩行者７の全身を表す形状に基づいて算出された基準ＨＯＧ特徴量が、ＲＯＭ２１に記憶されている。つまり、ＥＣＵ２は、処理対象画像６内において識別領域８を移動させながら、識別領域８の各位置における、識別領域８のＨＯＧ特徴量と基準ＨＯＧ特徴量との類似度を算出する周知のテンプレートマッチングの処理を行う。なお、当該類似度は、その位置に歩行者７が存在する可能性の高さを示し、識別領域８の位置が識別対象を検出できる所定の位置、例えば、識別対象の全体形状を包含する位置に近づくほど、類似度が高くなる。

次に、ＥＣＵ２は、識別領域８の各位置におけるテンプレートマッチングにおいて、算出した類似度があらかじめ設定されたしきい値以上である場合は、当該類似度が算出された識別領域８の位置に歩行者７が存在すると判定する。当該しきい値は、処理対象画像６における撮像画像６１の領域に歩行者７が撮像されている場合に、ＥＣＵ２が歩行者７の存在を検出できるよう設定された値である。

ところで、図３に示すように、歩行者７の体の一部は撮像画像６１からはみだしており、歩行者７における撮像部分７１のみが撮像画像６１に撮像されている。ここで、仮に、撮像画像６１に補助画像６２を付加せず、撮像画像６１のみにおいてテンプレートマッチングを行ったとした場合、ＥＣＵ２は、識別領域８を図３に示す矢印Ａに沿って撮像画像６１内を移動させることとなる。そうすると、識別領域８が撮像画像６１内において撮像部分７１を最も包含する位置である包含位置は、図３に示すように撮像画像６１の最右端であるため、撮像部分７１は、識別領域８のおおよそ右半分の領域に包含される。この包含位置においてＥＣＵ２がテンプレートマッチングを行う場合、ＥＣＵ２は、識別領域８のＨＯＧ特徴量と、基準ＨＯＧ特徴量とを比較することとなる。すなわち、ＥＣＵ２は、歩行者７の体の中心が識別領域８の右側に偏って位置する撮像部分７１の形状に基づいて算出されたＨＯＧ特徴量と、歩行者７の頭部を中心位置とした歩行者７の全身を表す形状に基づいて算出された基準ＨＯＧ特徴量とを比較することとなる。その結果、両者の類似度は低くなり、しきい値よりも低い場合は、ＥＣＵ２は歩行者７を検出できない。

これに対し、本実施形態の処理対象画像６においてテンプレートマッチングを行う場合、ＥＣＵ２は、識別領域８を、図４に示す矢印Ｂに沿って処理対象画像６内を移動させる。そうすると、識別領域８の処理対象画像６内における包含位置は、撮像画像６１に補助画像６２が付加されているため、図４に示すように、図３に示す包含位置よりも右にずれた位置となる。このため、撮像部分７１は、歩行者７の頭部を含む体の中心が、識別領域８の中心付近に位置して、識別領域８に包含されることとなる。この包含位置においてＥＣＵ２がテンプレートマッチングを行うと、ＥＣＵ２は、歩行者７の体が識別領域８の中心付近に位置する撮像部分７１の形状に基づいて算出されたＨＯＧ特徴量と、歩行者７の頭部を中心位置とした歩行者７の全身を表す形状に基づいて算出された基準ＨＯＧ特徴量とを比較することとなる。その結果、両者の類似度は、包含位置における撮像部分７１の中心が識別領域８の中心に対して偏っている場合と比較して高くなり、しきい値よりも高い場合は、ＥＣＵ２は歩行者７を検出できる。

次に、Ｓ４で、ＥＣＵ２は、テンプレートマッチングの結果に応じた処理を実行する。具体的には、ＥＣＵ２は、Ｓ３の処理で歩行者７を検出した場合、運転者に歩行者７の存在を報知する。具体的には、ＥＣＵ２は、ディスプレイ３に対し、歩行者７が検出された旨を表す情報として、歩行者７を囲む枠を表示させる指示を出力する。なお、歩行者７が車両の近くに存在する場合は、ＥＣＵ２が、ディスプレイ３に枠を表示させる指示とともに、報知部４に対し警告音を出力させる指示及びブレーキ制御部５に対しブレーキを作動させる指示を出力するようにしてもよい。一方、Ｓ３の処理でＥＣＵ２が歩行者７を検出しなかった場合、ＥＣＵ２は、歩行者７の存在を報知する処理を行わない。Ｓ４の処理の後、ＥＣＵ２は、図２の画像処理を終了する。

［３．効果］
以上詳述した本実施形態によれば、以下の効果が得られる。
（１ａ）ＥＣＵ２は、撮像画像６１の全周を囲むように補助画像６２が付加された処理対象画像６においてテンプレートマッチングを行う。このため、識別領域８の移動できる範囲が、撮像画像６１の領域だけでなく補助画像６２の領域まで拡張される。これにより、歩行者７の一部が撮像画像６１からはみだしている場合でも、識別領域８は、歩行者７の検出に適した位置、すなわち、歩行者７の頭部を含む体の中心が識別領域８の中心付近まで、識別領域８が移動することができる。したがって、基準ＨＯＧ特徴量に基づき設定される歩行者７の位置と、撮像画像６１における歩行者７の位置と、のズレを小さくすることができる。その結果、撮像部分７１の形状に基づいて算出されたＨＯＧ特徴量と、基準ＨＯＧ特徴量との類似度が高くなり、歩行者７の一部が撮像画像６１からはみだしている場合でも、ＥＣＵ２が歩行者７を検出しやすくすることができる。

（１ｂ）補助画像６２の幅は、識別領域８を処理対象画像６におけるどの位置に移動させた場合にも撮像画像６１の少なくとも一部が識別領域８に含まれるという条件を満たす範囲の長さに設定されている。つまり、補助画像６２の大きさは、識別領域８を包含しない大きさに設定されている。このような構成によれば、処理対象画像６が必要以上に大きくならないため、補助画像６２の付加によるテンプレートマッチングの処理負荷の増加が不要に大きくならないようにすることができる。

（１ｃ）処理対象画像６は、撮像画像６１の全周を囲むように補助画像６２が付加された画像である。このような構成によれば、撮像画像の全周における一部にのみ補助画像が付加された画像と比較して、ＥＣＵ２が歩行者７を検出しやすくすることができる。

（１ｄ）補助画像６２は、画素値が一定の画像である。このような構成によれば、例えば画素値が一定でない補助画像が用いられる場合と比較して、類似度が誤って高く算出されることによる歩行者７の誤検出を生じにくくすることができる。

なお、本実施形態では、ＥＣＵ２が画像処理装置に相当し、歩行者７が識別対象に相当し、Ｓ２が生成部としての処理に相当し、Ｓ３が検出部としての処理に相当する。
［４．他の実施形態］
以上、本開示の実施形態について説明したが、本開示は、上記実施形態に限定されることなく、種々の形態を採り得ることは言うまでもない。

（２ａ）上記実施形態では、車両の前方を撮像するカメラ１によって撮像された撮像画像６１を対象として画像処理を行う構成を例示した。しかし、画像処理の対象となる画像はこれに限定されるものではない。画像処理の対象は、例えば車両の後方や側方を撮像するカメラによって撮像された撮像画像であってもよい。

（２ｂ）上記実施形態では、撮像画像６１の全周を囲むように補助画像６２が付加された処理対象画像６を例示したが、補助画像は、撮像画像の外側の少なくとも一部に付加されていればよい。例えば、歩行者や障害物など、地上にある物体を画像処理の識別対象とする場合は、識別対象が一部はみだして撮像画像の上部に撮像される可能性は低い。このような場合、補助画像は、撮像画像の左、右及び下の部分を囲むように撮像画像に付加されてもよい。

（２ｃ）上記実施形態では、画素値が一定の補助画像６２を例示した。しかし補助画像の態様は特に限定されず、例えば、画素値が一定でない画像を補助画像としてもよい。
（２ｄ）上記実施形態では、長方形の撮像画像６１、及び撮像画像６１の全周を囲む外形が長方形状の補助画像６２を例示したが、撮像画像及び補助画像の形状はこれに限定されるものではない。例えば、撮像画像の形状は、正方形や楕円などであってもよい。また、補助画像の形状も、撮像画像の少なくとも一部を囲む形状であればよく、例えば楕円状の撮像画像の全周を囲むように、外形が楕円状であってもよい。

（２ｅ）上記実施形態では、車載システム１００に搭載された、画像処理装置としてのＥＣＵ２を例示したが、画像処理装置が搭載される対象は特に限定されるものではない。
（２ｆ）上記実施形態における１つの構成要素が有する機能を複数の構成要素として分散させたり、複数の構成要素が有する機能を１つの構成要素に統合したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加、置換等してもよい。なお、特許請求の範囲に記載の文言から特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。

１…カメラ、２…ＥＣＵ、３…ディスプレイ、４…報知部、５…ブレーキ制御部、６…処理対象画像、７…歩行者、８…識別領域、２１…ＲＯＭ、６１…撮像画像、６２…補助画像、７１…撮像部分、１００…車載システム。

Claims (4)

1. 撮像画像（６１）において識別対象（７）を検出するための画像処理装置（２）であって、
   前記撮像画像の外側の少なくとも一部に補助画像（６２）が付加された画像である処理対象画像（６）を生成する生成部（Ｓ２）と、
   前記処理対象画像において、前記処理対象画像の全領域よりも小さい識別領域（８）を複数の位置に移動させ、前記複数の位置のそれぞれにおいて前記識別領域内の画像に前記識別対象が存在するか否かを判定することにより、前記撮像画像から前記識別対象を検出する検出部（Ｓ３）と、
   を備える、画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記補助画像は、前記識別領域を包含しない大きさである、画像処理装置。
3. 請求項１又は請求項２に記載の画像処理装置であって、
   前記処理対象画像は、前記撮像画像の全周を囲むように前記補助画像が付加された画像である、画像処理装置。
4. 請求項１から請求項３までのいずれか１項に記載の画像処理装置であって、
   前記補助画像は、あらかじめ決められた画像である、画像処理装置。

Images