JP6669062B2 - 画像処理装置 - Google Patents

Description

本開示は、画像を処理する技術に関する。

撮像装置により撮像された画像を取得し、取得した画像中に含まれる物標を認識する技術において、撮像された画像に対してデータ量を低減するために解像度を低く設定することによりデータを圧縮する技術が知られている。

ここで、取得した画像中に、認識するために必要最低限の解像度である必要解像度が異なる物標が存在した場合、一律の圧縮率で画像を圧縮したときには、画像の圧縮について不具合が生じる可能性が考えられる。

ここでいう不具合とは、例えば、必要解像度が高い物標に合わせて画像全体を一律の圧縮率で圧縮した場合、必要解像度が低い物標が映り込んでいる部分は十分に圧縮がなされない可能性が考えられる。その結果、必要解像度が低い物標が映り込んでいる部分のデータ量は、必要解像度まで圧縮した場合のデータ量に比べて大きくなる可能性が考えられる。一方、必要解像度が低い物標に合わせて画像を一律の圧縮率で圧縮した場合、必要解像度が高い物標が映り込んでいる部分は、必要解像度よりも過度に圧縮されることになり、物標を認識できない。

つまり、画像中に映り込んだ物標に応じて適切な圧縮率で圧縮する必要がある。
例えば、特許文献１には、取得した画像において、画像の部分ごとの空間周波数を測定し、当該測定された空間周波数を用いて、部分ごとに異なる解像度の画像を作成することで、画像全体のデータ量を低減する技術が提案されている。

特開２０１５−１７７３００号公報

しかしながら、特許文献１に記載の画像圧縮を行うためには、画像を読み出し、空間周波数を測定する必要があり、その測定のための処理負荷がかかる。
本開示は、処理の負荷を低減した上で撮像画像を圧縮する技術を提供することを目的とする。

本開示の一態様は、画像取得部（Ｓ１１０）と、対象設定部（Ｓ１２０）と、編集部（Ｓ１３０、Ｓ１４０）と、認識部（Ｓ１５０）と、を備える。編集部は、範囲設定部（Ｓ１３０）と、圧縮部（Ｓ１４０）と、を備える。画像取得部は、撮像装置により撮像された画像である撮像画像を取得する。対象設定部は、撮像画像中に含まれることが想定される物標の種類である対象種類を設定する。編集部は、対象設定部により設定された対象種類に応じて画像を編集する。認識部は、編集部により編集された画像から、対象種類に属する物標である設定物標を認識する。範囲設定部は、設定物標についてあらかじめ決められた撮像画像上の範囲を抽出範囲として設定する。圧縮部は、設定物標に応じて決められた圧縮率で抽出範囲の画像を圧縮する。

このような構成によれば、処理の負荷を低減した上で撮像画像を圧縮することができる。
なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。

画像認識装置のブロック図である。 画像処理のフローチャートである。 フレームごとの対象種類の切り替えを表した図である。 対象種類ごとの抽出範囲を表した図である。 対象種類ごとの抽出範囲を表した俯瞰図である。 画素値の平均化を表した図である。

以下、図面を参照しながら、本開示の実施形態を説明する。
［１．実施形態］
［構成］
図１に示す画像認識装置１は、車両に備えられ、撮像装置１０と、画像処理装置２０と、を備える。なお、以下画像認識装置１が備えられる車両を自車とする。

撮像装置１０は、ＣＣＤやＣＭＯＳなどの撮像素子を二次元的に配置してなるイメージセンサを用いて構成された周知のＣＣＤカメラまたはＣＭＯＳカメラからなる。撮像装置１０は、自車の前方を撮像するように例えば光軸方向が自車の進行方向に一致するように自車のルームミラー近くに設置される。

画像処理装置２０は、ＣＰＵ２１と、ＲＡＭ、ＲＯＭ、フラッシュメモリ等の半導体メモリと、を有する周知のマイクロコンピュータを中心に構成される。画像処理装置２０の各種機能は、ＣＰＵ２１が非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、メモリ２２が、プログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムが実行されることで、プログラムに対応する方法が実行される。なお、画像処理装置２０を構成するマイクロコンピュータの数は１つでも複数でもよい。

画像処理装置２０は、ＣＰＵ２１がプログラムを実行することにより後述する画像処理を実現する。画像処理装置２０の各種機能を実現する手法はソフトウェアに限るものではなく、その一部又は全部の要素について、一つあるいは複数のハードウェアを用いて実現してもよい。例えば、上記機能がハードウェアである電子回路によって実現される場合、その電子回路は多数の論理回路を含むデジタル回路、又はアナログ回路、あるいはこれらの組合せによって実現してもよい。

［処理］
次に、画像処理装置２０が実行する画像処理について、図２のフローチャートを用いて説明する。なお、この画像処理は、撮像装置１０により撮像が行われるごとに、すなわち撮像画像１枚ごとに行われる。

まず、Ｓ１１０で、画像処理装置２０は、撮像装置１０により撮像された画像である撮像画像を１枚だけ撮像装置１０から取得する。
続いて、Ｓ１２０で、画像処理装置２０は、Ｓ１１０で取得された撮像画像ごとにあらかじめ記憶されている対象種類から１種類選択し、選択された対象種類が表す物標を設定物標として設定する。ここでいう対象種類とは、撮像画像中に存在することが想定され、認識を行う対象である認識対象の種類である。対象種類は、具体的には、歩行者、標識、車両などである。また、設定物標として設定される物標を表す対象種類は、図３に示したようにあらかじめ決められた順番で設定されるとしてもよい。

続いて、Ｓ１３０で、画像処理装置２０は、Ｓ１２０で設定された設定物標に対応した抽出範囲を設定し、設定した抽出範囲の画像を抽出する。ここで設定される抽出範囲は、設定物標が撮像画像上に含まれることが想定される範囲に対応している。また、設定される抽出範囲は、後述するＳ１５０で、設定物標が表す物標を認識する範囲である認識範囲が設定される。

続いて、Ｓ１４０で、画像処理装置２０は、Ｓ１２０で設定された対象種類に対応した圧縮率を設定し、Ｓ１３０で抽出範囲の画像を、設定された圧縮率で圧縮する。なお、対象種類と対象種類に対応した圧縮率との関係はあらかじめメモリ２２に記憶されてもよい。この場合、圧縮率は、Ｓ１２０で設定された対象種類に対応する、メモリ２２に記憶された圧縮率が設定されてもよい。圧縮は具体的には、図６に示したように、圧縮率をｎとしたとき、ｎ×ｎ個の画素Ｐｉｘの画素値を平均化することにより行われる。ここで、圧縮率ｎは設定物標を認識するために必要な解像度を元に求められる。ここで、解像度は後述するＳ１５０において画像処理装置２０が設定物標を認識する認識範囲に設定物標が存在した場合に、撮像画像において設定物標が表す空間周波数ｆを用いて表される。具体的には、（１）式を満たす最大の整数ｎが圧縮率として求められる。

また、設定物標ごとに圧縮率ｎはあらかじめ記憶されるとしてもよい。圧縮率ｎの値は、例えば設定物標として歩行者が設定された場合にはｎ＝３、標識が設定された場合にはｎ＝２、車両が設定された場合にはｎ＝１としてもよい。

続いて、Ｓ１５０で、画像処理装置２０は、Ｓ１４０で圧縮された画像において、認識範囲に含まれる設定物標の認識を行った後、図２の画像処理を終了する。
ここで、認識範囲は設定物標が存在すると想定される範囲で、設定物標を認識する距離の範囲である距離範囲に基づいて設定される。すなわち、距離範囲の表す距離が車両から遠いほど、消失点である画像の中心近くで角度の狭い範囲が設定される。設定物標として例えば歩行者が設定された場合には、認識範囲は、車両の近くに存在する歩行者が認識できる範囲を表す。ここで、車両の近くとは例えば車両から５ｍ以内の距離の範囲としてもよい。また、歩行者を認識する範囲は、撮像装置が撮像できる画角の範囲とすることにより可能な限り広い角度の範囲の歩行者を認識するようにしてもよい。具体的には、例えば図４においてＲｅ１で示したような撮像画像の下部３分の２の範囲が認識範囲として設定されてもよい。

また、設定物標として例えば標識が設定された場合には、認識範囲は、車両が道路に沿って走行している際に、車両が走行している道路に存在する標識を認識する範囲を表す。ここで、標識を認識する範囲とは例えば、車両から１０ｍから２００ｍまでの距離の範囲としてもよい。また、標識を認識する範囲は、歩行者を認識する範囲よりも狭い角度の範囲が設定されてもよい。具体的には、例えば図４においてＲｅ２で示したような撮像画像の横２分の１かつ縦５分の４の範囲が認識範囲として設定されてもよい。

さらに、設定物標として例えば車両が設定された場合には、認識範囲は、車両が直線道路を道路に沿って走行している際に、車両が走行している道路の前方に存在する車両を認識する範囲を表す。ここで、車両を認識する範囲とは、例えば車両から３０ｍから５００ｍまでの距離の範囲としてもよい。また、車両を認識する範囲は、標識を認識する範囲よりも狭い角度の範囲が設定されてもよい。具体的には、例えば図４においてＲｅ３で示したような撮像画像の中央横４分の１、縦３分の１の範囲が、認識範囲として設定されてもよい。

なお、認識範囲を俯瞰した図で表すと、例えば図５のように表される。ここでＲａは撮像装置１０が撮像画像を撮像する画角を表す。また、Ｄは撮像装置１０の光軸方向を表す。さらに、あらかじめ対象種類ごとに対応する認識範囲Ｒｅはメモリ２２に記憶されているとしてもよい。

なお、Ｓ１１０が画像取得部としての処理の一例に相当し、Ｓ１２０が対象設定部及び対象選択部としての処理の一例に相当し、Ｓ１３０及びＳ１４０が編集部としての処理の一例に相当し、Ｓ１５０での処理が認識部としての処理の一例に相当する。また、Ｓ１３０が範囲設定部としての処理の一例に相当し、Ｓ１４０が圧縮部としての処理の一例に相当する。

［効果］
以上詳述した実施形態によれば、以下の効果を奏する。
（１ａ）本実施形態の画像処理装置２０によれば、撮像画像を圧縮する際の処理の負荷を低減しつつ、撮像画像に存在する設定物標の属する対象種類ごとに適した圧縮率での画像の圧縮を行うことができる。すなわち、本実施形態では、撮像画像における設定物標が出現する位置及び大きさ等の特性に応じてあらかじめ認識範囲を設定し、設定された認識範囲を抽出範囲として抽出する。このため、撮像範囲について設定物標などを探索や測定といった処理を行う必要がなく、その処理を行う際に生じる処理負荷を低減することができる。また、抽出した抽出範囲の画像をそれぞれの設定物標が認識できる程度の解像度になるような適切な圧縮率で圧縮するため、設定物標ごとに適した圧縮率で画像の圧縮を行うことができる。

［２．他の実施形態］
以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。

（２ａ）上記実施形態では、対象種類として、歩行者、標識、車両を例示したが、対象種類はこれに限定されるものではない。例えば車両をさらに自動車や自転車等に分類し、それぞれについてさらに認識範囲及び圧縮率を設定してもよい。また、認識を行う他の物標等を対象種類としてもよい。

（３ｂ）上記実施形態では、撮像画像１フレームごとに対象種類から１種類選択し、選択された対象種類が表す物標を設定物標として設定するとした。しかし、設定される設定物標の数は１フレームごとに１つずつに限定されるものではない。例えば、１フレームにつき、対象種類を複数選択し、設定物標として設定してもよい。

（３ｃ）上記実施形態では、圧縮は圧縮率をｎとしたとき、ｎ×ｎ個の画素Ｐｉｘの画素値を平均化することにより行われるとしたが、圧縮の方法はこれに限定されるものではない。例えば、撮像画像を構成する画素の行又は画素の列いずれか一方の方向に存在する画素の画素値を平均化することにより圧縮を行ってもよい。

（３ｄ）上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言から特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。

（３ｅ）上述した画像処理装置の他、当該画像処理装置を構成要素とするシステム、当該画像処理装置としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、画像処理方法など、種々の形態で本開示を実現することもできる。

１…画像認識装置、１０…撮像装置、２０…画像処理装置、２１…ＣＰＵ、２２…メモリ。

Claims (4)

1. 撮像装置により撮像された画像である撮像画像を取得するように構成された画像取得部（Ｓ１１０）と、
   前記撮像画像中に含まれることが想定される物標の種類である対象種類を設定するように構成された対象設定部（Ｓ１２０）と、
   前記対象設定部により設定された対象種類に応じて画像を編集するように構成された編集部（Ｓ１３０、Ｓ１４０）と、
   前記編集部により編集された画像から、前記対象種類に属する物標である設定物標を認識するように構成された認識部（Ｓ１５０）と、を備え、
   前記編集部は、
   前記設定物標についてあらかじめ決められた前記撮像画像上の範囲を抽出範囲として設定するように構成された範囲設定部（Ｓ１３０）と、
   前記設定物標に応じて決められた圧縮率で前記抽出範囲の画像を圧縮するように構成された圧縮部（Ｓ１４０）と、
   を備え、
   前記圧縮部により設定される圧縮率ｎは、前記認識部が認識する前記撮像装置からの距離の範囲である距離範囲に前記設定物標が存在した場合に、前記撮像画像における前記設定物標が表す空間周波数ｆを用いて、ｎ＜１／（２×ｆ）を満たす最大の整数に設定するように構成された、
   画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記圧縮部は、前記圧縮率ｎに応じてｎ×ｎ個の画素の画素値を平均化することにより前記画像を圧縮するように構成される、画像処理装置。
3. 請求項１又は請求項２に記載の画像処理装置であって、
   前記認識部は、当該認識部が認識対象とする前記設定物標を表す対象種類ごとに、前記設定物標が存在すると想定されるあらかじめ決められた範囲であって、前記距離範囲に存在する前記設定物標を認識するように構成され、
   前記圧縮部は、前記距離範囲が表す距離が近いほど、当該設定物標について設定される前記抽出範囲の画像を圧縮する前記圧縮率を高く設定するように構成された、画像処理装置。
4. 請求項１から請求項３までのいずれか１項に記載の画像処理装置であって、
   前記対象設定部は設定できる前記対象種類を複数含み、前記撮像装置により撮像された前記撮像画像ごとに、複数の前記対象種類のうち、前記設定物標として設定される対象種類を選択するように構成された対象選択部（Ｓ１２０）を更に備える、画像処理装置。

Images