JP7119493B2

JP7119493B2 - 認識装置、認識方法およびプログラム

Info

Publication number: JP7119493B2
Application number: JP2018062205A
Authority: JP
Inventors: 孝光渡辺
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 2018-03-28
Filing date: 2018-03-28
Publication date: 2022-08-17
Anticipated expiration: 2038-03-28
Also published as: JP2019175107A

Description

本発明は、認識装置、認識方法およびプログラムに関する。

近年、カメラによって撮像された撮像画像に基づいて各種の識別を行う技術が知られている。例えば、撮像画像に基づいてナンバープレートの設置位置を特定し、特定した設置位置に基づいて、ナンバープレートに記載されている情報（例えば、マーク、文字列など）を認識する技術が開示されている（例えば、特許文献１参照）。

特開２００７－２９９１４４号公報

識別器によって識別が行われる場合には、識別器に撮像画像の輝度情報そのものが入力される。しかし、撮像画像の輝度情報そのものが識別器に入力される場合には、識別に要する演算量が多くなりやすい。一例として、ディープラーニング（深層学習）による識別器が用いられる場合には、識別に要する演算量が特に多くなりやすい。さらに、カメラが屋外に設置される場合などには、天候によって識別精度が変化しやすい。一例として、悪天候時の撮像画像に基づいて識別がなされる場合には、識別精度が低下しやすい。

そこで、撮像画像に基づく識別に要する演算量を低減するとともに天候に対してロバストな識別を行うことを可能とする技術が提供されることが望まれる。

上記問題を解決するために、本発明のある観点によれば、カメラによって撮像された撮像画像を取得する画像取得部と、前記撮像画像の第１の輝度情報に基づいて高周波成分の抽出および縮小を行うことによって、縮小高周波情報を生成する第１のデータ生成部と、前記第１の輝度情報の縮小を行うことによって第１の縮小輝度情報を生成する第２のデータ生成部と、前記縮小高周波情報と前記第１の縮小輝度情報とに基づいて所定の識別を行う識別器とを備え、前記縮小高周波情報及び前記第１の縮小輝度情報は、２次元の画像情報であり、前記縮小高周波情報の画素と前記第１の縮小輝度情報の画素とにおいて、対応する当該縮小高周波情報の画素及び当該第１の縮小輝度情報の画素同士が関連付けられている、認識装置が提供される。
また、本発明の別の観点によれば、カメラによって撮像された撮像画像を取得する画像取得部と、前記撮像画像の第１の輝度情報に基づいて高周波成分の抽出および縮小を行うことによって、縮小高周波情報を生成する第１のデータ生成部と、前記第１の輝度情報に基づいて前記高周波成分よりも低い周波数成分の抽出および縮小を行うことによって縮小低周波情報を生成する第３のデータ生成部と、前記縮小高周波情報と前記縮小低周波情報とに基づいて所定の識別を行う識別器とを備え、前記縮小高周波情報及び前記縮小低周波情報は、２次元の画像情報であり、前記縮小高周波情報の画素と前記縮小低周波情報の画素とにおいて、対応する当該縮小高周波情報の画素及び当該縮小低周波情報の画素同士が関連付けられている、認識装置が提供される。

前記画像取得部は、車両が撮像された前記撮像画像を取得し、前記識別器は、前記縮小高周波情報と前記第１の縮小輝度情報とに基づいて、前記車両に関する情報を識別してもよい。

前記車両に関する情報は、前記車両のナンバープレート、前記車両の種別、前記車両の位置、および、前記縮小高周波情報と前記第１の縮小輝度情報とに基づく認識結果のスコアの少なくともいずれか一つを含んでもよい。

前記識別器は、ニューラルネットワークを利用した識別器であってもよい。

前記第１のデータ生成部は、前記第１の輝度情報から前記高周波成分を抽出して高周波情報を生成し、前記高周波情報を縮小して前記縮小高周波情報を生成してもよい。

前記第１のデータ生成部は、前記高周波情報からブロックごとの代表値を抽出し、前記ブロックごとの代表値を配置することによって前記縮小高周波情報を生成してもよい。

前記代表値は、平均値、最大値、中間値、前記ブロックのあらかじめ定められた画素位置の値のいずれかであってもよい。

前記高周波成分は、所定の閾値よりも高い周波数を有する成分であってもよい。

前記第１のデータ生成部は、所定のターゲットから検出される応答値に基づいて、前記所定の閾値を決定してもよい。

前記第１のデータ生成部は、対象物の移動に合わせて、前記所定の閾値を変化させてもよい。

前記第１のデータ生成部は、前記第１の輝度情報と前記所定の閾値に対応する第１のフィルタサイズを有する第１のフィルタとに基づいて、前記第１の輝度情報から前記高周波成分が除かれた第２の輝度情報を生成し、前記第１の輝度情報と前記第２の輝度情報との差分に基づいて、前記高周波情報を生成してもよい。

前記第１のデータ生成部は、前記第１の輝度情報と所定の閾値に対応する第１のフィルタサイズを有する第１のフィルタとに基づいて、前記第１の輝度情報から前記高周波成分が除かれた第２の輝度情報を生成し、前記第１の輝度情報と前記第２の輝度情報との差分に基づいて、高周波情報を生成して、当該高周波情報を縮小して前記縮小高周波情報を生成し、前記第３のデータ生成部は、前記第２の輝度情報を縮小して第２の縮小輝度情報を生成し、前記第２の縮小輝度情報と前記第１のフィルタとに基づいて、第３の縮小輝度情報を生成し、前記第２の縮小輝度情報と前記第３の縮小輝度情報との差分に基づいて、前記縮小低周波情報を生成してもよい。

前記第３のデータ生成部は、前記第１の輝度情報または前記第２の輝度情報と前記第１のフィルタとは異なる第２のフィルタとに基づいて、第３の輝度情報を生成し、前記第２の輝度情報と前記第３の輝度情報との差分に基づいて、低周波情報を生成し、前記低周波情報を縮小して前記縮小低周波情報を生成してもよい。

また、本発明の別の観点によれば、認識装置における認識方法であって、前記認識装置は、カメラによって撮像された撮像画像を取得することと、前記撮像画像の第１の輝度情報に基づいて高周波成分の抽出および縮小を行うことによって、縮小高周波情報を生成することと、前記第１の輝度情報の縮小を行うことによって第１の縮小輝度情報を生成することと、前記縮小高周波情報と前記第１の縮小輝度情報とに基づいて所定の識別を行うこととを備え、前記縮小高周波情報及び前記第１の縮小輝度情報は、２次元の画像情報であり、前記縮小高周波情報の画素と前記第１の縮小輝度情報の画素とにおいて、対応する当該縮小高周波情報の画素及び当該第１の縮小輝度情報の画素同士が関連付けられている、認識方法が提供される。
また、本発明の別の観点によれば、認識装置における認識方法であって、前記認識装置は、カメラによって撮像された撮像画像を取得することと、前記撮像画像の第１の輝度情報に基づいて高周波成分の抽出および縮小を行うことによって、縮小高周波情報を生成することと、前記第１の輝度情報に基づいて前記高周波成分よりも低い周波数成分の抽出および縮小を行うことによって縮小低周波情報を生成することと、前記縮小高周波情報と前記縮小低周波情報とに基づいて所定の識別を行うこととを備え、前記縮小高周波情報及び前記縮小低周波情報は、２次元の画像情報であり、前記縮小高周波情報の画素と前記縮小低周波情報の画素とにおいて、対応する当該縮小高周波情報の画素及び当該縮小低周波情報の画素同士が関連付けられている、認識方法が提供される。

また、本発明の別の観点によれば、コンピュータを、カメラによって撮像された撮像画像を取得する画像取得部と、前記撮像画像の第１の輝度情報に基づいて高周波成分の抽出および縮小を行うことによって、縮小高周波情報を生成する第１のデータ生成部と、前記第１の輝度情報の縮小を行うことによって第１の縮小輝度情報を生成する第２のデータ生成部と、前記縮小高周波情報と前記第１の縮小輝度情報とに基づいて所定の識別を行う識別器と、を備える、認識装置として機能させ、前記縮小高周波情報及び前記第１の縮小輝度情報は、２次元の画像情報であり、前記縮小高周波情報の画素と前記第１の縮小輝度情報の画素とにおいて、対応する当該縮小高周波情報の画素及び当該第１の縮小輝度情報の画素同士が関連付けられている、プログラムが提供される。
また、本発明の別の観点によれば、コンピュータを、カメラによって撮像された撮像画像を取得する画像取得部と、前記撮像画像の第１の輝度情報に基づいて高周波成分の抽出および縮小を行うことによって、縮小高周波情報を生成する第１のデータ生成部と、前記第１の輝度情報に基づいて前記高周波成分よりも低い周波数成分の抽出および縮小を行うことによって縮小低周波情報を生成する第３のデータ生成部と、前記縮小高周波情報と前記縮小低周波情報とに基づいて所定の識別を行う識別器と、を備える、認識装置として機能させ、前記縮小高周波情報及び前記縮小低周波情報は、２次元の画像情報であり、前記縮小高周波情報の画素と前記縮小低周波情報の画素とにおいて、対応する当該縮小高周波情報の画素及び当該縮小低周波情報の画素同士が関連付けられている、プログラムが提供される。

以上説明したように本発明によれば、撮像画像に基づく識別に要する演算量を低減するとともに天候に対してロバストな識別を行うことを可能とする技術が提供される。

本発明の実施形態に係る認識システムの構成例を示す図である。輝度情報および縮小情報の例を示す図である。本発明の第１の実施形態に係る認識装置の機能構成例を示すブロック図である。フィルタサイズの例を説明するための図である。同実施形態に係るデータ生成部の動作例を説明するための図である。本発明の第２の実施形態に係る認識装置の機能構成例を示すブロック図である。同実施形態に係るデータ生成部の動作例を説明するための図である。本発明の第３の実施形態に係る認識装置の機能構成例を示すブロック図である。同実施形態に係るデータ生成部の動作例を説明するための図である。本発明の各実施形態に係る認識装置の例としての情報処理装置のハードウェア構成を示す図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する場合がある。ただし、実質的に同一の機能構成を有する複数の構成要素等の各々を特に区別する必要がない場合、同一符号のみを付する。また、異なる実施形態の類似する構成要素については、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、異なる実施形態の類似する構成要素等の各々を特に区別する必要がない場合、同一符号のみを付する。

（０．概要）
図１は、本発明の実施形態に係る認識システムの構成例を示す図である。図１に示されるように、本発明の実施形態に係る認識システム１は、認識装置１０とカメラ２０とを有する。カメラ２０は、道路平面Ｐ１を走行する車両の前面または背面を撮像可能な位置に設けられている。カメラ２０は、イメージセンサを含んで構成されており、イメージセンサによって撮像範囲を撮像する。カメラ２０の種類は特に限定されない。例えば、カメラ２０は、可視光カメラであってもよいし、赤外光カメラであってもよい。

図１には、カメラ２０の撮像領域Ａ１が示されており、撮像領域Ａ１において、（紙面の左から右に向かって走行する）車両Ｖ１および車両Ｖ２の背面がカメラ２０によって撮像される。一方、撮像領域Ａ１において、（紙面の右から左に向かって走行する）車両Ｖ３の前面がカメラ２０によって撮像される。しかし、カメラ２０によって撮像される対象物は、車両に限定されない。例えば、カメラ２０によって撮像される対象物は、人物の全身または一部（顔など）であってもよいし、車両以外の動物体（例えば、乗り物など）であってもよい。

認識装置１０は、カメラ２０と接続されており、カメラ２０によって撮像された撮像画像を取得する。そして、撮像画像に基づいて識別器によって所定の識別を行う。識別器によって行われる識別の種類は、後に説明するように特に限定されない。しかし、本発明の実施形態では、カメラ２０によって対象物の例として車両が撮像される場合を想定する。そのため、本発明の実施形態では、識別器が、撮像画像に基づいて車両に関する情報（例えば、車両のナンバープレートなど）を識別する。

近年では、カメラ２０によって撮像された撮像画像に基づいて各種の識別を行う技術が知られている。例えば、撮像画像に基づいてナンバープレートの設置位置を特定し、特定した設置位置に基づいて、ナンバープレートに記載されている情報（例えば、マーク、文字列など）を認識する技術が開示されている。

識別器によって識別が行われる場合には、識別器に撮像画像の輝度情報そのものが入力される。しかし、撮像画像の輝度情報そのものが識別器に入力される場合には、識別に要する演算量が多くなりやすい。一例として、ディープラーニング（深層学習）による識別器が用いられる場合には、識別に要する演算量が特に多くなりやすい。さらに、カメラ２０が屋外に設置される場合などには、天候によって識別精度が変化しやすい。一例として、悪天候時の撮像画像に基づいて識別がなされる場合には、識別精度が低下しやすい。

そこで、本発明の実施形態では、撮像画像に基づく識別に要する演算量を低減するとともに天候に対してロバストな識別を行うことを可能とする技術について主に説明する。ここで、撮像画像の輝度情報を縮小して、縮小された輝度情報（縮小情報）を識別器に入力することも想定される。

図２は、図２を参照すると、輝度情報ＩＭＧ－１１が示され、輝度情報ＩＭＧ－輝度情報および縮小情報の例を示す図である。１１の縮小によって得られる縮小輝度情報ＩＭＧ－１２が示されている。図２に示されるように、輝度情報ＩＭＧ－１１そのものではなく、縮小輝度情報ＩＭＧ－１２が識別器に入力される場合には、識別に要する演算量は低減されることが想定される。しかし、縮小輝度情報ＩＭＧ－１２が識別器に入力される場合には、輝度情報ＩＭＧ－１１の縮小時に高周波成分が失われてしまうため、識別精度が低下してしまう。

本発明の実施形態では、認識装置１０は、撮像画像から高周波成分を抽出し、高周波成分に基づいて識別を行う。これによって、識別に要する演算量は低減されるとともに、高周波成分が失われてしまうことも防ぐことができるため、識別精度の低下も防ぐことができる。さらに、高周波成分の抽出によって、悪天候による影響（例えば、雨粒などの外乱など）が除去されるため、天候に対してロバストな識別を行うことが可能となる。

また、撮像領域Ａ１には、カメラ２０のピントが合っている領域（図１における「合焦」）と、カメラ２０のピントが合っていない領域（図１における「ピンぼけ」）とが存在し得る。ピントが合っている領域には、高周波成分が多くなりやすく、ピントが合っていない領域には、低周波成分が多くなりやすい。本発明の実施形態では、認識装置１０が、撮像画像から高周波成分を抽出し、高周波成分に基づいて識別を行うため、ピントが合っている領域に存在する車両に関する識別精度が向上することが期待される。

以上、本発明の実施形態の概要について説明した。

（１．第１の実施形態）
続いて、本発明の第１の実施形態について説明する。

図３は、本発明の第１の実施形態に係る認識装置の機能構成例を示すブロック図である。図３に示されるように、本発明の第１の実施形態に係る認識装置１０Ａは、生成器１００Ａおよび識別器１６０を備える。

生成器１００Ａおよび識別器１６０は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）などを含み、図示しない記憶部により記憶されているプログラムがＣＰＵによりＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）に展開されて実行されることにより、その機能が実現され得る。このとき、当該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。あるいは、生成器１００Ａおよび識別器１６０は、専用のハードウェアにより構成されていてもよいし、複数のハードウェアの組み合わせにより構成されてもよい。

生成器１００Ａは、データ生成装置として機能し得る。生成器１００Ａは、画像取得部１１０およびデータ生成部１２０Ａを備える。

画像取得部１１０は、カメラ２０によって撮像された撮像画像を取得する。ここでは、画像取得部１１０が、車両が撮像された撮像画像を取得する場合を想定する。データ生成部１２０Ａは、撮像画像の輝度情報（第１の輝度情報）に基づいて高周波成分の抽出および縮小を行うことによって、縮小高周波情報ＩＭＧ－１５を生成する。識別器１６０は、縮小高周波情報ＩＭＧ－１５に基づいて所定の識別を行う。ここでは、識別器１６０は、縮小高周波情報に基づいて、車両に関する情報を識別する場合を想定する。

図３に示された例では、識別器１６０が、車両に関する情報の例として、車両の種別（車種）を識別する場合が想定されている（車種が「自動車」であるか「自動二輪車」であるか「その他」であるかを識別する場合が示されている）。しかし、車両に関する情報は特に限定されない。例えば、車両に関する情報の例として、車両のナンバープレート（例えば、ナンバープレートに記載されている文字列、ナンバープレートの位置など）が識別されてもよいし、車両の位置が識別されてもよいし、縮小高周波情報ＩＭＧ－１５に基づく認識結果のスコア（車種またはナンバープレートの識別がどの程度しやすいかを示すスコアなど）が識別されてもよい。

また、識別器１６０は、機械学習によって生成されてよく、例えば、ニューラルネットワークを利用した識別器であってよい。

図３に示された例では、識別器１６０が、畳み込み層１６１－１、プーリング層１６１－２、畳み込み層１６１－３、プーリング層１６１－４、・・・、プーリング層１６１－５、全結合１６２－１～１６２－Ｎを含んでいる。すなわち、識別器１６０がＣＮＮ（ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋ）によって構成されている。しかし、識別器１６０は、畳み込み層およびプーリング層を有していないニューラルネットワークによって構成されてもよい。さらに、図３に示された例では、識別器１６０が、多段の全結合によって構成されるネットワーク（ディープラーニング）によって構成されている。しかし、全結合は多段に構成されていなくてもよい。

以下では、データ生成部１２０Ａによるデータ生成について主に説明する。具体的に、データ生成部１２０Ａは、撮像画像の輝度情報（第１の輝度情報）から高周波成分を抽出して高周波情報を生成する。そして、データ生成部１２０Ａは、高周波情報を縮小して縮小高周波情報を生成する。このとき、高周波成分は、所定の閾値よりも高い周波数を有する成分であってよい。

高周波成分の抽出には、どのような手法が用いられてもよい。例えば、以下では、データ生成部１２０Ａが、ＤｏＧ（ＤｉｆｆｅｒｅｎｃｅｏｆＧａｕｓｓｉａｎ）フィルタを用いて、撮像画像の輝度情報（第１の輝度情報）から高周波成分を抽出する例を主に説明する。しかし、データ生成部１２０Ａは、ＦＦＴ（ｆａｓｔＦｏｕｒｉｅｒｔｒａｎｓｆｏｒｍ）を用いて、撮像画像の輝度情報（第１の輝度情報）から高周波成分を抽出してもよい。撮像画像の輝度情報（第１の輝度情報）に対してフィルタリングが行われる場合には、所定の閾値に対応するフィルタサイズが設定される。

図４は、フィルタサイズの例を説明するための図である。図４を参照すると、ナンバープレートＮ１が示されており、ナンバープレートＮ１には、文字列が記載されている。線幅Ｗ１は、ナンバープレートＮ１に記載されている文字の幅を示している。また、図４を参照すると、フィルタサイズＷ２（フィルタにおいて用いられるカーネル関数の１周期Ｗ２に相当）が示されている。ナンバープレートＮ１に記載された文字列を抽出するためには、フィルタサイズＷ２が、線幅Ｗ１の２倍程度（例えば、線幅Ｗ１の２～３倍）に設定されるのが望ましい。以下では、このようにして所定の閾値に対応するフィルタサイズ（第１のフィルタサイズ）が設定されたフィルタ（第１のフィルタ）が用いられる。

図５は、本発明の第１の実施形態に係るデータ生成部１２０Ａの動作例を説明するための図である。図５を参照すると、撮像画像の輝度情報ＩＭＧ－１１（第１の輝度情報）が示されている。ここで、フィルタ（第１のフィルタ）は、鮮鋭度を低下させる機能（ボケ度合いを強くする機能）を有している（すなわち、高周波成分を除く機能を有している）。そこで、データ生成部１２０Ａは、輝度情報ＩＭＧ－１１とフィルタ（第１のフィルタ）とに基づいて、輝度情報ＩＭＧ－１から高周波成分が除かれた輝度情報ＩＭＧ－１３（第２の輝度情報）を生成する。

そして、データ生成部１２０Ａは、輝度情報ＩＭＧ－１１と輝度情報ＩＭＧ－１３との差分に基づいて、高周波情報ＩＭＧ－１４を生成する。より具体的に、データ生成部１２０Ａは、輝度情報ＩＭＧ－１１から輝度情報ＩＭＧ－１３を画素ごとに減算することによって、高周波情報ＩＭＧ－１４を生成する。高周波情報ＩＭＧ－１４には、高周波成分のみが含まれている。そして、データ生成部１２０Ａは、高周波情報ＩＭＧ－１４を縮小することによって、縮小高周波情報ＩＭＧ－１５を生成する。

縮小高周波情報ＩＭＧ－１５には、高周波成分の例として車両の輪郭線が残っている。一方、縮小高周波情報ＩＭＧ－１５からは、その他の成分の例として悪天候による影響（例えば、雨粒などの外乱など）がほとんど除去されている。

ここで、高周波情報ＩＭＧ－１４を縮小する手法は特に限定されない。例えば、データ生成部１２０Ａは、高周波情報ＩＭＧ－１４からブロックごとの代表値を抽出し、ブロックごとの代表値を配置することによって縮小高周波情報を生成する。代表値も特に限定されない。例えば、データ生成部１２０Ａは、高周波情報ＩＭＧ－１４からブロックごとの平均値を代表値の例として算出してもよい。あるいは、データ生成部１２０Ａは、高周波情報ＩＭＧ－１４からブロックごとの最大値を代表値の例として抽出してもよい。

あるいは、データ生成部１２０Ａは、高周波情報ＩＭＧ－１４からブロックごとの中間値を代表値の例として抽出してもよい。あるいは、データ生成部１２０Ａは、ブロックのあらかじめ定められた画素位置の値（例えば、各ブロックが縦横ｎ画素の矩形領域によって構成される場合に、縦横ｎ画素の矩形領域の左上の画素位置の値など）を代表値の例として抽出してもよい。このようにして生成された縮小高周波情報ＩＭＧ－１５は、識別器１６０に入力される。

上記では、データ生成部１２０Ａが、高周波成分の抽出のための閾値（所定の閾値）として同じ閾値を利用する場合を主に想定した。しかし、データ生成部１２０Ａは、高周波成分の抽出のための閾値（所定の閾値）を対象物（車両）の移動に合わせて変化させてもよい。

例えば、図１を参照しながら説明したように、ピントが合っている領域（車両の移動方向における中央領域）には、高周波成分が多くなりやすく、ピントが合っていない領域（車両の移動方向における中央領域の両側領域）には、低周波成分が多くなりやすい。そこで、データ生成部１２０Ａは、ピントが合っている領域において利用される閾値を、ピントが合っていない領域において利用される閾値よりも高くしてもよい。そうすれば、車両に関する識別精度がより向上することが期待される。

また、データ生成部１２０Ａは、高周波成分の抽出のための閾値（所定の閾値）を状況に応じて決定してもよい。例えば、データ生成部１２０Ａは、所定のターゲットから検出される応答値に基づいて、所定の閾値を決定してもよい。ターゲットは特に限定されないが、識別器１６０によって車両のナンバープレートの識別が行われる場合には、道路平面Ｐ１を走行する車両のナンバープレートであってよい。

例えば、データ生成部１２０Ａは、閾値を変化させながら（すなわち、フィルタサイズを変化させながら）、上記したような手法によってターゲットの高周波情報を生成する。そして、データ生成部１２０Ａは、高周波情報の絶対値の画素ごとの合計結果を応答値として算出し、最も大きな応答値が得られる閾値を、識別に利用する所定の閾値として決定してもよい（最も大きな応答値が得られるフィルタサイズを、識別に利用するフィルタサイズとして決定してもよい）。

以上に説明したように、本発明の第１の実施形態によれば、認識装置１０Ａは、撮像画像から高周波成分を抽出し、高周波成分に基づいて識別を行う。これによって、識別に要する演算量は低減されるとともに、高周波成分が失われてしまうことも防ぐことができるため、識別精度の低下も防ぐことができる。さらに、高周波成分の抽出によって、悪天候による影響（例えば、雨粒などの外乱など）が除去されるため、天候に対してロバストな識別を行うことが可能となる。

以上、本発明の第１の実施形態について説明した。

（２．第２の実施形態）
続いて、本発明の第２の実施形態について説明する。

図６は、本発明の第２の実施形態に係る認識装置の機能構成例を示すブロック図である。図６に示されるように、本発明の第２の実施形態に係る認識装置１０Ｂは、生成器１００Ｂおよび識別器１６０を備える。生成器１００Ｂは、画像取得部１１０およびデータ生成部１２０Ｂを備える。本発明の第２の実施形態に係る認識装置１０Ｂは、データ生成部１２０Ａの代わりに、データ生成部１２０Ｂを有する点において、本発明の第１の実施形態に係る認識装置１０Ａと主に異なる。したがって、以下では、データ生成部１２０Ｂについて主に説明し、他の構成についての詳細な説明は省略する。

本発明の第２の実施形態において、データ生成部１２０Ｂは、縮小高周波情報ＩＭＧ－１５を生成するとともに、撮像画像の輝度情報（第１の輝度情報）の縮小を行うことによって縮小輝度情報ＩＭＧ－１２（第１の縮小輝度情報）を生成する。そして、図６に示されるように、データ生成部１２０Ｂから、縮小高周波情報ＩＭＧ－１５と縮小輝度情報ＩＭＧ－１２とが、対応する画素同士が関連付けられて（重ね合わせて）、識別器１６０に入力される。識別器１６０は、縮小高周波情報ＩＭＧ－１５と縮小輝度情報ＩＭＧ－１２とに基づいて所定の識別を行う。

図７は、本発明の第２の実施形態に係るデータ生成部１２０Ｂの動作例を説明するための図である。図７を参照すると、本発明の第１の実施形態と同様な手法によって、データ生成部１２０Ｂによって生成された縮小高周波情報ＩＭＧ－１５が示されている。さらに、データ生成部１２０Ｂは、撮像画像の輝度情報ＩＭＧ－１１（第１の輝度情報）を縮小することによって、縮小輝度情報ＩＭＧ－１２を生成する。輝度情報ＩＭＧ－１１を縮小する手法は、高周波情報ＩＭＧ－１４を縮小する手法と同様な手法であってよい。データ生成部１２０Ｂは、縮小高周波情報ＩＭＧ－１５と縮小輝度情報ＩＭＧ－１２とを識別器１６０に出力し、識別器１６０は、縮小高周波情報ＩＭＧ－１５と縮小輝度情報ＩＭＧ－１２とに基づいて所定の識別を行う。

以上に説明したように、本発明の第２の実施形態によれば、本発明の第１の実施形態と同様に、識別に要する演算量を低減するとともに、天候に対してロバストな識別を行うことが可能となる。さらに、ナンバープレートの識別のように色情報がなくても識別が可能である場面においては、輝度情報が識別に用いられなくてよいが、色情報が識別に必要な場面もあり得る。本発明の第２の実施形態によれば、高周波情報とともに輝度情報も識別に用いて、より高精度な識別を行うことが可能となる。このとき、データ生成部１２０Ｂは、対象物の色情報に基づいて、高周波情報とともに輝度情報も識別に利用するか否かを決めてもよい。

（３．第３の実施形態）
続いて、本発明の第３の実施形態について説明する。

図８は、本発明の第３の実施形態に係る認識装置の機能構成例を示すブロック図である。図８に示されるように、本発明の第３の実施形態に係る認識装置１０Ｃは、生成器１００Ｃおよび識別器１６０を備える。生成器１００Ｃは、画像取得部１１０およびデータ生成部１２０Ｃを備える。本発明の第３の実施形態に係る認識装置１０Ｃは、データ生成部１２０Ａの代わりに、データ生成部１２０Ｃを有する点において、本発明の第１の実施形態に係る認識装置１０Ａと主に異なる。したがって、以下では、データ生成部１２０Ｃについて主に説明し、他の構成についての詳細な説明は省略する。

本発明の第３の実施形態において、データ生成部１２０Ｃは、縮小高周波情報ＩＭＧ－１５を生成するとともに、撮像画像の輝度情報（第１の輝度情報）に基づいて高周波成分よりも低い周波数成分の抽出および縮小を行うことによって縮小低周波情報ＩＭＧ－１８を生成する。そして、図８に示されるように、データ生成部１２０Ｃから、縮小高周波情報ＩＭＧ－１５と縮小低周波情報ＩＭＧ－１８とが、対応する画素同士が関連付けられて（重ね合わせて）、識別器１６０に入力される。識別器１６０は、縮小高周波情報ＩＭＧ－１５と縮小低周波情報ＩＭＧ－１８とに基づいて所定の識別を行う。

図９は、本発明の第３の実施形態に係るデータ生成部１２０Ｃの動作例を説明するための図である。図９を参照すると、本発明の第１の実施形態と同様な手法によって、データ生成部１２０Ｂによって生成された縮小高周波情報ＩＭＧ－１５が示されている。さらに、データ生成部１２０Ｃは、撮像画像の輝度情報ＩＭＧ－１１（第１の輝度情報）に基づいて高周波成分よりも低い周波数成分の抽出および縮小を行うことによって縮小低周波情報ＩＭＧ－１８を生成する。

ここでは、データ生成部１２０Ｃが、輝度情報ＩＭＧ－１３と、輝度情報ＩＭＧ－１３を生成するために利用したフィルタ（第１のフィルタ）とは異なるフィルタ（第２のフィルタ）とに基づいて、輝度情報ＩＭＧ－１６（第３の輝度情報）を生成する場合を想定する。そして、データ生成部１２０Ｃは、輝度情報ＩＭＧ－１３と輝度情報ＩＭＧ－１６との差分に基づいて（より具体的には、輝度情報ＩＭＧ－１３から輝度情報ＩＭＧ－１６を画素ごとに減算することによって）、低周波情報ＩＭＧ－１７を生成し、低周波情報ＩＭＧ－１７を縮小して縮小低周波情報ＩＭＧ－１８を生成する場合を想定する。低周波情報ＩＭＧ－１７を縮小する手法は、高周波情報ＩＭＧ－１４を縮小する手法と同様な手法であってよい。

ここで、フィルタは、輝度情報ＩＭＧ－１３に対してではなく、輝度情報ＩＭＧ－１１に対して掛けられてもよい。すなわち、データ生成部１２０Ｃは、輝度情報ＩＭＧ－１１とフィルタ（第２のフィルタ）とに基づいて、輝度情報ＩＭＧ－１６（第３の輝度情報）を生成してもよい。あるいは、用意するフィルタの数を減らすために、輝度情報ＩＭＧ－１３を生成するために利用したフィルタ（第１のフィルタ）が再度利用されてもよい。

すなわち、データ生成部１２０Ｃは、先に輝度情報ＩＭＧ－１３を縮小して縮小輝度情報（第２の縮小輝度情報）を生成してもよい。そして、データ生成部１２０Ｃは、縮小輝度情報（第２の縮小輝度情報）と輝度情報ＩＭＧ－１３を生成するために利用したフィルタ（第１のフィルタ）とに基づいて、縮小輝度情報（第３の縮小輝度情報）を生成してもよい。そして、データ生成部１２０Ｃは、縮小輝度情報（第２の縮小輝度情報）と縮小輝度情報（第３の縮小輝度情報）との差分に基づいて、縮小低周波情報を生成してもよい。

輝度情報ＩＭＧ－１３を縮小する手法は、高周波情報ＩＭＧ－１４を縮小する手法と同様な手法であってよい。縮小高周波情報ＩＭＧ－１８には、高周波成分の例として車両の輪郭線はほとんど残っていない。一方、縮小高周波情報ＩＭＧ－１８には、高周波成分よりも低い周波数成分の例として道路平面に描かれたラインが残されている。

データ生成部１２０Ｃは、縮小高周波情報ＩＭＧ－１５と縮小低周波情報ＩＭＧ－１８とを識別器１６０に出力し、識別器１６０は、縮小高周波情報ＩＭＧ－１５と縮小低周波情報ＩＭＧ－１８とに基づいて所定の識別を行う。

以上に説明したように、本発明の第３の実施形態によれば、本発明の第１の実施形態と同様に、識別に要する演算量を低減するとともに、天候に対してロバストな識別を行うことが可能となる。さらに、対象物の周波数成分が高周波数成分だけとは限らず、高周波成分よりも低い周波数成分も有している可能性があり得る。本発明の第３の実施形態によれば、高周波情報とともに高周波成分よりも低い周波数成分も識別に用いて、より高精度な識別を行うことが可能となる。

（４．ハードウェア構成例）
続いて、本発明の各実施形態に係る認識装置１０のハードウェア構成例について説明する。以下では、本発明の各実施形態に係る認識装置１０のハードウェア構成例として、情報処理装置９００のハードウェア構成例について説明する。なお、以下に説明する情報処理装置９００のハードウェア構成例は、認識装置１０のハードウェア構成の一例に過ぎない。したがって、認識装置１０のハードウェア構成は、以下に説明する情報処理装置９００のハードウェア構成から不要な構成が削除されてもよいし、新たな構成が追加されてもよい。

図１０は、本発明の各実施形態に係る認識装置１０の例としての情報処理装置９００のハードウェア構成を示す図である。情報処理装置９００は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）９０１と、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）９０２と、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）９０３と、ホストバス９０４と、ブリッジ９０５と、外部バス９０６と、インタフェース９０７と、入力装置９０８と、出力装置９０９と、ストレージ装置９１０と、通信装置９１１と、を備える。

ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置９００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバス等から構成されるホストバス９０４により相互に接続されている。

ホストバス９０４は、ブリッジ９０５を介して、ＰＣＩ（ＰｅｒｉｐｈｅｒａｌＣｏｍｐｏｎｅｎｔＩｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バス等の外部バス９０６に接続されている。なお、必ずしもホストバス９０４、ブリッジ９０５および外部バス９０６を分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。

入力装置９０８は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバー等ユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路等から構成されている。情報処理装置９００を操作するユーザは、この入力装置９０８を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。

出力装置９０９は、例えば、ＣＲＴ（ＣａｔｈｏｄｅＲａｙＴｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（ＯｒｇａｎｉｃＬｉｇｈｔＥｍｉｔｔｉｎｇＤｉｏｄｅ）装置、ランプ等の表示装置およびスピーカ等の音声出力装置を含む。

ストレージ装置９１０は、データ格納用の装置である。ストレージ装置９１０は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置等を含んでもよい。ストレージ装置９１０は、例えば、ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）で構成される。このストレージ装置９１０は、ハードディスクを駆動し、ＣＰＵ９０１が実行するプログラムや各種データを格納する。

通信装置９１１は、例えば、ネットワークに接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置９１１は、無線通信または有線通信のどちらに対応してもよい。

以上、本発明の各実施形態に係る認識装置１０のハードウェア構成例について説明した。

（５．まとめ）
以上に説明したように、本発明の実施形態によれば、カメラ２０によって撮像された撮像画像を取得する画像取得部１１０と、撮像画像の第１の輝度情報に基づいて高周波成分の抽出および縮小を行うことによって、縮小高周波情報を生成するデータ生成部１２０と、縮小高周波情報に基づいて所定の識別を行う識別器１６０と、を備える、認識装置１０が提供される。

かかる構成によれば、識別に要する演算量は低減されるとともに、高周波成分が失われてしまうことも防ぐことができるため、識別精度の低下も防ぐことができる。さらに、かかる構成によれば、高周波成分の抽出によって、悪天候による影響（例えば、雨粒などの外乱など）が除去されるため、天候に対してロバストな識別を行うことが可能となる。

さらに、本発明の実施形態によれば、カメラ２０によって撮像された撮像画像を取得する画像取得部１１０と、撮像画像の第１の輝度情報に基づいて高周波成分の抽出および縮小を行うことによって、縮小高周波情報を生成し、縮小高周波情報を識別器に出力するデータ生成部１２０と、を備える、生成器１００（データ生成装置）も提供される。

かかる構成によれば、識別に要する演算量を低減するためのデータを生成することが可能である。また、かかる構成によれば、天候に対してロバストな識別を行うためのデータを生成することが可能となる。

上記したように、認識装置１０のプログラムが提供され得が、生成器１００（データ生成装置）のプログラムと、識別器１６０のプログラムとは、別々に提供されることも可能である。このとき、生成器１００（データ生成装置）のプログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得るし、識別器１６０のプログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、上記では、生成器１００Ｂと識別器１６０とが一体化されている場合を主に説明した。しかし、生成器１００Ｂと識別器１６０とは、別体として構成されてもよい。また、上記では、カメラ２０が認識装置１０とは別体として構成される場合を主に説明した。しかし、認識装置１０の一部または全部は、カメラ２０と一体化されていてもよい。すなわち、カメラ２０と認識装置１０とが一体化されていてもよいし、カメラ２０と生成器１００とが一体化されていてもよいし、カメラ２０と識別器１６０とが一体化されていてもよい。

１認識システム
１０（１０Ａ～１０Ｃ）認識装置
１００（１００Ａ～１００Ｃ）生成器（データ生成装置）
１１０画像取得部
１２０（１２０Ａ～１２０Ｃ）データ生成部
１６０識別器
２０カメラ
Ａ１撮像領域
Ｐ１道路平面
Ｖ１～Ｖ３車両

Claims

カメラによって撮像された撮像画像を取得する画像取得部と、
前記撮像画像の第１の輝度情報に基づいて高周波成分の抽出および縮小を行うことによって、縮小高周波情報を生成する第１のデータ生成部と、
前記第１の輝度情報の縮小を行うことによって第１の縮小輝度情報を生成する第２のデータ生成部と、
前記縮小高周波情報と前記第１の縮小輝度情報とに基づいて所定の識別を行う識別器とを備え、
前記縮小高周波情報及び前記第１の縮小輝度情報は、２次元の画像情報であり、
前記縮小高周波情報の画素と前記第１の縮小輝度情報の画素とにおいて、対応する当該縮小高周波情報の画素及び当該第１の縮小輝度情報の画素同士が関連付けられている、
認識装置。
カメラによって撮像された撮像画像を取得する画像取得部と、
前記撮像画像の第１の輝度情報に基づいて高周波成分の抽出および縮小を行うことによって、縮小高周波情報を生成する第１のデータ生成部と、
前記第１の輝度情報に基づいて前記高周波成分よりも低い周波数成分の抽出および縮小を行うことによって縮小低周波情報を生成する第３のデータ生成部と、
前記縮小高周波情報と前記縮小低周波情報とに基づいて所定の識別を行う識別器とを備え、
前記縮小高周波情報及び前記縮小低周波情報は、２次元の画像情報であり、
前記縮小高周波情報の画素と前記縮小低周波情報の画素とにおいて、対応する当該縮小高周波情報の画素及び当該縮小低周波情報の画素同士が関連付けられている、
認識装置。
前記画像取得部は、車両が撮像された前記撮像画像を取得し、
前記識別器は、前記縮小高周波情報と前記第１の縮小輝度情報とに基づいて、前記車両に関する情報を識別する、
請求項１に記載の認識装置。
前記車両に関する情報は、前記車両のナンバープレート、前記車両の種別、前記車両の位置、および、前記縮小高周波情報と前記第１の縮小輝度情報とに基づく認識結果のスコアの少なくともいずれか一つを含む、
請求項３に記載の認識装置。
前記識別器は、ニューラルネットワークを利用した識別器である、
請求項１または請求項２に記載の認識装置。
前記第１のデータ生成部は、前記第１の輝度情報から前記高周波成分を抽出して高周波情報を生成し、前記高周波情報を縮小して前記縮小高周波情報を生成する、
請求項１または請求項２に記載の認識装置。
前記第１のデータ生成部は、前記高周波情報からブロックごとの代表値を抽出し、前記ブロックごとの代表値を配置することによって前記縮小高周波情報を生成する、
請求項６に記載の認識装置。
前記代表値は、平均値、最大値、中間値、前記ブロックのあらかじめ定められた画素位置の値のいずれかである、
請求項７に記載の認識装置。
前記高周波成分は、所定の閾値よりも高い周波数を有する成分である、
請求項６に記載の認識装置。
前記第１のデータ生成部は、所定のターゲットから検出される応答値に基づいて、前記所定の閾値を決定する、
請求項９に記載の認識装置。
前記第１のデータ生成部は、対象物の移動に合わせて、前記所定の閾値を変化させる、
請求項９に記載の認識装置。
前記第１のデータ生成部は、前記第１の輝度情報と前記所定の閾値に対応する第１のフィルタサイズを有する第１のフィルタとに基づいて、前記第１の輝度情報から前記高周波成分が除かれた第２の輝度情報を生成し、前記第１の輝度情報と前記第２の輝度情報との差分に基づいて、前記高周波情報を生成する、
請求項９に記載の認識装置。
前記第１のデータ生成部は、前記第１の輝度情報と所定の閾値に対応する第１のフィルタサイズを有する第１のフィルタとに基づいて、前記第１の輝度情報から前記高周波成分が除かれた第２の輝度情報を生成し、前記第１の輝度情報と前記第２の輝度情報との差分に基づいて、高周波情報を生成して、当該高周波情報を縮小して前記縮小高周波情報を生成し、
前記第３のデータ生成部は、前記第２の輝度情報を縮小して第２の縮小輝度情報を生成し、前記第２の縮小輝度情報と前記第１のフィルタとに基づいて、第３の縮小輝度情報を生成し、前記第２の縮小輝度情報と前記第３の縮小輝度情報との差分に基づいて、前記縮小低周波情報を生成する、
請求項２に記載の認識装置。
前記第３のデータ生成部は、前記第１の輝度情報または前記第２の輝度情報と前記第１のフィルタとは異なる第２のフィルタとに基づいて、第３の輝度情報を生成し、前記第２の輝度情報と前記第３の輝度情報との差分に基づいて、低周波情報を生成し、前記低周波情報を縮小して前記縮小低周波情報を生成する、
請求項１３に記載の認識装置。
認識装置における認識方法であって、
前記認識装置は、
カメラによって撮像された撮像画像を取得することと、
前記撮像画像の第１の輝度情報に基づいて高周波成分の抽出および縮小を行うことによって、縮小高周波情報を生成することと、
前記第１の輝度情報の縮小を行うことによって第１の縮小輝度情報を生成することと、
前記縮小高周波情報と前記第１の縮小輝度情報とに基づいて所定の識別を行うこととを備え、
前記縮小高周波情報及び前記第１の縮小輝度情報は、２次元の画像情報であり、
前記縮小高周波情報の画素と前記第１の縮小輝度情報の画素とにおいて、対応する当該縮小高周波情報の画素及び当該第１の縮小輝度情報の画素同士が関連付けられている、
認識方法。
認識装置における認識方法であって、
前記認識装置は、
カメラによって撮像された撮像画像を取得することと、
前記撮像画像の第１の輝度情報に基づいて高周波成分の抽出および縮小を行うことによって、縮小高周波情報を生成することと、
前記第１の輝度情報に基づいて前記高周波成分よりも低い周波数成分の抽出および縮小を行うことによって縮小低周波情報を生成することと、
前記縮小高周波情報と前記縮小低周波情報とに基づいて所定の識別を行うこととを備え、
前記縮小高周波情報及び前記縮小低周波情報は、２次元の画像情報であり、
前記縮小高周波情報の画素と前記縮小低周波情報の画素とにおいて、対応する当該縮小高周波情報の画素及び当該縮小低周波情報の画素同士が関連付けられている、
認識方法。
コンピュータを、
カメラによって撮像された撮像画像を取得する画像取得部と、
前記撮像画像の第１の輝度情報に基づいて高周波成分の抽出および縮小を行うことによって、縮小高周波情報を生成する第１のデータ生成部と、
前記第１の輝度情報の縮小を行うことによって第１の縮小輝度情報を生成する第２のデータ生成部と、
前記縮小高周波情報と前記第１の縮小輝度情報とに基づいて所定の識別を行う識別器と、
を備える、認識装置として機能させ、
前記縮小高周波情報及び前記第１の縮小輝度情報は、２次元の画像情報であり、
前記縮小高周波情報の画素と前記第１の縮小輝度情報の画素とにおいて、対応する当該縮小高周波情報の画素及び当該第１の縮小輝度情報の画素同士が関連付けられている、
プログラム。
コンピュータを、
カメラによって撮像された撮像画像を取得する画像取得部と、
前記撮像画像の第１の輝度情報に基づいて高周波成分の抽出および縮小を行うことによって、縮小高周波情報を生成する第１のデータ生成部と、
前記第１の輝度情報に基づいて前記高周波成分よりも低い周波数成分の抽出および縮小を行うことによって縮小低周波情報を生成する第３のデータ生成部と、
前記縮小高周波情報と前記縮小低周波情報とに基づいて所定の識別を行う識別器と、を備える、認識装置として機能させ、
前記縮小高周波情報及び前記縮小低周波情報は、２次元の画像情報であり、
前記縮小高周波情報の画素と前記縮小低周波情報の画素とにおいて、対応する当該縮小高周波情報の画素及び当該縮小低周波情報の画素同士が関連付けられている、
プログラム。