JP6683012B2 - 画像処理システム、画像処理方法および撮像装置 - Google Patents

Description

本発明は、画像処理システム、画像処理方法および撮像装置に関する。

従来、撮像装置によって撮像される画像を分析する技術が知られている。例えば、道路を走行する車両の前方あるいは後方から少なくともナンバープレートが写るように所定のフレーム周期で撮像し、撮像された複数の画像を２つに分割し、分割された複数の画像間に差分がある場合に、当該分割された複数の画像を出力する技術が開示されている（例えば、特許文献１参照。）。かかる技術によれば、車両の写る画像を自動的に出力することが可能となる。

また、画像を撮像する第一の撮像部と、連続撮像するよう第一の撮像部を制御する第一の撮像制御部と、第一の撮像部と同期して画像を撮像する第二の撮像部と、第二の撮像部の能力に応じて、第二の撮像部が撮像する画像の解像度と、間欠撮像する間隔を制御する第二の撮像制御部と、第一の撮像部が連続撮像した第一の画像列と、第二の撮像部が間欠撮像した第二の画像列を記録媒体に記録する記録部と、を備える撮像装置が開示されている（例えば、特許文献２参照。）。

特開２０１４−１７８９５５号公報 特開２０１２−２４４３１２号公報

しかしながら、動画像における所定領域の画像分析を、処理データ量を低減しつつ、より高精度に行うことが可能な技術が提供されることが望まれる。

上記問題を解決するために、本発明のある観点によれば、所定のフレームレートで撮像される動画像から１または複数枚の第１の解像度画像と前記第１の解像度よりも高解像度の第２の解像度画像とのキャプチャを行う解像度制御部と、少なくとも前記第１の解像度画像に基づいて動物体の動き情報を検出する動き検出部と、前記動き情報に基づいて、前記第２の解像度画像に写る前記動物体における所定領域の位置を推定し、前記所定領域の位置に基づいて画像分析を行う画像分析部と、を有する、画像処理システムが提供される。

前記動物体は、車両であり、前記所定領域は、ナンバープレートであってよい。

前記解像度制御部は、撮像装置に備えられ、前記画像分析部は、分析装置に備えられ、前記動き検出部は、前記撮像装置または前記分析装置に備えられてよい。

前記解像度制御部は、前記第１の解像度画像が複数枚から構成される場合、複数枚の前記第１の解像度画像を前記第２の解像度画像と同一解像度に集約して前記画像分析部に出力し、前記画像分析部は、前記複数枚の第１の解像度画像と前記所定領域の位置とに基づいて、前記画像分析を行ってよい。

前記画像処理システムは、前記第１の解像度、前記第２の解像度および前記第２の解像度画像の挿入間隔の少なくともいずれか一つを含むパラメータを制御するパラメータ制御部を備えてよい。

前記パラメータ制御部は、ユーザから入力された操作に基づいて前記パラメータを制御してよい。

前記パラメータ制御部は、前記動物体の速度に基づいて、前記パラメータを制御してよい。

前記パラメータ制御部は、前記画像分析の精度に基づいて、前記パラメータを制御してよい。

前記１または複数枚の第１の解像度画像と前記第２の解像度画像とが所定周期を単位として繰り返し撮像される場合、前記解像度制御部は、前記所定周期単位で前記キャプチャを行い、前記動き検出部は、前記所定周期単位で前記動き情報を検出し、前記画像分析部は、前記所定周期単位で前記所定領域の位置を推定し、前記所定周期単位で前記画像分析を行ってよい。

前記１または複数枚の第１の解像度画像の少なくとも一部は、前記第２の解像度画像よりも前に撮像され、または、前記第２の解像度画像よりも後に撮像されてよい。

前記動き検出部は、前記１または複数枚の第１の解像度画像の少なくとも一部を、前記第２の解像度画像の低解像度化によって得てもよい。

また、本発明の別の観点によれば、所定のフレームレートで撮像される動画像から１または複数枚の第１の解像度画像と前記第１の解像度よりも高解像度の第２の解像度画像とのキャプチャを行うことと、少なくとも前記第１の解像度画像に基づいて動物体の動き情報を検出することと、前記動き情報に基づいて、前記第２の解像度画像に写る前記動物体における所定領域の位置を推定し、前記所定領域の位置に基づいて画像分析を行うことと、を有する、画像処理方法が提供される。

また、本発明の別の観点によれば、所定のフレームレートで撮像される動画像から１または複数枚の第１の解像度画像と前記第１の解像度よりも高解像度の第２の解像度画像とのキャプチャを行う解像度制御部と、少なくとも前記第１の解像度画像に基づいて動物体の動き情報を検出する動き検出部と、を備え、前記動き情報に基づいて、前記第２の解像度画像に写る前記動物体における所定領域の位置が推定され、前記所定領域の位置に基づいて画像分析が行われる、撮像装置が提供される。

以上説明したように本発明によれば、動画像における所定領域の画像分析を、処理データ量を低減しつつ、より高精度に行うことが可能な技術が提供される。

本実施形態に係る画像処理システムの概要を説明するための図である。 本実施形態に係る撮像装置の機能構成を示すブロック図である。 本実施形態に係る分析装置の機能構成を示すブロック図である。 ナンバー認識の第１の例について説明するための図である。 ナンバー認識の第１の例における画像処理システムの動作例を示すフローチャートである。 パラメータ制御の動作例を示すフローチャートである。 複数枚の低解像度画像を高解像度画像と同一解像度に集約する例を説明するための図である。 ナンバー認識の第２の例について説明するための図である。 ナンバー認識の第２の例における画像処理システムの動作例を示すフローチャートである。 ナンバー認識の第３の例について説明するための図である。 ナンバー認識の第３の例における画像処理システムの動作例を示すフローチャートである。 複数枚の低解像度画像を高解像度画像と同一解像度に集約する例を説明するための図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する。また、異なる実施形態の類似する構成要素については、同一の符号の後に異なるアルファベットを付して区別する。ただし、実質的に同一の機能構成を有する複数の構成要素等の各々を特に区別する必要がない場合、同一符号のみを付する。

［背景］
まず、本実施形態の背景について説明する。一般的に、撮像装置によって撮像される画像を分析する技術が知られている。例えば、道路を走行する車両の前方あるいは後方から少なくともナンバープレートが写るように所定のフレーム周期で撮像し、撮像された複数の画像を２つに分割し、分割された複数の画像間に差分がある場合に、当該分割された複数の画像を出力する技術が開示されている。かかる技術によれば、車両の写る画像を自動的に出力することが可能となる。

しかしながら、動画像における所定領域（例えば、ナンバープレート）の位置を推定するためには、解像度画像が必要ない代わりに、高フレームレートの動画が必要となる。一方、所定領域を分析するためには（例えば、ナンバープレートからナンバーを認識するためには）、高フレームレートの動画が必要ない代わりに、高解像度画像が必要となる。そこで、本明細書においては、動画像における所定領域の画像分析を、処理データ量を低減しつつ、より高精度に行うことが可能な技術について主に説明する。

また、処理データ量を低減するために、撮像装置によって撮像された高解像度画像の一部を切り出すことによって切り出し画像を生成し、切り出し画像から所定領域動物体の位置を推定する技術が存在する。しかし、高解像度画像には写っている動物体が切り出し画像には写っていないことがあるため、切り出し画像から所定領域の位置を高精度に推定することは困難である。本明細書においては、動画像における所定領域をより高精度に推定する技術についても説明する。

なお、車両およびナンバープレートが本実施形態に好適であるため、以下の説明においては、動物体として車両を例に挙げるとともに、分析対象としてナンバープレートを例に挙げる。車両およびナンバープレートが本実施形態に好適である理由としては、画像に写るナンバープレートは小さくなりがちであるために、車両のナンバーを高精度に認識する技術が求められることが挙げられる。

その他、車両およびナンバープレートが本実施形態に好適である理由としては、ナンバープレートは車種によらずに概ね同一の材質、色彩および形状を有しているために、ナンバープレートの分析手法としては、車種によらずに一定の分析手法を採用できることなどが挙げられる。しかし、車両およびナンバープレートは、本実施形態に適用され得る動物体および分析対象の例に過ぎないため、動物体は車両に限定されず、分析対象はナンバープレートに限定されない。

［システムの概要］
続いて、本実施形態に係る画像処理システムの概要について説明する。図１は、本実施形態に係る画像処理システムの概要を説明するための図である。図１に示すように、画像処理システム１は、撮像装置１０と分析装置２０とを備える。また、図１に示すように、撮像装置１０と分析装置２０とは、ネットワーク５０を介して通信を行うことが可能である。

撮像装置１０は、道路を斜め上方から見下ろすように道路上方に設置されている。ただし、撮像装置１０の設置位置は限定されない。例えば、撮像装置１０は道路脇に設置されていてもよい。また、図１に示した例では、道路を手前側から奥側に向かって進行する車両３０が撮像されるように撮像装置１０が設置されているが、車両３０の進行方向に対する撮像装置１０の向きも限定されない。例えば、道路を奥側から手前側に向かって進行する車両３０が撮像されるように撮像装置１０が設置されていてもよい。

撮像装置１０は連続的に撮像を行うことにより動画像を得る。撮像装置１０によって撮像される動画像には、車両３０に付されたナンバープレート３１が写され得る。撮像装置１０によって撮像される動画像は、ネットワーク５０を介して分析装置２０に提供される。このとき、撮像装置１０は、撮像した動画像に基づいて車両３０の動き情報を検出する。また、撮像装置１０は、検出した動き情報も、ネットワーク５０を介して分析装置２０に提供する。なお、本明細書においては、撮像装置１０が動き情報の検出を行う例を主に説明するが、動き情報の検出は分析装置２０によって行われてもよい。

分析装置２０は、撮像装置１０から提供される動画像に対して分析を行う。より具体的には、分析装置２０は、車両３０の動き情報に基づいて動画像に写るナンバープレート３１の位置を推定し、ナンバープレート３１からナンバーを認識する。分析装置２０は、認識したナンバーを表示することが可能である。そのとき、分析装置２０のユーザは、表示されたナンバーを閲覧することが可能である。分析装置２０は、ユーザから各種の操作を受け付け、当該操作に応じた動作を行うことも可能である。

なお、図１には、撮像装置１０および分析装置２０が別体として存在する例が示されているが、撮像装置１０および分析装置２０は同一の筐体に収まっていてもよい。また、図１には、撮像装置１０および分析装置２０が有線により接続されている例が示されているが、撮像装置１０および分析装置２０は、無線により接続されていてもよい。

［撮像装置の機能構成例］
続いて、本実施形態の詳細について説明する。まず、本実施形態に係る撮像装置１０の機能構成例について説明する。図２は、本実施形態に係る撮像装置１０の機能構成を示すブロック図である。図２に示すように、本実施形態に係る撮像装置１０は、制御部１１０、操作部１２０、画像センサ部１３０、通信部１４０および記憶部１５０を備える。

制御部１１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などを含み、記憶部１５０により記憶されているプログラムがＣＰＵによりＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）に展開されて実行されることにより、その機能が実現され得る。このとき、当該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。あるいは、制御部１１０は、専用のハードウェアにより構成されていてもよいし、複数のハードウェアの組み合わせにより構成されてもよい。

操作部１２０は、ユーザから入力される操作を受け付ける。また、操作部１２０は、受け付けた操作を制御部１１０に提供することができる。本明細書においては、操作部１２０がボタンである場合を主に想定するが、操作部１２０はボタン以外の入力装置（例えば、タッチパネルなど）であってもよい。

画像センサ部１３０は、実空間を連続的に所定のフレームレートで撮像することにより動画像を取得する。また、画像センサ部１３０は、撮像した動画像を制御部１１０に提供することができる。特に、画像センサ部１３０は、１または複数枚の第１の解像度画像（以下、「低解像度画像」とも言う。）と第１の解像度画像よりも高解像度の第２の解像度画像（以下、「高解像度画像」とも言う。）を、所定周期を単位として繰り返し撮像する。

通信部１４０は、分析装置２０との間で通信を行うための通信インタフェースである。上記したように、本明細書においては、通信部１４０が有線による通信を行う場合を主に想定するが、通信部１４０は、無線による通信を行ってもよい。

記憶部１５０は、制御部１１０を動作させるためのプログラムおよびデータを記憶することが可能な記憶装置である。また、記憶部１５０は、制御部１１０の動作の過程で必要となる各種データを一時的に記憶することもできる。例えば、記憶装置は、不揮発性の記憶装置であってよい。

なお、図２に示した例では、操作部１２０、画像センサ部１３０、通信部１４０および記憶部１５０が、撮像装置１０の内部に設けられているが、操作部１２０、画像センサ部１３０、通信部１４０および記憶部１５０は、撮像装置１０の外部に備えられていてもよい。制御部１１０は、パラメータ制御部１１１、解像度制御部１１２および動き検出部１１３を備える。制御部１１０が備えるこれらの各機能部の詳細については、後に詳細に説明する。

［分析装置の機能構成例］
続いて、本実施形態に係る分析装置２０の機能構成例について説明する。図３は、本実施形態に係る分析装置２０の機能構成を示すブロック図である。図３に示すように、本実施形態に係る分析装置２０は、制御部２１０、入力部２２０、通信部２３０、記憶部２４０および表示部２５０を備える。

制御部２１０は、ＣＰＵなどを含み、記憶部２４０により記憶されているプログラムがＣＰＵによりＲＡＭに展開されて実行されることにより、その機能が実現され得る。このとき、当該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。あるいは、制御部２１０は、専用のハードウェアにより構成されていてもよいし、複数のハードウェアの組み合わせにより構成されてもよい。

入力部２２０は、ユーザから入力される操作を受け付ける。また、入力部２２０は、受け付けた操作を制御部２１０に提供することができる。本明細書においては、入力部２２０がキーボードである場合を主に想定するが、入力部２２０はキーボード以外の入力装置（例えば、ボタン、タッチパネル、マウスなど）であってもよい。

通信部２３０は、撮像装置１０との間で通信を行うための通信インタフェースである。上記したように、本明細書においては、通信部２３０が有線による通信を行う場合を主に想定するが、通信部２３０は、無線による通信を行ってもよい。

記憶部２４０は、制御部２１０を動作させるためのプログラムおよびデータを記憶することが可能な記憶装置である。また、記憶部２４０は、制御部２１０の動作の過程で必要となる各種データを一時的に記憶することもできる。例えば、記憶装置は、不揮発性の記憶装置であってよい。

表示部２５０は、制御部２１０による制御に従って表示を行う機能を有する。表示部２５０の形態は特に限定されない。例えば、表示部２５０は、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置、ランプなどの表示装置であってよい。

なお、図５に示した例では、入力部２２０、通信部２３０、記憶部２４０および表示部２５０が、分析装置２０の内部に設けられているが、入力部２２０、通信部２３０、記憶部２４０および表示部２５０は、分析装置２０の外部に備えられていてもよい。制御部２１０は、画像取得部２１１、画像分析部２１２および表示制御部２１３を備える。制御部２１０が備えるこれらの各機能部の詳細については、後に詳細に説明する。

［機能詳細］
続いて、画像処理システム１の機能詳細について説明する。

本実施形態において、解像度制御部１１２は、画像センサ部１３０から出力される動画像から１または複数枚の低解像度画像と高解像度画像とのキャプチャを行う。そして、動き検出部１１３は、少なくとも低解像度画像に基づいて車両の動きを示す動き情報を検出する。画像分析部２１２は、動き情報に基づいて、高解像度画像に写る車両におけるナンバープレートの位置を推定し、ナンバープレートの位置に基づいてナンバーを認識する。

かかる構成によれば、高フレームレートの低解像度画像に基づいてナンバープレートの位置が推定され、ナンバープレートの位置に基づいて低フレームレートの高解像度画像からナンバーが認識される。したがって、動画像に基づくナンバー認識を、処理データ量を低減しつつ、より高精度に行うことが可能となる。さらに、かかる構成によれば、動画像からの切り出しを行わずに画像の連続性を保つことができるため、動き情報の検出精度を高めることが可能となり、高精度なナンバー認識がなされ得る。

１または複数枚の低解像度画像と高解像度画像との撮像順序は特に限定されない。すなわち、１または複数枚の低解像度画像の少なくとも一部は、高解像度画像よりも前に撮像され、または、高解像度画像よりも後に撮像されてよい。あるいは、動き検出部１１３は、１または複数枚の低解像度画像のうちの少なくとも一部を、高解像度画像の低解像度化によって得てもよい。以下、これらのバリエーションについて詳細に説明する。

まず、本実施形態に係るナンバー認識の第１の例について説明する。図４は、本実施形態に係るナンバー認識の第１の例について説明するための図である。図４を参照すると、解像度制御部１１２は、先の周期Ｔ１において、低解像度画像４１−１、低解像度画像４１−２および高解像度画像４２−１の順に動画像からキャプチャを行っている。また、解像度制御部１１２は、次の周期Ｔ１において、低解像度画像４１−４、低解像度画像４１−５および高解像度画像４２−２の順に動画像からキャプチャを行っている。

このように、図４に示した例では、高解像度画像４２の前に２枚の低解像度画像４１が撮像される場合を想定する。しかし、低解像度画像４１の前に撮像される低解像度画像４１の枚数は２枚に限定されず、複数枚であればよい。車両３０の動き情報の検出に利用される低解像度画像４１の枚数が多いほど、車両３０の動き情報の検出の周期は長くなってしまうことが予想されるが、ナンバープレート３１の位置の推定精度は向上することが期待される。

まず、先の周期Ｔ１について説明する。動き検出部１１３は、低解像度画像４１−１と低解像度画像４１−２とに基づいて車両３０の動き情報を検出する。ここで、車両３０の動き情報はどのように検出されてもよい。例えば、動き検出部１１３は、追跡処理により車両３０の動き情報を検出する。より具体的には、動き検出部１１３は、低解像度画像４１−１と低解像度画像４１−２とにおいて同一であると予測される車両同士を対応付ける処理によって車両の追跡処理を行ってよい。ここで、低解像度画像４１から車両を検出する手法は特に限定されない。

例えば、低解像度画像４１のうち変化が生じた領域が車両として検出されてもよい。あるいは、車両は、背景差分技術を用いて検出されてもよいし、フレーム間差分技術を用いて検出されてもよいし、オプティカルフローに基づいて検出されてもよい。あるいは、車両の画像特徴量をあらかじめ学習しておき、低解像度画像４１から車両の画像特徴量が検出された場合に、当該画像特徴量が検出された領域を車両として検出してもよい。

低解像度画像４１−１と低解像度画像４１−２とにおいて同一の車両であると予測することが可能な条件は限定されないが、例えば、上記のようにして検出された車両同士の距離が所定の範囲に収まるときには、同一の車両であると予測されてよい。例えば、所定の範囲は、あらかじめ設定されていてよい。動き情報は、動き検出部１１３によって低解像度画像４１−１および低解像度画像４１−２それぞれにおける車両３０の位置として得られてよい。

動き情報と低解像度画像４１−１と低解像度画像４１−２と高解像度画像４２−１とは、通信部１４０によって送信され、分析装置２０において通信部２３０によって受信され、画像取得部２１１によって取得される。画像分析部２１２は、動き情報に基づいて、高解像度画像４２−１に写る車両３０におけるナンバープレート３１の位置（以下、「ナンバープレートの位置６２−１」とも言う。）を推定し、ナンバープレートの位置６２−１に基づいてナンバー６３−１を認識する。ここで、ナンバープレートの位置６２−１はどのように推定されてもよい。

例えば、車両３０が所定の方向（図４に示した例では、上下方向）に等速直線運動をするとみなすことができる場合、画像分析部２１２は、低解像度画像４１−１および低解像度画像４１−２それぞれにおける車両３０の位置を等速直線運動に近似し、この等速直線運動に基づいて高解像度画像４２−１に写る車両３０の位置を推定してよい。あるいは、車両３０が加速するとみなすことができる場合には（例えば、曲がっている道路、加速または減速する車両が多い道路など）、追加的に加速度が考慮されてもよい。

そして、画像分析部２１２は、高解像度画像４２−１に写る車両３０の位置に基づいて、高解像度画像４２−１に写る車両３０におけるナンバープレートの位置６２−１を推定してよい。高解像度画像４２−１に写る車両３０の位置からナンバープレートの位置６２−１はどのように推定されてもよい。例えば、高解像度画像４２−１に写る車両３０とナンバープレート３１との位置関係があらかじめ登録されていれば、画像分析部２１２は、当該位置関係に基づいて、高解像度画像４２−１に写る車両３０の位置から、高解像度画像４２−１に写る車両３０におけるナンバープレートの位置６２−１を推定することが可能である。

画像分析部２１２は、ナンバープレートの位置６２−１を推定すると、高解像度画像４２−１におけるナンバープレートの位置６２−１からナンバー６３−１を認識する。ナンバー６３−１は、ナンバープレート３１に記述されている複数の文字である。ここで、ナンバーの認識はどのようになされてもよい。例えば、ナンバーを認識する技術としては、下記の各種文献に記載された技術を利用することが可能である。

（文献１）２０１２年７月・ＳＥＩテクニカルレビュー，自動ナンバープレート読取装置の開発，加藤武彦・田中佳代・浅田昌利・安原宏行・立木佳那栄・児玉迪弘・安原佑輔・浅井俊弘・荻内康雄
（文献２）２０１４年１月・ＳＥＩテクニカルレビュー，タイのナンバープレート自動検出・認識，荻内康雄，東久保政勝，Ｓａｋｄａ，Ｐａｎｗａｉ
（文献３）「高速走行車両ナンバープレート認識の開発」，青木泰浩，斉藤俊雄（東芝），ＩＴＳ研究会２０１４／９
（文献４）三菱重工技報，ＶＯＬ４５，ＮＯ．３：２００８，低解像度カメラ対応車両番号認識システムの開発

画像分析部２１２による分析結果（画像分析部２１２によって認識されたナンバー６３−１）は、表示制御部２１３によって表示制御され、表示部２５０によって表示される。表示部２５０によって表示されるナンバー６３−１は、ユーザによって確認され得る。次の周期Ｔ１においても同様に、動き情報６１−２の検出、ナンバープレートの位置６２−２の推定およびナンバー６３−２の認識がなされ、以降の周期においても同様に、これらの動作が繰り返される。

ここで、各種パラメータ（例えば、低解像度画像４１の解像度、高解像度画像４２の解像度および高解像度画像４２の挿入間隔の少なくともいずれか一つを含むパラメータ）は、常に一定であってもよいが、手動または自動によって制御可能であってもよい。すなわち、パラメータ制御部１１１は、手動または自動によってパラメータを制御可能であってもよい。例えば、低解像度画像４１の解像度が高くなるほど、データ処理量は大きくなってしまうが、動き情報の検出精度は高くなることが予想される。

また、高解像度画像４２の解像度が高くなるほど、データ処理量は大きくなってしまうが、ナンバー認識の精度は高くなることが予想される。さらに、高解像度画像４２の挿入間隔が短くなるほど、データ処理量は大きくなってしまうが、ナンバー認識がなされる頻度が増加するため、ナンバー認識の精度は高くなることが予想される。

例えば、パラメータ制御部１１１は、手動によってパラメータを制御することが可能であってよい。より具体的には、パラメータ制御部１１１は、分析装置２０の入力部２２０によってユーザから入力された操作が受け付けられると、当該操作に基づいてパラメータを制御することが可能であってよい。例えば、パラメータ制御部１１１は、ユーザからパラメータ変更指示が入力されると、当該パラメータ変更指示に基づいてパラメータを制御することが可能であってよい。

一方、パラメータ制御部１１１は、自動的にパラメータを制御することが可能であってもよい。例えば、車両３０の速度が高いほど、動き情報の検出精度およびナンバー認識の精度が低くなる可能性が高まってしまう。そこで、パラメータ制御部１１１は、車両３０の動き情報に基づいて車両３０の速度を算出し（例えば、低解像度画像４１−１および低解像度画像４１−２それぞれにおける車両３０の位置の差分から車両３０の速度を算出し）、車両３０の速度に基づいて、パラメータを制御してもよい。

より具体的には、パラメータ制御部１１１は、車両３０の速度が閾値を超える場合には、ナンバー認識の精度を高めるために、高解像度画像４２の挿入間隔を短くしてもよいし、高解像度画像４２の解像度を高くしてもよいし、動き情報の検出精度を高めるために、低解像度画像４１の解像度を高くしてもよい。一方、パラメータ制御部１１１は、車両３０の速度が閾値を超えない場合には、高解像度画像４２の挿入間隔と高解像度画像４２の解像度と低解像度画像４１の解像度とを維持してもよい。

あるいは、画像分析部２１２によるナンバー認識の精度が取得できる場合、パラメータ制御部１１１は、ナンバー認識の精度に基づいて、パラメータを制御してもよい。なお、ナンバー認識の精度は、高解像度画像４２に写るナンバープレート３１に基づくナンバーの読み取り精度であってもよいし、あらかじめ登録されている正規のナンバーに対する読み取られたナンバーの一致度合いがさらに考慮された値であってもよい。

具体的に、パラメータ制御部１１１は、ナンバー認識の精度が閾値未満である場合には、ナンバー認識の精度を高めるために、高解像度画像４２の挿入間隔を短くしてもよいし、高解像度画像４２の解像度を高くしてもよいし、動き情報の検出精度を高めるために、低解像度画像４１の解像度を高くしてもよい。一方、パラメータ制御部１１１は、ナンバー認識の精度が閾値以上である場合には、高解像度画像４２の挿入間隔と高解像度画像４２の解像度と低解像度画像４１の解像度とを維持してもよい。

続いて、本実施形態に係るナンバー認識の第１の例における画像処理システム１の動作例について説明する。なお、以下に説明する画像処理システム１の動作例は、画像処理システム１の動作の一例に過ぎない。したがって、画像処理システム１の動作は、以下に説明する画像処理システム１の動作例に限定されない。

図５は、ナンバー認識の第１の例における画像処理システム１の動作例を示すフローチャートである。図５に示すように、撮像装置１０において、パラメータ制御部１１１は、パラメータ制御を行う（Ｓ１０）。ここで、パラメータ制御の動作例について詳細に説明する。

図６は、パラメータ制御の動作例を示すフローチャートである。パラメータ制御部１１１は、通信部１４０によって分析装置２０からパラメータ変更指示が受信された場合（Ｓ１１０において「Ｙｅｓ」）、パラメータを変更する（Ｓ１４０）。また、パラメータ制御部１１１は、車両速度が閾値を超える場合にも（Ｓ１２０において「Ｙｅｓ」）、パラメータを変更する（Ｓ１４０）。さらに、ナンバーの認識精度が閾値未満である場合にも（Ｓ１３０において「Ｙｅｓ」）、パラメータを変更する（Ｓ１４０）。

一方、パラメータ制御部１１１は、通信部１４０によって分析装置２０からパラメータ変更指示が受信されない場合、かつ、車両速度が閾値を超えない場合、かつ、ナンバーの認識精度が閾値以上である場合（Ｓ１１０〜Ｓ１３０それぞれにおいて「Ｎｏ」）、パラメータを維持してよい。

図５に戻って説明を続ける。画像センサ部１３０は、撮像によって動画像を取得して出力する。続いて、解像度制御部１１２は、画像センサ部１３０から出力された動画像から２枚の低解像度画像をキャプチャし（Ｓ１１）、１枚の高解像度画像をキャプチャする（Ｓ１２）。続いて、動き検出部１１３は、２枚の低解像度画像に基づいて動き情報を検出する（Ｓ１３）。通信部１４０は、動き検出部１１３によって検出された動き情報を分析装置２０に送信する（Ｓ１４）。

分析装置２０においては、通信部２３０が動き情報を受信し、画像分析部２１２が動き情報に基づいてナンバープレートの位置を推定する（Ｓ２２）。一方、撮像装置１０において、通信部１４０が１枚の高解像度画像を送信すると（Ｓ１５）、分析装置２０において、通信部２３０が１枚の高解像度画像を受信する（Ｓ２３）。さらに、撮像装置１０において、通信部１４０が２枚の低解像度画像を送信すると（Ｓ１６）、分析装置２０において、通信部２３０が２枚の低解像度画像を受信する（Ｓ２４）。

制御部１１０は、動作終了の場合には（Ｓ１８において「Ｙｅｓ」）、動作を終了するが、動作終了ではない場合には（Ｓ１８において「Ｎｏ」）、Ｓ１０に戻る。一方、分析装置２０において、画像取得部２１１は、２枚の低解像度画像と１枚の高解像度画像とを取得する。画像分析部２１２は、動き情報に基づいてナンバープレートの位置を推定し、ナンバープレートの位置と２枚の低解像度画像と１枚の高解像度画像とに基づいて、ナンバーを認識する（Ｓ２５）。

続いて、表示制御部２１３は、ナンバーの認識結果の表示を制御する。表示部２５０は、表示制御部２１３による制御に従ってナンバーの認識結果を表示する（Ｓ２６）。表示部２５０によって表示されるナンバーは、ユーザによって確認され得る。制御部２１０は、動作終了の場合には（Ｓ２７において「Ｙｅｓ」）、動作を終了するが、動作終了ではない場合には（Ｓ２７において「Ｎｏ」）、Ｓ２１に戻る。

以上、ナンバー認識の第１の例における画像処理システム１の動作例を説明した。ナンバー認識の第１の例においては、高解像度画像が動き情報の検出に利用されないため、動き情報の検出を高速化することが可能である。ここで、上記では、複数枚の低解像度画像それぞれが別々に送信される場合を想定したが、低解像度画像が複数枚から構成される場合、解像度制御部１１２は、複数枚の低解像度画像を高解像度画像と同一解像度に集約して画像分析部２１２に出力してもよい。

例えば、低解像度画像の縦の長さが高解像度画像の縦の長さの（１／ｍ）であり、低解像度画像の横の長さが高解像度画像の横の長さの（１／ｎ）である場合、解像度制御部１１２は、低解像度画像を縦方向および横方向にそれぞれ、ｍ枚およびｎ枚集約して画像分析部２１２に出力してもよい。このような集約が行われれば、複数枚の低解像度画像と高解像度画像とを伝送するハードウェアを共通化することが可能であるため、ハードウェア構成を簡易化することが可能となる。

図７は、複数枚の低解像度画像を高解像度画像と同一解像度に集約する例を説明するための図である。図７に示すように、低解像度画像４１−１，４１−２，４１−４，４１−５の縦横の長さが高解像度画像４２−１の縦横の長さの（１／２）である場合を想定する。かかる場合、解像度制御部１１２は、縦方向および横方向にそれぞれ２枚ずつ低解像度画像４１を集約することによって（低解像度画像４１−１，４１−２，４１−４，４１−５の４枚を集約することによって）、集約画像４３Ａを生成し、集約画像４３Ａを画像分析部２１２に出力してもよい。

続いて、本実施形態に係るナンバー認識の第２の例について説明する。図８は、本実施形態に係るナンバー認識の第２の例について説明するための図である。図８を参照すると、解像度制御部１１２は、ある周期Ｔ１において、低解像度画像４１−２、高解像度画像４２−１および低解像度画像４１−４の順に動画像からキャプチャを行っている。また、解像度制御部１１２は、その前後のそれぞれの周期Ｔ１においても、同様な順序で動画像からキャプチャを行う。

このように、図８に示した例では、高解像度画像４２の前後に１枚ずつの低解像度画像４１が撮像される場合を想定する。しかし、低解像度画像４１の前後に撮像される低解像度画像４１の枚数は１枚に限定されず、少なくともいずれかが複数枚であってもよい。車両３０の動き情報の検出に利用される低解像度画像４１の枚数が多いほど、車両３０の動き情報の検出の周期は長くなってしまうことが予想されるが、ナンバープレート３１の位置の推定精度は向上することが期待される。

動き検出部１１３は、低解像度画像４１−２と低解像度画像４１−４とに基づいて車両３０の動き情報を検出する。動き情報は、動き検出部１１３によって低解像度画像４１−２および低解像度画像４１−４それぞれにおける車両３０の位置として得られてよい。

動き情報と低解像度画像４１−２と低解像度画像４１−４と高解像度画像４２−１とは、通信部１４０によって送信され、分析装置２０において通信部２３０によって受信され、画像取得部２１１によって取得される。画像分析部２１２は、動き情報に基づいて、高解像度画像４２−１に写る車両３０におけるナンバープレートの位置６２−１を推定し、ナンバープレートの位置６２−１に基づいてナンバー６３−１を認識する。

画像分析部２１２は、ナンバープレートの位置６２−１を推定すると、高解像度画像４２−１におけるナンバープレートの位置６２−１からナンバー６３−１を認識する。画像分析部２１２によって認識されたナンバー６３−１は、表示制御部２１３によって表示制御され、表示部２５０によって表示される。表示部２５０によって表示されるナンバー６３−１は、ユーザによって確認され得る。

次の周期Ｔ１においても同様に、動き情報６１−１の検出、ナンバープレートの位置６２−２の推定およびナンバー６３−２の認識がなされ、以降の周期においても同様に、これらの動作が繰り返される。なお、パラメータ制御部１１１によるパラメータの制御、複数枚の低解像度画像４１の集約などは、上記した第１の例と同様になされ得るため、第２の例におけるパラメータの制御、複数枚の低解像度画像４１の集約などについての詳細な説明は省略する。

続いて、本実施形態に係るナンバー認識の第２の例における画像処理システム１の動作例について説明する。なお、以下に説明する画像処理システム１の動作例は、画像処理システム１の動作の一例に過ぎない。したがって、画像処理システム１の動作は、以下に説明する画像処理システム１の動作例に限定されない。

図９は、ナンバー認識の第２の例における画像処理システム１の動作例を示すフローチャートである。図９に示すように、撮像装置１０において、パラメータ制御部１１１は、パラメータ制御を行う（Ｓ１０）。パラメータ制御の動作例については、既に述べたため、詳細な説明は省略する。

画像センサ部１３０は、撮像によって動画像を取得して出力する。続いて、解像度制御部１１２は、画像センサ部１３０から出力された動画像から１枚の低解像度画像をキャプチャし（Ｓ１１−１）、１枚の高解像度画像をキャプチャし（Ｓ１２）、１枚の低解像度画像をキャプチャする（Ｓ１１−２）。続いて、動き検出部１１３は、当該２枚の低解像度画像に基づいて動き情報を検出する（Ｓ１３）。以降の動作については、第１の例と同様になされ得るため、以降の動作の説明は省略する。

以上、ナンバー認識の第２の例における画像処理システム１の動作例を説明した。ナンバー認識の第２の例においても、ナンバー認識の第１の例と同様に、高解像度画像が動き情報の検出に利用されないため、動き情報の検出を高速化することが可能である。

続いて、本実施形態に係るナンバー認識の第３の例について説明する。図１０は、本実施形態に係るナンバー認識の第３の例について説明するための図である。図１０を参照すると、解像度制御部１１２は、第１の例と同様に、先の周期Ｔ１において、低解像度画像４１−１、低解像度画像４１−２および高解像度画像４２−１の順に動画像からキャプチャを行っている。また、解像度制御部１１２は、次の周期Ｔ１において、低解像度画像４１−４、低解像度画像４１−５および高解像度画像４２−２の順に動画像からキャプチャを行っている。

このように、図１０に示した例では、高解像度画像４２の前に２枚の低解像度画像４１が撮像される場合を想定する。しかし、低解像度画像４１の前に撮像される低解像度画像４１の枚数は２枚に限定されず、複数枚であってもよいし、１枚であってもよい。また、１または複数枚の低解像度画像４１が高解像度画像４２の後に撮像されてもよいし、複数枚の低解像度画像４１が高解像度画像４２の前後に分散して撮像されてもよい。

まず、先の周期Ｔ１について説明する。動き検出部１１３は、高解像度画像４２−１の解像度を低解像度画像４１−１，４１−２の解像度に合わせるように高解像度画像４２−１の解像度を低下させることによって（高解像度画像４２−１を低解像度化することによって）、低解像度画像４１−３を生成する。動き検出部１１３は、低解像度画像４１−１と低解像度画像４１−２と低解像度画像４１−３とに基づいて車両３０の動き情報を検出する。以降は、第１の例と同様にしてナンバー認識が行われ得る。

次の周期Ｔ１においても同様に、高解像度画像４２−２から低解像度画像４１−６が生成され、低解像度画像４１−４と低解像度画像４１−５と低解像度画像４１−６とに基づいて車両３０の動き情報が検出される。そして、次の周期Ｔ１においても同様に、動き情報６１−２の検出、ナンバープレートの位置６２−２の推定およびナンバー６３−２の認識がなされ、以降の周期においても同様に、これらの動作が繰り返される。なお、パラメータ制御部１１１によるパラメータの制御は、上記した第１の例と同様になされ得る。

続いて、本実施形態に係るナンバー認識の第３の例における画像処理システム１の動作例について説明する。なお、以下に説明する画像処理システム１の動作例は、画像処理システム１の動作の一例に過ぎない。したがって、画像処理システム１の動作は、以下に説明する画像処理システム１の動作例に限定されない。

図１１は、ナンバー認識の第３の例における画像処理システム１の動作例を示すフローチャートである。図１１に示すように、撮像装置１０において、パラメータ制御部１１１は、パラメータ制御を行う（Ｓ１０）。パラメータ制御の動作例については、既に述べたため、詳細な説明は省略する。

画像センサ部１３０は、撮像によって動画像を取得して出力する。続いて、第１の例と同様に、解像度制御部１１２は、画像センサ部１３０から出力された動画像から２枚の低解像度画像をキャプチャし（Ｓ１１）、１枚の高解像度画像をキャプチャする（Ｓ１２）。ここで、動き検出部１１３は、高解像度画像を低解像度化することによって低解像度画像を生成する（Ｓ３１）。そして、動き検出部１１３は、当該３枚の低解像度画像に基づいて動き情報を検出する（Ｓ３２）。通信部１４０は、動き検出部１１３によって検出された動き情報を分析装置２０に送信する（Ｓ１４）。

分析装置２０においては、通信部２３０が動き情報を受信し、画像分析部２１２が動き情報に基づいてナンバープレートの位置を推定する（Ｓ２２）。一方、撮像装置１０において、通信部１４０が１枚の高解像度画像を送信すると（Ｓ１５）、分析装置２０において、通信部２３０が１枚の高解像度画像を受信する（Ｓ２３）。さらに、撮像装置１０において、通信部１４０が３枚の低解像度画像を送信すると（Ｓ３３）、分析装置２０において、通信部２３０が３枚の低解像度画像を受信する（Ｓ３４）。

このように、高解像度画像から生成された低解像度画像も分析装置２０に送信されることによって、分析装置２０において高解像度画像から低解像度画像を生成する処理を省略させることが可能となる。しかし、高解像度画像から生成された低解像度画像は、分析装置２０に送信されず、分析装置２０において、受信した高解像度画像から低解像度画像を生成するようにしてもよい。

制御部１１０は、動作終了の場合には（Ｓ１８において「Ｙｅｓ」）、動作を終了するが、動作終了ではない場合には（Ｓ１８において「Ｎｏ」）、Ｓ１０に戻る。一方、分析装置２０において、画像取得部２１１は、３枚の低解像度画像と１枚の高解像度画像とを取得する。画像分析部２１２は、動き情報に基づいてナンバープレートの位置を推定し、ナンバープレートの位置と３枚の低解像度画像と１枚の高解像度画像とに基づいて、ナンバーを認識する（Ｓ２５）。

続いて、表示制御部２１３は、ナンバーの認識結果の表示を制御する。表示部２５０は、表示制御部２１３による制御に従ってナンバーの認識結果を表示する（Ｓ２６）。表示部２５０によって表示されるナンバーは、ユーザによって確認され得る。制御部２１０は、動作終了の場合には（Ｓ２７において「Ｙｅｓ」）、動作を終了するが、動作終了ではない場合には（Ｓ２７において「Ｎｏ」）、Ｓ２１に戻る。

以上、ナンバー認識の第３の例における画像処理システム１の動作例を説明した。ナンバー認識の第３の例においては、高解像度画像から生成された低解像度画像も動き情報の検出に利用されるため、動き情報の検出精度を高めることが可能である。ここで、上記と同様に、ハードウェア構成を簡易化するため、解像度制御部１１２は、複数枚の低解像度画像を高解像度画像と同一解像度に集約して画像分析部２１２に出力してもよい。

図１２は、複数枚の低解像度画像を高解像度画像と同一解像度に集約する例を説明するための図である。図１２に示すように、低解像度画像４１−１，４１−２，４１−３，４１−４の縦横の長さが高解像度画像４２−１の縦横の長さの（１／２）である場合を想定する。かかる場合、解像度制御部１１２は、縦方向および横方向にそれぞれ２枚ずつ低解像度画像４１を集約することによって（低解像度画像４１−１，４１−２，４１−３，４１−４の４枚を集約することによって）、集約画像４３Ｂを生成し、集約画像４３Ｂを画像分析部２１２に出力してもよい。

［本実施形態の効果］
以上に説明したように、本実施形態によれば、所定のフレームレートで撮像される動画像から１または複数枚の低解像度画像と高解像度画像とのキャプチャを行う解像度制御部１１２と、少なくとも１または複数枚の解像度画像に基づいて車両の動き情報を検出する動き検出部１１３と、動き情報に基づいて、高解像度画像に写る車両におけるナンバープレートの位置を推定し、ナンバープレートの位置に基づいて画像分析を行う画像分析部２１２と、を有する、画像処理システム１が提供される。

かかる構成によれば、高フレームレートの低解像度画像に基づいてナンバープレートの位置が推定され、ナンバープレートの位置に基づいて低フレームレートの高解像度画像からナンバーが認識される。したがって、動画像に基づくナンバー認識を、処理データ量を低減しつつ、より高精度に行うことが可能となる。さらに、かかる構成によれば、動画像からの切り出しを行わずに画像の連続性を保つことができるため、動き情報の検出精度を高めることが可能となり、高精度なナンバー認識がなされ得る。

［変形例の説明］
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

１ 画像処理システム
１０ 撮像装置
２０ 分析装置
３０ 車両
３１ ナンバープレート
４１ 低解像度画像
４２ 高解像度画像
４３Ａ，４３Ｂ 集約画像
５０ ネットワーク
１１０ 制御部
１１１ パラメータ制御部
１１２ 解像度制御部
１１３ 動き検出部
１２０ 操作部
１３０ 画像センサ部
１４０ 通信部
１５０ 記憶部
２１０ 制御部
２１１ 画像取得部
２１２ 画像分析部
２１３ 表示制御部
２２０ 入力部
２３０ 通信部
２４０ 記憶部
２５０ 表示部

Claims (13)

1. 所定のフレームレートで撮像される動画像から１または複数枚の第１の解像度画像と前記第１の解像度よりも高解像度の第２の解像度画像とのキャプチャを行う解像度制御部と、
   少なくとも前記第１の解像度画像に基づいて動物体の動き情報を検出する動き検出部と、
   前記動き情報に基づいて、前記第２の解像度画像に写る前記動物体における所定領域の位置を推定し、前記所定領域の位置に基づいて画像分析を行う画像分析部と、
   を有する、画像処理システム。
2. 前記動物体は、車両であり、
   前記所定領域は、ナンバープレートである、
   請求項１に記載の画像処理システム。
3. 前記解像度制御部は、撮像装置に備えられ、
   前記画像分析部は、分析装置に備えられ、
   前記動き検出部は、前記撮像装置または前記分析装置に備えられる、
   請求項１に記載の画像処理システム。
4. 前記解像度制御部は、前記第１の解像度画像が複数枚から構成される場合、複数枚の前記第１の解像度画像を前記第２の解像度画像と同一解像度に集約して前記画像分析部に出力し、
   前記画像分析部は、前記複数枚の第１の解像度画像と前記所定領域の位置とに基づいて、前記画像分析を行う、
   請求項１に記載の画像処理システム。
5. 前記画像処理システムは、
   前記第１の解像度、前記第２の解像度および前記第２の解像度画像の挿入間隔の少なくともいずれか一つを含むパラメータを制御するパラメータ制御部を備える、
   請求項１に記載の画像処理システム。
6. 前記パラメータ制御部は、ユーザから入力された操作に基づいて前記パラメータを制御する、
   請求項５に記載の画像処理システム。
7. 前記パラメータ制御部は、前記動物体の速度に基づいて、前記パラメータを制御する、
   請求項５に記載の画像処理システム。
8. 前記パラメータ制御部は、前記画像分析の精度に基づいて、前記パラメータを制御する、
   請求項５に記載の画像処理システム。
9. 前記１または複数枚の第１の解像度画像と前記第２の解像度画像とが所定周期を単位として繰り返し撮像される場合、
   前記解像度制御部は、前記所定周期単位で前記キャプチャを行い、
   前記動き検出部は、前記所定周期単位で前記動き情報を検出し、
   前記画像分析部は、前記所定周期単位で前記所定領域の位置を推定し、前記所定周期単位で前記画像分析を行う、
   請求項１に記載の画像処理システム。
10. 前記１または複数枚の第１の解像度画像の少なくとも一部は、前記第２の解像度画像よりも前に撮像され、または、前記第２の解像度画像よりも後に撮像される、
    請求項１に記載の画像処理システム。
11. 前記動き検出部は、前記１または複数枚の第１の解像度画像の少なくとも一部を、前記第２の解像度画像の低解像度化によって得る、
    請求項１に記載の画像処理システム。
12. 所定のフレームレートで撮像される動画像から１または複数枚の第１の解像度画像と前記第１の解像度よりも高解像度の第２の解像度画像とのキャプチャを行うことと、
    少なくとも前記第１の解像度画像に基づいて動物体の動き情報を検出することと、
    前記動き情報に基づいて、前記第２の解像度画像に写る前記動物体における所定領域の位置を推定し、前記所定領域の位置に基づいて画像分析を行うことと、
    を有する、画像処理方法。
13. 所定のフレームレートで撮像される動画像から１または複数枚の第１の解像度画像と前記第１の解像度よりも高解像度の第２の解像度画像とのキャプチャを行う解像度制御部と、
    少なくとも前記第１の解像度画像に基づいて動物体の動き情報を検出する動き検出部と、
    を備え、
    前記動き情報に基づいて、前記第２の解像度画像に写る前記動物体における所定領域の位置が推定され、前記所定領域の位置に基づいて画像分析が行われる、
    撮像装置。
    

Images