WO2005024726A1

WO2005024726A1 - 対象物進行方向検出方法

Info

Publication number: WO2005024726A1
Application number: PCT/JP2004/012689
Authority: WO
Inventors: Natsuki Kurokawa
Original assignee: Matsushita Electric Industrial Co., Ltd.
Priority date: 2003-09-02
Filing date: 2004-08-26
Publication date: 2005-03-17
Also published as: CN100527166C; JP3787783B2; US7346193B2; CN1768353A; US20060193495A1; JP2005078482A

Abstract

本発明の課題は、少ない情報量で効率良く対象物の進行方向を検出できる対象物進行方向検出方法を提供することである。　本発明の対象物進行方向検出方法は、所定の時間間隔で撮影された２つのカラー画像夫々から明度画像を生成し、先の時刻ｔの明度画像上においてｎ×ｎのテンプレート１０５を走査して対象物が存在する位置を検出する。次に、対象物を検出した位置の画素を中心としてテンプレート１０５に各画素値を格納する。そして各画素値を格納したテンプレート１０５を時刻ｔ＋１の明度画像に対して走査してテンプレート１０５の各画素値と一致する画素を検出する。その後時刻ｔ＋１の明度画像上のテンプレート１０５と一致する画素位置に進行方向毎に対象物をプロットして進行方向抽出画像を作成する。

Description

対象物進行方向検出方法 <技術分野 >

本発明は、画像を処理して対象物の進行方向を検出する対象物進行方向検出方法に関する。明

ぐ背景技術〉

従来、対象物の進行方向を検出する技術として、デパート、展示会場等の出入口を通過して入退場する通行者の数を計測す書る通行者数検出装置が提案されている（例えば、特許文献 1参照）。この特許文献 1で開示された通行者数検出装置では、最初に取り込んだ画像と、次に取り込んだ画像との差分を二値化し、画素数を圧縮する固定差分処理を行い、得られた差分画素の数及び位置を計数、判別することにより、人の移動方向と人数を演算するようにしている。

(特許文献 1 )

特開平 5— 5 4 1 4 2号公報

しかしながら、上記従来の技術にあっては、移動方向を検出するために、画像の全画素の差分をとつていたため扱う情報量が多、という事情があった。

本発明は、上記従来の事情に鑑みてなされたものであって、少ない情報量で効率良く対象物の進行方向を検出できる対象物進行方向検出方法を提供することを目的としている。く発明の開示 >

本発明の対象物進行方向検出方法は、所定の時間間隔で撮影された、対象物を含む画像を取得する画像取得ステツプと、前記画像から任意の成分を抽出した画像を作成する抽出画像作成ステップと、時刻 tの前記抽出画像上でマトリタスのテンプレートを走査させて前記対象物が存在する位置を検出する対象物位置検出ステップと、前記対象物が検出された位置で、時刻 tの前記抽出画像の各画素値を前記テンプレートに格納する画素値格納ステップと、時刻 t + 1の前記抽出画像上で、前記画素値を格納したテンプレートを走査させて、前記テンプレートの各画素値と画素値が一致する画素の位置を検出する画素値一致画素検出ステップと、前記画素値一致画素検出ステップで検出された前記画素位置と同じ座標位置に、前記対象物の移動方向に応じて設定した画素値をプロットして、進行方向抽出画像を作成する進行方向抽出画像作成ステップと、を具備するものである。この構成により、画素値一致画素検出ステップでは、テンプレートに格納された時刻 tの抽出画像の画素値と、時刻 t + 1の抽出画像の画素値とがー致する位置を検出するため、少ない情報量で効率良く対象物の進行方向を検出できる。また、本発明の対象物進行方向検出方法は、所定の時間間隔で撮影された、対象物を含む画像を取得する画像取得ステップと、前記画像から任意の複数の成分を抽出した画像をそれぞれ作成する抽出画像作成ステップと、時刻 tの前記各抽出画像上でマトリクスのテンプレートをそれぞれ走査させて前記対象物が存在する位置をそれぞれ検出する対象物位置検出ステップと、前記対象物が検出された位置で、時刻 tの前記各抽出画像の各画素値を前記各テンプレートに格納する画素値格納ステップと、時刻 t + 1の前記各抽出画像上で、前記画素値を格納した各テンプレートを走査させて、前記各テンプレートの各画素値と画素値が一致する画素の位置をそれぞれ検出する画素値一致画素検出ステップと、前記画素値一致画素検出ステップで検出された前記各画素位置と同じ座標位置に、前記対象物の移動方向に応じてそれぞれ設定した画素値をプロットして複数の進行方向抽出画像をそれぞれ作成し、前記複数の進行方向抽出画像の平均値を画素毎に求めて複合進行方向抽出画像を作成する進行方向抽出画像作成ステップと、を具備するものである。

この構成により、複数の成分を抽出した画像に基づいて対象物の進行方向を検出するため、精度を向上できる。

また、本発明の対象物進行方向検出方法は、前記進行方向抽出画像作成ステツプが、時刻 tで撮影された画像及ぴ時刻 t + 1で撮影された画像に基づいて作成された第 1の進行方向抽出画像における前記対象物の重心である第 1の重心の位置と、時刻 t + 1で撮影された画像及び時刻 t + 2で撮影された画像に基づいて作成された第 2の進行方向抽出画像における前記対象物の重心である第 2の重心の位置との距離に基づいて速度を求める速度算出ステップを含むものである。

この構成により、速度算出ステップで、時刻 t + 1から時刻 t + 2の間に対象物が移動した距離及び移動速度を求めることができる。

また、本発明の対象物進行方向検出方法は、前記抽出画像作成ステップが、力ラ一画像から明度成分、色相成分及び彩度成分を選択して抽出する。

この構成により、色の三要素を利用して、少ない情報量で効率良く対象物の進行方向を検出できる。

さらに、本発明の対象物進行方向検出方法は、前記進行方向抽出画像作成ステップで作成された進行方向抽出画像のそれぞれから抽出した所定領域の画像を時系列に並べた時空間画像を作成する時空間画像作成ステップを具備するものである。

この構成により、時空間画像に基づいて、対象物の移動した方向、移動した時刻、移動した速度等を容易に確認することが可能となる。

<図面の簡単な説明 >

図 1は、本発明の実施の形態 1に係る対象物進行方向検出装置の動作を説明するための図であり、

図 2は、本発明の実施の形態 2に係る対象物進行方向検出装置の動作を説明するための図であり、

図 3は、本発明の実施の形態 3に係る対象物進行方向検出装置の動作を説明するための図であり、

図 4は、本発明の実施の形態 3に係る対象物進行方向検出装置の動作を説明するための図であり、

図 5は、本発明の実施の形態 4に係る対象物進行方向検出装置の動作を説明するための図である。

なお、図中の符号、 1 0 1， 1 0 2, 1 0 7， 1 0 8， 1 2 0, 1 2 1はカラ一画像、 1 0 3 a , 1 0 3 b, 1 04 a , 1 04 b， 1 0 9 a , 1 0 9 b, 1 1 0 a , 1 1 0 b， 1 2 2 a , 1 2 2 b, 1 2 3 a , 1 2 3 bは明度画像、 1 1 1 TJP2004/012689 a, 1 1 1 b， 1 1 2 a, 1 1 2 b, 124 a, 124 b, 1 25 a, 1 25 b は彩度画像、 105, 1 1 3， 1 14, 1 28， 129、 1 30はテンプレート、 106は進行方向抽出画像、 1 1 5， 1 3 1は明度情報進行方向抽出画像、 1 1 6, 1 32は彩度情報進行方向抽出画像、 1 1 7は明度一彩度進行方向抽出画像、 1 26 a, 1 26 b， 1 27 a, 1 27 bは色相画像、 1 33は色相情報進行方向抽出画像、 1 34は明度一彩度一色相進行方向抽出画像である。

<発明を実施するための最良の形態 >

本発明は、対象物を含むカラー画像に基づいて、対象物の進行方向を検出するものであるが、以下、道路を通行する人物を上空から撮影したカラー画像に基づいて、人物の進行方向を検出する場合について、図面を参照して説明する。

(実施の形態 1 )

図 1を参照して、本実施の形態に係る対象物進行方向検出方法について説明する。

図 1に示すように、まず、 CCDカメラ等の撮像装置によって所定の時間間隔で撮影された時刻 tのカラ一画像 10 1と時刻 t + 1のカラ一画像 102と力ら、色の三要素の 1つである明度情報のみを抽出した明度画像を作成する。この場合、時刻 tのカラ一画像 101から明度画像 103を作成し、時刻 t + 1のカラ一画像 102から明度画像 104を作成する。時刻 t及び時刻 t + 1における明度画像をそれぞれ作成した後、対象物のみを抽出した画像（対象物抽出画像）をそれぞれ作成する。次に、 n X n(nは 3以上の奇数とする）のマトリタスのテンプレート 105を用いて時刻 tの明度画像（対象物抽出画像） 10 3を走査して対象物が存在する位置を検出する。

対象物を検出すると、その位置の画素を中心として周囲の画素の値（画素値）をテンプレート 105に格納する。次に、各画素値を格納したテンプレート 10 5を用いて時刻 t + 1の明度画像 104に対して走査を行い、テンプレート 10 5の画素値と一致する画素を検出（マッチング画素を検出）する。そして、テンプレート 105の画素値と一致した画素の位置と同じ座標位置に点をプロットする。なお、この図では対象物が 3つあるので、それぞれについてテンプレートを作成した後、各テンプレートによる走査を行い、点をプロットする。

マッチング画素に相当する座標に点をプロットする際、進行方向毎に区別する。図 1の場合は、画面の左右方向に対象物が進行していることから、時刻 tの画像に基づいて作成したテンプレート 1 0 5と時刻 t + 1の画像で一致した画素の位置が、画面左から右に移動していれば（即ち、対象物が左から右へ進行していれば）この対象物の存在領域に相当する画素を画素値「2 5 5」とし、逆に画面右から左に移動していれば（即ち、対象物が右から左へ進行していれば）画素値「 0」とする。また、テンプレート 1 0 5によるマッチングができなかった位置の画素を画素値「1 2 5」とする。このように、マッチング画素に基づいて対象物の存在領域に相当する座標の画素値を定めて、進行方向抽出画像 1 0 6を作成する。これにより、画面右から左に向かう方向に移動する対象物（図では一番上の対象物）の画素値が「0」となるので、進行方向抽出画像 1 0 6では白くなり、画面左から右に向かう方向に移動する対象物（図では上から 2番目と 3番目の各対象物）は黒く見えることになる。すなわち、上から 2番目と 3番目の各対象物のみ左から右に進行していることが分かる。なお、対象物が、画面上下方向に進行する場合も同様である。

このように、本実施の形態に係る対象物進行方向検出装置によれば、所定の時間間隔で撮影された 2つのカラー画像それぞれの明度画像を生成し、先の時刻 t の明度画像（対象物抽出画像）上において n X nのテンプレート 1 0 5を走査して対象物が存在する位置を検出する。そして、対象物を検出した位置の画素を中心としてテンプレート 1 0 5に各画素値を格納する。そして、各画素値を格納したテンプレート 1 0 5を時刻 t + 1の明度画像（対象物抽出画像）に対して走査して、テンプレート 1 0 5の各画素値と一致する画素を検出する。そして、時刻 t + 1の明度画像（対象物抽出画像）上のテンプレート 1 0 5と一致する画素位置に基づいて、対象物の存在領域に、対象物の進行方向毎に画素値を設定して進行方向抽出画像 1 0 6を作成する。

したがって、画像の全画素について差分をとる必要がないため、少ない情報量で効率良く対象物の進行方向を検出できる。なお、本実施の形態では、カラー画像から明度情報のみを抽出して処理するようにしたが、彩度又は色相情報を用いても良い。

また、上記実施の形態では、対象物の進行方向のみ検出するものであつたが、移動速度も検出するようにしても良い。まず、時刻 tと時刻 t + 1との間の対象物の進行方向を抽出した画像と、時刻 t + 1と時刻 t + 2との間の間の対象物の進行方向を抽出した画像とのそれぞれにおいて対象物の重心を検出する。次に、その重心の移動距離を検出し、重心の移動距離をその移動時間で除算することにより、対象物の移動速度を求めることができる。

(実施の形態 2 )

図 2は、本発明の実施の形態 2に係る対象物進行方向検出装置の動作を説明するための図である。なお、本実施の形態に係る対象物進行方向検出装置は実施の形態 1に係る対象物進行方向検出装置と機能が異なる以外同一の構成である。図 2に示すように、本実施の形態に係る対象物進行方向検出装置における進行方向抽出手法は、明度画像に加えて色の三要素の 1つである彩度画像を作成することで、精度向上を図ったものである。

まず、所定の時間間隔で撮影された時刻 tのカラー画像 1 0 7と時刻 t + 1のカラー画像 1 0 8とから、明度情報のみを抽出した明度画像 1 0 9 (時刻 t ) 、 1 1 0 (時刻 t + 1 ) と、彩度画像のみを抽出した彩度画像 1 1 1 (時亥 ij t ) 、 1 1 2 (時刻 t + 1 ) を作成する。さらに、時刻 tの明度画像 1 0 9に対して n X nのテンプレート 1 1 3を作成し、時刻 tの彩度画像 1 1 1に対して n X nのテンプレート 1 1 4を作成する。そして、各テンプレート 1 1 3、 1 1 4を用いて時刻 tの明度画像 1 0 9と彩度画像 1 1 1.に対して走査を行い、対象物のみを抽出した画像（対象物抽出画像）を作成する。そして、対象物を検出した位置の画素を中心として周囲の画素の値（画素値）をテンプレート 1 1 3、 1 1 4にそれぞれ格納する。そして、テンプレート 1 1 3を用いて時刻 t + 1の明度画像 1 1 0を走査し、またテンプレート 1 1 4を用いて時刻 t + 1の彩度画像 1 1 1を走査して、テンプレート 1 1 3、 1 1 4の画素値と一致する画素を検出（マッチング画素を検出）する。

そして、テンプレート 1 1 3の画素値と一致した画素の位置と同じ座標位置に点をプロットして明度情報進行方向抽出画像 1 1 5を作成する。また、テンプレート 1 1 4の画素値と一致した画素の位置と同じ座標位置に点をプロットして彩度情報進行方向抽出画像 1 1 6を作成する。

このとき、実施の形態 1と同様に進行方向毎に画素値を区別する。図 2の場合も、画面の左右方向に対象物が進行していることから、時刻 tの画像に基づいて作成したテンプレート 1 1 3と時刻 t + 1の画像で一致した画素の位置が、画面左から右に移動していればこの対象物の存在領域に相当する画素を画素値「2 5 5」とし、逆に画面右から左に移動していれば画素値「0」とする。また、テンプレート 1 1 3によるマッチングができなかった位置の画素を画素値「 1 2 5 j とする。これにより、画面右から左に向かう方向に移動する対象物（図では一番上の対象物）の画素が「0」になるので、明度情報進行方向抽出画像 1 1 5では白くなり、画面左から右に向かう方向に移動する対象物（図では上から 2番目と 3番目の各対象物）は黒く見えることになる。

また、時刻 tの画像に基づいて作成したテンプレート 1 1 4と時刻 t + 1の画像で一致した画素の位置が、画面左から右に移動していればこの対象物の存在領域に相当する画素を画素値「2 5 5」とし、逆に画面右から左に移動していれば画素値「0」とする。また、テンプレート 1 1 4によるマッチングができなかつた位置の画素を画素値「1 2 5」とする。これにより、画面右から左に向かう方向に移動する対象物（図では一番上の対象物）の画素が「0」となるので、彩度情報進行方向抽出画像 1 1 6では白くなり、画面左から右に向かう方向に移動する対象物（図では上から 2番目と 3番目の各対象物）は黒く見えることになる。そして、進行方向を抽出した明度情報進行方向抽出画像 1 1 5及び彩度情報進行方向抽出画像 1 1 6の同じ座標の画素値を加算し、 2で除算することにより、明度情報と彩度情報を用いた明度一彩度進行方向抽出画像 1 1 7を作成する。このように、本実施の形態に係る対象物進行方向検出装置によれば、所定の時間間隔で撮影された 2つのカラー画像それぞれの明度画像及び彩度画像を生成し、明度画像においては、先の時刻 tの明度画像（対象物抽出画像）上において n X nのテンプレート 1 1 3を走査させて、対象物が存在する位置を検出し、対象物を検出した位置の画素を中心としてテンプレート 1 1 3に各画素値を格納する。そして、各画素値を格納したテンプレート 1 1 3を時刻 t + 1の明度画像上において走査させて、テンプレート 1 1 3の各画素値と一致する画素を検出する。そして、時刻 tで作成したテンプレートが時刻 t + 1において一致した位置に対応する画素位置に基づいて、対象物の存在領域に、対象物の進行方向毎に画素値を設定して明度情報進行方向抽出画像 1 1 5を作成する。また、彩度画像においては、先の時刻 tの彩度画像（対象物抽出画像）上において n X nのテンプレート 1 1 4を走査させて、対象物が存在する位置を検出し、対象物を検出した位置の画素を中心としてテンプレート 1 1 4に各画素値を格納する。そして、各画素値を格納したテンプレート 1 1 4を時刻 t + 1の彩度画像（対象物抽出画像）上において走査させて、テンプレート 1 1 4の各画素値と一致する画素を検出する。そして、日寺刻 tで作成したテンプレートが時刻 t + 1において一致した画素位置に基づいて、対象物の存在領域に、対象物の進行方向毎に画素値を設定して彩度情報進行方向抽出画像 1 1 6を作成する。そして、明度情報進行方向抽出画像 1 1 5及び彩度情報進行方向抽出画像 1 1 6に基づいて明度一彩度進行方向抽出画像 1 1 7を作成する。

したがって、少ない情報量で効率良く対象物の進行方向を検出でき、その精度を向上できる。

なお、本実施の形態では、明度情報と彩度情報を用いて処理するようにしたが、明度情報と色相情報又は彩度情報と色相情報を用いても良い。

また、本実施の形態でも対象物の進行方向のみ検出するものであつたが、移動速度も検出するようにしても良い。まず、時刻 tと時刻 t + 1との間の対象物の進行方向を抽出した明度一彩度進行方向抽出画像と、時亥 iJ t + 1と時刻 t + 2との間の間の対象物の進行方向を抽出した明度一彩度進行方向抽出画像とのそれぞれにおいて対象物の重心を検出する。次に、その重心の移動距離を検出し、重心の移動距離をその移動時間で除算することにより、対象物の移動速度を求めることができる。

(実施の形態 3 )

図 3及び図 4は、本発明の実施の形態 3に係る対象物進行方向検出装置の動作を説明するための図である。なお、本実施の形態に係る対象物進行方向検出装置 4 012689 は実施の形態 1に係る対象物進行方向検出装置と機能が異なる以外同」の構成である。

図 3及び図 4に示すように、本実施の形態に係る対象物進行方向検出装置における進行方向抽出手法は、明度画像に加えて色の三要素の 1つである彩度及び色相の各画像を作成することで、精度向上を図ったものである。

まず、所定の時間間隔で撮影された時刻 tのカラー画像 1 2 0と時刻 t + 1のカラー画像 1 2 1とから、明度情報のみを抽出した明度画像 1 2 2 (時刻 t ) 、

1 2 3 (時刻 t + 1 ) と、彩度情報のみを抽出した彩度画像 1 2 4 m t ) 、

1 2 5 (時刻 t + l > と、色相情報のみを抽出した色相画像 1 2 6 (時刻 t ) 、 1 2 7 (時刻 t + 1 ) を作成する。さらに図 4に示すように、時刻 tの明度画像 1 2 2に対して n X nのテンプレート 1 2 8を作成し、時刻 tの彩度画像 1 2 4 に対して n X nのテンプレート 1 2 9を作成し、時刻 tの色相画像 1 2 6に対して n X nのテンプレート 1 3 0を作成する。

そして、各テンプレート 1 2 8、 1 2 9、 1 3 0を用いて時刻 tの明度画像 1 2 2と彩度画像 1 2 4と色相画像 1 2 6に対して走査を行い、対象物のみを抽出した画像（対象物抽出画像）を作成する。そして、対象物を検出した位置の画素を中心として周囲の画素の値（画素値）をテンプレート 1 2 8、 1 2 9、 1 3 0 にそれぞれ格納する。そして、テンプレート 1 2 8を用いて時刻 t + 1の明度画像 1 2 3を走査し、テンプレート 1 2 9を用いて時刻 t + 1の彩度画像 1 2 5を走査し、さらにテンプレート 1 3 0を用いて時刻 t + 1の色相画像 1 2 7を走査して、テンプレート 1 2 8、 1 2 9、 1 3 0の画素値と一致する画素を検出（マツチング画素を検出）する。

そして、テンプレート 1 2 8の画素値と一致した画素の位置と同じ座標位置に点をプロットして明度情報進行方向抽出画像 1 3 1を作成する。また、テンプレート 1 2 9の画素値と一致した画素の位置と同じ座標位置に点をプロットして彩度情報進行方向抽出画像 1 3 2を作成する。また、テンプレート 1 3 0の画素値と一致した画素の位置と同じ座標位置に点をプロットして色相情報進行方向抽出画像 1 3 3を作成する。

このとき、実施の形態 1と同様に進行方向毎に画素値を区別する。図 3及び図 2004/012689

4の場合も、画面の左右方向に対象物が進行していることから、時刻 tの画像に基づいて作成したテンプレート 1 2 8と時刻 t + 1の画像で一致した画素の位置力画面左から右に移動していればこの対象物の存在領域に相当する画素を画素値「2 5 5」とし、逆に画面右から左に移動していれば画素値「0」とする。また、テンプレート 1 2 8によるマッチングができなかった位置の画素を画素値「1 2 5」とする。これにより、画面右から左に向かう方向に移動する対象物（図では一番上の対象物）の画素が「0」になるので、明度情報進行方向抽出画像 1 3 1では白くなり、画面左から右に向かう方向に移動する対象物（図では上から 2 番目と 3番目の各対象物）は黒く見えることになる。

また、時刻 tの画像に基づいて作成したテンプレート 1 2 9と時亥 U t + 1の画像で一致した画素の位置が、画面左から右に移動していればこの対象物の存在領域に相当する画素を画素値「2 5 5」とし、逆に画面右から左に移動していれば画素値「0」とする。また、テンプレート 1 2 9によるマッチングができなかつた位置の画素を画素値「1 2 5」とする。これにより、画面右から左に向かう方向に移動する対象物（図では一番上の対象物）の画素が「0」となるので、彩度情報進行方向抽出画像 1 3 2では白くなり、画面左から右に向かう方向の対象物 (図では上から 2番目と 3番目の各対象物）は黒く見えることになる。

また、時刻 tの画像に基づいて作成したテンプレート 1 3 0と時刻 t + 1の画像で一致した画素の位置が、画面左から右に移動していればこの対象物の存在領域に相当する画素を画素値「2 5 5」とし、逆に画面右から左に移動していれば画素値「0」とする。また、テンプレート 1 3 0によるマッチングができなかつた位置の画素を画素値「1 2 5」とする。これにより、画面右から左に向かう方向に移動する対象物（図では一番上の対象物）の画素が「0」となるので、色相情報進行方向抽出画像 1 3 3では白くなり、画面左から右に向かう方向に移動する対象物（図では上から 2番目と 3番目の各対象物）は黒く見えることになる。そして、進行方向を抽出した明度情報進行方向抽出画像 1 3 1、彩度情報進行方向抽出画像 1 3 2及び色相情報進行方向抽出画像 1 3 3の同じ座標の画素値を加算し、 3で除算することにより、明度情報と彩度情報と色相情報を用いた明度一彩度—色相進行方向抽出画像 1 3 4を作成する。このように、本実施の形態に係る対象物進行方向検出装置によれば、所定の時間間隔で撮影された 2つのカラー画像それぞれの明度画像、彩度画像及び色相画像を生成し、明度画像においては、先の時刻 tの明度画像（対象物抽出画像）上において n X nのテンプレート 1 2 8を走査させて、対象物が存在する位置を検出し、対象物を検出した位置の画素を中心としてテンプレート 1 2 8に各画素値を格納する。そして、各画素値を格納したテンプレート 1 2 8を時刻 t + 1の明度画像上において走査させて、テンプレート 1 2 8の各画素値と一致する画素を検出する。そして、時刻 tで作成したテンプレートが時刻 t + 1において一致した位置に対応する画素位置に基づいて、対象物の存在領域に、対象物の進行方向毎に画素値を設定して明度情報進行方向抽出画像 1 3 1を作成する。また、彩度画像においては、先の時刻 tの彩度画像（対象物抽出画像）上において n X nのテンプレート 1 2 9を走査させて、対象物が存在する位置を検出し、対象物を検出した位置の画素を中心としてテンプレート 1 2 9に各画素値を格納する。そして、各画素値を格納したテンプレート 1 2 9を時刻 t + 1の彩度画像（対象物抽出画像）上において走査させて、テンプレート 1 2 9の各画素値と一致する画素を検出する。そして、時刻 tで作成したテンプレートが時刻 t + 1において一致した画素位置に基づいて、対象物の存在領域に、対象物の進行方向毎に画素値を設定して彩度情報進行方向抽出画像 1 3 2を作成する。さらに、色相画像においては、先の時刻 tの色相画像（対象物抽出画像）上において n X nのテンプレート 1 3 0を走査させて、対象物が存在する位置を検出し、対象物を検出した位置の画素を中心としてテンプレート 1 3 0に各画素値を格納する。そして、各画素値を格納したテンプレート 1 3 0を時刻 t + 1の色相画像（対象物抽出画像）上において走査させて、テンプレート 1 3 0の各画素値と一致する画素を検出する。そして、時刻 tで作成したテンプレートが時刻 t + 1において一致した画素位置に基づいて、対象物の存在領域に、対象物の進行方向毎に画素値を設定して色相情報進行方向抽出画像 1 3 3を作成する。そして、明度情報進行方向抽出画像 1 3 1、彩度情報進行方向抽出画像 1 3 2及び色相情報進行方向抽出画像 1 3 3に基づいて明度一彩度一色相進行方向抽出画像 1 3 4を作成する。

なお、本実施の形態でも対象物の進行方向のみ検出するものであつたが、移動速度も検出するようにしても良い。まず、時刻 tと時刻 t + 1との間の対象物の進行方向を抽出した明度一彩度一色相進行方向抽出画像と、時刻 t + 1と時刻 t + 2との間の間の対象物の進行方向を抽出した明度一彩度一色相進行方向抽出画像とのそれぞれにおいて対象物の重心を検出する。次に、その重心の移動距離を検出し、重心の移動距離をその移動時間で除算することにより、対象物の移動速度を求めることができる。

(実施の形態 4)

図 5は、本発明の実施の形態 4に係る時空間画像作成装置の動作を説明するための図である。なお、本実施の形態に係る時空間画像作成装置は、実施の形態 1 ないし 3で示した方法により作成した進行方向抽出画像から時空間画像を作成する。

まず、所定の時間間隔で撮影され、輝度、彩度、もしくは色相画像に変換された時刻 tの画像 1 3 5、時刻 t + 1の画像 1 36、時刻 t + 2の画像 1 3 7、時亥 lj t + 3の画像 1 38、時刻 t + 4の画像 1 39、時亥 IJ t + 5の画像 140力、ら、実施の形態 1、実施の形態 2、実施の形態 3で示した方法で進行方向抽出画像 1 41、 142、 143、 144、 145を作成する。

次に、進行方向抽出画像 141、 142、 143、 144、 145力ら、任意に定めた領域の画素をそれぞれ抽出した画像 146、 147、 148、 149、 1 50を作成する。なお、この領域は、各進行方向抽出画像における位置及ぴ大きさが同一である。.そして、画像 146、 147、 148、 149.、 1 50を時系列に並べることにより時空間画像 1 51を作成する。

ここでは、各進行方向抽出画像から、進行方向抽出画像の中央を左右に横切る短冊形の領域の画素を抽出し、時刻 tの画像 1 35と時刻 t + 1の画像 1 36とに基づく画像（係数線上画像） 141カゝら時刻 t + 4の画像 1 39と時刻 t + 5 の画像 146とに基づく画像 1 50までを時系列に、奥から手前方向に並べて時空間画像 1 5 1を作成する。

時空間画像には、ある時刻 tから時刻 t + 5までに前記領域を通過した対象物の進行方向データが画素データとして格納されており、その画素データは、視覚的に認識することが容易である為、ある時刻 tから時刻 t + 5までに前記領域を通過した対象物の進行方向、通過数、通過速度を容易に認識することが可能になる。

また、以上、対象物が人物である場合について説明したが、人物以外に、車両等を対象物としてもよい。本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとつて明らかである。

本出願は、 2003年 9月 2 日出願の日本特許出願 Να2003-309902に基づくものであり、その内容はここに参照として取り込まれる。

<産業上の利用可能性 >

本発明の対象物進行方向検出方法は、少ない情報量で効率良く対象物の進行方向を検出できる効果を有し、デパートや展示会場、コンサート会場等の出入口を通過する入退場者の数を計測する場合等に有用である。

Claims

請求の範囲

1 . 所定の時間間隔で撮影された、対象物を含む画像を取得する画像取得ステップと、

前記画像から任意の成分を抽出した画像を作成する抽出画像作成ステップと、時刻 tの前記抽出画像上でマトリクスのテンプレートを走査させて前記対象物が存在する位置を検出する対象物位置検出ステツプと、

前記対象物が検出された位置で、時刻 tの前記抽出画像の各画素値を前記テンプレートに格納する画素値格納ステップと、

時刻 t + 1の前記抽出画像上で、前記画素値を格納したテンプレートを走查させて、前記テンプレートの各画素値と画素値が一致する画素の位置を検出する画素値一致画素検出ステツプと、

前記画素値一致画素検出ステップで検出された前記画素位置と同じ座標位置に、前記対象物の移動方向に応じて設定した画素値をプロットして、進行方向抽出画像を作成する進行方向抽出画像作成ステップと、

を具備する対象物進行方向検出方法。

2 . 所定の時間間隔で撮影された、対象物を含む画像を取得する画像取得ステップと、

前記画像から任意の複数の成分を抽出した画像をそれぞれ作成する抽出画像作成ステップと、

時刻 tの前記各抽出画像上でマトリクスのテンプレートをそれぞれ走查させて前記対象物が存在する位置をそれぞれ検出する対象物位置検出ステップと、前記対象物が検出された位置で、時刻 tの前記各抽出画像の各画素値を前記各テンプレートに格納する画素値格納ステップと、

時刻 t + 1の前記各抽出画像上で、前記画素値を格納した各テンプレートを走査させて、前記各テンプレートの各画素値と画素値が一致する画素の位置をそれぞれ検出する画素値一致画素検出ステツプと、

前記画素値一致画素検出ステップで検出された前記各画素位置と同じ座標位置に、前記対象物の移動方向に応じてそれぞれ設定した画素値をプロットして複数の進行方向抽出画像をそれぞれ作成し、前記複数の進行方向抽出画像の平均値を画素毎に求めて複合進行方向抽出画像を作成する進行方向抽出画像作成ステップと、

を具備する対象物進行方向検出方法。

3 . 請求の範囲第 1項または第 2項記載の対象物進行方向検出方法であつて、

前記進行方向抽出画像作成ステップは、

時刻 tで撮影された画像及ぴ時刻 t + 1で撮影された画像に基づいて作成された第 1の進行方向抽出画像における前記対象物の重心である第 1の重心の位置と、時刻 t + 1で撮影された画像及び時刻 t + 2で撮影された画像に基づいて作成された第 2の進行方向抽出画像における前記対象物の重心である第 2の重心の位置との距離に基づいて速度を求める速度算出ステップを含む対象物進行方向検出方法。

4 . 請求の範囲第 1項ないし第 3項のいずれか一項記載の対象物進行方向検出方法であって、

前記抽出画像作成ステップは、カラー画像から明度成分、色相成分及び彩度成分を選択して抽出する対象物進行方向検出方法。

5 . 請求の範囲第 1項ないし第 4項のいずれか一項記載の対象物進行方向検出方法であって、

前記進行方向抽出画像作成ステップで作成された進行方向抽出画像のそれぞれから抽出した所定領域の画像を時系列に並べた時空間画像を作成する時空間画像作成ステップを具備する対象物進行方向検出方法。