JP3944647B2 - 物体計測装置、物体計測方法、およびプログラム - Google Patents

物体計測装置、物体計測方法、およびプログラム Download PDF

Info

Publication number
JP3944647B2
JP3944647B2 JP2003360580A JP2003360580A JP3944647B2 JP 3944647 B2 JP3944647 B2 JP 3944647B2 JP 2003360580 A JP2003360580 A JP 2003360580A JP 2003360580 A JP2003360580 A JP 2003360580A JP 3944647 B2 JP3944647 B2 JP 3944647B2
Authority
JP
Japan
Prior art keywords
boundary line
motion vector
integral value
value
respect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2003360580A
Other languages
English (en)
Other versions
JP2005128619A (ja
Inventor
雄一 川上
雄介 中野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2003360580A priority Critical patent/JP3944647B2/ja
Priority to US10/953,976 priority patent/US7221779B2/en
Publication of JP2005128619A publication Critical patent/JP2005128619A/ja
Application granted granted Critical
Publication of JP3944647B2 publication Critical patent/JP3944647B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06M—COUNTING MECHANISMS; COUNTING OF OBJECTS NOT OTHERWISE PROVIDED FOR
    • G06M11/00—Counting of objects distributed at random, e.g. on a surface
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本発明は、移動物体の計数処理を行う物体計測装置、およびそれに関連する技術に関する。
移動物体の動きを計測するため、オプティカルフローを用いる技術が存在する（たとえば、非特許文献１、特許文献１を参照）。オプティカルフローとは、２つの画像の間の対応する各画素についての「動きベクトル」で構成される「ベクトル場」のことである。
このような技術においては、所定の位置にカメラが設置され、カメラにより撮影される動画像からオプティカルフロ−が求められる。たとえば、２次元領域内の複数の位置（検出ポイント）のそれぞれにおける動きベクトルを求めることによって、オプティカルフローが求められる。そして、得られたオプティカルフローを用いて、移動物体の検知および追尾等が行われる。
アール・オカダ（Ｒ．Ｏｋａｄａ），ワイ・シライ（Ｙ．Ｓｈｉｒａｉ），ジェイ・ミウラ（Ｊ．Ｍｉｕｒａ）著，トラッキング・ア・パースン・ウィズ・３−ディー・モーション・バイ・インテグレイティング・オプティカル・フロー・アンド・デプス（Ｔｒａｃｋｉｎｇ ａ Ｐｅｒｓｏｎ ｗｉｔｈ ３−Ｄ Ｍｏｔｉｏｎ ｂｙ Ｉｎｔｅｇｒａｔｉｎｇ Ｏｐｔｉｃａｌ Ｆｌｏｗ ａｎｄ Ｄｅｐｔｈ），プロシーディング・フォース・インターナショナル・カンファランス・オン・オートマティック・フェイス・アンド・ジェスチャー・レコグニション（Ｐｒｏｃ．４ｔｈ Ｉｎｔ．Ｃｏｎｆ．ｏｎ Ａｕｔｏｍａｔｉｃ Ｆａｃｅ ａｎｄ Ｇｅｓｔｕｒｅ Ｒｅｃｏｇｎｉｔｉｏｎ），ｐ３３６−３４１，２０００年３月 特開２００２−８０１８号公報
上記の技術を用いれば、追尾した物体が境界線を超えたか否かに応じて、境界線を通過した物体の数をカウントすることが可能である。
しかしながら、上記の技術のうち、非特許文献１に記載の技術（「第１の従来技術」とも称する）を用いる場合には、２次元領域内の複数の位置（検出ポイント）における複数（多数）の動きベクトルを求めることが必要であるため、処理負荷が大きく計算時間が長くなるという問題がある。
また、このような問題に対して、特許文献１に示すように、２次元領域内に設けた複数の検出ポイントにおける動きベクトルを求めるのではなく、１次元方向に設けられた比較的少数の検出ポイントにおける動きベクトルを用いて移動物体の通過数を計測する技術（「第２の従来技術」とも称する）が提案されている。より詳細には、移動物体の進入位置の一次元方向に、約４０〜８０ポイントの検出ポイントを配置し、各検出ポイントについて動きベクトルを検出する。そして、これらの検出ポイントのうち、ゼロ（ゼロベクトル）でない動きベクトルが検出された検出ポイントの総数が閾値以上となった時点を移動物体の先頭が通過した時点とみなし、同様の検出ポイントの総数が閾値以下となった時点を移動物体の最後尾が通過した時点とみなすことによって、移動物体の物理量を計測する。このような技術によれば、２次元領域内の多数の検出ポイントにおける動きベクトルを求める場合に比べて、検出ポイント数を減少させることによって、処理速度を向上させることが可能である。
しかしながら、上記の特許文献１の技術（第２の従来技術）を用いる場合には、複数の移動物体が境界線を同時に通過する場合などにおいて、移動物体の通過数を誤カウントしてしまうことがあるという問題がある。たとえば、或る移動物体が境界線を通過している間に別の移動物体が境界線に到達する状況を想定する。この状況において、上記の第２の従来技術を用いると、或る移動物体に関して検出されたゼロでない動きベクトルを有する検出ポイントの総数が閾値以下になるまでに、別の移動物体に関して検出された同様の検出ポイントの総数が閾値以上になってしまうため、２つの移動物体を分離してカウントすることができないことがある。
そこで、本発明は、高速処理が可能であり、且つ、同時に複数の物体が境界線を通過する場合であっても正確にカウントすることが可能な物体計測装置を提供することを課題とする。
上記課題を解決すべく、請求項１に記載の発明は、境界線を通過する移動物体の数を計測する物体計測装置であって、時間順次に撮影された複数の画像に基づいて、前記境界線上における複数の位置のそれぞれにおける複数の時刻での動きベクトルを抽出する抽出手段と、前記動きベクトルの前記境界線に対する垂直成分を前記複数の位置の範囲および前記複数の時刻の範囲について積分した積分値であって、当該垂直成分の正負の符号成分のうちの一方の符号成分を他方の符号成分から分離して積分した積分値を求める手段と、前記境界線を通過する移動物体の数を前記積分値に基づいて求める算出手段と、を備え、前記算出手段は、前記積分値を当該積分値に関する基準値で除した値に基づいて、前記移動物体の数を求めることを特徴とする。
請求項２に記載の発明は、境界線を通過する移動物体の数を計測する物体計測装置であって、時間順次に撮影された複数の画像に基づいて、前記境界線上における複数の位置のそれぞれにおける複数の時刻での動きベクトルを抽出する抽出手段と、前記動きベクトルの前記境界線に対する垂直成分を前記複数の位置の範囲および前記複数の時刻の範囲について積分した積分値であって、当該垂直成分の正負の符号成分のうちの一方の符号成分を他方の符号成分から分離して積分した積分値を求める手段と、前記境界線を通過する移動物体の数を前記積分値に基づいて求める算出手段と、を備え、前記算出手段は、前記積分値が当該積分値に関する基準値を超えるごとに１つの移動物体が存在すると判定して、前記移動物体の数を求めることを特徴とする。
請求項３に記載の発明は、請求項１または請求項２の発明に係る物体計測装置において、前記基準値は、前記画像における１つの移動物体あたりの平均面積値として、予め定められた値であることを特徴とする。
請求項４に記載の発明は、境界線を通過する移動物体の数を計測する物体計測方法であって、ａ）時間順次に撮影された複数の画像に基づいて、前記境界線上における複数の位置のそれぞれにおける複数の時刻での動きベクトルを抽出するステップと、ｂ）前記動きベクトルの前記境界線に対する垂直成分を前記複数の位置の範囲および前記複数の時刻の範囲について積分した積分値であって、当該垂直成分の正負の符号成分のうちの一方の符号成分を他方の符号成分から分離して積分した積分値を求めるステップと、ｃ）前記境界線を通過する移動物体の数を、前記積分値を当該積分値に関する基準値で除した値に基づいて求めるステップと、を含むことを特徴とする。
請求項５に記載の発明は、境界線を通過する移動物体の数を計測する物体計測方法であって、ａ）時間順次に撮影された複数の画像に基づいて、前記境界線上における複数の位置のそれぞれにおける複数の時刻での動きベクトルを抽出するステップと、ｂ）前記動きベクトルの前記境界線に対する垂直成分を前記複数の位置の範囲および前記複数の時刻の範囲について積分した積分値であって、当該垂直成分の正負の符号成分のうちの一方の符号成分を他方の符号成分から分離して積分した積分値を求めるステップと、ｃ）前記境界線を通過する移動物体の数を、前記積分値が当該積分値に関する基準値を超えるごとに１つの移動物体が存在すると判定して求めるステップと、を含むことを特徴とする。
請求項６に記載の発明は、コンピュータに、ａ）時間順次に撮影された複数の画像に基づいて、境界線上における複数の位置のそれぞれにおける複数の時刻での動きベクトルを抽出する手順と、ｂ）前記動きベクトルの前記境界線に対する垂直成分を前記複数の位置の範囲および前記複数の時刻の範囲について積分した積分値であって、当該垂直成分の正負の符号成分のうちの一方の符号成分を他方の符号成分から分離して積分した積分値を求める手順と、ｃ）前記境界線を通過する移動物体の数を前記積分値を当該積分値に関する基準値で除した値に基づいて求める手順と、を実行させるためのプログラムであることを特徴とする。
請求項７に記載の発明は、コンピュータに、ａ）時間順次に撮影された複数の画像に基づいて、境界線上における複数の位置のそれぞれにおける複数の時刻での動きベクトルを抽出する手順と、ｂ）前記動きベクトルの前記境界線に対する垂直成分を前記複数の位置の範囲および前記複数の時刻の範囲について積分した積分値であって、当該垂直成分の正負の符号成分のうちの一方の符号成分を他方の符号成分から分離して積分した積分値を求める手順と、ｃ）前記境界線を通過する移動物体の数を、前記積分値が当該積分値に関する基準値を超えるごとに１つの移動物体が存在すると判定して求める手順と、を実行させるためのプログラムであることを特徴とする。
請求項８に記載の発明は、境界線を通過する移動物体の数を計測する物体計測装置であって、時間順次に撮影された複数の画像に基づいて、前記境界線上における複数の位置のそれぞれにおける複数の時刻での動きベクトルを抽出する抽出手段と、前記動きベクトルの前記境界線に対する垂直成分を前記複数の位置の範囲および前記複数の時刻の範囲について積分した積分値を求める手段と、前記積分値を当該積分値に関する基準値で除した値に基づいて、前記境界線を通過する移動物体の数を求める算出手段と、を備えることを特徴とする。
請求項９に記載の発明は、境界線を通過する移動物体の数を計測する物体計測装置であって、時間順次に撮影された複数の画像に基づいて、前記境界線上における複数の位置のそれぞれにおける複数の時刻での動きベクトルを抽出する抽出手段と、前記動きベクトルの前記境界線に対する垂直成分を前記複数の位置の範囲および前記複数の時刻の範囲について積分した積分値を求める手段と、前記積分値が当該積分値に関する基準値を超えるごとに１つの移動物体が存在すると判定して、前記境界線を通過する移動物体の数を求める算出手段と、を備えることを特徴とする。
請求項１０に記載の発明は、境界線を通過する移動物体の数を計測する物体計測方法であって、ａ）時間順次に撮影された複数の画像に基づいて、前記境界線上における複数の位置のそれぞれにおける複数の時刻での動きベクトルを抽出するステップと、ｂ）前記動きベクトルの前記境界線に対する垂直成分を前記複数の位置の範囲および前記複数の時刻の範囲について積分した積分値を求めるステップと、ｃ）前記積分値を当該積分値に関する基準値で除した値に基づいて、前記境界線を通過する移動物体の数を求めるステップと、を含むことを特徴とする。
請求項１１に記載の発明は、境界線を通過する移動物体の数を計測する物体計測方法であって、ａ）時間順次に撮影された複数の画像に基づいて、前記境界線上における複数の位置のそれぞれにおける複数の時刻での動きベクトルを抽出するステップと、ｂ）前記動きベクトルの前記境界線に対する垂直成分を前記複数の位置の範囲および前記複数の時刻の範囲について積分した積分値を求めるステップと、ｃ）前記積分値が当該積分値に関する基準値を超えるごとに１つの移動物体が存在すると判定して、前記境界線を通過する移動物体の数を求めるステップと、を含むことを特徴とする。
請求項１２に記載の発明は、コンピュータに、ａ）時間順次に撮影された複数の画像に基づいて、境界線上における複数の位置のそれぞれにおける複数の時刻での動きベクトルを抽出する手順と、ｂ）前記動きベクトルの前記境界線に対する垂直成分を前記複数の位置の範囲および前記複数の時刻の範囲について積分した積分値を求める手順と、ｃ）前記積分値を当該積分値に関する基準値で除した値に基づいて、前記境界線を通過する移動物体の数を求める手順と、を実行させるためのプログラムであることを特徴とする。
請求項１３に記載の発明は、コンピュータに、ａ）時間順次に撮影された複数の画像に基づいて、境界線上における複数の位置のそれぞれにおける複数の時刻での動きベクトルを抽出する手順と、ｂ）前記動きベクトルの前記境界線に対する垂直成分を前記複数の位置の範囲および前記複数の時刻の範囲について積分した積分値を求める手順と、ｃ）前記積分値が当該積分値に関する基準値を超えるごとに１つの移動物体が存在すると判定して、前記境界線を通過する移動物体の数を求める手順と、を実行させるためのプログラムであることを特徴とする。
請求項１から請求項７に記載の発明によれば、境界線上の動きベクトルを求めればよいので、広い２次元領域についてのオプティカルフローを算出する必要がない。したがって、処理負荷を低減させて高速化を図ることができる。また、動きベクトルの境界線に対する垂直成分の正負の符号成分のうちの一方の符号成分を他方の符号成分から分離して積分した少なくとも１つの積分値を求め、その積分値に基づいて移動物体の数を算出するので、複数の移動物体が同時に境界線上を逆向きに通過する場合であっても、誤カウントを防止して通過物体数を正確に計測することができる。このように、境界線を通過する移動物体の数を高速且つ正確に求めることができる。
特に、請求項１、２、４〜７に記載の発明によれば、移動物体の通過数をより正確に計測することができる。特に、複数の物体が近い位置に存在する場合であっても、誤カウントを防止して、より正確な計測動作が可能になる。
また、請求項８から請求項１３に記載の発明によれば、境界線上の動きベクトルを求めればよいので、広い２次元領域についてのオプティカルフローを算出する必要がない。したがって、処理負荷を低減させて高速化を図ることができる。さらに、動きベクトルの境界線に対する垂直成分を積分した積分値と当該積分値に関する基準値とに基づいて、境界線を通過する移動物体の数を求めるので、複数の移動物体が同時に境界線上を通過する場合であっても、誤カウントを防止して通過物体数を正確に計測することができる。
以下、本発明の実施形態を図面に基づいて説明する。
＜構成＞
図１は、本発明の実施形態に係る物体計測装置１を示す図である。図１に示すように、物体計測装置１は、コントローラ１０とカメラ部（撮像部）２０とを備えている。ここでは、店舗内の所定位置（たとえば、通路、出入口など）の天井にカメラ部２０を配置し、人物の移動状況を把握する場合を想定する。
カメラ部２０は、その撮影レンズの光軸が鉛直方向（床面に垂直な方向）に平行になるように配置されており、店舗における第１領域Ｒ１と第２領域Ｒ２とを区別する仮想的な境界線ＢＬ（図３等参照）を含む画像を撮影する。物体計測装置１は、カメラ部２０によって撮影された画像に基づいて、境界線ＢＬを通過する移動物体（人物）の数を求める。
コントローラ１０は、カメラ部２０から離れた場所（たとえば、管理室等）に設置される。
図２は、コントローラ１０のハードウエア構成を示すブロック図である。コントローラ１０は、図２に示すように、ハードウエア的には、ＣＰＵ２と、ＲＡＭ（および／またはＲＯＭ）などの半導体メモリにより構成される主記憶部およびハードディスクドライブ（ＨＤＤ）などの補助記憶部を有する記憶部３と、メディアドライブ４と、液晶ディスプレイなどの表示部５と、キーボードおよびマウスなどの入力部６と、ネットワークカードなどの通信部７とを備えるコンピュータシステム（以下、単に「コンピュータ」とも称する）として構成される。
コントローラ１０は、通信部７を介した無線若しくは有線のデータ通信等によってカメラ部２０との間でデータの授受が可能なように構成される。
また、メディアドライブ４は、ＣＤ−ＲＯＭ、ＤＶＤ（Digital Versatile Disk）、フレキシブルディスク、メモリカードなどの可搬性の記録媒体９からその中に記録されている情報を読み出す。
コントローラ１０は、記録媒体９に記録されたソフトウエアプログラム（以下、単に「プログラム」とも称する）を読み込み、そのプログラムをＣＰＵ２等を用いて実行することによって、物体計測装置１における各種の機能を実現する。なお、各機能を有するプログラムは、記録媒体９を介して供給される場合に限定されず、ＬＡＮおよびインターネットなどのネットワークを介して、このコンピュータに対して供給されてもよい。
図１を再び参照する。コントローラ１０は、動画像入力部１１と、オプティカルフロー算出部１２と、オプティカルフロー積分部１３と、通過物体数算出部１４と、結果出力部１５とを備えている。これらの各処理部１１〜１５は、コントローラ１０によって実現される各種の機能を模式的に示すものである。
動画像入力部１１は、カメラ部２０で順次に撮影された複数の画像を動画像として入力する処理部である。オプティカルフロー算出部１２は、入力された複数の画像に基づいて、境界線ＢＬ上における複数の位置（検出ポイントとも称する）のそれぞれにおける複数の時刻での動きベクトルを抽出する処理部である。オプティカルフロー積分部１３は、動きベクトルの境界線に垂直な成分を正負の符号別に積分した積分値を求める処理部である。通過物体数算出部１４は、境界線を通過する移動物体の数を積分値に基づいて求める処理部である。物体計測装置１は、これらの処理部を用いて、境界線を通過する移動物体の数を計測する。これらの処理部における動作については後に詳述する。
＜動作＞
図３は、カメラ部２０によって撮影された画像を示す図であり、カメラ部２０が配置されている場所（通路等）を上から見た図に相当する。ここで、ＸＹＺ軸は、通路に対して相対的に固定され、Ｙ軸方向は通路における移動物体としての人物の進行方向であり、Ｘ軸方向は通路の幅方向（人物の進行方向に対して直交する方向）であり、Ｚ軸方向は鉛直方向である。
図３においては、２人の人物ＨＭ１，ＨＭ２がそれぞれ別方向に移動する状況が模式的に示されている。具体的には、人物ＨＭ１は、図の下から上へ向けて（すなわち＋Ｙ向きに）移動し、人物ＨＭ２は、図の上から下へ向けて（すなわち−Ｙ向きに）移動している状況が示されている。
カメラ部２０の撮影領域Ｒ０には、仮想的に設定された境界線ＢＬが含まれている。境界線ＢＬは、店舗における第１領域Ｒ１と第２領域Ｒ２とを区別する仮想的な線である。ここでは、撮像画像の横方向（水平方向）に延びる直線であり、撮像画像の縦方向における略中央に位置する。この物体計測装置１は、この境界線ＢＬを通過する移動物体の数を、次のような原理によって求める。
図４は、物体計測装置１における動作を示すフローチャートである。以下では、図４を参照しながら説明を続ける。
まず、ステップＳ１において、動画像入力部１１は、カメラ部２０で順次に撮影された複数の画像（時系列画像）を入力する。これらの複数の画像は、動画像を構成する。
つぎに、ステップＳ２において、オプティカルフロー算出部１２は、入力された複数の画像に基づいて、境界線ＢＬ上における複数の位置ｘ（検出ポイントとも称する）のそれぞれにおける複数の時刻ｔでの動きベクトルＶ（ｘ，ｔ）を抽出する。すなわち、オプティカルフローを算出する。このステップＳ２においては、１次元の境界線ＢＬ上の動きベクトル（より詳細には比較的少数の代表的な検出ポイントについての動きベクトル）を求める処理が行われる。
動きベクトル（フローベクトルとも称する）Ｖ（ｘ，ｔ）は、時間的に前後して取得された複数の画像に基づいて抽出される。なお、動きベクトルＶ（ｘ，ｔ）は、境界線ＢＬ上でのＸ座標値ｘと時刻ｔとの関数であるが、以下では、簡単化のため、動きベクトルを単にＶとも表現する。
図５は、図３の状態から所定時間が経過した後の撮影画像における動きベクトルＶを示す図である。図５に示すように、人物ＨＭ１は、図の上向き（すなわち、＋Ｙ向き）に進行しているため、動きベクトルＶ（ｘ，ｔ）は＋Ｙ向きの成分を有する。一方、人物ＨＭ２は、図の下向き（すなわち、−Ｙ向き）に進行しているため、動きベクトルＶ（ｘ，ｔ）は−Ｙ向きの成分を有する。このように、境界線ＢＬ上の複数の検出ポイントにおける動きベクトルＶが取得される。
さらに、ステップＳ３において、オプティカルフロー積分部１３は、動きベクトルＶの境界線ＢＬに垂直な成分（ここではＹ方向成分ｖ）を正負の符号別に積分した積分値を求める。具体的には、数１および数２に基づいて、積分値Ｅ１および積分値Ｅ２をそれぞれ求める。各積分値Ｅ１，Ｅ２は、それぞれ、動きベクトルＶの境界線ＢＬに対する垂直成分を（時間的に且つ空間的に）積分した積分値であり、当該垂直成分の正負の符号成分ｖ１，ｖ２のうちの一方の符号成分を他方の符号成分から分離して積分した積分値であるとも表現できる。なお、図５においては簡単化のため、動きベクトルＶがＹ方向成分のみを有する場合を図示しているが、実際には図６のＨＭ（ＨＭ１，ＨＭ２，...）に示すように、人物ＨＭの動きベクトル（速度ベクトル）ＶはＸ方向成分ｕをも有している。そのような場合には、動きベクトルＶのＹ方向成分ｖのみを抽出すればよい。
Figure 0003944647
Figure 0003944647
ここで、位置ｘについての積分範囲は位置ｘ０から位置ｘ１であり、時間ｔについての積分範囲は時刻ｔ０から時刻ｔ１である。たとえば、時刻ｔ０は、ゼロでない動きベクトルＶがいずれかの検出ポイントで検出された時点であり、時刻ｔ１は、その後に、ゼロでない動きベクトルＶがどの検出ポイントでも検出されなくなった時点であるとすればよい。また、値ｖ１（ｘ，ｔ）および値ｖ２（ｘ，ｔ）は、それぞれ、数３および数４で表される。値ｖ１は動きベクトルＶのＹ方向成分ｖにおける正の符号成分（より詳細にはその絶対値）を示しており、値ｖ２は動きベクトルＶのＹ方向成分ｖにおける負の符号成分（より詳細にはその絶対値）を示している。
Figure 0003944647
Figure 0003944647
上記の値Ｅ１は、動きベクトルＶの＋Ｙ向き（Ｙ方向の正の向き）の成分に関する積分値であり、値Ｅ２は、−Ｙ向き（Ｙ方向の負の向き）の成分に関する積分値である。
次のステップＳ４では、通過物体数算出部１４は、境界線を通過する移動物体の数を積分値に基づいて求める。具体的には、数５および数６に基づいて、＋Ｙ向きに進行して下側の領域Ｒ２から上側の領域Ｒ１に進入する人数Ｃｉｎと、−Ｙ向きに進行して上側の領域Ｒ１から退出する人数Ｃｏｕｔとを求める。
Figure 0003944647
Figure 0003944647
この算出原理は、上記の積分値Ｅ１，Ｅ２は、それぞれ、通過物体の画像上の面積に近似できることに基づいている。基準値Ｓを適宜の値に設定しておき、上記の積分値Ｅ１，Ｅ２をそれぞれ基準値Ｓで除することによって、人数Ｃｉｎ，Ｃｏｕｔを求めることができる。
基準値Ｓとしては、１つの移動物体（一人分の人体領域）の画像上の面積（あるいは、積分値）の平均値を設定しておく。この平均値は、カメラ部２０によって得られた画像から予め算出しておくことなどが可能である。あるいは、平均的なサイズの人物についての画像上での面積（あるいは、積分値）を予め算出し、算出された値を基準値Ｓとして用いるようにしても良い。
そして、ステップＳ５において、結果出力部１５は、その計測結果を出力する。具体的には、向き別の通過人数Ｃｉｎ，Ｃｏｕｔを表示部５などに表示するとともに、各通過人数Ｃｉｎ，Ｃｏｕｔに関する情報を含むファイルを出力して、記憶部３内に格納する。
以上のようにして、物体計測装置１は、境界線を通過する移動物体の数をその通過の向き別に計測する。
上記の動作によれば、１次元の境界線ＢＬ上の比較的少数の検出ポイントについての動きベクトルＶを求めればよいので、２次元領域内の比較的多数の検出ポイントについての動きベクトルＶを求める場合（たとえば上記の第１の従来技術）に比べて、検出ポイントの数を減少させることができる。したがって、処理の高速化を図ることができる。
また、動きベクトルＶの境界線ＢＬに垂直なＹ方向成分ｖを正負の符号別に積分した２つの積分値Ｅ１，Ｅ２のうち少なくとも１つの積分値（ここでは両積分値）に基づいて、移動物体（人物）の数を移動の向き別に算出するので、２つの移動物体が同時に境界線ＢＬ上を逆向きに通過する場合であっても、誤カウントを防止して通過物体数を正確に計測することができる。言い換えれば、上記の第２の従来技術を用いた場合に生じ得る誤カウント（具体的には、一方の人物ＨＭ１が境界線を通過している間に、逆向きに進行してきた別人物ＨＭ２も境界線に到達してしまう場合に生じる誤カウント）を防止することができる。このように、物体計測装置１によれば、境界線を通過する移動物体の数を高速且つ正確に求めることができる。
さらに、通過物体数算出部１４は、積分値Ｅ１，Ｅ２と当該積分値に関する基準値Ｓとに基づいて移動物体の数を計測するので、移動物体の通過数をより正確に計測することができる。
図７は、近接して同方向に進行する複数の物体を撮影した画像を示す図である。たとえば上述の第２の従来技術では、図７に示すように、同じ方向に進行する複数の物体（図７では人物ＨＭ１，ＨＭ２）が互いに近い位置に存在する場合には、誤カウントを生じてしまうという問題がある。これは、一方の人物ＨＭ１が境界線を通過している間に同じ向きに進行している別の人物ＨＭ２も境界線に到達するために生じる誤カウントであると考えられる。
これに対して、上記の実施形態の動作によれば、基準値Ｓに基づいて移動物体の数を計測するので、複数の物体（図７では人物ＨＭ１，ＨＭ２）が近い位置に存在する場合であっても、このような誤カウントを防止して、より正確な計数処理を行うことが可能になる。
なお、上記実施形態においては、積分値Ｅ１，Ｅ２を基準値Ｓで除した値に基づいて、移動物体の数を求める場合を例示しているが、これに限定されない。たとえば、所定の時刻からの積分値が基準値Ｓを超えるごとに１つの移動物体が存在すると判定して、移動物体の数を求めるようにしてもよい。
より詳細には、時刻ｔ０からの積分値Ｅ１が基準値Ｓに到達した時点で、通過人数をカウントアップし、積分値Ｅ１をリセットする。その後、同様に積分値Ｅ１が基準値Ｓに到達するごとに同様の動作を繰り返せばよい。あるいは、時刻ｔ０からの積分値Ｅ１がｎ×Ｓ（基準値Ｓのｎ倍の値）に到達した時点で順次に通過人数を（ｎ−１）からｎに更新するようにしてもよい。
＜オプティカルフローについて＞
次に、上記のステップＳ２の詳細動作、すなわち、オプティカルフローの算出動作の一例について説明する。なお、次述する各図（図９以降）においては、図示の都合上、各画像の全体領域を示しているが、実際の処理としては、各画像の全体領域のうち境界線ＢＬ近傍の領域についてのみ（後述の）画像処理を施せば十分である。これによって、一次元の境界線ＢＬ上の比較的少数の検出ポイントについての動きベクトルＶを求めること、言い換えれば、境界線ＢＬの近傍領域におけるオプティカルフローを求めることができる。
オプティカルフローを算出する手法としては、相関法および勾配法などの様々な手法を用いることができる。ここでは、高速化を図ることが可能な勾配法を用いてオプティカルフローを算出する場合を例示する。勾配法は、位置（ｘ，ｙ）の画素の時刻ｔにおける画素値Ｉ（ｘ，ｙ，ｔ）と、フローベクトルＶ＝（ｕ，ｖ）T（右上添字の大文字のＴは、転置を意味する。以下同様。）に関する次の数７が成立することとを用いるものである。なお、以下では、画素値Ｉ（ｘ，ｙ，ｔ）等を単に画素値Ｉ等とも略記する。
Figure 0003944647
ただし、Ｉxは、画素値Ｉの位置ｘについての偏微分であり、Ｉyは、画素値Ｉの位置ｙについての偏微分であり、Ｉtは、画素値Ｉの時間ｔについての偏微分である。これらの各値Ｉx，Ｉy，Ｉtは、微小時間間隔の２つの画像、たとえば、時刻（ｔ−１）の画像Ｉ(t-1)と時刻ｔの画像Ｉ(t)とに基づいて求められる。
ここにおいて、数７には２つの未知数（ｕ，ｖ）が存在するため、この数７に関する１つの式だけでは、解は一意に定まらない。そこで、局所領域内の複数の画素（たとえば、５画素×５画素の２５画素）のそれぞれについて、同一の未知数（ｕ，ｖ）に関する数７の関係式が満たされるものと仮定して、複数の方程式を導く。そして、これらの複数の方程式を満たす近似解を最小二乗法によって求め、この近似解を未知数（ｕ，ｖ）の解とする。
また、被写体が高速に移動する場合には、２つの画像間での対応画素の移動距離が大きくなる。そのため、元の比較的高い解像度の画像のみを用いる場合には、動きベクトルを正確に求めることができないことがある。そこで、ここでは、異なる解像度の複数の画像（ピラミッド画像あるいは単にピラミッドとも称する）による多重解像度戦略を用いる場合を例示する。これによれば、画像間の微小変化だけでなく比較的大きな変化（すなわち高速変化）が存在する場合にも、より正確に動きベクトルを求めることが可能になる。
さらに、背景の輝度の空間変化に対するロバスト性を高めるため、ここでは、ラプラシアン画像に対して勾配法を適用するものとする。具体的には、多重解像度戦略における各解像度の画像（すなわち、ピラミッド画像）をラプラシアン画像として求める。
図８は、ステップＳ２でのオプティカルフロー生成処理を示す詳細なフローチャートである。
図８に示すように、まず、時刻（ｔ−１）の画像Ｉ(t-1)と時刻ｔの画像Ｉ(t)とのそれぞれに関して、ガウシアンピラミッドを生成する（ステップＳ２１）とともに、ラプラシアンピラミッドを生成する（ステップＳ２２）。
図９は、ラプラシアンピラミッドの生成処理を概念的に示す図である。図９を参照しながら、時刻（ｔ−１）の画像Ｉ(t-1)に関するラプラシアンピラミッド（Ｈ０１，Ｈ０２，Ｈ０３）の生成処理について説明する。なお、図９における各画像Ｇ１２〜Ｇ１４，Ｇ２１〜Ｇ２３，Ｈ０１〜Ｈ０３は、いずれも、時刻（ｔ−１）での元の解像度における原画像Ｇ１１から派生して生成される画像であり、いずれも時刻（ｔ−１）での画像Ｉ(t-1)である。また、ここでは３段階（ないし４段階）の画像ピラミッドを例示するが、これに限定されず、他の段階数の画像ピラミッドを作成するようにしてもよい。
具体的には、時刻（ｔ−１）の元の解像度を有する画像Ｇ１１に対してガウス処理（平滑化処理）を伴う縮小処理を施して、元の解像度の１／２，１／４，１／８の解像度をそれぞれ有する各画像Ｇ１２，Ｇ１３，Ｇ１４が生成される。これによって、複数の階層の画像Ｇ１１，Ｇ１２，Ｇ１３，Ｇ１４で構成されるガウシアンピラミッドが生成される。
つぎに、ガウシアンピラミッドの各階層における各縮小画像Ｇ１４，Ｇ１３，Ｇ１２に対するガウス拡大処理（平滑化処理を伴う拡大処理）を行うことによって、各縮小画像をそれぞれ２倍に拡大し、一つ上位の階層の画像とその解像度を合致させた画像Ｇ２３、Ｇ２２、Ｇ２１を生成する。たとえば、縮小画像Ｇ１４に対してガウス拡大処理を行うことによって、縮小画像Ｇ１３と同一の解像度を有する画像Ｇ２３が生成される。同様にして、縮小画像Ｇ１２と同一の解像度を有する画像Ｇ２２が生成されるとともに、縮小画像Ｇ１１と同一の解像度を有するＧ２１も生成される。
そして、ガウス拡大処理後の画像Ｇ２３，Ｇ２２，Ｇ２１の各画素値から、対応する同一階層の画像Ｇ１３，Ｇ１２，Ｇ１１の各画素値を差し引くことによって、各階層におけるラプラシアン画像Ｈ０３，Ｈ０２，Ｈ０１が得られる。各ラプラシアン画像Ｈ０３，Ｈ０２，Ｈ０１は、たとえば図１０に示すようなラプラシアンフィルタ（エッジ強調フィルタ）によって得られる処理後画像と同等の画像である。
以上のような処理によって、複数の解像度についての複数のラプラシアン画像、すなわち、ラプラシアンピラミッド（Ｈ０１，Ｈ０２，Ｈ０３）が得られる。
また、時刻ｔの画像Ｉ(t)に対しても同様の処理が施され、図１１に示すように、異なる解像度の複数のラプラシアン画像がラプラシアンピラミッド（Ｈ１１，Ｈ１２，Ｈ１３）として生成される。
これにより、図１１に示すように、２つの時刻ｔ、（ｔ−１）における画像Ｉ(t)，Ｉ(t-1)のそれぞれについてのラプラシアンピラミッド（Ｈ０１，Ｈ０２，Ｈ０３）、（Ｈ１１，Ｈ１２，Ｈ１３）が得られる。
つぎに、ラプラシアンピラミッドを利用した多重解像度戦略について説明する。微小時間間隔の２つの時刻における、比較的低い解像度を有する両画像（縮小画像）の対応画素間の距離は、元の解像度（比較的高い解像度を有する）の両時刻の画像の対応画素間の距離よりも小さくなるため、「動きベクトル（フローベクトル）」が求めやすくなる。多重解像度戦略は、このような性質を利用して、まず比較的低解像度の画像で動きベクトルを求め、その動きベクトルを比較的高解像度の画像（さらに上位の階層の画像）に徐々に戻していくことによって、最大高解像度（元の解像度）での動きベクトルを求めるものである。これによれば、上述したように、動きベクトルが大きいために、元の解像度の画像だけでは十分に正確な動きベクトルを得ることができない場合であっても、動きベクトルを比較的正確に求めることができる。
図１２は、この多重解像度戦略における動作の概要を示す概念図である。以下では、図１２をも参照しながら説明を続ける。
まず、ステップＳ２３において、最下層におけるフローベクトルが算出される。具体的には、図９に示すように、時刻（ｔ−１）における最低解像度の画像Ｈ０３と時刻ｔにおける最低解像度の画像Ｈ１３とに基づいて、オプティカルフローＦＬ０３が算出される。詳細には、上述したように、局所領域内の複数の画素が同一の動きベクトルを有するものとして、複数の位置における各画素についての動きベクトル（ｕ，ｖ）Tが最小二乗法を用いて算出される。これにより、最下層の画像についてのオプティカルフローＦＬ０３が生成される。
つぎに、この最下層におけるオプティカルフローＦＬ０３に基づいて、一つ上位の階層の画像についてのオプティカルフローＦＬ０２を求める（ステップＳ２４〜Ｓ２７）。
そのため、まず、ステップＳ２４において、オプティカルフローＦＬ０３に対して所定の補間処理（双一次補間等）を伴う拡大処理を施して、２倍の解像度を有する画像の各画素における動きベクトルが規定された拡大オプティカルフローＦＴ２を生成する（図１３参照）。
図１３は、この拡大オプティカルフローＦＴ２の生成の様子を示す概念図である。図１３に示すように、原則として、拡大オプティカルフローＦＴ２の各画素における動きベクトルは、オプティカルフローＦＬ０３において対応する画素の動きベクトルを２倍したものに変換される。たとえば、図１３において、拡大オプティカルフローＦＴ２の白丸印の位置の動きベクトルは、オプティカルフローＦＬ０３における対応位置（黒丸印の位置）の動きベクトルを２倍にしたものになる。また、対応する画素が存在しない位置の画素については、周辺画素の動きベクトルを用いた補間処理によって、その位置での動きベクトルが求められる。たとえば、拡大オプティカルフローＦＴ２における×印の位置での動きベクトルは、周辺位置（図１３の白丸印の位置および黒丸印の位置）の動きベクトルに基づく補間処理によって求められる。
次に、ステップＳ２５において、この拡大オプティカルフローＦＴ２と次の時刻ｔにおける同一階層のラプラシアン画像Ｈ１２とを用いて、時刻（ｔ−１）における予測画像Ｑ０２を求める。
時刻（ｔ−１）における画像は、動きベクトルによる移動後に次の時刻ｔにおける画像Ｈ１２になる。したがって、予測画像Ｑ０２が正しいという仮定の下では、予測画像Ｑ０２の各画素の画素値は、画像Ｈ１２において、拡大オプティカルフローＦＴ２の動きベクトルによる移動後の位置の画素の画素値に等しくなる。
予測画像Ｑ０２の各画素の画素値は、このような性質に基づいて、画像Ｈ１２における対応位置での画素値であるとして求められる。画像Ｈ１２におけるこの対応位置とは、元の位置（ｘ，ｙ）を始点とする動きベクトルの終点における位置である。
また、ここでは、より正確な値を求めるため、図１４に示すように、当該動きベクトルの終点位置についての周辺４画素（図１４の白丸印の位置の画素）の画素値の重み付けがなされた平均値（加重平均値）を算出し、この加重平均値を予測画像Ｑ０２での当該画素の画素値として定める。
このような操作を各画素について繰り返すことによって、予測画像Ｑ０２を得ることができる。
さて、拡大オプティカルフローＦＴ０２が正しい場合には、この予測画像Ｑ０２と時刻（ｔ−１）におけるラプラシアン画像Ｈ０２とは合致することになる。しかしながら、多くの場合には相違量が存在する。
そこで、次のステップＳ２６において、この相違量を修正するための修正オプティカルフローＦＣ２を算出する。この修正オプティカルフローＦＣ２は、２つの画像Ｑ０２と画像Ｈ０２とに基づいて算出される。具体的には、上述したように、局所領域内の複数の画素が同一の動きベクトルを有するものとして、複数の位置における各画素についての動きベクトルが最小二乗法を用いて算出される。
そして、ステップＳ２７において、元の拡大オプティカルフローＦＴ２を、この修正オプティカルフローＦＣ２に基づいてベクトル加算処理を用いて修正したオプティカルフローが、オプティカルフローＦＬ０２として求められる。
以上のようにして、最下層におけるオプティカルフローＦＬ０３に基づいて、一つ上位の階層の画像についてのオプティカルフローＦＬ０２が生成される。
さらに、ステップＳ２８においては、最上位層についてのオプティカルフローＦＬ０１が生成されたか否かが判断される。この時点では、まだ最上位層のオプティカルフローＦＬ０１が生成されていないので、再びステップＳ２４へと戻る。
そして、今度は、オプティカルフローＦＬ０２に基づいて、ステップＳ２４〜Ｓ２７の処理を繰り返すことによって、一つ上位の階層のオプティカルフローＦＬ０１を求める。ステップＳ２４〜Ｓ２７の処理は、ステップＳ２８で最上位の階層のオプティカルフローが生成されたことが確認されるまで繰り返される。
ステップＳ２８において最上位の階層までの処理が終了したことが確認されると、この処理が終了する。これによって、オプティカルフローＦＬ０１が、最大解像度（元の解像度）の画像に関する時刻（ｔ−１）におけるオプティカルフローとして生成される。
また、次の時刻ｔにおけるオプティカルフローは、今度は時刻ｔの画像Ｉ(t)と時刻（ｔ＋１）の画像Ｉ(t+1)とに基づいて、上記のステップＳ２１〜Ｓ２８の処理を適用することによって生成される。そして、各時刻におけるオプティカルフローは、同様の処理を繰り返すことによって、順次生成される。
なお、上記においては、ステップＳ２５において、時刻（ｔ−１）におけるオプティカルフローに基づいて時刻（ｔ−１）に関する予測画像を求める場合を例示しているが、これに限定されない。たとえば、時刻（ｔ−１）におけるオプティカルフローに基づいて次の時刻ｔに関する予測画像を求め、画像Ｉ(t)と比較することによって修正オプティカルフローを生成するようにしてもよい。ただし、その場合には、図１４に示すような周辺画素を想定できないため、時刻ｔに関する予測画像の生成精度を向上させることが困難である。
＜オプティカルフローの別の求め方（変形例）＞
上記においては、各時刻におけるオプティカルフローを、上記のステップＳ２１〜Ｓ２８の処理を繰り返すことによって生成する場合について例示したが、これに限定されない。たとえば、次のような処理を用いて、各時刻におけるオプティカルフローを生成するようにしてもよい。
具体的には、時刻（ｔ−１）におけるオプティカルフローＦ(t-1)が一旦上記のステップＳ２１〜Ｓ２８の処理などによって求められた後は、次の時刻ｔにおけるオプティカルフローＦ(t)を、前の時刻（ｔ−１）におけるオプティカルフローＦ(t-1)を用いて生成することができる。これによれば、多重解像度戦略を用いずに、言換すれば、画像ピラミッドを用いることなく、オプティカルフローＦ(t)を求めることができるので、処理の高速化を図ることができる。以下においては、この変形例に係る動作を図１５および図１６を参照しながら説明する。なお、図１５は、この動作を示す概念図であり、図１６はこの動作を示すフローチャートである。
ここでは、オプティカルフローＦ(t-1)、ラプラシアン画像Ｉ(t+1)，Ｉ(t)が予め求められていることを前提にする。なお、ラプラシアン画像Ｉ(t+1)は、時刻（ｔ＋１）における元の撮影画像に対して、たとえば図１０に示すラプラシアンフィルタを用いた画像処理を施すことによって得ることができる。また、ラプラシアン画像Ｉ(t)は、時刻ｔにおける元の撮影画像に対して、同様のラプラシアンフィルタを用いた画像処理を施すことによって得ることができる。
図１５および図１６に示すように、まず、ステップＳ１２１において、時刻（ｔ−１）におけるオプティカルフローＦ(t-1)と時刻（ｔ＋１）におけるラプラシアン画像Ｉ(t+1)とに基づいて、時刻ｔにおける予測画像Ｗ(t)を求める。
時刻ｔにおける画像は、オプティカルフローＦ(t)の動きベクトルによる移動後に次の時刻（ｔ＋１）におけるラプラシアン画像Ｉ(t+1)になる。したがって、予測画像Ｗ(t)が正しいという仮定の下では、予測画像Ｗ(t)の各画素の画素値は、ラプラシアン画像Ｉ(t+1)において、オプティカルフローＦ(t)の動きベクトルによる移動後の位置の画素の画素値に等しくなる。
このような性質に基づいて、この予測画像Ｗ(t)の各画素の画素値は、ラプラシアン画像Ｉ(t+1)における対応位置での画素値であるとして求められる。ラプラシアン画像Ｉ(t+1)におけるこの対応位置とは、元の位置（ｘ，ｙ）を始点とする動きベクトル（ｕ(t-1)，ｖ(t-1)）Tの終点位置（ｘ＋ｕ(t-1)，ｙ＋ｖ(t-1)）である。ただし、ここでは、オプティカルフローＦ(t)がオプティカルフローＦ(t-1)に等しいと仮定している。
予測画像Ｗ(t)の各画素の画素値は、具体的には、次の数８によって求められる。
Figure 0003944647
数８では、予測画像Ｗ(t)における各画素位置（ｘ，ｙ）についての画素値がＷ(t)（ｘ，ｙ）で示されている。
ただし、ここではさらに正確な値を求めるため、ステップＳ２５と同様に、位置（ｘ，ｙ）を始点とする動きベクトル（ｕ(t-1)，ｖ(t-1)）Tの画像Ｉ(t+1)における終点位置（ｘ＋ｕ(t-1)，ｙ＋ｖ(t-1)）での周辺４画素の画素値の重み付け付きの平均値（加重平均値）を算出し、この加重平均値を予測画像Ｗ(t)での当該画素の画素値として定める。
このような操作を各画素について繰り返すことによって、予測画像Ｗ(t)を得る。
オプティカルフローＦ(t)がオプティカルフローＦ(t-1)と同一である場合には、この予測画像Ｗ(t)とラプラシアン画像Ｉ(t)とは合致することになる。しかしながら、多くの場合には相違が存在する。
そこで、次のステップＳ１２２において、この相違量を修正するための修正オプティカルフローＦＥ(t)を算出する。この修正オプティカルフローＦＥ(t)は、予測画像Ｗ(t)とラプラシアン画像Ｉ(t)とに基づいて算出される。
具体的には、局所領域内の複数の画素が同一の動きベクトルを有するものとして、複数の位置における各画素についての動きベクトルが最小二乗法を用いて算出される。
そして、ステップＳ１２３において、オプティカルフローＦ(t-1)をこの修正オプティカルフローＦＥ(t)に基づいてベクトル加算処理を用いて修正したオプティカルフローが、オプティカルフローＦ(t)として求められる。
具体的には、オプティカルフローＦ(t)における各動きベクトル（ｕ(t)，ｖ(t)）Tの要素は、修正オプティカルフローＦＥ(t)の各修正動きベクトル（ｕe (t)，ｖe (t)）Tを用いて、次の数９および数１０によって示される。なお、数９および数１０においては、各要素ｕ(t)，ｖ(t)，ｕ(t-1)，ｖ(t-1)，ｕe (t)，ｖe (t)が、位置ｘ，ｙの関数であることを明示している。
Figure 0003944647
Figure 0003944647
このようにして、次の時刻ｔにおけるオプティカルフローＦ(t)を、前の時刻（ｔ−１）におけるオプティカルフローＦ(t-1)を用いて生成することができる。
同様に、さらに次の時刻（ｔ＋１）におけるオプティカルフローＦ(t+1)を、時刻ｔにおけるオプティカルフローＦ(t)を用いて生成することもできる。具体的には、上記のステップＳ１２１〜Ｓ１２３と同様の動作を、時刻ｔにおけるオプティカルフローＦ(t)とラプラシアン画像Ｉ(t+2)とに対して適用すればよい。
以降、同様に順次次の時刻におけるオプティカルフローを直前の時刻におけるオプティカルフローを用いて生成することが可能である。
上述したように、このような動作によれば、多重解像度戦略を用いずに、すなわち、画像ピラミッドを用いることなく、オプティカルフローを求めることができるので、処理の高速化を図ることができる。
＜他の変形例＞
上記実施形態においては、コンピュータにおけるソフトウエア処理によって、上記の処理を実現する場合を例示したが、これに限定されず、専用のハードウエア回路を用いて同様の処理を実行するようにしてもよい。
また、上記実施形態においては、コンピュータとして、一般的なコンピュータシステムを例示したが、これに限定されず、機器組み込み型のマイクロコンピュータ等（演算処理部）を「コンピュータ」として用いて同様の処理を実行するようにしてもよい。また、プログラムは、そのような機器組み込み型のマイクロコンピュータに読み取り可能なものであってもよい。
さらに、上記の実施形態においては、＋Ｙ向きの通過人数と−Ｙ向きの通過人数との両方を同時に求める場合について例示したが、これに限定されず、一方の向きの通過人数（たとえば＋Ｙ向きの通過人数）のみを求めるようにしてもよい。言い換えれば、上記においては、正の符号の成分値に関する第１の積分値Ｅ１と、負の符号の成分値に関する第２の積分値Ｅ２との両方を求める場合を例示したが、これに限定されず、正負のうちの一方の符号の成分値に関する積分値のみを求めるようにしてもよい。
具体的には、動きベクトルの境界線に垂直な成分ｖのうち正の符号成分であるｖ１を積分した積分値Ｅ１のみに基づいて、＋Ｙ向きの通過人数のみを求めるようにしてもよい。
このように、動きベクトルの境界線に垂直な成分を正負の符号別に積分した、積分値Ｅ１および／またはＥ２（言い換えれば、積分値Ｅ１，Ｅ２のうち少なくとも一方の積分値）に基づいて、境界線ＢＬを通過する移動物体（人物）の数を求めればよい。
また、上記実施形態においては、動きベクトルの境界線ＢＬに対する垂直成分を積分した積分値として、当該垂直成分の正負の符号成分のうちの一方の符号成分を他方の符号成分から分離して積分した少なくとも１つの積分値を求める場合を例示している。これによれば、複数の移動物体が同じ向きだけでなく逆向きにも移動する可能性がある場合においても、誤カウントを防止して通過物体数を正確に計測することができる。
しかしながら、この発明はこのような態様に限定されない。たとえば、複数の移動物体の移動の向きが全て同じであることが予め判っている場合には、動きベクトルの境界線ＢＬに対する垂直成分は常に非負成分（あるいは常に非正成分）であるので、動きベクトルの境界線ＢＬに対する垂直成分を（意図的に符号分離することなく単純に）積分した積分値に基づいて、境界線を通過する移動物体の数を求めるようにしてもよい。また特に、求めた積分値と当該積分値に関する基準値とに基づいて、境界線ＢＬを通過する移動物体の数を求めることによれば、移動物体の数をさらに正確に求めることができる。
物体計測装置１を示す図である。 コントローラ１０のハードウエア構成を示すブロック図である。 カメラ部２０による撮影画像を示す図である。 物体計測装置１における動作を示すフローチャートである。 図３の状態から所定時間が経過した後の撮影画像における動きベクトルＶを示す図である。 動きベクトルＶのＸ方向成分ｕおよびＹ方向成分ｖを示す図である。 近接して同方向に進行する複数の物体を撮影した画像を示す図である。 オプティカルフロー生成の詳細動作を示すフローチャートである。 ラプラシアンピラミッドの生成処理を示す概念図である。 ラプラシアンフィルタの一例を示す図である。 時刻ｔ，（ｔ−１）でのラプラシアンピラミッドを示す概念図である。 多重解像度戦略における動作の概要を示す概念図である。 拡大オプティカルフローＦＴ２の生成処理を示す概念図である。 予測画像Ｑ０２を求める動作を示す概念図である。 オプティカルフローの求め方の変形例を示す概念図である。 図１５の変形例に係るフローチャートである。
符号の説明
１ 物体計測装置
１０ コントローラ
２０ カメラ部
ＢＬ 境界線
Ｃｉｎ，Ｃｏｕｔ 通過人数
Ｅ１，Ｅ２ 積分値
ＨＭ１，ＨＭ２ 人物
Ｒ０ 撮影領域
Ｓ 基準値
Ｖ 動きベクトル

Claims (13)

  1. 境界線を通過する移動物体の数を計測する物体計測装置であって、
    時間順次に撮影された複数の画像に基づいて、前記境界線上における複数の位置のそれぞれにおける複数の時刻での動きベクトルを抽出する抽出手段と、
    前記動きベクトルの前記境界線に対する垂直成分を前記複数の位置の範囲および前記複数の時刻の範囲について積分した積分値であって、当該垂直成分の正負の符号成分のうちの一方の符号成分を他方の符号成分から分離して積分した積分値を求める手段と、
    前記境界線を通過する移動物体の数を前記積分値に基づいて求める算出手段と、
    を備え、
    前記算出手段は、前記積分値を当該積分値に関する基準値で除した値に基づいて、前記移動物体の数を求めることを特徴とする物体計測装置。
  2. 境界線を通過する移動物体の数を計測する物体計測装置であって、
    時間順次に撮影された複数の画像に基づいて、前記境界線上における複数の位置のそれぞれにおける複数の時刻での動きベクトルを抽出する抽出手段と、
    前記動きベクトルの前記境界線に対する垂直成分を前記複数の位置の範囲および前記複数の時刻の範囲について積分した積分値であって、当該垂直成分の正負の符号成分のうちの一方の符号成分を他方の符号成分から分離して積分した積分値を求める手段と、
    前記境界線を通過する移動物体の数を前記積分値に基づいて求める算出手段と、
    を備え、
    前記算出手段は、前記積分値が当該積分値に関する基準値を超えるごとに１つの移動物体が存在すると判定して、前記移動物体の数を求めることを特徴とする物体計測装置。
  3. 請求項１または請求項２に記載の物体計測装置において、
    前記基準値は、前記画像における１つの移動物体あたりの平均面積値として、予め定められた値であることを特徴とする物体計測装置。
  4. 境界線を通過する移動物体の数を計測する物体計測方法であって、
    ａ）時間順次に撮影された複数の画像に基づいて、前記境界線上における複数の位置のそれぞれにおける複数の時刻での動きベクトルを抽出するステップと、
    ｂ）前記動きベクトルの前記境界線に対する垂直成分を前記複数の位置の範囲および前記複数の時刻の範囲について積分した積分値であって、当該垂直成分の正負の符号成分のうちの一方の符号成分を他方の符号成分から分離して積分した積分値を求めるステップと、
    ｃ）前記境界線を通過する移動物体の数を、前記積分値を当該積分値に関する基準値で除した値に基づいて求めるステップと、
    を含むことを特徴とする物体計測方法。
  5. 境界線を通過する移動物体の数を計測する物体計測方法であって、
    ａ）時間順次に撮影された複数の画像に基づいて、前記境界線上における複数の位置のそれぞれにおける複数の時刻での動きベクトルを抽出するステップと、
    ｂ）前記動きベクトルの前記境界線に対する垂直成分を前記複数の位置の範囲および前記複数の時刻の範囲について積分した積分値であって、当該垂直成分の正負の符号成分のうちの一方の符号成分を他方の符号成分から分離して積分した積分値を求めるステップと、
    ｃ）前記境界線を通過する移動物体の数を、前記積分値が当該積分値に関する基準値を超えるごとに１つの移動物体が存在すると判定して求めるステップと、
    を含むことを特徴とする物体計測方法。
  6. コンピュータに、
    ａ）時間順次に撮影された複数の画像に基づいて、境界線上における複数の位置のそれぞれにおける複数の時刻での動きベクトルを抽出する手順と、
    ｂ）前記動きベクトルの前記境界線に対する垂直成分を前記複数の位置の範囲および前記複数の時刻の範囲について積分した積分値であって、当該垂直成分の正負の符号成分のうちの一方の符号成分を他方の符号成分から分離して積分した積分値を求める手順と、
    ｃ）前記境界線を通過する移動物体の数を前記積分値を当該積分値に関する基準値で除した値に基づいて求める手順と、
    を実行させるためのプログラム。
  7. コンピュータに、
    ａ）時間順次に撮影された複数の画像に基づいて、境界線上における複数の位置のそれぞれにおける複数の時刻での動きベクトルを抽出する手順と、
    ｂ）前記動きベクトルの前記境界線に対する垂直成分を前記複数の位置の範囲および前記複数の時刻の範囲について積分した積分値であって、当該垂直成分の正負の符号成分のうちの一方の符号成分を他方の符号成分から分離して積分した積分値を求める手順と、
    ｃ）前記境界線を通過する移動物体の数を、前記積分値が当該積分値に関する基準値を超えるごとに１つの移動物体が存在すると判定して求める手順と、
    を実行させるためのプログラム。
  8. 境界線を通過する移動物体の数を計測する物体計測装置であって、
    時間順次に撮影された複数の画像に基づいて、前記境界線上における複数の位置のそれぞれにおける複数の時刻での動きベクトルを抽出する抽出手段と、
    前記動きベクトルの前記境界線に対する垂直成分を前記複数の位置の範囲および前記複数の時刻の範囲について積分した積分値を求める手段と、
    前記積分値を当該積分値に関する基準値で除した値に基づいて、前記境界線を通過する移動物体の数を求める算出手段と、
    を備えることを特徴とする物体計測装置。
  9. 境界線を通過する移動物体の数を計測する物体計測装置であって、
    時間順次に撮影された複数の画像に基づいて、前記境界線上における複数の位置のそれぞれにおける複数の時刻での動きベクトルを抽出する抽出手段と、
    前記動きベクトルの前記境界線に対する垂直成分を前記複数の位置の範囲および前記複数の時刻の範囲について積分した積分値を求める手段と、
    前記積分値が当該積分値に関する基準値を超えるごとに１つの移動物体が存在すると判定して、前記境界線を通過する移動物体の数を求める算出手段と、
    を備えることを特徴とする物体計測装置。
  10. 境界線を通過する移動物体の数を計測する物体計測方法であって、
    ａ）時間順次に撮影された複数の画像に基づいて、前記境界線上における複数の位置のそれぞれにおける複数の時刻での動きベクトルを抽出するステップと、
    ｂ）前記動きベクトルの前記境界線に対する垂直成分を前記複数の位置の範囲および前記複数の時刻の範囲について積分した積分値を求めるステップと、
    ｃ）前記積分値を当該積分値に関する基準値で除した値に基づいて、前記境界線を通過する移動物体の数を求めるステップと、
    を含むことを特徴とする物体計測方法。
  11. 境界線を通過する移動物体の数を計測する物体計測方法であって、
    ａ）時間順次に撮影された複数の画像に基づいて、前記境界線上における複数の位置のそれぞれにおける複数の時刻での動きベクトルを抽出するステップと、
    ｂ）前記動きベクトルの前記境界線に対する垂直成分を前記複数の位置の範囲および前記複数の時刻の範囲について積分した積分値を求めるステップと、
    ｃ）前記積分値が当該積分値に関する基準値を超えるごとに１つの移動物体が存在すると判定して、前記境界線を通過する移動物体の数を求めるステップと、
    を含むことを特徴とする物体計測方法。
  12. コンピュータに、
    ａ）時間順次に撮影された複数の画像に基づいて、境界線上における複数の位置のそれぞれにおける複数の時刻での動きベクトルを抽出する手順と、
    ｂ）前記動きベクトルの前記境界線に対する垂直成分を前記複数の位置の範囲および前記複数の時刻の範囲について積分した積分値を求める手順と、
    ｃ）前記積分値を当該積分値に関する基準値で除した値に基づいて、前記境界線を通過する移動物体の数を求める手順と、
    を実行させるためのプログラム。
  13. コンピュータに、
    ａ）時間順次に撮影された複数の画像に基づいて、境界線上における複数の位置のそれぞれにおける複数の時刻での動きベクトルを抽出する手順と、
    ｂ）前記動きベクトルの前記境界線に対する垂直成分を前記複数の位置の範囲および前記複数の時刻の範囲について積分した積分値を求める手順と、
    ｃ）前記積分値が当該積分値に関する基準値を超えるごとに１つの移動物体が存在すると判定して、前記境界線を通過する移動物体の数を求める手順と、
    を実行させるためのプログラム。
JP2003360580A 2003-10-21 2003-10-21 物体計測装置、物体計測方法、およびプログラム Expired - Lifetime JP3944647B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2003360580A JP3944647B2 (ja) 2003-10-21 2003-10-21 物体計測装置、物体計測方法、およびプログラム
US10/953,976 US7221779B2 (en) 2003-10-21 2004-09-29 Object measuring apparatus, object measuring method, and program product

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003360580A JP3944647B2 (ja) 2003-10-21 2003-10-21 物体計測装置、物体計測方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2005128619A JP2005128619A (ja) 2005-05-19
JP3944647B2 true JP3944647B2 (ja) 2007-07-11

Family

ID=34509910

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003360580A Expired - Lifetime JP3944647B2 (ja) 2003-10-21 2003-10-21 物体計測装置、物体計測方法、およびプログラム

Country Status (2)

Country Link
US (1) US7221779B2 (ja)
JP (1) JP3944647B2 (ja)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8471852B1 (en) 2003-05-30 2013-06-25 Nvidia Corporation Method and system for tessellation of subdivision surfaces
US8571346B2 (en) 2005-10-26 2013-10-29 Nvidia Corporation Methods and devices for defective pixel detection
US7750956B2 (en) 2005-11-09 2010-07-06 Nvidia Corporation Using a graphics processing unit to correct video and audio data
US8588542B1 (en) 2005-12-13 2013-11-19 Nvidia Corporation Configurable and compact pixel processing apparatus
US8737832B1 (en) 2006-02-10 2014-05-27 Nvidia Corporation Flicker band automated detection system and method
JP4561657B2 (ja) 2006-03-06 2010-10-13 ソニー株式会社 映像監視システムおよび映像監視プログラム
JP2008035324A (ja) * 2006-07-31 2008-02-14 Matsushita Electric Ind Co Ltd 撮像装置
US8594441B1 (en) 2006-09-12 2013-11-26 Nvidia Corporation Compressing image-based data using luminance
DE102006053286A1 (de) * 2006-11-13 2008-05-15 Robert Bosch Gmbh Verfahren zur Detektion von bewegungsauffälligen Bildbereichen, Vorrichtung sowie Computerprogramm zur Durchführung des Verfahrens
US8723969B2 (en) * 2007-03-20 2014-05-13 Nvidia Corporation Compensating for undesirable camera shakes during video capture
US8724895B2 (en) 2007-07-23 2014-05-13 Nvidia Corporation Techniques for reducing color artifacts in digital images
US8570634B2 (en) 2007-10-11 2013-10-29 Nvidia Corporation Image processing of an incoming light field using a spatial light modulator
US8472715B2 (en) 2007-10-26 2013-06-25 Panasonic Corporation Situation determining apparatus, situation determining method, situation determining program, abnormality determining apparatus, abnormality determining method, abnormality determining program, and congestion estimating apparatus
JP4933404B2 (ja) * 2007-11-07 2012-05-16 キヤノン株式会社 画像処理装置、画像処理方法、画像処理プログラム、並びに、プログラム記録媒体
US9177368B2 (en) 2007-12-17 2015-11-03 Nvidia Corporation Image distortion correction
US8780128B2 (en) 2007-12-17 2014-07-15 Nvidia Corporation Contiguously packed data
DE102007062996A1 (de) * 2007-12-21 2009-06-25 Robert Bosch Gmbh Werkzeugmaschinenvorrichtung
US8698908B2 (en) * 2008-02-11 2014-04-15 Nvidia Corporation Efficient method for reducing noise and blur in a composite still image from a rolling shutter camera
JP2009211311A (ja) * 2008-03-03 2009-09-17 Canon Inc 画像処理装置及び方法
US9379156B2 (en) 2008-04-10 2016-06-28 Nvidia Corporation Per-channel image intensity correction
JP4955616B2 (ja) * 2008-06-27 2012-06-20 富士フイルム株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP5547739B2 (ja) * 2008-10-15 2014-07-16 イノベイティブ テクノロジー ディストリビューターズ エルエルシー オプティカルフローの決定のためのデジタル処理方法およびシステム
US8373718B2 (en) 2008-12-10 2013-02-12 Nvidia Corporation Method and system for color enhancement with color volume adjustment and variable shift along luminance axis
US8749662B2 (en) 2009-04-16 2014-06-10 Nvidia Corporation System and method for lens shading image correction
US9417700B2 (en) * 2009-05-21 2016-08-16 Edge3 Technologies Gesture recognition systems and related methods
US8698918B2 (en) 2009-10-27 2014-04-15 Nvidia Corporation Automatic white balancing for photography
US8396252B2 (en) 2010-05-20 2013-03-12 Edge 3 Technologies Systems and related methods for three dimensional gesture recognition in vehicles
WO2012030872A1 (en) 2010-09-02 2012-03-08 Edge3 Technologies Inc. Method and apparatus for confusion learning
US8666144B2 (en) 2010-09-02 2014-03-04 Edge 3 Technologies, Inc. Method and apparatus for determining disparity of texture
US8655093B2 (en) 2010-09-02 2014-02-18 Edge 3 Technologies, Inc. Method and apparatus for performing segmentation of an image
US8582866B2 (en) 2011-02-10 2013-11-12 Edge 3 Technologies, Inc. Method and apparatus for disparity computation in stereo images
US8970589B2 (en) 2011-02-10 2015-03-03 Edge 3 Technologies, Inc. Near-touch interaction with a stereo camera grid structured tessellations
US9672609B1 (en) 2011-11-11 2017-06-06 Edge 3 Technologies, Inc. Method and apparatus for improved depth-map estimation
TWI448977B (zh) * 2011-12-08 2014-08-11 Ind Tech Res Inst 基於視訊分析的物件計數方法與裝置
JP2013182416A (ja) * 2012-03-01 2013-09-12 Pioneer Electronic Corp 特徴量抽出装置、特徴量抽出方法及び特徴量抽出プログラム
US9798698B2 (en) 2012-08-13 2017-10-24 Nvidia Corporation System and method for multi-color dilu preconditioner
US9508318B2 (en) 2012-09-13 2016-11-29 Nvidia Corporation Dynamic color profile management for electronic devices
US9307213B2 (en) 2012-11-05 2016-04-05 Nvidia Corporation Robust selection and weighting for gray patch automatic white balancing
US10721448B2 (en) 2013-03-15 2020-07-21 Edge 3 Technologies, Inc. Method and apparatus for adaptive exposure bracketing, segmentation and scene organization
US9418400B2 (en) 2013-06-18 2016-08-16 Nvidia Corporation Method and system for rendering simulated depth-of-field visual effect
US9826208B2 (en) 2013-06-26 2017-11-21 Nvidia Corporation Method and system for generating weights for use in white balancing an image
US9756222B2 (en) 2013-06-26 2017-09-05 Nvidia Corporation Method and system for performing white balancing operations on captured images
JP6223899B2 (ja) * 2014-04-24 2017-11-01 株式会社東芝 動きベクトル検出装置、距離検出装置および動きベクトル検出方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3916379B2 (ja) 2000-06-27 2007-05-16 富士通株式会社 移動物体の検出計測装置及び方法

Also Published As

Publication number Publication date
JP2005128619A (ja) 2005-05-19
US20050084133A1 (en) 2005-04-21
US7221779B2 (en) 2007-05-22

Similar Documents

Publication Publication Date Title
JP3944647B2 (ja) 物体計測装置、物体計測方法、およびプログラム
TWI520078B (zh) Optical flow tracking method and device
US8036494B2 (en) Enhancing image resolution
US9727974B2 (en) System for video super resolution using semantic components
JP5227888B2 (ja) 人物追跡方法、人物追跡装置および人物追跡プログラム
US20120275653A1 (en) Method for recognizing license plate image, and related computer program product, computer-readable recording medium, and image recognizing apparatus using the same
CN106469455B (zh) 图像处理方法、图像处理设备以及记录介质
US9805443B2 (en) Image processing method, image processing apparatus, program, storage medium, production apparatus, and method of producing assembly
JP6217635B2 (ja) 転倒検知装置および転倒検知方法、転倒検知カメラ、並びにコンピュータ・プログラム
JP5740844B2 (ja) 撮像装置、画像処理方法、及び、コンピュータプログラム
JPWO2012046426A1 (ja) 物体検出装置、物体検出方法および物体検出プログラム
JP6429466B2 (ja) 画像処理装置およびその制御方法、撮像装置、プログラム
JP5100688B2 (ja) 対象物検出装置及びプログラム
JP2010231350A (ja) 人物識別装置、そのプログラム、及び、その方法
US11647152B2 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
JP2005253000A (ja) 画像処理装置
JP2016164709A (ja) 画像処理装置、撮像装置および画像処理プログラム
JP2008217330A (ja) 速度推定方法および速度推定プログラム
JP6555940B2 (ja) 被写体追跡装置、撮像装置、及び被写体追跡装置の制御方法
WO2016142965A1 (ja) 映像処理装置、映像処理方法及び映像処理プログラムを記憶する記録媒体
JP5419925B2 (ja) 通過物体数計測方法、通過物体数計測装置、及びプログラム
WO2020075237A1 (ja) 画像処理装置および画像処理方法
JP2009205695A (ja) 対象個数検出装置および対象個数検出方法
JP2007257489A (ja) 画像処理装置および画像処理方法
JP2019176261A (ja) 画像処理装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060810

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060817

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070219

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070313

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070326

R150 Certificate of patent or registration of utility model

Ref document number: 3944647

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100420

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110420

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120420

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130420

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140420

Year of fee payment: 7

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term