JP2763037B2 - 行列に並ぶ物体の数を数える方法および装置 - Google Patents
行列に並ぶ物体の数を数える方法および装置Info
- Publication number
- JP2763037B2 JP2763037B2 JP6341161A JP34116194A JP2763037B2 JP 2763037 B2 JP2763037 B2 JP 2763037B2 JP 6341161 A JP6341161 A JP 6341161A JP 34116194 A JP34116194 A JP 34116194A JP 2763037 B2 JP2763037 B2 JP 2763037B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- objects
- depth
- matrix
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C9/00—Individual registration on entry or exit
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C11/00—Arrangements, systems or apparatus for checking, e.g. the occurrence of a condition, not provided for elsewhere
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C11/00—Arrangements, systems or apparatus for checking, e.g. the occurrence of a condition, not provided for elsewhere
- G07C2011/04—Arrangements, systems or apparatus for checking, e.g. the occurrence of a condition, not provided for elsewhere related to queuing systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【0001】
【産業上の利用分野】本発明は、物体を数える装置、よ
り具体的には、直線状の行列に並ぶ物体を数えることに
関連する。
り具体的には、直線状の行列に並ぶ物体を数えることに
関連する。
【0002】
【従来の技術】行列に並ぶ物体を数える作業は多くの状
況において行われている。例えば、商品を買うかサービ
スを受けるために行列して待っている人を数える場合で
ある。具体的な例として、店舗の支払いカウンターに並
ぶ人の列をモニターし、行列が長くなればもっとカウン
ターを開く場合があげられる。行列を短くすれば、待ち
が短くなり顧客を失うこともなく、万引きを減らす効果
もあろう。
況において行われている。例えば、商品を買うかサービ
スを受けるために行列して待っている人を数える場合で
ある。具体的な例として、店舗の支払いカウンターに並
ぶ人の列をモニターし、行列が長くなればもっとカウン
ターを開く場合があげられる。行列を短くすれば、待ち
が短くなり顧客を失うこともなく、万引きを減らす効果
もあろう。
【0003】行列の長さをモニターすることは、この情
報をより広い用途に用いるとき、いっそう重要になる。
長期的には、行列に関するデータを集めて、繁忙期とそ
うでない時期の統計をとり、カウンターの数や、顧客に
サービスを提供する人の数を効率良くスケジュールする
ために使える。チェイン・ストアや百貨店では、この情
報から、いつも行列が長い所はサービスが悪いのではな
いか、それはどこの店舗/売場かがわかる場合もあろ
う。さらにこの情報とキャッシュ・レジスタのレシート
と組み合わせて、行列の平均人数が何人かを判断するの
にも使える。行列に或る一定の人数が並んだら、もっと
カウンターを開くようにすることもできる。
報をより広い用途に用いるとき、いっそう重要になる。
長期的には、行列に関するデータを集めて、繁忙期とそ
うでない時期の統計をとり、カウンターの数や、顧客に
サービスを提供する人の数を効率良くスケジュールする
ために使える。チェイン・ストアや百貨店では、この情
報から、いつも行列が長い所はサービスが悪いのではな
いか、それはどこの店舗/売場かがわかる場合もあろ
う。さらにこの情報とキャッシュ・レジスタのレシート
と組み合わせて、行列の平均人数が何人かを判断するの
にも使える。行列に或る一定の人数が並んだら、もっと
カウンターを開くようにすることもできる。
【0004】過去、行列に並んで待っている人を数えて
モニターすることはさまざまな方法で行われてきたが、
どれも能率の良いものではなかった。そのようなモニタ
ーは、従業員によって視覚的に行われることが多い。し
かし、この方法では、従業員が重要な仕事をする妨げに
なるし、顧客や行列の数が増えるにしたがい、その管理
は困難になる一方である。行列をモニターするもう1つ
の方法は電子的に行う方法である。たとえば、圧力に敏
感なマットを使い、作動する面積をいくつか定め、その
上に十分な重量が載っている面積の数を数える。しか
し、人数を正確に数えるには、各人がその面積の上に正
確に載らねばならず、また、マットは時間の経過にした
がい磨耗する。もう1つの電子的な方法は、ブレーク・
ビーム型のセンサを使い、人々が行列に入りそして出る
とき、光束が切れるのをモニターする方法である。入っ
た人数と出た人数の差が現在行列している人数と数え
る。しかし、2人の人がくっついて出入りすれば1人と
数える可能性があるので、物理的に行列を区切る必要が
ある。また、子供がビームのそばで動くと、ビームが繰
り返し反応してしまう。
モニターすることはさまざまな方法で行われてきたが、
どれも能率の良いものではなかった。そのようなモニタ
ーは、従業員によって視覚的に行われることが多い。し
かし、この方法では、従業員が重要な仕事をする妨げに
なるし、顧客や行列の数が増えるにしたがい、その管理
は困難になる一方である。行列をモニターするもう1つ
の方法は電子的に行う方法である。たとえば、圧力に敏
感なマットを使い、作動する面積をいくつか定め、その
上に十分な重量が載っている面積の数を数える。しか
し、人数を正確に数えるには、各人がその面積の上に正
確に載らねばならず、また、マットは時間の経過にした
がい磨耗する。もう1つの電子的な方法は、ブレーク・
ビーム型のセンサを使い、人々が行列に入りそして出る
とき、光束が切れるのをモニターする方法である。入っ
た人数と出た人数の差が現在行列している人数と数え
る。しかし、2人の人がくっついて出入りすれば1人と
数える可能性があるので、物理的に行列を区切る必要が
ある。また、子供がビームのそばで動くと、ビームが繰
り返し反応してしまう。
【0005】
【発明が解決しようとする課題】本発明の目的は、行列
に並ぶ人あるいは物体の数をモニターできる、能率のよ
い融通性のある装置を提供することである。
に並ぶ人あるいは物体の数をモニターできる、能率のよ
い融通性のある装置を提供することである。
【0006】
【課題を解決するための手段】本発明は、行列に並ぶ物
体を含む場面のステレオ・イメージを調べ物体の数を判
断する、能率のよい融通性のある方法と装置を提供す
る。
体を含む場面のステレオ・イメージを調べ物体の数を判
断する、能率のよい融通性のある方法と装置を提供す
る。
【0007】本発明の第1の側面として、実質的に直線
状の行列の複数の物体を数える方法を提供する。先ず、
行列の1つの端に近い視野から、行列を含む場面のステ
レオ・イメージが撮られる。次に、ステレオ・イメージ
から、場面内の部分の、上記視野から見た奥行き情報を
得る。次に、奥行情報を解釈して、一定の奥行きの範囲
に対応するステレオ・イメージの領域を決定し、複数の
物体の各々が、上記の決定された、1つの特定の領域に
対応するようにする。
状の行列の複数の物体を数える方法を提供する。先ず、
行列の1つの端に近い視野から、行列を含む場面のステ
レオ・イメージが撮られる。次に、ステレオ・イメージ
から、場面内の部分の、上記視野から見た奥行き情報を
得る。次に、奥行情報を解釈して、一定の奥行きの範囲
に対応するステレオ・イメージの領域を決定し、複数の
物体の各々が、上記の決定された、1つの特定の領域に
対応するようにする。
【0008】ステレオ・イメージを構成する第1のイメ
ージと第2のイメージにおいて、場面内の物体の各々が
ずれているので、奥行情報を得るステップは、第1と第
2のイメージのいくつかの区域を相関させることにより
行うことができる。次に、相関が得られた区域にたいし
て奥行きの度数をプロットし、そのプロットからピーク
を判断する。行列の中の物体の各々が、上記のピークの
1つ1つに対応する。
ージと第2のイメージにおいて、場面内の物体の各々が
ずれているので、奥行情報を得るステップは、第1と第
2のイメージのいくつかの区域を相関させることにより
行うことができる。次に、相関が得られた区域にたいし
て奥行きの度数をプロットし、そのプロットからピーク
を判断する。行列の中の物体の各々が、上記のピークの
1つ1つに対応する。
【0009】第1のイメージのあらかじめ定められた大
きさの1つの区域と第2のイメージの同じ大きさの区域
の相関は、先ず、第1と第2のイメージを重ね合わせる
ことによって得ることができる。次に、第1のイメージ
の区域が第2のイメージの同じ区域にどれだけよく合っ
ている(以下マッチあるいはマッチングという場合あ
り)かを表す相関指標が得られる。次に、第1および第
2のイメージを互いにずらし(以下シフト)、第2イメ
ージの同じ大きさだが異なる区域にたいする新たな相関
指標を得る。上記のシフトと相関指標を得るステップを
あらかじめ定められた回数繰り返し、最良の相関指標、
およびそれを得るのに要したシフトの数を記録する。次
に、シフトの数と、最良のマッチングが得られたシフト
の各々における区域の数をプロットする。行列の物体の
各々は、プロットのピークに対応する。したがって、プ
ロットのピークを調べて、行列の物体の数を判断するこ
とができる。
きさの1つの区域と第2のイメージの同じ大きさの区域
の相関は、先ず、第1と第2のイメージを重ね合わせる
ことによって得ることができる。次に、第1のイメージ
の区域が第2のイメージの同じ区域にどれだけよく合っ
ている(以下マッチあるいはマッチングという場合あ
り)かを表す相関指標が得られる。次に、第1および第
2のイメージを互いにずらし(以下シフト)、第2イメ
ージの同じ大きさだが異なる区域にたいする新たな相関
指標を得る。上記のシフトと相関指標を得るステップを
あらかじめ定められた回数繰り返し、最良の相関指標、
およびそれを得るのに要したシフトの数を記録する。次
に、シフトの数と、最良のマッチングが得られたシフト
の各々における区域の数をプロットする。行列の物体の
各々は、プロットのピークに対応する。したがって、プ
ロットのピークを調べて、行列の物体の数を判断するこ
とができる。
【0010】本発明の第2の側面として、実質的に直線
状の行列の複数の物体を数える装置を提供する。この装
置は、行列を含む場面の1対のイメージからなるステレ
オ・イメージを得るための手段と、イメージの区域を相
関させて、上記のステレオ・イメージを得る手段から見
た場面の奥行きを得る手段と、相関のとれた区域の奥行
き情報を得て、複数の物体が数えられるようにする手段
とを有する。
状の行列の複数の物体を数える装置を提供する。この装
置は、行列を含む場面の1対のイメージからなるステレ
オ・イメージを得るための手段と、イメージの区域を相
関させて、上記のステレオ・イメージを得る手段から見
た場面の奥行きを得る手段と、相関のとれた区域の奥行
き情報を得て、複数の物体が数えられるようにする手段
とを有する。
【0011】
【実施例】図1は、本発明で使用する、支払いカウンタ
ー12に取り付けたステレオ・ビデオ・カメラ11を上
から見た図10である。左のビデオ・カメラ14と右の
ビデオ・カメラ16が、間隔18によって離され平行に
置かれ、ステレオ・ビデオ・カメラ11を構成する。ス
テレオ・ビデオ・カメラ11は支払いカウンタ20の上
部に置かれ、行列12に並ぶ人々22、24、および2
6に向けられており、具体的には、目のレベルより少し
上、且つ、行列の中央から一方の側に向けるのが望まし
い。装置をこのように設置することにより、行列12に
並ぶ人々の数を、カウンタ20の下にある破線で示すプ
ロセサ28により求めることができる。
ー12に取り付けたステレオ・ビデオ・カメラ11を上
から見た図10である。左のビデオ・カメラ14と右の
ビデオ・カメラ16が、間隔18によって離され平行に
置かれ、ステレオ・ビデオ・カメラ11を構成する。ス
テレオ・ビデオ・カメラ11は支払いカウンタ20の上
部に置かれ、行列12に並ぶ人々22、24、および2
6に向けられており、具体的には、目のレベルより少し
上、且つ、行列の中央から一方の側に向けるのが望まし
い。装置をこのように設置することにより、行列12に
並ぶ人々の数を、カウンタ20の下にある破線で示すプ
ロセサ28により求めることができる。
【0012】以下に、本発明により、行列12の人数を
求めるプロセスの概要を説明する。もっとも単純に表現
すれば、2台のカメラ14と16により、行列12の人
々22、24、および26を含む場面の2つのイメージ
が作成される。2つのイメージの中の物体は、2台のカ
メラの間の間隔に依存する或る度合いで、互いにその位
置がずれている。カメラ14と16から遠くに離れてい
る物体は、より近くの物体よりもその位置のずれが小さ
い。2つのイメージが重ね合わされて比較され、たとえ
ば、下側のイメージのあらかじめ定められた大きさの区
域が、上側のイメージの同じ大きさの区域に合うかが判
断される。次に、2つのイメージは、たとえば1ピクセ
ルだけ互いにシフトされ、上記の同じ区域が再び比較さ
れる。このプロセスは、シフトの大きさを増やしなが
ら、あらかじめ定められた回数繰り返される。次に、別
の区域を使って、比較のプロセスが続けられる。比較が
行われた各区域に対し、最も良く合った度合い(以下ベ
スト・マッチともいう)と、ベスト・マッチを得るのに
要したシフトの回数が記録される。この情報から奥行き
グラフが作られる。行列12に並んでいる人がいない場
合の参照奥行きグラフが作成されれば、行列12に人が
いる場合のグラフを上記の参照グラフと比較することに
より、静止している物体や背景を削除して、それらが人
と解釈されないようにすることができる。参照奥行グラ
フの中にあるピークを削除することにより、作成された
奥行きグラフのピークを数えることができる。各ピーク
が1人に対応する。
求めるプロセスの概要を説明する。もっとも単純に表現
すれば、2台のカメラ14と16により、行列12の人
々22、24、および26を含む場面の2つのイメージ
が作成される。2つのイメージの中の物体は、2台のカ
メラの間の間隔に依存する或る度合いで、互いにその位
置がずれている。カメラ14と16から遠くに離れてい
る物体は、より近くの物体よりもその位置のずれが小さ
い。2つのイメージが重ね合わされて比較され、たとえ
ば、下側のイメージのあらかじめ定められた大きさの区
域が、上側のイメージの同じ大きさの区域に合うかが判
断される。次に、2つのイメージは、たとえば1ピクセ
ルだけ互いにシフトされ、上記の同じ区域が再び比較さ
れる。このプロセスは、シフトの大きさを増やしなが
ら、あらかじめ定められた回数繰り返される。次に、別
の区域を使って、比較のプロセスが続けられる。比較が
行われた各区域に対し、最も良く合った度合い(以下ベ
スト・マッチともいう)と、ベスト・マッチを得るのに
要したシフトの回数が記録される。この情報から奥行き
グラフが作られる。行列12に並んでいる人がいない場
合の参照奥行きグラフが作成されれば、行列12に人が
いる場合のグラフを上記の参照グラフと比較することに
より、静止している物体や背景を削除して、それらが人
と解釈されないようにすることができる。参照奥行グラ
フの中にあるピークを削除することにより、作成された
奥行きグラフのピークを数えることができる。各ピーク
が1人に対応する。
【0013】次に、上記のプロセスを、支払いカウンタ
に行列している人を例にして具体的に述べる。2台のカ
メラの間の間隔は、カメラの視野(2つのカメラは同一
のものと想定する)、行列で一番遠いと予想される人ま
での距離、行列の中の人と人との間の間隔、および、1
つのイメージの1行のピクセル数に依存する。具体的に
は、2台のカメラの間の最適の間隔は、以下の数式を使
用して求めることができる。
に行列している人を例にして具体的に述べる。2台のカ
メラの間の間隔は、カメラの視野(2つのカメラは同一
のものと想定する)、行列で一番遠いと予想される人ま
での距離、行列の中の人と人との間の間隔、および、1
つのイメージの1行のピクセル数に依存する。具体的に
は、2台のカメラの間の最適の間隔は、以下の数式を使
用して求めることができる。
【0014】
【数1】s = (F * d * (d - δ)) / (p * δ) 以上の式において、Fはラジアンで表した各カメラの視
野(たとえば、15度すなわち0.26ラジアンの視野
角を持ち、カメラの先端から610cm(20フィー
ト)離れた幅152cm(5フィート)の物体をとらえ
ることのできる視野)、dは1つのカメラから行列の中
の一番遠いと予想される人までのもっとも短い直線距
離、δは行列の中の人と人との間の予想される間隔、p
はイメージの1行のピクセル数をあらわす。たとえば、
最大距離を610cm(20フィート)、人と人との間
の距離を60cm(2フィート)、視野角を0.26ラ
ジアン、1行のピクセル数110とした場合、2台のカ
メラの間の間隔は約12.7cm(5インチ)として求
められる。
野(たとえば、15度すなわち0.26ラジアンの視野
角を持ち、カメラの先端から610cm(20フィー
ト)離れた幅152cm(5フィート)の物体をとらえ
ることのできる視野)、dは1つのカメラから行列の中
の一番遠いと予想される人までのもっとも短い直線距
離、δは行列の中の人と人との間の予想される間隔、p
はイメージの1行のピクセル数をあらわす。たとえば、
最大距離を610cm(20フィート)、人と人との間
の距離を60cm(2フィート)、視野角を0.26ラ
ジアン、1行のピクセル数110とした場合、2台のカ
メラの間の間隔は約12.7cm(5インチ)として求
められる。
【0015】ステレオ・イメージを構成する1対のイメ
ージが得られたらば、両者を比較して奥行きデータを求
め、奥行きグラフを作成し、グラフにプロットされたピ
ークを調べて行列にいま何人並んでいるかを判断するこ
とができる。ここで使用しているステレオ・イメージと
いう言葉は、或る場面の同じ対象領域(この実施例では
1つの行列)の、互いにずれている複数のイメージから
なるものをいう。本実施例では、2つのイメージが互い
に水平方向にずれている。奥行きグラフはそのような行
列の物体を数えるのに理想的である。その理由は、カメ
ラが偶然動いても、カメラから見た対象物の奥行きは影
響されず、新たな参照グラフが必要になるだけであるか
らである。1つのイメージの中のx、y座標に中心を置
くh ×vの大きさの1つのピクセル区域が選択され
て、他方のイメージの同じ大きさの区域と比較される。
最適な結果を得るためには、1つの区域に基調の度合い
の大きなもの、すなわち、色度あるいは明るさの段階の
あるものがよい。区域それぞれを比較するために、いわ
ゆる正規相関とよばれる以下の数式を使用してマッチン
グ点数(相関度指標)が計算される。
ージが得られたらば、両者を比較して奥行きデータを求
め、奥行きグラフを作成し、グラフにプロットされたピ
ークを調べて行列にいま何人並んでいるかを判断するこ
とができる。ここで使用しているステレオ・イメージと
いう言葉は、或る場面の同じ対象領域(この実施例では
1つの行列)の、互いにずれている複数のイメージから
なるものをいう。本実施例では、2つのイメージが互い
に水平方向にずれている。奥行きグラフはそのような行
列の物体を数えるのに理想的である。その理由は、カメ
ラが偶然動いても、カメラから見た対象物の奥行きは影
響されず、新たな参照グラフが必要になるだけであるか
らである。1つのイメージの中のx、y座標に中心を置
くh ×vの大きさの1つのピクセル区域が選択され
て、他方のイメージの同じ大きさの区域と比較される。
最適な結果を得るためには、1つの区域に基調の度合い
の大きなもの、すなわち、色度あるいは明るさの段階の
あるものがよい。区域それぞれを比較するために、いわ
ゆる正規相関とよばれる以下の数式を使用してマッチン
グ点数(相関度指標)が計算される。
【数2】
【数3】
【数4】
【数5】
【数6】 上記のマッチング点数を求める数式は、2つのイメージ
の間の全体的な明暗度の微妙な変化には敏感ではないの
で、たとえば、物体の角のような形状を抜粋したりマッ
チングする必要はない。
の間の全体的な明暗度の微妙な変化には敏感ではないの
で、たとえば、物体の角のような形状を抜粋したりマッ
チングする必要はない。
【0016】上記の式3は、x、y座標軸(xyピクセ
ル座標の原点はイメージの左上の角にある)を中心とし
て置かれたh × vの大きさのピクセル区域の中の明度
値(典型的には0から255の値の範囲)の標準偏差を
求めるものである。式4は、上記のh × vの大きさの
区域の平均明度を求めるものである。式4の加法記号の
右項は、座標x+dx、y+dyにおける明度値を表
す。式5は、上記区域のピクセル明度の平方を求めるた
めの平均明度値を得る式である。最後の式6は、或る区
域の左側のイメージのピクセルの明度に、対応する右側
のイメージのピクセルの明度を乗ずることにより得られ
る、1つの区域の平均明度を得るものである。式6の加
法記号の右側の第1および第2の項は、それぞれ座標x
+dx、y+dyにおける左側イメージおよび右側イメ
ージのピクセル明度を表す。
ル座標の原点はイメージの左上の角にある)を中心とし
て置かれたh × vの大きさのピクセル区域の中の明度
値(典型的には0から255の値の範囲)の標準偏差を
求めるものである。式4は、上記のh × vの大きさの
区域の平均明度を求めるものである。式4の加法記号の
右項は、座標x+dx、y+dyにおける明度値を表
す。式5は、上記区域のピクセル明度の平方を求めるた
めの平均明度値を得る式である。最後の式6は、或る区
域の左側のイメージのピクセルの明度に、対応する右側
のイメージのピクセルの明度を乗ずることにより得られ
る、1つの区域の平均明度を得るものである。式6の加
法記号の右側の第1および第2の項は、それぞれ座標x
+dx、y+dyにおける左側イメージおよび右側イメ
ージのピクセル明度を表す。
【0017】選択された区域に対し、先ずそのイメージ
が並べられ、マッチング点数が計算され、計算結果が記
憶される。次に、イメージが、たとえば1ピクセルだけ
水平方向にシフトされて、再びマッチング点数が計算さ
れる。新たなマッチング点数が前に計算されたマッチン
グ点数と比較され、新たなマッチング点数の方が高い
(すなわち相関がより高い)場合、新たなマッチング点
数で置き換えられる。1つの区域に対して上記のシフ
ト、マッチング点数計算、マッチング点数の比較を、シ
フトを増やしてあらかじめ定められた数(たとえば20
シフト)だけ繰り返し、最良のマッチングを得る。次
に、別の区域を選択し、上記のマッチングのプロセスを
繰り返し、マッチングするべき全ての区域を完了するま
で続ける。
が並べられ、マッチング点数が計算され、計算結果が記
憶される。次に、イメージが、たとえば1ピクセルだけ
水平方向にシフトされて、再びマッチング点数が計算さ
れる。新たなマッチング点数が前に計算されたマッチン
グ点数と比較され、新たなマッチング点数の方が高い
(すなわち相関がより高い)場合、新たなマッチング点
数で置き換えられる。1つの区域に対して上記のシフ
ト、マッチング点数計算、マッチング点数の比較を、シ
フトを増やしてあらかじめ定められた数(たとえば20
シフト)だけ繰り返し、最良のマッチングを得る。次
に、別の区域を選択し、上記のマッチングのプロセスを
繰り返し、マッチングするべき全ての区域を完了するま
で続ける。
【0018】図2(a)および図2(b)は、或る小売
り店舗の支払いカウンタ(図示せず)での1つの行列
を、それぞれカメラ14および16で撮ったビデオ・イ
メージである。図2(a)の3人の各人が図2(b)の
それぞれに比べてある度合いでシフトしていることに留
意されたい。このシフトはカメラ14と16をある間隔
で離すことにより得られる。
り店舗の支払いカウンタ(図示せず)での1つの行列
を、それぞれカメラ14および16で撮ったビデオ・イ
メージである。図2(a)の3人の各人が図2(b)の
それぞれに比べてある度合いでシフトしていることに留
意されたい。このシフトはカメラ14と16をある間隔
で離すことにより得られる。
【0019】図2(c)は、マッチング点数とシフトの
情報から作成した、図2(a)と図2(b)の場面の疑
似イメージである。明るい色調はカメラに近い物体(比
較的より多くのシフト回数の後得られた最良のマッチン
グ点数)に対応し、暗い色調はカメラから遠い物体(比
較的少ないシフト回数で得られた最良のマッチング点
数)に対応する。図2(c)のイメージは、図2(a)
および図2(b)の場面の中にある主な物体の粗い輪郭
を表している。粗いとはいえ、図2(c)に示した疑似
イメージは、その中にある比較的大きな物体(この場合
人物)の輪郭を描くには十分な明晰さはある。
情報から作成した、図2(a)と図2(b)の場面の疑
似イメージである。明るい色調はカメラに近い物体(比
較的より多くのシフト回数の後得られた最良のマッチン
グ点数)に対応し、暗い色調はカメラから遠い物体(比
較的少ないシフト回数で得られた最良のマッチング点
数)に対応する。図2(c)のイメージは、図2(a)
および図2(b)の場面の中にある主な物体の粗い輪郭
を表している。粗いとはいえ、図2(c)に示した疑似
イメージは、その中にある比較的大きな物体(この場合
人物)の輪郭を描くには十分な明晰さはある。
【0020】図2(d)は図2(a)および図2(b)
の場面のもう1つの疑似イメージで、ピクセル区域それ
ぞれの最も高いマッチング点数から作成したものであ
る。或る区域のベスト・マッチング点数が高いほどその
区域の色調は明るくなり、マッチング点数が低ければ色
調は暗くなる。図2(d)の大部分は明るい色調である
ので、この領域の奥行きの推定が正確に行われたことを
示している。図2(a)の前景の最も近くの頭部の左に
ある白い物体は、図2(b)の同じ頭部で遮られている
ので、図2(d)ではこの部分が判読できずに黒くなっ
ている。
の場面のもう1つの疑似イメージで、ピクセル区域それ
ぞれの最も高いマッチング点数から作成したものであ
る。或る区域のベスト・マッチング点数が高いほどその
区域の色調は明るくなり、マッチング点数が低ければ色
調は暗くなる。図2(d)の大部分は明るい色調である
ので、この領域の奥行きの推定が正確に行われたことを
示している。図2(a)の前景の最も近くの頭部の左に
ある白い物体は、図2(b)の同じ頭部で遮られている
ので、図2(d)ではこの部分が判読できずに黒くなっ
ている。
【0021】図2(e)は、図2(c)で視覚的に示し
た全ての有効な奥行き示度を表すグラフ30である。本
実施例では、マッチング点数が0.8以上であれば有効
と考えた。しかし、有効なマッチング点数は、状況によ
って異なると理解されたい。グラフ30は、x軸32に
シフト数を、y軸にピクセル数をプロットしたもので、
これにより、或るシフト回数のときに最も高いマッチン
グ点数を示したときのピクセル数がわかる。グラフ30
の左側のピーク36は、参照奥行きグラフ(図示せず)
を参照して確かめた結果、行列に人がいない背景に対応
している。ピーク38は、カメラから見て、行列の中で
最も遠い人を表し、ピーク40は真ん中の人、ピーク4
2は最も近い人を表している。或るピークを間違って人
と解釈して数えないようにするために、参照奥行きグラ
フを参照して見つかった或る部分は、グラフ30から削
除することができる。
た全ての有効な奥行き示度を表すグラフ30である。本
実施例では、マッチング点数が0.8以上であれば有効
と考えた。しかし、有効なマッチング点数は、状況によ
って異なると理解されたい。グラフ30は、x軸32に
シフト数を、y軸にピクセル数をプロットしたもので、
これにより、或るシフト回数のときに最も高いマッチン
グ点数を示したときのピクセル数がわかる。グラフ30
の左側のピーク36は、参照奥行きグラフ(図示せず)
を参照して確かめた結果、行列に人がいない背景に対応
している。ピーク38は、カメラから見て、行列の中で
最も遠い人を表し、ピーク40は真ん中の人、ピーク4
2は最も近い人を表している。或るピークを間違って人
と解釈して数えないようにするために、参照奥行きグラ
フを参照して見つかった或る部分は、グラフ30から削
除することができる。
【0022】図2(f)から図2(i)は、図2(c)
の奥行きマップを、図2(a)および図2(b)の場面
と相関させたものである。ここに提示した図2(f)か
ら図2(i)は例証の目的で示したが、本発明では必ず
しも作成しなくてもよいものである。図2(f)はカメ
ラから104ないし113cm(3.4ないし3.7フィ
ート)の距離で撮られた部分である。図2(g)は、1
83ないし210cm(6.0ないし6.9フィート)の
距離で撮られた部分である。図2(h)は、216ない
し241cm(7.1ないし7.9フィート)の距離で撮
られた部分である。最後に、図2(i)は背景を表し、
335ないし853cm(11ないし28フィート)の
距離で撮られた場面である。本実施例のように、或る間
隔をおいた2台のカメラで撮られた2つのイメージの上
では、より近い物体は遠くの物体よりもより大きくずれ
るから、グラフ30のピークは場面の物体に相関づける
ことができる。
の奥行きマップを、図2(a)および図2(b)の場面
と相関させたものである。ここに提示した図2(f)か
ら図2(i)は例証の目的で示したが、本発明では必ず
しも作成しなくてもよいものである。図2(f)はカメ
ラから104ないし113cm(3.4ないし3.7フィ
ート)の距離で撮られた部分である。図2(g)は、1
83ないし210cm(6.0ないし6.9フィート)の
距離で撮られた部分である。図2(h)は、216ない
し241cm(7.1ないし7.9フィート)の距離で撮
られた部分である。最後に、図2(i)は背景を表し、
335ないし853cm(11ないし28フィート)の
距離で撮られた場面である。本実施例のように、或る間
隔をおいた2台のカメラで撮られた2つのイメージの上
では、より近い物体は遠くの物体よりもより大きくずれ
るから、グラフ30のピークは場面の物体に相関づける
ことができる。
【0023】奥行きグラフ30は、図2(c)に示した
奥行きマップよりも、具体化としてより望ましい。その
理由は、たとえば、偶然にカメラに何かをぶつけてカメ
ラの角度が少し変わったときに、写る場面が少し変わっ
ても、前の場面と新たな場面に写っている物体の奥行き
はカメラの位置から見て本質的に変わらないので、奥行
きグラフ30よりも奥行きマップ(図2(c))の変化
の方が大きいからである。
奥行きマップよりも、具体化としてより望ましい。その
理由は、たとえば、偶然にカメラに何かをぶつけてカメ
ラの角度が少し変わったときに、写る場面が少し変わっ
ても、前の場面と新たな場面に写っている物体の奥行き
はカメラの位置から見て本質的に変わらないので、奥行
きグラフ30よりも奥行きマップ(図2(c))の変化
の方が大きいからである。
【0024】一般的に、上に述べた奥行きグラフによっ
てピークを検出する方法は、グラフ上のピークとピーク
との間がゼロにならない場合があることを考えると、面
倒な方法である場合がある。この問題は、イメージの最
小の大きさの区域で各シフトごとに得られるベスト・マ
ッチに対応する、ゼロでない或る値を閾値として設ける
ことによってある程度解決できる。ある大きさの物体
を、シフトするたびに必ずマッチングがとれることを確
実にする必要がある場合には、或る1つの区域に対し、
その物体の2つのイメージの間のずれの度合いに依存し
て閾値を変えて使用してもよい。
てピークを検出する方法は、グラフ上のピークとピーク
との間がゼロにならない場合があることを考えると、面
倒な方法である場合がある。この問題は、イメージの最
小の大きさの区域で各シフトごとに得られるベスト・マ
ッチに対応する、ゼロでない或る値を閾値として設ける
ことによってある程度解決できる。ある大きさの物体
を、シフトするたびに必ずマッチングがとれることを確
実にする必要がある場合には、或る1つの区域に対し、
その物体の2つのイメージの間のずれの度合いに依存し
て閾値を変えて使用してもよい。
【0025】さらに、ピーク検出に影響する考慮すべき
いくつかの点について述べる。カメラの高さを人間の目
の平均的な高さに置くことにより、行列で人と人が互い
にくっついて立っていることによるグラフ上の近接しす
ぎるピークを、誤って解釈することを減らすことができ
る。また、人は、一般的には、前面から背面まで90c
m(3フィート)以上になることはないから、奥行きが
90cm以上の対象物に対応するやや矩形状のピーク
を、複数の人間を表すとしてもよい。また、ピークの勾
配を調べて、あるピークが1人を表すのか2人を表すの
かを判断できる。ピクセル数が下がってきて突然急に上
昇する場合、ピークは1つでなく2つ存在する場合が多
い。勾配をこのように調べることは、たとえば、ピーク
38と40のように、上述のゼロでない閾値の方法を採
らない場合、とくに必要になる。
いくつかの点について述べる。カメラの高さを人間の目
の平均的な高さに置くことにより、行列で人と人が互い
にくっついて立っていることによるグラフ上の近接しす
ぎるピークを、誤って解釈することを減らすことができ
る。また、人は、一般的には、前面から背面まで90c
m(3フィート)以上になることはないから、奥行きが
90cm以上の対象物に対応するやや矩形状のピーク
を、複数の人間を表すとしてもよい。また、ピークの勾
配を調べて、あるピークが1人を表すのか2人を表すの
かを判断できる。ピクセル数が下がってきて突然急に上
昇する場合、ピークは1つでなく2つ存在する場合が多
い。勾配をこのように調べることは、たとえば、ピーク
38と40のように、上述のゼロでない閾値の方法を採
らない場合、とくに必要になる。
【0026】現実には、支払いカウンタの近くで人が動
き回っていることが多く、この人たちは行列に並んでい
ないのに行列に並んでいると解釈されることがある。た
とえば、行列に並んでいる人のすぐ後ろの場所に人が立
っていることがある。この場合、奥行きグラフでは、行
列の最後の人に対応するピークと、行列の最後の人の後
ろにやや距離をおいて立っている人に対応するピークと
の間には大きなギャップとしてあらわれる。したがっ
て、上記のような、奥行きグラフ上の大きなギャップの
左にあるピークは無視すべきである。もう1つの例とし
て、通常行列の始まりと考えている場所に誰も立ってい
ない場合には、グラフ上のどんなピークも行列に並んで
いる人と考えるべきではない。上記の2つのステップ
は、奥行きグラフの結果を解釈する人によって行うか、
コンピュータ・プログラムを使って奥行きグラフから不
要なデータを取り除いてもよい。
き回っていることが多く、この人たちは行列に並んでい
ないのに行列に並んでいると解釈されることがある。た
とえば、行列に並んでいる人のすぐ後ろの場所に人が立
っていることがある。この場合、奥行きグラフでは、行
列の最後の人に対応するピークと、行列の最後の人の後
ろにやや距離をおいて立っている人に対応するピークと
の間には大きなギャップとしてあらわれる。したがっ
て、上記のような、奥行きグラフ上の大きなギャップの
左にあるピークは無視すべきである。もう1つの例とし
て、通常行列の始まりと考えている場所に誰も立ってい
ない場合には、グラフ上のどんなピークも行列に並んで
いる人と考えるべきではない。上記の2つのステップ
は、奥行きグラフの結果を解釈する人によって行うか、
コンピュータ・プログラムを使って奥行きグラフから不
要なデータを取り除いてもよい。
【0027】図3に、本発明のステレオ・ビジョン装置
44を構成する要素をブロック図で示す。装置44に
は、平行に置かれたビデオ・カメラ46と48、カメラ
同期装置50、コンピュータ52、モニタ54、およ
び、警報装置56がある。装置44は単独でも作動でき
るし、ホスト・コンピュータや通信網に接続してもよ
い。
44を構成する要素をブロック図で示す。装置44に
は、平行に置かれたビデオ・カメラ46と48、カメラ
同期装置50、コンピュータ52、モニタ54、およ
び、警報装置56がある。装置44は単独でも作動でき
るし、ホスト・コンピュータや通信網に接続してもよ
い。
【0028】ここでは説明のために、カメラ46と48
から150cm(5フィート)離れた場所から、人と人
との間が60cm(2フィート)で並ぶ行列を、5人ま
で数えるという想定で、本装置を説明する。カメラ46
と48は床面から180cm(6フィート)の高さに置
かれ、カメラとカメラの間の間隔は約7.6cm(3イ
ンチ)、行列の中央からは約46cm(18インチ)ず
れて置かれている。カメラは、はじめに、その位置を手
で調整して、遠景にある物体が2台のカメラによる2つ
のイメージの間でそのずれがほとんどないようにする。
背景の位置調整は、xおよびy方向すなわち横方向と上
下方向に少数のオフセットを求めてベスト・マッチを見
つけるプログラムによって微調整してもよい。それぞれ
のカメラは、たとえば30度(約0.52ラジアン)の
視野を持つ。1つのカメラからは偶数のピクセル・ライ
ンを使い、他方のカメラからは奇数のピクセル・ライン
を使う。カメラ同期装置50が、カメラ46と48が互
いに同期して走査できるように制御する。これにより、
2台のカメラの走査の始まりと終了を確実に同期させる
ことができる。この種の同期は、たとえば公知のゲンロ
ック装置でとることができる。カメラ同期装置50は、
また、2台のカメラによって撮られた2つの半分づつの
イメージを1つのイメージに再構成する。これは、2つ
のイメージを、たとえばマルチプレクシングすることに
より行える。
から150cm(5フィート)離れた場所から、人と人
との間が60cm(2フィート)で並ぶ行列を、5人ま
で数えるという想定で、本装置を説明する。カメラ46
と48は床面から180cm(6フィート)の高さに置
かれ、カメラとカメラの間の間隔は約7.6cm(3イ
ンチ)、行列の中央からは約46cm(18インチ)ず
れて置かれている。カメラは、はじめに、その位置を手
で調整して、遠景にある物体が2台のカメラによる2つ
のイメージの間でそのずれがほとんどないようにする。
背景の位置調整は、xおよびy方向すなわち横方向と上
下方向に少数のオフセットを求めてベスト・マッチを見
つけるプログラムによって微調整してもよい。それぞれ
のカメラは、たとえば30度(約0.52ラジアン)の
視野を持つ。1つのカメラからは偶数のピクセル・ライ
ンを使い、他方のカメラからは奇数のピクセル・ライン
を使う。カメラ同期装置50が、カメラ46と48が互
いに同期して走査できるように制御する。これにより、
2台のカメラの走査の始まりと終了を確実に同期させる
ことができる。この種の同期は、たとえば公知のゲンロ
ック装置でとることができる。カメラ同期装置50は、
また、2台のカメラによって撮られた2つの半分づつの
イメージを1つのイメージに再構成する。これは、2つ
のイメージを、たとえばマルチプレクシングすることに
より行える。
【0029】上記のようにして合わせられたステレオの
ビデオ信号はコンピュータ52に送られ、コンピュータ
52はビデオ信号をディジタル化し、左のイメージと右
のイメージに分離し、それぞれから副標本をとって、1
00×65ピクセル(水平方向に100ピクセル、上下
方向に65ピクセル)の圧縮された2つのイメージを作
成する。圧縮前のイメージは512×512ピクセル
(それぞれ半分のイメージは水平方向に512ピクセ
ル、上下方向に256ピクセル)である。圧縮は水平方
向および上下方向にたとえば5番目ごと(すなわち5つ
に1つ)のピクセルを抜き取って作成する。輪郭はぼや
けるが、しかし十分に使えるイメージが得られる。区域
のマッチングをとるプロセスは、高い解像度のイメージ
を使うと、現在の処理能力では長い時間(約4分)かか
る可能性がある。しかし、正確な結果を得るために1個
1個のピクセルを調べる必要はない(本実施例では実際
に約90%の正確さを得ることができた)。より多くの
ピクセルを調べると、遠くの物体のイメージの明晰度が
上がるので、正確さが増すよりも、より長い行列を数え
ることができるようになる。
ビデオ信号はコンピュータ52に送られ、コンピュータ
52はビデオ信号をディジタル化し、左のイメージと右
のイメージに分離し、それぞれから副標本をとって、1
00×65ピクセル(水平方向に100ピクセル、上下
方向に65ピクセル)の圧縮された2つのイメージを作
成する。圧縮前のイメージは512×512ピクセル
(それぞれ半分のイメージは水平方向に512ピクセ
ル、上下方向に256ピクセル)である。圧縮は水平方
向および上下方向にたとえば5番目ごと(すなわち5つ
に1つ)のピクセルを抜き取って作成する。輪郭はぼや
けるが、しかし十分に使えるイメージが得られる。区域
のマッチングをとるプロセスは、高い解像度のイメージ
を使うと、現在の処理能力では長い時間(約4分)かか
る可能性がある。しかし、正確な結果を得るために1個
1個のピクセルを調べる必要はない(本実施例では実際
に約90%の正確さを得ることができた)。より多くの
ピクセルを調べると、遠くの物体のイメージの明晰度が
上がるので、正確さが増すよりも、より長い行列を数え
ることができるようになる。
【0030】上述の実施例では、2つのイメージが合わ
せられ、コンピュータ52に送られて、そこで再び分け
られるが、2つのイメージを2つの線を使ってコンピュ
ータ52に送ることもできる。上記のように、合わせた
り分けたりした理由は2つあり、第1には、1本のケー
ブルの使用でも可能にしたこと、第2には、イメージを
合わせれば、ビデオテープにとって後で見ることができ
るからである。
せられ、コンピュータ52に送られて、そこで再び分け
られるが、2つのイメージを2つの線を使ってコンピュ
ータ52に送ることもできる。上記のように、合わせた
り分けたりした理由は2つあり、第1には、1本のケー
ブルの使用でも可能にしたこと、第2には、イメージを
合わせれば、ビデオテープにとって後で見ることができ
るからである。
【0031】圧縮された2つのイメージを使って、コン
ピュータ52は、9×9ピクセル区域全部に対し、それ
ぞれの区域につき20回シフトを行いマッチング点数を
計算する。次に、コンピュータ52は、不要なデータを
取り除く上述のプロセスを行う。現在使用可能なテクノ
ロジーを使えば、行列の人数計算は1分に4回行える。
カウンタでの支払いが平均的にどの位の時間(たとえば
1分)かかるかによって、或る回にエラーが起こって
も、数回の計算結果を平均して正確度を上げることがで
きる。
ピュータ52は、9×9ピクセル区域全部に対し、それ
ぞれの区域につき20回シフトを行いマッチング点数を
計算する。次に、コンピュータ52は、不要なデータを
取り除く上述のプロセスを行う。現在使用可能なテクノ
ロジーを使えば、行列の人数計算は1分に4回行える。
カウンタでの支払いが平均的にどの位の時間(たとえば
1分)かかるかによって、或る回にエラーが起こって
も、数回の計算結果を平均して正確度を上げることがで
きる。
【0032】オプションとして、装置44に警報装置5
6をつけ、行列の人数が所定の人数を超えたことを知ら
せるようにし、警報に応えて適切なアクションをとらせ
るようにすることもできる。警報装置56は、たとえば
警報ランプを点灯させるだけの簡単なものでもよいし、
モニタ54にメッセージを出すようにすることもでき
る。
6をつけ、行列の人数が所定の人数を超えたことを知ら
せるようにし、警報に応えて適切なアクションをとらせ
るようにすることもできる。警報装置56は、たとえば
警報ランプを点灯させるだけの簡単なものでもよいし、
モニタ54にメッセージを出すようにすることもでき
る。
【0033】本実施例は、短い行列を数えるように最適
化されているが、20人までの長い行列も、圧縮イメー
ジ(すなわち低解像度イメージ)と高解像度イメージを
組み合わせて、適度な時間内に数えることができる。遠
い物体に対しては、先ず低解像度のイメージを使ってベ
スト・マッチが得られるシフトの数を求める。このやり
方により、高解像度でベスト・マッチを得る視野を狭め
ることができる。たとえば、高解像度イメージに比べて
縦および横に半分の解像度のイメージ(すなわち全体の
ピクセルの数は4分の1になる)を考えてみた場合、低
解像度での或る区域のベスト・マッチが第3と第4のシ
フトの間で得られた場合、同じ区域の高解像度でのベス
ト・マッチは第6と第8のシフトの間で得られる可能性
が高い。
化されているが、20人までの長い行列も、圧縮イメー
ジ(すなわち低解像度イメージ)と高解像度イメージを
組み合わせて、適度な時間内に数えることができる。遠
い物体に対しては、先ず低解像度のイメージを使ってベ
スト・マッチが得られるシフトの数を求める。このやり
方により、高解像度でベスト・マッチを得る視野を狭め
ることができる。たとえば、高解像度イメージに比べて
縦および横に半分の解像度のイメージ(すなわち全体の
ピクセルの数は4分の1になる)を考えてみた場合、低
解像度での或る区域のベスト・マッチが第3と第4のシ
フトの間で得られた場合、同じ区域の高解像度でのベス
ト・マッチは第6と第8のシフトの間で得られる可能性
が高い。
【0034】本発明は、行列の人数を数える目的だけに
限定されるものではなく、たとえば、料金ゲートに並ぶ
車輌の列を数えるのにも使用できる。この場合の唯一の
違いは、人と人との間隔は60cmであったが、車輌と
車輌の間の間隔(たとえば6m)に対処するために、2
台のカメラの間の間隔をひろげることだけである。
限定されるものではなく、たとえば、料金ゲートに並ぶ
車輌の列を数えるのにも使用できる。この場合の唯一の
違いは、人と人との間隔は60cmであったが、車輌と
車輌の間の間隔(たとえば6m)に対処するために、2
台のカメラの間の間隔をひろげることだけである。
【0035】
【発明の効果】本発明は、直線状の行列に並ぶ物体の数
を数える能率的で、正確な、融通性のある装置と方法を
提供するものである。実施例で具体的に述べた方法によ
り、一定の間隔をおいた2台のビデオ・カメラで行列を
含む場面のステレオ・イメージを撮り、該ステレオ・イ
メージから奥行き情報を得て、その奥行き情報をプロッ
トしてピークを定め、該ピークと行列の物体とを対応さ
せて、物体数を数えるようにしたものである。また、本
発明は、正確さを上げるために、たとえば、数えるべき
でない物体をあやまって解釈して数えないようにするた
めに、プロットのピークから不要な情報を取り除く等の
方法を備えている。本明細書では、支払いカウンタに行
列する人数を、効率よく実行可能な時間内で数える例を
実施例としているが、同様の他の例、たとえば、料金ゲ
ートに並ぶ車両の数を数えることに応用することもでき
る。この場合の装置の変更は、2台のカメラの間隔をひ
ろげるだけである。
を数える能率的で、正確な、融通性のある装置と方法を
提供するものである。実施例で具体的に述べた方法によ
り、一定の間隔をおいた2台のビデオ・カメラで行列を
含む場面のステレオ・イメージを撮り、該ステレオ・イ
メージから奥行き情報を得て、その奥行き情報をプロッ
トしてピークを定め、該ピークと行列の物体とを対応さ
せて、物体数を数えるようにしたものである。また、本
発明は、正確さを上げるために、たとえば、数えるべき
でない物体をあやまって解釈して数えないようにするた
めに、プロットのピークから不要な情報を取り除く等の
方法を備えている。本明細書では、支払いカウンタに行
列する人数を、効率よく実行可能な時間内で数える例を
実施例としているが、同様の他の例、たとえば、料金ゲ
ートに並ぶ車両の数を数えることに応用することもでき
る。この場合の装置の変更は、2台のカメラの間隔をひ
ろげるだけである。
【図1】支払いカウンタに取り付けたステレオ・ビデオ
・カメラを上から見た図である。
・カメラを上から見た図である。
【図2】(a)および(b)は2台のカメラで撮った行
列のビデオ・イメージを表すディスプレー上に表示した
中間調画像を表す写真である。 (c)はマッチング点数とシフトの情報から作成した
(a)と(b)の場面の疑似イメージを表すディスプレ
ー上に表示した中間調画像を表す写真である。 (d)は最も高いマッチング点数から作成した、(a)
および(b)の場面のもう1つの疑似イメージを表すデ
ィスプレー上に表示した中間調画像を表す写真である。 (e)は行列を含む場面の奥行き情報をプロットしたグ
ラフを表すディスプレー上に表示した中間調画像を表す
写真である。 (f)から(i)は、それぞれ、カメラから異なる距離
で撮られた場面の部分を示すものを表すディスプレー上
に表示した中間調画像を表す写真である。(尚、色彩写
真を審査の参考に資するために提出。)
列のビデオ・イメージを表すディスプレー上に表示した
中間調画像を表す写真である。 (c)はマッチング点数とシフトの情報から作成した
(a)と(b)の場面の疑似イメージを表すディスプレ
ー上に表示した中間調画像を表す写真である。 (d)は最も高いマッチング点数から作成した、(a)
および(b)の場面のもう1つの疑似イメージを表すデ
ィスプレー上に表示した中間調画像を表す写真である。 (e)は行列を含む場面の奥行き情報をプロットしたグ
ラフを表すディスプレー上に表示した中間調画像を表す
写真である。 (f)から(i)は、それぞれ、カメラから異なる距離
で撮られた場面の部分を示すものを表すディスプレー上
に表示した中間調画像を表す写真である。(尚、色彩写
真を審査の参考に資するために提出。)
【図3】本発明で使用するステレオ・ビジョン装置の構
成要素を示すブロック図である。
成要素を示すブロック図である。
10 ステレオ・ビデオ・カメラを上から
見た図 11 ステレオ・ビデオ・カメラ 12 支払いカウンタの行列 14 左のビデオ・カメラ 16 右のビデオ・カメラ 18 2台のビデオ・カメラの間の間隔 20 支払いカウンタ 22/24/26 行列に並ぶ人々 28 プロセサ 30 奥行きグラフ 32 X軸 34 Y軸 36 背景を示す大きなピーク 38 最も遠い人物をあらわすピーク 40 真ん中の人物をあらわすピーク 42 最も近い人物をあらわすピーク 44 ステレオ・ビジョン装置 46、48 ビデオ・カメラ 50 カメラ同期装置 52 コンピュータ 54 モニタ 56 警報装置
見た図 11 ステレオ・ビデオ・カメラ 12 支払いカウンタの行列 14 左のビデオ・カメラ 16 右のビデオ・カメラ 18 2台のビデオ・カメラの間の間隔 20 支払いカウンタ 22/24/26 行列に並ぶ人々 28 プロセサ 30 奥行きグラフ 32 X軸 34 Y軸 36 背景を示す大きなピーク 38 最も遠い人物をあらわすピーク 40 真ん中の人物をあらわすピーク 42 最も近い人物をあらわすピーク 44 ステレオ・ビジョン装置 46、48 ビデオ・カメラ 50 カメラ同期装置 52 コンピュータ 54 モニタ 56 警報装置
Claims (20)
- 【請求項1】直線状の行列に並ぶ複数の物体の数を数え
る方法であって、 上記行列の1つの端に近い視点から、上記行列を含む場
面のステレオ・イメージを得るステップと、 上記ステレオ・イメージから、上記視点から見た上記場
面の部分の奥行き情報を得るステップと、 上記複数の物体の数を数えるために上記奥行き情報を解
釈して、一定の奥行き範囲にある上記ステレオ・イメー
ジの上記物体の各々に対応する領域を定めるステップ
と、 を含み、 上記ステレオ・イメージが第1のイメージと第2のイメ
ージからなり、上記第1のイメージの上記物体の各々は
上記第2のイメージの対応する物体に対してシフトして
おり、 奥行き情報を得る上記ステップが、上記第1のイメージ
の区域を、上記第2のイメージの区域をシフトしたもの
と相関させるステップを含み、 奥行き情報を解釈する上記ステップが、 上記シフトの各々における上記相関の相関度指標をプロ
ットするステップと、 上記のプロットから相関度指標のピークを定め、上記物
体の各々を上記ピークの1つ1つに対応させるステップ
と、 を含む、複数の物体の数を数える方法。 - 【請求項2】奥行き情報を解釈する上記ステップが、さ
らに、上記奥行き情報から、上記物体以外の物体に対応
する不要な情報を取り除くことを含む、請求項1に記載
の方法。 - 【請求項3】不要な情報を取り除く上記ステップが、 上記物体が存在しない場面に対する参照奥行き情報を記
憶するステップと、 上記参照奥行き情報に対応するピークを上記プロットか
ら削除するステップと、 を有する、請求項2に記載の方法。 - 【請求項4】不要な情報を取り除く上記ステップが、上
記奥行き情報から、上記場面のあらかじめ定められた奥
行きを超える物体に対応する不要な情報を取り除くこと
を含む、請求項2に記載の方法。 - 【請求項5】不要な情報を取り除く上記ステップが、上
記奥行き情報が上記行列の上記の1端と上記のあらかじ
め定められた奥行きとの間の奥行きの範囲に上記物体が
存在していないことを示している場合に、上記の奥行き
情報から、上記場面のあらかじめ定められた奥行きを超
える物体に対応する不要な情報を取り除くことを含む、
請求項2に記載の方法。 - 【請求項6】直線状の行列に並ぶ複数の物体の数を数え
る方法であって、 (A)上記行列の1つの端に近い視点から上記行列を含
む場面を、第1イメージと上記第1イメージからずれた
第2イメージからなるステレオ・イメージとして得るス
テップと、 (B)上記第1イメージの上記第2イメージに対するシ
フトの数を数えるためにシフト・カウンタを初期化する
ステップと、 (C)上記第1イメージのあらかじめ定められた大きさ
の区域と、上記第2イメージの上記のあらかじめ定めら
れた大きさの区域とを相関させて、相関度指標を定める
ステップと、 (D)上記ステップ(C)で決められた相関度指標を上
記第1イメージの上記区域に対する最大指標として記憶
し、上記の初期化されたシフト・カウンタを上記の最大
指標に対応するシフト指標として記憶するステップと、 (E)上記第1イメージを上記第2イメージにたいして
シフトさせるステップと、 (F)上記シフト・カウンタをインクレメントさせるス
テップと、 (G)シフトされた上記第1イメージの上記区域を、上
記第2イメージの上記のあらかじめ定められた大きさの
別の区域に相関させて、相関度指標を定めるステップ
と、 (H)上記ステップ(G)で定められた相関度指標を上
記最大指標と比較し、上記相関度指標が上記最大指標よ
りも大きい相関を示す場合に、上記最大指標を上記相関
度指標で置き換え、且つ、上記の対応するシフト数を上
記のインクレメントされたシフト・カウンタで置き換え
るステップと、 (I)上記ステップ(E)からステップ(H)をあらか
じめ定められたシフトの数だけ繰り返すステップと、 (J)上記ステップ(B)からステップ(I)を上記第
1イメージのあらかじめ定められた異なる区域の数だけ
繰り返すステップと、 (K)それぞれのシフト・カウンタ数にたいして、その
シフト・カウンタ数にたいする最大指標の値を示す相関
度指標をプロットして、奥行き情報のプロットを作成す
るステップと、 (L)上記複数の物体の数を数えるため、上記プロット
の中の相対的なピークを定め、上記物体の各々を上記ピ
ークの1つ1つに対応させるステップと、 を有する方法。 - 【請求項7】上記ステップ(K)が、あらかじめ定めら
れた最小の相関度指標を上記プロットの閾値とすること
を含む、請求項6に記載の方法。 - 【請求項8】上記の物体が人間である、請求項6に記載
の方法。 - 【請求項9】上記ステップ(K)が、上記奥行き情報か
ら、上記場面の人間以外の物体に対応する不要な情報を
取り除くことを含む、請求項6に記載の方法。 - 【請求項10】不要な情報を取り除く上記ステップが、 上記人間が存在しない上記場面の参照奥行き情報を記憶
するステップと、 上記プロットから、上記参照奥行き情報に対応するピー
クを削除するステップと、 を有する、請求項6に記載の方法。 - 【請求項11】不要な情報を取り除く上記ステップが、
上記プロットから、あらかじめ定められた奥行きを超え
た場所の人間に対応するピークを削除することを含む、
請求項6に記載の方法。 - 【請求項12】不要な情報を取り除く上記ステップが、
上記プロットのどのピークも上記行列の上記の1端と上
記のあらかじめ定められた奥行きの間の奥行き範囲に人
間が存在していないことを示す場合に、あらかじめ定め
られた奥行きを超えた場所の人間に対応するピークを削
除することを含む、請求項11に記載の方法。 - 【請求項13】上記視野が上記行列にたいして或る角度
をなし、且つ、人間の平均的な目の高さに位置づけされ
ている、請求項8に記載の方法。 - 【請求項14】直線状の行列に並ぶ複数の物体の数を数
える装置であって、 上記行列の1つの端に近い視点から、上記行列を含む場
面のステレオ・イメージを得る手段と、 上記ステレオ・イメージから、上記視点から見た上記場
面の部分の奥行き情報を得る手段と、 上記複数の物体の数を数えるために上記奥行き情報を解
釈して、一定の奥行き範囲にある上記ステレオ・イメー
ジの上記物体の各々に対応する領域を定める手段と、 を含み、 上記ステレオ・イメージが第1のイメージと第2のイメ
ージからなり、上記第1のイメージの上記物体の各々は
上記第2のイメージの対応する物体に対してシフトして
おり、 奥行き情報を得る上記手段が、上記第1のイメージの区
域を、上記第2のイメージの区域をシフトしたものと相
関させる手段を含み、 奥行き情報を解釈する上記手段が、 上記シフトの各々における上記相関の相関度指標をプロ
ットする手段と、 上記のプロットから相関度指標のピークを定め、上記物
体の各々を上記ピークの1つ1つに対応させる手段と、 を含む、複数の物体の数を数える装置。 - 【請求項15】ステレオ・イメージを得る上記手段が、
上記の1対のイメージの一方の中の上記物体の1つが他
方のイメージにたいしてシフトするように、一定の間隔
をおいた1対のビデオ・カメラを有する、請求項14に
記載の装置。 - 【請求項16】ステレオ・イメージを得る上記手段が、
さらに、上記場面を上記1対のビデオ・カメラによって
同期して走査させる手段を有する、請求項15に記載の
装置。 - 【請求項17】相関をとる上記手段が、上記の1対のイ
メージを比較して上記場面の或る区域の奥行きを推定す
る手段を有する、請求項14に記載の装置。 - 【請求項18】上記プロット手段が、上記奥行き情報の
プロットに閾値をつける手段を有する、請求項17に記
載の装置。 - 【請求項19】上記プロットの上記ピークの数に基づい
て上記物体の数を推定する手段をさらに有する、請求項
14に記載の装置。 - 【請求項20】上記物体の数を推定した数に応じてメッ
セージを出す手段をさらに有する、請求項19に記載の
装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US189561 | 1980-09-23 | ||
US08/189,561 US5581625A (en) | 1994-01-31 | 1994-01-31 | Stereo vision system for counting items in a queue |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH07287763A JPH07287763A (ja) | 1995-10-31 |
JP2763037B2 true JP2763037B2 (ja) | 1998-06-11 |
Family
ID=22697859
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP6341161A Expired - Fee Related JP2763037B2 (ja) | 1994-01-31 | 1994-12-12 | 行列に並ぶ物体の数を数える方法および装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US5581625A (ja) |
JP (1) | JP2763037B2 (ja) |
Families Citing this family (113)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5953055A (en) | 1996-08-08 | 1999-09-14 | Ncr Corporation | System and method for detecting and analyzing a queue |
GB9618110D0 (en) * | 1996-08-30 | 1996-10-09 | Ncr Int Inc | Improved self-service system |
US6188777B1 (en) | 1997-08-01 | 2001-02-13 | Interval Research Corporation | Method and apparatus for personnel detection and tracking |
US6128397A (en) * | 1997-11-21 | 2000-10-03 | Justsystem Pittsburgh Research Center | Method for finding all frontal faces in arbitrarily complex visual scenes |
US6272231B1 (en) | 1998-11-06 | 2001-08-07 | Eyematic Interfaces, Inc. | Wavelet-based facial motion capture for avatar animation |
US6301370B1 (en) | 1998-04-13 | 2001-10-09 | Eyematic Interfaces, Inc. | Face recognition from video images |
WO1999053430A1 (en) * | 1998-04-13 | 1999-10-21 | Eyematic Interfaces, Inc. | Vision architecture to describe features of persons |
JP3970520B2 (ja) | 1998-04-13 | 2007-09-05 | アイマティック・インターフェイシズ・インコーポレイテッド | 人間の姿を与えたものを動画化するためのウェーブレットに基づく顔の動きの捕捉 |
US7050655B2 (en) * | 1998-11-06 | 2006-05-23 | Nevengineering, Inc. | Method for generating an animated three-dimensional video head |
US6714661B2 (en) | 1998-11-06 | 2004-03-30 | Nevengineering, Inc. | Method and system for customizing facial feature tracking using precise landmark finding on a neutral face image |
US7050624B2 (en) * | 1998-12-04 | 2006-05-23 | Nevengineering, Inc. | System and method for feature location and tracking in multiple dimensions including depth |
US6483935B1 (en) * | 1999-10-29 | 2002-11-19 | Cognex Corporation | System and method for counting parts in multiple fields of view using machine vision |
US6297844B1 (en) * | 1999-11-24 | 2001-10-02 | Cognex Corporation | Video safety curtain |
US6701005B1 (en) | 2000-04-29 | 2004-03-02 | Cognex Corporation | Method and apparatus for three-dimensional object segmentation |
NZ508429A (en) * | 2000-11-24 | 2003-05-30 | Compudigm Int Ltd | Queue management using a data visualisation system |
JP4639293B2 (ja) | 2001-02-27 | 2011-02-23 | オプテックス株式会社 | 自動ドアセンサ |
US6917703B1 (en) | 2001-02-28 | 2005-07-12 | Nevengineering, Inc. | Method and apparatus for image analysis of a gabor-wavelet transformed image using a neural network |
US7392287B2 (en) | 2001-03-27 | 2008-06-24 | Hemisphere Ii Investment Lp | Method and apparatus for sharing information using a handheld device |
US6633232B2 (en) * | 2001-05-14 | 2003-10-14 | Koninklijke Philips Electronics N.V. | Method and apparatus for routing persons through one or more destinations based on a least-cost criterion |
US6876364B2 (en) | 2001-08-13 | 2005-04-05 | Vidiator Enterprises Inc. | Method for mapping facial animation values to head mesh positions |
US6853379B2 (en) * | 2001-08-13 | 2005-02-08 | Vidiator Enterprises Inc. | Method for mapping facial animation values to head mesh positions |
US6834115B2 (en) | 2001-08-13 | 2004-12-21 | Nevengineering, Inc. | Method for optimizing off-line facial feature tracking |
US20050008198A1 (en) * | 2001-09-14 | 2005-01-13 | Guo Chun Biao | Apparatus and method for selecting key frames of clear faces through a sequence of images |
CA2359269A1 (en) * | 2001-10-17 | 2003-04-17 | Biodentity Systems Corporation | Face imaging system for recordal and automated identity confirmation |
US7688349B2 (en) * | 2001-12-07 | 2010-03-30 | International Business Machines Corporation | Method of detecting and tracking groups of people |
US9092841B2 (en) | 2004-06-09 | 2015-07-28 | Cognex Technology And Investment Llc | Method and apparatus for visual detection and inspection of objects |
US7545949B2 (en) * | 2004-06-09 | 2009-06-09 | Cognex Technology And Investment Corporation | Method for setting parameters of a vision detector using production line information |
CA2481250C (en) * | 2002-04-08 | 2011-09-27 | Newton Security, Inc. | Tailgating and reverse entry detection, alarm, recording and prevention using machine vision |
JPWO2003092304A1 (ja) * | 2002-04-25 | 2005-09-08 | シャープ株式会社 | 画像データ生成装置、画像データ再生装置、および画像データ記録媒体 |
US7920718B2 (en) * | 2002-09-05 | 2011-04-05 | Cognex Corporation | Multi-zone passageway monitoring system and method |
US7397929B2 (en) * | 2002-09-05 | 2008-07-08 | Cognex Technology And Investment Corporation | Method and apparatus for monitoring a passageway using 3D images |
US7400744B2 (en) * | 2002-09-05 | 2008-07-15 | Cognex Technology And Investment Corporation | Stereo door sensor |
AU2003286778A1 (en) * | 2002-10-30 | 2004-06-07 | Premier Wireless, Inc. | Queuing management and vessel recognition |
ATE454789T1 (de) * | 2002-11-12 | 2010-01-15 | Intellivid Corp | Verfahren und system zur verfolgung und verhaltensüberwachung von mehreren objekten, die sich durch mehrere sichtfelder bewegen |
US7221775B2 (en) * | 2002-11-12 | 2007-05-22 | Intellivid Corporation | Method and apparatus for computerized image background analysis |
DE10253501A1 (de) * | 2002-11-16 | 2004-05-27 | Robert Bosch Gmbh | Bildgeber |
US7286157B2 (en) * | 2003-09-11 | 2007-10-23 | Intellivid Corporation | Computerized method and apparatus for determining field-of-view relationships among multiple image sensors |
US7346187B2 (en) * | 2003-10-10 | 2008-03-18 | Intellivid Corporation | Method of counting objects in a monitored environment and apparatus for the same |
US7280673B2 (en) * | 2003-10-10 | 2007-10-09 | Intellivid Corporation | System and method for searching for changes in surveillance video |
US7623674B2 (en) * | 2003-11-05 | 2009-11-24 | Cognex Technology And Investment Corporation | Method and system for enhanced portal security through stereoscopy |
US8326084B1 (en) | 2003-11-05 | 2012-12-04 | Cognex Technology And Investment Corporation | System and method of auto-exposure control for image acquisition hardware using three dimensional information |
US7171024B2 (en) * | 2003-12-01 | 2007-01-30 | Brickstream Corporation | Systems and methods for determining if objects are in a queue |
KR100519782B1 (ko) * | 2004-03-04 | 2005-10-07 | 삼성전자주식회사 | 스테레오 카메라를 이용한 사람 검출 방법 및 장치 |
JP4402505B2 (ja) * | 2004-04-27 | 2010-01-20 | グローリー株式会社 | 待ち時間案内システムおよび方法 |
US8891852B2 (en) | 2004-06-09 | 2014-11-18 | Cognex Technology And Investment Corporation | Method and apparatus for configuring and testing a machine vision detector |
US8243986B2 (en) * | 2004-06-09 | 2012-08-14 | Cognex Technology And Investment Corporation | Method and apparatus for automatic visual event detection |
US20050276445A1 (en) * | 2004-06-09 | 2005-12-15 | Silver William M | Method and apparatus for automatic visual detection, recording, and retrieval of events |
US8127247B2 (en) * | 2004-06-09 | 2012-02-28 | Cognex Corporation | Human-machine-interface and method for manipulating data in a machine vision system |
US20080312871A1 (en) * | 2004-11-02 | 2008-12-18 | Sensormatic Electronics Corporation | Line Monitoring System and Method |
US20060095317A1 (en) * | 2004-11-03 | 2006-05-04 | Target Brands, Inc. | System and method for monitoring retail store performance |
US7720315B2 (en) | 2004-11-12 | 2010-05-18 | Cognex Technology And Investment Corporation | System and method for displaying and using non-numeric graphic elements to control and monitor a vision system |
US9292187B2 (en) | 2004-11-12 | 2016-03-22 | Cognex Corporation | System, method and graphical user interface for displaying and controlling vision system operating parameters |
US7636449B2 (en) | 2004-11-12 | 2009-12-22 | Cognex Technology And Investment Corporation | System and method for assigning analysis parameters to vision detector using a graphical interface |
JP4122384B2 (ja) * | 2005-01-31 | 2008-07-23 | オプテックス株式会社 | 通行監視装置 |
US7512262B2 (en) * | 2005-02-25 | 2009-03-31 | Microsoft Corporation | Stereo-based image processing |
CA2601477C (en) * | 2005-03-25 | 2015-09-15 | Intellivid Corporation | Intelligent camera selection and object tracking |
US20060291697A1 (en) * | 2005-06-21 | 2006-12-28 | Trw Automotive U.S. Llc | Method and apparatus for detecting the presence of an occupant within a vehicle |
JP4645356B2 (ja) * | 2005-08-16 | 2011-03-09 | ソニー株式会社 | 映像表示方法、映像表示方法のプログラム、映像表示方法のプログラムを記録した記録媒体及び映像表示装置 |
US20070047837A1 (en) * | 2005-08-29 | 2007-03-01 | John Schwab | Method and apparatus for detecting non-people objects in revolving doors |
US9036028B2 (en) | 2005-09-02 | 2015-05-19 | Sensormatic Electronics, LLC | Object tracking and alerts |
ITUD20050152A1 (it) * | 2005-09-23 | 2007-03-24 | Neuricam Spa | Dispositivo elettro-ottico per il conteggio di persone,od altro,basato su visione stereoscopica,e relativo procedimento |
US8111904B2 (en) | 2005-10-07 | 2012-02-07 | Cognex Technology And Investment Corp. | Methods and apparatus for practical 3D vision system |
US20070242870A1 (en) * | 2006-04-18 | 2007-10-18 | Nucor Corporation | System And Method For Automatically Counting Bundled Items |
WO2007124138A2 (en) * | 2006-04-18 | 2007-11-01 | Sorensen Associates Inc | Still image queue analysis system and method |
US7671728B2 (en) | 2006-06-02 | 2010-03-02 | Sensormatic Electronics, LLC | Systems and methods for distributed monitoring of remote sites |
US7825792B2 (en) * | 2006-06-02 | 2010-11-02 | Sensormatic Electronics Llc | Systems and methods for distributed monitoring of remote sites |
GB0616646D0 (en) * | 2006-08-22 | 2006-10-04 | Infrared Integrated Syst Ltd | Queuing system |
DE102006050379A1 (de) * | 2006-10-25 | 2008-05-08 | Norbert Prof. Dr. Link | Verfahren und Vorrichtung zur Überwachung eines Raumvolumens sowie Kalibrierverfahren |
JP5121258B2 (ja) * | 2007-03-06 | 2013-01-16 | 株式会社東芝 | 不審行動検知システム及び方法 |
US8126260B2 (en) * | 2007-05-29 | 2012-02-28 | Cognex Corporation | System and method for locating a three-dimensional object using machine vision |
CN101682750A (zh) * | 2007-06-09 | 2010-03-24 | 传感电子公司 | 用于集成视频分析和数据分析/挖掘的系统和方法 |
US8237099B2 (en) * | 2007-06-15 | 2012-08-07 | Cognex Corporation | Method and system for optoelectronic detection and location of objects |
US8107676B2 (en) * | 2007-07-30 | 2012-01-31 | International Business Machines Corporation | Line length estimation |
US8131010B2 (en) * | 2007-07-30 | 2012-03-06 | International Business Machines Corporation | High density queue estimation and line management |
GB2452504A (en) * | 2007-09-05 | 2009-03-11 | Qm Group Ltd | Customer service system which senses the number of queuing customers |
US8103085B1 (en) | 2007-09-25 | 2012-01-24 | Cognex Corporation | System and method for detecting flaws in objects using machine vision |
US8411963B2 (en) | 2008-08-08 | 2013-04-02 | The Nielsen Company (U.S.), Llc | Methods and apparatus to count persons in a monitored environment |
DE102009028604A1 (de) | 2009-08-18 | 2011-02-24 | Robert Bosch Gmbh | Vorrichtung zur Erkennung einer Objektschlange, Verfahren sowie Computerprogramm |
US8817094B1 (en) | 2010-02-25 | 2014-08-26 | Target Brands, Inc. | Video storage optimization |
US9019367B2 (en) * | 2011-06-10 | 2015-04-28 | Wuerth Elektronik Ics Gmbh & Co. Kg | Method for dynamically detecting the fill level of a container, container therefor, and system for dynamically monitoring the fill level of a plurality of containers |
US9651499B2 (en) | 2011-12-20 | 2017-05-16 | Cognex Corporation | Configurable image trigger for a vision system and method for using the same |
US8761442B2 (en) | 2012-03-29 | 2014-06-24 | The Nielsen Company (Us), Llc | Methods and apparatus to count people in images |
US9092675B2 (en) | 2012-03-29 | 2015-07-28 | The Nielsen Company (Us), Llc | Methods and apparatus to count people in images |
US9275285B2 (en) | 2012-03-29 | 2016-03-01 | The Nielsen Company (Us), Llc | Methods and apparatus to count people in images |
US8660307B2 (en) | 2012-03-29 | 2014-02-25 | The Nielsen Company (Us), Llc | Methods and apparatus to count people in images |
US9317923B2 (en) * | 2012-04-06 | 2016-04-19 | Brigham Young University | Stereo vision apparatus and method |
US9600711B2 (en) | 2012-08-29 | 2017-03-21 | Conduent Business Services, Llc | Method and system for automatically recognizing facial expressions via algorithmic periocular localization |
US10839227B2 (en) | 2012-08-29 | 2020-11-17 | Conduent Business Services, Llc | Queue group leader identification |
US9641763B2 (en) | 2012-08-29 | 2017-05-02 | Conduent Business Services, Llc | System and method for object tracking and timing across multiple camera views |
GB201306313D0 (en) | 2013-04-08 | 2013-05-22 | Vision Semantics Ltd | Queue analysis |
US9213900B2 (en) | 2013-06-06 | 2015-12-15 | Xerox Corporation | Automated vision-based clutter detector and notifier |
US10740738B2 (en) * | 2013-07-29 | 2020-08-11 | Infrared Integrated Systems Ltd. | System and method for counting objects in a queue |
EP3033287A4 (en) | 2013-08-15 | 2017-04-12 | Otis Elevator Company | Sensors for conveyance control |
CN103916641A (zh) * | 2014-04-22 | 2014-07-09 | 浙江宇视科技有限公司 | 一种队列长度计算方法以及装置 |
US9483838B2 (en) | 2014-04-24 | 2016-11-01 | Xerox Corporation | Method and system for automated sequencing of vehicles in side-by-side drive-thru configurations via appearance-based classification |
US9779331B2 (en) | 2014-04-24 | 2017-10-03 | Conduent Business Services, Llc | Method and system for partial occlusion handling in vehicle tracking using deformable parts model |
US9940633B2 (en) | 2014-04-25 | 2018-04-10 | Conduent Business Services, Llc | System and method for video-based detection of drive-arounds in a retail setting |
US9576371B2 (en) | 2014-04-25 | 2017-02-21 | Xerox Corporation | Busyness defection and notification method and system |
US10332050B2 (en) * | 2014-07-10 | 2019-06-25 | Bank Of America Corporation | Identifying personnel-staffing adjustments based on indoor positioning system detection of physical customer presence |
US10108952B2 (en) | 2014-07-10 | 2018-10-23 | Bank Of America Corporation | Customer identification |
US10074130B2 (en) | 2014-07-10 | 2018-09-11 | Bank Of America Corporation | Generating customer alerts based on indoor positioning system detection of physical customer presence |
US10984355B2 (en) | 2015-04-17 | 2021-04-20 | Xerox Corporation | Employee task verification to video system |
JP6701736B2 (ja) | 2016-01-06 | 2020-05-27 | 富士通株式会社 | 情報処理システム、情報処理プログラム、及び情報処理方法 |
GB201607624D0 (en) | 2016-04-30 | 2016-06-15 | Infrared Integrated Syst Ltd | A system, method and apparatus for occupancy detection |
US10769608B2 (en) * | 2016-09-15 | 2020-09-08 | International Business Machines Corporation | Intelligent checkout management system |
US11037067B2 (en) | 2017-07-10 | 2021-06-15 | Infrared Integrated Systems Limited | Apparatus and method for occupancy detection |
US10509969B2 (en) * | 2017-09-12 | 2019-12-17 | Cisco Technology, Inc. | Dynamic person queue analytics |
CA3033030A1 (en) * | 2018-02-08 | 2019-08-08 | Flaschebottle Technologies Inc. | Estimating a number of containers by digital image analysis |
US11080881B2 (en) | 2018-06-22 | 2021-08-03 | Infrared Integrated Systems Limited | Detection and identification systems for humans or objects |
US11107234B2 (en) | 2019-01-11 | 2021-08-31 | Infrared Integrated Systems Limited | Validation systems and methods for human or object detection |
US11830274B2 (en) | 2019-01-11 | 2023-11-28 | Infrared Integrated Systems Limited | Detection and identification systems for humans or objects |
US11120280B2 (en) * | 2019-11-15 | 2021-09-14 | Argo AI, LLC | Geometry-aware instance segmentation in stereo image capture processes |
CN112735019B (zh) * | 2021-01-20 | 2023-07-18 | 联仁健康医疗大数据科技股份有限公司 | 排队导引方法、装置、系统、电子设备以及存储介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5325744A (en) * | 1976-08-23 | 1978-03-09 | Ngk Spark Plug Co Ltd | Low flame extinguishing spark plug |
Family Cites Families (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3811010A (en) * | 1972-08-16 | 1974-05-14 | Us Navy | Intrusion detection apparatus |
DE2833808C3 (de) * | 1978-08-02 | 1982-04-01 | Deutsche Forschungs- und Versuchsanstalt für Luft- und Raumfahrt e.V., 5000 Köln | Stereo-Zeilenabtaster |
US4303851A (en) * | 1979-10-16 | 1981-12-01 | Otis Elevator Company | People and object counting system |
GB8314778D0 (en) * | 1983-05-27 | 1983-07-06 | Pa Management Consult | Adaptive pattern recognition |
US4654872A (en) * | 1983-07-25 | 1987-03-31 | Omron Tateisi Electronics Co. | System for recognizing three-dimensional objects |
US4723159A (en) * | 1983-11-02 | 1988-02-02 | Imsand Donald J | Three dimensional television and video systems |
US4601053A (en) * | 1983-11-21 | 1986-07-15 | Grumman Aerospace Corporation | Automatic TV ranging system |
US4631580A (en) * | 1984-11-09 | 1986-12-23 | John Taube | Video-stereoscopic-image-producing system |
US4939439A (en) * | 1985-09-26 | 1990-07-03 | Unisearch Limited | Robot vision and optical location systems |
US4799243A (en) * | 1987-09-01 | 1989-01-17 | Otis Elevator Company | Directional people counting arrangement |
JPH0193985A (ja) * | 1987-10-05 | 1989-04-12 | Sharp Corp | 立体撮影装置 |
JP2633694B2 (ja) * | 1989-08-25 | 1997-07-23 | フジテック 株式会社 | 人数検出装置 |
US5003166A (en) * | 1989-11-07 | 1991-03-26 | Massachusetts Institute Of Technology | Multidimensional range mapping with pattern projection and cross correlation |
JPH0816650B2 (ja) * | 1990-01-17 | 1996-02-21 | 東京都 | 走行検査装置 |
KR100204101B1 (ko) * | 1990-03-02 | 1999-06-15 | 가나이 쓰도무 | 화상처리장치 |
US5130794A (en) * | 1990-03-29 | 1992-07-14 | Ritchey Kurtis J | Panoramic display system |
JPH0813049B2 (ja) * | 1990-06-20 | 1996-02-07 | 三菱電機株式会社 | 周波数誤差検出装置 |
US5142357A (en) * | 1990-10-11 | 1992-08-25 | Stereographics Corp. | Stereoscopic video camera with image sensors having variable effective position |
US5097328A (en) * | 1990-10-16 | 1992-03-17 | Boyette Robert B | Apparatus and a method for sensing events from a remote location |
JPH04157889A (ja) * | 1990-10-20 | 1992-05-29 | Fujitsu Ltd | 人物撮像位置の自動調整方法 |
US5065236A (en) * | 1990-11-02 | 1991-11-12 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Stereoscopic camera and viewing systems with undistorted depth presentation and reduced or eliminated erroneous acceleration and deceleration perceptions, or with perceptions produced or enhanced for special effects |
US5213105A (en) * | 1990-12-04 | 1993-05-25 | Research Corporation Technologies, Inc. | Frequency domain optical imaging using diffusion of intensity modulated radiation |
GB9027881D0 (en) * | 1990-12-21 | 1991-02-13 | Delta System Design Ltd | Improvements in 3d imaging systems |
US5138638A (en) * | 1991-01-11 | 1992-08-11 | Tytronix Corporation | System for determining the number of shoppers in a retail store and for processing that information to produce data for store management |
JPH0578048A (ja) * | 1991-09-19 | 1993-03-30 | Hitachi Ltd | エレベーターホールの待ち客検出装置 |
-
1994
- 1994-01-31 US US08/189,561 patent/US5581625A/en not_active Expired - Fee Related
- 1994-12-12 JP JP6341161A patent/JP2763037B2/ja not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5325744A (en) * | 1976-08-23 | 1978-03-09 | Ngk Spark Plug Co Ltd | Low flame extinguishing spark plug |
Also Published As
Publication number | Publication date |
---|---|
JPH07287763A (ja) | 1995-10-31 |
US5581625A (en) | 1996-12-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2763037B2 (ja) | 行列に並ぶ物体の数を数える方法および装置 | |
AU2018247216B2 (en) | Systems and methods for liveness analysis | |
KR102049245B1 (ko) | 화상처리 장치, 화상처리 방법, 화상처리 시스템 및 기억매체 | |
CN109690620B (zh) | 三维模型生成装置以及三维模型生成方法 | |
KR101625830B1 (ko) | 깊이 맵을 생성하기 위한 방법 및 디바이스 | |
US20020118861A1 (en) | Head tracking and color video acquisition via near infrared luminance keying | |
WO2014083721A1 (ja) | 情報処理装置および情報処理方法 | |
KR20110098988A (ko) | 정보 표시 장치 및 정보 표시 방법 | |
US20150287215A1 (en) | Image processor and image processing method | |
US6411339B1 (en) | Method of spatio-temporally integrating/managing a plurality of videos and system for embodying the same, and recording medium for recording a program for the method | |
JP2007233523A (ja) | 非同期カメラ映像を用いた人物位置推定方法及びそのシステム | |
JPH07296185A (ja) | 3次元画像表示装置 | |
US20190246048A1 (en) | Image processing apparatus, image processing method, and storage medium | |
JP4367010B2 (ja) | システム、プログラムおよび方法 | |
US20120105444A1 (en) | Display processing apparatus, display processing method, and display processing program | |
JP4193342B2 (ja) | 3次元データ生成装置 | |
JP7163049B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2004062393A (ja) | 注目判定方法及び注目判定装置 | |
JP4853657B2 (ja) | 画像処理装置 | |
JP2006302195A (ja) | 画像処理方法及び画像処理装置 | |
JP2012042804A (ja) | 画像処理装置および方法 | |
JP4709364B2 (ja) | 自由空間におけるワンドの位置を決定する方法および装置 | |
CN111536895B (zh) | 外形识别装置、外形识别系统以及外形识别方法 | |
EP1847958B1 (fr) | Segmentation d'image numérique d'une zone d'observation en temps réel | |
JPH0954894A (ja) | 移動物体監視計測装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
LAPS | Cancellation because of no payment of annual fees |