JPH07287763A - 行列に並ぶ物体を数える方法および装置 - Google Patents

行列に並ぶ物体を数える方法および装置

Info

Publication number
JPH07287763A
JPH07287763A JP6341161A JP34116194A JPH07287763A JP H07287763 A JPH07287763 A JP H07287763A JP 6341161 A JP6341161 A JP 6341161A JP 34116194 A JP34116194 A JP 34116194A JP H07287763 A JPH07287763 A JP H07287763A
Authority
JP
Japan
Prior art keywords
image
depth
objects
area
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP6341161A
Other languages
English (en)
Other versions
JP2763037B2 (ja
Inventor
Jonathan H Connell
ジョナサン・ハドソン・コンネル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of JPH07287763A publication Critical patent/JPH07287763A/ja
Application granted granted Critical
Publication of JP2763037B2 publication Critical patent/JP2763037B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C11/00—Arrangements, systems or apparatus for checking, e.g. the occurrence of a condition, not provided for elsewhere
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C11/00—Arrangements, systems or apparatus for checking, e.g. the occurrence of a condition, not provided for elsewhere
    • G07C2011/04—Arrangements, systems or apparatus for checking, e.g. the occurrence of a condition, not provided for elsewhere related to queuing systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Abstract

(57)【要約】 【目的】 直線状の行列に並ぶ物体を数える方法と装置
を提供する。 【構成】 行列の１つの端に近い視点から、一定の間隔
をおいた２台のビデオ・カメラで行列を含む場面の２つ
のステレオ・イメージを撮る。次に、第１のステレオ・
イメージのあらかじめ定められた大きさの区域と第２の
ステレオ・イメージの同じ大きさの区域を重ね合わせて
相関をとり、両区域がどれだけ良く合っているかを表す
相関指標を得る。次に、両区域を一定のピクセル数だけ
シフトさせ新たな相関指標を得る。上記のステップを所
定の回数だけ繰り返し、最良の相関指標およびそれを得
るのに要したシフトの回数を記録する。次に、シフトの
数と最良のマッチングが得られたシフトの各々における
区域即ちピクセルの数をプロットする。行列の物体はプ
ロットのピークに対応する。プロットのピークを調べて
行列の中の物体の数を判断する。

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は、物体を数える装置、よ
り具体的には、直線状の行列に並ぶ物体を数えることに
関連する。
【０００２】
【従来の技術】行列に並ぶ物体を数える作業は多くの状
況において行われている。例えば、商品を買うかサービ
スを受けるために行列して待っている人を数える場合で
ある。具体的な例として、店舗の支払いカウンターに並
ぶ人の列をモニターし、行列が長くなればもっとカウン
ターを開く場合があげられる。行列を短くすれば、待ち
が短くなり顧客を失うこともなく、万引きを減らす効果
もあろう。
【０００３】行列の長さをモニターすることは、この情
報をより広い用途に用いるとき、いっそう重要になる。
長期的には、行列に関するデータを集めて、繁忙期とそ
うでない時期の統計をとり、カウンターの数や、顧客に
サービスを提供する人の数を効率良くスケジュールする
ために使える。チェイン・ストアや百貨店では、この情
報から、いつも行列が長い所はサービスが悪いのではな
いか、それはどこの店舗／売場かがわかる場合もあろ
う。さらにこの情報とキャッシュ・レジスタのレシート
と組み合わせて、行列の平均人数が何人かを判断するの
にも使える。行列に或る一定の人数が並んだら、もっと
カウンターを開くようにすることもできる。
【０００４】過去、行列に並んで待っている人を数えて
モニターすることはさまざまな方法で行われてきたが、
どれも能率の良いものではなかった。そのようなモニタ
ーは、従業員によって視覚的に行われることが多い。し
かし、この方法では、従業員が重要な仕事をする妨げに
なるし、顧客や行列の数が増えるにしたがい、その管理
は困難になる一方である。行列をモニターするもう１つ
の方法は電子的に行う方法である。たとえば、圧力に敏
感なマットを使い、作動する面積をいくつか定め、その
上に十分な重量が載っている面積の数を数える。しか
し、人数を正確に数えるには、各人がその面積の上に正
確に載らねばならず、また、マットは時間の経過にした
がい磨耗する。もう１つの電子的な方法は、ブレーク・
ビーム型のセンサを使い、人々が行列に入りそして出る
とき、光束が切れるのをモニターする方法である。入っ
た人数と出た人数の差が現在行列している人数と数え
る。しかし、２人の人がくっついて出入りすれば１人と
数える可能性があるので、物理的に行列を区切る必要が
ある。また、子供がビームのそばで動くと、ビームが繰
り返し反応してしまう。
【０００５】
【発明が解決しようとする課題】本発明の目的は、行列
に並ぶ人あるいは物体の数をモニターできる、能率のよ
い融通性のある装置を提供することである。
【０００６】
【課題を解決するための手段】本発明は、行列に並ぶ物
体を含む場面のステレオ・イメージを調べ物体の数を判
断する、能率のよい融通性のある方法と装置を提供す
る。
【０００７】本発明の第１の側面として、実質的に直線
状の行列の複数の物体を数える方法を提供する。先ず、
行列の１つの端に近い視野から、行列を含む場面のステ
レオ・イメージが撮られる。次に、ステレオ・イメージ
から、場面内の部分の、上記視野から見た奥行き情報を
得る。次に、奥行情報を解釈して、一定の奥行きの範囲
に対応するステレオ・イメージの領域を決定し、複数の
物体の各々が、上記の決定された、１つの特定の領域に
対応するようにする。
【０００８】ステレオ・イメージを構成する第１のイメ
ージと第２のイメージにおいて、場面内の物体の各々が
ずれているので、奥行情報を得るステップは、第１と第
２のイメージのいくつかの区域を相関させることにより
行うことができる。次に、相関が得られた区域にたいし
て奥行きの度数をプロットし、そのプロットからピーク
を判断する。行列の中の物体の各々が、上記のピークの
１つ１つに対応する。
【０００９】第１のイメージのあらかじめ定められた大
きさの１つの区域と第２のイメージの同じ大きさの区域
の相関は、先ず、第１と第２のイメージを重ね合わせる
ことによって得ることができる。次に、第１のイメージ
の区域が第２のイメージの同じ区域にどれだけよく合っ
ている（以下マッチあるいはマッチングという場合あ
り）かを表す相関指標が得られる。次に、第１および第
２のイメージを互いにずらし（以下シフト）、第２イメ
ージの同じ大きさだが異なる区域にたいする新たな相関
指標を得る。上記のシフトと相関指標を得るステップを
あらかじめ定められた回数繰り返し、最良の相関指標、
およびそれを得るのに要したシフトの数を記録する。次
に、シフトの数と、最良のマッチングが得られたシフト
の各々における区域の数をプロットする。行列の物体の
各々は、プロットのピークに対応する。したがって、プ
ロットのピークを調べて、行列の物体の数を判断するこ
とができる。
【００１０】本発明の第２の側面として、実質的に直線
状の行列の複数の物体を数える装置を提供する。この装
置は、行列を含む場面の１対のイメージからなるステレ
オ・イメージを得るための手段と、イメージの区域を相
関させて、上記のステレオ・イメージを得る手段から見
た場面の奥行きを得る手段と、相関のとれた区域の奥行
き度数情報を得て、複数の物体が数えられるようにする
手段とを有する。
【００１１】
【実施例】図１は、本発明で使用する、支払いカウンタ
ー１２に取り付けたステレオ・ビデオ・カメラ１１を上
から見た図１０である。左のビデオ・カメラ１４と右の
ビデオ・カメラ１６が、間隔１８によって離され平行に
置かれ、ステレオ・ビデオ・カメラ１１を構成する。ス
テレオ・ビデオ・カメラ１１は支払いカウンタ２０の上
部に置かれ、行列１２に並ぶ人々２２、２４、および２
６に向けられており、具体的には、目のレベルより少し
上、且つ、行列の中央から一方の側に向けるのが望まし
い。装置をこのように設置することにより、行列１２に
並ぶ人々の数を、カウンタ２０の下にある破線で示すプ
ロセサ２８により求めることができる。
【００１２】以下に、本発明により、行列１２の人数を
求めるプロセスの概要を説明する。もっとも単純に表現
すれば、２台のカメラ１４と１６により、行列１２の人
々２２、２４、および２６を含む場面の２つのイメージ
が作成される。２つのイメージの中の物体は、２台のカ
メラの間の間隔に依存する或る度合いで、互いにその位
置がずれている。カメラ１４と１６から遠くに離れてい
る物体は、より近くの物体よりもその位置のずれが小さ
い。２つのイメージが重ね合わされて比較され、たとえ
ば、下側のイメージのあらかじめ定められた大きさの区
域が、上側のイメージの同じ大きさの区域に合うかが判
断される。次に、２つのイメージは、たとえば１ピクセ
ルだけ互いにシフトされ、上記の同じ区域が再び比較さ
れる。このプロセスは、シフトの大きさを増やしなが
ら、あらかじめ定められた回数繰り返される。次に、別
の区域を使って、比較のプロセスが続けられる。比較が
行われた各区域に対し、最も良く合った度合い（以下ベ
スト・マッチともいう）と、ベスト・マッチを得るのに
要したシフトの回数が記録される。この情報から、シフ
トの回数と、各シフトにおいてベスト・マッチが得られ
たときの区域（またはピクセル）の数をプロットするこ
とにより、奥行きグラフが作られる。行列１２に並んで
いる人がいない場合の参照奥行きグラフが作成されれ
ば、行列１２に人がいる場合のグラフを上記の参照グラ
フと比較することにより、静止している物体や背景を削
除して、それらが人と解釈されないようにすることがで
きる。参照奥行グラフの中にあるピークを削除すること
により、作成された奥行きグラフのピークを数えること
ができる。各ピークが１人に対応する。
【００１３】次に、上記のプロセスを、支払いカウンタ
に行列している人を例にして具体的に述べる。２台のカ
メラの間の間隔は、カメラの視野（２つのカメラは同一
のものと想定する）、行列で一番遠いと予想される人ま
での距離、行列の中の人と人との間の間隔、および、１
つのイメージの１行のピクセル数に依存する。具体的に
は、２台のカメラの間の最適の間隔は、以下の数式を使
用して求めることができる。
【００１４】
【数８】s = (F * d * (d - δ)) / (p * δ) 以上の式において、Ｆはラジアンで表した各カメラの視
野（たとえば、１５度すなわち０.２６ラジアンの視野
角を持ち、カメラの先端から６１０ｃｍ（２０フィー
ト）離れた幅１５２ｃｍ（５フィート）の物体をとらえ
ることのできる視野）、ｄは１つのカメラから行列の中
の一番遠いと予想される人までのもっとも短い直線距
離、δは行列の中の人と人との間の予想される間隔、ｐ
はイメージの１行のピクセル数をあらわす。たとえば、
最大距離を６１０ｃｍ（２０フィート）、人と人との間
の距離を６０ｃｍ（２フィート）、視野角を０．２６ラ
ジアン、１行のピクセル数１１０とした場合、２台のカ
メラの間の間隔は約１２.７ｃｍ（５インチ）として求
められる。
【００１５】ステレオ・イメージを構成する１対のイメ
ージが得られたらば、両者を比較して奥行きデータを求
め、奥行きグラフを作成し、グラフにプロットされたピ
ークを調べて行列にいま何人並んでいるかを判断するこ
とができる。ここで使用しているステレオ・イメージと
いう言葉は、或る場面の同じ対象領域（この実施例では
１つの行列）の、互いにずれている複数のイメージから
なるものをいう。本実施例では、２つのイメージが互い
に水平方向にずれている。奥行きグラフはそのような行
列の物体を数えるのに理想的である。その理由は、カメ
ラが偶然動いても、カメラから見た対象物の奥行きは影
響されず、新たな参照グラフが必要になるだけであるか
らである。１つのイメージの中のｘ、ｙ座標に中心を置
くｈ ×ｖの大きさの１つのピクセル区域が選択され
て、他方のイメージの同じ大きさの区域と比較される。
最適な結果を得るためには、１つの区域に基調の度合い
の大きなもの、すなわち、色度あるいは明るさの段階の
あるものがよい。区域それぞれを比較するために、いわ
ゆる正規相関とよばれる以下の数式を使用してマッチン
グ点数が計算される。
【数９】
【数１０】
【数１１】
【数１２】
【数１３】 上記のマッチング点数を求める数式は、２つのイメージ
の間の全体的な明暗度の微妙な変化には敏感ではないの
で、たとえば、物体の角のような形状を抜粋したりマッ
チングする必要はない。
【００１６】上記の式１０は、ｘ、ｙ座標軸（ｘｙピク
セル座標の原点はイメージの左上の角にある）を中心と
して置かれたｈ × ｖの大きさのピクセル区域の中の明
度値（典型的には０から２５５の値の範囲）の標準偏差
を求めるものである。式１１は、上記のｈ × ｖの大き
さの区域の平均明度を求めるものである。式１１の加法
記号の右項は、座標ｘ＋ｄｘ、ｙ＋ｄｙにおける明度値
を表す。式１２は、上記区域のピクセル明度の平方を求
めるための平均明度値を得る式である。最後の式１３
は、或る区域の左側のイメージのピクセルの明度に、対
応する右側のイメージのピクセルの明度を乗ずることに
より得られる、１つの区域の平均明度を得るものであ
る。式１３の加法記号の右側の第１および第２の項は、
それぞれ座標ｘ＋ｄｘ、ｙ＋ｄｙにおける左側イメージ
および右側イメージのピクセル明度を表す。
【００１７】選択された区域に対し、先ずそのイメージ
が並べられ、マッチング点数が計算され、計算結果が記
憶される。次に、イメージが、たとえば１ピクセルだけ
水平方向にシフトされて、再びマッチング点数が計算さ
れる。新たなマッチング点数が前に計算されたマッチン
グ点数と比較され、新たなマッチング点数の方が高い
（すなわち相関がより高い）場合、新たなマッチング点
数で置き換えられる。１つの区域に対して上記のシフ
ト、マッチング点数計算、マッチング点数の比較を、シ
フトを増やしてあらかじめ定められた数（たとえば２０
シフト）だけ繰り返し、最良のマッチングを得る。次
に、別の区域を選択し、上記のマッチングのプロセスを
繰り返し、マッチングするべき全ての区域を完了するま
で続ける。
【００１８】図２（ａ）および図２（ｂ）は、或る小売
り店舗の支払いカウンタ（図示せず）での１つの行列
を、それぞれカメラ１４および１６で撮ったビデオ・イ
メージである。図２（ａ）の３人の各人が図２（ｂ）の
それぞれに比べてある度合いでシフトしていることに留
意されたい。このシフトはカメラ１４と１６をある間隔
で離すことにより得られる。
【００１９】図２（ｃ）は、マッチング点数とシフトの
情報から作成した、図２（ａ）と図２（ｂ）の場面の疑
似イメージである。明るい色調はカメラに近い物体（比
較的より多くのシフト回数の後得られた最良のマッチン
グ点数）に対応し、暗い色調はカメラから遠い物体（比
較的少ないシフト回数で得られた最良のマッチング点
数）に対応する。図２（ｃ）のイメージは、図２（ａ）
および図２（ｂ）の場面の中にある主な物体の粗い輪郭
を表している。粗いとはいえ、図２（ｃ）に示した疑似
イメージは、その中にある比較的大きな物体（この場合
人物）の輪郭を描くには十分な明晰さはある。
【００２０】図２（ｄ）は図２（ａ）および図２（ｂ）
の場面のもう１つの疑似イメージで、ピクセル区域それ
ぞれの最も高いマッチング点数から作成したものであ
る。或る区域のベスト・マッチング点数が高いほどその
区域の色調は明るくなり、マッチング点数が低ければ色
調は暗くなる。図２（ｄ）の大部分は明るい色調である
ので、この領域の奥行きの推定が正確に行われたことを
示している。図２（ａ）の前景の最も近くの頭部の左に
ある白い物体は、図２（ｂ）の同じ頭部で遮られている
ので、図２（ｄ）ではこの部分が判読できずに黒くなっ
ている。
【００２１】図２（ｅ）は、図２（ｃ）で視覚的に示し
た全ての有効な奥行き示度を表すグラフ３０である。本
実施例では、マッチング点数が０.８以上であれば有効
と考えた。しかし、有効なマッチング点数は、状況によ
って異なると理解されたい。グラフ３０は、ｘ軸３２に
シフト数を、ｙ軸にピクセル数をプロットしたもので、
これにより、或るシフト回数のときに最も高いマッチン
グ点数を示したときのピクセル数がわかる。グラフ３０
の左側のピーク３６は、参照奥行きグラフ（図示せず）
を参照して確かめた結果、行列に人がいない背景に対応
している。ピーク３８は、カメラから見て、行列の中で
最も遠い人を表し、ピーク４０は真ん中の人、ピーク４
２は最も近い人を表している。或るピークを間違って人
と解釈して数えないようにするために、参照奥行きグラ
フを参照して見つかった或る部分は、グラフ３０から削
除することができる。
【００２２】図２（ｆ）から図２（ｉ）は、図２（ｃ）
の奥行きマップを、図２（ａ）および図２（ｂ）の場面
と相関させたものである。ここに提示した図２（ｆ）か
ら図２（ｉ）は例証の目的で示したが、本発明では必ず
しも作成しなくてもよいものである。図２（ｆ）はカメ
ラから１０４ないし１１３ｃｍ（３.４ないし３.７フィ
ート）の距離で撮られた部分である。図２（ｇ）は、１
８３ないし２１０ｃｍ（６.０ないし６.９フィート）の
距離で撮られた部分である。図２（ｈ）は、２１６ない
し２４１ｃｍ（７.１ないし７.９フィート）の距離で撮
られた部分である。最後に、図２（ｉ）は背景を表し、
３３５ないし８５３ｃｍ（１１ないし２８フィート）の
距離で撮られた場面である。本実施例のように、或る間
隔をおいた２台のカメラで撮られた２つのイメージの上
では、より近い物体は遠くの物体よりもより大きくずれ
るから、グラフ３０のピークは場面の物体に相関づける
ことができる。
【００２３】奥行きグラフ３０は、図２（ｃ）に示した
奥行きマップよりも、具体化としてより望ましい。その
理由は、たとえば、偶然にカメラに何かをぶつけてカメ
ラの角度が少し変わったときに、写る場面が少し変わっ
ても、前の場面と新たな場面に写っている物体の奥行き
はカメラの位置から見て本質的に変わらないので、奥行
きグラフ３０よりも奥行きマップ（図２（ｃ））の変化
の方が大きいからである。
【００２４】一般的に、上に述べた奥行きグラフによっ
てピークを検出する方法は、グラフ上のピークとピーク
との間がゼロにならない場合があることを考えると、面
倒な方法である場合がある。この問題は、イメージの最
小の大きさの区域で各シフトごとに得られるベスト・マ
ッチに対応する、ゼロでない或る値を閾値として設ける
ことによってある程度解決できる。ある大きさの物体
を、シフトするたびに必ずマッチングがとれることを確
実にする必要がある場合には、或る１つの区域に対し、
その物体の２つのイメージの間のずれの度合いに依存し
て閾値を変えて使用してもよい。
【００２５】さらに、ピーク検出に影響する考慮すべき
いくつかの点について述べる。カメラの高さを人間の目
の平均的な高さに置くことにより、行列で人と人が互い
にくっついて立っていることによるグラフ上の近接しす
ぎるピークを、誤って解釈することを減らすことができ
る。また、人は、一般的には、前面から背面まで９０ｃ
ｍ（３フィート）以上になることはないから、奥行きが
９０ｃｍ以上の対象物に対応するやや矩形状のピーク
を、複数の人間を表すとしてもよい。また、ピークの勾
配を調べて、あるピークが１人を表すのか２人を表すの
かを判断できる。ピクセル数が下がってきて突然急に上
昇する場合、ピークは１つでなく２つ存在する場合が多
い。勾配をこのように調べることは、たとえば、ピーク
３８と４０のように、上述のゼロでない閾値の方法を採
らない場合、とくに必要になる。
【００２６】現実には、支払いカウンタの近くで人が動
き回っていることが多く、この人たちは行列に並んでい
ないのに行列に並んでいると解釈されることがある。た
とえば、行列に並んでいる人のすぐ後ろの場所に人が立
っていることがある。この場合、奥行きグラフでは、行
列の最後の人に対応するピークと、行列の最後の人の後
ろにやや距離をおいて立っている人に対応するピークと
の間には大きなギャップとしてあらわれる。したがっ
て、上記のような、奥行きグラフ上の大きなギャップの
左にあるピークは無視すべきである。もう１つの例とし
て、通常行列の始まりと考えている場所に誰も立ってい
ない場合には、グラフ上のどんなピークも行列に並んで
いる人と考えるべきではない。上記の２つのステップ
は、奥行きグラフの結果を解釈する人によって行うか、
コンピュータ・プログラムを使って奥行きグラフから不
要なデータを取り除いてもよい。
【００２７】図３に、本発明のステレオ・ビジョン装置
４４を構成する要素をブロック図で示す。装置４４に
は、平行に置かれたビデオ・カメラ４６と４８、カメラ
同期装置５０、コンピュータ５２、モニタ５４、およ
び、警報装置５６がある。装置４４は単独でも作動でき
るし、ホスト・コンピュータや通信網に接続してもよ
い。
【００２８】ここでは説明のために、カメラ４６と４８
から１５０ｃｍ（５フィート）離れた場所から、人と人
との間が６０ｃｍ（２フィート）で並ぶ行列を、５人ま
で数えるという想定で、本装置を説明する。カメラ４６
と４８は床面から１８０ｃｍ（６フィート）の高さに置
かれ、カメラとカメラの間の間隔は約７.６ｃｍ（３イ
ンチ）、行列の中央からは約４６ｃｍ（１８インチ）ず
れて置かれている。カメラは、はじめに、その位置を手
で調整して、遠景にある物体が２台のカメラによる２つ
のイメージの間でそのずれがほとんどないようにする。
背景の位置調整は、ｘおよびｙ方向すなわち横方向と上
下方向に少数のオフセットを求めてベスト・マッチを見
つけるプログラムによって微調整してもよい。それぞれ
のカメラは、たとえば３０度（約０.５２ラジアン）の
視野を持つ。１つのカメラからは偶数のピクセル・ライ
ンを使い、他方のカメラからは奇数のピクセル・ライン
を使う。カメラ同期装置５０が、カメラ４６と４８が互
いに同期して走査できるように制御する。これにより、
２台のカメラの走査の始まりと終了を確実に同期させる
ことができる。この種の同期は、たとえば公知のゲンロ
ック装置でとることができる。カメラ同期装置５０は、
また、２台のカメラによって撮られた２つの半分づつの
イメージを１つのイメージに再構成する。これは、２つ
のイメージを、たとえばマルチプレクシングすることに
より行える。
【００２９】上記のようにして合わせられたステレオの
ビデオ信号はコンピュータ５２に送られ、コンピュータ
５２はビデオ信号をディジタル化し、左のイメージと右
のイメージに分離し、それぞれから副標本をとって、１
００×６５ピクセル（水平方向に１００ピクセル、上下
方向に６５ピクセル）の圧縮された２つのイメージを作
成する。圧縮前のイメージは５１２×５１２ピクセル
（それぞれ半分のイメージは水平方向に５１２ピクセ
ル、上下方向に２５６ピクセル）である。圧縮は水平方
向および上下方向にたとえば５番目ごと（すなわち５つ
に１つ）のピクセルを抜き取って作成する。輪郭はぼや
けるが、しかし十分に使えるイメージが得られる。区域
のマッチングをとるプロセスは、高い解像度のイメージ
を使うと、現在の処理能力では長い時間（約４分）かか
る可能性がある。しかし、正確な結果を得るために１個
１個のピクセルを調べる必要はない（本実施例では実際
に約９０％の正確さを得ることができた）。より多くの
ピクセルを調べると、遠くの物体のイメージの明晰度が
上がるので、正確さが増すよりも、より長い行列を数え
ることができるようになる。
【００３０】上述の実施例では、２つのイメージが合わ
せられ、コンピュータ５２に送られて、そこで再び分け
られるが、２つのイメージを２つの線を使ってコンピュ
ータ５２に送ることもできる。上記のように、合わせた
り分けたりした理由は２つあり、第１には、１本のケー
ブルの使用でも可能にしたこと、第２には、イメージを
合わせれば、ビデオテープにとって後で見ることができ
るからである。
【００３１】圧縮された２つのイメージを使って、コン
ピュータ５２は、９×９ピクセル区域全部に対し、それ
ぞれの区域につき２０回シフトを行いマッチング点数を
計算する。次に、コンピュータ５２は、不要なデータを
取り除く上述のプロセスを行う。現在使用可能なテクノ
ロジーを使えば、行列の人数計算は１分に４回行える。
カウンタでの支払いが平均的にどの位の時間（たとえば
１分）かかるかによって、或る回にエラーが起こって
も、数回の計算結果を平均して正確度を上げることがで
きる。
【００３２】オプションとして、装置４４に警報装置５
６をつけ、行列の人数が所定の人数を超えたことを知ら
せるようにし、警報に応えて適切なアクションをとらせ
るようにすることもできる。警報装置５６は、たとえば
警報ランプを点灯させるだけの簡単なものでもよいし、
モニタ５４にメッセージを出すようにすることもでき
る。
【００３３】本実施例は、短い行列を数えるように最適
化されているが、２０人までの長い行列も、圧縮イメー
ジ（すなわち低解像度イメージ）と高解像度イメージを
組み合わせて、適度な時間内に数えることができる。遠
い物体に対しては、先ず低解像度のイメージを使ってベ
スト・マッチが得られるシフトの数を求める。このやり
方により、高解像度でベスト・マッチを得る視野を狭め
ることができる。たとえば、高解像度イメージに比べて
縦および横に半分の解像度のイメージ（すなわち全体の
ピクセルの数は４分の１になる）を考えてみた場合、低
解像度での或る区域のベスト・マッチが第３と第４のシ
フトの間で得られた場合、同じ区域の高解像度でのベス
ト・マッチは第６と第８のシフトの間で得られる可能性
が高い。
【００３４】本発明は、行列の人数を数える目的だけに
限定されるものではなく、たとえば、料金ゲートに並ぶ
車輌の列を数えるのにも使用できる。この場合の唯一の
違いは、人と人との間隔は６０ｃｍであったが、車輌と
車輌の間の間隔（たとえば６ｍ）に対処するために、２
台のカメラの間の間隔をひろげることだけである。
【００３５】まとめとして、本発明の構成に関して以下
の事項を開示する。 （１）直線状の行列に並ぶ複数の物体を数える方法であ
って、上記行列の１つの端に近い視点から、上記行列を
含む場面のステレオ・イメージを得るステップと、上記
ステレオ・イメージから、上記視点から見た上記場面の
部分の奥行き情報を得るステップと、上記奥行き情報を
解釈して、一定の奥行き範囲に対応する上記ステレオ・
イメージの領域を定め、上記物体の各々を特定の領域に
対応させるステップと、を有する方法。 （２）上記ステレオ・イメージが第１のイメージと第２
のイメージからなり、上記第１のイメージの上記物体の
各々を上記第２のイメージにたいしてシフトさせ、奥行
き情報を得る上記のステップが、上記第１のイメージの
区域を上記第２のイメージの区域と相関させることから
なる、上記（１）に記載の方法。 （３）奥行き情報を解釈する上記ステップが、相関され
た上記の区域の奥行き度数をプロットするステップと、
上記のプロットからピークを定め、上記物体の各々を上
記ピークの１つ１つに対応させるステップと、を有す
る、上記（２）に記載の方法。 （４）奥行き情報を解釈する上記ステップが、さらに、
上記プロットに閾値をつけることを含む、上記（３）に
記載の方法。 （５）奥行き情報を解釈する上記ステップが、さらに、
矩形状のピークが複数の上記物体を表すものと解釈する
ことを含む、上記（３）に記載の方法。 （６）奥行き情報を解釈する上記ステップが、さらに、
上記奥行き情報から、上記物体以外の物体にあたる不要
な情報を取り除くことを含む、上記（３）に記載の方
法。 （７）不要な情報を取り除く上記ステップが、上記物体
が存在しない場面にあたる参照奥行き情報を記憶するス
テップと、上記参照奥行き情報に対応するピークを削除
するステップと、を有する、上記（６）に記載の方法。 （８）不要な情報を取り除く上記ステップが、上記奥行
き情報から、上記場面のあらかじめ定められた奥行きを
超える物体に対応する不要な情報を取り除くことを含
む、上記（６）に記載の方法。 （９）不要な情報を取り除く上記ステップが、上記奥行
き情報が上記行列の上記の１端と上記のあらかじめ定め
られた奥行きとの間の奥行きの範囲に上記物体が存在し
ていないことを示している場合に、上記の奥行き情報か
ら、上記場面のあらかじめ定められた奥行きを超える物
体に対応する不要な情報を取り除くことを含む、上記
（８）に記載の方法。 （１０）相関をとる上記のステップが、上記第１のイメ
ージを上記第２のイメージに複数回シフトさせて、上記
第１のイメージのあらかじめ定められた大きさの第１区
域と、上記第２のイメージの上記の同じ大きさの第２区
域とを相関させることを含む、上記（２）に記載の方
法。 （１１）相関をとる上記のステップが、上記第１区域の
上記第２区域にたいする相関指標を得るために、上記第
１イメージと上記第２イメージとを重ね合わせるステッ
プと、上記第１イメージを上記第２イメージにたいして
シフトするステップと、上記第１区域の、上記第２イメ
ージの上記のあらかじめ定められた大きさの区域にたい
する相関指標を得るステップと、イメージをシフトし相
関を得る上記のステップを、あらかじめ定められたシフ
ト回数だけ繰り返すステップと、を有する、上記（１
０）に記載の方法。 （１２）上記相関指標が正規相関を通して得られる、上
記（１１）に記載の方法。 （１３）ステレオ・イメージを得る上記ステップが、１
対のビデオ・カメラから上記ステレオ・イメージを得る
ことよりなり、該ステレオ・イメージが第１のイメージ
および第２のイメージからなる、上記（１）に記載の方
法。 （１４）上記の１対のビデオ・カメラが相互に離され、
上記第１のイメージの上記物体の各々が上記第２のイメ
ージに対してずれて見えるようにした、上記（１３）に
記載の方法。 （１５）上記の１対のビデオ・カメラが平行に置かれ、
上記のずれが水平方向になるようにした、上記（１４）
に記載の方法。 （１６）上記のイメージの各々が、行および列に配列さ
れたピクセルからなり、上記の２台のカメラの間の間隔
が、上記行列のあらかじめ定められた最大の長さ、上記
物体それぞれの間の間隔、上記１対のビデオ・カメラの
各々から見た共通の視野、および、上記ステレオ・イメ
ージの１行のピクセル数の関数である、上記（１５）に
記載の方法。 （１７）上記２台のカメラの間隔が以下の数式で表され
る、上記（１６）に記載の方法。
【数１４】s = (F * d * (d - δ)) / (p * δ) ここで、 s = ２台のカメラの間の間隔 d = あらかじめ定められた行列の最大の長さ δ= 物体間の間隔 p = １行のピクセル数 を表す。 （１８）直線状の行列に並ぶ複数の物体を数える方法で
あって、（Ａ）上記行列の１つの端に近い視点から上記
行列を含む場面を、第１イメージと上記第１イメージか
らずれた第２イメージからなるステレオ・イメージとし
て得るステップと、（Ｂ）上記第１イメージの上記第２
イメージにたいするシフトの数を数えるためにシフト・
カウンタを初期化するステップと、（Ｃ）上記第１イメ
ージのあらかじめ定められた大きさの区域と、上記第２
イメージの上記のあらかじめ定められた大きさの区域と
を相関させて、相関指標を定めるステップと、（Ｄ）上
記ステップ（Ｃ）で決められた相関指標を上記第１イメ
ージの上記区域に対する最大指標として記憶し、上記の
初期化されたシフト・カウンタを上記の最大指標に対応
するシフト指標として記憶するステップと、（Ｅ）上記
第１イメージを上記第２イメージにたいしてシフトさせ
るステップと、（Ｆ）上記シフト・カウンタをインクレ
メントさせるステップと、（Ｇ）上記第１イメージの上
記区域を、上記第２イメージの上記のあらかじめ定めら
れた大きさの別の区域に相関させて、相関指標を定める
ステップと、（Ｈ）上記ステップ（Ｇ）で定められた相
関指標を上記最大指標と比較し、上記相関指標が上記最
大指標よりも大きい相関を示す場合に、上記最大指標を
上記相関指標で置き換え、且つ、上記の対応するシフト
数を上記のインクレメントされたシフト・カウンタで置
き換えるステップと、（Ｉ）上記ステップ（Ｅ）からス
テップ（Ｈ）をあらかじめ定められたシフトの数だけ繰
り返すステップと、（Ｊ）上記ステップ（Ｂ）からステ
ップ（Ｉ）を上記第１イメージのあらかじめ定められた
異なる区域の数だけ繰り返すステップと、（Ｋ）それぞ
れのシフト・カウンタ数にたいして、そのシフト・カウ
ンタ数にたいする最大指標の数を示すマッチング指標を
プロットして、奥行き度数情報のプロットを作成するス
テップと、（Ｌ）上記プロットの中の相対的なピークを
定め、上記物体の各々を上記ピークの１つ１つに対応さ
せるステップと、を有する方法。 （１９）上記ステップ（Ｋ）が、あらかじめ定められた
最小のマッチング指標を上記プロットの閾値とすること
を含む、上記（１８）に記載の方法。 （２０）上記の物体が人間である、上記（１８）に記載
の方法。 （２１）上記ステップ（Ｌ）が、矩形状のピークは複数
の人間に対応するものと判断することを含む、上記（２
０）に記載の方法。 （２２）上記ステップ（Ｋ）が、上記奥行き度数情報か
ら、上記場面の人間以外の物体に対応する不要な情報を
取り除くことを含む、上記（２０）に記載の方法。 （２３）不要な情報を取り除く上記ステップが、上記人
間が存在しない上記場面の参照奥行き度数情報を記憶す
るステップと、上記プロットから、上記参照奥行き度数
情報に対応するピークを削除するステップと、を有す
る、上記（２２）に記載の方法。 （２４）不要な情報を取り除く上記ステップが、上記プ
ロットから、あらかじめ定められた奥行きを超えた場所
の人間に対応するピークを削除することを含む、上記
（２２）に記載の方法。 （２５）不要な情報を取り除く上記ステップが、上記プ
ロットのどのピークも上記行列の上記の１端と上記のあ
らかじめ定められた奥行きの間の奥行き範囲に人間が存
在していないことを示す場合に、あらかじめ定められた
奥行きを超えた場所の人間に対応するピークを削除する
ことを含む、上記（２４）に記載の方法。 （２６）上記視野が上記行列にたいして或る角度をな
し、且つ、人間の平均的な目の高さに位置づけされてい
る、上記（２０）に記載の方法。 （２７）上記ステップ（Ａ）が、第１のビデオ・カメラ
から上記第１イメージを撮り、上記第１ビデオ・カメラ
から一定の間隔で平行に置かれた第２のビデオ・カメラ
から上記第２イメージを撮る、上記（１８）に記載の方
法。 （２８）上記のイメージの各々が、行と列に配列された
ピクセルからなり、カメラの間の上記間隔が、上記行列
のあらかじめ定められた最大の長さ、上記物体のそれぞ
れの間の予期される間隔、上記１対のビデオ・カメラの
各々から見た共通の視野、および、上記ステレオ・イメ
ージの１行のピクセル数の関数である、上記（２７）に
記載の方法。 （２９）上記２台のカメラの上記間隔が下記の数式によ
り得られる、上記（２８）に記載の方法。
【数１５】s = (F * d * (d - δ)) / (p * δ) ここで、 s = ２台のカメラの間の間隔 d = あらかじめ定められた行列の最大の長さ δ= 物体間の間隔 p = １行のピクセル数 を表す。 （３０）上記イメージの各々が、行と列に配列された複
数のピクセルからなり、各ピクセルは明度値を持ち、且
つ、上記相関指標が、上記区域の各々の平均明度、上記
区域の各々の明度の標準偏差、および、上記のあらかじ
め定められた大きさの理論的区域の平均明度の関数であ
り、上記理論的区域の各ピクセルが上記各区域の対応す
るピクセルの明度を乗じて得られた値に等しい明度を持
つ、上記（１８）に記載の方法。 （３１）上記の各ピクセルがｘ座標とｙ座標を持ち、上
記各区域は座標ｘ、ｙを持つ１つのピクセルに中心を置
くｈ × ｖピクセル区域からなり、上記相関指標が下記
の数式から得られる点数である、上記（３０）に記載の
方法。
【数１６】 上記において：
【数１７】
【数１８】
【数１９】
【数２０】 を表す。 （３２）直線状の行列に並ぶ複数の物体を数える装置で
あって、上記行列を含む場面の１対のイメージからなる
ステレオ・イメージを得る手段と、上記の１対のイメー
ジの区域を相関させて、ステレオ・イメージを得る上記
の手段から見て、上記場面の対応する領域の奥行きを定
める手段と、上記の相関された区域にたいして、上記物
体が数えられる奥行き度数情報を作成する手段と、を有
する装置。 （３３）ステレオ・イメージを得る上記手段が、上記の
１対のイメージの一方の中の上記物体の１つが他方のイ
メージにたいしてシフトするように、一定の間隔をおい
た１対のビデオ・カメラを有する、上記（３２）に記載
の装置。 （３４）ステレオ・イメージを得る上記手段が、さら
に、上記場面を上記１対のビデオ・カメラによって同期
して走査させる手段を有する、上記（３３）に記載の装
置。 （３５）相関をとる上記手段が、上記の１対のイメージ
を比較して上記場面の或る区域の奥行きを推定する手段
を有する、上記（３２）に記載の装置。 （３６）奥行き度数情報を作成する上記手段が、上記奥
行き度数情報をプロットする手段を有する、上記（３
５）に記載の装置。 （３７）上記プロット手段が、上記奥行き度数情報のプ
ロットに閾値をつける手段を有する、上記（３６）に記
載の装置。 （３８）上記プロット手段が、或る奥行き範囲に対応し
て上記ステレオ・イメージを量的に表すプロットを作成
し、それにより、上記物体の各々が上記プロットのピー
クに対応するようにした、上記（３６）に記載の装置。 （３９）上記プロットの上記ピークの数に基づいて上記
物体の数を推定する手段をさらに有する、上記（３３）
に記載の装置。 （４０）物体の数を推定する上記手段が、矩形状のピー
クを複数の物体として解釈する、上記（３９）に記載の
装置。 （４１）上記物体の数を推定した数に応じてメッセージ
を出す手段をさらに有する、上記（３９）に記載の装
置。
【００３６】
【発明の効果】本発明は、直線状の行列に並ぶ物体の数
を数える能率的で、正確な、融通性のある装置と方法を
提供するものである。実施例で具体的に述べた方法によ
り、一定の間隔をおいた２台のビデオ・カメラで行列を
含む場面のステレオ・イメージを撮り、該ステレオ・イ
メージから奥行き情報を得て、その奥行き情報をプロッ
トしてピークを定め、該ピークと行列の物体とを対応さ
せて、物体数を数えるようにしたものである。また、本
発明は、正確さを上げるために、たとえば、数えるべき
でない物体をあやまって解釈して数えないようにするた
めに、プロットのピークから不要な情報を取り除く等の
方法を備えている。本明細書では、支払いカウンタに行
列する人数を、効率よく実行可能な時間内で数える例を
実施例としているが、同様の他の例、たとえば、料金ゲ
ートに並ぶ車両の数を数えることに応用することもでき
る。この場合の装置の変更は、２台のカメラの間隔をひ
ろげるだけである。
【図面の簡単な説明】
【図１】支払いカウンタに取り付けたステレオ・ビデオ
・カメラを上から見た図である。
【図２】（ａ）および（ｂ）は２台のカメラで撮った行
列のビデオ・イメージを表す写真である。（ｃ）はマッ
チング点数とシフトの情報から作成した（ａ）と（ｂ）
の場面の疑似イメージを表す写真である。（ｄ）は最も
高いマッチング点数から作成した、（ａ）および（ｂ）
の場面のもう１つの疑似イメージを表す写真である。
（ｅ）は行列を含む場面の奥行き情報をプロットしたグ
ラフを表す写真である。（ｆ）から（ｉ）は、それぞ
れ、カメラから異なる距離で撮られた場面の部分を示す
ものを表す写真である。（尚、色彩写真を審査の参考に
資するために提出。）
【図３】本発明で使用するステレオ・ビジョン装置の構
成要素を示すブロック図である。
【符号の説明】
１０ ステレオ・ビデオ・カメラを上から
見た図 １１ ステレオ・ビデオ・カメラ １２ 支払いカウンタの行列 １４ 左のビデオ・カメラ １６ 右のビデオ・カメラ １８ ２台のビデオ・カメラの間の間隔 ２０ 支払いカウンタ ２２／２４／２６ 行列に並ぶ人々 ２８ プロセサ ３０ 奥行きグラフ ３２ Ｘ軸 ３４ Ｙ軸 ３６ 背景を示す大きなピーク ３８ 最も遠い人物をあらわすピーク ４０ 真ん中の人物をあらわすピーク ４２ 最も近い人物をあらわすピーク ４４ ステレオ・ビジョン装置 ４６、４８ ビデオ・カメラ ５０ カメラ同期装置 ５２ コンピュータ ５４ モニタ ５６ 警報装置
【手続補正書】
【提出日】平成７年４月１４日
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】図２
【補正方法】変更
【補正内容】
【図２】（ａ）および（ｂ）は２台のカメラで撮った行
列のビデオ・イメージを表すディスプレー上に表示した
中間調画像を表す写真である。（ｃ）はマッチング点数
とシフトの情報から作成した（ａ）と（ｂ）の場面の疑
似イメージを表すディスプレー上に表示した中間調画像
を表す写真である。（ｄ）は最も高いマッチング点数か
ら作成した、（ａ）および（ｂ）の場面のもう１つの疑
似イメージを表すディスプレー上に表示した中間調画像
を表す写真である。（ｅ）は行列を含む場面の奥行き情
報をプロットしたグラフを表すディスプレー上に表示し
た中間調画像を表す写真である。（ｆ）から（ｉ）は、
それぞれ、カメラから異なる距離で撮られた場面の部分
を示すものを表すディスプレー上に表示した中間調画像
を表す写真である。（尚、色彩写真を審査の参考に資す
るために提出。）

Claims (41)

    【特許請求の範囲】
  1. 【請求項１】 直線状の行列に並ぶ複数の物体を数える
    方法であって、 上記行列の１つの端に近い視点から、上記行列を含む場
    面のステレオ・イメージを得るステップと、 上記ステレオ・イメージから、上記視点から見た上記場
    面の部分の奥行き情報を得るステップと、 上記奥行き情報を解釈して、一定の奥行き範囲に対応す
    る上記ステレオ・イメージの領域を定め、上記物体の各
    々を特定の領域に対応させるステップと、 を有する方法。
  2. 【請求項２】 上記ステレオ・イメージが第１のイメー
    ジと第２のイメージからなり、上記第１のイメージの上
    記物体の各々を上記第２のイメージにたいしてシフトさ
    せ、奥行き情報を得る上記のステップが、上記第１のイ
    メージの区域を上記第２のイメージの区域と相関させる
    ことからなる、請求項１に記載の方法。
  3. 【請求項３】 奥行き情報を解釈する上記ステップが、 相関された上記の区域の奥行き度数をプロットするステ
    ップと、 上記のプロットからピークを定め、上記物体の各々を上
    記ピークの１つ１つに対応させるステップと、 を有する、請求項２に記載の方法。
  4. 【請求項４】 奥行き情報を解釈する上記ステップが、
    さらに、上記プロットに閾値をつけることを含む、請求
    項３に記載の方法。
  5. 【請求項５】 奥行き情報を解釈する上記ステップが、
    さらに、矩形状のピークが複数の上記物体を表すものと
    解釈することを含む、請求項３に記載の方法。
  6. 【請求項６】 奥行き情報を解釈する上記ステップが、
    さらに、上記奥行き情報から、上記物体以外の物体にあ
    たる不要な情報を取り除くことを含む、請求項３に記載
    の方法。
  7. 【請求項７】 不要な情報を取り除く上記ステップが、 上記物体が存在しない場面にあたる参照奥行き情報を記
    憶するステップと、 上記参照奥行き情報に対応するピークを削除するステッ
    プと、 を有する、請求項６に記載の方法。
  8. 【請求項８】 不要な情報を取り除く上記ステップが、
    上記奥行き情報から、上記場面のあらかじめ定められた
    奥行きを超える物体に対応する不要な情報を取り除くこ
    とを含む、請求項６に記載の方法。
  9. 【請求項９】 不要な情報を取り除く上記ステップが、
    上記奥行き情報が上記行列の上記の１端と上記のあらか
    じめ定められた奥行きとの間の奥行きの範囲に上記物体
    が存在していないことを示している場合に、上記の奥行
    き情報から、上記場面のあらかじめ定められた奥行きを
    超える物体に対応する不要な情報を取り除くことを含
    む、請求項８に記載の方法。
  10. 【請求項１０】相関をとる上記のステップが、上記第１
    のイメージを上記第２のイメージに複数回シフトさせ
    て、上記第１のイメージのあらかじめ定められた大きさ
    の第１区域と、上記第２のイメージの上記の同じ大きさ
    の第２区域とを相関させることを含む、請求項２に記載
    の方法。
  11. 【請求項１１】相関をとる上記のステップが、 上記第１区域の上記第２区域にたいする相関指標を得る
    ために、上記第１イメージと上記第２イメージとを重ね
    合わせるステップと、 上記第１イメージを上記第２イメージにたいしてシフト
    するステップと、 上記第１区域の、上記第２イメージの上記のあらかじめ
    定められた大きさの区域にたいする相関指標を得るステ
    ップと、 イメージをシフトし相関を得る上記のステップを、あら
    かじめ定められたシフト回数だけ繰り返すステップと、 を有する、請求項１０に記載の方法。
  12. 【請求項１２】上記相関指標が正規相関を通して得られ
    る、請求項１１に記載の方法。
  13. 【請求項１３】ステレオ・イメージを得る上記ステップ
    が、１対のビデオ・カメラから上記ステレオ・イメージ
    を得ることよりなり、該ステレオ・イメージが第１のイ
    メージおよび第２のイメージからなる、請求項１に記載
    の方法。
  14. 【請求項１４】上記の１対のビデオ・カメラが相互に離
    され、上記第１のイメージの上記物体の各々が上記第２
    のイメージに対してずれて見えるようにした、請求項１
    ３に記載の方法。
  15. 【請求項１５】上記の１対のビデオ・カメラが平行に置
    かれ、上記のずれが水平方向になるようにした、請求項
    １４に記載の方法。
  16. 【請求項１６】上記のイメージの各々が、行および列に
    配列されたピクセルからなり、上記の２台のカメラの間
    の間隔が、上記行列のあらかじめ定められた最大の長
    さ、上記物体それぞれの間の間隔、上記１対のビデオ・
    カメラの各々から見た共通の視野、および、上記ステレ
    オ・イメージの１行のピクセル数の関数である、請求項
    １５に記載の方法。
  17. 【請求項１７】上記２台のカメラの間隔が以下の数式で
    表される、請求項１６に記載の方法。 【数１】s = (F * d * (d - δ)) / (p * δ) ここで、 s = ２台のカメラの間の間隔 d = あらかじめ定められた行列の最大の長さ δ= 物体間の間隔 p = １行のピクセル数 を表す。
  18. 【請求項１８】直線状の行列に並ぶ複数の物体を数える
    方法であって、 （Ａ）上記行列の１つの端に近い視点から上記行列を含
    む場面を、第１イメージと上記第１イメージからずれた
    第２イメージからなるステレオ・イメージとして得るス
    テップと、 （Ｂ）上記第１イメージの上記第２イメージにたいする
    シフトの数を数えるためにシフト・カウンタを初期化す
    るステップと、 （Ｃ）上記第１イメージのあらかじめ定められた大きさ
    の区域と、上記第２イメージの上記のあらかじめ定めら
    れた大きさの区域とを相関させて、相関指標を定めるス
    テップと、 （Ｄ）上記ステップ（Ｃ）で決められた相関指標を上記
    第１イメージの上記区域に対する最大指標として記憶
    し、上記の初期化されたシフト・カウンタを上記の最大
    指標に対応するシフト指標として記憶するステップと、 （Ｅ）上記第１イメージを上記第２イメージにたいして
    シフトさせるステップと、 （Ｆ）上記シフト・カウンタをインクレメントさせるス
    テップと、 （Ｇ）上記第１イメージの上記区域を、上記第２イメー
    ジの上記のあらかじめ定められた大きさの別の区域に相
    関させて、相関指標を定めるステップと、 （Ｈ）上記ステップ（Ｇ）で定められた相関指標を上記
    最大指標と比較し、上記相関指標が上記最大指標よりも
    大きい相関を示す場合に、上記最大指標を上記相関指標
    で置き換え、且つ、上記の対応するシフト数を上記のイ
    ンクレメントされたシフト・カウンタで置き換えるステ
    ップと、 （Ｉ）上記ステップ（Ｅ）からステップ（Ｈ）をあらか
    じめ定められたシフトの数だけ繰り返すステップと、 （Ｊ）上記ステップ（Ｂ）からステップ（Ｉ）を上記第
    １イメージのあらかじめ定められた異なる区域の数だけ
    繰り返すステップと、 （Ｋ）それぞれのシフト・カウンタ数にたいして、その
    シフト・カウンタ数にたいする最大指標の数を示すマッ
    チング指標をプロットして、奥行き度数情報のプロット
    を作成するステップと、 （Ｌ）上記プロットの中の相対的なピークを定め、上記
    物体の各々を上記ピークの１つ１つに対応させるステッ
    プと、 を有する方法。
  19. 【請求項１９】上記ステップ（Ｋ）が、あらかじめ定め
    られた最小のマッチング指標を上記プロットの閾値とす
    ることを含む、請求項１８に記載の方法。
  20. 【請求項２０】上記の物体が人間である、請求項１８に
    記載の方法。
  21. 【請求項２１】上記ステップ（Ｌ）が、矩形状のピーク
    は複数の人間に対応するものと判断することを含む、請
    求項２０に記載の方法。
  22. 【請求項２２】上記ステップ（Ｋ）が、上記奥行き度数
    情報から、上記場面の人間以外の物体に対応する不要な
    情報を取り除くことを含む、請求項２０に記載の方法。
  23. 【請求項２３】不要な情報を取り除く上記ステップが、 上記人間が存在しない上記場面の参照奥行き度数情報を
    記憶するステップと、 上記プロットから、上記参照奥行き度数情報に対応する
    ピークを削除するステップと、 を有する、請求項２２に記載の方法。
  24. 【請求項２４】不要な情報を取り除く上記ステップが、
    上記プロットから、あらかじめ定められた奥行きを超え
    た場所の人間に対応するピークを削除することを含む、
    請求項２２に記載の方法。
  25. 【請求項２５】不要な情報を取り除く上記ステップが、
    上記プロットのどのピークも上記行列の上記の１端と上
    記のあらかじめ定められた奥行きの間の奥行き範囲に人
    間が存在していないことを示す場合に、あらかじめ定め
    られた奥行きを超えた場所の人間に対応するピークを削
    除することを含む、請求項２４に記載の方法。
  26. 【請求項２６】上記視野が上記行列にたいして或る角度
    をなし、且つ、人間の平均的な目の高さに位置づけされ
    ている、請求項２０に記載の方法。
  27. 【請求項２７】上記ステップ（Ａ）が、第１のビデオ・
    カメラから上記第１イメージを撮り、上記第１ビデオ・
    カメラから一定の間隔で平行に置かれた第２のビデオ・
    カメラから上記第２イメージを撮る、請求項１８に記載
    の方法。
  28. 【請求項２８】上記のイメージの各々が、行と列に配列
    されたピクセルからなり、カメラの間の上記間隔が、上
    記行列のあらかじめ定められた最大の長さ、上記物体の
    それぞれの間の予期される間隔、上記１対のビデオ・カ
    メラの各々から見た共通の視野、および、上記ステレオ
    ・イメージの１行のピクセル数の関数である、請求項２
    ７に記載の方法。
  29. 【請求項２９】上記２台のカメラの上記間隔が下記の数
    式により得られる、請求項２８に記載の方法。 【数２】s = (F * d * (d - δ)) / (p * δ) ここで、 s = ２台のカメラの間の間隔 d = あらかじめ定められた行列の最大の長さ δ= 物体間の間隔 p = １行のピクセル数 を表す。
  30. 【請求項３０】上記イメージの各々が、行と列に配列さ
    れた複数のピクセルからなり、各ピクセルは明度値を持
    ち、且つ、上記相関指標が、上記区域の各々の平均明
    度、上記区域の各々の明度の標準偏差、および、上記の
    あらかじめ定められた大きさの理論的区域の平均明度の
    関数であり、上記理論的区域の各ピクセルが上記各区域
    の対応するピクセルの明度を乗じて得られた値に等しい
    明度を持つ、請求項１８に記載の方法。
  31. 【請求項３１】上記の各ピクセルがｘ座標とｙ座標を持
    ち、上記各区域は座標ｘ、ｙを持つ１つのピクセルに中
    心を置くｈ × ｖピクセル区域からなり、上記相関指標
    が下記の数式から得られる点数である、請求項３０に記
    載の方法。 【数３】 上記において、 【数４】 【数５】 【数６】 【数７】 を表す。
  32. 【請求項３２】直線状の行列に並ぶ複数の物体を数える
    装置であって、 上記行列を含む場面の１対のイメージからなるステレオ
    ・イメージを得る手段と、 上記の１対のイメージの区域を相関させて、ステレオ・
    イメージを得る上記の手段から見て、上記場面の対応す
    る領域の奥行きを定める手段と、 上記の相関された区域にたいして、上記物体が数えられ
    る奥行き度数情報を作成する手段と、 を有する装置。
  33. 【請求項３３】ステレオ・イメージを得る上記手段が、
    上記の１対のイメージの一方の中の上記物体の１つが他
    方のイメージにたいしてシフトするように、一定の間隔
    をおいた１対のビデオ・カメラを有する、請求項３２に
    記載の装置。
  34. 【請求項３４】ステレオ・イメージを得る上記手段が、
    さらに、上記場面を上記１対のビデオ・カメラによって
    同期して走査させる手段を有する、請求項３３に記載の
    装置。
  35. 【請求項３５】相関をとる上記手段が、上記の１対のイ
    メージを比較して上記場面の或る区域の奥行きを推定す
    る手段を有する、請求項３２に記載の装置。
  36. 【請求項３６】奥行き度数情報を作成する上記手段が、
    上記奥行き度数情報をプロットする手段を有する、請求
    項３５に記載の装置。
  37. 【請求項３７】上記プロット手段が、上記奥行き度数情
    報のプロットに閾値をつける手段を有する、請求項３６
    に記載の装置。
  38. 【請求項３８】上記プロット手段が、或る奥行き範囲に
    対応して上記ステレオ・イメージを量的に表すプロット
    を作成し、それにより、上記物体の各々が上記プロット
    のピークに対応するようにした、請求項３６に記載の装
    置。
  39. 【請求項３９】上記プロットの上記ピークの数に基づい
    て上記物体の数を推定する手段をさらに有する、請求項
    ３３に記載の装置。
  40. 【請求項４０】物体の数を推定する上記手段が、矩形状
    のピークを複数の物体として解釈する、請求項３９に記
    載の装置。
  41. 【請求項４１】上記物体の数を推定した数に応じてメッ
    セージを出す手段をさらに有する、請求項３９に記載の
    装置。
JP6341161A 1994-01-31 1994-12-12 行列に並ぶ物体の数を数える方法および装置 Expired - Fee Related JP2763037B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US189561 1980-09-23
US08/189,561 US5581625A (en) 1994-01-31 1994-01-31 Stereo vision system for counting items in a queue

Publications (2)

Publication Number Publication Date
JPH07287763A true JPH07287763A (ja) 1995-10-31
JP2763037B2 JP2763037B2 (ja) 1998-06-11

Family

ID=22697859

Family Applications (1)

Application Number Title Priority Date Filing Date
JP6341161A Expired - Fee Related JP2763037B2 (ja) 1994-01-31 1994-12-12 行列に並ぶ物体の数を数える方法および装置

Country Status (2)

Country Link
US (1) US5581625A (ja)
JP (1) JP2763037B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0843291A2 (en) * 1996-08-30 1998-05-20 NCR International, Inc. Improved self-service system
JP2005316582A (ja) * 2004-04-27 2005-11-10 Glory Ltd 待ち時間案内システムおよび方法およびプログラム
US9894515B2 (en) 2016-01-06 2018-02-13 Fujitsu Limited Information processing device, computer-implemented method of estimating a waiting time, and non-transitory computer-readable storage medium
US11042975B2 (en) * 2018-02-08 2021-06-22 Flaschebottle Technologies Inc. Estimating a number of containers by digital image analysis

Families Citing this family (109)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5953055A (en) 1996-08-08 1999-09-14 Ncr Corporation System and method for detecting and analyzing a queue
US6188777B1 (en) * 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6128397A (en) * 1997-11-21 2000-10-03 Justsystem Pittsburgh Research Center Method for finding all frontal faces in arbitrarily complex visual scenes
DE69910757T2 (de) 1998-04-13 2004-06-17 Eyematic Interfaces, Inc., Santa Monica Wavelet-basierte gesichtsbewegungserfassung für avataranimation
US6301370B1 (en) 1998-04-13 2001-10-09 Eyematic Interfaces, Inc. Face recognition from video images
WO1999053430A1 (en) * 1998-04-13 1999-10-21 Eyematic Interfaces, Inc. Vision architecture to describe features of persons
US6272231B1 (en) 1998-11-06 2001-08-07 Eyematic Interfaces, Inc. Wavelet-based facial motion capture for avatar animation
US7050655B2 (en) * 1998-11-06 2006-05-23 Nevengineering, Inc. Method for generating an animated three-dimensional video head
US6714661B2 (en) 1998-11-06 2004-03-30 Nevengineering, Inc. Method and system for customizing facial feature tracking using precise landmark finding on a neutral face image
US7050624B2 (en) * 1998-12-04 2006-05-23 Nevengineering, Inc. System and method for feature location and tracking in multiple dimensions including depth
US6483935B1 (en) * 1999-10-29 2002-11-19 Cognex Corporation System and method for counting parts in multiple fields of view using machine vision
US6297844B1 (en) * 1999-11-24 2001-10-02 Cognex Corporation Video safety curtain
US6701005B1 (en) 2000-04-29 2004-03-02 Cognex Corporation Method and apparatus for three-dimensional object segmentation
NZ508429A (en) * 2000-11-24 2003-05-30 Compudigm Int Ltd Queue management using a data visualisation system
JP4639293B2 (ja) 2001-02-27 2011-02-23 オプテックス株式会社 自動ドアセンサ
US6917703B1 (en) 2001-02-28 2005-07-12 Nevengineering, Inc. Method and apparatus for image analysis of a gabor-wavelet transformed image using a neural network
US7392287B2 (en) 2001-03-27 2008-06-24 Hemisphere Ii Investment Lp Method and apparatus for sharing information using a handheld device
US6633232B2 (en) * 2001-05-14 2003-10-14 Koninklijke Philips Electronics N.V. Method and apparatus for routing persons through one or more destinations based on a least-cost criterion
US6834115B2 (en) 2001-08-13 2004-12-21 Nevengineering, Inc. Method for optimizing off-line facial feature tracking
US6853379B2 (en) * 2001-08-13 2005-02-08 Vidiator Enterprises Inc. Method for mapping facial animation values to head mesh positions
US6876364B2 (en) 2001-08-13 2005-04-05 Vidiator Enterprises Inc. Method for mapping facial animation values to head mesh positions
WO2003028377A1 (en) * 2001-09-14 2003-04-03 Vislog Technology Pte Ltd. Apparatus and method for selecting key frames of clear faces through a sequence of images
CA2359269A1 (en) * 2001-10-17 2003-04-17 Biodentity Systems Corporation Face imaging system for recordal and automated identity confirmation
US7688349B2 (en) * 2001-12-07 2010-03-30 International Business Machines Corporation Method of detecting and tracking groups of people
US7545949B2 (en) * 2004-06-09 2009-06-09 Cognex Technology And Investment Corporation Method for setting parameters of a vision detector using production line information
US9092841B2 (en) * 2004-06-09 2015-07-28 Cognex Technology And Investment Llc Method and apparatus for visual detection and inspection of objects
AU2003221893A1 (en) * 2002-04-08 2003-10-27 Newton Security Inc. Tailgating and reverse entry detection, alarm, recording and prevention using machine vision
AU2003231510A1 (en) * 2002-04-25 2003-11-10 Sharp Kabushiki Kaisha Image data creation device, image data reproduction device, and image data recording medium
US7397929B2 (en) * 2002-09-05 2008-07-08 Cognex Technology And Investment Corporation Method and apparatus for monitoring a passageway using 3D images
US7400744B2 (en) * 2002-09-05 2008-07-15 Cognex Technology And Investment Corporation Stereo door sensor
US7920718B2 (en) * 2002-09-05 2011-04-05 Cognex Corporation Multi-zone passageway monitoring system and method
AU2003286778A1 (en) * 2002-10-30 2004-06-07 Premier Wireless, Inc. Queuing management and vessel recognition
DE60330898D1 (de) * 2002-11-12 2010-02-25 Intellivid Corp Verfahren und system zur verfolgung und verhaltensüberwachung von mehreren objekten, die sich durch mehrere sichtfelder bewegen
US7221775B2 (en) * 2002-11-12 2007-05-22 Intellivid Corporation Method and apparatus for computerized image background analysis
DE10253501A1 (de) * 2002-11-16 2004-05-27 Robert Bosch Gmbh Bildgeber
US7286157B2 (en) * 2003-09-11 2007-10-23 Intellivid Corporation Computerized method and apparatus for determining field-of-view relationships among multiple image sensors
US7280673B2 (en) * 2003-10-10 2007-10-09 Intellivid Corporation System and method for searching for changes in surveillance video
US7346187B2 (en) * 2003-10-10 2008-03-18 Intellivid Corporation Method of counting objects in a monitored environment and apparatus for the same
US7623674B2 (en) * 2003-11-05 2009-11-24 Cognex Technology And Investment Corporation Method and system for enhanced portal security through stereoscopy
US8326084B1 (en) 2003-11-05 2012-12-04 Cognex Technology And Investment Corporation System and method of auto-exposure control for image acquisition hardware using three dimensional information
US7171024B2 (en) * 2003-12-01 2007-01-30 Brickstream Corporation Systems and methods for determining if objects are in a queue
KR100519782B1 (ko) * 2004-03-04 2005-10-07 삼성전자주식회사 스테레오 카메라를 이용한 사람 검출 방법 및 장치
US8127247B2 (en) 2004-06-09 2012-02-28 Cognex Corporation Human-machine-interface and method for manipulating data in a machine vision system
US8243986B2 (en) * 2004-06-09 2012-08-14 Cognex Technology And Investment Corporation Method and apparatus for automatic visual event detection
US20050276445A1 (en) * 2004-06-09 2005-12-15 Silver William M Method and apparatus for automatic visual detection, recording, and retrieval of events
US8891852B2 (en) 2004-06-09 2014-11-18 Cognex Technology And Investment Corporation Method and apparatus for configuring and testing a machine vision detector
CN101107637B (zh) * 2004-11-02 2013-02-06 传感电子公司 行列监视系统和方法
US20060095317A1 (en) * 2004-11-03 2006-05-04 Target Brands, Inc. System and method for monitoring retail store performance
US7720315B2 (en) 2004-11-12 2010-05-18 Cognex Technology And Investment Corporation System and method for displaying and using non-numeric graphic elements to control and monitor a vision system
US9292187B2 (en) 2004-11-12 2016-03-22 Cognex Corporation System, method and graphical user interface for displaying and controlling vision system operating parameters
US7636449B2 (en) 2004-11-12 2009-12-22 Cognex Technology And Investment Corporation System and method for assigning analysis parameters to vision detector using a graphical interface
JP4122384B2 (ja) * 2005-01-31 2008-07-23 オプテックス株式会社 通行監視装置
US7512262B2 (en) * 2005-02-25 2009-03-31 Microsoft Corporation Stereo-based image processing
CA2601477C (en) 2005-03-25 2015-09-15 Intellivid Corporation Intelligent camera selection and object tracking
US20060291697A1 (en) * 2005-06-21 2006-12-28 Trw Automotive U.S. Llc Method and apparatus for detecting the presence of an occupant within a vehicle
JP4645356B2 (ja) * 2005-08-16 2011-03-09 ソニー株式会社 映像表示方法、映像表示方法のプログラム、映像表示方法のプログラムを記録した記録媒体及び映像表示装置
US20070047837A1 (en) * 2005-08-29 2007-03-01 John Schwab Method and apparatus for detecting non-people objects in revolving doors
US9036028B2 (en) * 2005-09-02 2015-05-19 Sensormatic Electronics, LLC Object tracking and alerts
ITUD20050152A1 (it) * 2005-09-23 2007-03-24 Neuricam Spa Dispositivo elettro-ottico per il conteggio di persone,od altro,basato su visione stereoscopica,e relativo procedimento
US8111904B2 (en) 2005-10-07 2012-02-07 Cognex Technology And Investment Corp. Methods and apparatus for practical 3D vision system
US20070242870A1 (en) * 2006-04-18 2007-10-18 Nucor Corporation System And Method For Automatically Counting Bundled Items
WO2007124138A2 (en) * 2006-04-18 2007-11-01 Sorensen Associates Inc Still image queue analysis system and method
US7825792B2 (en) * 2006-06-02 2010-11-02 Sensormatic Electronics Llc Systems and methods for distributed monitoring of remote sites
US7671728B2 (en) 2006-06-02 2010-03-02 Sensormatic Electronics, LLC Systems and methods for distributed monitoring of remote sites
GB0616646D0 (en) * 2006-08-22 2006-10-04 Infrared Integrated Syst Ltd Queuing system
DE102006050379A1 (de) * 2006-10-25 2008-05-08 Norbert Prof. Dr. Link Verfahren und Vorrichtung zur Überwachung eines Raumvolumens sowie Kalibrierverfahren
JP5121258B2 (ja) * 2007-03-06 2013-01-16 株式会社東芝 不審行動検知システム及び方法
US8126260B2 (en) * 2007-05-29 2012-02-28 Cognex Corporation System and method for locating a three-dimensional object using machine vision
CA2690148A1 (en) * 2007-06-09 2008-12-18 Sensormatic Electronics Corporation System and method for integrating video analytics and data analytics/mining
US8237099B2 (en) * 2007-06-15 2012-08-07 Cognex Corporation Method and system for optoelectronic detection and location of objects
US8131010B2 (en) * 2007-07-30 2012-03-06 International Business Machines Corporation High density queue estimation and line management
US8107676B2 (en) * 2007-07-30 2012-01-31 International Business Machines Corporation Line length estimation
GB2452504A (en) * 2007-09-05 2009-03-11 Qm Group Ltd Customer service system which senses the number of queuing customers
US8103085B1 (en) 2007-09-25 2012-01-24 Cognex Corporation System and method for detecting flaws in objects using machine vision
US8411963B2 (en) * 2008-08-08 2013-04-02 The Nielsen Company (U.S.), Llc Methods and apparatus to count persons in a monitored environment
DE102009028604A1 (de) * 2009-08-18 2011-02-24 Robert Bosch Gmbh Vorrichtung zur Erkennung einer Objektschlange, Verfahren sowie Computerprogramm
US8817094B1 (en) 2010-02-25 2014-08-26 Target Brands, Inc. Video storage optimization
US9019367B2 (en) * 2011-06-10 2015-04-28 Wuerth Elektronik Ics Gmbh & Co. Kg Method for dynamically detecting the fill level of a container, container therefor, and system for dynamically monitoring the fill level of a plurality of containers
US9651499B2 (en) 2011-12-20 2017-05-16 Cognex Corporation Configurable image trigger for a vision system and method for using the same
US8660307B2 (en) 2012-03-29 2014-02-25 The Nielsen Company (Us), Llc Methods and apparatus to count people in images
US8761442B2 (en) 2012-03-29 2014-06-24 The Nielsen Company (Us), Llc Methods and apparatus to count people in images
US9275285B2 (en) 2012-03-29 2016-03-01 The Nielsen Company (Us), Llc Methods and apparatus to count people in images
US9092675B2 (en) 2012-03-29 2015-07-28 The Nielsen Company (Us), Llc Methods and apparatus to count people in images
US9317923B2 (en) * 2012-04-06 2016-04-19 Brigham Young University Stereo vision apparatus and method
US9600711B2 (en) 2012-08-29 2017-03-21 Conduent Business Services, Llc Method and system for automatically recognizing facial expressions via algorithmic periocular localization
US9641763B2 (en) 2012-08-29 2017-05-02 Conduent Business Services, Llc System and method for object tracking and timing across multiple camera views
US10839227B2 (en) 2012-08-29 2020-11-17 Conduent Business Services, Llc Queue group leader identification
GB201306313D0 (en) 2013-04-08 2013-05-22 Vision Semantics Ltd Queue analysis
US9213900B2 (en) 2013-06-06 2015-12-15 Xerox Corporation Automated vision-based clutter detector and notifier
US10740738B2 (en) * 2013-07-29 2020-08-11 Infrared Integrated Systems Ltd. System and method for counting objects in a queue
US10005639B2 (en) 2013-08-15 2018-06-26 Otis Elevator Company Sensors for conveyance control
CN103916641A (zh) * 2014-04-22 2014-07-09 浙江宇视科技有限公司 一种队列长度计算方法以及装置
US9483838B2 (en) 2014-04-24 2016-11-01 Xerox Corporation Method and system for automated sequencing of vehicles in side-by-side drive-thru configurations via appearance-based classification
US9779331B2 (en) 2014-04-24 2017-10-03 Conduent Business Services, Llc Method and system for partial occlusion handling in vehicle tracking using deformable parts model
US9940633B2 (en) 2014-04-25 2018-04-10 Conduent Business Services, Llc System and method for video-based detection of drive-arounds in a retail setting
US9576371B2 (en) 2014-04-25 2017-02-21 Xerox Corporation Busyness defection and notification method and system
US10332050B2 (en) * 2014-07-10 2019-06-25 Bank Of America Corporation Identifying personnel-staffing adjustments based on indoor positioning system detection of physical customer presence
US10074130B2 (en) 2014-07-10 2018-09-11 Bank Of America Corporation Generating customer alerts based on indoor positioning system detection of physical customer presence
US10108952B2 (en) 2014-07-10 2018-10-23 Bank Of America Corporation Customer identification
US10984355B2 (en) 2015-04-17 2021-04-20 Xerox Corporation Employee task verification to video system
GB201607624D0 (en) 2016-04-30 2016-06-15 Infrared Integrated Syst Ltd A system, method and apparatus for occupancy detection
US10769608B2 (en) * 2016-09-15 2020-09-08 International Business Machines Corporation Intelligent checkout management system
US11037067B2 (en) 2017-07-10 2021-06-15 Infrared Integrated Systems Limited Apparatus and method for occupancy detection
US10509969B2 (en) * 2017-09-12 2019-12-17 Cisco Technology, Inc. Dynamic person queue analytics
US11080881B2 (en) 2018-06-22 2021-08-03 Infrared Integrated Systems Limited Detection and identification systems for humans or objects
US11830274B2 (en) 2019-01-11 2023-11-28 Infrared Integrated Systems Limited Detection and identification systems for humans or objects
US11107234B2 (en) 2019-01-11 2021-08-31 Infrared Integrated Systems Limited Validation systems and methods for human or object detection
US11120280B2 (en) * 2019-11-15 2021-09-14 Argo AI, LLC Geometry-aware instance segmentation in stereo image capture processes
CN112735019B (zh) * 2021-01-20 2023-07-18 联仁健康医疗大数据科技股份有限公司 排队导引方法、装置、系统、电子设备以及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5325744A (en) * 1976-08-23 1978-03-09 Ngk Spark Plug Co Ltd Low flame extinguishing spark plug

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3811010A (en) * 1972-08-16 1974-05-14 Us Navy Intrusion detection apparatus
DE2833808C3 (de) * 1978-08-02 1982-04-01 Deutsche Forschungs- und Versuchsanstalt für Luft- und Raumfahrt e.V., 5000 Köln Stereo-Zeilenabtaster
US4303851A (en) * 1979-10-16 1981-12-01 Otis Elevator Company People and object counting system
GB8314778D0 (en) * 1983-05-27 1983-07-06 Pa Management Consult Adaptive pattern recognition
US4654872A (en) * 1983-07-25 1987-03-31 Omron Tateisi Electronics Co. System for recognizing three-dimensional objects
US4723159A (en) * 1983-11-02 1988-02-02 Imsand Donald J Three dimensional television and video systems
US4601053A (en) * 1983-11-21 1986-07-15 Grumman Aerospace Corporation Automatic TV ranging system
US4631580A (en) * 1984-11-09 1986-12-23 John Taube Video-stereoscopic-image-producing system
US4939439A (en) * 1985-09-26 1990-07-03 Unisearch Limited Robot vision and optical location systems
US4799243A (en) * 1987-09-01 1989-01-17 Otis Elevator Company Directional people counting arrangement
JPH0193985A (ja) * 1987-10-05 1989-04-12 Sharp Corp 立体撮影装置
JP2633694B2 (ja) * 1989-08-25 1997-07-23 フジテック 株式会社 人数検出装置
US5003166A (en) * 1989-11-07 1991-03-26 Massachusetts Institute Of Technology Multidimensional range mapping with pattern projection and cross correlation
JPH0816650B2 (ja) * 1990-01-17 1996-02-21 東京都 走行検査装置
KR100204101B1 (ko) * 1990-03-02 1999-06-15 가나이 쓰도무 화상처리장치
US5130794A (en) * 1990-03-29 1992-07-14 Ritchey Kurtis J Panoramic display system
JPH0813049B2 (ja) * 1990-06-20 1996-02-07 三菱電機株式会社 周波数誤差検出装置
US5142357A (en) * 1990-10-11 1992-08-25 Stereographics Corp. Stereoscopic video camera with image sensors having variable effective position
US5097328A (en) * 1990-10-16 1992-03-17 Boyette Robert B Apparatus and a method for sensing events from a remote location
JPH04157889A (ja) * 1990-10-20 1992-05-29 Fujitsu Ltd 人物撮像位置の自動調整方法
US5065236A (en) * 1990-11-02 1991-11-12 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Stereoscopic camera and viewing systems with undistorted depth presentation and reduced or eliminated erroneous acceleration and deceleration perceptions, or with perceptions produced or enhanced for special effects
US5213105A (en) * 1990-12-04 1993-05-25 Research Corporation Technologies, Inc. Frequency domain optical imaging using diffusion of intensity modulated radiation
GB9027881D0 (en) * 1990-12-21 1991-02-13 Delta System Design Ltd Improvements in 3d imaging systems
US5138638A (en) * 1991-01-11 1992-08-11 Tytronix Corporation System for determining the number of shoppers in a retail store and for processing that information to produce data for store management
JPH0578048A (ja) * 1991-09-19 1993-03-30 Hitachi Ltd エレベーターホールの待ち客検出装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5325744A (en) * 1976-08-23 1978-03-09 Ngk Spark Plug Co Ltd Low flame extinguishing spark plug

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0843291A2 (en) * 1996-08-30 1998-05-20 NCR International, Inc. Improved self-service system
EP0843291A3 (en) * 1996-08-30 2004-12-22 NCR International, Inc. Improved self-service system
JP2005316582A (ja) * 2004-04-27 2005-11-10 Glory Ltd 待ち時間案内システムおよび方法およびプログラム
US9894515B2 (en) 2016-01-06 2018-02-13 Fujitsu Limited Information processing device, computer-implemented method of estimating a waiting time, and non-transitory computer-readable storage medium
US11042975B2 (en) * 2018-02-08 2021-06-22 Flaschebottle Technologies Inc. Estimating a number of containers by digital image analysis

Also Published As

Publication number Publication date
JP2763037B2 (ja) 1998-06-11
US5581625A (en) 1996-12-03

Similar Documents

Publication Publication Date Title
JPH07287763A (ja) 行列に並ぶ物体を数える方法および装置
KR100519782B1 (ko) 스테레오 카메라를 이용한 사람 검출 방법 및 장치
US7333132B2 (en) Corrected image generating apparatus and corrected image generating program storage medium
EP1041532A2 (en) Method and Apparatus for calibrating a computer-generated projected image
US20060221181A1 (en) Video ghost detection by outline
CN108141547B (zh) 将图像与另一图像数字化叠加
JP3269657B2 (ja) 両眼立体視装置
KR101932214B1 (ko) 이미지 처리 기법을 이용하여 균열을 측정하기 위한 장치 및 그 방법
US6411339B1 (en) Method of spatio-temporally integrating/managing a plurality of videos and system for embodying the same, and recording medium for recording a program for the method
EP2511875A1 (en) Apparatus and method for refining a value of a similarity measure
JP7159384B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP4042750B2 (ja) 画像処理装置、コンピュータプログラム、及び画像処理方法
JP2007072628A (ja) 顔向き判別装置
EP2476999B1 (en) Method for measuring displacement, device for measuring displacement, and program for measuring displacement
US20020136455A1 (en) System and method for robust foreground and background image data separation for location of objects in front of a controllable display within a camera view
JP2008286638A (ja) 身長推定装置および身長推定方法
US20120105444A1 (en) Display processing apparatus, display processing method, and display processing program
JP4193342B2 (ja) ３次元データ生成装置
JPH0997342A (ja) 樹木離隔距離計測システム
JP4821355B2 (ja) 人物追跡装置、人物追跡方法および人物追跡プログラム
US20090153650A1 (en) Camera position recognition system
JP7163049B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2006302195A (ja) 画像処理方法及び画像処理装置
CN111536895B (zh) 外形识别装置、外形识别系统以及外形识别方法
JP4709364B2 (ja) 自由空間におけるワンドの位置を決定する方法および装置

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees