JP4002919B2 - 移動体高さ判別装置 - Google Patents

移動体高さ判別装置 Download PDF

Info

Publication number
JP4002919B2
JP4002919B2 JP2004255562A JP2004255562A JP4002919B2 JP 4002919 B2 JP4002919 B2 JP 4002919B2 JP 2004255562 A JP2004255562 A JP 2004255562A JP 2004255562 A JP2004255562 A JP 2004255562A JP 4002919 B2 JP4002919 B2 JP 4002919B2
Authority
JP
Japan
Prior art keywords
point
height
points
distance
standard
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2004255562A
Other languages
English (en)
Other versions
JP2006071471A (ja
Inventor
覚 渋谷
Original Assignee
技研トラステム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 技研トラステム株式会社 filed Critical 技研トラステム株式会社
Priority to JP2004255562A priority Critical patent/JP4002919B2/ja
Priority to CNB2005100884840A priority patent/CN100547350C/zh
Priority to EP05017412A priority patent/EP1640912B1/en
Priority to DE602005011377T priority patent/DE602005011377D1/de
Priority to US11/211,603 priority patent/US7650012B2/en
Publication of JP2006071471A publication Critical patent/JP2006071471A/ja
Priority to HK06107865.1A priority patent/HK1087773A1/xx
Application granted granted Critical
Publication of JP4002919B2 publication Critical patent/JP4002919B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782Systems for determining direction or deviation from predetermined direction
    • G01S3/785Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
    • G01S3/786Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
    • G01S3/7864T.V. type tracking systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、単一の撮像手段によって上方から撮像された2次元画像内から人間等の移動体を追跡監視し、比較的近傍に存在する2つの移動体の相対高さを割り出す移動体高さ判別装置に関するものである。
従来、2次元画像内から移動体を識別する技術としては、ビデオカメラによって撮像された監視領域の2次元画像に対して移動体と背景との濃度差を利用して移動体を抽出するものがある(特許文献1、特許文献2、特許文献3、特許文献4)。そして、抽出された移動体が監視対象となる目的の移動体であるか否かを見分ける手法として、例えば、監視対象が人間ならば人間の外形形状を模した標準物体像と、上記抽出した移動体の物体像とを直接または間接的に照合することが行われる。
また、混雑時に人間を精度良く計測するため、同一の監視領域を2台のカメラによって撮影して得られたステレオ画像から三角測量の原理で監視対象の人間までの距離を計測し、人間を個々に分離してその位置を認識するステレオ画像計測技術も知られている(特許文献5)。
特開2002−32767号公報 特開平8−123963号公報 特開平6−309461号公報 特開平6−66731号公報 特開平10−334207号公報
上記の移動体識別技術においては、移動体を抽出するに際して監視対象となる目的の移動体のみならず、その移動体に付随したものまで監視対象として抽出されることがあった。例えば、監視対象が人間ならば、その人間の影、人間の持つ大きなカバン、人間が押す手押し車等までもが監視対象の移動体として抽出され得る。これは照合の感度を厳格にすると監視対象の移動体が捉えられなくなるおそれがあるので、照合感度をある程度寛容にする必要があるからである。
この場合、実空間座標系において、監視対象ではない人間の影、人間が持つ大きなカバン、人間が押す手押し車等は、いずれも監視対象の人間よりも高さが低いことから、上記ステレオ画像計測技術によって抽出された移動体の高さを判別して監視対象でないものを取除くことが考えられる。しかしながら、ステレオ画像計測技術によると、画像処理すべき画像データが多くなるため、画像処理速度が遅くなったりメモリの大容量化を招き、しかも、撮像手段として少なくとも2台のカメラを用意する必要があるため、装置の大型化やコスト高を招く等の問題が生じ得る。
本発明は、上記事情に鑑みてなされ、単一の撮像手段を用いて追跡監視する移動体の高さを簡易かつ良好に判別できる移動体高さ判別装置を実現するものである。
(1)本発明に係る移動体高さ判別装置は、
ある監視領域を上方から撮像する単一の撮像手段と、
上記撮像手段から得られる2次元画像内で画像の濃度差の有る領域を移動体として認識し代表する点を算出する認識手段と、
上記代表する点を追跡する追跡手段と、
上記画像内の点を地上高さを仮定することで決まる画像内距離を実空間距離に変換する変換係数を備えた高さ演算手段とを有し、
上記高さ演算手段は、
上記認識手段が算出する点が同一画像内の比較的近傍に2点有るとき、上記追跡手段がこの2点を各々独立に複数クロックの期間追跡した画像内軌跡を求め、
一方の点を標準の地上高さを持つ標準点であると見なし、他方の点を仮の地上高さを持つ仮定点であると見なし、上記標準点を通る実空間上の鉛直軸線上に上記仮の地上高さまで補正した比較点を求め、
次いで、上記比較点と上記仮定点との間の実空間上での2点間距離を上記変換係数にて求めると共に、複数クロックの期間追跡した結果に対し上記実空間上の2点間距離を求めてその2点間距離の変動量と、標準点の複数クロックの期間での実空間移動距離を求め、
上記仮定点における仮の地上高さの高さ設定値を少なくとも3種以上仮定し、各異なる高さ設定値毎に上記2点間距離の変動量を求め、
次に、上記2点の関係として標準点と仮定点を逆にした状態で、上記同様に、2点間距離の変動量と、標準点の複数クロックの期間での実空間移動距離を求め、
これらの各変動量のうち変動量が最も少なく且つ標準点の移動量に対する割合が一定値以内に収まっているとき、その高さ設定値による仮定高さを標準点における移動体に対する仮定点における移動体の相対高さとして得るようにするか、または、各仮定高さ毎に変動量が2次式の形で変化すると見なしその極小値をとる仮定高さの修正値を標準点における移動体に対する仮定点における移動体の相対高さとして得るようにしたことを特徴とするものである。
(作用)
上方に設置する1台のカメラ等の単一の撮像手段による上方からの2次元画像において、例えば、図3のLAの線上の全ての点は画像空間においては単一の点として映る。従って、画像上でLA線上の点とLB線上の点との間の実空間距離を測定する事は出来ない。ここで、LA線、LB線に対し地上高さを仮定すれば、実空間での位置は特定され、カメラのレンズ定数と角度情報と画像内の位置情報から算出される変換係数によって、実空間での距離を測定する事が可能になる。例えば、2つの移動体が比較的近傍に存在するとき、2つの移動体が2人のアベックの組であるとすると、移動と共に画像上では2人の相対位置及び相対距離は変わるが(被写体は、カメラの近くでは大きく映るが、カメラから離れるに従って小さく映る等のためである。)、その実空間距離での位置関係は殆ど変化しない。また、1人が持っているカバンとでも、人とその人の影であっても、その実空間上での位置関係は殆ど変わらない。従って、実空間上での相対位置関係が変わらない答えが出るような、高さを仮定できればその仮定高さは正解と言える。また、どのような高さを仮定しても、実空間での相対位置関係の変化が大きい時は、その2点は独立した運動をしているので、単一の塊とは認められず当然物体高さの判定には使えない。
また、検出対象が車両検出で有るときは、車高は車種によって異なるので、標準高さの点をタイヤに置き標準高さを地上高0mm、他方の仮定点を車の屋根、フロントガラスなどの高さを測ることを想定し、比較的近傍の2点間の相対高さを測定し、少なくとも2点間の相対高さが600mm程度以上の高さを持った物のみを検出対象にすればよい。こうする事で、路面の変化、路面に映る影の影響を排除する事が可能になる。路面の変化が水漏れ等で変化するときは、2点の変化が独立しているため、どのような高さを仮定しても実空間での相対位置関係の変化が大きく、単一の物体とは認められない。また、影は、2点間の相対高さが0mm程度として検出できるのでその影響を排除できる。
そこで、まず、上記認識手段が算出する点が同一画像内の比較的近傍に2点有るとき、一方の点を標準の地上高さを持つ標準点であると見なし、一応この標準点が特定の監視対象の移動体を現すものとする。また、他方の点を仮の地上高さを持つ仮定点であると見なし、一応この仮定点が特定の監視対象ではない移動体を現すものとする。なお、仮定点の仮の高さは、この仮定点を現す移動体の、例えば、0mmから1800mm程度の、ある高さ設定値に設定する。
そして、上記標準点を通る実空間上の鉛直軸線上に上記仮の地上高さまで補正した比較点を求める。これにより、上記高さ設定値が上記仮定点を現す移動体の高さ相当であれば、上記比較点は、上記仮定点とほぼ同じ高さとなる。
次に、上記比較点と上記仮定点との間の実空間上での2点間距離を上記変換係数にて求めると共に、複数クロックの期間追跡した結果に対し上記実空間上の2点間距離を求めてその2点間距離の変動量と、標準点の複数クロックの期間での実空間移動距離を求める。そして、上記仮定点における仮の地上高さの高さ設定値を少なくとも3種以上仮定し、各異なる高さ設定値毎に上記2点間距離の変動量を求める。
次に、上記2点の関係として標準点と仮定点を逆にした状態で、上記同様に、2点間距離の変動量と、標準点の複数クロックの期間での実空間移動距離を求める。すなわち、最初に設定した標準点と仮定点との関係が実際は逆の場合であることもあるからである。
そして、これらの各変動量のうち変動量が最も少なく且つ標準点の移動量に対する割合が一定値以内に収まっているとき、その高さ設定値による仮定高さを標準点における移動体に対する仮定点における移動体の相対高さとして得るようにするか、または、各仮定高さ毎に変動量が2次式の形で変化すると見なしその極小値をとる仮定高さの修正値を標準点における移動体に対する仮定点における移動体の相対高さとして得る。
(2)また、本発明に係る移動体高さ判別装置は、
ある監視領域を上方から撮像する単一の撮像手段と、
上記撮像手段から得られる2次元画像内で画像の濃度差の有る領域を移動体として認識し代表する点を算出する認識手段と、
上記代表する点を追跡する追跡手段と、
上記画像内の点を地上高さを仮定することで決まる画像内距離を実空間距離に変換する変換係数を備えた高さ演算手段とを有し、
上記高さ演算手段は、
上記認識手段が算出する点が同一画像内の比較的近傍に2点有るとき、上記追跡手段がこの2点を各々独立に複数クロックの期間追跡した画像内軌跡を求め、
一方の点を標準の地上高さを持つ標準点であると見なし、他方の点を仮の地上高さを持つ仮定点であると見なし、上記仮定点を通る実空間上の鉛直軸線上に上記標準の地上高さまで補正した比較点を求め、
次いで、上記比較点と上記標準点との間の実空間上での2点間距離を上記変換係数にて求めると共に、複数クロックの期間追跡した結果に対し上記実空間上の2点間距離を求めてその2点間距離の変動量と、標準点の複数クロックの期間での実空間移動距離を求め、
上記仮定点における仮の地上高さの高さ設定値を少なくとも3種以上仮定し、各異なる高さ設定値毎に上記2点間距離の変動量を求め、
次に、上記2点の関係として標準点と仮定点を逆にした状態で、上記同様に、2点間距離の変動量と、標準点の複数クロックの期間での実空間移動距離を求め、
これらの各変動量のうち変動量が最も少なく且つ標準点の移動量に対する割合が一定値以内に収まっているとき、その高さ設定値による仮定高さを標準点における移動体に対する仮定点における移動体の相対高さとして得るようにするか、または、各仮定高さ毎に変動量が2次式の形で変化すると見なしその極小値をとる仮定高さの修正値を標準点における移動体に対する仮定点における移動体の相対高さとして得るようにしたことを特徴とするものである。
このものは、仮定点を補正して比較点を求めるようにするが、上記(1)と同様の作用を奏する。
以上のように、本発明によれば、単一の撮像手段によって上方から撮像された同一の2次元画像内の比較的近傍に有る2つの移動体に対して、実空間上での高さ関係が簡単に且つ良好に判別することができる。
その結果、例えば、認識手段で一旦監視対象として捉えた移動体の中から本来監視対象でなかった移動体を区別することができ、監視精度の優れた移動体識別装置等を実現することもできる。
本発明の実施の形態について図面を参照しながら説明する。
なお、以下の実施の形態は、本発明における移動体高さ判別装置を適用した移動体識別装置として説明する。
実施の形態における移動体識別装置は、単一の撮像手段によって監視領域を上方から撮像した2次元画像内から人間等の移動体を追跡監視すると共に、並んで移動する移動体に対して高さを割り出して監視対象か否かを判別するようにしたものである。なお、以下の実施の形態では、監視対象を人間として説明する。
(実施の形態1)
図1に示すように、実施の形態1による移動体識別装置は、ある監視領域を上方から撮像する画像入力用の1台のカメラ1と、このカメラ1からの画像データを画像処理する本体部2とを備える。
上記カメラ1は、監視領域の空間を上方から見た2次元画像の画像データを本体部2に入力するものである。なお、このカメラ1からの画像データは、一定のクロック単位で経時的に撮像された動画である。
上記本体部2は、例えば、パーソナルコンピュータ等で構成され、上記カメラ1が撮像した2次元画像Gを画面表示する表示部21と、上記カメラ1から得られる2次元画像内で画像の濃度差の有る領域を移動体として認識し代表する点を算出する認識部22と、上記代表する点を追跡する追跡部23と、上記画像内の点を地上高さを仮定することで決まる画像内距離を実空間距離に変換する変換係数を備えた高さ演算部24と、上記高さ演算部24で求めた相対高さの移動体が監視対象か否かを判別する識別部25とを備える。
上記識別部25は、上記認識部22で捉えた移動体Mについて2つ並んで移動する等のように比較的近傍に存在する2つの移動体Mに対し、これらの移動体Mが1人の人間と、その人間の影、手持ちカバン、手押し車等によるのか、2人の人間によるのかを上記高さ演算部24が割り出した相対高さより判別し、その結果、監視対象の人間でない場合はそれを除外するか、別に監視するか等の処理をするものである。なお、上記表示部21は、看視者が直接画像を確認できる点で有益であるが、特に本発明においては備えなくてもよい。また、認識部22、追跡部23、高さ演算部24および識別部25は、コンピュータプログラムや電子回路等によって実現することができる。
次に、この移動体識別装置の動作について説明する。
図2に示すように、認識部22は、上記カメラ1によって上方から撮像した監視領域の2次元画像G内に監視対象の人間とみなした移動体Mが撮像されると、この移動体Mを空間での一定の標準高さを持つ代表点Pで現す。そして、追跡部23がこの代表点Pより追跡線Lを出力して追跡監視する。この識別部25での画像認識動作としては、例えば、特許第3406587号(特許文献1)に開示のベクトル焦点法が利用される。
すなわち、2次元画像G内の移動体Mの物体像と背景像との濃度差を利用して移動体Mを識別する方法であって、2次元画像G上で等間隔に処理点を配置し、各処理点についてその処理点を中心とする円の円周上での各ピクセル値に対し基本波フーリエ変換を実行し、基本波フーリエ変換にて得られる位相を上記処理点における上記物体像の輪郭に対する法線ベクトルを抽出して移動体Mを識別する方法である。
具体的には、まず、上記背景像が映された画像上の任意の1点を配置点として当該配置点を基準に監視対象の人間の外形を模した標準物体像を上記2次元画像G上に配置し、上記標準物体像と上記背景像との濃度差より上記標準物体像の輪郭部における法線ベクトル群を求め、上記配置点から上記法線ベクトル群の各法線ベクトルまでの位置情報および各法線ベクトルでの角度情報を求め、これら位置情報および角度情報を当該配置点における標準データとして記憶する。次いで、監視対象とすべき移動体Mの物体像が映された2次元画像Gに対して物体像と背景像との濃度差より物体像の輪郭部における法線ベクトル群を求め、これら法線ベクトル群から上記標準データに基づいて上記配置点に相当する正解点群を求める。そして、この正解点群により形成された焦点領域(ベクトル焦点)が上記配置点の一定領域内に多く形成されていた場合は、当該物体像が標準物体像に相当するもの、すなわち監視対象となる移動体Mであると識別する。
このようにして、識別された移動体Mを空間での一定の高さ(標準高さ)を持つ代表点Pで現し、この代表点Pから追跡線Lを出力して追跡監視する。なお、本実施の形態では、人間を監視対象とするので、人間の高さを概ね1600mmとし、上記標準高さは、その人間に対して1200mmの高さ位置を示すように、実空間座標系にて1200mmの高さ相当の点を2次元画像G内に上記代表点Pとして現す。
次に、上記2次元画像G内に追跡監視する複数の代表点Pのうち、2つの代表点Pが比較的近傍に存在する場合、この2次元画像Gに対して上記高さ演算部24によって以下の処理が行われる。
ここで、通常、監視対象は、「人間」のように決まっているので、監視対象となる移動体Mのおおよその高さは自ずと特定することができる(例えば、人間の高さは概ね1600mmとする。)。一方、2つの代表点Pが並走していた場合、一方が監視対象の人間であるとしても、他方は人間(高さ1600mm)なのか、一方の人間の影(高さ0mm)なのか、一方の人間の持つ大きなカバン(高さ600mm程度)なのか、一方の人間が押す手押し車(高さ600mm程度)なのか等、その種類によって高さが異なるので、2次元画像Gからは一見してその高さを特定することができない。
そこで、図2中の代表点P1、P2のように、同じ方向に並んで追跡線L1,L2を描いて移動していた場合、これらの代表点P1、P2のうちの一方の代表点P1を監視対象の人間を現す標準高さを持つ標準点Aであるとみなし、他方の代表点P2を仮の高さを持つ仮定点Bであるとみなす。ここで、人間を示すとみなした標準点Aの標準高さは、1200mmと設定し、人間を示すか否か不明とみなした仮定点Bの仮の高さは、0mm、600mm、1200mm、1800mmのいずれかの高さ設定値に設定するものとする。なお、仮の高さとして、高さゼロも含めるのは、人間の影を考慮したからである。今、この仮の高さの高さ設定値を600mmに設定するものとする。
次に、図3に示すように、上記標準点Aの移動体M1に対する仮想の鉛直軸線Tに沿って、1200mm相当の標準点Aを600mm相当の上記仮の高さ相当に補正した比較点a006を求める。これにより、上記高さ設定値(今は600mm)が上記仮定点Bを現す移動体M2(E)の代表点P2の高さ相当であれば、上記標準点Aを補正した比較点a006は、上記仮定点Bとほぼ同じ高さとなる。
次に、図4に示すように、この比較点a006と上記仮定点Bとの間の2点間実空間距離d006を求め(図4(a))、一定のクロック間隔でカメラ1から入力された2次元画像Gのうち、過去方向の8クロック程度の期間中での上記2次元画像G内における上記2点間実空間距離d006、d106、d206、・・・・・の変動量qを求める(図4(b))。このときの2点間距離dの変動量qは、仮の高さ設定値が600mmとした場合における値となる。また、標準点Aの上記クロックの期間での実空間移動距離を求める。
そして、上記2点間距離dの変動量qは、図3に示す上記仮定点Bの高さ設定値(例えば、0mm、600mm、1200mm、1800mm等)を少なくとも3つ以上設定し、異なる高さ設定値ごとに求める。
次に、上記2個の代表点P1,P2における標準点Aと仮定点Bとの関係を逆にして、上述の高さ演算部24での処理動作を実行する。任意に設定した上記2個の代表点P1,P2における標準点Aと仮定点Bとの関係が実際は逆の場合もあるからである。
これにより、最初に設定した標準点Aと仮定点Bとの関係が実際は逆の場合であっても、移動体Mの相対高さを確実に判別でき、移動体Mの識別精度を向上させることができる。
そして、各高さ設置値のうち、変動量qが最も少なく且つ標準点Aの移動量に対する割合が一定値以内に収まっていたとき、その高さ設定値による仮定高さを標準点Aにおける移動体M1に対する仮定点Bにおける移動体M2の相対高さとして得る。すなわち、その比較点aに対する仮の高さの高さ設定値が上記移動体M2(E)における仮定点Bの高さ相当であると判別することができる。これは、上記の比較点aと仮定点Bとがほぼ同じ高さを有していると仮定できれば、2点の相対位置(距離)は変化しないからである。
以上の処理として、例えば、以下のような演算処理で実現される。
比較点aと仮定点Bの間の2点間距離dは、高さ設定値の高さでの平均変換係数をk(mm/ピクセル)とすれば、
Figure 0004002919
となる。なお、a、Bは、2次元画像Gの平面座標を画像のピクセル単位で示すものであり、(a−B)は、点aB間のピクセル数となる。また、kは、1ピクセルあたりの距離の換算係数であって、画像内の位置及び実空間座標系での高さ(上記高さ設定値)によって異なる値となるものである。また、2次元画像Gのx軸方向、y軸方向別にも、kは異なるので、x軸、y軸の両方向の成分ごとに上記及び下記の計算は行う必要がある。
次に、2点間距離dの平均値aveは、過去方向の追跡線Lにおける代表点Pの数n(クロック数)をcountとすれば、
Figure 0004002919
となる。
各countごとの2点間距離の変動jは、
Figure 0004002919
となる。
そして、距離変動の分散値qは、
Figure 0004002919
となる。
この距離変動の分散値qが上述の2点間距離dの変動量となる。
そして、以上の距離変動の分散値qを、図3、図4に示す4つの比較点aすべてに対して実行し、各仮の高さ(0mm、600mm、1200mm、1800mm)における分散値qとして、q00(0mm)、q06(600mm)、q12(1200mm)、q18(1800mm)を求める。
これらの分散値q00〜18のうち、変動量qが最も少なく且つ標準点Aの移動量に対する割合が一定値以内に収まっていた比較点aに対する仮の高さの高さ設定値が移動体M2(E)における上記仮定点Bのおおよその高さ相当であるとみなすことができる。
一方、仮定点Bの仮の高さを詳しく求めるには、次の演算を行えばよい。
上記のq00(0mm)、q06(600mm)、q12(1200mm)、q18(1800mm)のうち、最小値(min)のqをq0とし、このq0の前後のmin−1、min+1のqをqm、qpとする(例えば、600mm相当の高さとしたq06がq0であれば、その前後のq00、q12がqm、qpとなる。)。
そして、求める仮定点Bの高さhは、
Figure 0004002919
として求まる。すなわち、図5に示すように、qの3点を2次曲線上の点として、その極小値hminが上記仮定点Bの高さとなる。なお、上記例の場合、比較点aを600mm単位としているからHpich=600mmとなり、標準高さを1200mmとしているからHbase=1200mmとなる。
そして、仮定点Bを現す移動体M2(E)自体の高さh1は、標準点Aを現す移動体M1である人間を身長1600mmとした場合、
Figure 0004002919
として求めることができる。
以上のように、上記実施の形態1によれば、単一のカメラ1(撮像手段)によって上方から撮像された2次元画像Gにおいて2つの移動体Mが同じ方向に並んで移動する等、比較的近傍に存在していた場合、高さ演算部24によって2つの移動体Mの相対高さを割り出すことができる。
そして、特定の監視対象の移動体M(例えば、人間)が決定されているので、本来の監視対象の移動体Mの高さも決まっているから、上記識別部25において、上記高さ演算部24で求めた移動体Mの相対高さに基づいて、認識部22で一旦監視対象として捉えた移動体Mの中から本来監視対象でなかった移動体Mを区別することで、監視精度の優れた移動体識別装置を実現することができる。
(実施の形態2)
上記実施の形態1では、高さ演算部24の処理構成として、上記標準点Aにおける移動体Mに対する仮想の鉛直軸線Tに沿って標準点Aを上記仮の高さ相当に補正した比較点aを求め、この比較点aと上記仮定点Bとの間の2点間距離dの変動量qを求めるようにしていた。
この実施の形態2では、高さ演算部24の処理構成として、図6に示すように、上記仮定点Bにおける移動体Mに対する仮想の鉛直軸線Tに沿って仮定点Bを上記標準高さ相当に移行させた比較点aを求め、そして、図7(a)に示すように、この比較点aと上記標準点Aとの間の2点間距離を求め、図7(b)に示すように、少なくとも3クロック以上の連続した期間の上記2次元画像G内における上記2点間距離dの変動量qを求めるようにしたものである。その他の構成は、上記実施の形態1と同様である。
従って、この実施の形態2のものでも、上記実施の形態1と同様の作用効果を有し、監視精度の優れた移動体識別装置を実現することができる。
なお、本発明は、上記各実施の形態には限定されず、例えば、監視対象を人間とするが、人間以外の車等の移動体を監視対象としてもよい。
実施の形態1による移動体識別装置の概略構成を示す模式図である。 1台のカメラ(単一の撮像手段)によって監視領域を上方から撮像した2次元画像を示す模式図である。 実施の形態1における高さ演算部24での処理を立体化して説明するための模式図である。 実施の形態1における高さ演算部24での処理を2次元化して説明するための模式図である。 仮定点の高さを求める2次曲線を示したグラフである。 実施の形態2における高さ演算部24での処理を立体化して説明するための模式図である。 実施の形態2における高さ演算部24での処理を2次元化して説明するための模式図である。
符号の説明
1 カメラ(撮像手段)
2 本体部
21 表示部
22 認識部
23 追跡部
24 高さ演算部
25 識別部
A 標準点
B 仮定点
G 2次元画像
L 追跡線
M 移動体
P 代表点
T 鉛直軸線
a 比較点
d 2点間実空間の距離
q 2点間実空間での距離の変動量(分散値)

Claims (2)

  1. ある監視領域を上方から撮像する単一の撮像手段と、
    上記撮像手段から得られる2次元画像内で画像の濃度差の有る領域を移動体として認識し代表する点を算出する認識手段と、
    上記代表する点を追跡する追跡手段と、
    上記画像内の点を地上高さを仮定することで決まる画像内距離を実空間距離に変換する変換係数を備えた高さ演算手段とを有し、
    上記高さ演算手段は、
    上記認識手段が算出する点が同一画像内の比較的近傍に2点有るとき、上記追跡手段がこの2点を各々独立に複数クロックの期間追跡した画像内軌跡を求め、
    一方の点を標準の地上高さを持つ標準点であると見なし、他方の点を仮の地上高さを持つ仮定点であると見なし、上記標準点を通る実空間上の鉛直軸線上に上記仮の地上高さまで補正した比較点を求め、
    次いで、上記比較点と上記仮定点との間の実空間上での2点間距離を上記変換係数にて求めると共に、複数クロックの期間追跡した結果に対し上記実空間上の2点間距離を求めてその2点間距離の変動量と、標準点の複数クロックの期間での実空間移動距離を求め、
    上記仮定点における仮の地上高さの高さ設定値を少なくとも3種以上仮定し、各異なる高さ設定値毎に上記2点間距離の変動量を求め、
    次に、上記2点の関係として標準点と仮定点を逆にした状態で、上記同様に、2点間距離の変動量と、標準点の複数クロックの期間での実空間移動距離を求め、
    これらの各変動量のうち変動量が最も少なく且つ標準点の移動量に対する割合が一定値以内に収まっているとき、その高さ設定値による仮定高さを標準点における移動体に対する仮定点における移動体の相対高さとして得るようにするか、または、各仮定高さ毎に変動量が2次式の形で変化すると見なしその極小値をとる仮定高さの修正値を標準点における移動体に対する仮定点における移動体の相対高さとして得るようにしたことを特徴とする移動体高さ判別装置。
  2. ある監視領域を上方から撮像する単一の撮像手段と、
    上記撮像手段から得られる2次元画像内で画像の濃度差の有る領域を移動体として認識し代表する点を算出する認識手段と、
    上記代表する点を追跡する追跡手段と、
    上記画像内の点を地上高さを仮定することで決まる画像内距離を実空間距離に変換する変換係数を備えた高さ演算手段とを有し、
    上記高さ演算手段は、
    上記認識手段が算出する点が同一画像内の比較的近傍に2点有るとき、上記追跡手段がこの2点を各々独立に複数クロックの期間追跡した画像内軌跡を求め、
    一方の点を標準の地上高さを持つ標準点であると見なし、他方の点を仮の地上高さを持つ仮定点であると見なし、上記仮定点を通る実空間上の鉛直軸線上に上記標準の地上高さまで補正した比較点を求め、
    次いで、上記比較点と上記標準点との間の実空間上での2点間距離を上記変換係数にて求めると共に、複数クロックの期間追跡した結果に対し上記実空間上の2点間距離を求めてその2点間距離の変動量と、標準点の複数クロックの期間での実空間移動距離を求め、
    上記仮定点における仮の地上高さの高さ設定値を少なくとも3種以上仮定し、各異なる高さ設定値毎に上記2点間距離の変動量を求め、
    次に、上記2点の関係として標準点と仮定点を逆にした状態で、上記同様に、2点間距離の変動量と、標準点の複数クロックの期間での実空間移動距離を求め、
    これらの各変動量のうち変動量が最も少なく且つ標準点の移動量に対する割合が一定値以内に収まっているとき、その高さ設定値による仮定高さを標準点における移動体に対する仮定点における移動体の相対高さとして得るようにするか、または、各仮定高さ毎に変動量が2次式の形で変化すると見なしその極小値をとる仮定高さの修正値を標準点における移動体に対する仮定点における移動体の相対高さとして得るようにしたことを特徴とする移動体高さ判別装置。

JP2004255562A 2004-09-02 2004-09-02 移動体高さ判別装置 Active JP4002919B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2004255562A JP4002919B2 (ja) 2004-09-02 2004-09-02 移動体高さ判別装置
CNB2005100884840A CN100547350C (zh) 2004-09-02 2005-08-02 移动体高度判别装置
EP05017412A EP1640912B1 (en) 2004-09-02 2005-08-10 Moving-object height determining apparatus
DE602005011377T DE602005011377D1 (de) 2004-09-02 2005-08-10 Gerät zur Höhenbestimmung sich bewegender Objekte
US11/211,603 US7650012B2 (en) 2004-09-02 2005-08-26 Moving-object height determining apparatus by image processing of two-dimensional image
HK06107865.1A HK1087773A1 (en) 2004-09-02 2006-07-14 Moving-object height determining apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004255562A JP4002919B2 (ja) 2004-09-02 2004-09-02 移動体高さ判別装置

Publications (2)

Publication Number Publication Date
JP2006071471A JP2006071471A (ja) 2006-03-16
JP4002919B2 true JP4002919B2 (ja) 2007-11-07

Family

ID=35698816

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004255562A Active JP4002919B2 (ja) 2004-09-02 2004-09-02 移動体高さ判別装置

Country Status (6)

Country Link
US (1) US7650012B2 (ja)
EP (1) EP1640912B1 (ja)
JP (1) JP4002919B2 (ja)
CN (1) CN100547350C (ja)
DE (1) DE602005011377D1 (ja)
HK (1) HK1087773A1 (ja)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7412089B2 (en) * 2005-05-23 2008-08-12 Nextcode Corporation Efficient finder patterns and methods for application to 2D machine vision problems
JP4527710B2 (ja) * 2006-12-25 2010-08-18 技研トラステム株式会社 ノイズ処理方法
JP5287385B2 (ja) * 2009-03-13 2013-09-11 オムロン株式会社 計測装置
US8977005B2 (en) * 2010-09-17 2015-03-10 Nec Corporation Carried item region extraction device, carried item region extraction method, and computer readable medium
US9294755B2 (en) 2010-10-20 2016-03-22 Raytheon Company Correcting frame-to-frame image changes due to motion for three dimensional (3-D) persistent observations
US8923401B2 (en) 2011-05-31 2014-12-30 Raytheon Company Hybrid motion image compression
US8457502B2 (en) 2011-07-26 2013-06-04 ByteLight, Inc. Method and system for modulating a beacon light source in a light based positioning system
US8334901B1 (en) 2011-07-26 2012-12-18 ByteLight, Inc. Method and system for modulating a light source in a light based positioning system using a DC bias
US8520065B2 (en) 2011-07-26 2013-08-27 ByteLight, Inc. Method and system for video processing to determine digital pulse recognition tones
WO2013016439A1 (en) * 2011-07-26 2013-01-31 ByteLight, Inc. Self identifying modulater light source
US8436896B2 (en) * 2011-07-26 2013-05-07 ByteLight, Inc. Method and system for demodulating a digital pulse recognition signal in a light based positioning system using a Fourier transform
US8416290B2 (en) 2011-07-26 2013-04-09 ByteLight, Inc. Method and system for digital pulse recognition demodulation
US9787397B2 (en) 2011-07-26 2017-10-10 Abl Ip Holding Llc Self identifying modulated light source
US8994799B2 (en) 2011-07-26 2015-03-31 ByteLight, Inc. Method and system for determining the position of a device in a light based positioning system using locally stored maps
US9418115B2 (en) 2011-07-26 2016-08-16 Abl Ip Holding Llc Location-based mobile services and applications
US9444547B2 (en) 2011-07-26 2016-09-13 Abl Ip Holding Llc Self-identifying one-way authentication method using optical signals
US8866391B2 (en) 2011-07-26 2014-10-21 ByteLight, Inc. Self identifying modulated light source
US8334898B1 (en) 2011-07-26 2012-12-18 ByteLight, Inc. Method and system for configuring an imaging device for the reception of digital pulse recognition information
US8964016B2 (en) 2011-07-26 2015-02-24 ByteLight, Inc. Content delivery based on a light positioning system
US9723676B2 (en) 2011-07-26 2017-08-01 Abl Ip Holding Llc Method and system for modifying a beacon light source for use in a light based positioning system
US8432438B2 (en) 2011-07-26 2013-04-30 ByteLight, Inc. Device for dimming a beacon light source used in a light based positioning system
US9230333B2 (en) * 2012-02-22 2016-01-05 Raytheon Company Method and apparatus for image processing
CN103575292B (zh) * 2012-07-19 2016-07-06 国基电子(上海)有限公司 测量装置及测量方法
US9705600B1 (en) 2013-06-05 2017-07-11 Abl Ip Holding Llc Method and system for optical communication
CN104236462B (zh) * 2013-06-14 2018-01-23 北京千里时空科技有限公司 一种提取视频图像中物体高度和距离的方法
US9509402B2 (en) 2013-11-25 2016-11-29 Abl Ip Holding Llc System and method for communication with a mobile device via a positioning system including RF communication devices and modulated beacon light sources
US10932103B1 (en) * 2014-03-21 2021-02-23 Amazon Technologies, Inc. Determining position of a user relative to a tote
CN104275310B (zh) * 2014-05-20 2017-02-15 安徽高德韦尔精密部件有限公司 一种用于阀门外观检测的装置
JP6428144B2 (ja) * 2014-10-17 2018-11-28 オムロン株式会社 エリア情報推定装置、エリア情報推定方法、および空気調和装置
CN105547241B (zh) * 2015-12-20 2018-10-19 上海华测导航技术股份有限公司 一种具有激光测距仪接收机的测量方法
US10341565B2 (en) 2016-05-10 2019-07-02 Raytheon Company Self correcting adaptive low light optical payload
CN106504270B (zh) * 2016-11-08 2019-12-20 浙江大华技术股份有限公司 一种视频中目标物体的展示方法及装置
JP7059054B2 (ja) * 2018-03-13 2022-04-25 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP7096176B2 (ja) * 2019-02-01 2022-07-05 株式会社日立製作所 物体位置推定装置およびその方法
CN112378333B (zh) * 2020-10-30 2022-05-06 支付宝(杭州)信息技术有限公司 仓储货物测量方法和装置
JP7494130B2 (ja) 2021-01-19 2024-06-03 株式会社東芝 情報処理システム、情報処理方法およびプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3210767B2 (ja) 1993-04-23 2001-09-17 松下電工株式会社 画像認識方法
JP2992446B2 (ja) 1994-10-26 1999-12-20 松下電工株式会社 画像認識方法およびその装置
CN1055762C (zh) * 1995-06-02 2000-08-23 四川联合大学 激光片光三维传感系统中降低散斑影响的方法和装置
JPH10334207A (ja) 1997-05-29 1998-12-18 Matsushita Electric Ind Co Ltd 人流計測装置
US6542621B1 (en) * 1998-08-31 2003-04-01 Texas Instruments Incorporated Method of dealing with occlusion when tracking multiple objects and people in video sequences
JP2000161915A (ja) * 1998-11-26 2000-06-16 Matsushita Electric Ind Co Ltd 車両用単カメラ立体視システム
US6535114B1 (en) * 2000-03-22 2003-03-18 Toyota Jidosha Kabushiki Kaisha Method and apparatus for environment recognition
JP3406577B2 (ja) 2000-07-19 2003-05-12 技研トラステム株式会社 物体認識方法
JP3406587B2 (ja) * 2000-08-30 2003-05-12 技研トラステム株式会社 物体像識別方法

Also Published As

Publication number Publication date
EP1640912A3 (en) 2006-10-04
EP1640912A2 (en) 2006-03-29
DE602005011377D1 (de) 2009-01-15
CN1743806A (zh) 2006-03-08
US7650012B2 (en) 2010-01-19
HK1087773A1 (en) 2006-10-20
JP2006071471A (ja) 2006-03-16
EP1640912B1 (en) 2008-12-03
CN100547350C (zh) 2009-10-07
US20060045311A1 (en) 2006-03-02

Similar Documents

Publication Publication Date Title
JP4002919B2 (ja) 移動体高さ判別装置
JP6700752B2 (ja) 位置検出装置、位置検出方法及びプログラム
JP6525453B2 (ja) オブジェクト位置推定システム、及びそのプログラム
EP3057063B1 (en) Object detection device and vehicle using same
US9811742B2 (en) Vehicle-surroundings recognition device
JP4177826B2 (ja) 画像処理装置および画像処理方法
US10043279B1 (en) Robust detection and classification of body parts in a depth map
JP5716671B2 (ja) 走路認識装置、車両、走路認識方法及び走路認識プログラム
JP2011198349A (ja) 情報処理方法及びその装置
EP2858037B1 (en) Moving object detector
JP6708730B2 (ja) 移動体
US11727637B2 (en) Method for generating 3D skeleton using joint-based calibration acquired from multi-view camera
WO2014002692A1 (ja) ステレオカメラ
KR20110084028A (ko) 이미지 데이터를 이용한 거리 측정 장치 및 방법
JP6410231B2 (ja) 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム
JP4397573B2 (ja) 画像処理装置
JP5587852B2 (ja) 画像処理装置及び画像処理方法
JP3605955B2 (ja) 車輌判別装置
JP6886136B2 (ja) 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム
JP7064400B2 (ja) 物体検知装置
WO2020175085A1 (ja) 画像処理装置、及び画像処理方法
JP4274038B2 (ja) 画像処理装置および画像処理方法
JP2013142668A (ja) 位置推定装置及び位置推定方法
US20220406070A1 (en) Method and device for recognizing an object for a vehicle including a mono camera, and camera system
JP6334773B2 (ja) ステレオカメラ

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070726

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070807

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070820

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100824

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4002919

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110824

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110824

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120824

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120824

Year of fee payment: 5

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313532

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120824

Year of fee payment: 5

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120824

Year of fee payment: 5

R370 Written measure of declining of transfer procedure

Free format text: JAPANESE INTERMEDIATE CODE: R370

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120824

Year of fee payment: 5

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120824

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130824

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250