JP3810755B2 - 位置判別装置、移動経路算出装置、位置判別方法およびプログラム - Google Patents
位置判別装置、移動経路算出装置、位置判別方法およびプログラム Download PDFInfo
- Publication number
- JP3810755B2 JP3810755B2 JP2003092913A JP2003092913A JP3810755B2 JP 3810755 B2 JP3810755 B2 JP 3810755B2 JP 2003092913 A JP2003092913 A JP 2003092913A JP 2003092913 A JP2003092913 A JP 2003092913A JP 3810755 B2 JP3810755 B2 JP 3810755B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- dimensional
- probability
- detection target
- dimensional image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、撮影された画像を用いて、物体の位置を検出する技術に関する。
【０００２】
【従来の技術】
１台のカメラで撮影した物体の画像を用いて、物体の実空間での位置を正確に求めるためには、カメラの撮影条件と共に以下のいずれかの条件が満たされている必要がある。
１）物体の接地位置（人間であれば、足の位置）が正しく検知されること、
２）画像処理で検出可能な物体の特徴点（例えば、人間の場合、顔や頭頂部）の高さが既知であること。
【０００３】
第１の条件が満たされていれば、画像上の位置から接地位置までの距離と物体の高さなどを判別することが可能である。
【０００４】
また、第２の条件に従い、身長が既知である人物の状態と移動経路とを算出する挙動検出装置が特許文献１に開示されている。この挙動検出装置は、連続する撮影画像内での人物の頭部の動きを検出し、その軌跡を解析することで人物が移動状態にあるのか静止状態にあるのかなどを判別する装置である。
【０００５】
【特許文献１】
特開２００２−１９７４６３号公報
【０００６】
【発明が解決しようとする課題】
物体の位置を検出する際、接地位置の情報が正しく得られないことが多い。例えば、位置検出の対象が人間である場合、棚などの設置物がある店舗の中や、人混みの中では、足元は設置物や別の人物の陰に隠れてしまう。従って、第１の条件である接地位置を判別する位置・移動経路算出方法は使用できる場面が限定されており、実用性に欠ける。
【０００７】
また、第２の条件である既知の特徴点の高さを用いる位置・移動経路算出方法では、特徴点の高さを事前に所得しておくことが困難である。例えば、個体による身体的特徴の差異が顕著な、動物などを位置検出の対象とする場合、既知の身体的特徴を有する対象については測定可能であるが、未知の身体的特徴を有する対象については応用できない。このため、使用できる場面が著しく限定される。例えば人間を位置検出の対象とする場合、顔や頭頂部の高さは人により大きく異なるので、未知の不特定の人物の位置や移動経路を特定することには使用できない。
【０００８】
本発明は、上記実状に鑑みてなされたものであり、前提条件が少なく汎用性の高いやり方で、三次元実空間内の物体の位置および移動経路の検出を可能とすることを目的とする。
また、本発明は、接地位置の検出が困難でかつ個々の高さが未知である物体の位置および移動経路の検出を可能とすることを他の目的とする。
【０００９】
【課題を解決するための手段】
上記目的を達成するため、本発明の第１の観点に係る位置判別装置は、
三次元空間を撮影した二次元画像を記憶する画像記憶手段と、
前記画像記憶手段に記憶されている前記二次元画像中の検出対象を検出する対象検出手段と、
前記対象検出手段により検出された検出対象の前記二次元画像中の位置を判別する画像内位置判別手段と、
前記二次元画像上の各位置について、前記三次元空間上で前記検出対象がとりうる位置と該検出対象がその位置をとる確率とを対応付ける対応付情報を記憶する確率分布記憶手段と、
前記対応付情報に基づいて、前記画像内位置判別手段により判別された前記二次元画像上の検出対象の位置を前記三次元空間上の位置とその確率との分布に変換する変換手段と、
を備えることを特徴とする。
【００１０】
本発明の第２の観点に係る位置判別装置は、
三次元空間を撮影した一連の二次元画像を記憶する画像記憶手段と、
前記画像記憶手段に記憶されている各前記二次元画像について、該二次元画像中の検出対象を検出する対象検出手段と、
前記対象検出手段により検出された検出対象の前記二次元画像中の位置を判別する画像内位置判別手段と、
前記二次元画像上の各位置について、前記三次元空間上で前記検出対象がとりうる位置と該検出対象がその位置をとる確率とを対応付ける対応付情報を記憶する確率分布記憶手段と、
前記対応付情報に基づいて、前記画像内位置判別手段により判別された前記二次元画像上の検出対象の位置を前記三次元空間上の該検出対象の位置とその位置をとる確率との分布に変換する変換手段と、
前記変換手段により変換された各二次元画像について、三次元空間上の位置とその位置をとる確率とに基づいて、一連の二次元画像上の位置の変化とその位置の変化をとる確率との分布を求める手段と、
を備えることを特徴とする。
【００１１】
本発明の第３の観点に係る移動経路算出装置は、
三次元空間を撮影した時間軸上で連続する二次元画像を記憶する画像記憶手段と、
前記画像記憶手段に記憶されている前記二次元画像中の検出対象を検出する対象検出手段と、
前記対象検出手段により検出された対象の前記二次元画像上の移動軌跡を取得する軌跡取得手段と、
前記二次元画像上の各位置について、前記三次元空間上で前記検出対象がとりうる位置と該検出対象がその位置をとる確率とを対応付ける対応付情報を記憶する分布記憶手段と、
前記軌跡取得手段で取得された前記二次元空間上の移動軌跡と前記対応付情報とに基づいて、前記三次元空間における該検出対象の移動経路とその経路をとった確率との分布を算出する移動経路算出手段と、
を備えることを特徴とする。
【００１２】
前記移動経路算出装置は、さらに、
前記分布記憶手段は、前記検出対象の高さの確率分布を記憶し、
前記変換手段は、前記高さの確率分布に基づいて、前記二次元画像上の前記検出対象の位置を前記三次元空間上の位置（奥行きおよび高さ）と、その位置をとる確率との分布に変換してもよい。
【００１３】
前記移動経路算出装置は、さらに、
前記移動経路算出手段によって算出された移動経路とその移動経路をとった確率とを視認できる形態で画像化する画像化手段、
を備えてもよい。
【００１４】
前記移動経路算出装置は、さらに、
前記画像化手段は、その移動経路をとった確率を示す修飾が施された移動経路を示す線の画像を生成する手段、
を備えてもよい。
【００１５】
前記移動経路算出装置は、さらに、
算出された移動経路を、前記三次元空間の鳥瞰図上にマッピングするマッピング手段、
を備えてもよい。
【００１６】
本発明の第４の観点に係る位置判別方法は、
三次元空間を撮影した二次元画像を記憶し、
記憶されている前記二次元画像中の検出対象を検出し、
検出された検出対象の前記二次元画像中の位置を判別し、
前記二次元画像上の各位置について、前記三次元空間上で前記検出対象がとりうる位置と該検出対象がその位置をとる確率とを対応付ける対応付情報を記憶し、
前記対応付情報に基づいて、判別された前記二次元画像上の検出対象の位置を前記三次元空間上の位置とその確率との分布に変換する、
ことを特徴とする。
【００１７】
本発明の第５の観点に係るプログラムは、
コンピュータを、
三次元空間を撮影した二次元画像を記憶する画像記憶手段と、
前記画像記憶手段に記憶されている前記二次元画像中の検出対象を検出する対象検出手段と、
前記対象検出手段により検出された検出対象の前記二次元画像中の位置を判別する画像内位置判別手段と、
前記二次元画像上の各位置について、前記三次元空間上で前記検出対象がとりうる位置と該検出対象がその位置をとる確率とを対応付ける対応付情報を記憶する確率分布記憶手段と、
前記対応付情報に基づいて、前記画像内位置判別手段により判別された前記二次元画像上の検出対象の位置を前記三次元空間上の位置とその確率との分布に変換する変換手段と、
して機能させることを特徴とする。
【００１８】
【発明の実施の形態】
以下、図面を参照しつつ、本発明の実施の形態に係る位置・移動経路算出装置を説明する。
【００１９】
本実施の形態に係る位置・移動経路算出装置１は、図１に示すように、撮像装置（カメラ）１１と、画像バッファ１２と、画像転送部１３と、コンピュータ１４と、大容量ハードディスク（ＨＤＤ）１５とから構成される。
【００２０】
撮像装置１１は、ディジタルスチルカメラなどから構成され、図２に模式的に示すように、実空間ＲＳの任意の位置に実空間ＲＳを通行する人物を撮影するように設置されている。撮像装置１１の設置位置の高さＴと光軸の傾きαとは、事前に求められている。撮像装置１１は、一定期間Δｔおきに、三次元実空間の静止画像を取得して、任意のフォーマットの画像データを出力する。
【００２１】
画像バッファ１２は、撮像装置１１から送られた画像データを一時的に記憶し、画像転送部１３の転送速度に合わせて順次送り出す。
【００２２】
画像転送部１３は、ＨＤＤ１５に通信ネットワークを介して接続される。画像転送部１３は、図３に模式的に示すように、画像バッファ１２を介して撮像装置１１から連続的に供給される一連の静止画ＩＭの画像データを撮影時刻（又は順番）ｔと対応付けて、ＨＤＤ１５に提供する。
【００２３】
コンピュータ１４は、制御部１４１と、メモリ１４２と、入力部１４３と、表示部１４４と、を備える。
【００２４】
メモリ１４２は、図４（ａ）に示すように、ＲＯＭ１４２ａとＲＡＭ１４２ｂとを備える。
【００２５】
ＲＯＭ１４２ａは、フラッシュメモリ、ハードディスク装置などから構成され、制御部１４１の動作を規定する動作プログラムを記憶する。また、ＲＯＭ１４２ａは、図４（ｂ）に模式的に示すように、二次元画像ＩＭ上の位置Ｐ（ｘ，ｙ）とその三次元実空間ＲＳ内での高さＺと三次元実空間ＲＳ内での奥行きＹとを、三次元実空間ＲＳ内の位置Ｑ（Ｘ，Ｙ，Ｚ）に対応付ける対応付情報を記憶する。なお、対応付情報の詳細については、図２および図４（ｂ）を参照して後述する。
【００２６】
ＲＡＭ１４２ｂは、制御部１４１のワークエリアとして機能する。
【００２７】
入力部１４３は、キーボード、マウスなどから構成され、種々の命令やデータを制御部１４１に入力する。
【００２８】
表示部１４４は、ＣＲＴ、液晶表示装置などから構成され、撮像装置１１により取得された二次元画像ＩＭなど、様々な画像を表示する。また、コンピュータ１４により取得された三次元実空間ＲＳを通行する人物の頭頂部の軌跡とその軌跡をとる確率とを三次元実空間ＲＳの鳥瞰図に重ねて表示する。
【００２９】
制御部１４１は、コンピュータ１４全体の動作を制御するためのものであり、マイクロプロセッサ等から構成され、ＲＯＭ１４２ａに格納された動作プログラムに従ってＲＡＭ１４２ｂをワークエリアとして使用して動作する。制御部１４１は、三次元実空間ＲＳを通行する人物の移動の軌跡とその軌跡をその人物が通過した確率とを求め、これを出力する。
【００３０】
具体的には、制御部１４１は、１）ＨＤＤ１５に格納されている一連の二次元画像ＩＭを読み出し、２）二次元画像ＩＭ中の検出対象（人物）の特徴点（頭頂部）を検出し、３）特徴点の二次元画像ＩＭ内の位置（ｘ，ｙ）を判別し、４）その位置に図４（ｂ）に示す対応付情報を適用して、三次元実空間ＲＳ内の特徴点の位置（Ｘ，Ｙ，Ｚ）とその位置をとる確率とを求め、５）特徴点の三次元実空間ＲＳ内の位置をつなぎ合わせて特徴点の三次元実空間ＲＳ上の軌跡とその軌跡をとった確率とを求め、６）その軌跡と確率とを鳥瞰図上にマッピングして表示部１４４に表示する。制御部１４１が実行する処理の詳細は後述する。
【００３１】
ＨＤＤ１５は、２つの入出力ポートＩＯＰを有し、画像転送部１３から提供される二次元画像ＩＭを第１のポートＩＯＰ１で受信して、順次記憶し、一方、コンピュータ１４の要求に従って、記憶している二次元画像ＩＭを第２のポートＩＯＰ２から出力する。また、コンピュータ１４で処理された後の軌跡データやその画像データを第２ポートＩＯＰ２を介して受信して記憶する。
【００３２】
次に、上記構成を有する位置・移動経路算出装置１の動作を、三次元実空間ＲＳを通行する人物の移動経路（軌跡）を求める場合を例に説明する。
【００３３】
まず、この例においては、検出対象である人物の特徴点として、人物の頭頂部を使用する。二次元画像ＩＭ上で、人物の頭頂部を検出する方法として、ここでは、特開２００２−１９７４６３号公報に記載されている技術を使用する。この方法は、入力画像を差分処理によって非背景領域と背景領域とに分別し、非背景領域の中で画像上最も高い点の座標を特徴点としての人物の頭頂部として抽出する方法である。この特徴点を抽出するための画像処理プログラムもメモリ１４２に格納されている。
【００３４】
１．準備動作
１）移動経路算出の一連の動作に入る前の準備段階として、三次元実空間ＲＳ上の位置と、二次元画像ＩＭ上の位置との対応付け（キャリブレーション）を行う。図２に模式的に示すように、二次元画像ＩＭ上の点（位置）Ｐに対応する三次元実空間ＲＳ内の位置は、直線ｍ上の点Ｑ（Ｑ１、Ｑ２・・・・）の集合で表される。二次元画像ＩＭ上の各位置（ｘ，ｙ）と三次元実空間ＲＳ内の対応する直線ｍ上の各位置Ｑとの関係を予め取得して、ＲＯＭ１４２ａに格納する。実際のキャリブレーションでは、カメラの光学系の特性による画像の歪みなども考慮して行う必要があるが、このようなキャリブレーションについては既に様々な方法が提案されており、ここではその詳細は限定しない。
【００３５】
２）一方、検出対象の特性に応じて、その特徴点の高さと特徴点がその高さをとる確率とを統計処理により事前に取得し、ＨＤＤ１５に格納する。この例では、検出対象が人物であるため、特徴点である頭頂部の高さ、即ち、身長の確率分布を取得し、ＨＤＤ１５に格納する。
【００３６】
また、頭頂部を検出するための差分処理の準備として、三次元実空間ＲＳに歩行者が存在しない状態の画像、即ち、背景画像を取得し、ＨＤＤ１５に記憶させる。
【００３７】
２．二次元画像取得動作
三次元実空間ＲＳの所定の位置に設置された撮像装置１１は、一定時間Δｔ間隔で、三次元実空間ＲＳを二次元空間ＩＳに投影した二次元画像ＩＭを取得して、出力する。この二次元画像ＩＭは、画像バッファ１２に一旦蓄積された後、画像転送部１３により撮像時刻と対応付けられてＨＤＤ１５に転送される。ＨＤＤ１５は、図３に模式的に示すように、順次転送されてくる二次元画像ＩＭを記憶する。
【００３８】
３．経路取得動作
上述の画像取得動作と並行して、或いは、上述の画像取得動作で過去に取得した一連の二次元画像ＩＭについて、コンピュータは、以下の一連の動作を行って、三次元実空間ＲＳを通行する人物の移動経路を求める。この処理は、以下に説明する、特徴点検出動作と移動経路算出動作と軌跡表示動作とから構成される。
【００３９】
３．１ 特徴点検出動作
この処理は、各二次元画像ＩＭ上で、検出対象の特徴点である人物の頭頂部の位置を求める動作である。この特徴点検出動作を図５を参照して説明する。
【００４０】
コンピュータ１４の制御部１４１は、入力部１４３からの入力指示等に応答して、ＨＤＤ１５に蓄積されている二次元画像ＩＭを撮影時刻の順に読み出し、図５のフローチャートに示す処理を実行する。まず、最初の二次元画像ＩＭ（撮影時刻ｔ０）を呼び出し、ＨＤＤ１５に記憶されている背景画像との間で差分処理を行って、画像内に人物の画像が存在するか否かを検出する処理を行う（ステップＳ１０１）。
【００４１】
続いて、ステップＳ１０２で、ステップＳ１０１の検出処理で人物が検出されたか否かを判別する。画像中に人物の存在が確認されなかった場合（ステップＳ１０２：Ｎｏ）、この画像については、これ以上の処理は行わず、メインルーチンにリターンする。
【００４２】
一方、人物を検出した場合（ステップＳ１０２：Ｙｅｓ）、人物の頭頂部の位置、即ち、人物の画像のうちの最上点の座標（ｘ，ｙ）を検出する（ステップＳ１０３）。
【００４３】
続いて、時間的に隣り合わせとなる２枚の静止画像の間でどの人物がどの人物と同一人物であるのかを確認する作業（同定作業）を行う（ステップＳ１０４）。ただし、ｔ＝ｔ０においては、それ以前の時刻の画像が存在せず、同定作業を必要としないため、素通りしてステップＳ１０５に進む。
【００４４】
ステップＳ１０５においては、二次元画像ＩＭ内に新たな検出対象を検出したか否かを判別する。それ以前の二次元画像ＩＭのないｔ＝ｔ０の二次元画像ＩＭ内では、全ての人物が新人物である。このため、ステップＳ１０５では、Ｙｅｓと判別され、処理はステップＳ１０６へ進む。
【００４５】
ステップＳ１０６において、制御部１４１は、画像内で新たに検出された人物について、その人物を識別するための情報（以下、オブジェクト番号ＯＢｉ：ｉは整数）を割り当てる。例えば、画像内で検出した第１の人物にオブジェクト番号ＯＢ１を割り当てる。二次元画像ＩＭ内に人物が複数存在する場合は、順次、ＯＢ２、ＯＢ３、・・・・・・を割り当てる（ステップＳ１０６）。
【００４６】
以上で、ｔ＝ｔ０の二次元画像ＩＭへの処理が終了する。
【００４７】
図６（ａ）に、ｔ＝ｔ０の二次元ＩＭ画像への処理の結果の例を模式的に表す。この例は、二次元画像ＩＭ内に二人の人物を検出し、オブジェクト番号ＯＢ１とＯＢ２を割り当て、ＯＢ１の頭頂部の座標が（ｘ０１，ｙ０１）でＯＢ２の頭頂部の座標が（ｘ０２，ｙ０２）であったことを示している。
【００４８】
次に、制御部１４１は、２番目の二次元画像ＩＭ（ｔ＝ｔ１）を選択し、人物を検出する（ステップＳ１０１）。
【００４９】
次に、人物が検出されたか否かを判別し（ステップＳ１０２）、検出されなかった場合（ステップＳ１０２：Ｎｏ）、リターンする。
一方、人物が検出された場合（ステップＳ１０２：Ｙｅｓ）、検出した各人物の頭頂部の位置座標（ｘ，ｙ）を検出し（ステップＳ１０３）、検出した人物の同定作業を行う（ステップＳ１０４）。即ち、検出した人物が従前の二次元画像ＩＭ内にも存在していた人物であるか否かを判別する。この処理のため、制御部１４１は、ｔ＝ｔ０の二次元画像ＩＭ上に存在した人物の位置と今回検出した人物の位置とを比較し、両画像間で最も近い位置に存在する人物を同一の人物であると判別し、従前と同一のオブジェクト番号ＯＢを割り当てる。
【００５０】
続いて、検出された人物のうちで従前の画像に存在しない人物がいるか否かを判別する（ステップＳ１０５）。新たな人物の存在が確認された場合（ステップＳ１０５：Ｙｅｓ）、処理はステップＳ１０６へ進む。一方、新たな人物が検出されなかった場合（ステップＳ１０５：Ｎｏ）は、リターンする。
【００５１】
ステップＳ１０６において、制御部１４１は、新たに検出された人物について、新規のオブジェクト番号を割り当てる。例えば、従前の画像内に人物が２人存在した場合、新たに検出された３人目の人物にオブジェクト番号ＯＢ３を割り当てる。新たに検出された人物が複数存在する場合は、順次、ＯＢ４、ＯＢ５、・・・・・・を割り当てる（ステップＳ１０６）。
【００５２】
以上で、ｔ＝ｔ１の二次元画像ＩＭへの処理が終了する。
【００５３】
図６（ｂ）に、ｔ＝ｔ１の二次元画像ＩＭへの処理の結果の例を模式的に表す。この例は、図６（ａ）で示した二人の人物がｔ＝ｔ０からｔ＝ｔ１にかけてそれぞれ移動をし、ＯＢ１の頭頂部の座標が（ｘ１１，ｙ１１）、ＯＢ２の頭頂部の座標が（ｘ１２，ｙ１２）へと変化したことを示している。
【００５４】
以下同様にｔ＝ｔｎ−１まで、制御部１４１が画像を呼び出し、人物を検出し、頭頂部の座標を求めて、ＯＢを同定する作業を繰り返す。
【００５５】
図６（ｃ）に、ｔ＝ｔｋの二次元画像ＩＭへの処理の結果の例を模式的に表す。この例は、ＯＢ１とＯＢ２のそれぞれの頭頂部の座標が（ｘｋ１，ｙｋ１）と（ｘｋ２，ｙｋ２）に変化し、また、新たな人物ＯＢ３が出現していて、その頭頂部の座標が（ｘｋ３，ｙｋ３）であることを示している。
【００５６】
３．２ 移動経路算出動作
次に、移動経路算出動作の実際を、図７のフローチャートを参照して説明する。
【００５７】
まず、制御部１４１は、ＨＤＤ１５内に格納されている、ＯＢ１の頭頂部に関する一連のデータ（時刻毎に整理された頭頂部の位置）を呼び出す（ステップＳ２０１）。さらに、その中から、ｔ＝ｔ０における二次元画像ＩＭ上の座標を抽出する（ステップＳ２０２）。
【００５８】
頭頂部の二次元画像ＩＭ上の座標に対して、対応付情報と身長の確率分布とを適用し、ＯＢ１の頭頂部が三次元実空間ＲＳ内でとりうる位置と、その位置をとる確率とを求める（ステップＳ２０３）。具体的には、まず制御部１４１が、図４（ｂ）に例示する対応付情報をＲＯＭ１４２ａから呼び出し、ＯＢ１の頭頂部の三次元実空間上での位置（直線）を判別する。
【００５９】
次に、その直線の式（線形一次式）：Ｚ＝ａ（Ｘ−ｂ）＝ｃ（Ｙ−ｄ）のＺに、Ｚ（実空間上の高さ）の情報であるＯＢ１の身長の確率分布を代入し、ＸおよびＹを算出する。以上の動作により、ｔ＝ｔ０におけるＯＢ１の頭頂部の三次元実空間ＲＳ上の位置（Ｘ，Ｙ，Ｚ）を、図８に例示するような確率分布として算出する。
【００６０】
以上の処理を、ｔ＝ｔｎ−１のものが出てくるまで（ステップＳ２０４）、各時刻毎の画像について順番に繰り返して（ステップＳ２０５）、ＯＢ１の全ての時刻（ｔ＝ｔ０〜ｔｎ−１）における頭頂部の、三次元実空間ＲＳ内での位置とその位置をとる確率とを求める。
【００６１】
次に制御部１４１は、ＯＢ１の頭頂部の位置およびその位置をとる確率の時間的な推移から、三次元実空間ＲＳ内の軌跡およびその軌跡をとる確率を求める。具体的には、図９に例示するように、異なる時刻の画像間で同じ確率を示す点、即ちＯＢ１が同じ身長である場合の点同士を連結させる。時間的に隣同士となる点を全て連結し、ＯＢ１の頭頂部の三次元実空間ＲＳ上の軌跡とその軌跡をとる確率とを得る（ステップＳ２０６）。
【００６２】
以上で、ＯＢ１についての特徴点検出動作の処理を終了する（ステップＳ２０７）。
【００６３】
以上の処理を、各オブジェクトについて順番に繰り返して、各オブジェクト（人物）の移動経路（三次元実空間ＲＳ上の軌跡）とその移動経路をとる確率とを求める（ステップＳ２０８）。
【００６４】
３．３ 軌跡表示動作
上述の移動経路算出動作によって得た三次元実空間ＲＳ上の軌跡とその軌跡をとる確率とを、視認できる形に画像化する。これには例えば、制御部１４１が軌跡から高さ（Ｚ）方向の情報を排除し、確率分布を鳥瞰図上にマッピングして、表示部１４４に表示させる。その際、例えば図１０に示すように確率の大きさに応じて軌跡線の太さを変えたり、色を変えるなどすることで、軌跡の確率分布を視覚的に分かりやすい形で得ることができる。
【００６５】
以上説明したように、本実施の形態の位置判別装置、移動経路算出装置は、人物を撮影した二次元画像ＩＭと身長の確率分布とを用いて、人物の存在位置および移動経路を確率分布として算出する。
【００６６】
このように、身長の確率分布を用いることにより、身長の実際の値が未知である不特定の人物の位置や移動経路を、確率的に決定することができる。これにより、人物がどこにいる可能性が高いか、またはどのような経路で移動した可能性が高いかといった統計的な情報を得ることができる。本方法は、多くの人がどこをどのように移動したかを統計的に算出する場合に有用である。
【００６７】
さらに、鳥瞰図を用いることにより、高さの異なる対象（人物）の移動経路の比較が容易となる。軌跡を鳥瞰図上に描くことで、遠いほど対象（人物）が小さくなるなどの画像内での空間密度の違いを受けずに、定量的に正確な分布が得られる。
【００６８】
また、頭頂部を特徴点とすることで、棚などの設置物や人混みなどで足元の情報が得られない場合でも、人物の位置や移動経路を算出することができる。
【００６９】
本発明は、上記実施の形態に限られず、種々の変形、応用が可能である。以下、本発明を適用可能な上記実施の形態の変形態様について、説明する。
【００７０】
上記実施の形態では、各時刻における三次元実空間ＲＳ上での位置とその位置をとる確率とを求め、それらを連続させて三次元実空間ＲＳ上の移動経路を求めた。しかし、まず二次元画像ＩＭ上で画像上軌跡を求めてから、三次元実空間ＲＳ上の移動経路を求めてもよい。この方法は、例えば図１１に模式的に示すように、画像上軌跡と鳥瞰図上軌跡とを比較したい場合などに有効である。
【００７１】
上記実施例では、人物の移動経路を算出したが、検出対象はこれに限られない。例えば自動車などを検出対象とし、車体の天井部を特徴点として移動経路を算出してもよい。
【００７２】
また、上記実施の形態では、人物が検出対象である場合の特徴点として、頭頂部を用いた。しかし、特徴点はこれに限られず、例えば赤外線等のセンサを用いて、顔面などを人物の特徴点として検出してもよい。
【００７３】
また上記実施例で述べた、対象の検出、特徴点の検出、追跡方法はこれに限られず、他の様々な方法で置き換えることができる。
【００７４】
また上記実施の形態では、オンラインで連続静止画像を取得し、それを解析するという方法を用いた。しかし、まず最初に画像だけを取得し、時間と場所を改めてから解析を行ってもよい。
【００７５】
また上記実施例では、対応付情報を用いて頭頂部の三次元実空間ＲＳ上の位置を表す直線を求め、この直線の式に身長の確率分布を代入して位置（および移動経路）の確率分布を算出した。しかし、例えば対応付情報と身長の確率分布とに基づいて、二次元画像ＩＭ上の任意の位置を三次元実空間ＲＳ上の位置とその位置をとる確率とに変換する変換テーブルを予め作成しておき、これを用いて位置および確率を算出してもよい。
【００７６】
【発明の効果】
本発明によれば、個々の高さは未知だがその高さの確率分布が既知である場合に、物体の位置および移動経路を確率分布として決定できるようになる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る位置判別装置、移動経路算出装置の構成を示す図である。
【図２】二次元画像上の位置と三次元実空間上の位置との対応関係を模式的に表す図である。
【図３】画像が、撮影時刻順に格納される様子を模式的に表す図である。
【図４】メモリの構成と、ＲＯＭに格納されるデータの例を示す図である。
【図５】画像中の人物の頭頂部（特徴点）を検出する処理の流れを示すフローチャートである。
【図６】頭頂部位置判別処理の結果画像を模式的に表した図である。
【図７】移動経路算出処理の流れを示すフローチャートである。
【図８】二次元画像上の位置と身長の確率とから三次元実空間上の位置を求める処理を説明するための図である。
【図９】三次元実空間上の軌跡を求める動作を説明するための図である。
【図１０】成人男性を例に取った身長の確率分布と、それに基づく移動経路の確率分布とを模式的に表した図である。
【図１１】画像空間と実空間と鳥瞰図とにおける軌跡を比較する模式図である。
【符号の説明】
１１ 撮像装置
１２ 画像バッファ
１３ 画像転送部
１４ コンピュータ
１４１ 制御部
１４２ メモリ
１４２ａ ＲＯＭ
１４２ｂ ＲＡＭ
１４３ 入力部
１４４ 表示部
１５ ＨＤＤ
【発明の属する技術分野】
本発明は、撮影された画像を用いて、物体の位置を検出する技術に関する。
【０００２】
【従来の技術】
１台のカメラで撮影した物体の画像を用いて、物体の実空間での位置を正確に求めるためには、カメラの撮影条件と共に以下のいずれかの条件が満たされている必要がある。
１）物体の接地位置（人間であれば、足の位置）が正しく検知されること、
２）画像処理で検出可能な物体の特徴点（例えば、人間の場合、顔や頭頂部）の高さが既知であること。
【０００３】
第１の条件が満たされていれば、画像上の位置から接地位置までの距離と物体の高さなどを判別することが可能である。
【０００４】
また、第２の条件に従い、身長が既知である人物の状態と移動経路とを算出する挙動検出装置が特許文献１に開示されている。この挙動検出装置は、連続する撮影画像内での人物の頭部の動きを検出し、その軌跡を解析することで人物が移動状態にあるのか静止状態にあるのかなどを判別する装置である。
【０００５】
【特許文献１】
特開２００２−１９７４６３号公報
【０００６】
【発明が解決しようとする課題】
物体の位置を検出する際、接地位置の情報が正しく得られないことが多い。例えば、位置検出の対象が人間である場合、棚などの設置物がある店舗の中や、人混みの中では、足元は設置物や別の人物の陰に隠れてしまう。従って、第１の条件である接地位置を判別する位置・移動経路算出方法は使用できる場面が限定されており、実用性に欠ける。
【０００７】
また、第２の条件である既知の特徴点の高さを用いる位置・移動経路算出方法では、特徴点の高さを事前に所得しておくことが困難である。例えば、個体による身体的特徴の差異が顕著な、動物などを位置検出の対象とする場合、既知の身体的特徴を有する対象については測定可能であるが、未知の身体的特徴を有する対象については応用できない。このため、使用できる場面が著しく限定される。例えば人間を位置検出の対象とする場合、顔や頭頂部の高さは人により大きく異なるので、未知の不特定の人物の位置や移動経路を特定することには使用できない。
【０００８】
本発明は、上記実状に鑑みてなされたものであり、前提条件が少なく汎用性の高いやり方で、三次元実空間内の物体の位置および移動経路の検出を可能とすることを目的とする。
また、本発明は、接地位置の検出が困難でかつ個々の高さが未知である物体の位置および移動経路の検出を可能とすることを他の目的とする。
【０００９】
【課題を解決するための手段】
上記目的を達成するため、本発明の第１の観点に係る位置判別装置は、
三次元空間を撮影した二次元画像を記憶する画像記憶手段と、
前記画像記憶手段に記憶されている前記二次元画像中の検出対象を検出する対象検出手段と、
前記対象検出手段により検出された検出対象の前記二次元画像中の位置を判別する画像内位置判別手段と、
前記二次元画像上の各位置について、前記三次元空間上で前記検出対象がとりうる位置と該検出対象がその位置をとる確率とを対応付ける対応付情報を記憶する確率分布記憶手段と、
前記対応付情報に基づいて、前記画像内位置判別手段により判別された前記二次元画像上の検出対象の位置を前記三次元空間上の位置とその確率との分布に変換する変換手段と、
を備えることを特徴とする。
【００１０】
本発明の第２の観点に係る位置判別装置は、
三次元空間を撮影した一連の二次元画像を記憶する画像記憶手段と、
前記画像記憶手段に記憶されている各前記二次元画像について、該二次元画像中の検出対象を検出する対象検出手段と、
前記対象検出手段により検出された検出対象の前記二次元画像中の位置を判別する画像内位置判別手段と、
前記二次元画像上の各位置について、前記三次元空間上で前記検出対象がとりうる位置と該検出対象がその位置をとる確率とを対応付ける対応付情報を記憶する確率分布記憶手段と、
前記対応付情報に基づいて、前記画像内位置判別手段により判別された前記二次元画像上の検出対象の位置を前記三次元空間上の該検出対象の位置とその位置をとる確率との分布に変換する変換手段と、
前記変換手段により変換された各二次元画像について、三次元空間上の位置とその位置をとる確率とに基づいて、一連の二次元画像上の位置の変化とその位置の変化をとる確率との分布を求める手段と、
を備えることを特徴とする。
【００１１】
本発明の第３の観点に係る移動経路算出装置は、
三次元空間を撮影した時間軸上で連続する二次元画像を記憶する画像記憶手段と、
前記画像記憶手段に記憶されている前記二次元画像中の検出対象を検出する対象検出手段と、
前記対象検出手段により検出された対象の前記二次元画像上の移動軌跡を取得する軌跡取得手段と、
前記二次元画像上の各位置について、前記三次元空間上で前記検出対象がとりうる位置と該検出対象がその位置をとる確率とを対応付ける対応付情報を記憶する分布記憶手段と、
前記軌跡取得手段で取得された前記二次元空間上の移動軌跡と前記対応付情報とに基づいて、前記三次元空間における該検出対象の移動経路とその経路をとった確率との分布を算出する移動経路算出手段と、
を備えることを特徴とする。
【００１２】
前記移動経路算出装置は、さらに、
前記分布記憶手段は、前記検出対象の高さの確率分布を記憶し、
前記変換手段は、前記高さの確率分布に基づいて、前記二次元画像上の前記検出対象の位置を前記三次元空間上の位置（奥行きおよび高さ）と、その位置をとる確率との分布に変換してもよい。
【００１３】
前記移動経路算出装置は、さらに、
前記移動経路算出手段によって算出された移動経路とその移動経路をとった確率とを視認できる形態で画像化する画像化手段、
を備えてもよい。
【００１４】
前記移動経路算出装置は、さらに、
前記画像化手段は、その移動経路をとった確率を示す修飾が施された移動経路を示す線の画像を生成する手段、
を備えてもよい。
【００１５】
前記移動経路算出装置は、さらに、
算出された移動経路を、前記三次元空間の鳥瞰図上にマッピングするマッピング手段、
を備えてもよい。
【００１６】
本発明の第４の観点に係る位置判別方法は、
三次元空間を撮影した二次元画像を記憶し、
記憶されている前記二次元画像中の検出対象を検出し、
検出された検出対象の前記二次元画像中の位置を判別し、
前記二次元画像上の各位置について、前記三次元空間上で前記検出対象がとりうる位置と該検出対象がその位置をとる確率とを対応付ける対応付情報を記憶し、
前記対応付情報に基づいて、判別された前記二次元画像上の検出対象の位置を前記三次元空間上の位置とその確率との分布に変換する、
ことを特徴とする。
【００１７】
本発明の第５の観点に係るプログラムは、
コンピュータを、
三次元空間を撮影した二次元画像を記憶する画像記憶手段と、
前記画像記憶手段に記憶されている前記二次元画像中の検出対象を検出する対象検出手段と、
前記対象検出手段により検出された検出対象の前記二次元画像中の位置を判別する画像内位置判別手段と、
前記二次元画像上の各位置について、前記三次元空間上で前記検出対象がとりうる位置と該検出対象がその位置をとる確率とを対応付ける対応付情報を記憶する確率分布記憶手段と、
前記対応付情報に基づいて、前記画像内位置判別手段により判別された前記二次元画像上の検出対象の位置を前記三次元空間上の位置とその確率との分布に変換する変換手段と、
して機能させることを特徴とする。
【００１８】
【発明の実施の形態】
以下、図面を参照しつつ、本発明の実施の形態に係る位置・移動経路算出装置を説明する。
【００１９】
本実施の形態に係る位置・移動経路算出装置１は、図１に示すように、撮像装置（カメラ）１１と、画像バッファ１２と、画像転送部１３と、コンピュータ１４と、大容量ハードディスク（ＨＤＤ）１５とから構成される。
【００２０】
撮像装置１１は、ディジタルスチルカメラなどから構成され、図２に模式的に示すように、実空間ＲＳの任意の位置に実空間ＲＳを通行する人物を撮影するように設置されている。撮像装置１１の設置位置の高さＴと光軸の傾きαとは、事前に求められている。撮像装置１１は、一定期間Δｔおきに、三次元実空間の静止画像を取得して、任意のフォーマットの画像データを出力する。
【００２１】
画像バッファ１２は、撮像装置１１から送られた画像データを一時的に記憶し、画像転送部１３の転送速度に合わせて順次送り出す。
【００２２】
画像転送部１３は、ＨＤＤ１５に通信ネットワークを介して接続される。画像転送部１３は、図３に模式的に示すように、画像バッファ１２を介して撮像装置１１から連続的に供給される一連の静止画ＩＭの画像データを撮影時刻（又は順番）ｔと対応付けて、ＨＤＤ１５に提供する。
【００２３】
コンピュータ１４は、制御部１４１と、メモリ１４２と、入力部１４３と、表示部１４４と、を備える。
【００２４】
メモリ１４２は、図４（ａ）に示すように、ＲＯＭ１４２ａとＲＡＭ１４２ｂとを備える。
【００２５】
ＲＯＭ１４２ａは、フラッシュメモリ、ハードディスク装置などから構成され、制御部１４１の動作を規定する動作プログラムを記憶する。また、ＲＯＭ１４２ａは、図４（ｂ）に模式的に示すように、二次元画像ＩＭ上の位置Ｐ（ｘ，ｙ）とその三次元実空間ＲＳ内での高さＺと三次元実空間ＲＳ内での奥行きＹとを、三次元実空間ＲＳ内の位置Ｑ（Ｘ，Ｙ，Ｚ）に対応付ける対応付情報を記憶する。なお、対応付情報の詳細については、図２および図４（ｂ）を参照して後述する。
【００２６】
ＲＡＭ１４２ｂは、制御部１４１のワークエリアとして機能する。
【００２７】
入力部１４３は、キーボード、マウスなどから構成され、種々の命令やデータを制御部１４１に入力する。
【００２８】
表示部１４４は、ＣＲＴ、液晶表示装置などから構成され、撮像装置１１により取得された二次元画像ＩＭなど、様々な画像を表示する。また、コンピュータ１４により取得された三次元実空間ＲＳを通行する人物の頭頂部の軌跡とその軌跡をとる確率とを三次元実空間ＲＳの鳥瞰図に重ねて表示する。
【００２９】
制御部１４１は、コンピュータ１４全体の動作を制御するためのものであり、マイクロプロセッサ等から構成され、ＲＯＭ１４２ａに格納された動作プログラムに従ってＲＡＭ１４２ｂをワークエリアとして使用して動作する。制御部１４１は、三次元実空間ＲＳを通行する人物の移動の軌跡とその軌跡をその人物が通過した確率とを求め、これを出力する。
【００３０】
具体的には、制御部１４１は、１）ＨＤＤ１５に格納されている一連の二次元画像ＩＭを読み出し、２）二次元画像ＩＭ中の検出対象（人物）の特徴点（頭頂部）を検出し、３）特徴点の二次元画像ＩＭ内の位置（ｘ，ｙ）を判別し、４）その位置に図４（ｂ）に示す対応付情報を適用して、三次元実空間ＲＳ内の特徴点の位置（Ｘ，Ｙ，Ｚ）とその位置をとる確率とを求め、５）特徴点の三次元実空間ＲＳ内の位置をつなぎ合わせて特徴点の三次元実空間ＲＳ上の軌跡とその軌跡をとった確率とを求め、６）その軌跡と確率とを鳥瞰図上にマッピングして表示部１４４に表示する。制御部１４１が実行する処理の詳細は後述する。
【００３１】
ＨＤＤ１５は、２つの入出力ポートＩＯＰを有し、画像転送部１３から提供される二次元画像ＩＭを第１のポートＩＯＰ１で受信して、順次記憶し、一方、コンピュータ１４の要求に従って、記憶している二次元画像ＩＭを第２のポートＩＯＰ２から出力する。また、コンピュータ１４で処理された後の軌跡データやその画像データを第２ポートＩＯＰ２を介して受信して記憶する。
【００３２】
次に、上記構成を有する位置・移動経路算出装置１の動作を、三次元実空間ＲＳを通行する人物の移動経路（軌跡）を求める場合を例に説明する。
【００３３】
まず、この例においては、検出対象である人物の特徴点として、人物の頭頂部を使用する。二次元画像ＩＭ上で、人物の頭頂部を検出する方法として、ここでは、特開２００２−１９７４６３号公報に記載されている技術を使用する。この方法は、入力画像を差分処理によって非背景領域と背景領域とに分別し、非背景領域の中で画像上最も高い点の座標を特徴点としての人物の頭頂部として抽出する方法である。この特徴点を抽出するための画像処理プログラムもメモリ１４２に格納されている。
【００３４】
１．準備動作
１）移動経路算出の一連の動作に入る前の準備段階として、三次元実空間ＲＳ上の位置と、二次元画像ＩＭ上の位置との対応付け（キャリブレーション）を行う。図２に模式的に示すように、二次元画像ＩＭ上の点（位置）Ｐに対応する三次元実空間ＲＳ内の位置は、直線ｍ上の点Ｑ（Ｑ１、Ｑ２・・・・）の集合で表される。二次元画像ＩＭ上の各位置（ｘ，ｙ）と三次元実空間ＲＳ内の対応する直線ｍ上の各位置Ｑとの関係を予め取得して、ＲＯＭ１４２ａに格納する。実際のキャリブレーションでは、カメラの光学系の特性による画像の歪みなども考慮して行う必要があるが、このようなキャリブレーションについては既に様々な方法が提案されており、ここではその詳細は限定しない。
【００３５】
２）一方、検出対象の特性に応じて、その特徴点の高さと特徴点がその高さをとる確率とを統計処理により事前に取得し、ＨＤＤ１５に格納する。この例では、検出対象が人物であるため、特徴点である頭頂部の高さ、即ち、身長の確率分布を取得し、ＨＤＤ１５に格納する。
【００３６】
また、頭頂部を検出するための差分処理の準備として、三次元実空間ＲＳに歩行者が存在しない状態の画像、即ち、背景画像を取得し、ＨＤＤ１５に記憶させる。
【００３７】
２．二次元画像取得動作
三次元実空間ＲＳの所定の位置に設置された撮像装置１１は、一定時間Δｔ間隔で、三次元実空間ＲＳを二次元空間ＩＳに投影した二次元画像ＩＭを取得して、出力する。この二次元画像ＩＭは、画像バッファ１２に一旦蓄積された後、画像転送部１３により撮像時刻と対応付けられてＨＤＤ１５に転送される。ＨＤＤ１５は、図３に模式的に示すように、順次転送されてくる二次元画像ＩＭを記憶する。
【００３８】
３．経路取得動作
上述の画像取得動作と並行して、或いは、上述の画像取得動作で過去に取得した一連の二次元画像ＩＭについて、コンピュータは、以下の一連の動作を行って、三次元実空間ＲＳを通行する人物の移動経路を求める。この処理は、以下に説明する、特徴点検出動作と移動経路算出動作と軌跡表示動作とから構成される。
【００３９】
３．１ 特徴点検出動作
この処理は、各二次元画像ＩＭ上で、検出対象の特徴点である人物の頭頂部の位置を求める動作である。この特徴点検出動作を図５を参照して説明する。
【００４０】
コンピュータ１４の制御部１４１は、入力部１４３からの入力指示等に応答して、ＨＤＤ１５に蓄積されている二次元画像ＩＭを撮影時刻の順に読み出し、図５のフローチャートに示す処理を実行する。まず、最初の二次元画像ＩＭ（撮影時刻ｔ０）を呼び出し、ＨＤＤ１５に記憶されている背景画像との間で差分処理を行って、画像内に人物の画像が存在するか否かを検出する処理を行う（ステップＳ１０１）。
【００４１】
続いて、ステップＳ１０２で、ステップＳ１０１の検出処理で人物が検出されたか否かを判別する。画像中に人物の存在が確認されなかった場合（ステップＳ１０２：Ｎｏ）、この画像については、これ以上の処理は行わず、メインルーチンにリターンする。
【００４２】
一方、人物を検出した場合（ステップＳ１０２：Ｙｅｓ）、人物の頭頂部の位置、即ち、人物の画像のうちの最上点の座標（ｘ，ｙ）を検出する（ステップＳ１０３）。
【００４３】
続いて、時間的に隣り合わせとなる２枚の静止画像の間でどの人物がどの人物と同一人物であるのかを確認する作業（同定作業）を行う（ステップＳ１０４）。ただし、ｔ＝ｔ０においては、それ以前の時刻の画像が存在せず、同定作業を必要としないため、素通りしてステップＳ１０５に進む。
【００４４】
ステップＳ１０５においては、二次元画像ＩＭ内に新たな検出対象を検出したか否かを判別する。それ以前の二次元画像ＩＭのないｔ＝ｔ０の二次元画像ＩＭ内では、全ての人物が新人物である。このため、ステップＳ１０５では、Ｙｅｓと判別され、処理はステップＳ１０６へ進む。
【００４５】
ステップＳ１０６において、制御部１４１は、画像内で新たに検出された人物について、その人物を識別するための情報（以下、オブジェクト番号ＯＢｉ：ｉは整数）を割り当てる。例えば、画像内で検出した第１の人物にオブジェクト番号ＯＢ１を割り当てる。二次元画像ＩＭ内に人物が複数存在する場合は、順次、ＯＢ２、ＯＢ３、・・・・・・を割り当てる（ステップＳ１０６）。
【００４６】
以上で、ｔ＝ｔ０の二次元画像ＩＭへの処理が終了する。
【００４７】
図６（ａ）に、ｔ＝ｔ０の二次元ＩＭ画像への処理の結果の例を模式的に表す。この例は、二次元画像ＩＭ内に二人の人物を検出し、オブジェクト番号ＯＢ１とＯＢ２を割り当て、ＯＢ１の頭頂部の座標が（ｘ０１，ｙ０１）でＯＢ２の頭頂部の座標が（ｘ０２，ｙ０２）であったことを示している。
【００４８】
次に、制御部１４１は、２番目の二次元画像ＩＭ（ｔ＝ｔ１）を選択し、人物を検出する（ステップＳ１０１）。
【００４９】
次に、人物が検出されたか否かを判別し（ステップＳ１０２）、検出されなかった場合（ステップＳ１０２：Ｎｏ）、リターンする。
一方、人物が検出された場合（ステップＳ１０２：Ｙｅｓ）、検出した各人物の頭頂部の位置座標（ｘ，ｙ）を検出し（ステップＳ１０３）、検出した人物の同定作業を行う（ステップＳ１０４）。即ち、検出した人物が従前の二次元画像ＩＭ内にも存在していた人物であるか否かを判別する。この処理のため、制御部１４１は、ｔ＝ｔ０の二次元画像ＩＭ上に存在した人物の位置と今回検出した人物の位置とを比較し、両画像間で最も近い位置に存在する人物を同一の人物であると判別し、従前と同一のオブジェクト番号ＯＢを割り当てる。
【００５０】
続いて、検出された人物のうちで従前の画像に存在しない人物がいるか否かを判別する（ステップＳ１０５）。新たな人物の存在が確認された場合（ステップＳ１０５：Ｙｅｓ）、処理はステップＳ１０６へ進む。一方、新たな人物が検出されなかった場合（ステップＳ１０５：Ｎｏ）は、リターンする。
【００５１】
ステップＳ１０６において、制御部１４１は、新たに検出された人物について、新規のオブジェクト番号を割り当てる。例えば、従前の画像内に人物が２人存在した場合、新たに検出された３人目の人物にオブジェクト番号ＯＢ３を割り当てる。新たに検出された人物が複数存在する場合は、順次、ＯＢ４、ＯＢ５、・・・・・・を割り当てる（ステップＳ１０６）。
【００５２】
以上で、ｔ＝ｔ１の二次元画像ＩＭへの処理が終了する。
【００５３】
図６（ｂ）に、ｔ＝ｔ１の二次元画像ＩＭへの処理の結果の例を模式的に表す。この例は、図６（ａ）で示した二人の人物がｔ＝ｔ０からｔ＝ｔ１にかけてそれぞれ移動をし、ＯＢ１の頭頂部の座標が（ｘ１１，ｙ１１）、ＯＢ２の頭頂部の座標が（ｘ１２，ｙ１２）へと変化したことを示している。
【００５４】
以下同様にｔ＝ｔｎ−１まで、制御部１４１が画像を呼び出し、人物を検出し、頭頂部の座標を求めて、ＯＢを同定する作業を繰り返す。
【００５５】
図６（ｃ）に、ｔ＝ｔｋの二次元画像ＩＭへの処理の結果の例を模式的に表す。この例は、ＯＢ１とＯＢ２のそれぞれの頭頂部の座標が（ｘｋ１，ｙｋ１）と（ｘｋ２，ｙｋ２）に変化し、また、新たな人物ＯＢ３が出現していて、その頭頂部の座標が（ｘｋ３，ｙｋ３）であることを示している。
【００５６】
３．２ 移動経路算出動作
次に、移動経路算出動作の実際を、図７のフローチャートを参照して説明する。
【００５７】
まず、制御部１４１は、ＨＤＤ１５内に格納されている、ＯＢ１の頭頂部に関する一連のデータ（時刻毎に整理された頭頂部の位置）を呼び出す（ステップＳ２０１）。さらに、その中から、ｔ＝ｔ０における二次元画像ＩＭ上の座標を抽出する（ステップＳ２０２）。
【００５８】
頭頂部の二次元画像ＩＭ上の座標に対して、対応付情報と身長の確率分布とを適用し、ＯＢ１の頭頂部が三次元実空間ＲＳ内でとりうる位置と、その位置をとる確率とを求める（ステップＳ２０３）。具体的には、まず制御部１４１が、図４（ｂ）に例示する対応付情報をＲＯＭ１４２ａから呼び出し、ＯＢ１の頭頂部の三次元実空間上での位置（直線）を判別する。
【００５９】
次に、その直線の式（線形一次式）：Ｚ＝ａ（Ｘ−ｂ）＝ｃ（Ｙ−ｄ）のＺに、Ｚ（実空間上の高さ）の情報であるＯＢ１の身長の確率分布を代入し、ＸおよびＹを算出する。以上の動作により、ｔ＝ｔ０におけるＯＢ１の頭頂部の三次元実空間ＲＳ上の位置（Ｘ，Ｙ，Ｚ）を、図８に例示するような確率分布として算出する。
【００６０】
以上の処理を、ｔ＝ｔｎ−１のものが出てくるまで（ステップＳ２０４）、各時刻毎の画像について順番に繰り返して（ステップＳ２０５）、ＯＢ１の全ての時刻（ｔ＝ｔ０〜ｔｎ−１）における頭頂部の、三次元実空間ＲＳ内での位置とその位置をとる確率とを求める。
【００６１】
次に制御部１４１は、ＯＢ１の頭頂部の位置およびその位置をとる確率の時間的な推移から、三次元実空間ＲＳ内の軌跡およびその軌跡をとる確率を求める。具体的には、図９に例示するように、異なる時刻の画像間で同じ確率を示す点、即ちＯＢ１が同じ身長である場合の点同士を連結させる。時間的に隣同士となる点を全て連結し、ＯＢ１の頭頂部の三次元実空間ＲＳ上の軌跡とその軌跡をとる確率とを得る（ステップＳ２０６）。
【００６２】
以上で、ＯＢ１についての特徴点検出動作の処理を終了する（ステップＳ２０７）。
【００６３】
以上の処理を、各オブジェクトについて順番に繰り返して、各オブジェクト（人物）の移動経路（三次元実空間ＲＳ上の軌跡）とその移動経路をとる確率とを求める（ステップＳ２０８）。
【００６４】
３．３ 軌跡表示動作
上述の移動経路算出動作によって得た三次元実空間ＲＳ上の軌跡とその軌跡をとる確率とを、視認できる形に画像化する。これには例えば、制御部１４１が軌跡から高さ（Ｚ）方向の情報を排除し、確率分布を鳥瞰図上にマッピングして、表示部１４４に表示させる。その際、例えば図１０に示すように確率の大きさに応じて軌跡線の太さを変えたり、色を変えるなどすることで、軌跡の確率分布を視覚的に分かりやすい形で得ることができる。
【００６５】
以上説明したように、本実施の形態の位置判別装置、移動経路算出装置は、人物を撮影した二次元画像ＩＭと身長の確率分布とを用いて、人物の存在位置および移動経路を確率分布として算出する。
【００６６】
このように、身長の確率分布を用いることにより、身長の実際の値が未知である不特定の人物の位置や移動経路を、確率的に決定することができる。これにより、人物がどこにいる可能性が高いか、またはどのような経路で移動した可能性が高いかといった統計的な情報を得ることができる。本方法は、多くの人がどこをどのように移動したかを統計的に算出する場合に有用である。
【００６７】
さらに、鳥瞰図を用いることにより、高さの異なる対象（人物）の移動経路の比較が容易となる。軌跡を鳥瞰図上に描くことで、遠いほど対象（人物）が小さくなるなどの画像内での空間密度の違いを受けずに、定量的に正確な分布が得られる。
【００６８】
また、頭頂部を特徴点とすることで、棚などの設置物や人混みなどで足元の情報が得られない場合でも、人物の位置や移動経路を算出することができる。
【００６９】
本発明は、上記実施の形態に限られず、種々の変形、応用が可能である。以下、本発明を適用可能な上記実施の形態の変形態様について、説明する。
【００７０】
上記実施の形態では、各時刻における三次元実空間ＲＳ上での位置とその位置をとる確率とを求め、それらを連続させて三次元実空間ＲＳ上の移動経路を求めた。しかし、まず二次元画像ＩＭ上で画像上軌跡を求めてから、三次元実空間ＲＳ上の移動経路を求めてもよい。この方法は、例えば図１１に模式的に示すように、画像上軌跡と鳥瞰図上軌跡とを比較したい場合などに有効である。
【００７１】
上記実施例では、人物の移動経路を算出したが、検出対象はこれに限られない。例えば自動車などを検出対象とし、車体の天井部を特徴点として移動経路を算出してもよい。
【００７２】
また、上記実施の形態では、人物が検出対象である場合の特徴点として、頭頂部を用いた。しかし、特徴点はこれに限られず、例えば赤外線等のセンサを用いて、顔面などを人物の特徴点として検出してもよい。
【００７３】
また上記実施例で述べた、対象の検出、特徴点の検出、追跡方法はこれに限られず、他の様々な方法で置き換えることができる。
【００７４】
また上記実施の形態では、オンラインで連続静止画像を取得し、それを解析するという方法を用いた。しかし、まず最初に画像だけを取得し、時間と場所を改めてから解析を行ってもよい。
【００７５】
また上記実施例では、対応付情報を用いて頭頂部の三次元実空間ＲＳ上の位置を表す直線を求め、この直線の式に身長の確率分布を代入して位置（および移動経路）の確率分布を算出した。しかし、例えば対応付情報と身長の確率分布とに基づいて、二次元画像ＩＭ上の任意の位置を三次元実空間ＲＳ上の位置とその位置をとる確率とに変換する変換テーブルを予め作成しておき、これを用いて位置および確率を算出してもよい。
【００７６】
【発明の効果】
本発明によれば、個々の高さは未知だがその高さの確率分布が既知である場合に、物体の位置および移動経路を確率分布として決定できるようになる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る位置判別装置、移動経路算出装置の構成を示す図である。
【図２】二次元画像上の位置と三次元実空間上の位置との対応関係を模式的に表す図である。
【図３】画像が、撮影時刻順に格納される様子を模式的に表す図である。
【図４】メモリの構成と、ＲＯＭに格納されるデータの例を示す図である。
【図５】画像中の人物の頭頂部（特徴点）を検出する処理の流れを示すフローチャートである。
【図６】頭頂部位置判別処理の結果画像を模式的に表した図である。
【図７】移動経路算出処理の流れを示すフローチャートである。
【図８】二次元画像上の位置と身長の確率とから三次元実空間上の位置を求める処理を説明するための図である。
【図９】三次元実空間上の軌跡を求める動作を説明するための図である。
【図１０】成人男性を例に取った身長の確率分布と、それに基づく移動経路の確率分布とを模式的に表した図である。
【図１１】画像空間と実空間と鳥瞰図とにおける軌跡を比較する模式図である。
【符号の説明】
１１ 撮像装置
１２ 画像バッファ
１３ 画像転送部
１４ コンピュータ
１４１ 制御部
１４２ メモリ
１４２ａ ＲＯＭ
１４２ｂ ＲＡＭ
１４３ 入力部
１４４ 表示部
１５ ＨＤＤ
Claims (9)
- 三次元空間を撮影した二次元画像を記憶する画像記憶手段と、
前記画像記憶手段に記憶されている前記二次元画像中の検出対象を検出する対象検出手段と、
前記対象検出手段により検出された検出対象の前記二次元画像中の位置を判別する画像内位置判別手段と、
前記二次元画像上の各位置について、前記三次元空間上で前記検出対象がとりうる位置と該検出対象がその位置をとる確率とを対応付ける対応付情報を記憶する確率分布記憶手段と、
前記対応付情報に基づいて、前記画像内位置判別手段により判別された前記二次元画像上の検出対象の位置を前記三次元空間上の位置とその確率との分布に変換する変換手段と、
を備えることを特徴とする位置判別装置。 - 三次元空間を撮影した一連の二次元画像を記憶する画像記憶手段と、
前記画像記憶手段に記憶されている各前記二次元画像について、該二次元画像中の検出対象を検出する対象検出手段と、
前記対象検出手段により検出された検出対象の前記二次元画像中の位置を判別する画像内位置判別手段と、
前記二次元画像上の各位置について、前記三次元空間上で前記検出対象がとりうる位置と該検出対象がその位置をとる確率とを対応付ける対応付情報を記憶する確率分布記憶手段と、
前記対応付情報に基づいて、前記画像内位置判別手段により判別された前記二次元画像上の検出対象の位置を前記三次元空間上の該検出対象の位置とその位置をとる確率との分布に変換する変換手段と、
前記変換手段により変換された各二次元画像について、三次元空間上の位置とその位置をとる確率とに基づいて、一連の二次元画像上の位置の変化とその位置の変化をとる確率との分布を求める手段と、
を備えることを特徴とする位置判別装置。 - 三次元空間を撮影した時間軸上で連続する二次元画像を記憶する画像記憶手段と、
前記画像記憶手段に記憶されている前記二次元画像中の検出対象を検出する対象検出手段と、
前記対象検出手段により検出された対象の前記二次元画像上の移動軌跡を取得する軌跡取得手段と、
前記二次元画像上の各位置について、前記三次元空間上で前記検出対象がとりうる位置と該検出対象がその位置をとる確率とを対応付ける対応付情報を記憶する分布記憶手段と、
前記軌跡取得手段で取得された前記二次元空間上の移動軌跡と前記対応付情報とに基づいて、前記三次元空間における該検出対象の移動経路とその経路をとった確率との分布を算出する移動経路算出手段と、
を備えることを特徴とする移動経路算出装置。 - 前記分布記憶手段は、前記検出対象の高さの確率分布を記憶し、
前記変換手段は、前記高さの確率分布に基づいて、前記二次元画像上の前記検出対象の位置を前記三次元空間上の位置（奥行きおよび高さ）と、その位置をとる確率との分布に変換する、
ことを特徴とする請求項２又は３に記載の移動経路算出装置。 - 前記移動経路算出手段によって算出された移動経路とその移動経路をとった確率とを視認できる形態で画像化する画像化手段、
をさらに備えることを特徴とする請求項２乃至４のいずれか１項に記載の移動経路算出装置。 - 前記画像化手段は、その移動経路をとった確率を示す修飾が施された移動経路を示す線の画像を生成する手段を備える、
ことを特徴とする請求項５に記載の移動経路算出装置。 - 算出された移動経路を、前記三次元空間の鳥瞰図上にマッピングするマッピング手段、
を備えることを特徴とする請求項２乃至６のいずれか１項に記載の移動経路算出装置。 - 三次元空間を撮影した二次元画像を記憶し、
記憶されている前記二次元画像中の検出対象を検出し、
検出された検出対象の前記二次元画像中の位置を判別し、
前記二次元画像上の各位置について、前記三次元空間上で前記検出対象がとりうる位置と該検出対象がその位置をとる確率とを対応付ける対応付情報を記憶し、
前記対応付情報に基づいて、判別された前記二次元画像上の検出対象の位置を前記三次元空間上の位置とその確率との分布に変換する、
ことを特徴とする位置判別方法。 - コンピュータを、
三次元空間を撮影した二次元画像を記憶する画像記憶手段と、
前記画像記憶手段に記憶されている前記二次元画像中の検出対象を検出する対象検出手段と、
前記対象検出手段により検出された検出対象の前記二次元画像中の位置を判別する画像内位置判別手段と、
前記二次元画像上の各位置について、前記三次元空間上で前記検出対象がとりうる位置と該検出対象がその位置をとる確率とを対応付ける対応付情報を記憶する確率分布記憶手段と、
前記対応付情報に基づいて、前記画像内位置判別手段により判別された前記二次元画像上の検出対象の位置を前記三次元空間上の位置とその確率との分布に変換する変換手段と、
して機能させることを特徴とするプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003092913A JP3810755B2 (ja) | 2003-03-28 | 2003-03-28 | 位置判別装置、移動経路算出装置、位置判別方法およびプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003092913A JP3810755B2 (ja) | 2003-03-28 | 2003-03-28 | 位置判別装置、移動経路算出装置、位置判別方法およびプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004302700A JP2004302700A (ja) | 2004-10-28 |
| JP3810755B2 true JP3810755B2 (ja) | 2006-08-16 |
Family
ID=33405827
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003092913A Expired - Fee Related JP3810755B2 (ja) | 2003-03-28 | 2003-03-28 | 位置判別装置、移動経路算出装置、位置判別方法およびプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3810755B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4874607B2 (ja) * | 2005-09-12 | 2012-02-15 | 三菱電機株式会社 | 物体測位装置 |
| JP2007188417A (ja) * | 2006-01-16 | 2007-07-26 | Fujitsu Ten Ltd | 画像認識装置、画像認識方法および画像認識プログラム |
| JP5096211B2 (ja) | 2008-03-31 | 2012-12-12 | 富士フイルム株式会社 | 確率分布構築方法、確率分布構築装置、および確率分布構築プログラム、並びに被写体検出方法、被写体検出装置、および被写体検出プログラム |
| JP6700752B2 (ja) * | 2015-12-01 | 2020-05-27 | キヤノン株式会社 | 位置検出装置、位置検出方法及びプログラム |
| JP2017184025A (ja) * | 2016-03-30 | 2017-10-05 | 株式会社リコー | 通信端末、画像通信システム、画像送信方法、画像表示方法、及びプログラム |
-
2003
- 2003-03-28 JP JP2003092913A patent/JP3810755B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004302700A (ja) | 2004-10-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6700752B2 (ja) | 位置検出装置、位置検出方法及びプログラム | |
| JP6942488B2 (ja) | 画像処理装置、画像処理システム、画像処理方法、及びプログラム | |
| JP4881766B2 (ja) | カメラ間連結関係情報生成装置 | |
| JP5001260B2 (ja) | オブジェクト追跡方法及びオブジェクト追跡装置 | |
| KR101393881B1 (ko) | 차량의 주차구획 인식방법 | |
| JP5459674B2 (ja) | 移動物体追跡システムおよび移動物体追跡方法 | |
| KR101035055B1 (ko) | 이종 카메라를 이용한 객체 추적 시스템 및 방법 | |
| JP2010063001A (ja) | 人物追跡装置および人物追跡プログラム | |
| JP6221390B2 (ja) | 画像処理装置、プログラム、および画像処理方法 | |
| JP2006236104A (ja) | 対象物判定装置 | |
| JP6503079B2 (ja) | 特定人物検知システム、特定人物検知方法および検知装置 | |
| US11544926B2 (en) | Image processing apparatus, method of processing image, and storage medium | |
| JP2021060868A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| JP5027758B2 (ja) | 画像監視装置 | |
| KR101469099B1 (ko) | 사람 객체 추적을 통한 자동 카메라 보정 방법 | |
| CN109740659A (zh) | 一种图像匹配方法及装置、电子设备、存储介质 | |
| JP3577875B2 (ja) | 移動物体抽出装置 | |
| JP2004301607A (ja) | 移動物体検出装置、移動物体検出方法及び移動物体検出プログラム | |
| JP3810755B2 (ja) | 位置判別装置、移動経路算出装置、位置判別方法およびプログラム | |
| JP2007025863A (ja) | 撮影システム、撮影方法及び画像処理プログラム | |
| KR100631082B1 (ko) | 단일 카메라를 사용한 3차원 영상정보 획득방법 및 이를이용한 영상검지방법 | |
| JP2002367077A (ja) | 交通渋滞判定装置及び交通渋滞判定方法 | |
| JP2021047538A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| JP2004046464A (ja) | 移動物体３次元位置推定装置及びその方法、プログラム並びにその記録媒体 | |
| JP2017196948A (ja) | 電車設備の三次元計測装置及び三次元計測方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051213 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060214 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060410 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060523 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060524 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100602 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100602 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110602 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120602 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120602 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130602 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |