JP6495705B2 - 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理システム - Google Patents

画像処理装置、画像処理方法、画像処理プログラムおよび画像処理システム Download PDF

Info

Publication number
JP6495705B2
JP6495705B2 JP2015059573A JP2015059573A JP6495705B2 JP 6495705 B2 JP6495705 B2 JP 6495705B2 JP 2015059573 A JP2015059573 A JP 2015059573A JP 2015059573 A JP2015059573 A JP 2015059573A JP 6495705 B2 JP6495705 B2 JP 6495705B2
Authority
JP
Japan
Prior art keywords
image
time
unit
target object
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015059573A
Other languages
English (en)
Other versions
JP2016181743A (ja
Inventor
麻由 奥村
麻由 奥村
友樹 渡辺
友樹 渡辺
豪 田崎
豪 田崎
剛志 高谷
剛志 高谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2015059573A priority Critical patent/JP6495705B2/ja
Priority to US15/075,309 priority patent/US10075652B2/en
Publication of JP2016181743A publication Critical patent/JP2016181743A/ja
Application granted granted Critical
Publication of JP6495705B2 publication Critical patent/JP6495705B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明の実施形態は、画像処理装置、画像処理方法、画像処理プログラムおよび画像処理システムに関する。
互いに視野を共有しない複数のカメラ間で対象を対応付けて対象を追跡する技術が、従来から知られている。例えば、各カメラについて、撮影領域に置かれた、色または分光反射率が既知の被写体を撮像して得た画像情報から分光分布情報を取得する。このように取得した各分光分布情報を用いることで、光源環境に依存すること無く、カメラ間で対象を対応付けることができる。
特開２００８−２３６４３７号公報
Tomoki Watanabe, Satoshi Ito and Kentaro Yokoi: "Co-occurrence Histograms of Oriented Gradients for Human Detection", IPSJ Transactions on Computer Vision and Applications, Vol. 2, pp.39-47. (2010) . Zdenek Kalal, Krystian Mikolajczyk and Jiri Matas: "Tracking-Learning-Detection", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL. 6, NO. 1, JANUARY 2010. 槇原 靖, 佐川 立昌, 向川 康博, 越後 富夫, 八木 康史, ``周波数領域における方向変換モデルを用いた歩容認証'', 情報処理学会論文誌コンピュータビジョンとイメージメディア, Vol. 48, No. SIG 1(CVIM 17), pp. 78-87, Feb. 2007. 奥村 麻由, 槇原 靖, 八木 康史, 中村 慎介, 森島 繁生, ``視聴者参加型デジタルエンタテインメントのためのオンライン歩容個性計測'', 画像の認識・理解シンポジウム(MIRU2009)論文集, pp. 1336-1343, 松江, 7月, 2009.
従来技術によれば、色または分光反射率が既知の被写体を用意する必要があり、さらに、この被写体を各カメラで撮影して分光分布情報をカメラ毎に収集する必要がある。そのため、カメラ台数が多い場合などは情報収集が容易ではなく、対象を高精度に追跡することが困難になるおそれがあるという問題点があった。
本発明が解決する課題は、複数カメラを用いてより高精度に対象を追跡可能とする画像処理装置、画像処理方法、画像処理プログラムおよび画像処理システムを提供することにある。
第１の実施形態の画像処理装置は、複数の撮像装置から取得される各時系列画像に撮像される対象物体の位置を追跡する。画像処理装置は、記憶部に、時系列画像を撮像装置からの距離に応じて分割した領域毎に特徴値の分布を記憶する。画像処理装置は、時系列画像から領域単位で特徴値に対応する観測値を抽出し、抽出した観測値の領域が対応する分布における偏差値に基づき特徴量を取得する。画像処理装置は、特徴量を用いて、追跡された対象物体を、複数の撮像装置から取得された複数の時系列画像間で対応付ける。
図１は、各実施形態に共通して適用可能な画像処理システムの一例の構成を示すブロック図である。 図２は、第１の実施形態に係るカメラの設置場所を説明するための図である。 図３は、第１の実施形態に係る画像処理装置の一例の構成を示すブロック図である。 図４は、第１の実施形態に係る画像処理装置の機能を説明するための一例の機能ブロック図である。 図５は、第１の実施形態に係る画像処理を示す一例のフローチャートである。 図６は、フレーム画像の例を示す図である。 図７は、各実施形態に係る分割領域の決定方法の例について概略的に説明するための図である。 図８は、各実施形態に係る分割領域の決定方法の別の例について概略的に説明するための図である。 図９は、複数の対象物体が含まれるフレーム画像の例を示す図である。 図１０は、複数の時系列画像を説明するための図である。 図１１は、対象物体が人である場合の高さおよびアスペクト比について説明するための図である。 図１２は、歩行周期および歩幅について概略的に説明するための図である。 図１３は、歩行周期および歩幅について概略的に説明するための図である。 図１４は、各実施形態に係る、各特徴値の分布の例を示す図である。 図１５は、第２の実施形態に係る画像処理装置の一例の構成を示すブロック図である。 図１６は、第２の実施形態に係る画像処理を示す一例のフローチャートである。 図１７は、第２の実施形態に係る画像処理を示す一例のフローチャートである。
以下、実施形態に係る画像処理装置、画像処理方法、画像処理プログラムおよび画像処理システムについて説明する。
（各実施形態に共通の構成）
図１は、各実施形態に共通して適用可能な画像処理システムの一例の構成を示す。図１において、画像処理システムは、各実施形態に共通して適用可能な画像処理装置１０と、複数のカメラ１１1、１１2、１１3、…とを備える。
各カメラ１１1、１１2、１１3、…は、それぞれ撮像方向および撮像範囲を固定として時系列に沿って複数のタイミングで撮像した画像である時系列画像を出力する。時系列画像は、例えば、所定の時間間隔で撮像したフレーム画像を含む動画像である。また、各カメラ１１1、１１2、１１3、…は、例えば、屋内や屋外に、それぞれ観察対象を俯瞰する角度で設置される。各カメラ１１1、１１2、１１3、…の撮像範囲は、互いに重複する部分を持つ必要はない。
各カメラ１１1、１１2、１１3、…は、例えば可視光を撮像するカメラが用いられる。これに限らず、各カメラ１１1、１１2、１１3、…は、赤外線を撮像する赤外線カメラを用いてもよい。また、各カメラ１１1、１１2、１１3、…の水平面での撮像方向は、特に限定されない。例えば、図２に例示されるように、各カメラ１１1、１１2、１１3、…を互いに異なる向きを撮像するように配置してもよい。図２の例の場合、矢印２１で示される方向に進む観察対象２は、各カメラ１１1、１１2、１１3、…により、それぞれ正面、側面および背面から撮像されることになる。
観察対象２は、時系列に沿って位置が移動する移動物体であり、例えば人物である。以下、観察対象２となる移動物体を、対象物体と呼ぶ。
各カメラ１１1、１１2、１１3、…から出力された各時系列画像は、画像処理装置１０に供給される。画像処理装置１０は、各カメラ１１1、１１2、１１3、…から供給された各時系列画像に対して画像処理を行い、各時系列画像間で同一対象物体の画像を対応付け、同一対象物体を時系列上で追跡する。
ここで、第１の実施形態に係る画像処理装置１０は、特徴値の分布を示す情報を各カメラ１１1、１１2、１１3、…について記憶している。画像処理装置１０は、各カメラ１１1、１１2、１１3、…から供給された各時系列画像に含まれる対象物体から特徴値に対応する各観測値を抽出し、抽出した各観測値の記憶された特徴値の分布における偏差値をそれぞれ算出し、求めた偏差値に基づき特徴量をそれぞれ求める。画像処理装置１０は、各時系列画像から抽出した対象物体について求めた特徴量を用いて対象物体を各時系列画像間で対応付けて、追跡する。
また、画像処理装置１０は、各カメラ１１1、１１2、１１3、…について、特徴値の分布を示す情報を、フレーム画像を例えば撮像距離に応じて分割した各分割領域毎に記憶する。そして、画像処理装置１０は、各カメラ１１1、１１2、１１3、…から供給された各時系列画像のフレーム画像から分割領域を単位として観測値を抽出し、記憶された分布のうち分割領域が対応する分布における偏差値を算出する。
これにより、各カメラ１１1、１１2、１１3、…により撮像された各時系列画像間で、高精度に対象物体を追跡することが可能となる。このとき、対象物体の対応付けを、各時系列画像による各フレーム画像を撮像距離に応じて分割した分割領域を単位として行うため、各カメラ１１1、１１2、１１3、…間でのキャリブレーションを行う必要が無い。
図３は、各実施形態に共通し適用可能な画像処理装置１０の一例の構成を示す。画像処理装置１０は、ＣＰＵ(Central Processing Unit)１０１と、ＲＯＭ(Read Only Memory)１０２と、ＲＡＭ(Random Access Memory)１０３と、ストレージ１０４と、入出力Ｉ／Ｆ１０５と、通信Ｉ／Ｆ１０６と、表示制御部１０７と、カメラＩ／Ｆ１０９とを備え、これら各部がバス１００により互いに通信可能に接続される。画像処理装置１０は、このように、一般的なコンピュータと同様な構成にて実現可能である。
ＣＰＵ１０１は、ＲＯＭ１０２やストレージ１０４に予め記憶されるプログラムに従い、ＲＡＭ１０３をワークメモリとして動作して、この画像処理装置１０の全体の動作を制御する。ストレージ１０４は、ハードディスクドライブや不揮発性の半導体メモリ（フラッシュメモリ）であり、ＣＰＵ１０１が動作するためのプログラムや、種々のデータが記憶される。
入出力Ｉ／Ｆ１０５は、例えばＵＳＢ(Universal Serial Bus)であり、外部機器との間でデータの送受信を行うためのインターフェイスである。キーボードやポインティングデバイス（マウスなど）の入力デバイスをこの入出力Ｉ／Ｆ１０５に接続することができる。また、ＣＤ(Compact Disk)やＤＶＤ(Digital Versatile Disk)といったディスク記憶媒体の読み出しなどを行うドライブ装置をこの入出力Ｉ／Ｆ１０５に接続してもよい。通信Ｉ／Ｆ１０６は、ＬＡＮ(Local Area Network)やインターネットなどのネットワークに対する通信を制御する。表示制御部１０７は、ＣＰＵ１０１によりプログラムに従い生成された表示制御信号を、ＬＣＤ(Liquid Crystal Display)などを表示デバイスとして用いた表示装置１０８が表示可能な表示信号に変換して出力する。
カメラＩ／Ｆ１０９は、カメラ１１1、１１2、１１3、…から出力される各画像信号を取り込み、上述した、時系列に沿った複数のフレーム画像を含む、カメラ１１1、１１2、１１3、…による各時系列画像としてバス１００に対して出力する。
（第１の実施形態）
図４は、第１の実施形態に係る画像処理装置１０ａの機能を説明するための一例の機能ブロック図である。図４において、画像処理装置１０ａは、画像取得部１２０と、追跡部１２２と、観測値抽出部１２３と、特徴量取得部１２４ａと、分布記憶部１２５ａと、連結部１２６と、出力部１２７とを備える。
画像取得部１２０は、各カメラ１１1、１１2、１１3、…から供給された各時系列画像からフレーム画像を取得する。また、画像取得部１２０は、フレーム画像を取得したカメラを特定する識別情報（画像識別情報と呼ぶ）を取得する。画像取得部１２０は、フレーム画像に画像識別情報を付加して、追跡部１２２に供給する。
追跡部１２２は、画像取得部１２０から供給されたフレーム画像に撮像された対象物体を検出し、対象物体の画像のフレーム画像内での位置を各フレーム間で追跡する。なお、以下では、特に記載の無い限り、「対象物体の画像」を単に「対象物体」と呼ぶ。追跡部１２２は、追跡結果である対象物体の各フレーム画像内での位置を示す情報を、対象物体を識別する移動体識別情報を付加して観測値抽出部１２３に供給する。
分布記憶部１２５ａは、例えばストレージ１０４またはＲＡＭ１０３に対応し、フレーム画像内において対象物体を評価する特徴値の分布を示す情報を、各カメラ１１1、１１2、１１3、…毎に記憶する。このとき、分布記憶部１２５ａは、フレーム画像を分割した領域毎に、特徴値の分布を示す情報を記憶する。
観測値抽出部１２３は、対象のフレーム画像内の対象物体から、特徴値に対応する観測値を抽出する。ここで、観測値抽出部１２３は、上述した領域を単位として、領域内に含まれる対象物体から観測値の抽出を行う。観測値抽出部１２３は、観測値に移動体識別情報を付加して特徴量取得部１２４ａに供給する。
特徴量取得部１２４ａは、分布記憶部１２５ａに記憶される特徴値の領域毎の分布を示す情報と、観測値抽出部１２３から供給された特徴値に対応する観測値とを用いて、分布における観測値の偏差値を算出し、算出した偏差値を特徴ベクトルとする特徴量を取得する。特徴量取得部１２４ａは、取得した特徴量を、移動体識別情報を付加して連結部１２６に供給する。
連結部１２６は、特徴量取得部１２４ａで取得された特徴量に基づき、各対象物体の追跡結果を、各カメラ１１1、１１2、１１3、…から取得された各時系列画像間で対応付ける。対応付けた結果を示す情報は、出力部１２７に供給される。
出力部１２７は、対応付けられた結果を示す情報を出力して例えばユーザに提示する。一例として、出力部１２７は、各時系列画像に含まれる対象物体に対して、連結部１２６で対応付けられた移動体識別情報を付加して表示する画像を生成することが考えられる。この画像は、例えば表示装置１０８に表示されることで、ユーザに提示される。
画像取得部１２０、追跡部１２２、観測値抽出部１２３、特徴量取得部１２４ａ、分布記憶部１２５ａ、連結部１２６および出力部１２７は、上述したＣＰＵ１０１上で動作する画像処理プログラムにより実現される。これに限らず、画像取得部１２０、追跡部１２２、観測値抽出部１２３、特徴量取得部１２４ａ、分布記憶部１２５ａ、連結部１２６および出力部１２７のうち一部または全部を、互いに協働して動作するハードウェアにより構成してもよい。
なお、画像取得部１２０は、図４に例示されるように、画像処理装置１０に１つが設けられてもよいし、各カメラ１１1、１１2、１１3、…毎に設けられてもよい。これに限らず、画像取得部１２０、追跡部１２２、観測値抽出部１２３、特徴量取得部１２４ａおよび分布記憶部１２５ａを各カメラ１１1、１１2、１１3、…毎に設けてもよい。さらに、画像取得部１２０、追跡部１２２、観測値抽出部１２３、特徴量取得部１２４ａおよび分布記憶部１２５ａを各カメラ１１1、１１2、１１3、…に内蔵させる構成も可能である。
図５は、第１の実施形態に係る画像処理装置１０ａにおける画像処理を示す一例のフローチャートである。この図５のフローチャートを用いて、第１の実施形態に係る画像処理について概略的に説明する。なお、以下では、対象物体が人であるものとして説明する。勿論、対象物体は、人に限られず、顔や手足などの人の各部分でもよいし、人以外の他の動物でもよい。さらに、対象物体は、自動車や自転車などの機械でもよい。
この図５のフローチャートによる処理の実行に先立って、各カメラ１１1、１１2、１１3、…により取得される各時系列画像のフレーム画像が、それぞれ所定に分割される。
各実施形態に共通して適用されるフレーム画像の分割方法について説明する。図６は、例えばカメラ１１1により撮像される時系列画像のフレーム画像２００の例を示す。ここで、カメラ１１1が観察対象（対象物体）を俯瞰するように設置される場合、フレーム画像２００の上端側ではより遠距離を撮像し、下端側ではより近距離を撮像することになる。そのため、同一の対象物体を被写体とする場合であっても、当該対象物体のカメラ１１1に対する距離に応じて、当該対象物体の大きさがフレーム画像２００内で変化する。
より具体的には、図６に示されるように、同一の対象物体がカメラ１１1に近付くように移動する場合、当該対象物体の画像は、フレーム画像２００内で上端側から下端側に移動し、且つ、移動に伴い画像の大きさが徐々に大きくなる。この様子を、図６に画像２１０10、２１０11および２１０12として示す。この場合、同一の対象物体から取得される観測値が、当該対象物体のフレーム画像２００内での大きさに応じて変動することが考えられる。
そこで、各実施形態では、フレーム画像２００を、撮像距離に応じて分割し、分割した領域を単位として、対象物体の観測値を取得するようにする。このとき、各領域に同一の対象物体がそれぞれ含まれたと仮定した場合に、各領域に対する各対象物体の相対的な高さが略一定となるように、フレーム画像２００を分割する。
図６の例では、フレーム画像２００が水平方向に３分割され、領域２０１10、２０１11および２０１12が形成されている。各領域２０１10、２０１11および２０１12は、フレーム画像２００において、カメラ１１1が最も遠距離を撮像する上端から、最も近距離を撮像する下端に向けて、順次高さが高くなるように形成されている。
図７を用いて、各実施形態に係る分割領域の決定方法の例について概略的に説明する。例えば、図７（ａ）に示されるように、画角αのカメラ１１を設置高さＨ（床面からの高さ）、撮像方向を床面に対する撮像角度θで設置した場合の、カメラ１１による床面の撮像範囲を、所望数の領域に等分する。図７（ａ）の例では、撮像範囲が位置Ａおよび位置Ｂで３等分されている。この場合、図７（ｂ）に示されるように、フレーム画像２００内において位置Ａおよび位置Ｂに対応する位置でフレーム画像２００を水平方向に分割し、領域２０１20、２０１21および２０１22を形成する。
このような、フレーム画像２００の分割を、各カメラ１１1、１１2、１１3、…による時系列画像のフレーム画像毎に行う。このような、各カメラ１１1、１１2、１１3、…のフレーム画像２００の分割位置を示す情報は、観測値抽出部１２３および分布記憶部１２５ａに予め設定される。
上述では、フレーム画像２００を、単純に、カメラ１１1からの撮像距離に応じて分割しているが、これはこの例に限定されない。例えば、図８に別の例として示されるように、フレーム画像２００内における対象物体の移動方向の変化に応じてフレーム画像２００を分割してもよい。すなわち、対象物体の移動方向が所定以上に変化する位置で、フレーム画像２００を分割する。
同一の対象物体がカメラ１１1の撮像方向に対して左右に移動方向を変化させながら、且つ、カメラ１１1に近付くように移動する場合、当該対象物体の画像は、フレーム画像２００内で上端側から下端側に移動すると共に左右に移動し、且つ、上端から下端に移動に伴い画像の大きさが徐々に大きくなる。この様子を、図８に画像２１０30、２１０31、２１０32および２１０33として示す。
図８の例では、対象物体は、カメラ１１1に近付く方向に移動しつつ、画像２１０30の位置から左方向への移動を開始し、画像２１０31の位置で移動方向を右方向に変え、さらに、画像２１０32の位置で移動方向を左方向に変えている。そこで、図８の例では、カメラ１１1の撮像方向に対する距離に加え、移動方向の変化点で、フレーム画像２００を水平方向に分割し、領域２０１30、２０１31、２０１32および２０１33を形成している。
一例として、店舗などのような、対象物体の移動方向が変化することを予め予測できるような場合に、フレーム画像２００の分割位置として、移動方向の変化点をさらに適用することが考えられる。
図５のフローチャートの説明に戻り、ステップＳ１０で、画像処理装置１０ａにおいて、画像取得部１２０は、各カメラ１１1、１１2、１１3、…から供給された各時系列画像からフレーム画像を取得し、取得した各フレーム画像にカメラ１１1、１１2、１１3、…を識別するための画像識別情報をそれぞれ付加する。画像取得部１２０で取得されたフレーム画像は、追跡部１２２に供給される。
なお、図５のフローチャートにおいて、ステップＳ１１〜ステップＳ１４までの処理は、各カメラ１１1、１１2、１１3、…から供給された各時系列画像から取得した各フレーム画像について実行される。以下では、説明のため、カメラ１１1から取得した時系列画像およびフレーム画像を例にとって説明を行う。
次のステップＳ１１で、追跡部１２２は、画像取得部１２０で取得されたフレーム画像から対象物体を検出し、検出した対象物体のフレーム画像内での位置を、同一時系列画像内の各フレーム画像間で追跡する。次のステップＳ１２で、観測値抽出部１２３は、ステップＳ１０で画像取得部１２０により取得されたフレーム画像から、対象物体の観測値を抽出する。このとき、観測値抽出部１２３は、フレーム画像を分割した各領域毎に観測値の抽出を行う。
次のステップＳ１３で、特徴量取得部１２４ａは、分布記憶部１２５ａから、カメラ１１1に対応するフレーム画像を分割した領域毎に算出された、特徴値の分布を示す情報をそれぞれ取得する。
なお、図５のフローチャートでは、ステップＳ１２およびステップＳ１３の処理が順次に実行されるように示されているが、これはこの例に限定されない。例えば、ステップＳ１２およびステップＳ１３は並列的に実行してもよいし、ステップＳ１２およびステップＳ１３の処理の順序を入れ替えてもよい。
次のステップＳ１４で、特徴量取得部１２４ａは、ステップＳ１３で分布記憶部１２５ａから取得した特徴値の分布を示す情報を用いて、ステップＳ１２で観測値抽出部１２３により抽出された各観測値の偏差値を求める。そして、特徴量取得部１２４ａは、求めた偏差値を特徴ベクトルとする特徴量を取得する。
次のステップＳ１５で、画像処理装置１０ａは、連結部１２６により、特徴量取得部１２４ａにより取得された、各カメラ１１1、１１2、１１3、…に対応する各特徴量の照合を行う。連結部１２６は、この各特徴量の照合の結果に基づき、各カメラ１１1、１１2、１１3、…から供給された各時系列画像間で対象物体を対応付ける。
次のステップＳ１６で、出力部１２７は、ステップＳ１５での照合処理の結果を出力する。例えば、出力部１２７は、照合結果に従い、各時系列画像に対して、各時系列画像に含まれる対象物体中の同一の対象物体を識別する識別情報を付加して出力する。
（第１の実施形態の処理の詳細）
次に、第１の実施形態の画像処理装置１０ａによる画像処理を、上述の図５のフローチャートを参照して、より詳細に説明する。ステップＳ１０で、画像取得部１２０は、各カメラ１１1、１１2、１１3、…から供給された各時系列画像を取得し、取得した各時系列画像に対して、供給元の各カメラ１１1、１１2、１１3、…を識別するための画像識別情報を付加する。画像取得部１２０は、それぞれ画像識別情報が付加された時系列画像を追跡部１２２に供給する。
ステップＳ１１で、追跡部１２２は、ステップＳ１０で画像取得部１２０により取得された、各カメラ１１1、１１2、１１3、…に撮像された各時系列画像に含まれる各フレーム画像から対象物体を検出し、検出された対象物体を時系列画像内のフレーム画像間で追跡する。以下では、説明のため、特に記載の無い限り、各カメラ１１1、１１2、１１3、…のうちカメラ１１1から取得した時系列画像に注目して説明を行う。
追跡部１２２は、例えば下記の方法を用いて、フレーム画像から対象物体を検出する。図９に例示されるように、３の対象物体２０ａ、２０ｂおよび２０ｃがフレーム画像２００に含まれるものとする。各対象物体２０ａ、２０ｂおよび２０ｃが人であるものとし、追跡部１２２は、フレーム画像２００に検出窓領域を設定し、検出窓領域内の画像から特徴量を算出する。例えば、追跡部１２２は、特徴量として、検出窓領域内の輝度の勾配と強度とをヒストグラム化したＨＯＧ(Histograms of Oriented Gradients)特徴量を算出することが考えられる。これに限らず、追跡部１２２は、ＨＯＧ特徴量を識別性能の面で改良したＣｏＨＯＧ(Co-occurrence HOG)特徴量（非特許文献１参照）を算出してもよい。
追跡部１２２は、例えば、上述のようにして算出した特徴量を用いて検出窓領域内の画像が対象物体であるか否かを識別して、対象物体を検出する。検出した対象物体の時系列画像内での追跡には、例えば非特許文献２で開示されている技術を用いてもよい。
追跡部１２２は、追跡した結果取得された、対象物体の各フレーム画像内での位置を示す情報を、対象物体を識別する移動体識別情報を付加して観測値抽出部１２３に供給する。図９の例では、フレーム画像２００から検出された対象物体２０ａ、２０ｂおよび２０ｃに、それぞれ移動体識別情報としてＩＤ＝０１、０２および０３が付加されている。
ここで、追跡部１２２は、図１０に例示されるように、複数のカメラ１１1、１１2、１１3、…からの各時系列画像について、それぞれフレーム画像間での対象物体の追跡を行う。図１０の例では、画像識別情報をカメラＩＤとして示し、例えばカメラ１１1、１１2および１１3から取得された各時系列画像のカメラＩＤを、それぞれカメラＩＤ＝Ａ０１、Ａ０２およびＡ０３としている。
図１０（ａ）に例示されるように、カメラＩＤ＝Ａ０１の時系列画像では、時間ｔ0、ｔ1、ｔ2、ｔ3でそれぞれ取得されるフレーム画像２００0、２００1、２００2、２００3に対象物体２０ｂが含まれていることが示されている。また、図１０（ｂ）に例示されるように、カメラＩＤ＝Ａ０２の時系列画像では、上述の時間ｔ0より前の、時間ｔ-4、ｔ-3、ｔ-2、ｔ-1でそれぞれ取得されるフレーム画像２００-4、２００-3、２００-2、２００-1に対象物体２０ｂが含まれていることが示されている。同様に、図１０（ｃ）に例示されるように、カメラＩＤ＝Ａ０３の時系列画像では、上述の時間ｔ3より後の、時間ｔ5、ｔ6、ｔ7、ｔ8でそれぞれ取得されるフレーム画像２００5、２００6、２００7、２００8に対象物体２０ｂが含まれていることが示されている。このように、各カメラにおいて、同一の対象物体２０ｂが異なるタイミングで撮像されている可能性がある。
なお、カメラＩＤ＝Ａ０１、ＩＤ＝Ａ０２およびＩＤ＝Ａ０３それぞれの時系列画像に含まれる各対象物体２０ｂは、連結部１２６による各時系列画像間での対応付けがなされていない状態では、同一の対象物体２０ｂとは認識されない。したがって、カメラＩＤ＝Ａ０１、ＩＤ＝Ａ０２およびＩＤ＝Ａ０３それぞれの時系列画像に含まれる各対象物体２０ｂに対して、それぞれ異なるＩＤ＝０２、ＩＤ＝１２およびＩＤ＝２２が付加される。
観測値抽出部１２３は、フレーム画像を上述のように分割した各領域に対象物体が含まれる場合、この対象物体（対象物体の画像）から観測値を抽出する（図５のステップＳ１２）。観測値抽出部１２３は、抽出した観測値を、画像識別情報および移動体識別情報を付加して特徴量取得部１２４ａに供給する。
観測値抽出部１２３が抽出する観測値は、分布記憶部１２５ａに分布が記憶されている特徴値に対応する観測値である。特徴値は、例えば対象物体（対象物体の画像）のフレーム画像内における高さ、アスペクト比、移動速度、動作周期、単位動作間隔、色のうち少なくとも１つを含む。
高さは、対象物体の画像のフレーム画像内での高さであり、例えば画素数で表される。また、アスペクト比は、対象物体の画像を含む最小の矩形の高さと幅との比である。図１１を用いて、対象物体が人である場合の高さ（身長）およびアスペクト比について説明する。図１１において、人の画像２２０に対し、両腕部を除いた全身を含む最小の矩形２２１を考える。観測値抽出部１２３は、この矩形２２１の高さｈを特徴値における高さとし、高さｈと幅ｗとの比をアスペクト比として抽出する。以下では、アスペクト比＝ｗ／ｈとする。
移動速度は、追跡部１２２による対象物体の追跡結果に基づき算出する。観測値抽出部１２３は、対象物体の移動速度を、例えばカメラ１１1から供給された時系列画像の場合、上述したカメラ１１1の設置高さＨ、撮像角度θおよび画角αと、当該対象物体が含まれるフレーム画像数と、当該対象物体の各フレーム画像内での座標とに基づき算出することができる。
動作周期は、対象物体が、当該対象物体内での所定の動作を伴い移動する場合の、当該動作の周期である。また、単位動作間隔は、当該動作周期の１周期に対応する距離である。対象物体が人である場合、動作周期および単位動作間隔は、例えばそれぞれ歩行周期および歩幅である。
図１２および図１３を用いて、歩行周期および歩幅について概略的に説明する。図１２は、人の歩行において右足および左足が着地したことによる足跡の例を示す。また、図１３は、人２３０が進行方向に向けて歩行する際の、人２３０の動作の例を概略的に示す。図１３において、右方向に向けた矢印は、時間の経過を示す。すなわち、図１３は、人２３０が右足２３１と左足２３２とを交互に動かして移動する様子を、時系列に沿って動作を例えばフレーム画像単位で分解して示すものである（ステップＳ１００〜ステップＳ１０８）。
歩行周期は、図１２に示されるように、右足および左足のうち同じ側の足が着地する間隔（距離）に対応するものとする。観測値抽出部１２３は、歩行周期を、図１３に例示されるように、右足２３１と左足２３２とが交互に動作する画像の周期として検出できる。図１３の例では、ステップＳ１００〜ステップＳ１０６、ステップＳ１０１〜ステップＳ１０７などシルエットが対応する画像に基づき歩行周期を検出できる。例えば、歩行周期は、時系列画像中の対象人物のシルエットの正規化自己相関が最大となるフレーム数として、非特許文献３で開示されている技術を用いて抽出することができる。
また、歩幅は、右足と左足とが最も開いた際の、右足と左足との間の距離に相当するものとする。図１２の例では、歩幅は、右足が着地した足跡と、次に左足が着地した足跡との間の、進行方向に向けた距離となっている。観測値抽出部１２３は、歩幅を、非特許文献４で開示されている技術を用いて、足を最も開いたフレーム画像（例えば図１３のステップＳ１００、ステップＳ１０３、ステップＳ１０６のフレーム画像）を検出し、そのフレームにおける左右の足の間の画素数を用いて抽出することができる。また、歩幅を、歩行周期と画面内における移動距離とに基づき算出することもできる。
色は、対象物体のフレーム画像内での色であり、例えばＲ(Red)、Ｇ(Green)およびＢ(Blue)の各値で表すことができる。観測値抽出部１２３は、例えば、対象物体の画像に含まれる各画素のＲ、ＧおよびＢの各値をそれぞれ取得して集計することで、対象物体の色を示す情報を取得できる。
対象物体が人である場合、色は、肌の色、および、人全体の色のカラーバランスとして取得することができる。観測値抽出部１２３は、例えば、対象物体に対して顔検出を行って、検出した顔部分に含まれる画素のＲ、ＧおよびＢの各値に基づき明度を算出し、算出された明度を肌の色として用いることができる。
また例えば、観測値抽出部１２３は、対象物体の画像に含まれる画素のＲ、ＧおよびＢの各値をそれぞれ集計して正規化することで、対象物体のカラーバランスを求めることができる。この場合、カラーバランスは、Ｒ、ＧおよびＢ各値の比として求めることが考えられる。これに限らず、観測値抽出部１２３は、対象物体の画像に含まれる画素のＲ、ＧおよびＢの各値に基づき色相を求めるようにしてもよい。この場合、カラーバランスは、色相を示す１つの値として求めることが可能である。
なお、観測値抽出部１２３は、対象物体がフレーム画像を分割した領域の境界を跨いでフレーム画像に含まれる場合には、対象物体が境界の両側の領域に含まれる割合に基づき、当該対象物体が何方の領域に含まれると見做すかを判定することが考えられる。
分布記憶部１２５ａは、各特徴値について、特徴値の各値に対する、当該各値の出現頻度の分布を示す情報を、フレーム画像が分割された領域毎に記憶している。特徴量取得部１２４ａは、分布記憶部１２５ａから、各特徴値の分布を示す情報を取得する（図５のステップＳ１３）。図１４（ａ）〜図１４（ｃ）は、各特徴値の分布の例を示す図であって、各図において縦軸は、確率密度を示す。
図１４（ａ）は、肌の色の分布の例を示す。図１４（ａ）において、横軸が肌色に関する明度の偏差値Ｔ1を示し、例えば右方向に向けて明度が高くなる。図１４（ｂ）は、身長（高さ）の分布の例を示す。図１４（ｂ）において、横軸が身長の偏差値Ｔ2を示し、例えば右方向に向けて高身長となる。また、図１４（ｃ）は、アスペクト比の分布の例を示す。図１４（ｃ）において、例えば右方向に向けてアスペクト比が大きくなる。
なお、ここでは、説明のため、各特徴値の分布が正規分布であり、各分布が平均を示すパラメータμと、分散の平方根を示すパラメータσとで表されるものとする。
特徴量取得部１２４ａは、分布記憶部１２５ａから取得した各特徴値の分布に対して観測値抽出部１２３から供給された各観測値を適用して、各観測値の偏差値を算出する（図５のステップＳ１４）。観測値ｘの、分布における偏差値Ｔ(ｘ)は、下記の式（１）により算出できる。
Ｔ(ｘ)＝(ｘ−μ)／σ＋５０ …（１）
例えば、特徴量取得部１２４ａは、図１４（ａ）〜図１４（ｃ）に示されるように、ある対象物体について、肌色に関する明度の偏差値Ｔ1(ｘ1)＝４５．０、身長の偏差値Ｔ2(ｘ2)＝６５．０、アスペクト比偏差値Ｔ3(ｘ3)＝４０．０として偏差値をそれぞれ算出したものとする。特徴量取得部１２４ａは、こうして各特徴値について算出された各観測値の偏差値Ｔ1(ｘ1)、Ｔ2(ｘ2)およびＴ3(ｘ3)を特徴ベクトルとする特徴量を取得する。
特徴量取得部１２４ａは、各カメラ１１1、１１2、１１3、…からの各時系列画像に基づき上述のようにして取得した各特徴量を、画像識別情報および移動体識別情報を付加して連結部１２６に供給する。
連結部１２６は、特徴量取得部１２４ａから供給された各カメラ１１1、１１2、１１3、…からの各時系列画像に基づく各特徴量の類似度を算出し、各特徴量間で対応付けが可能か否かを判定する。連結部１２６は、類似度を、特徴量間のＬ１ノルムやバタチャリア(Bhattacharyya)距離を用いて求めることができる。
また、連結部１２６は、各特徴量から、含まれる時系列画像の異なる２つの特徴量を抽出して１つに纏めて識別器で識別した出力結果に基づき、対応付けが可能か否かを判定してもよい。識別器は、例えばＳＶＭ(Support Vector Machine)を用いることができる。連結部１２６は、例えば、１の第１の特徴量に対して、第１の特徴量と含まれる時系列画像の異なる複数の第２の特徴量それぞれの類似度を算出し、算出した類似度が最大の組み合わせとなる第２の特徴量が第１の特徴量に対応付けられると判定することができる。これに限らず、連結部１２６は、類似度が閾値以上となる特徴量の組み合わせが対応付くと判定してもよい。
連結部１２６は、上述のようにして求めた、各時系列画像間での特徴量の対応付け結果を、移動体識別情報に基づき対象物体の対応付け結果として、出力部１２７を介して外部に出力することができる。
このように、第１の実施形態に係る画像処理装置１０ａによれば、各カメラ１１1、１１2、１１3、…について、撮像距離などに基づきフレーム画像を分割した領域毎に特徴値の分布を示す情報を持つ。画像処理装置１０ａは、対象となるフレーム画像において、対象物体が含まれる領域内の特徴値の分布に対する対象物体の観測値の相対値を特徴量として用いて、各カメラ１１1、１１2、１１3、…による各時系列画像間での対象物体の対応付けを行っている。そのため、各カメラ１１1、１１2、１１3、…間でのキャリブレーションを行うことなく、高精度なカメラ間の対応付けを実行することが可能となる。
（第２の実施形態）
次に、第２の実施形態について説明する。図１５は、第２の実施形態に係る画像処理装置１０ｂの一例の構成を示す。なお、図１５において、上述の図４と共通する部分には同一の符号を付して、詳細な説明を省略する。また、第２の実施形態は、図１を用いて説明した画像処理システムをそのまま適用できる。
図１５に示される画像処理装置１０ｂは、図４に示した画像処理装置１０ａに対して分布更新部１２８が追加されると共に、図４の特徴量取得部１２４ａおよび分布記憶部１２５ａの機能の一部が変更されて、特徴量取得部１２４ｂおよび分布記憶部１２５ｂとなっている。第２の実施形態では、分布更新部１２８が、特徴量取得部１２４ｂが取得した各観測値に基づき分布記憶部１２５ｂに記憶される分布情報を更新する。また、分布記憶部１２５ｂは、初期状態で、各特徴値の初期の分布を示す情報を、各カメラ１１1、１１2、１１3、…による各フレーム画像をそれぞれ分割した各領域毎に、予め記憶している。初期の分布を示す情報（以下、初期分布の情報）は、例えば、特徴量の標準的な分布を示す情報である。
図１６および図１７のフローチャートを用いて、第２の実施形態に係る画像処理について説明する。なお、図１６および図１７のフローチャートにおいて、上述した図５のフローチャートと一致する処理には同一の符号を付して、詳細な説明を省略する。また、以下では、説明のため、カメラ１１1から取得した時系列画像およびフレーム画像を例にとって説明を行う。
図１６は、第２の実施形態に係る画像処理装置１０ｂにおける、初期状態での画像処理を示す一例のフローチャートである。例えば、このフローチャートによる処理は、画像処理装置１０ｂが設置されてから最初に起動されることで実行される。これに限らず、このフローチャートによる処理を、画像処理装置１０ｂの諸設定がリセットされた後に最初に起動された場合に実行するようにしてもよい。
図１６のフローチャートによる各処理は、ステップＳ１０〜ステップＳ１６までは、上述した図５のフローチャートと同様にして実行される。
すなわち、ステップＳ１０で、画像取得部１２０は、カメラ１１1から供給された時系列画像からフレーム画像を取得し、次のステップＳ１１で、追跡部１２２は、取得されたフレーム画像から対象物体を検出する。ここで検出された対象物体は、カメラ１１1の時系列画像から、画像処理装置１０ｂの起動後に最初に検出された対象物体となる。
ステップＳ１２で、観測値抽出部１２３は、フレーム画像から検出された対象物体の観測値を、フレーム画像を分割した領域毎に抽出する。ステップＳ１３で、特徴量取得部１２４ｂは、分布記憶部１２５ｂから、カメラ１１1に対応するフレーム画像を分割した領域毎に記憶された各初期分布の情報を取得する。なお、ステップＳ１２およびステップＳ１３の処理は、順次に実行する例に限られず、並列的に実行してもよいし、処理の順序を入れ替えてもよい。
次のステップＳ１４で、特徴量取得部１２４ｂは、ステップＳ１３で分布記憶部１２５ｂから取得した特徴値の分布を示す情報を用いて、ステップＳ１２で観測値抽出部１２３により抽出された各観測値の偏差値を求める。そして、特徴量取得部１２４ｂは、求めた偏差値を特徴ベクトルとする特徴量を取得する。
以上のステップＳ１０〜ステップＳ１４の処理が、各カメラ１１1、１１2、１１3、…から出力された各時系列画像に対して実行される。
次のステップＳ１５で、連結部１２６は、特徴量取得部１２４ｂにより取得された、各カメラ１１1、１１2、１１3、…に対応する各特徴量の照合を行い、各時系列画像間で対象物体を対応付ける。そして、次のステップＳ１６で、出力部１２７が、ステップＳ１５による照合の結果を出力する。
なお、ステップＳ１６およびステップＳ２０の処理は、順次に実行する例に限られず、並列的に実行してもよいし、処理の順序を入れ替えてもよい。
次のステップＳ２０で、特徴量取得部１２４ｂは、ステップＳ１４で求められた各測定値の偏差値を分布更新部１２８に渡す。分布更新部１２８は、特徴量取得部１２４ｂから渡された各偏差値に基づき、分布記憶部１２５ｂに記憶される各初期分布をシフトさせる。例えば、分布更新部１２８は、ある特徴値の初期分布において、観測値が分布の中心に位置するように、分布をシフトさせる。
図１７は、第２の実施形態に係る画像処理装置１０ｂにおける、上述の図１６のフローチャートによる処理が終了した後に実行される画像処理を示す一例のフローチャートである。ステップＳ１０〜ステップＳ１６の処理は、上述の図１６のフローチャートと同一であるので、ここでの説明を省略する。
図１７のフローチャートの場合、ステップＳ１６で出力部１２７が照合結果の出力を行った後、処理がステップＳ２１に移行される。ステップＳ２１で、分布更新部１２８は、分布記憶部１２５ｂに記憶される、フレーム画像の領域毎における特徴値の分布を示す情報を、ステップＳ１２で取得した観測値を用いて更新する。なお、この場合においても、ステップＳ１６およびステップＳ２１の処理は、順次に実行する例に限られず、並列的に実行してもよいし、処理の順序を入れ替えてもよい。
このように、第２の実施形態によれば、分布記憶部１２５ｂに記憶される、特徴値の分布を示す情報を、対象物体から抽出した観測値を用いて更新している。そのため、各カメラ１１1、１１2、１１3、…から出力される各時系列画像から検出される対象物体それぞれによる各観測値の傾向が、例えば時間帯によって大きく異なる場合であっても、対象物体の各時系列画像間での対応付けを高精度に実行することが可能である。
また、第２の実施形態においても、画像処理装置１０ｂは、対象となるフレーム画像において、対象物体が含まれる領域内の特徴値の分布に対する対象物体の観測値の相対値を特徴量として用いて、各カメラ１１1、１１2、１１3、…による各時系列画像間での対象物体の対応付けを行っている。そのため、各カメラ１１1、１１2、１１3、…間でのキャリブレーションを行うことなく、高精度なカメラ間の対応付けを実行することが可能となる。
なお、上述では、図１６のフローチャートにおいて、カメラ１１1の時系列画像から、画像処理装置１０ｂの起動後に最初に検出された対象物体の観測値を用いて、分布記憶部１２５ｂに記憶される初期分布をシフトさせるように説明したが、これはこの例に限定されない。
例えば、起動後最初に検出された対象物体の観測値の初期分布おける偏差値が、極端に大きいまたは小さい場合が考えられる。このような場合、当該観測値に基づきシフトされた分布が偏った分布になってしまい、各時系列画像間での対象物体の対応付けにおいて高い精度が得られない可能性がある。この場合、分布更新部１２８は、例えば、ステップＳ１４で算出される観測値の偏差値に対して閾値判定を行い、予め定められた範囲内の偏差値となる観測値のみを用いて、分布記憶部１２５ｂに記憶される初期分布のシフトを行うことが考えられる。
これに限らず、分布更新部１２８は、分布記憶部１２５ｂに記憶される初期分布のシフトを、起動後に検出された複数の対象物体の各観測値に基づき実行することも考えられる。例えば、分布更新部１２８は、起動後に検出された所定数の対象物体の観測値の平均値を求め、この平均値を用いて分布記憶部１２５ｂに記憶される初期分布のシフトを行う。
また、上述では、分布更新部１２８は、フレーム画像から検出された対象物体の観測値に基づき分布記憶部１２５ｂに記憶される初期分布をシフトしているが、これはこの例に限定されない。例えば、分布更新部１２８は、ユーザにより設定された値に従い、分布記憶部１２５ｂに記憶される初期分布のシフトを行うようにしてもよい。
（他の実施形態）
なお、各実施形態に係る画像処理を実行するための画像処理プログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ(Compact Disk)、ＤＶＤ(Digital Versatile Disk)などのコンピュータで読み取り可能な記録媒体に記録して提供される。これに限らず、画像処理プログラムを、ＲＯＭ１０２に予め記憶させて提供してもよい。
さらに、各実施形態に係る画像処理を実行するための画像処理プログラムを、インターネットなどの通信ネットワークに接続されたコンピュータ上に格納し、通信ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、各実施形態および変形例に係る画像処理を実行するための画像処理プログラムを、インターネットなどの通信ネットワーク経由で提供または配布するように構成してもよい。
各実施形態および変形例に係る画像処理を実行するための画像処理プログラムは、第１の実施形態の場合、例えば上述した各部（画像取得部１２０、追跡部１２２、観測値抽出部１２３、特徴量取得部１２４ａ、連結部１２６および出力部１２７）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ１０１が例えばストレージ１０４から当該画像処理プログラムを読み出して実行することにより上記各部が主記憶装置（例えばＲＡＭ１０３）上にロードされ、各部が主記憶装置上に生成されるようになっている。
なお、本実施形態は、上述したそのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上述の実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
１０，１０ａ，１０ｂ 画像処理装置
１１1，１１2，１１3 カメラ
１０１ ＣＰＵ
１０９ カメラＩ／Ｆ
１２０ 画像取得部
１２２ 追跡部
１２３ 観測値抽出部
１２４ａ，１２４ｂ 特徴量取得部
１２５ａ，１２５ｂ 分布記憶部
１２６ 連結部
１２７ 出力部
１２８ 分布更新部
２００，２００-4，２００-3，２００-2，２００-1，２００0，２００1，２００2，２００3，２００5，２００6，２００7，２００8 フレーム画像
２０１10，２０１11，２０１12，２０１20，２０１21，２０１22，２０１30，２０１31，２０１32，２０１33 領域

Claims (10)

  1. 複数の撮像装置からそれぞれ時系列画像を取得する画像取得部と、
    前記時系列画像に撮像される対象物体の位置を追跡する追跡部と、
    前記時系列画像を撮像装置からの距離に応じて分割した領域毎に特徴値の分布を記憶する記憶部と、
    前記時系列画像から前記領域単位で前記特徴値に対応する観測値を抽出する抽出部と、
    前記観測値の前記領域が対応する前記分布における偏差値に基づき特徴量を取得する特徴量取得部と、
    前記特徴量を用いて、前記追跡部により追跡された前記対象物体を、前記複数の撮像装置から取得された複数の時系列画像間で対応付ける連結部と
    を備える画像処理装置。
  2. 前記特徴量取得部は、
    複数種類の前記特徴値にそれぞれ対応する前記観測値それぞれの前記偏差値をベクトルとする前記特徴量を取得する
    請求項１に記載の画像処理装置。
  3. 前記記憶部は、
    さらに、前記時系列画像における前記対象物体の移動方向の変化に応じて前記時系列画像を分割した領域毎に特徴値の分布を記憶する
    請求項１または請求項２に記載の画像処理装置。
  4. 前記観測値に応じて前記記憶部に記憶される前記分布を更新する更新部をさらに備える
    請求項１乃至請求項３の何れか１項に記載の画像処理装置。
  5. 前記記憶部は、
    初期分布を予め記憶し、
    前記更新部は、
    初期状態において抽出された前記観測値に応じて前記初期分布をシフトさせる
    請求項４に記載の画像処理装置。
  6. 前記特徴値は、
    前記対象物体の、高さ、アスペクト比、移動速度、動作周期、基本動作間隔および色情報のうち少なくとも１つを含む
    請求項１乃至請求項５の何れか１項に記載の画像処理装置。
  7. 前記複数の撮像装置は、互いに異なる撮像範囲を持つ
    請求項１乃至請求項６の何れか１項に記載の画像処理装置。
  8. 複数の撮像装置からそれぞれ時系列画像を取得する画像取得ステップと、
    前記時系列画像に撮像される対象物体の位置を追跡する追跡ステップと、
    それぞれ特徴値の分布が記憶される、前記時系列画像を撮像装置からの距離に応じて分割した領域単位で、前記時系列画像から前記特徴値に対応する観測値を抽出する抽出ステップと、
    前記領域毎の特徴値の分布のうち、前記観測値の該領域が対応する該分布における偏差値に基づき特徴量を取得する特徴量取得ステップと、
    前記特徴量を用いて、前記追跡ステップにより追跡された前記対象物体を、前記複数の撮像装置から取得された複数の時系列画像間で対応付ける連結ステップと
    を備える画像処理方法。
  9. 複数の撮像装置からそれぞれ時系列画像を取得する画像取得ステップと、
    前記時系列画像に撮像される対象物体の位置を追跡する追跡ステップと、
    それぞれ特徴値の分布が記憶される、前記時系列画像を撮像装置からの距離に応じて分割した領域単位で、前記時系列画像から前記特徴値に対応する観測値を抽出する抽出ステップと、
    前記領域毎の特徴値の分布のうち、前記観測値の該領域が対応する該分布における偏差値に基づき特徴量を取得する特徴量取得ステップと、
    前記特徴量を用いて、前記追跡ステップにより追跡された前記対象物体を、前記複数の撮像装置から取得された複数の時系列画像間で対応付ける連結ステップと
    をコンピュータに実行させるための画像処理プログラム。
  10. 複数の撮像装置と、
    前記複数の撮像装置からそれぞれ時系列画像を取得する画像取得部と、
    前記時系列画像に撮像される対象物体の位置を追跡する追跡部と、
    前記時系列画像を撮像装置からの距離に応じて分割した領域毎に特徴値の分布を記憶する記憶部と、
    前記時系列画像から前記領域単位で前記特徴値に対応する観測値を抽出する抽出部と、
    前記観測値の前記領域が対応する前記分布における偏差値に基づき特徴量を取得する特徴量取得部と、
    前記特徴量を用いて、前記追跡部により追跡された前記対象物体を、前記複数の撮像装置から取得された複数の時系列画像間で対応付ける連結部と、
    前記複数の時系列画像間で対応付けられた前記対象物体を示す情報を提示する提示部と
    を備える画像処理システム。
JP2015059573A 2015-03-23 2015-03-23 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理システム Active JP6495705B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015059573A JP6495705B2 (ja) 2015-03-23 2015-03-23 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理システム
US15/075,309 US10075652B2 (en) 2015-03-23 2016-03-21 Image processing device for tracking a target object and image processing method, computer program product, and image processing system for same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015059573A JP6495705B2 (ja) 2015-03-23 2015-03-23 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理システム

Publications (2)

Publication Number Publication Date
JP2016181743A JP2016181743A (ja) 2016-10-13
JP6495705B2 true JP6495705B2 (ja) 2019-04-03

Family

ID=56974199

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015059573A Active JP6495705B2 (ja) 2015-03-23 2015-03-23 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理システム

Country Status (2)

Country Link
US (1) US10075652B2 (ja)
JP (1) JP6495705B2 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6495705B2 (ja) * 2015-03-23 2019-04-03 株式会社東芝 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理システム
KR101732981B1 (ko) * 2015-10-29 2017-05-08 삼성에스디에스 주식회사 개인화 특성 분석 시스템 및 방법
JP6659524B2 (ja) 2016-11-18 2020-03-04 株式会社東芝 移動体追跡装置、表示装置および移動体追跡方法
JP6833617B2 (ja) 2017-05-29 2021-02-24 株式会社東芝 移動体追跡装置、移動体追跡方法およびプログラム
CN107820010B (zh) * 2017-11-17 2020-11-06 英业达科技有限公司 摄影计数装置
US10914191B2 (en) 2018-05-04 2021-02-09 Raytheon Technologies Corporation System and method for in situ airfoil inspection
US10928362B2 (en) 2018-05-04 2021-02-23 Raytheon Technologies Corporation Nondestructive inspection using dual pulse-echo ultrasonics and method therefor
US10943320B2 (en) 2018-05-04 2021-03-09 Raytheon Technologies Corporation System and method for robotic inspection
US10685433B2 (en) * 2018-05-04 2020-06-16 Raytheon Technologies Corporation Nondestructive coating imperfection detection system and method therefor
US10958843B2 (en) 2018-05-04 2021-03-23 Raytheon Technologies Corporation Multi-camera system for simultaneous registration and zoomed imagery
US10902664B2 (en) 2018-05-04 2021-01-26 Raytheon Technologies Corporation System and method for detecting damage using two-dimensional imagery and three-dimensional model
US11079285B2 (en) 2018-05-04 2021-08-03 Raytheon Technologies Corporation Automated analysis of thermally-sensitive coating and method therefor
US11268881B2 (en) 2018-05-04 2022-03-08 Raytheon Technologies Corporation System and method for fan blade rotor disk and gear inspection
JP7259732B2 (ja) * 2019-12-23 2023-04-18 横河電機株式会社 配信サーバ、方法およびプログラム
CN112507315B (zh) * 2021-02-05 2021-06-18 红石阳光（北京）科技股份有限公司 基于智慧大脑的人员通行检测系统

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7688349B2 (en) * 2001-12-07 2010-03-30 International Business Machines Corporation Method of detecting and tracking groups of people
WO2004004320A1 (en) * 2002-07-01 2004-01-08 The Regents Of The University Of California Digital processing of video images
CA2505831C (en) * 2002-11-12 2014-06-10 Intellivid Corporation Method and system for tracking and behavioral monitoring of multiple objects moving through multiple fields-of-view
JP4448304B2 (ja) 2003-09-11 2010-04-07 セコム株式会社 顔検知装置
WO2007044044A2 (en) * 2004-12-21 2007-04-19 Sarnoff Corporation Method and apparatus for tracking objects over a wide area using a network of stereo sensors
JP4700477B2 (ja) * 2005-11-15 2011-06-15 株式会社日立製作所 移動体監視システムおよび移動体特徴量算出装置
US20080123900A1 (en) * 2006-06-14 2008-05-29 Honeywell International Inc. Seamless tracking framework using hierarchical tracklet association
JP4881766B2 (ja) * 2007-03-06 2012-02-22 パナソニック株式会社 カメラ間連結関係情報生成装置
JP4991356B2 (ja) 2007-03-20 2012-08-01 株式会社東芝 画像処理装置、画像処理方法および画像処理用プログラム
JP2010068466A (ja) 2008-09-12 2010-03-25 Toshiba Corp 移動体追跡装置及び移動体追跡方法
JP5478928B2 (ja) * 2009-03-31 2014-04-23 綜合警備保障株式会社 人物同定装置、人物同定方法、及び人物同定プログラム
US8503727B2 (en) * 2009-07-22 2013-08-06 Omron Corporation Monitoring camera terminal
US20120069192A1 (en) * 2009-10-20 2012-03-22 Qing-Hu Li Data Processing System and Method
AU2009243528B2 (en) * 2009-12-04 2013-08-01 Canon Kabushiki Kaisha Location-based signature selection for multi-camera object tracking
IL204089A (en) * 2010-02-21 2014-06-30 Elbit Systems Ltd A method and system for detection and tracking based on frequency multiplicity and multiplicity
US9002057B2 (en) * 2011-03-22 2015-04-07 Alcatel Lucent Collaborative camera services for distributed real-time object analysis
US20130128050A1 (en) * 2011-11-22 2013-05-23 Farzin Aghdasi Geographic map based control
JP5843288B2 (ja) 2012-04-19 2016-01-13 Kddi株式会社 情報提示システム
US9418428B2 (en) * 2012-07-02 2016-08-16 Nec Corporation Position management device, position management system, position management method, and position management program
JP6273685B2 (ja) * 2013-03-27 2018-02-07 パナソニックＩｐマネジメント株式会社 追尾処理装置及びこれを備えた追尾処理システム並びに追尾処理方法
US8913791B2 (en) * 2013-03-28 2014-12-16 International Business Machines Corporation Automatically determining field of view overlap among multiple cameras
JP6243827B2 (ja) * 2014-11-28 2017-12-06 本田技研工業株式会社 画像解析装置、画像特徴情報データベース作成方法並びに意匠類否判定装置及び方法
JP6495705B2 (ja) * 2015-03-23 2019-04-03 株式会社東芝 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理システム

Also Published As

Publication number Publication date
US10075652B2 (en) 2018-09-11
JP2016181743A (ja) 2016-10-13
US20160284098A1 (en) 2016-09-29

Similar Documents

Publication Publication Date Title
JP6495705B2 (ja) 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理システム
JP2020107349A (ja) 物体追跡システム、物体追跡方法、プログラム
US8254630B2 (en) Subject extracting method and device by eliminating a background region using binary masks
JP6655878B2 (ja) 画像認識方法及び装置、プログラム
KR101173802B1 (ko) 대상물 추적 장치, 대상물 추적 방법, 및 제어 프로그램이 기록된 기록 매체
JP6139447B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
US10089527B2 (en) Image-processing device, image-capturing device, and image-processing method
US9047673B2 (en) Apparatus and method for extracting target, and recording medium storing program for performing the method
JP5166102B2 (ja) 画像処理装置及びその方法
JP5878924B2 (ja) 画像処理装置、撮像装置および画像処理方法
JP2010176380A (ja) 情報処理装置および方法、プログラム、並びに記録媒体
US20170177970A1 (en) Image processing method, image processing apparatus, image processing system, production apparatus, and recording medium
JP5656768B2 (ja) 画像特徴量抽出装置およびそのプログラム
JP2017076288A (ja) 情報処理装置、情報処理方法及びプログラム
Yang et al. Multiple marker tracking in a single-camera system for gait analysis
JP4625949B2 (ja) 物体追跡方法および物体追跡装置ならびにプログラム
KR20200050553A (ko) 움직임 추적 시스템 및 방법
JP2013232060A (ja) 画像認識装置、その制御方法、および制御プログラム、並びに撮像装置および表示装置
JP4565273B2 (ja) 被写体追跡装置、およびカメラ
JP6028972B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
KR101313879B1 (ko) 기울기 히스토그램을 이용한 사람 검출 추적 시스템 및 방법
JP2018109824A (ja) 電子制御装置、電子制御システムおよび電子制御方法
JP5983033B2 (ja) 位置関係判定プログラム、位置関係判定方法および位置関係判定装置
KR101202215B1 (ko) 위치가중 또는 영역확장 2차원 모멘트 모델링을 이용한 스트랩다운 이중 모드 영상탐색기의 가중치 기반 표적 결정 시스템
US20160364604A1 (en) Subject tracking apparatus, control method, image processing apparatus, and image pickup apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171121

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180830

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180918

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181010

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190307

R151 Written notification of patent or utility model registration

Ref document number: 6495705

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151