以下、図1等を参照して、本実施形態に係る物体検出装置について一例を説明する。図1は、本実施形態に係る物体検出装置100を概念的に示すブロック図であり、図2及び図3は、物体検出装置100を配備した駅STの様子を示す概念的な図である。なお、図2では、列車TRが線路TKに停車した状態を示しており、図3では、線路TKにおいて列車の描画を省略している。ここでは、一例として、列車TRが発着可能な駅STのホーム(プラットホーム)PFを物体検出装置100による監視対象エリアとしている。すなわち、駅STのホームPFにいる利用者HUを物体検出の対象とし、ホームPFにおける利用者HUの位置が分かるように、検出対象である利用者HUを撮像した部分画像を抽出するとともに、当該部分画像すなわち画像中の人物を囲う枠FRの表示(図4参照)を行っている。これにより、例えば利用者HUの列車TRへの乗り降り等に際して、乗務員や駅員が表示画像を介して安全確認を行う上で、人すなわち利用者HUの存在位置を枠に基づいてより認識しやすいようにしている。なお、図2及び図3では、列車TRの進行方向を+Z方向とし、Z方向に垂直な面内において、垂直方向すなわち上下方向をY方向とし、Z方向及びY方向の双方に直交する方向である水平方向をX方向とする。
上記目的を達成するため、物体検出装置100は、利用者HUの駅構内(特にホームPF上)における検出対象たる人の検出を撮像した画像に基づいて行うとともに、検出された人の位置を的確に捉え、さらに、検出された人の画像上の大きさや位置に合わせた枠FR(図4参照)の設定や表示といった各種処理あるいは画像の加工を行っている。ここでは、代表例として、図2や図3に示すように、ホームPF上にいる利用者HUの存在を確認し、各種処理を行った画像を表示することで、駅員SAによって監視可能な状態にしている。なお、ここでの一例では、図2に示すように、列車TRの乗務員(運転士や車掌)によって確認可能なように、列車TRの停止位置の近傍にモニター等のディスプレイ表示部DAを設けている。
以下、図1等を参照して、本実施形態における物体検出装置100の構成等について具体的に説明する。本実施形態に係る物体検出装置100は、利用者HUすなわちホームPF上を移動する人を検知するために監視対象エリアを撮像する撮像部(撮像カメラ)10と、撮像部10で取得した画像データに基づいて視覚障碍者を検出すべく各種処理及び制御を行う制御装置50と、制御装置50での処理結果に基づき画像表示を行うディスプレイ表示部DAとを備える。
撮像部10は、例えばCCDやCMOS等の個体撮像素子で構成される撮像カメラであり、図2及び図3に例示するように、ホームPFの上方側(+Y側)に固定的に設置され、下方側(-Y側に成分を有する方向)を撮像する。すなわち、撮像部10により上方側からホームPFの床面FLに向けて監視対象エリアについての定点観測のための撮像が行われる。また、ここでは、連続画像データ中のフレーム間で画像を関連付けて同一人物をトラッキングするトラッキング処理を可能とすべく、連続画像データとして、例えば30fpsのフレームレートで2次元画像データを取得している。なお、撮像部10については、ホームPF全体についての撮像を可能とすべく、設置位置やホームPFの形状等に応じて、単数又は複数設けられている。
制御装置50は、例えばCPUや記憶装置等により構成され、撮像部10により取得された連続画像データについての各種処理を行い、処理結果としての画像をディスプレイ表示部DAに表示している。上記処理を可能とするため、図1に例示するように、制御装置50は、主制御部60と、記憶部70と、画像処理部80とを備える。
主制御部60は、例えばCPU等で構成され、人の存在を検出する人検出部61や、同一人物をトラッキングするトラッキング処理部62、あるいは検出された人の部分画像について基準位置を決定する基準位置決定部63、さらには、検出された人の部分画像を囲う枠のサイズを定めるスケール換算枠設定部64や、スケール換算枠設定部64での設定により定まる枠を画像処理部80により描画させる枠描画部65として機能する。
人検出部61は、各種情報処理を行うことにより、撮像部10で取得された2次元画像である連続画像データから機械学習による形状抽出によって人物画像(画像中の部分画像)を抽出する。
トラッキング処理部62は、撮像部10から取得した連続画像データ中のフレーム間で画像を関連付けることで、人検出部61によって抽出された人物画像について同一人物のトラッキングを可能にしている。このため、トラッキング処理部62は、記憶部70から適宜プログラムを読み出して、人検出部61において検出あるいは抽出された各人物画像について、連続画像データ中のフレーム間で画像を関連付けする処理を行う。
基準位置決定部63は、人検出部61で検出された連続画像中における検出対象である人の部分画像について、基準位置を決定する。ここでは、基準位置の一例として、人検出部61において特定された人物画像の足元の位置を採用する。すなわち、本実施形態では、2次元平面の画像中における足元の位置を示す1点(一画素)の座標を、検出された人が存在する位置を示す基準位置とすることで、人の存在位置を特定する。
スケール換算枠設定部64は、人検出部61で検出された人の部分画像について、図4等に例示するように、人の部分画像を囲う枠FRの形状やサイズを定めている。ここでの一例では、基準位置決定部63で決定された人物画像の足元の位置を基点として、人の比率に対応した矩形状の枠FRの画像を表示可能にしている。すなわち、本実施形態では、足元の位置に基づいて、矩形状の枠のサイズを決定する。
ここで、スケール換算枠設定部64において枠FRの形状やサイズを定めるための前提として、本実施形態では、撮像部10により定位置から撮像された画像中の位置ごとに予め定めたスケール換算がなされている。例えば、駅STのホームPFにおいて、撮像部10が撮像した定位置からの一定範囲の画像について人検出に関する解析を行う場合、撮像位置すなわち撮像部10の設置位置から撮像されたホームPFの床面FLまでの距離は、画像中の位置ごとに定まっている。見方を換えると、この場合、撮像された各画像を構成するピクセル単位で(画像中の平面座標ごとに)、床面FLまでの撮像距離を予め決定しておくことができる。このような距離に関する情報を利用することで、スケール換算枠設定部64では、撮像部10により定位置から撮像された画像において、画像中の各位置において表示させる枠FRのサイズを、対応する実際の撮像距離に応じて予め定めておくことができる。これにより、実際の距離に応じて適正サイズの枠FRを画像内に表示できる。なお、以上のようなスケール換算の具体的手法の一例については、図6を参照して後述する。
枠描画部65は、基準位置決定部63で決定された基準位置すなわち人の足元の位置を基点として、スケール換算枠設定部64での設定により定まる枠を、連続画像を構成するフレームごとの画像に描画する。すなわち、各画像上における人物画像に対して、画像処理部80により当該枠を描画させるための各種処理を行う。なお、枠描画部65においてなされる枠の描画を行うか否かの決定等、枠描画に関する詳細については、一例を後述する。
次に、制御装置50のうち、記憶部70は、記憶装置等により構成され、各種データやプログラムを格納しており、主制御部60によりこれらのデータ等が、適宜読み出される。このため、記憶部70は、トラッキング処理部62で同一人物とされる者に関するデータを格納するトラッキングデータ記憶部71のほか、人特徴量情報記憶部72や、スケール換算情報記憶部73等を備えて構成されている。
記憶部70のうち、トラッキングデータ記憶部71は、検出された複数の人を識別すべく検出された人ごとにIDを割り振るとともに画像データ等をIDごとに管理する人記憶部71aを備える。さらに、人記憶部71aには、人の部分画像データごとに基準位置に関するデータを格納する基準位置データ記憶部71bが設けられている。すなわち、基準位置データ記憶部71bには、人の部分画像についての足元の座標が、人の存在位置の基準位置として記憶されている。これにより、制御装置50は、当該基準位置に対応するサイズおよび大きさの矩形形状の枠を画像中に表示させることを可能にしている。
また、記憶部70のうち、人特徴量情報記憶部72は、人検出部61による人検出に関して、HOG特徴量等の既知の手法により機械学習による形状抽出によって人物画像を抽出するに際して必要となる各種情報を格納している。さらには、人物画像の抽出ための各種プログラムについて格納しているものとしてもよい。
また、記憶部70のうち、スケール換算情報記憶部73は、枠設定についてのスケール換算についての情報を格納する。なお、格納される情報についての具体例については後述する。
次に、制御装置50のうち、画像処理部80は、例えばGPU等で構成され、上記のような各種画像処理を可能とすべく、制御装置50からの指示に従って、撮像部10により取得された各2次元画像データについて、各種画像処理を行う。特に、本実施形態では、画像処理部80は、撮像部10により撮像された画像を、ディスプレイ表示部DAに表示すべく各種画像処理動作を行うことに加え、既述のように、枠描画部65からの指示に従って、基準位置決定部63で決定された基準位置を基点とし、スケール換算枠設定部64で定まる枠を、連続画像を構成するフレームごとの画像に描画する。
最後に、制御装置50のうち、ディスプレイ表示部DAは、撮像部10により撮像された画像を映し出すモニターであり、典型例としては、既述のように、列車TRの乗務員(車掌や運転士)によって確認可能なように、ホームPFのうち列車TRが停止した際における列車TRの後端側あるいは先頭側の近傍に設けられている。つまり、列車TRが駅STに到着した後、乗客(利用者)が乗り降りし、出発するまでの間において、乗務員による乗客(利用者)の監視が可能になっている。なお、図示の場合のほか、例えば駅務室等に設置して、駅務室等にいる駅員に対して報知を行う、といった態様としてもよい。
以下、制御装置50を構成する上記各部のうち、主制御部60の人検出部61としての処理動作についての一例を、より詳細に説明する。
主制御部60は、人検出部61として、撮像部10により取得された各2次元画像データ中において、人(人物)の特徴を持った画像が存在するか否かの確認が可能となっている。例えば、既知のHOG特徴量やサポートベクターマシーン(SVM)を利用することで、2次元画像データから機械学習による形状抽出によって人物画像を抽出することを可能にしている。すなわち、人検出部61は、撮像部10により取得された各画像データから直線部分等を抽出し、抽出された直線部分の特徴量等に基づいて、画像データ中に人に固有の特徴を有したものがあるか否かを判定する。さらに言い換えると、人検出部61は、画像データ中における人と人以外とを仕分ける。これにより、人検出部61は、判定結果に基づいて人物画像の抽出をする。このため、人検出部61は、必要なプログラムを記憶部70から適宜読み出すとともに、人特徴量情報記憶部72に格納された人に関する特徴量のデータを利用して、人の存在を検出している。HOG特徴量等を利用することで、2次元的画像からであっても人検出を行うことができる。
ここで、上記一例のような既存の手法により人検出を行う場合では、人検出器である人検出部61において、例えばHOG特徴量等に基づいて予め定めた方式に沿って、画面上をスキャンした各点や領域で人らしさを示す指標に基づいてスコアをつけ、スコアが高くなる領域を探すことで、人として検知されるべき画像領域を定め、人物画像の部分画像として抽出している。しかしながら、このような方法を採用した場合、例えば、日照条件や撮像位置から検出対象までの距離等の各種撮像状況によっては、スコアがベストとなる領域(以下、ベストスコア領域とする。)の位置や大きさ、範囲が必ずしも検出対象となる画像上の人のサイズや位置等にぴったり対応したものになるとは限らない。すなわち、画像データによっては、例えば、ベストスコア領域が、捉えるべき人の画像部分よりも大きい領域になったり、逆に小さい領域になったり、あるいは位置がずれたりする。したがって、上記のような手法で捉えたベストスコア領域をそのまま人物画像を示す枠表示として利用してしまうと、撮像した連続画像中において検出対象に応じて出力される枠の位置や大きさに変動が生じ、視認性が悪くなる可能性がある。これに対して、本実施形態では、人検出部61での人検出において特定された場合において、さらに検出された人の位置を規定する基準位置を設け、当該基準位置を基点として、画像範囲の位置ごとにサイズを定めた枠を、フレームごとの画像に描画することで、撮像した連続画像中において描画される枠の位置や大きさの変動を抑え、枠付きの画像としての検出対象である人の画像を、視認性の高いものにしている。
図4(A)~4(C)は、トラッキングされる人物の様子について一例を示す概念的に示す画像図であり、人検出によるベストスコア領域をそのまま表示した枠FRxと、本実施形態での処理を施した結果としての枠FRとの双方を示しており、これらを比較可能にしている。例えば図4(A)と図4(B)とは、数フレームの差(すなわち数百ミリ秒の差)をおいて同じ場所を撮像したものであるが、同一人物である画像上の人PE1を囲う枠FRと枠FRxを比較した場合に、人検出でのベストスコア領域をそのまま表示した枠FRxは、大きくサイズが変動しているのに対して、本実施形態での処理を施した結果としての枠FRは、サイズの変動が小さく抑えられて対象となる人PE1を的確に囲っていることが分かる。同様に、別の時刻での撮像結果を示す図4(C)においても、枠FRxは、検出すべき画像上の人PE2に対して非常に大きくなってしまっているのに対して、枠FRは、画像上の人PE2のサイズに適した大きさになっていることが分かる。
以下、図5を参照して、従来の人検出器において、上記のように矩形の枠あるいは領域のサイズの変動が生じる理由について簡単に説明する。一般に、上記のような従来の人検出器では、人の画像であるか否かの指標を示すスコアの算定に際して、算定の基準となる矩形の画像サイズを予め1つに定めておき、図示のように、矩形状に切り出した算定対象の部分画像PIを、拡大あるいは縮小して基準となる画像サイズに合わせた上で、スコアを算出している。このため、切り出した画像のサイズや拡大率・縮小率、あるいは矩形に切り出した際に含まれる人以外の部分の画像の輝度等の影響で、スコアの算出結果がベストとなっている領域が、必ずしも人のみを含むように適切に抽出された領域となるとは限らず、例えば、人を含んでいるが人以外の領域も多く含んだものになってしまったり、逆に、人の一部が欠けたものになってしまったりする可能性がある。なお、場合によっては、さらに、人以外の物を人の画像として捉えてしまう可能性もある。以上に対して、本実施形態では、これらに対処すべく種々の手法を設けている。
以下、図6を参照して、本実施形態における枠FRの設定に関して具体的一例を説明する。ここでは、撮像部10において固定位置から撮像されたホームPF(図2、図3参照)についての画像として、図6(A)に示される画像GIのうち、床面FLについての画像FLiの範囲について各点(画素)での撮像部10までの距離を設定する。これに基づき、画像FLiの各点(画素)にある基準位置すなわち足元の位置とする枠FRのサイズの設定ができる。なお、ここでは、ホームPFの床面FLは、一方の端が線路TKとの境界であり、他方の端が線路TKと反対側にある壁との境界であるものとする。つまり、図6(A)の画像GI及び6(B)の画像GIaに例示する場合において、線路TKの画像TKiとの境界BD1から壁の画像WLiとの境界BD2までの間の範囲について設定を行うことになる。
まず、図6(A)に示すように、画像GIを撮像した撮像部10までの距離が互いに異なり、かつ、既知の位置にある既知基準位置SP1,SP2における矩形の枠FRの形状及びサイズを設定する。なお、既知基準位置SP1,SP2および既知基準位置SP1,SP2における枠FRの形状及びサイズについては、事前に取り決めておくこととしてもよいが、例えば、撮像部10から実際に測定してもよい。具体的一例としては、所定距離の位置に標準的な人間のサイズ(例えば170cm)を有する実物の人形DL1,DL2を設置し、撮像部10においてこれらを撮像し、撮像した画像を直接視認しながら、人形DL1,DL2の足元の位置を、画像上の既知基準位置SP1,SP2として定め、さらに、既知基準位置SP1,SP2を基準とする矩形の枠FRの位置、形状及びサイズを定めることができる。この場合において、例えば、足元の位置である既知基準位置SP1,SP2を、定めるべき画像上の枠FRの矩形形状における上下方向について7:1の位置、左右方向について1:1の位置となるようにしつつ、映し出された人形DL1,DL2の足元から頭頂部までを含む長さを上下方向の一辺の長さとし、さらに、人形DL1,DL2の横幅を含む長さを左右方向の一辺の長さとする矩形を描画すべき枠の形状として設定することができる。なお、矩形の縦横比については、通常の人間の標準的な直立時の状態での縦横の比率に基づいて、例えば縦:横=2:1といったように予め定めておいてもよい。
次に、図6(B)に示すように、上記のようにして定めた互いに距離が異なる2箇所の既知基準位置SP1,SP2に基づいて、画像の解析を行い、解析結果としての画像GIaにおける奥行き方向(y方向)を定める。ここでは、説明を簡単にするため、既知基準位置SP1,SP2を結ぶ直線をy軸とし、y軸の延びる方向を、奥行き方向とする。さらに、y軸上の各点について、その点を通りかつその点から撮像部10の位置までの距離が等しい点の集まりに沿った点の集まりに沿ってx軸を定める。
図6(C)および6(D)は、上記のようにして定められたxy座標に応じた枠のサイズについて示す概念図及びグラフであり、例えば図6(D)の横軸は、y座標すなわち撮像位置からの距離に相当するものであり、縦軸は表示すべき枠FRの高さすなわち枠FRのサイズを定める。すなわち、上記の場合、y座標が定まると、これに応じて枠FRの高さH(y)すなわち枠FRの大きさあるいは形状が定められることになる。図6(D)の例では、既知基準位置SP1,SP2のy座標の値y1,y2(撮像位置からの距離に相当)及びこれに対応する高さH(y1),H(y2)に基づいて定まる直線L1から各位置における枠FRのサイズを決定する。図6(D)では、説明を簡単にするため、値y1,y2に関する2点を結ぶ直線L1をもってy座標から枠FRを設定するものとしている。なお、y座標が同じであれば、x座標の値が違っても同じ大きさ・形状の枠が選択されることになる。画像GIa(特に床面FLについての画像FLiの範囲)を構成する各画素の位置を、以上のようにして定められるxy座標によって規定することで、各座標のy座標に対応する形状の枠FRを表示させる。言い換えると、以上の場合、y座標の設定によって枠設定についてのスケール換算がなされていることになる。以上が、本実施形態において枠描画を可能とするための前提となる。上記のような態様とすることにより、人検出部61での結果をそのまま用いた枠描画に比べて、枠FRの位置や大きさの変動を抑え、枠付きの画像としての検出対象である人の画像を、視認性の高いものにできる。特に、この場合、空間的変化についての視認性の向上が図られることになる。
なお、図6を参照して例示した枠設定についてのスケール換算についての情報、具体的には、既知基準位置SP1,SP2に関する情報やこれに基づき定められた直線L1等の情報は、スケール換算情報記憶部73に格納される。スケール換算枠設定部64は、必要に応じてスケール換算情報記憶部73に格納されている情報を適宜読み出すことで、枠FRの形状やサイズを定めている。
以下、図7のフローチャートを参照して、物体検出装置100の全体動作の概要についての一例を説明する。ここでは、人検出部61で抽出される人物画像について、まず、第1に、抽出された人物をIDで振り分け、さらに、各IDについてフレーム間での関連付け等を含むトラッキング処理に関する一連の処理を行う。その上で、第2に、各人物画像について枠の表示(枠描画)を行うか否かを決定している。
図7において、まず、物体検出装置100の制御装置50は、物体検出の動作の開始として、撮像部10での撮像により取得した連続画像データについて人物画像の有無等について人検出部61で解析してトラッキング対象である人物画像を特定した上で、トラッキング処理部62は、トラッキング処理を行う(ステップS101)。さらに、トラッキング処理部62は、ステップS101におけるトラッキング処理から抽出した各人の画像について事象分類を行う(ステップS102)。具体的には、図8(A)及び8(B)に例示するように、各画像が、前のフレーム画像と後のフレーム画像との関係で、新規のものであるか、更新されたものであるかを判定する。さらに、図8(C)に例示するように、上記に加えて、前のフレーム画像において存在していたものが存在しなくなっている場合には、補間すべきであるか否かを判定する。
図8(A)に例示するように、現在のフレーム画像(時刻tのフレーム画像)と過去のフレーム画像(時刻t-1のフレーム画像)すなわち1つ前のフレーム画像とを比較した場合において、現在のフレーム画像中の人物画像PG1が、トラッキングデータ記憶部71に格納されているデータに基づいてIDによる関連付けを検討しても、1つ前のフレーム画像では存在していなかった、と判断される場合、トラッキング処理部62は、新規の人物画像として登録を行う。
一方、図8(B)に例示するように、現在のフレーム画像(時刻tのフレーム画像)と過去のフレーム画像(時刻t-1のフレーム画像)とを比較した場合において、IDによる関連付けの結果、フレーム画像の前後で同一であると判断される人物画像PG2が存在する場合、人物画像PG2を当該IDについての画像データである旨の紐付け処理を行う。例えば、2つのフレーム画像間での位置関係が統合範囲内にあるか等に基づき同一人物についての画像であると判断される場合にこれらの紐付けを行う。
また、図8(C)に例示するように、現在のフレーム画像(時刻tのフレーム画像)と過去のフレーム画像(時刻t-1のフレーム画像)とを比較した場合において、過去のフレーム画像においてID登録されているものに該当する人物画像PG3が、現在のフレーム画像において見つからなくても、直ちに不存在とはせず、所定条件を満たせば、過去のフレーム画像におけるIDの情報を存続させるようにしている。すなわち、情報を削除せず、保存する。すなわち、トラッキング処理部62は、検出対象である人についての部分画像に関して、連続画像中のフレーム間において一時的に未検出となっても、所定フレーム数内に対応する部分画像を再度検出した場合には、関連付けて同一物体として取り扱うようにしている。
図7に戻って、ステップS102における事象分類の結果に応じて、制御装置50は、必要なID管理処理を行う(ステップS103)。すなわち、トラッキングデータ記憶部71に格納すべきID管理データについて、新規、更新あるいは補間といった保管する情報の変更等を行う。ステップS103での処理結果に基づいて、制御装置50は、枠描画を含めた描画動作を画像処理部80において行う(ステップS104)。
以下、上記において、図8等で具体例を挙げつつ説明した図7での各ステップS101~S104での一連の処理について、適宜補足を付加しつつ簡潔にまとめ直して、一般的な処理内容の一例として説明する。
まず、ステップS101では、検出対象である人の現在の足元座標と過去の検出対象の足元座標の距離を比較するための準備がなされる。なお、この比較において、予め定めた統合範囲内にあるものに関して、最短の検出対象を同一として更新する一方、当該統合範囲外のものについては、新規の対象と判断することになる。このような処理を検出対象として抽出された人物画像の数だけ行う。
次に、ステップS102では、検出対象である人物画像を、新規、更新、補間の3パターンに分類する。すなわち、ステップS101での抽出結果をもとに、検出対象を新規と更新に分類する。また、ステップS101での抽出結果において、未使用であった過去の人物画像がある場合、これについて補間と分類すべきか否かを判断する。例えば、補間では、ある一定数更新されないものである場合、検出対象から除外されることになる。
次に、ステップS103では、ID管理がなされる。すなわち、検出対象である人物に関するステップS102での状態(新規、更新、補間)に応じて、IDの追加・削除・更新を行う。各IDは、例えば、設定されている座標情報、検出情報(連続検出数、累積検出数、連続未検出数)の情報を保持する。なお、これらに関しては、具体的一例を後述する。
最後に、ステップS104では、ステップS103でのID管理の検出情報に基づくことで、枠の描画に際して、誤検出の抑制と検出の信頼性を高め、さらに、未検出を補間している。また、描画に際しては、上述したスケール換算から、検出対象である人物画像に応じた矩形を描画できる。
ここで、上記のうち、例えばステップS102の事象分類に際して、現在のフレーム画像において、過去のフレーム画像でID登録されているものに該当する人物画像が無くても、直ちに不存在とはせず、所定条件を満たせば、過去のフレーム画像におけるIDの情報を存続させている。この処理に関して、例えばステップS104の枠描画の処理においては、過去のフレーム画像において描画した枠をそのまま次のフレーム画像上においても同じ位置に描画させる等の処理を施す態様とすることが考えられる。さらに、本実施形態では、新規の場合においては、人としての部分画像が検出されても、これに対応する枠描画を行わないようにしている。つまり、人が検出されても、最初の1枚目については枠描画を行わないようにしている。以上のような態様とすることで、人検出において未検出や誤検出があっても、これに伴って不適切な枠描画がなされてしまうことを抑制している。
既述のように、人物画像の抽出に際して、画像データの状況や適用する人検出の手法(スコアを決定するエンジンの種類)等によっては、人でない物体を検出対象として捉えてしまったりする場合(誤検出)や、捉えるべき人を検出できず不存在としてしまったりする場合(未検出)が生じ得る。誤検出の典型例としては、例えば図4(C)に例示した人検出によるベストスコア領域をそのまま表示した枠FRxのように、列車の窓部分の画像や電柱の画像等を誤って人として検出してしまう、といったことが生じる場合がある。このような誤検出は、連続する画像(フレーム画像)のうちの1フレームだけに生じるといった瞬間的なものであり、誤検出の状態が継続するといった事態は発生しにくい。また、未検出の典型例としては、例えば連続する画像(フレーム画像)のうちの1フレームだけ検出がなされないといったことが瞬間的に生じる場合がある。ただし、これについても、未検出の状態が継続するといった事態は発生しにくい。上記のような事態が生じるのは、例えば瞬間的な明るさが変化したとか、一時的な形状の状態がたまたま人検出のスコアが高いものになってしまった、といったことに起因していると考えられる。
以上のような事実を踏まえ、本実施形態では、誤検出の場合に対応して、枠描画部65が、枠描画に際して新規の検出対象について枠の描画を行わないようにしたり、未検出の場合に対応して、トラッキング処理部62が、フレーム間での補間をしたりすることで、枠の描画について適正な状態を維持している。
ここでは、トラッキング処理部62において、同一物体として関連付けられた検出対象すなわちトラッキング対象についてのフレーム間における連続検出数、累積検出数及び連続未検出数を計数し、これらの値に基づいて、枠描画部65において枠の描画を行うか否かを決定している。ここでの一例では、フレーム間における連続検出数について、2以上であることを描画の条件とし、フレーム間における連続未検出数について、3以上であることを描画の条件としている。なお、連続検出数を2以上とすることについては、描画の開始を遅らせる立ち上がりディレイを1とすることに相当する。また、連続未検出数を3以上とすることについては、描画の停止を遅らせる立ち下がりディレイを2とすることに相当する。なお、フレーム間における累積検出数についても適宜定められるが、ここでの一例では、累積検出数について、2以上であることを描画の条件とする。なお、以上の各数値は一例であり、撮像状況等種々の要因に応じて適宜変更可能である。
以下、図9等を参照して、上記のような動作についての一例を説明する。図9は、トラッキング処理部62におけるトラッキング処理の一例について説明するための概念的な画像図である。また、図10は、図9に例示するようなトラッキング処理におけるフレーム間での関連付けでの描画に関する判定結果の他の一例を示すタイムチャートである。
まず、図9において、上段αは、上述したような誤検出や未検出への対応を想定せず、検出結果をそのまま反映させて枠表示を行う場合の一例を示している。この場合、図に例示する7つの連続するフレーム画像では、フレーム画像中、第3、第4及び第6フレームにおいて未検出となっており、これらにおいてフレームも表示されなくなっている。このような表示態様とした場合、一連の動画としては、枠が表示されたり消えたりすることになる。これに対して、下段βは、上段αのような状況下において、上述したような誤検出や未検出への対応の一例を施した場合について示している。ここでは、一例として、最初の1枚目については枠描画を行わないものとする(立ち上がりディレイを1とする)ことで、誤検出に伴う対象外の物体についての枠描画を抑制している。また、未検出となっても2回目の未検出までは枠描画を継続するものとする(立ち下がりディレイを2とする)ことで、未検出に伴う対象物体についての枠描画不履行を抑制している。すなわち、下段βの場合、第1フレームにおいては、新規のものとして検出されているが、敢えて枠描画を行わないようにしている一方、第3、第4及び第6フレームにおいては、未検出となっていても、枠描画を行っている。以上の結果、下段βでは、第1フレームを除く第2フレームから第7フレームの全てにおいて枠描画が継続されることになる。つまり、枠が表示されたり消えたりするといったことが無く、枠の表示が続いている状態となる。なお、上記のように、立ち上がりディレイを1とし、立ち下がりディレイを2とした場合、人物画像の検出・未検出と枠の描画を行うか否かとの関係については、例えば同様の場合の他の一例として図10に示すタイムチャートのようになる。図10のタイムチャートでは、横軸すなわち時間軸方向について連続画像のフレーム数で示しており、各フレーム画像での人物画像の検出・未検出の結果を示している。なお、各フレームにおいて枠の描画を行うか否かの基準は、上記図9において例示した場合と同様とする。つまり、図10は、図9に示すトラッキング処理におけるフレーム間での関連付けの結果について他の一例を示している。なお、図中には、第1、第3及び第12フレームでの各数値を例示として記載している。図10の場合も、図9の下段βの場合と同様に、第1フレームを除き、枠の描画が継続されている。
ここで、図9の下段β、さらには、図10に示す場合、最初の第1フレームについては、枠の表示がなされず、図9の上段αと比べて1フレーム分枠の表示の開始が遅れることになる。しかし、例えば、撮像部10において、30fpsのフレームレートで2次元画像データを取得しているといった場合には、上記のような遅れは、1/30秒程度ということになる。この程度の遅れであれば、駅での人の乗降りの確認等において支障が出るとは考えにくい。以上のように、人物画像の誤検出や未検出に対応した枠表示を行うことで、より視認性を高めることができる。特に、この場合、時間的変化(時系列の変化)についての視認性の向上が図られることになる。
以下、図11のフローチャートを参照して、トラッキング処理部62におけるデータ管理の処理(ステップS103での処理の一部に相当)についての一例を説明する。
まず、トラッキング処理部62は、ID管理されている検出された一の人の画像に関して、連続未検出数が閾値(上記例の場合、立ち下がりディレイの数である2)に到達したか否かを確認する(ステップS201)。ステップS201において、連続未検出数が閾値到達していないと判断された場合(ステップS201:No)、トラッキング処理部62は、当該一の人の画像に関するIDを存続するものとして更新する(ステップS202)。一方、ステップS201において、連続未検出数が閾値到達したと判断された場合(ステップS201:Yes)、トラッキング処理部62は、当該一の人の画像に関するIDを削除する(ステップS203)。すなわち、この時点で初めて当該IDに該当する人が存在しなくなったと判断する。
以上のように、人物画像についての誤検出や未検出の場合を考慮して、枠描画部65において、トラッキング処理部62での同一物体の関連付けに応じて、枠の描画を行うか否かを決定する態様とすることで、時間的変化における枠表示を適正なものとして視認性の向上を図ることができる。
〔その他〕
この発明は、上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様で実施することが可能である。
まず、上記実施形態では、図6を参照した枠の設定に関して、説明を簡単にするため、例えば2点の既知基準位置SP1,SP2を結ぶ直線をy軸として枠設定を行うものとしているが、これに限らず、枠の設定については、種々の態様が考えられ、例えば、2点以上の基準位置既知を抽出してこれらの二乗平均等を利用して、各基準位置での枠設定すなわち枠の形状や大きさの設定を行うものとしてもよい。
また、上記では、一例として、監視対象エリアを駅STのホームPFとしているが、これに限らず的確な人検出をすることが望まれる種々の場所を監視対象とすることができる。例えばエスカレーターやエレベーター等における利用者の監視に適用することが考えられる。
また、撮像部10の配置についても、上記のように、ホームPFの上方側に設置されて下方側を撮像する場合に限らず、目的とする範囲を撮像できる種々の態様とすることができる。例えば、撮像対象とすべきホームの反対側に位置するホームに撮像部を設置すること等が考えられる。
また、上記では、制御装置50での検出結果についての報知先の一例として、列車の乗務員や駅務室の駅員を挙げているが、これに限らず、種々の箇所や人へ報知することが可能である。
また、撮像部10が、複数設定されるような場合においては、例えば撮像範囲が隣接する撮像部間での情報を、データ中においてリンクさせるようにしてもよい。これにより、より広い範囲に亘って連続的に人物のトラッキングを行うことができる。