本発明は、所定の領域を撮影する撮像装置を用いて、該領域を通過する移動体に関する通過情報を検出する移動体情報検出装置、移動体情報検出方法および移動体情報検出プログラムに関し、特に、撮像装置でパン・ティルト・ズームを行うことなく、移動体の検出と認識とを同時に行うことができる移動体情報検出装置、移動体情報検出方法および移動体情報検出プログラムに関するものである。
従来、天井など、上部に設置されたカメラを用いて通路などを通過する人物を撮影し、その映像を画像処理することによって、人物を自動で検出(認識)する人物情報検出装置が存在する。この人物情報検出装置は、例えば、施設の出入口を入退出する人物を監視する入退出監視システムや、歩道や通路を通過する人物の数を計数する通過人物計数システムに利用されている。
かかる入退出監視システムや通過人物計数システムにおいては、入退出や通過する人物を漏れなく検出(計数)できることや、導入・運用コストの面から、少ないカメラ台数で実現できることが望まれている。さらに近年では、セキュリティの意識が高まっていることから、通過した人物を特定するための情報として顔映像を取得することも重要視されている。
このような要望を実現するために、これまでに提案されている方法としては、監視したい領域の上方から真下を撮影するカメラを用いる方法や、複数のカメラを用いる方法や、パン・ティルト・ズーム機能を持つカメラ(PTZカメラ)を用いる方法などがある。
監視したい領域の上方から真下を撮影するカメラを用いる方法としては、例えば、特許文献1(特開平6−223157号公報)に記載されている方法がある。図19〜図22は、特許文献1の方法を説明するための図(1)〜(4)である。この方法では、天井にカメラを真下に向けて設置して(図19を参照)、撮影される映像(図20を参照)の変化を画像処理により認識し、この変化を通過した人物として検出する。これにより、カメラと通路とが正対しているため、通過した人物のみを撮影することができ、人物が歩いてくる方向に向けて斜めから撮影する場合(図21を参照)のように、奥行き方向に別の人物が映る(図22を参照)ことがなく、通過する人物を一人ずつ区別して正しく検出することができる。
また、複数のカメラを用いる方法としては、例えば、特許文献2(特開平9−54894号公報)に記載されている方法がある。図23は、特許文献2の技術を説明するための図である。同図に示すように、この方法では、真下のみではなく、人物が歩いてくる方向にもカメラを設置して、通過する人物の顔も認識する。これにより、通過する人物の計数のみではなく、通過した人物の顔映像の取得および認識を行うことができる。
また、PTZカメラを用いる方法としては、例えば、特許文献3(特開平10−188145号公報)に記載されている方法がある。図24は、特許文献3の方法を説明するための図である。同図に示すように、この方法では、広く撮影した映像の中から通過する人物を検出し、検出した位置にカメラをパン・ティルト・ズームすることで、人物の顔映像の取得、認識を行う。これにより、1台のカメラで人物の検出(計数)と顔映像の取得、認識を行うことができる。
以上のように、通過する人物を検出する従来技術は様々提案されており、それぞれ特長も異なっている。
特開平6−223157号公報
特開平9−54894号公報
特開平10−188145号公報
しかしながら、特許文献1、2および3に代表される従来の技術では、以下のような問題点がある。
まず、監視したい領域の上方から真下を撮影するカメラを用いる方法では、通過する人物の計数は行えるものの、人物を認識するための顔映像を取得できず、セキュリティの用途には適さないという問題がある。
また、複数のカメラを用いる方法では、次のような問題点がある。図25は、複数のカメラを用いる方法の問題点を説明するための図である。同図に示すように、この方法では、異なるカメラに映る同一人物を画像処理により同一人物と対応付けるためには、各カメラを厳密に設置することが必要であり、経年変化などにより設置位置がずれることを考慮すると、現場調整のコストが大きいという問題がある。また、この方法では、複数台のカメラを使用するため、導入コストおよび設置スペースの問題がある。
また、PTZカメラを用いる方法では、次のような問題点がある。図26は、PTZカメラを用いる方法の問題点を説明するための図である。同図に示すように、この方法では、通過する一人の人物に着目するようにカメラをパン・ティルト・ズームするため、複数の人物が同時に監視領域を通過した場合には、全ての通過人物を検出できないという問題がある。この問題に対して、複数台のPTZカメラを用いた場合には、複数のカメラを用いる方法と同じ問題がある。また、パン・ティルト・ズームの動作は、カメラに機械的な磨耗が発生するため、長時間の使用を保証することが難しいという問題がある。
この発明は、上述した従来技術による問題点を解消するためになされたものであり、撮像装置でパン・ティルト・ズームを行うことなく、移動体の検出と認識とを同時に行うことができる移動体情報検出装置、移動体情報検出方法および移動体情報検出プログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するため、本発明は、所定の領域を撮影する撮像装置を用いて、該領域を通過する移動体に関する通過情報を検出する移動体情報検出装置であって、前記撮像装置により撮影された領域内の中央部分に映された移動体の映像を用いて第一の画像処理を行う中央領域処理手段と、前記撮像装置により撮影された領域内の前記中央部分の周辺部分に映された移動体の映像を用いて第二の画像処理を行う周辺領域処理手段と、前記中央領域処理手段による第一の画像処理で検出された第一の情報および前記周辺領域処理手段による第二の画像処理で検出された第二の情報を移動体ごとに対応付けた情報を前記通過情報として検出する通過情報検出手段と、を備えたことを特徴とする。
また、本発明は、上記の発明において、前記中央領域処理手段および/または前記周辺領域処理手段は、それぞれ検出した前記第一の情報および/または前記第二の情報の信頼度を算出し、前記通過情報検出手段は、前記中央領域処理手段および/または前記周辺領域処理手段により算出された信頼度に基づいて、前記第一の情報と前記第二の情報とを対応付けることを特徴とする。
また、本発明は、上記の発明において、前記通過情報検出手段は、前記中央領域処理手段および/または前記周辺領域処理手段により算出された信頼度が低い場合に、前記中央領域処理手段および/または前記周辺領域処理手段に対して前記第一の情報および/または前記第二の情報の再検出を行うように指示することを特徴とする。
また、本発明は、上記の発明において、前記中央領域処理手段による第一の画像処理において検出された第一の情報および/または前記周辺領域処理手段による第二の画像処理において検出された第二の情報を、あらかじめ蓄積された移動体特定用情報と照合することによって該移動体を特定する移動体照合手段をさらに備えたことを特徴とする。
また、本発明は、上記の発明において、前記移動体照合手段は、前記第一の情報および/または前記第二の情報を照合した際に、前記移動体特定用情報の中に一致する情報が存在していなかった場合には、該第一の情報および/または第二の情報を前記移動体特定用情報に追加することを特徴とする。
また、本発明は、上記の発明において、前記中央領域処理手段は、前記第一の画像処理において前記移動体の進行経路を検出し、前記周辺領域処理手段は、前記第二の画像処理において前記移動体の属性情報を検出し、前記通過情報検出手段は、前記中央領域処理手段により検出された進行経路と前記周辺領域処理手段により検出された属性情報とを移動体ごとに対応付けた情報を前記通過情報として検出することを特徴とする。
また、本発明は、上記の発明において、前記移動体は人物であり、前記中央領域処理手段は、前記第一の画像処理において前記人物の進行経路を検出し、前記周辺領域処理手段は、前記第二の画像処理において前記人物の顔情報を検出し、前記通過情報検出手段は、前記周辺領域処理手段により検出された顔情報と前記中央領域処理手段により検出された進行経路とを人物ごとに対応付けた情報を前記通過情報として検出することを特徴とする。
また、本発明は、上記の発明において、前記撮像装置は、広角レンズを用いて前記所定の領域を撮影することを特徴とする。
また、本発明は、上記の発明において、前記撮像装置は、魚眼レンズを用いて前記所定の領域を撮影することを特徴とする。
また、本発明は、所定の領域を撮影する撮像装置を用いて、該領域を通過する移動体に関する通過情報を検出する移動体情報検出方法であって、前記撮像装置により撮影された領域内の中央部分に映された移動体の画像を用いて第一の画像処理を行う中央領域処理工程と、前記撮像装置により撮影された領域内の前記中央部分の周辺部分に映された移動体の画像を用いて第二の画像処理を行う周辺領域処理工程と、前記中央領域処理工程による第一の画像処理で検出された第一の情報および前記周辺領域処理工程による第二の画像処理で検出された第二の情報を移動体ごとに対応付けた情報を前記通過情報として検出する通過情報検出工程と、を含んだことを特徴とする。
また、本発明は、所定の領域を撮影する撮像装置を用いて、該領域を通過する移動体に関する通過情報を検出する移動体情報検出プログラムであって、前記撮像装置により撮影された領域内の中央部分に映された移動体の画像を用いて第一の画像処理を行う中央領域処理手順と、前記撮像装置により撮影された領域内の前記中央部分の周辺部分に映された移動体の画像を用いて第二の画像処理を行う周辺領域処理手順と、前記中央領域処理手順による第一の画像処理で検出された第一の情報および前記周辺領域処理手順による第二の画像処理で検出された第二の情報を移動体ごとに対応付けた情報を前記通過情報として検出する通過情報検出手順と、をコンピュータに実行させることを特徴とする。
本発明によれば、撮像装置により撮影された領域内の中央部分に映された移動体の画像を用いて第一の画像処理を行い、撮像装置により撮影された領域内の中央部分の周辺部分に映された移動体の画像を用いて第二の画像処理を行い、第一の画像処理で検出した第一の情報および第二の画像処理で検出した第二の情報を移動体ごとに対応付けた情報を通過情報として検出するよう構成したので、第一の情報に基づいて移動体の通過数や進行経路などを検出するとともに第二の情報に基づいて移動体を認識することが可能になり、撮像装置でパン・ティルト・ズームを行うことなく、移動体の検出および認識を同時に行うことができるという効果を奏する。また、この構成は一台の撮像装置でも実現が可能なため、設置現場での煩雑な位置調整や、導入にかかるコストを低減することができるという効果も奏する。
また、本発明によれば、それぞれ検出した第一の情報および/または第二の情報の信頼度を算出し、算出した信頼度に基づいて、第一の情報と第二の情報とを対応付けるよう構成したので、照度変化などの外乱要素によって移動体の検出性能が低下するなどの悪影響を抑え、安定して人物の通過情報を検出することができるという効果を奏する。
また、本発明によれば、算出した信頼度が低い場合に、第一の情報および/または第二の情報の再検出を行うように指示するよう構成したので、照度変化などの外乱要素によって移動体の検出に誤差が生じやすい状態が発生した場合でも、高い精度で移動体情報を検出することができるという効果を奏する。
また、本発明によれば、第一の画像処理において検出された第一の情報および/または第二の画像処理において検出された第二の情報を、あらかじめ蓄積された移動体特定用情報と照合することによって移動体を特定するよう構成したので、移動体を認識するだけでなく、特定することも可能になる。これにより、移動体ごとに通過回数を集計したり、あらかじめ決めておいた監視すべき移動体を検知したりすることが可能になり、移動体検出機能の高機能化を図ることができるという効果を奏する。
また、本発明によれば、第一の情報および/または第二の情報を照合した際に、移動体特定用情報の中に一致する情報が存在していなかった場合には、第一の情報および/または第二の情報を移動体特定用情報に追加するよう構成したので、特定できる移動体を学習して増やすことが可能になり、移動体の検出機能を自動的に向上させることができるという効果を奏する。
また、本発明によれば、第一の画像処理において移動体の進行経路を検出し、第二の画像処理において移動体の属性情報を検出し、検出した進行経路と属性情報とを移動体ごとに対応付けた情報を通過情報として検出するよう構成したので、属性情報に基づいて移動体を認識すると同時に、その移動体の進行経路を同時に検出することができるという効果を奏する。
また、本発明によれば、移動体は人物であり、第一の画像処理において人物の進行経路を検出し、第二の画像処理において人物の顔情報を検出し、検出した進行経路と顔情報とを人物ごとに対応付けた情報を通過情報として検出するよう構成したので、顔情報に基づいて人物を認識すると同時に、その人物の進行経路を同時に検出することができるという効果を奏する。
また、本発明によれば、撮像装置は、広角レンズを用いて所定の領域を撮影するよう構成したので、撮像装置により撮影される領域が通常のレンズに比べて広くなり、より多くの通過情報を移動体ごとに検出することが可能になり、移動体の検出および認識の精度を高めることができるという効果を奏する。
また、本発明によれば、撮像装置は、魚眼レンズを用いて所定の領域を撮影するよう構成したので、撮像装置により撮影される領域が通常のレンズや広角レンズに比べてさらに広くなり、より多くの通過情報を移動体ごとに検出することが可能になり、移動体の検出および認識の精度を高めることができるという効果を奏する。
図1は、本実施例1に係る人物情報検出装置の概念を説明するための図(1)である。
図2は、本実施例1に係る人物情報検出装置の概念を説明するための図(2)である。
図3は、本実施例1に係る人物情報検出装置の構成を示す機能ブロック図である。
図4は、処理画像変換部による周辺領域の画像変換の一例を説明するための図(1)である。
図5は、処理画像変換部による周辺領域の画像変換の一例を説明するための図(2)である。
図6は、処理画像変換部による周辺領域の画像変換の一例を説明するための図(3)である。
図7は、処理画像変換部による中央領域の画像変換の一例を説明するための図(1)である。
図8は、処理画像変換部による中央領域の画像変換の一例を説明するための図(2)である。
図9は、中央領域処理部による人物検出の一例を説明するための図である。
図10は、処理結果統合部による人物の対応付けを説明するための図である。
図11は、本実施例1に係る人物情報検出装置の処理手順を示すフローチャートである。
図12は、本実施例2に係る人物情報検出装置の構成を示す機能ブロック図である。
図13は、信頼度判定部による再検出を説明するための図である。
図14は、本実施例3に係る人物情報検出装置の構成を示す機能ブロック図である。
図15は、本実施例4に係る人物情報検出装置の構成を示す機能ブロック図である。
図16は、本実施例5に係る荷物情報検出装置の概念を説明するための説明図である。
図17は、本実施例5に係る荷物情報検出装置の構成を示す機能ブロック図である。
図18は、本実施例に係る移動体情報検出プログラムを実行するコンピュータの構成を示す機能ブロック図である。
図19は、特許文献1の方法を説明するための図(1)である。
図20は、特許文献1の方法を説明するための図(2)である。
図21は、特許文献1の方法を説明するための図(3)である。
図22は、特許文献1の方法を説明するための図(4)である。
図23は、特許文献2の方法を説明するための図である。
図24は、特許文献3の方法を説明するための図である。
図25は、複数のカメラを用いる方法の問題点を説明するための図である。
図26は、PTZカメラを用いる方法の問題点を説明するための図である。
符号の説明
100,200,300,400 人物情報検出装置
500 荷物情報検出装置
110 A/D変換部
111 画像記憶部
112 周辺領域処理結果記憶部
113 中央領域処理結果記憶部
114 画像制御部
115 処理画像変換部
116 周辺領域処理部
117 中央領域処理部
118 処理結果統合部
219 信頼度判定部
320 顔映像照合部
521 側面映像照合部
522 上面映像照合部
600 コンピュータ
610 RAM
611 移動体情報検出プログラム
620 CPU
621 移動体情報検出タスク
630 ROM
640 LANインタフェース
650 カメラインタフェース
以下に添付図面を参照して、この発明に係る移動体情報検出装置、移動体情報検出方法および移動体情報検出プログラムの好適な実施例を詳細に説明する。なお、本実施例では、本発明を、通路を通過する人物に関する通過情報を検出する人物情報検出装置に適用した場合を中心に説明する。
まず、本実施例1に係る人物情報検出装置の概念について説明する。図1および2は、本実施例1に係る人物情報検出装置の概念を説明するための図(1)および(2)である。
本実施例1に係る人物情報検出装置は、天井など、監視したい領域の上部に設置された監視カメラで撮影された映像について、映像内の領域ごとに異なる画像処理を同時に行うことによって、通過人物の検出と、その人物の顔映像とを、取得および認識するものである。
ここで使用される監視カメラには、魚眼レンズなどの広角レンズを用いて撮影が行われるカメラが用いられる。広角レンズを有するカメラを用いることにより、撮影される領域が通常のレンズに比べて広くなり、より多くの通過情報を人物ごとに検出することが可能になり、人物の検出および認識の精度を高めることができる。
具体的には、図1に示すように、監視領域の上部に、広角レンズを有するカメラ10が設置され、これにより、通過する人物が撮影される。例えば、同図に示すように、時刻T1からT3の間に人物Aがカメラ10の下を通過したとする。この場合、カメラ10によって、図2に示すような映像が撮影される。同図に示すように、時刻T1では、人物Aはカメラ10の正面よりも離れた場所(周辺部分)にいるため、顔までが撮影され、時刻T2では、人物Aはカメラ10の正面付近(中心部分)にいるため、頭部のみが撮影される(時刻T2)。
そこで、人物情報検出装置は、映像の中央部分を用いて通過する人数を検出する処理と、映像の周辺部分を用いて通過人物の顔映像を検出および認識する処理という2つの異なる画像処理を同時に行う。さらに、周辺部分で検出した顔および中央部分で検出した人物を追跡することで、通過する人物と顔とを一致させる(対応付ける)。
このように、本実施例1に係る人物情報検出装置では、カメラでパン・ティルト・ズームを行うことなく、通過した人物の検出(計数)と顔映像の取得(認識)とを同時に行うことができるともに、通過人物と顔との対応付けを行い、高い精度での通過人物の計数や、通過人物の移動軌跡の取得など、従来技術を解決するだけではなく、新しい機能を提供可能なシステムを実現できる。
次に、本実施例1に係る人物情報検出装置の構成について説明する。図3は、本実施例1に係る人物情報検出装置の構成を示す機能ブロック図である。同図に示すように、この人物情報検出装置100は、カメラ10から送られるアナログ映像や、画像記録装置(図示せず)から送られるディジタル映像を入力し、入力した映像から、通過人数や通過した人物の顔映像などを検出して、これらを通過情報として出力する装置であり、A/D変換部110と、画像記憶部111と、周辺領域処理結果記憶部112と、中央領域処理結果記憶部113と、画像制御部114と、処理画像変換部115と、周辺領域処理部116と、中央領域処理部117と、処理結果統合部118とを有する。
A/D変換部110は、カメラ10から送られるアナログ映像をディジタル化する処理部である。具体的には、このA/D変換部110は、カメラ10から送られるアナログ映像をディジタル映像に変換し、変換したディジタル映像を画像制御部114に送る。なお、入力される映像がディジタル映像である場合には、このA/D変換部110は、構成上、不要となる。
画像記憶部111は、ディジタル化された入力映像の映像データを記憶する記憶部である。具体的には、この画像記憶部111は、後述する画像制御部114から順次送られる映像データを、所定の時間間隔で時系列に、所定の期間分、記憶する。
周辺領域処理結果記憶部112は、顔検出処理の処理結果および処理に用いられた映像データを記憶する記憶部である。具体的には、この周辺領域処理結果記憶部112は、後述する周辺領域処理部116から送られる顔検出処理の処理結果と、後述する処理結果統合部118から送られる処理結果統合処理の処理結果とを、それぞれ所定の時間間隔で時系列に記憶する。
中央領域処理結果記憶部113は、人物検出処理の処理結果および処理に用いられた映像データを記憶する記憶部である。具体的には、この中央領域処理結果記憶部113は、後述する中央領域処理部117から送られる人物検出処理の処理結果と、後述する処理結果統合部118から送られる処理結果統合処理の処理結果とを、それぞれ所定の時間間隔で時系列に記憶する。
画像制御部114は、A/D変換部110や画像記録装置(図示せず)から送られるディジタル映像の入力や、入力したディジタル映像の画像記憶部111への入出力を制御する処理部である。具体的には、この画像制御部114は、A/D変換部110や画像記録装置から送られるディジタル映像を入力し、所定の時間間隔で画像記憶部111に順次送る。また、画像制御部114は、画像記憶部111に映像データが蓄積されており、処理画像変換部115が処理可能な状態である場合には、画像記憶部111に蓄積されている映像データを順次取り出し、処理画像変換部115に順次送る。
処理画像変換部115は、画像制御部114から順次送られるディジタル映像を周辺領域処理部116および中央領域処理部117で処理するための画像に変換する処理部である。具体的には、この処理画像変換部115は、画像制御部114から順次送られるディジタル映像を周辺部分の画像と中央部分の画像とに分割し、それぞれを変換したうえで、周辺部分の画像は周辺領域処理部116に、中央部分の画像は中央領域処理部117に送る。以下に、周辺部分の画像変換および中央部分の画像変換について説明する。
まず、周辺部分の画像変換について説明する。図4、5および6は、処理画像変換部115による周辺領域の画像変換の一例を説明するための図(1)、(2)および(3)である。例えば、処理画像変換部115は、図4に示すように、入力した映像について、中央領域を処理対象外とし、線P−Qと線R−Sとを対辺とする長方形の画像になるように周辺領域を展開することによって、周辺部分のみの画像への変換を行う。この場合、同図に示すように、展開した画像を2枚にしてもよいし、1枚にしてもよい。または、処理画像変換部115は、図5に示すように、画像を展開せずに、中央部分を塗りつぶすことによって、処理対象外とする処理を行ってもよい。
また、図6に示すように、入力する映像が魚眼映像である場合には、処理画像変換部115は、当該映像について、公知の映像変換技術を用いて、魚眼映像から通常映像への変換処理を行い、線T−Uと線V−Wとを対辺とする歪みのない長方形の画像へ変換するようにしてもよい。
ここで用いられる公知の映像変換技術としては、例えば、「小林他、“魚眼レンズカメラ画像の矯正”、2005総合大会論文集A−4−19、電子情報通信学会」に記載された映像変換技術などが挙げられる。
続いて、中央領域の画像変換について説明する。図7および8は、処理画像変換部115による中央領域の画像変換の一例を説明するための図(1)および(2)である。例えば、処理画像変換部115は、図7に示すように、入力画像について、周辺領域を処理対象外とし、中央部分のみの画像への変換を行う。または、処理画像変換部115は、図8に示すように、周辺部分を塗りつぶすことによって、処理対象外とする処理を行ってもよい。
また、図6に示すように、入力する映像が魚眼映像である場合には、処理画像変換部115は、当該映像について、周辺領域の画像変換と同様に、公知の映像変換技術を用いて、魚眼映像から通常映像への変換処理を行うようにしてもよい。
周辺領域処理部116は、処理画像変換部115により変換された周辺部分の画像について顔検出処理を行う処理部である。具体的には、この周辺領域処理部116は、処理画像変換部115から送られる周辺部分の画像について、公知の顔検出技術を用いて顔の検出処理を行い、検出結果として、入力画像中の顔の位置と大きさ、顔映像および検出処理での評価値(例えば、顔らしさを表す、ニューラルネットワークの出力値など)を取得する。そして、周辺領域処理部116は、これらの検出結果を周辺領域処理結果記憶部112に送る。
ここで用いられる公知の顔検出技術としては、例えば、この顔の検出処理には、「H.A.Rowley他、“Neural network-based face detection”、IEEE Trans. on Pattern Analysis and Machine Intelligence、Vol.20、No.1、pp.23-38、1998」に記載されている技術などが挙げられる。
さらに、周辺領域処理部116は、周辺領域処理結果記憶部112に保持されている前時刻の検出結果と現時刻の検出結果とを比較することによって、画像内の顔の進行経路も検出する。具体的には、例えば、前時刻で検出された顔映像と現時刻で検出された顔映像とを表す値を用いて、以下に示す式(1)で示される正規化相関を計算し、一定以上の相関値が得られた場合に、それぞれの顔映像の顔が同一であると判定する。式(1)において、「X」および「Y」は、それぞれ、前時刻および現時刻で検出した顔映像の画素値を示し、「X^−(バー)」および「Y^−(バー)」は、それぞれ、前時刻および現時刻で検出した顔映像の平均値を示す。
このように判定することにより、複数の人物が同時に存在する場合にも、各人物を区別して、各人物の進行経路を検出することができる。周辺領域処理部116は、この進行経路の検出結果についても、周辺領域処理結果記憶部112に送る。
また、周辺部分の画像では、人物の背中側のみ撮影されて顔が映らない場合があるが、この場合は、周辺領域処理部116は、例えば、学習時に後頭部の映像を学習させておくことによって、顔の検出結果が後ろ向きの顔であることを判断するか、後述する処理結果統合部118で検出される人物の進行経路情報に基づいて、人物の位置を推定する。
中央領域処理部117は、処理画像変換部115により変換された中央部分画像について人物検出処理を行う処理部である。具体的には、この中央領域処理部117は、処理画像変換部115から送られる中央部分の画像について、公知の人物検出技術を用いて人物(シルエット)の検出処理を行う。
ここで用いられる公知の人物検出技術としては、例えば、「辻村他、“背景自動更新による差分システムに関する研究”、電子情報通信学会総合大会、 2003」に記載されている技術が挙げられる。当該技術は、背景画像と呼ばれる、検出対象の映っていない基準画像と入力画像との間で差を計算し、差のある領域を物体として検出する背景差分法により、中央領域に存在する人物を検出するものである。
このような人物検出処理を行うことにより、中央領域処理部117は、人物検出処理による検出結果として、入力画像中の人物の位置と大きさ、人物の映像(人物の頭部部分)および検出処理での評価値を取得する。図9は、中央領域処理部117による人物検出の一例を説明するための図である。例えば、同図に示すように、中央領域処理部117は、予め用意された人物のモデルと背景差分結果とを比較し、それらの一致度を、評価値とする。
そして、中央領域処理部117は、これらの検出結果を中央領域処理結果記憶部113に送る。また、中央領域処理部117は、周辺領域処理部116と同様に、中央領域処理結果記憶部113に保持されている前時刻の検出結果と現時刻の検出結果とを比較することによって、人物の画像内の進行経路も検出する。例えば、中央領域処理部117は、周辺領域処理部116と同様に、式(1)で示した正規化相関値を用いて、人物映像を比較する。
処理結果統合部118は、周辺領域処理結果記憶部112に保持された顔の検出結果と中央領域処理結果記憶部113に保持された人物の検出結果とを統合し、通過した人物の計数および通過した人物の顔映像の取得を行う処理部である。
また、処理結果統合部118は、周辺領域処理部116および中央領域処理部117による処理結果を統合し、通過した人物と顔映像とを対応付ける。具体的には、処理結果統合部118は、周辺部分の画像での人物(顔)の進行経路の検出結果と、中央部分の画像での人物の進行経路の検出結果とを比較し、最も人物の動きを満足するものを対応付ける。
例えば、処理結果統合部118は、周辺部分の画像で検出された顔の所定の位置(例えば、顔の上端部など)に定義された点の軌跡と、中央部分の画像で検出された人物の所定の位置(例えば、頭頂部など)に定義された点の軌跡とをそれぞれ解析し、互いの軌跡が最も自然につながる顔と人物とを、同一人物として対応付ける。
図10は、処理結果統合部118による人物の対応付けを説明するための図である。例えば、同図に示すように、一定時間の間に、周辺領域において4人の人物(周辺人物1〜4)が検出され、中央領域において2人の人物(中央人物1および2)が検出されたとする(同図左の「入力画像と検出位置」を参照)。この場合、処理結果統合部118は、それぞれの領域での検出結果を統合し、進行経路から、周辺人物1と中央人物1と周辺人物4とを同一人物として対応付け(同図右の「統合結果」に示す「人物1」を参照)、周辺人物2と中央人物2と周辺人物3とを同一人物として対応付ける(同図右の「統合結果」に示す「人物2」を参照)。
そして、処理結果統合部118は、入力画像内での人物の進行経路とその人物の顔映像とを対応付けた結果を、監視センターなどに通知するとともに、周辺領域処理結果記憶部112および中央領域処理結果記憶部113に送る。
次に、本実施例1に係る人物情報検出装置100において行われる処理の処理手順について説明する。図11は、本実施例1に係る人物情報検出装置100の処理手順を示すフローチャートである。同図に示すように、人物情報検出装置100においては、まず、A/D変換部110が、カメラ10から送信されたアナログ映像をディジタル化し(ステップS101)、続いて、画像制御部114が、入力画像を周辺領域と中央領域とに分割する(ステップS102)。
そして、分割された入力画像について、周辺領域処理部116が、周辺部分の画像から顔に関する情報を検出し(ステップS103)、中央領域処理部117が、中央部分の画像から人物に関する情報を検出する(ステップS104)。
その後、処理結果統合部118が、顔の検出結果と人物の検出結果とを対応付け(ステップS105)、その処理結果を監視センターなどに通知する(ステップS106)。
上述してきたように、本実施例1では、中央領域処理部117が、カメラ10により撮影された領域内の中央部分に映された人物の画像を用いて個々の人物を検出する画像処理を行い、周辺領域処理部116が、カメラ10により撮影された領域内の中央部分の周辺部分に映された人物の画像を用いて人物の顔を検出する画像処理を行い、処理結果統合部118が、中央領域処理部117により検出された個々の人物および周辺領域処理部116により検出された顔を人物ごとに対応付けた情報を通過情報として検出するので、顔に基づいて人物を認識するとともに、個々に検出した人物に基づいて通過数や進行経路などを検出することが可能になり、カメラ10でパン・ティルト・ズームを行うことなく、人物の検出および認識を同時に行うことができる。また、この構成は一台の撮像装置でも実現が可能なため、設置現場での煩雑な位置調整や、導入にかかるコストを低減することができる。
このようにして検出された通過情報は、さまざまな方法で利用することができる。例えば、かかる通過情報をログ情報として記録しておき、犯罪発生時にそのログ情報を検索することによって不審人物を追跡したり、新しく商業施設を建設する際に立地場所の候補地を通行する人の属性や数を調査したりする場合などに利用することができる。
ところで、上記実施例1では、周辺部分の画像での顔の検出結果と中央部分の画像での人物の検出結果とを単純に統合する場合について説明したが、それぞれの検出処理によって検出された検出結果の信頼度に基づいて再検出を行ったり、信頼度が高い検出結果で信頼度が低い検出結果を補完し合ったりするようにしてもよい。そこで、以下では、かかる信頼度に基づいた制御を行う場合を、実施例2として説明する。
図12は、本実施例2に係る人物情報検出装置の構成を示す機能ブロック図である。なお、同図に示す各機能部のうち、図3に示した人物情報検出装置100が有する機能部と同様の役割を果たすものについては同一の符号を付しており、ここでは、その詳細な説明を省略する。
同図に示すように、この人物情報検出装置200は、カメラ10から送られるアナログ映像や、画像記録装置(図示せず)から送られるディジタル映像を入力し、入力した映像から、通過人数や通過した人物の顔映像などを検出して、これらを通過情報として出力する装置であり、A/D変換部110と、画像記憶部111と、周辺領域処理結果記憶部112と、中央領域処理結果記憶部113と、画像制御部114と、処理画像変換部115と、周辺領域処理部116と、中央領域処理部117と、処理結果統合部118と、信頼度判定部219とを有する。
信頼度判定部219は、周辺領域処理部116および中央領域処理部117によって検出された検出結果について、その信頼度を判定し、信頼度が低い場合には顔や人物の再検出を行ったり、信頼度が高い検出結果を用いて、信頼度が低い検出結果を補完しながら、各検出結果を統合したりするよう制御する処理部である。なお、ここでいう信頼度には、例えば、周辺部分の画像については、ニューラルネットワークによる顔検出結果の評価値(周辺領域処理部116による顔検出処理の説明を参照)が用いられ、中央部分の画像については、背景差分結果の人物モデルとの一致度(中央領域処理部117による人物検出処理の説明を参照)が用いられる。
図13は、信頼度判定部219による再検出を説明するための図である。例えば、同図に示すように、周辺領域での顔検出結果の信頼度が小さく、中央領域での人物検出結果の信頼度が大きかったとする(同図左の「入力画像と検出位置」を参照)。この場合、信頼度判定部219は、中央領域での人物検出結果を利用して、人物が通過したと推測される位置周辺について、周辺領域処理部116で再度顔検出を行うように、処理画像変換部115に対して指示する(同図右の「信頼度判定部による再検出」を参照)。
ここで、信頼度判定部219が、信頼度が低い場合に、顔や人物の再検出を行うので、照度変化などの外乱要素によって移動体の検出に誤差が生じやすい状態が発生した場合でも、高い精度で移動体情報を検出することができる。
また、信頼度判定部219は、処理結果統合部118において行われる検出結果の統合について、信頼度に基づいて、進行経路の対応付けを行うように制御する。例えば、信頼度判定部219は、中央部分の画像で検出したある一つの進行経路に対して、その進行経路に対応付け得る進行経路が周辺部分の画像内に複数あった場合には、その中で信頼度が最も高いものを、当該中央領域での進行経路に対応付けるよう処理結果統合部118を制御する。
上述してきたように、本実施例2では、周辺領域処理部116および中央領域処理部117によって検出された検出結果の信頼度を算出し、信頼度判定部219が、算出された信頼度に基づいて、進行経路の対応付けを行うように制御するので、照度変化などの外乱要素によって移動体の検出性能が低下するなどの悪影響を抑え、安定して人物の通過情報を検出することができる。
ところで、上記実施例1および2では、周辺領域処理部116において、通過した人物の顔映像や進行経路を検出する場合について説明したが、ここで検出された顔映像をあらかじめ登録された人物の顔映像と比較することによって、通過した人物を特定するようにしてもよい。そこで、以下では、検出された顔映像に基づいて人物を特定する場合を、実施例3として説明する。
図14は、本実施例3に係る人物情報検出装置の構成を示す機能ブロック図である。なお、同図に示す各機能部のうち、図3に示した人物情報検出装置100が有する機能部と同様の役割を果たすものについては同一の符号を付しており、ここでは、その詳細な説明を省略する。
同図に示すように、この人物情報検出装置300は、カメラ10から送られるアナログ映像や、画像記録装置(図示せず)から送られるディジタル映像を入力し、入力した画像から、通過人数や通過した人物の顔映像などを検出して、これらを通過情報として出力する装置であり、A/D変換部110と、画像記憶部111と、周辺領域処理結果記憶部112と、中央領域処理結果記憶部113と、画像制御部114と、処理画像変換部115と、周辺領域処理部116と、中央領域処理部117と、処理結果統合部118と、顔映像照合部320とを有する。
顔映像照合部320は、周辺領域処理部116によって検出された顔映像に基づいて、通過した人物を特定する処理部である。具体的には、この顔映像照合部320は、周辺領域処理部116によって検出された顔映像と、あらかじめ登録されている人物の顔映像とを公知の顔照合技術を用いて照合することによって、通過した人物を特定する。
ここで用いられる公知の顔照合技術としては、例えば、「小松他、“部分空間法を用いた向きによらない顔の切り出しと認識”、PRU95-191、pp.7-14、1996」が挙げられる。当該技術は、目、鼻、口などの顔の部品位置で構成されるベクトルを、登録している顔映像と検出した顔映像とで比較し、この類似度によって人物を特定、または、類似している人物を列挙するものである。
このような顔照合処理を行うことによって、顔映像照合部320は、通過した人物を特定し、どの人物がいつ、何回通過したなどの情報を取得する。また、顔映像照合部320は、検出した顔映像が、その時点で登録されていない顔映像であった場合には、次回通過する際に照合するために、当該顔映像を新たに追加登録する。
上述してきたように、本実施例3では、顔映像照合部320が、周辺領域処理部116によって検出された顔映像と、あらかじめ登録されている人物の顔映像とを照合することによって、通過した人物を特定するので、人物を認識するだけでなく、特定することも可能になる。これにより、人物ごとに通過回数を集計したり、あらかじめ決めておいた監視すべき人物を検知したりすることが可能になり、人物検出機能の高機能化を図ることができる。また、人物の追跡精度の向上および、通過した人物の特定が可能となるため、より高機能でセキュリティ用途向けの通過人物の検出システムを実現できる。
また、顔映像照合部320が、顔映像を照合した際に、あらかじめ登録されている人物の顔映像の中に一致する顔映像が存在していなかった場合には、当該顔映像を新たに追加するので、特定できる人物を学習して増やすことが可能になり、人物の検出機能を自動的に向上させることができる。
ところで、上記実施例2および3では、実施例1に対して、信頼度に基づいて制御を行うための信頼度判定部219と、検出された顔映像に基づいて人物を特定するための顔映像照合部320とを、それぞれ追加した場合について説明したが、これらの機能部を任意に組み合わせて人物情報検出装置を構成してもよい。そこで、以下では、実施例1、2および3を組み合わせた場合を、実施例4として説明する。
図15は、本実施例4に係る人物情報検出装置の構成を示す機能ブロック図である。なお、同図に示す人物情報検出装置400が有する各機能部は、図3に示した人物情報検出装置100、図12に示した人物情報検出装置200または図14に示した人物情報検出装置300が有する機能部を組み合わせただけであるので、ここでは、その詳細な説明を省略する。
上述してきたように、本実施例4では、実施例1、2および3で説明した各機能部を組み合わせることによって、照度変化などの外乱の影響を抑えた実用的な通過人物の検出システムを実現できるとともに、通過人物の認識や特定の人物の通過回数算出など、人物検出機能の高機能化を図ることができる。
これまで、本発明に係る移動体情報検出装置の実施例として、人物を検出する人物情報検出装置について説明してきたが、本発明はこれに限られず、例えば、ベルトコンベア上を流れる荷物を検出する荷物情報検出装置に適用してもよい。そこで、以下では、本発明を荷物情報検出装置に適用した場合を、実施例5として説明する。
まず、本実施例5に係る荷物情報検出装置の概念について説明する。図16は、本実施例5に係る荷物情報検出装置の概念を説明するための説明図である。
本実施例5に係る荷物情報検出装置は、天井など、荷物が通過するベルトコンベアの上部に設置された監視カメラで撮影された映像について、映像内の領域ごとに異なる画像処理を同時に行うことによって、荷物の側面と上面とをそれぞれ検出するものである。ここで使用される監視カメラとしては、これまで説明した実施例同様、魚眼レンズなどの広角レンズを有するカメラが用いられる。
具体的には、図16に示すように、荷物が通過するベルトコンベアの上部に、広角レンズを有するカメラ10が設置され、これにより、ベルトコンベア上を流れる荷物が撮影される。
ベルトコンベア上を流れる荷物には、同図に示すように、その側面と上面とにそれぞれラベルが貼られている。このラベルには、種類や重さなど荷物に関する属性が文字や色などで示されている。そして、荷物がカメラ10の正面よりも離れた場所(周辺部分)にいる時には、側面に貼られたラベルが撮影され、荷物がカメラ10の正面付近(中心部分)にいる時には、上面に貼られたラベルが撮影される。
そこで、荷物情報検出装置は、映像の中央部分を用いて荷物を計数する処理と、映像の周辺部分を用いて荷物側面のラベルが示す属性を検出および認識する処理という2つの異なる画像処理を同時に行う。さらに、周辺部分で検出した荷物側面のラベルが示す属性と、中央部分で検出した荷物上面のラベルが示す属性とを対応付けることによって、ベルトコンベア上を流れる荷物を特定する。
このように、本実施例5に係る荷物情報検出装置では、カメラでパン・ティルト・ズームを行うことなく、ベルトコンベア上を流れる荷物の検出(計数)と、荷物の側面および上面に貼られたラベルの文字の検出を同時に行うことができるともに、側面に貼られたラベルの情報と、上面に貼られたラベルの情報との対応付けを行うことができる。
図17は、本実施例5に係る荷物情報検出装置の構成を示す機能ブロック図である。なお、同図に示す各機能部のうち、図3に示した人物情報検出装置100または図12に示した人物情報検出装置200が有する機能部と同様の役割を果たすものについては同一の符号を付している。これらの機能部については、具体的には、入力画像の周辺領域で検出していた対象が顔から荷物側面のラベルに替わり、中央領域で検出する対象が人物から荷物上面のラベルに替わっただけであるので、ここでは、詳細な説明を省略する。
同図に示すように、この荷物情報検出装置500は、カメラ10から送られるアナログ映像や、画像記録装置(図示せず)などから送られるディジタル映像を入力し、入力した画像から、ベルトコンベア上を流れる荷物の数や、荷物の側面および上面の映像などを検出して、これらを通過情報として出力する装置であり、A/D変換部110と、画像記憶部111と、周辺領域処理結果記憶部112と、中央領域処理結果記憶部113と、画像制御部114と、処理画像変換部115と、周辺領域処理部116と、中央領域処理部117と、処理結果統合部118と、信頼度判定部219と、側面映像照合部521と、上面映像照合部522とを有する。
側面映像照合部521は、周辺領域処理部116によって検出された荷物側面のラベルの映像に基づいて、ベルトコンベア上を流れる荷物の属性を特定する処理部である。具体的には、この側面映像照合部521は、周辺領域処理部116によって検出された荷物側面のラベルの映像から、当該ラベルに示された文字を検出し、検出した文字と、あらかじめ登録されている文字とを公知の文字照合技術を用いて照合することによって、荷物の属性を特定する。
上面映像照合部522は、中央領域処理部117によって検出された荷物上面のラベルの映像に基づいて、ベルトコンベア上を流れる荷物の属性を特定する処理部である。具体的には、この上面映像照合部522は、中央領域処理部117によって検出された荷物上面のラベルの映像から、当該ラベルに示された文字を検出し、検出した文字と、あらかじめ登録されている文字とを公知の文字照合技術を用いて照合することによって、荷物の属性を特定する。
側面映像照合部521および上面映像照合部522で用いられる公知の文字照合技術としては、例えば、「根岸他、“情景画像中文字認識のための変形を許容する高速なテンプレートマッチング”、PRMU2005-247、pp.101-106、2005」に記載されているテンプレートマッチング法が挙げられる。当該技術は、あらかじめ登録された辞書画像と比較することによって、文字を照合するものである。
このように、側面映像照合部521が、周辺領域処理部116により検出された荷物側面のラベルに示された情報をあらかじめ蓄積された移動体特定用の情報と照合し、上面映像照合部522が、中央領域処理部117により検出された荷物上面のラベルに示された情報をあらかじめ蓄積された移動体特定用の情報と照合することによって荷物を特定するので、荷物を認識するだけでなく、特定することも可能になる。これにより、あらかじめ決めておいた検出すべき荷物を検知することが可能になり、荷物検出機能の高機能化を図ることができる。
なお、ここでは、ラベルに示された文字を用いて荷物の属性を特定する場合について説明したが、文字ではなく、色を用いて荷物の属性を特定するようにしてもよい。
上述してきたように、本実施例5では、周辺領域処理部116が、カメラ10により撮影された領域の周辺部分に映された荷物の画像を用いて、荷物上面のラベルに示された情報を検出する画像処理を行い、中央領域処理部117が、カメラ10により撮影された領域の中央部分に映された荷物の画像を用いて、荷物側面のラベルに示された情報を検出する画像処理を行い、処理結果統合部118が、周辺領域処理部116により検出されたラベルの情報および中央領域処理部117により検出されたラベルの情報を荷物ごとに対応付けた情報を通過情報として検出するので、通過する荷物の計数と荷物の側面および上面の認識を同時に行うことができる。
ところで、上記実施例1〜5では、移動体情報検出装置(人物情報検出装置および荷物情報検出装置)について説明してきたが、移動体情報検出装置が有する構成をソフトウェアによって実現することで、同様の機能を有する移動体情報検出プログラムを得ることができる。そこで、この移動体情報検出プログラムを実行するコンピュータについて説明する。
図18は、本実施例に係る移動体情報検出プログラムを実行するコンピュータの構成を示す機能ブロック図である。同図に示すように、このコンピュータ600は、RAM(Random Access Memory)610と、CPU(Central Processing Unit)620と、ROM(Read Only Memory)630と、LAN(Local Area Network)インタフェース640と、カメラインタフェース650とを有する。
RAM610は、プログラムやプログラムの実行途中結果などを記憶するメモリであり、CPU620は、RAM610やROM630からプログラムを読み出して実行する中央処理装置である。
ROM630は、プログラムやデータを格納するメモリであり、LANインタフェース640は、コンピュータ600をLAN経由で他のコンピュータや監視センターの端末装置などに接続するためのインタフェースであり、カメラインタフェース650は、監視カメラを接続するためのインタフェースである。
そして、このコンピュータ600において実行される移動体情報検出プログラム611は、あらかじめROM630に記憶され、CPU620によって移動体情報検出タスク621として実行される。
また、本実施例では、人物を検出する人物情報検出装置および荷物を検出する荷物情報検出装置について説明したが、本発明はこれに限定されるものではなく、例えば、道路を走行している車を検出する場合などにも同様に適用することができる。
また、本実施例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。
この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示のように構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
以上のように、本発明に係る移動体情報検出装置、移動体情報検出方法および移動体情報検出プログラムは、所定の領域を撮影する撮像装置を用いて、該領域を通過する移動体に関する通過情報を検出する場合に有用であり、特に、撮像装置でパン・ティルト・ズームを行うことなく、移動体の検出と認識とを同時に行う場合に適している。
本発明は、所定の領域を撮影する撮像装置を用いて、該領域を通過する移動体に関する通過情報を検出する移動体情報検出装置、移動体情報検出方法および移動体情報検出プログラムに関し、特に、撮像装置でパン・ティルト・ズームを行うことなく、移動体の検出と認識とを同時に行うことができる移動体情報検出装置、移動体情報検出方法および移動体情報検出プログラムに関するものである。
従来、天井など、上部に設置されたカメラを用いて通路などを通過する人物を撮影し、その映像を画像処理することによって、人物を自動で検出(認識)する人物情報検出装置が存在する。この人物情報検出装置は、例えば、施設の出入口を入退出する人物を監視する入退出監視システムや、歩道や通路を通過する人物の数を計数する通過人物計数システムに利用されている。
かかる入退出監視システムや通過人物計数システムにおいては、入退出や通過する人物を漏れなく検出(計数)できることや、導入・運用コストの面から、少ないカメラ台数で実現できることが望まれている。さらに近年では、セキュリティの意識が高まっていることから、通過した人物を特定するための情報として顔映像を取得することも重要視されている。
このような要望を実現するために、これまでに提案されている方法としては、監視したい領域の上方から真下を撮影するカメラを用いる方法や、複数のカメラを用いる方法や、パン・ティルト・ズーム機能を持つカメラ(PTZカメラ)を用いる方法などがある。
監視したい領域の上方から真下を撮影するカメラを用いる方法としては、例えば、特許文献1(特開平6−223157号公報)に記載されている方法がある。図19〜図22は、特許文献1の方法を説明するための図(1)〜(4)である。この方法では、天井にカメラを真下に向けて設置して(図19を参照)、撮影される映像(図20を参照)の変化を画像処理により認識し、この変化を通過した人物として検出する。これにより、カメラと通路とが正対しているため、通過した人物のみを撮影することができ、人物が歩いてくる方向に向けて斜めから撮影する場合(図21を参照)のように、奥行き方向に別の人物が映る(図22を参照)ことがなく、通過する人物を一人ずつ区別して正しく検出することができる。
また、複数のカメラを用いる方法としては、例えば、特許文献2(特開平9−54894号公報)に記載されている方法がある。図23は、特許文献2の技術を説明するための図である。同図に示すように、この方法では、真下のみではなく、人物が歩いてくる方向にもカメラを設置して、通過する人物の顔も認識する。これにより、通過する人物の計数のみではなく、通過した人物の顔映像の取得および認識を行うことができる。
また、PTZカメラを用いる方法としては、例えば、特許文献3(特開平10−188145号公報)に記載されている方法がある。図24は、特許文献3の方法を説明するための図である。同図に示すように、この方法では、広く撮影した映像の中から通過する人物を検出し、検出した位置にカメラをパン・ティルト・ズームすることで、人物の顔映像の取得、認識を行う。これにより、1台のカメラで人物の検出(計数)と顔映像の取得、認識を行うことができる。
以上のように、通過する人物を検出する従来技術は様々提案されており、それぞれ特長も異なっている。
特開平6−223157号公報
特開平9−54894号公報
特開平10−188145号公報
しかしながら、特許文献1、2および3に代表される従来の技術では、以下のような問題点がある。
まず、監視したい領域の上方から真下を撮影するカメラを用いる方法では、通過する人物の計数は行えるものの、人物を認識するための顔映像を取得できず、セキュリティの用途には適さないという問題がある。
また、複数のカメラを用いる方法では、次のような問題点がある。図25は、複数のカメラを用いる方法の問題点を説明するための図である。同図に示すように、この方法では、異なるカメラに映る同一人物を画像処理により同一人物と対応付けるためには、各カメラを厳密に設置することが必要であり、経年変化などにより設置位置がずれることを考慮すると、現場調整のコストが大きいという問題がある。また、この方法では、複数台のカメラを使用するため、導入コストおよび設置スペースの問題がある。
また、PTZカメラを用いる方法では、次のような問題点がある。図26は、PTZカメラを用いる方法の問題点を説明するための図である。同図に示すように、この方法では、通過する一人の人物に着目するようにカメラをパン・ティルト・ズームするため、複数の人物が同時に監視領域を通過した場合には、全ての通過人物を検出できないという問題がある。この問題に対して、複数台のPTZカメラを用いた場合には、複数のカメラを用いる方法と同じ問題がある。また、パン・ティルト・ズームの動作は、カメラに機械的な磨耗が発生するため、長時間の使用を保証することが難しいという問題がある。
この発明は、上述した従来技術による問題点を解消するためになされたものであり、撮像装置でパン・ティルト・ズームを行うことなく、移動体の検出と認識とを同時に行うことができる移動体情報検出装置、移動体情報検出方法および移動体情報検出プログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するため、本発明は、所定の領域を撮影する撮像装置を用いて、該領域を通過する移動体に関する通過情報を検出する移動体情報検出装置であって、前記撮像装置により撮影された領域内の中央部分に映された移動体の映像を用いて第一の画像処理を行う中央領域処理手段と、前記撮像装置により撮影された領域内の前記中央部分の周辺部分に映された移動体の映像を用いて第二の画像処理を行う周辺領域処理手段と、前記中央領域処理手段による第一の画像処理で検出された第一の情報および前記周辺領域処理手段による第二の画像処理で検出された第二の情報を移動体ごとに対応付けた情報を前記通過情報として検出する通過情報検出手段と、を備えたことを特徴とする。
また、本発明は、上記の発明において、前記中央領域処理手段および/または前記周辺領域処理手段は、それぞれ検出した前記第一の情報および/または前記第二の情報の信頼度を算出し、前記通過情報検出手段は、前記中央領域処理手段および/または前記周辺領域処理手段により算出された信頼度に基づいて、前記第一の情報と前記第二の情報とを対応付けることを特徴とする。
また、本発明は、上記の発明において、前記通過情報検出手段は、前記中央領域処理手段および/または前記周辺領域処理手段により算出された信頼度が低い場合に、前記中央領域処理手段および/または前記周辺領域処理手段に対して前記第一の情報および/または前記第二の情報の再検出を行うように指示することを特徴とする。
また、本発明は、上記の発明において、前記中央領域処理手段による第一の画像処理において検出された第一の情報および/または前記周辺領域処理手段による第二の画像処理において検出された第二の情報を、あらかじめ蓄積された移動体特定用情報と照合することによって該移動体を特定する移動体照合手段をさらに備えたことを特徴とする。
また、本発明は、上記の発明において、前記移動体照合手段は、前記第一の情報および/または前記第二の情報を照合した際に、前記移動体特定用情報の中に一致する情報が存在していなかった場合には、該第一の情報および/または第二の情報を前記移動体特定用情報に追加することを特徴とする。
また、本発明は、上記の発明において、前記中央領域処理手段は、前記第一の画像処理において前記移動体の進行経路を検出し、前記周辺領域処理手段は、前記第二の画像処理において前記移動体の属性情報を検出し、前記通過情報検出手段は、前記中央領域処理手段により検出された進行経路と前記周辺領域処理手段により検出された属性情報とを移動体ごとに対応付けた情報を前記通過情報として検出することを特徴とする。
また、本発明は、上記の発明において、前記移動体は人物であり、前記中央領域処理手段は、前記第一の画像処理において前記人物の進行経路を検出し、前記周辺領域処理手段は、前記第二の画像処理において前記人物の顔情報を検出し、前記通過情報検出手段は、前記周辺領域処理手段により検出された顔情報と前記中央領域処理手段により検出された進行経路とを人物ごとに対応付けた情報を前記通過情報として検出することを特徴とする。
また、本発明は、上記の発明において、前記撮像装置は、広角レンズを用いて前記所定の領域を撮影することを特徴とする。
また、本発明は、上記の発明において、前記撮像装置は、魚眼レンズを用いて前記所定の領域を撮影することを特徴とする。
また、本発明は、所定の領域を撮影する撮像装置を用いて、該領域を通過する移動体に関する通過情報を検出する移動体情報検出方法であって、前記撮像装置により撮影された領域内の中央部分に映された移動体の画像を用いて第一の画像処理を行う中央領域処理工程と、前記撮像装置により撮影された領域内の前記中央部分の周辺部分に映された移動体の画像を用いて第二の画像処理を行う周辺領域処理工程と、前記中央領域処理工程による第一の画像処理で検出された第一の情報および前記周辺領域処理工程による第二の画像処理で検出された第二の情報を移動体ごとに対応付けた情報を前記通過情報として検出する通過情報検出工程と、を含んだことを特徴とする。
また、本発明は、所定の領域を撮影する撮像装置を用いて、該領域を通過する移動体に関する通過情報を検出する移動体情報検出プログラムであって、前記撮像装置により撮影された領域内の中央部分に映された移動体の画像を用いて第一の画像処理を行う中央領域処理手順と、前記撮像装置により撮影された領域内の前記中央部分の周辺部分に映された移動体の画像を用いて第二の画像処理を行う周辺領域処理手順と、前記中央領域処理手順による第一の画像処理で検出された第一の情報および前記周辺領域処理手順による第二の画像処理で検出された第二の情報を移動体ごとに対応付けた情報を前記通過情報として検出する通過情報検出手順と、をコンピュータに実行させることを特徴とする。
本発明によれば、撮像装置により撮影された領域内の中央部分に映された移動体の画像を用いて第一の画像処理を行い、撮像装置により撮影された領域内の中央部分の周辺部分に映された移動体の画像を用いて第二の画像処理を行い、第一の画像処理で検出した第一の情報および第二の画像処理で検出した第二の情報を移動体ごとに対応付けた情報を通過情報として検出するよう構成したので、第一の情報に基づいて移動体の通過数や進行経路などを検出するとともに第二の情報に基づいて移動体を認識することが可能になり、撮像装置でパン・ティルト・ズームを行うことなく、移動体の検出および認識を同時に行うことができるという効果を奏する。また、この構成は一台の撮像装置でも実現が可能なため、設置現場での煩雑な位置調整や、導入にかかるコストを低減することができるという効果も奏する。
また、本発明によれば、それぞれ検出した第一の情報および/または第二の情報の信頼度を算出し、算出した信頼度に基づいて、第一の情報と第二の情報とを対応付けるよう構成したので、照度変化などの外乱要素によって移動体の検出性能が低下するなどの悪影響を抑え、安定して人物の通過情報を検出することができるという効果を奏する。
また、本発明によれば、算出した信頼度が低い場合に、第一の情報および/または第二の情報の再検出を行うように指示するよう構成したので、照度変化などの外乱要素によって移動体の検出に誤差が生じやすい状態が発生した場合でも、高い精度で移動体情報を検出することができるという効果を奏する。
また、本発明によれば、第一の画像処理において検出された第一の情報および/または第二の画像処理において検出された第二の情報を、あらかじめ蓄積された移動体特定用情報と照合することによって移動体を特定するよう構成したので、移動体を認識するだけでなく、特定することも可能になる。これにより、移動体ごとに通過回数を集計したり、あらかじめ決めておいた監視すべき移動体を検知したりすることが可能になり、移動体検出機能の高機能化を図ることができるという効果を奏する。
また、本発明によれば、第一の情報および/または第二の情報を照合した際に、移動体特定用情報の中に一致する情報が存在していなかった場合には、第一の情報および/または第二の情報を移動体特定用情報に追加するよう構成したので、特定できる移動体を学習して増やすことが可能になり、移動体の検出機能を自動的に向上させることができるという効果を奏する。
また、本発明によれば、第一の画像処理において移動体の進行経路を検出し、第二の画像処理において移動体の属性情報を検出し、検出した進行経路と属性情報とを移動体ごとに対応付けた情報を通過情報として検出するよう構成したので、属性情報に基づいて移動体を認識すると同時に、その移動体の進行経路を同時に検出することができるという効果を奏する。
また、本発明によれば、移動体は人物であり、第一の画像処理において人物の進行経路を検出し、第二の画像処理において人物の顔情報を検出し、検出した進行経路と顔情報とを人物ごとに対応付けた情報を通過情報として検出するよう構成したので、顔情報に基づいて人物を認識すると同時に、その人物の進行経路を同時に検出することができるという効果を奏する。
また、本発明によれば、撮像装置は、広角レンズを用いて所定の領域を撮影するよう構成したので、撮像装置により撮影される領域が通常のレンズに比べて広くなり、より多くの通過情報を移動体ごとに検出することが可能になり、移動体の検出および認識の精度を高めることができるという効果を奏する。
また、本発明によれば、撮像装置は、魚眼レンズを用いて所定の領域を撮影するよう構成したので、撮像装置により撮影される領域が通常のレンズや広角レンズに比べてさらに広くなり、より多くの通過情報を移動体ごとに検出することが可能になり、移動体の検出および認識の精度を高めることができるという効果を奏する。
以下に添付図面を参照して、この発明に係る移動体情報検出装置、移動体情報検出方法および移動体情報検出プログラムの好適な実施例を詳細に説明する。なお、本実施例では、本発明を、通路を通過する人物に関する通過情報を検出する人物情報検出装置に適用した場合を中心に説明する。
まず、本実施例1に係る人物情報検出装置の概念について説明する。図1および2は、本実施例1に係る人物情報検出装置の概念を説明するための図(1)および(2)である。
本実施例1に係る人物情報検出装置は、天井など、監視したい領域の上部に設置された監視カメラで撮影された映像について、映像内の領域ごとに異なる画像処理を同時に行うことによって、通過人物の検出と、その人物の顔映像とを、取得および認識するものである。
ここで使用される監視カメラには、魚眼レンズなどの広角レンズを用いて撮影が行われるカメラが用いられる。広角レンズを有するカメラを用いることにより、撮影される領域が通常のレンズに比べて広くなり、より多くの通過情報を人物ごとに検出することが可能になり、人物の検出および認識の精度を高めることができる。
具体的には、図1に示すように、監視領域の上部に、広角レンズを有するカメラ10が設置され、これにより、通過する人物が撮影される。例えば、同図に示すように、時刻T1からT3の間に人物Aがカメラ10の下を通過したとする。この場合、カメラ10によって、図2に示すような映像が撮影される。同図に示すように、時刻T1では、人物Aはカメラ10の正面よりも離れた場所(周辺部分)にいるため、顔までが撮影され、時刻T2では、人物Aはカメラ10の正面付近(中心部分)にいるため、頭部のみが撮影される(時刻T2)。
そこで、人物情報検出装置は、映像の中央部分を用いて通過する人数を検出する処理と、映像の周辺部分を用いて通過人物の顔映像を検出および認識する処理という2つの異なる画像処理を同時に行う。さらに、周辺部分で検出した顔および中央部分で検出した人物を追跡することで、通過する人物と顔とを一致させる(対応付ける)。
このように、本実施例1に係る人物情報検出装置では、カメラでパン・ティルト・ズームを行うことなく、通過した人物の検出(計数)と顔映像の取得(認識)とを同時に行うことができるともに、通過人物と顔との対応付けを行い、高い精度での通過人物の計数や、通過人物の移動軌跡の取得など、従来技術を解決するだけではなく、新しい機能を提供可能なシステムを実現できる。
次に、本実施例1に係る人物情報検出装置の構成について説明する。図3は、本実施例1に係る人物情報検出装置の構成を示す機能ブロック図である。同図に示すように、この人物情報検出装置100は、カメラ10から送られるアナログ映像や、画像記録装置(図示せず)から送られるディジタル映像を入力し、入力した映像から、通過人数や通過した人物の顔映像などを検出して、これらを通過情報として出力する装置であり、A/D変換部110と、画像記憶部111と、周辺領域処理結果記憶部112と、中央領域処理結果記憶部113と、画像制御部114と、処理画像変換部115と、周辺領域処理部116と、中央領域処理部117と、処理結果統合部118とを有する。
A/D変換部110は、カメラ10から送られるアナログ映像をディジタル化する処理部である。具体的には、このA/D変換部110は、カメラ10から送られるアナログ映像をディジタル映像に変換し、変換したディジタル映像を画像制御部114に送る。なお、入力される映像がディジタル映像である場合には、このA/D変換部110は、構成上、不要となる。
画像記憶部111は、ディジタル化された入力映像の映像データを記憶する記憶部である。具体的には、この画像記憶部111は、後述する画像制御部114から順次送られる映像データを、所定の時間間隔で時系列に、所定の期間分、記憶する。
周辺領域処理結果記憶部112は、顔検出処理の処理結果および処理に用いられた映像データを記憶する記憶部である。具体的には、この周辺領域処理結果記憶部112は、後述する周辺領域処理部116から送られる顔検出処理の処理結果と、後述する処理結果統合部118から送られる処理結果統合処理の処理結果とを、それぞれ所定の時間間隔で時系列に記憶する。
中央領域処理結果記憶部113は、人物検出処理の処理結果および処理に用いられた映像データを記憶する記憶部である。具体的には、この中央領域処理結果記憶部113は、後述する中央領域処理部117から送られる人物検出処理の処理結果と、後述する処理結果統合部118から送られる処理結果統合処理の処理結果とを、それぞれ所定の時間間隔で時系列に記憶する。
画像制御部114は、A/D変換部110や画像記録装置(図示せず)から送られるディジタル映像の入力や、入力したディジタル映像の画像記憶部111への入出力を制御する処理部である。具体的には、この画像制御部114は、A/D変換部110や画像記録装置から送られるディジタル映像を入力し、所定の時間間隔で画像記憶部111に順次送る。また、画像制御部114は、画像記憶部111に映像データが蓄積されており、処理画像変換部115が処理可能な状態である場合には、画像記憶部111に蓄積されている映像データを順次取り出し、処理画像変換部115に順次送る。
処理画像変換部115は、画像制御部114から順次送られるディジタル映像を周辺領域処理部116および中央領域処理部117で処理するための画像に変換する処理部である。具体的には、この処理画像変換部115は、画像制御部114から順次送られるディジタル映像を周辺部分の画像と中央部分の画像とに分割し、それぞれを変換したうえで、周辺部分の画像は周辺領域処理部116に、中央部分の画像は中央領域処理部117に送る。以下に、周辺部分の画像変換および中央部分の画像変換について説明する。
まず、周辺部分の画像変換について説明する。図4、5および6は、処理画像変換部115による周辺領域の画像変換の一例を説明するための図(1)、(2)および(3)である。例えば、処理画像変換部115は、図4に示すように、入力した映像について、中央領域を処理対象外とし、線P−Qと線R−Sとを対辺とする長方形の画像になるように周辺領域を展開することによって、周辺部分のみの画像への変換を行う。この場合、同図に示すように、展開した画像を2枚にしてもよいし、1枚にしてもよい。または、処理画像変換部115は、図5に示すように、画像を展開せずに、中央部分を塗りつぶすことによって、処理対象外とする処理を行ってもよい。
また、図6に示すように、入力する映像が魚眼映像である場合には、処理画像変換部115は、当該映像について、公知の映像変換技術を用いて、魚眼映像から通常映像への変換処理を行い、線T−Uと線V−Wとを対辺とする歪みのない長方形の画像へ変換するようにしてもよい。
ここで用いられる公知の映像変換技術としては、例えば、「小林他、“魚眼レンズカメラ画像の矯正”、2005総合大会論文集A−4−19、電子情報通信学会」に記載された映像変換技術などが挙げられる。
続いて、中央領域の画像変換について説明する。図7および8は、処理画像変換部115による中央領域の画像変換の一例を説明するための図(1)および(2)である。例えば、処理画像変換部115は、図7に示すように、入力画像について、周辺領域を処理対象外とし、中央部分のみの画像への変換を行う。または、処理画像変換部115は、図8に示すように、周辺部分を塗りつぶすことによって、処理対象外とする処理を行ってもよい。
また、図6に示すように、入力する映像が魚眼映像である場合には、処理画像変換部115は、当該映像について、周辺領域の画像変換と同様に、公知の映像変換技術を用いて、魚眼映像から通常映像への変換処理を行うようにしてもよい。
周辺領域処理部116は、処理画像変換部115により変換された周辺部分の画像について顔検出処理を行う処理部である。具体的には、この周辺領域処理部116は、処理画像変換部115から送られる周辺部分の画像について、公知の顔検出技術を用いて顔の検出処理を行い、検出結果として、入力画像中の顔の位置と大きさ、顔映像および検出処理での評価値(例えば、顔らしさを表す、ニューラルネットワークの出力値など)を取得する。そして、周辺領域処理部116は、これらの検出結果を周辺領域処理結果記憶部112に送る。
ここで用いられる公知の顔検出技術としては、例えば、この顔の検出処理には、「H.A.Rowley他、“Neural network-based face detection”、IEEE Trans. on Pattern Analysis and Machine Intelligence、Vol.20、No.1、pp.23-38、1998」に記載されている技術などが挙げられる。
さらに、周辺領域処理部116は、周辺領域処理結果記憶部112に保持されている前時刻の検出結果と現時刻の検出結果とを比較することによって、画像内の顔の進行経路も検出する。具体的には、例えば、前時刻で検出された顔映像と現時刻で検出された顔映像とを表す値を用いて、以下に示す式(1)で示される正規化相関を計算し、一定以上の相関値が得られた場合に、それぞれの顔映像の顔が同一であると判定する。式(1)において、「X」および「Y」は、それぞれ、前時刻および現時刻で検出した顔映像の画素値を示し、「X^−(バー)」および「Y^−(バー)」は、それぞれ、前時刻および現時刻で検出した顔映像の平均値を示す。
このように判定することにより、複数の人物が同時に存在する場合にも、各人物を区別して、各人物の進行経路を検出することができる。周辺領域処理部116は、この進行経路の検出結果についても、周辺領域処理結果記憶部112に送る。
また、周辺部分の画像では、人物の背中側のみ撮影されて顔が映らない場合があるが、この場合は、周辺領域処理部116は、例えば、学習時に後頭部の映像を学習させておくことによって、顔の検出結果が後ろ向きの顔であることを判断するか、後述する処理結果統合部118で検出される人物の進行経路情報に基づいて、人物の位置を推定する。
中央領域処理部117は、処理画像変換部115により変換された中央部分画像について人物検出処理を行う処理部である。具体的には、この中央領域処理部117は、処理画像変換部115から送られる中央部分の画像について、公知の人物検出技術を用いて人物(シルエット)の検出処理を行う。
ここで用いられる公知の人物検出技術としては、例えば、「辻村他、“背景自動更新による差分システムに関する研究”、電子情報通信学会総合大会、2003」に記載されている技術が挙げられる。当該技術は、背景画像と呼ばれる、検出対象の映っていない基準画像と入力画像との間で差を計算し、差のある領域を物体として検出する背景差分法により、中央領域に存在する人物を検出するものである。
このような人物検出処理を行うことにより、中央領域処理部117は、人物検出処理による検出結果として、入力画像中の人物の位置と大きさ、人物の映像(人物の頭部部分)および検出処理での評価値を取得する。図9は、中央領域処理部117による人物検出の一例を説明するための図である。例えば、同図に示すように、中央領域処理部117は、予め用意された人物のモデルと背景差分結果とを比較し、それらの一致度を、評価値とする。
そして、中央領域処理部117は、これらの検出結果を中央領域処理結果記憶部113に送る。また、中央領域処理部117は、周辺領域処理部116と同様に、中央領域処理結果記憶部113に保持されている前時刻の検出結果と現時刻の検出結果とを比較することによって、人物の画像内の進行経路も検出する。例えば、中央領域処理部117は、周辺領域処理部116と同様に、式(1)で示した正規化相関値を用いて、人物映像を比較する。
処理結果統合部118は、周辺領域処理結果記憶部112に保持された顔の検出結果と中央領域処理結果記憶部113に保持された人物の検出結果とを統合し、通過した人物の計数および通過した人物の顔映像の取得を行う処理部である。
また、処理結果統合部118は、周辺領域処理部116および中央領域処理部117による処理結果を統合し、通過した人物と顔映像とを対応付ける。具体的には、処理結果統合部118は、周辺部分の画像での人物(顔)の進行経路の検出結果と、中央部分の画像での人物の進行経路の検出結果とを比較し、最も人物の動きを満足するものを対応付ける。
例えば、処理結果統合部118は、周辺部分の画像で検出された顔の所定の位置(例えば、顔の上端部など)に定義された点の軌跡と、中央部分の画像で検出された人物の所定の位置(例えば、頭頂部など)に定義された点の軌跡とをそれぞれ解析し、互いの軌跡が最も自然につながる顔と人物とを、同一人物として対応付ける。
図10は、処理結果統合部118による人物の対応付けを説明するための図である。例えば、同図に示すように、一定時間の間に、周辺領域において4人の人物(周辺人物1〜4)が検出され、中央領域において2人の人物(中央人物1および2)が検出されたとする(同図左の「入力画像と検出位置」を参照)。この場合、処理結果統合部118は、それぞれの領域での検出結果を統合し、進行経路から、周辺人物1と中央人物1と周辺人物4とを同一人物として対応付け(同図右の「統合結果」に示す「人物1」を参照)、周辺人物2と中央人物2と周辺人物3とを同一人物として対応付ける(同図右の「統合結果」に示す「人物2」を参照)。
そして、処理結果統合部118は、入力画像内での人物の進行経路とその人物の顔映像とを対応付けた結果を、監視センターなどに通知するとともに、周辺領域処理結果記憶部112および中央領域処理結果記憶部113に送る。
次に、本実施例1に係る人物情報検出装置100において行われる処理の処理手順について説明する。図11は、本実施例1に係る人物情報検出装置100の処理手順を示すフローチャートである。同図に示すように、人物情報検出装置100においては、まず、A/D変換部110が、カメラ10から送信されたアナログ映像をディジタル化し(ステップS101)、続いて、画像制御部114が、入力画像を周辺領域と中央領域とに分割する(ステップS102)。
そして、分割された入力画像について、周辺領域処理部116が、周辺部分の画像から顔に関する情報を検出し(ステップS103)、中央領域処理部117が、中央部分の画像から人物に関する情報を検出する(ステップS104)。
その後、処理結果統合部118が、顔の検出結果と人物の検出結果とを対応付け(ステップS105)、その処理結果を監視センターなどに通知する(ステップS106)。
上述してきたように、本実施例1では、中央領域処理部117が、カメラ10により撮影された領域内の中央部分に映された人物の画像を用いて個々の人物を検出する画像処理を行い、周辺領域処理部116が、カメラ10により撮影された領域内の中央部分の周辺部分に映された人物の画像を用いて人物の顔を検出する画像処理を行い、処理結果統合部118が、中央領域処理部117により検出された個々の人物および周辺領域処理部116により検出された顔を人物ごとに対応付けた情報を通過情報として検出するので、顔に基づいて人物を認識するとともに、個々に検出した人物に基づいて通過数や進行経路などを検出することが可能になり、カメラ10でパン・ティルト・ズームを行うことなく、人物の検出および認識を同時に行うことができる。また、この構成は一台の撮像装置でも実現が可能なため、設置現場での煩雑な位置調整や、導入にかかるコストを低減することができる。
このようにして検出された通過情報は、さまざまな方法で利用することができる。例えば、かかる通過情報をログ情報として記録しておき、犯罪発生時にそのログ情報を検索することによって不審人物を追跡したり、新しく商業施設を建設する際に立地場所の候補地を通行する人の属性や数を調査したりする場合などに利用することができる。
ところで、上記実施例1では、周辺部分の画像での顔の検出結果と中央部分の画像での人物の検出結果とを単純に統合する場合について説明したが、それぞれの検出処理によって検出された検出結果の信頼度に基づいて再検出を行ったり、信頼度が高い検出結果で信頼度が低い検出結果を補完し合ったりするようにしてもよい。そこで、以下では、かかる信頼度に基づいた制御を行う場合を、実施例2として説明する。
図12は、本実施例2に係る人物情報検出装置の構成を示す機能ブロック図である。なお、同図に示す各機能部のうち、図3に示した人物情報検出装置100が有する機能部と同様の役割を果たすものについては同一の符号を付しており、ここでは、その詳細な説明を省略する。
同図に示すように、この人物情報検出装置200は、カメラ10から送られるアナログ映像や、画像記録装置(図示せず)から送られるディジタル映像を入力し、入力した映像から、通過人数や通過した人物の顔映像などを検出して、これらを通過情報として出力する装置であり、A/D変換部110と、画像記憶部111と、周辺領域処理結果記憶部112と、中央領域処理結果記憶部113と、画像制御部114と、処理画像変換部115と、周辺領域処理部116と、中央領域処理部117と、処理結果統合部118と、信頼度判定部219とを有する。
信頼度判定部219は、周辺領域処理部116および中央領域処理部117によって検出された検出結果について、その信頼度を判定し、信頼度が低い場合には顔や人物の再検出を行ったり、信頼度が高い検出結果を用いて、信頼度が低い検出結果を補完しながら、各検出結果を統合したりするよう制御する処理部である。なお、ここでいう信頼度には、例えば、周辺部分の画像については、ニューラルネットワークによる顔検出結果の評価値(周辺領域処理部116による顔検出処理の説明を参照)が用いられ、中央部分の画像については、背景差分結果の人物モデルとの一致度(中央領域処理部117による人物検出処理の説明を参照)が用いられる。
図13は、信頼度判定部219による再検出を説明するための図である。例えば、同図に示すように、周辺領域での顔検出結果の信頼度が小さく、中央領域での人物検出結果の信頼度が大きかったとする(同図左の「入力画像と検出位置」を参照)。この場合、信頼度判定部219は、中央領域での人物検出結果を利用して、人物が通過したと推測される位置周辺について、周辺領域処理部116で再度顔検出を行うように、処理画像変換部115に対して指示する(同図右の「信頼度判定部による再検出」を参照)。
ここで、信頼度判定部219が、信頼度が低い場合に、顔や人物の再検出を行うので、照度変化などの外乱要素によって移動体の検出に誤差が生じやすい状態が発生した場合でも、高い精度で移動体情報を検出することができる。
また、信頼度判定部219は、処理結果統合部118において行われる検出結果の統合について、信頼度に基づいて、進行経路の対応付けを行うように制御する。例えば、信頼度判定部219は、中央部分の画像で検出したある一つの進行経路に対して、その進行経路に対応付け得る進行経路が周辺部分の画像内に複数あった場合には、その中で信頼度が最も高いものを、当該中央領域での進行経路に対応付けるよう処理結果統合部118を制御する。
上述してきたように、本実施例2では、周辺領域処理部116および中央領域処理部117によって検出された検出結果の信頼度を算出し、信頼度判定部219が、算出された信頼度に基づいて、進行経路の対応付けを行うように制御するので、照度変化などの外乱要素によって移動体の検出性能が低下するなどの悪影響を抑え、安定して人物の通過情報を検出することができる。
ところで、上記実施例1および2では、周辺領域処理部116において、通過した人物の顔映像や進行経路を検出する場合について説明したが、ここで検出された顔映像をあらかじめ登録された人物の顔映像と比較することによって、通過した人物を特定するようにしてもよい。そこで、以下では、検出された顔映像に基づいて人物を特定する場合を、実施例3として説明する。
図14は、本実施例3に係る人物情報検出装置の構成を示す機能ブロック図である。なお、同図に示す各機能部のうち、図3に示した人物情報検出装置100が有する機能部と同様の役割を果たすものについては同一の符号を付しており、ここでは、その詳細な説明を省略する。
同図に示すように、この人物情報検出装置300は、カメラ10から送られるアナログ映像や、画像記録装置(図示せず)から送られるディジタル映像を入力し、入力した画像から、通過人数や通過した人物の顔映像などを検出して、これらを通過情報として出力する装置であり、A/D変換部110と、画像記憶部111と、周辺領域処理結果記憶部112と、中央領域処理結果記憶部113と、画像制御部114と、処理画像変換部115と、周辺領域処理部116と、中央領域処理部117と、処理結果統合部118と、顔映像照合部320とを有する。
顔映像照合部320は、周辺領域処理部116によって検出された顔映像に基づいて、通過した人物を特定する処理部である。具体的には、この顔映像照合部320は、周辺領域処理部116によって検出された顔映像と、あらかじめ登録されている人物の顔映像とを公知の顔照合技術を用いて照合することによって、通過した人物を特定する。
ここで用いられる公知の顔照合技術としては、例えば、「小松他、“部分空間法を用いた向きによらない顔の切り出しと認識”、PRU95-191、pp.7-14、1996」が挙げられる。当該技術は、目、鼻、口などの顔の部品位置で構成されるベクトルを、登録している顔映像と検出した顔映像とで比較し、この類似度によって人物を特定、または、類似している人物を列挙するものである。
このような顔照合処理を行うことによって、顔映像照合部320は、通過した人物を特定し、どの人物がいつ、何回通過したなどの情報を取得する。また、顔映像照合部320は、検出した顔映像が、その時点で登録されていない顔映像であった場合には、次回通過する際に照合するために、当該顔映像を新たに追加登録する。
上述してきたように、本実施例3では、顔映像照合部320が、周辺領域処理部116によって検出された顔映像と、あらかじめ登録されている人物の顔映像とを照合することによって、通過した人物を特定するので、人物を認識するだけでなく、特定することも可能になる。これにより、人物ごとに通過回数を集計したり、あらかじめ決めておいた監視すべき人物を検知したりすることが可能になり、人物検出機能の高機能化を図ることができる。また、人物の追跡精度の向上および、通過した人物の特定が可能となるため、より高機能でセキュリティ用途向けの通過人物の検出システムを実現できる。
また、顔映像照合部320が、顔映像を照合した際に、あらかじめ登録されている人物の顔映像の中に一致する顔映像が存在していなかった場合には、当該顔映像を新たに追加するので、特定できる人物を学習して増やすことが可能になり、人物の検出機能を自動的に向上させることができる。
ところで、上記実施例2および3では、実施例1に対して、信頼度に基づいて制御を行うための信頼度判定部219と、検出された顔映像に基づいて人物を特定するための顔映像照合部320とを、それぞれ追加した場合について説明したが、これらの機能部を任意に組み合わせて人物情報検出装置を構成してもよい。そこで、以下では、実施例1、2および3を組み合わせた場合を、実施例4として説明する。
図15は、本実施例4に係る人物情報検出装置の構成を示す機能ブロック図である。なお、同図に示す人物情報検出装置400が有する各機能部は、図3に示した人物情報検出装置100、図12に示した人物情報検出装置200または図14に示した人物情報検出装置300が有する機能部を組み合わせただけであるので、ここでは、その詳細な説明を省略する。
上述してきたように、本実施例4では、実施例1、2および3で説明した各機能部を組み合わせることによって、照度変化などの外乱の影響を抑えた実用的な通過人物の検出システムを実現できるとともに、通過人物の認識や特定の人物の通過回数算出など、人物検出機能の高機能化を図ることができる。
これまで、本発明に係る移動体情報検出装置の実施例として、人物を検出する人物情報検出装置について説明してきたが、本発明はこれに限られず、例えば、ベルトコンベア上を流れる荷物を検出する荷物情報検出装置に適用してもよい。そこで、以下では、本発明を荷物情報検出装置に適用した場合を、実施例5として説明する。
まず、本実施例5に係る荷物情報検出装置の概念について説明する。図16は、本実施例5に係る荷物情報検出装置の概念を説明するための説明図である。
本実施例5に係る荷物情報検出装置は、天井など、荷物が通過するベルトコンベアの上部に設置された監視カメラで撮影された映像について、映像内の領域ごとに異なる画像処理を同時に行うことによって、荷物の側面と上面とをそれぞれ検出するものである。ここで使用される監視カメラとしては、これまで説明した実施例同様、魚眼レンズなどの広角レンズを有するカメラが用いられる。
具体的には、図16に示すように、荷物が通過するベルトコンベアの上部に、広角レンズを有するカメラ10が設置され、これにより、ベルトコンベア上を流れる荷物が撮影される。
ベルトコンベア上を流れる荷物には、同図に示すように、その側面と上面とにそれぞれラベルが貼られている。このラベルには、種類や重さなど荷物に関する属性が文字や色などで示されている。そして、荷物がカメラ10の正面よりも離れた場所(周辺部分)にいる時には、側面に貼られたラベルが撮影され、荷物がカメラ10の正面付近(中心部分)にいる時には、上面に貼られたラベルが撮影される。
そこで、荷物情報検出装置は、映像の中央部分を用いて荷物を計数する処理と、映像の周辺部分を用いて荷物側面のラベルが示す属性を検出および認識する処理という2つの異なる画像処理を同時に行う。さらに、周辺部分で検出した荷物側面のラベルが示す属性と、中央部分で検出した荷物上面のラベルが示す属性とを対応付けることによって、ベルトコンベア上を流れる荷物を特定する。
このように、本実施例5に係る荷物情報検出装置では、カメラでパン・ティルト・ズームを行うことなく、ベルトコンベア上を流れる荷物の検出(計数)と、荷物の側面および上面に貼られたラベルの文字の検出を同時に行うことができるともに、側面に貼られたラベルの情報と、上面に貼られたラベルの情報との対応付けを行うことができる。
図17は、本実施例5に係る荷物情報検出装置の構成を示す機能ブロック図である。なお、同図に示す各機能部のうち、図3に示した人物情報検出装置100または図12に示した人物情報検出装置200が有する機能部と同様の役割を果たすものについては同一の符号を付している。これらの機能部については、具体的には、入力画像の周辺領域で検出していた対象が顔から荷物側面のラベルに替わり、中央領域で検出する対象が人物から荷物上面のラベルに替わっただけであるので、ここでは、詳細な説明を省略する。
同図に示すように、この荷物情報検出装置500は、カメラ10から送られるアナログ映像や、画像記録装置(図示せず)などから送られるディジタル映像を入力し、入力した画像から、ベルトコンベア上を流れる荷物の数や、荷物の側面および上面の映像などを検出して、これらを通過情報として出力する装置であり、A/D変換部110と、画像記憶部111と、周辺領域処理結果記憶部112と、中央領域処理結果記憶部113と、画像制御部114と、処理画像変換部115と、周辺領域処理部116と、中央領域処理部117と、処理結果統合部118と、信頼度判定部219と、側面映像照合部521と、上面映像照合部522とを有する。
側面映像照合部521は、周辺領域処理部116によって検出された荷物側面のラベルの映像に基づいて、ベルトコンベア上を流れる荷物の属性を特定する処理部である。具体的には、この側面映像照合部521は、周辺領域処理部116によって検出された荷物側面のラベルの映像から、当該ラベルに示された文字を検出し、検出した文字と、あらかじめ登録されている文字とを公知の文字照合技術を用いて照合することによって、荷物の属性を特定する。
上面映像照合部522は、中央領域処理部117によって検出された荷物上面のラベルの映像に基づいて、ベルトコンベア上を流れる荷物の属性を特定する処理部である。具体的には、この上面映像照合部522は、中央領域処理部117によって検出された荷物上面のラベルの映像から、当該ラベルに示された文字を検出し、検出した文字と、あらかじめ登録されている文字とを公知の文字照合技術を用いて照合することによって、荷物の属性を特定する。
側面映像照合部521および上面映像照合部522で用いられる公知の文字照合技術としては、例えば、「根岸他、“情景画像中文字認識のための変形を許容する高速なテンプレートマッチング”、PRMU2005-247、pp.101-106、2005」に記載されているテンプレートマッチング法が挙げられる。当該技術は、あらかじめ登録された辞書画像と比較することによって、文字を照合するものである。
このように、側面映像照合部521が、周辺領域処理部116により検出された荷物側面のラベルに示された情報をあらかじめ蓄積された移動体特定用の情報と照合し、上面映像照合部522が、中央領域処理部117により検出された荷物上面のラベルに示された情報をあらかじめ蓄積された移動体特定用の情報と照合することによって荷物を特定するので、荷物を認識するだけでなく、特定することも可能になる。これにより、あらかじめ決めておいた検出すべき荷物を検知することが可能になり、荷物検出機能の高機能化を図ることができる。
なお、ここでは、ラベルに示された文字を用いて荷物の属性を特定する場合について説明したが、文字ではなく、色を用いて荷物の属性を特定するようにしてもよい。
上述してきたように、本実施例5では、周辺領域処理部116が、カメラ10により撮影された領域の周辺部分に映された荷物の画像を用いて、荷物上面のラベルに示された情報を検出する画像処理を行い、中央領域処理部117が、カメラ10により撮影された領域の中央部分に映された荷物の画像を用いて、荷物側面のラベルに示された情報を検出する画像処理を行い、処理結果統合部118が、周辺領域処理部116により検出されたラベルの情報および中央領域処理部117により検出されたラベルの情報を荷物ごとに対応付けた情報を通過情報として検出するので、通過する荷物の計数と荷物の側面および上面の認識を同時に行うことができる。
ところで、上記実施例1〜5では、移動体情報検出装置(人物情報検出装置および荷物情報検出装置)について説明してきたが、移動体情報検出装置が有する構成をソフトウェアによって実現することで、同様の機能を有する移動体情報検出プログラムを得ることができる。そこで、この移動体情報検出プログラムを実行するコンピュータについて説明する。
図18は、本実施例に係る移動体情報検出プログラムを実行するコンピュータの構成を示す機能ブロック図である。同図に示すように、このコンピュータ600は、RAM(Random Access Memory)610と、CPU(Central Processing Unit)620と、ROM(Read Only Memory)630と、LAN(Local Area Network)インタフェース640と、カメラインタフェース650とを有する。
RAM610は、プログラムやプログラムの実行途中結果などを記憶するメモリであり、CPU620は、RAM610やROM630からプログラムを読み出して実行する中央処理装置である。
ROM630は、プログラムやデータを格納するメモリであり、LANインタフェース640は、コンピュータ600をLAN経由で他のコンピュータや監視センターの端末装置などに接続するためのインタフェースであり、カメラインタフェース650は、監視カメラを接続するためのインタフェースである。
そして、このコンピュータ600において実行される移動体情報検出プログラム611は、あらかじめROM630に記憶され、CPU620によって移動体情報検出タスク621として実行される。
また、本実施例では、人物を検出する人物情報検出装置および荷物を検出する荷物情報検出装置について説明したが、本発明はこれに限定されるものではなく、例えば、道路を走行している車を検出する場合などにも同様に適用することができる。
また、本実施例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。
この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示のように構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
以上のように、本発明に係る移動体情報検出装置、移動体情報検出方法および移動体情報検出プログラムは、所定の領域を撮影する撮像装置を用いて、該領域を通過する移動体に関する通過情報を検出する場合に有用であり、特に、撮像装置でパン・ティルト・ズームを行うことなく、移動体の検出と認識とを同時に行う場合に適している。
図1は、本実施例1に係る人物情報検出装置の概念を説明するための図(1)である。
図2は、本実施例1に係る人物情報検出装置の概念を説明するための図(2)である。
図3は、本実施例1に係る人物情報検出装置の構成を示す機能ブロック図である。
図4は、処理画像変換部による周辺領域の画像変換の一例を説明するための図(1)である。
図5は、処理画像変換部による周辺領域の画像変換の一例を説明するための図(2)である。
図6は、処理画像変換部による周辺領域の画像変換の一例を説明するための図(3)である。
図7は、処理画像変換部による中央領域の画像変換の一例を説明するための図(1)である。
図8は、処理画像変換部による中央領域の画像変換の一例を説明するための図(2)である。
図9は、中央領域処理部による人物検出の一例を説明するための図である。
図10は、処理結果統合部による人物の対応付けを説明するための図である。
図11は、本実施例1に係る人物情報検出装置の処理手順を示すフローチャートである。
図12は、本実施例2に係る人物情報検出装置の構成を示す機能ブロック図である。
図13は、信頼度判定部による再検出を説明するための図である。
図14は、本実施例3に係る人物情報検出装置の構成を示す機能ブロック図である。
図15は、本実施例4に係る人物情報検出装置の構成を示す機能ブロック図である。
図16は、本実施例5に係る荷物情報検出装置の概念を説明するための説明図である。
図17は、本実施例5に係る荷物情報検出装置の構成を示す機能ブロック図である。
図18は、本実施例に係る移動体情報検出プログラムを実行するコンピュータの構成を示す機能ブロック図である。
図19は、特許文献1の方法を説明するための図(1)である。
図20は、特許文献1の方法を説明するための図(2)である。
図21は、特許文献1の方法を説明するための図(3)である。
図22は、特許文献1の方法を説明するための図(4)である。
図23は、特許文献2の方法を説明するための図である。
図24は、特許文献3の方法を説明するための図である。
図25は、複数のカメラを用いる方法の問題点を説明するための図である。
図26は、PTZカメラを用いる方法の問題点を説明するための図である。
符号の説明
100,200,300,400 人物情報検出装置
500 荷物情報検出装置
110 A/D変換部
111 画像記憶部
112 周辺領域処理結果記憶部
113 中央領域処理結果記憶部
114 画像制御部
115 処理画像変換部
116 周辺領域処理部
117 中央領域処理部
118 処理結果統合部
219 信頼度判定部
320 顔映像照合部
521 側面映像照合部
522 上面映像照合部
600 コンピュータ
610 RAM
611 移動体情報検出プログラム
620 CPU
621 移動体情報検出タスク
630 ROM
640 LANインタフェース
650 カメラインタフェース