JP6615800B2 - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
JP6615800B2
JP6615800B2 JP2017002719A JP2017002719A JP6615800B2 JP 6615800 B2 JP6615800 B2 JP 6615800B2 JP 2017002719 A JP2017002719 A JP 2017002719A JP 2017002719 A JP2017002719 A JP 2017002719A JP 6615800 B2 JP6615800 B2 JP 6615800B2
Authority
JP
Japan
Prior art keywords
objects
unit
predetermined
information processing
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017002719A
Other languages
English (en)
Other versions
JP2018112880A (ja
Inventor
俊信 中洲
智行 柴田
一成 大内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2017002719A priority Critical patent/JP6615800B2/ja
Priority to US15/665,662 priority patent/US10586115B2/en
Priority to EP17186309.5A priority patent/EP3349142B1/en
Publication of JP2018112880A publication Critical patent/JP2018112880A/ja
Application granted granted Critical
Publication of JP6615800B2 publication Critical patent/JP6615800B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Description

本発明の実施形態は、情報処理装置、情報処理方法およびプログラムに関する。
駅の通路等を通行したり、ビルのフロア等に滞在したりする人物を監視する監視カメラシステムが知られている。このような監視カメラシステムでは、天井等に取り付けられた撮像装置から人物を撮像する。
また、監視カメラシステムでは、撮像した画像を表示するのみならず、人物の状態等を判別することが望まれる。例えば、監視カメラシステムでは、人物が広告を見ているかどうかを判別することが望まれる。人物が広告を見ているか否かを判別することにより、監視カメラシステムでは、広告を見た人の数等を算出することができる。
しかし、監視カメラシステムに用いられる撮像装置は、固定されている。従って、撮像装置から遠い位置の人物は、画像内で相対的に小さくなってしまう。また、光または影等の影響により認識率が低下する人物が画像内に含まれる場合もある。このため、監視カメラシステムでは、画像に含まれている全ての人物について、精度良く状態等を判別することが困難であった。
特開２０１１−２３３１１９号公報
Viet-Quoc Pham, Tatsuo Kozakaya, Osamu Yamaguchi and Ryuzo Okada， "COUNT Forest: CO-voting Uncertain Number of Targets using Random Forest for Crowd Density Estimation", International Conference on Computer Vision, pp.3253‐3261，2015年
発明が解決しようとする課題は、複数の対象物における、状態および属性の少なくとも１つを表す対象物情報を精度良く推定することにある。
実施形態に係る情報処理装置は、取得部と、検出部と、判別部と、推定部とを備える。前記取得部は、撮像画像を取得する。前記検出部は、前記撮像画像に含まれる複数の対象物を検出する。前記判別部は、前記撮像画像に基づき、検出された前記複数の対象物のそれぞれについて、状態および属性の少なくとも１つを表す対象物情報および前記対象物情報の信頼度を算出する。前記推定部は、前記信頼度が設定値より高い対象物における前記対象物情報の分布に基づき、前記複数の対象物における前記対象物情報の分布を推定する。
第１実施形態に係る検出システムを示す図。 情報処理装置の構成を表示装置および撮像装置とともに示す図。 第１実施形態に係る対象物検出部の構成図。 第１実施形態に係る出力画像の一例を示す図。 第１実施形態に係る対象物検出部の処理を示すフローチャート。 複数種類の状態または属性の一例を示す図。 第１実施形態の変形例に係る対象物検出部の構成図。 第２実施形態に係る推定部の構成図。 第２実施形態に係る対象物検出部の処理を示すフローチャート。 第２実施形態に係る出力画像の一例を示す図。 第３実施形態に係る対象物検出部の構成図。 第３実施形態に係る出力画像の第１例を示す図。 第３実施形態に係る出力画像の第２例を示す図。
以下、図面を参照しながら本実施形態に係る検出システム１０について説明する。なお、以下の実施形態では、同一の参照符号を付した部分は略同一の構成および動作をするので、相違点を除き重複する説明を適宜省略する。
（第１実施形態）
図１は、第１実施形態に係る検出システム１０を示す図である。検出システム１０は、第１空間を撮像した撮像画像に基づき、第１空間に存在する複数の対象物における、状態および属性の少なくとも１つを表す対象物情報の分布を、精度良く推定する。例えば、検出システム１０は、第１空間を撮像した撮像画像に基づき、第１空間に存在する所定状態または所定属性である対象物の数を精度良く算出する。また、例えば、検出システム１０は、第１空間を撮像した撮像画像に基づき、第１空間に存在する所定状態および所定属性である対象物の数を精度良く算出する。
例えば、対象物は、人物である。第１空間は、対象物が通過または滞在する場所である。例えば、第１空間は、対象物が人物である場合、駅の通路、プラットフォーム、道路およびビルのフロア等である。なお、対象物は、人物に限らず、車両等の他の物体であってもよい。
状態は、時間または環境等により変化する可能性がある、画像から認識可能な対象物の特徴である。例えば、対象物が人物の場合、状態は、顔の向き、体の向き、移動速度、移動方法、表情（例えば、笑い、悲しみ、怒り、嫌悪、驚きまたは恐れ）、または、行動等である。
状態の分布は、状態が顔の向きであれば、複数の対象物のうち、右方向に向いている対象物が２割、左方向に向いている対象物が８割といった情報である。また、所定状態は、各種の状態のうちの、特定された１つの状態である。例えば、所定状態は、所定の目的物（例えば広告）を見ている状態、所定方向（例えば南西方向）を向いている状態、または、所定速度範囲（例えば時速５ｋｍ／ｈから時速１０ｋｍ／ｈまでの範囲）で移動している状態等である。また、例えば、所定状態は、所定の表情（例えば、笑い）である状態、または、所定行動（例えば、携帯端末装置を操作している状態）等である。
属性は、時間または環境等により変化しない、画像から認識可能な対象物の特徴である。例えば、対象物が人物の場合、属性は、性別、年齢または年代等である。
属性の分布は、属性が性別であれば、複数の対象物のうち、男性が２割、女性が８割といった情報である。また、所定属性は、男性、女性、所定年齢（例えば３０歳）または所定年代（例えば２０歳〜３９歳）等である。
検出システム１０は、表示装置１２と、撮像装置１４と、情報処理装置２０とを備える。
表示装置１２は、情報を表示する。例えば、表示装置１２は、情報として、広告を表示する。表示装置１２は、広告に限らず、ニュースまたは各種の通知情報等を表示してもよい。表示装置１２は、第１空間に存在する人物に対して情報を提示可能な位置に、固定して配置される。
表示装置１２は、動画像を表示してもよいし、静止画像を表示してもよいし、文字のみを表示してもよい。本実施形態においては、表示装置１２は、表示する情報内容が情報処理装置２０により制御される。しかし、表示装置１２は、情報処理装置２０とは接続されていない独立の装置であってもよいし、紙等が取り付けられた看板であってもよい。
撮像装置１４は、第１空間に存在する複数の対象物を撮像可能な位置に、固定して配置される。撮像装置１４は、固定された位置から第１空間を撮像する。撮像装置１４は、所定時間毎に第１空間を撮像し、撮像して得られた複数の撮像画像を情報処理装置２０に与える。
情報処理装置２０は、例えば、専用または汎用コンピュータである。情報処理装置２０は、ＰＣ、あるいは、情報を保存および管理するサーバに含まれるコンピュータであってもよい。情報処理装置２０は、一台の装置により実現されてもよいし、連携して動作する複数台の装置により実現されてもよい。また、情報処理装置２０は、ネットワーク上に実現される仮想的な装置（例えばクラウド）等であってもよい。
情報処理装置２０は、表示装置１２を制御して、表示装置１２に所定の情報（例えば広告）を表示させる。また、情報処理装置２０は、撮像装置１４を制御して、撮像装置１４により撮像された撮像画像を取得する。
そして、情報処理装置２０は、撮像装置１４が撮像した撮像画像に基づき、第１空間に存在する複数の対象物における、状態および属性の少なくとも１つを表す対象物情報の分布を推定する。例えば、情報処理装置２０は、撮像装置１４が撮像した撮像画像に基づき、第１空間に存在する所定状態または所定属性である対象物の数を算出する。また、例えば、情報処理装置２０は、撮像装置１４が撮像した撮像画像に基づき、第１空間に存在する所定状態および所定属性である対象物の数を算出する。また、例えば、対象物が人物であり、表示装置１２が広告を表示している場合、情報処理装置２０は、撮像装置１４が撮像した撮像画像に基づき、広告を見ている対象物の数を算出する。
図２は、情報処理装置２０の構成を表示装置１２および撮像装置１４とともに示す図である。
情報処理装置２０は、入力部２２と、表示部２４と、通信部２６と、記憶回路２８と、処理回路３０とを有する。入力部２２、表示部２４、通信部２６、記憶回路２８および処理回路３０は、バスを介して接続される。また、情報処理装置２０は、例えば、バスを介して、表示装置１２および撮像装置１４と接続される。
入力部２２は、ユーザからの各種指示や情報入力操作を受け付ける。入力部２２は、例えば、マウスまたはトラックボール等のポインティングデバイス、あるいはキーボード等の入力デバイスである。
表示部２４は、画像データ等の各種の情報を表示する。表示部２４は、例えば、液晶表示器等の表示デバイスである。
通信部２６は、有線または無線で接続された外部装置と情報の入出力を行うインターフェースである。通信部２６は、ネットワークに接続して通信を行ってもよい。
例えば、記憶回路２８は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等である。また、記憶回路２８が行う処理は、情報処理装置２０の外部の記憶装置で代替されてもよい。記憶回路２８は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）またはインターネット等により伝達されたプログラムをダウンロードして記憶または一時記憶した記憶媒体であってもよい。また、記憶媒体は、１つに限られず、複数の媒体から構成されてもよい。
処理回路３０は、１または複数のプロセッサを含む。１または複数のプロセッサは、記憶回路２８からプログラムを読み出して実行する。１または複数のプロセッサがプログラムを読み出して実行した場合の処理回路３０は、図２の処理回路３０内に示された各部を含む。すなわち、１または複数のプロセッサがプログラムを実行することにより、処理回路３０は、表示制御部３２および対象物検出部４０として機能する。
表示制御部３２は、表示装置１２を制御して、表示装置１２に所定の情報（例えば広告）を表示させる。対象物検出部４０は、撮像装置１４を制御して、撮像装置１４により撮像された撮像画像を取得する。そして、対象物検出部４０は、取得した撮像画像に基づき、第１空間に存在する複数の対象物における、状態および属性の少なくとも１つを表す対象物情報の分布を推定する。例えば、対象物検出部４０は、取得した撮像画像に基づき、第１空間に存在する所定状態または所定属性である対象物の数を算出する。また、例えば、対象物検出部４０は、取得した撮像画像に基づき、第１空間に存在する所定状態および所定属性である対象物の数を算出する。また、例えば、対象物が人物であり、表示装置１２が広告を表示している場合、対象物検出部４０は、取得した撮像画像に基づき、広告を見ている対象物の数を算出する。
対象物検出部４０は、取得部４２、検出部４４、判別部４６、信頼度算出部４８、推定部５０、効果算出部５２および出力部５４を含む。これらの各部の詳細は、後述する。
また、処理回路３０は、プロセッサとは異なる専用のハードウェア回路を含んでもよい。専用のハードウェア回路は、これらの各部のうちの一部または全部の機能を、プロセッサに代わり実現する。
プロセッサは、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であってよい。プロセッサは、ＣＰＵに限らず、プログラムを実行する他の種類のデータ処理デバイスであってよい。
記憶回路２８には、処理回路３０を、表示制御部３２および対象物検出部４０（取得部４２、検出部４４、判別部４６、信頼度算出部４８、推定部５０、効果算出部５２および出力部５４を含む）として機能させるためのプログラムが記憶されている。記憶回路２８は、処理回路３０が行う各処理機能に伴うデータ等を必要に応じて記憶する。
また、記憶回路２８は、撮像装置１４により撮像された撮像画像を記憶する。また、記憶回路２８は、処理結果を表す情報および出力画像を記憶する。
なお、記憶回路２８がプログラムを記憶することに代えて、処理回路３０の内部のＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）がプログラムを記憶してもよい。この場合、１個または複数のプロセッサが、内部のＲＯＭに記憶された（内部に組み込まれた）プログラムを読み出して実行することにより、処理回路３０は、プログラムに対応する機能を実現する。
図３は、第１実施形態に係る対象物検出部４０の構成を示す図である。対象物検出部４０は、取得部４２と、検出部４４と、判別部４６と、信頼度算出部４８と、推定部５０と、効果算出部５２と、出力部５４とを含む。
取得部４２は、第１空間を撮像した撮像画像を取得する。例えば、取得部４２は、撮像装置１４から撮像画像を取得する。記憶回路２８が撮像装置１４により撮像された撮像画像を記憶している場合、取得部４２は、記憶回路２８から撮像画像を取得してもよい。また、取得部４２は、所定時間毎に撮像した複数の撮像画像を取得してもよい。
検出部４４は、撮像画像に含まれる、第１空間に存在する複数の対象物のそれぞれを検出する。例えば、検出部４４は、第１空間に存在する複数の対象物の数、および、複数の対象物のそれぞれの位置を検出する。また、検出部４４は、取得部４２が所定時間毎に撮像した複数の撮像画像を取得した場合、複数の撮像画像のそれぞれに含まれる、第１空間に存在する複数の対象物のそれぞれを検出する。
例えば、対象物が人物である場合、検出部４４は、撮像画像から、人物の顔、頭部、上半身、全身または予め定められた身体の部位を検出してよい。また、検出部４４は、撮像画像を複数の小領域に分割し、小領域毎に対象物の密度を算出してもよい。また、検出部４４は、撮像画像または小領域に半分しか含まれていない対象物の数を、０．５としてもよい。
判別部４６は、撮像画像に基づき、検出部４４により検出された複数の対象物のそれぞれの状態および属性の少なくとも１つを表す対象物情報を判別する。例えば、判別部４６は、検出された複数の対象物のそれぞれについて、所定状態または所定属性であるか否かを判別する。また、例えば、判別部４６は、検出された複数の対象物のそれぞれについて、所定状態および所定属性であるか否かを判別する。
例えば、複数の対象物のそれぞれは、人物であり、所定状態は、所定位置に設置された目的物を見ている状態であるとする。この場合、判別部４６は、検出された複数の対象物のそれぞれが、目的物を見ているか否かを判別する。また、目的物は、広告を表示する表示装置１２であってもよい。この場合、判別部４６は、検出部４４により検出された複数の対象物のそれぞれが、広告を見ているか否かを判別してよい。
例えば、判別部４６は、対象物の向き（方位）を検出し、検出した対象物の向きに基づき、対象物が目的物（例えば表示装置１２）を見ているか否かを判別してもよい。この場合、判別部４６は、例えば、顔の向きまたは体の向きを、対象物の向きとして検出してよい。判別部４６は、所定角度単位（例えば、１°）で対象物の向きを検出してよい。また、判別部４６は、対象物が画像における右方向または左方向の何れかを向いているか、または、対象物が画像における上方向または下方向を向いているか程度の選択肢で、対象物の向きを判別してもよい。
また、判別部４６は、対象物の移動速度を検出し、検出した移動速度に基づき、対象物が目的物（例えば表示装置１２）を見ているか否かを判別してもよい。例えば、判別部４６は、検出した移動速度が所定速度以下である場合に、対象物が目的物を見ていると判別する。この場合、検出部４４は、撮像画像毎に対象物を追従し、対象物の位置変化に基づき対象物の移動速度を検出してよい。
また、検出部４４は、さらに、対象物の移動方向に基づき、対象物が目的物（例えば表示装置１２）を見ているか否かを判別してもよい。例えば、判別部４６は、検出した移動方向が、目的物に向かう方向に一致する場合、対象物が表示装置１２を見ていると判別してもよい。
また、検出部４４が小領域毎の対象物の密度を算出した場合には、判別部４６は、小領域毎の、状態および属性の少なくとも１つを表す対象物情報の分布を判別する。例えば、判別部４６は、例えば、ある小領域について、２割の対象物が目的物を見ており、８割の対象物が目的物を見ていないと判別してもよい。
信頼度算出部４８は、検出部４４により検出された複数の対象物のそれぞれについて、対象物情報を判別した判別結果の信頼度を算出する。例えば、信頼度算出部４８は、撮像画像から検出された対象物の解像度、大きさ、明度またはコントラスト等に基づき、信頼度を算出する。
信頼度算出部４８は、０％以上、１００％以下の数値に正規化された信頼度を算出してよい。また、検出部４４が小領域毎の対象物の密度を算出した場合には、信頼度算出部４８は、小領域毎の信頼度を算出する。例えば、判別部４６は、ある小領域について、信頼度が８０％の確率で、２割の対象物が目的物を見ており、８割の対象物が目的物を見ていないと算出してよい。なお、信頼度は、複数の対象物のそれぞれの状態および属性を判別するとともに、算出されてもよい。この場合、信頼度算出部４８は、例えば、判別部４６に組み込まれて実現される。
推定部５０は、予め入力された設定値を受け取る。設定値は、信頼度が取りうる範囲内の値である。例えば、信頼度算出部４８が０％以上、１００％以下の数値に正規化された信頼度を算出する場合、設定値は、０％以上、１００％以下の範囲の値である。
推定部５０は、検出部４４により検出された複数の対象物のうち、信頼度が設定値より高い１以上の対象物を特定する。続いて、推定部５０は、信頼度が設定値より高い１以上の対象物における、状態および属性の少なくとも１つを表す対象物情報の判別結果の分布を算出する。そして、推定部５０は、信頼度が設定値より高い対象物における対象物情報の分布に基づき、第１空間に存在する複数の対象物における対象物情報の分布を推定する。例えば、推定部５０は、第１空間に存在する全ての複数の対象物における対象物情報の分布を推定する。
例えば、推定部５０は、検出部４４により検出された複数の対象物のうち、信頼度が設定値より高い１以上の対象物の数（第１の数）を特定する。続いて、推定部５０は、信頼度が設定値より高い１以上の対象物のうちの、所定状態または所定属性であると判別された対象物の数（第２の数）を特定する。続いて、推定部５０は、信頼度が設定値より高い１以上の対象物の数（第１の数）に対する、所定状態または所定属性であると判別された対象物の数（第２の数）の比率（第１の比率）を算出する。そして、推定部５０は、検出部４４により検出された複数の対象物の総数に、算出した比率（第１の比率）を乗じて、第１空間に存在する所定状態または所定属性である対象物の数を算出してよい。
より具体的に、対象物が人物であり、所定状態が、目的物である表示装置１２を見ている状態である場合、推定部５０は、次のような処理を実行する。
まず、推定部５０は、検出部４４により検出された複数の対象物の数（総数）を特定する。例えば、推定部５０は、総数として、１７名を特定したとする。
続いて、推定部５０は、検出部４４により検出された複数の対象物のうち、信頼度が設定値より高い１以上の対象物の数（第１の数）を特定する。例えば、推定部５０は、第１の数として、１１名を特定したとする。
続いて、推定部５０は、信頼度が設定値より高い１以上の対象物のうちの、表示装置１２を見ていると判別された対象物の数（第２の数）を特定する。例えば、推定部５０は、第２の数として、５名を特定したとする。
続いて、推定部５０は、信頼度が設定値より高い１以上の対象物の数（第１の数）に対する、表示装置１２を見ていると判別された対象物の数（第２の数）の比率（第１の比率）を算出する。本例では、推定部５０は、第１の比率として、５／１１を算出する。
そして、推定部５０は、検出部４４により検出された複数の対象物の総数に、算出した比率（第１の比率）を乗じて、第１空間に存在する表示装置１２を見ている対象物の数を算出する。本例では、推定部５０は、第１空間に存在する、表示装置１２を見ている対象物の数として、１７×５／１１≒７．７名を算出する。
このように、対象物が人物であり、所定状態が表示装置１２を見ている状態である場合、推定部５０は、第１空間に存在する目的物を見ている対象物の数を算出することができる。
なお、取得部４２が所定時間毎に撮像した複数の撮像画像を取得した場合、推定部５０は、第１空間に存在する複数の対象物における、状態および属性の少なくとも１つを表す対象物情報の分布を時系列に表す時系列情報を推定してもよい。例えば、推定部５０は、第１空間に存在する、目的物を見ている対象物の数を時系列に表す時系列情報を算出してもよい。
さらに、推定部５０は、時系列情報に対して、時間的な平均化処理をしたり、前後の算出結果から大きく値が外れる外れ値を除去したりしてもよい。これにより、推定部５０は、ノイズ等の影響を除去してより精度の良い時系列情報を算出することができる。また、検出部４４が小領域毎の対象物の密度を算出した場合には、推定部５０は、小領域毎に、表示装置１２を見ている対象物の数または時系列情報を算出してもよい。
効果算出部５２は、対象物が人物であり、表示装置１２が広告を表示し、且つ、推定部５０が目的物である表示装置１２を見ている対象物の数を算出した場合、広告が複数の対象物に与えた広告効果を算出する。
広告効果は、例えば、注目率、滞在人秒または述べ視聴人秒である。注目率は、第１空間に存在する対象物（人物）の総数に対する、広告を見た対象物（人物）の数の比である。また、滞在人秒は、広告を見ている対象物（人物）当たりの時間（秒）である。述べ視聴人秒は、対象物（人物）が広告を見ている時間を累積した時間（秒）である。また、検出部４４が撮像画像毎に対象物を追従している場合、効果算出部５２は、所定時間以上広告を見ている対象物（人物）を特定し、特定した対象物（人物）から広告効果を算出してもよい。
また、表示装置１２は、一定時間毎に広告を変更する場合がある。このような場合、効果算出部５２は、広告毎に、広告効果を算出してもよい。また、表示装置１２は、同一の商品に関する広告であっても、表示する画像またはコンテキストが異なる場合がある。このような場合、効果算出部５２は、画像またはコンテキスト毎に、広告効果を算出してもよい。また、例えば、第１空間に存在する対象物が何らかの要因によって、広告を物理的に見ることができない場合がある。例えば、線路を挟んでホームの反対外に広告が表示される場合、対象物は、ホームに電車が停車している時間帯には、広告を見ることができない。効果算出部５２は、このような時間帯について、広告効果を算出してなくてもよい。
また、効果算出部５２は、例えば、天候の情報、気温情報、近隣においてイベントが発生した時間帯または社会情勢、広告のデザイン、および、広告の配置等の情報を取得して、広告効果に付加してもよい。これにより、効果算出部５２は、広告料の設定および将来の広告効果の予測等に参考にさせることができる。
出力部５４は、推定部５０により推定された、第１空間に存在する複数の対象物における、対象物情報の分布を外部に出力する。例えば、出力部５４は、推定部５０により算出された、第１空間に存在する所定状態または所定属性である対象物の数（または、所定状態および所定属性である対象物の数）を外部に出力する。また、表示装置１２が広告を表示する場合には、出力部５４は、第１空間に存在する広告を見ている対象物の数を外部に出力してもよい。さらに、出力部５４は、効果算出部５２が広告効果を算出した場合、広告効果も外部に出力する。
なお、外部に出力するとは、例えば、対象の情報を表示部２４に表示させたり、対象の情報を通信部２６を介して他の装置に送信したり、対象の情報を記憶回路２８に記憶させたりすることをいう。
図４は、第１実施形態に係る対象物検出部４０から出力される出力画像の一例を示す図である。例えば、対象物が人物であり、表示装置１２が広告を表示し、且つ、推定部５０が表示装置１２を見ている対象物の数を算出した場合、出力部５４は、広告を見ている対象物の数を表示部２４に表示させてよい。例えば、出力部５４は、図４に示すような、第１空間に存在する対象物を表す出力画像に、広告を見ている対象物の数を表す情報を付加して、表示部２４に表示させてもよい。
さらに、出力部５４は、効果算出部５２により算出された広告効果を、出力画像に付加して表示部２４に表示させてもよい。また、時系列情報を算出した場合には、出力部５４は、対象物の移動に応じて出力画像を動的に変化させながら、時系列情報および広告効果を出力画像に付加してもよい。
なお、出力画像は、撮像装置１４が撮像した画像であってよい。また、出力部５４は、撮像画像から検出した対象物の位置を座標変換し、例えば第１空間のトップビュー画像またはクウォータビュー画像等を生成してもよい。そして、出力部５４は、生成したトップビュー画像またはクウォータビュー画像を出力画像として表示部２４に表示させてもよい。
図５は、第１実施形態に係る対象物検出部４０の処理を示すフローチャートである。対象物検出部４０は、図５に示すフローチャートに従って処理を実行する。
まず、Ｓ２１１において、取得部４２は、第１空間を撮像した撮像画像を取得する。続いて、Ｓ２１２において、検出部４４は、撮像画像に含まれる、第１空間に存在する複数の対象物のそれぞれを検出する。
続いて、Ｓ２１３において、判別部４６は、検出された複数の対象物のそれぞれの、状態および属性の少なくとも１つを表す対象物情報を判別する。ここでは、判別部４６は、検出された複数の対象物のそれぞれについて、所定状態または所定属性であるか否か（または、所定状態および所定属性であるか否か）を判別する。
続いて、Ｓ２１４において、信頼度算出部４８は、検出された複数の対象物のそれぞれについて、対象物情報を判別した判別結果の信頼度を算出する。
続いて、Ｓ２１５において、推定部５０は、検出された複数の対象物のうち、信頼度が設定値より高い１以上の対象物の数（第１の数）を特定する。続いて、Ｓ２１６において、推定部５０は、信頼度が設定値より高い１以上の対象物のうちの、所定状態または所定属性（または、所定状態および所定属性）であると判別された対象物の数（第２の数）を検出する。
続いて、Ｓ２１７において、推定部５０は、信頼度が設定値より高い１以上の対象物の数（第１の数）に対する、所定状態または所定属性（または、所定状態および所定属性）であると判別された対象物の数（第２の数）の比率（第１の比率）を算出する。続いて、Ｓ２１８において、推定部５０は、検出部４４により検出された複数の対象物の総数に、算出した比率（第１の比率）を乗じて、第１空間に存在する所定状態または所定属性（または、所定状態および所定属性）である対象物の数を算出する。
対象物が人物であり、表示装置１２が広告を表示し、且つ、推定部５０が表示装置１２を見ている対象物の数を算出した場合、Ｓ２１９において、効果算出部５２は、広告効果を算出する。なお、広告効果を算出しない場合には、効果算出部５２は、Ｓ２１９の処理をスキップする。
続いて、Ｓ２２０において、出力部５４は、算出した第１空間に存在する所定状態または所定属性（または、所定状態および所定属性）である対象物の数を外部に出力する。なお、Ｓ２１９で広告効果を算出した場合には、出力部５４は、さらに広告効果も出力する。
対象物検出部４０は、以上の処理を撮像装置１４が撮像画像を出力する毎に（例えばフレーム毎）、実行する。また、対象物検出部４０は、複数の撮像画像に対してまとめてＳ２１１からＳ２２０の処理を実行してもよい。
図６は、複数種類の状態または属性の一例を示す図である。判別部４６は、検出された複数の対象物のそれぞれについて、複数種類の状態および属性を判別してもよい。例えば、対象物が人物である場合、判別部４６は、状態として、向き、移動速度、表情および行動を判別してもよい。さらに、判別部４６は、属性として、年代および性別を判別してもよい。
例えば、判別部４６は、対象物が広告方向を向いているか、広告方向を向いていないかを判別してよい。さらに、例えば、判別部４６は、対象物が静止しているか、第１速度以上第２速度未満で移動しているか（遅い）、第２速度以上で移動しているか（速い）を判別してよい。さらに、判別部４６は、対象物が笑っているか、平常であるか、嫌悪しているかを判別してよい。また、さらに、判別部４６は、対象物が携帯端末装置を操作しているか、操作していないかを判別してよい。
また、例えば、判別部４６は、対象物の年齢が、１９歳以下か、２０〜３９歳か、４０〜５９歳か、６０歳以上かを判別してもよい。また、例えば、判別部４６は、対象物が男性か女性かを判別してよい。
また、このように、１つの対象物に対して複数種類の状態または属性を判別した場合、信頼度算出部４８は、検出された複数の対象物のそれぞれについて、複数種類の状態および属性のそれぞれを判別した判別結果の信頼度を算出する。例えば図６の各ボックス内のカッコ書きは、信頼度を表す。
さらに、このように、１つの対象物に対して複数種類の状態および属性を判別した場合、推定部５０は、信頼度が設定値より高い対象物における、複数種類の状態および属性の分布に基づき、第１空間に存在する複数の対象物における、複数種類の状態および属性の分布を推定する。
例えば、推定部５０は、目的物である表示装置１２を見ている対象物の数を性別毎に算出してもよい。また、推定部５０は、目的物である表示装置１２を見ている対象物の数を、年代毎に算出してもよい。これにより、効果算出部５２は、広告効果をより詳細に算出することができる。
また、効果算出部５２は、所定種類の状態および属性の判別結果を用いて、広告効果を補正してもよい。例えば、効果算出部５２は、判別した表情の分布に基づき広告効果を補正してもよい。より具体的には、効果算出部５２は、笑っている人物の割合が高ければ広告効果を高くし、笑っている人物の割合が低ければ広告効果を低くしてもよい。また、効果算出部５２は、移動速度が速い人物の割合が高ければ、広告効果を低くし、移動速度の速い人物の割合が低ければ広告効果を高くしてもよい。
また、効果算出部５２は、特定の行動をしている人物の割合が高ければ、広告効果を高くしてもよい。例えば、効果算出部５２は、携帯端末装置を操作して広告の情報を取得している人物の割合が多かったり、携帯端末装置を用いて、広告に表示された二次元コードから情報を取得している人物の割合が多かったりする場合に、広告効果を高くしてもよい。
図７は、第１実施形態の変形例に係る対象物検出部４０の構成を示す図である。対象物検出部４０は、制御部７２をさらに有する。制御部７２は、推定部５０から、信頼度が設定値より高い対象物の数を取得する。制御部７２は、信頼度が設定値より高い対象物が、予め定められた数以下であるか否かを判別する。
制御部７２は、信頼度が設定値より高い対象物が、予め定められた数以下であった場合、設定値を低くする。例えば、制御部７２は、元の設定値から予め定められた値を減じたり、元の設定部に所定の割合を乗じたりして、新たな設定値を算出する。そして、推定部５０は、新たな設定値を受け取った場合、再度、推定処理を実行する。これにより、制御部７２は、信頼度が設定値より高い対象物が少なすぎるために、状態および属性の少なくとも１つを表す対象物情報の分布を精度良く算出することができないことを回避することができる。
以上のように、第１実施形態に係る検出システム１０によれば、第１空間に存在する複数の対象物における、状態および属性の少なくとも１つを表す対象物情報の分布を、精度良く推定することができる。例えば、検出システム１０は、第１空間に存在する所定状態または所定属性（または、所定状態および所定属性）である対象物の数を精度良く算出する。
例えば、対象物が人物であり、表示装置１２が広告を表示し、且つ、推定部５０が、目的物である表示装置１２を見ている対象物の数を算出する場合、第１実施形態に係る検出システム１０によれば、広告効果等を精度良く算出することができる。
なお、対象物が見ている目的物は、広告を表示している表示装置１２に限らない。例えば、対象物が見ている目的物は、店舗等に陳列している商品であってもよい。このような場合、検出システム１０は、陳列している商品について、興味を持った人物の数を算出することができる。
（第２実施形態）
図８は、第２実施形態に係る推定部５０の構成を示す図である。第２実施形態に係る検出システム１０は、推定部５０の構成が異なる。
互いに近い対象物が同一の状態または同一の属性である可能性が高い。第２実施形態に係る推定部５０は、このような前提に基づき、信頼度が設定値以下の対象物についての状態よび属性を、近傍に位置する信頼度が設定値より高い対象物に対する状態の判別結果に基づき推定する。
第２実施形態において、判別部４６は、検出部４４により検出された複数の対象物のそれぞれについて、所定状態または所定属性であるか否かを判別する。例えば、対象物は人物であり、所定状態は、所定位置に設置された目的物である表示装置１２を見ている状態である。そして、判別部４６は、検出された複数の対象物のそれぞれが、表示装置１２を見ているか否かを判別する。
第２実施形態に係る推定部５０は、分類部８２と、第１グループ記憶部８４と、第２グループ記憶部８６と、選択部８８と、決定部９０と、個数算出部９２とを含む。
分類部８２は、予め入力された設定値を受け取る。分類部８２は、検出部４４により検出された複数の対象物のそれぞれを、信頼度が設定値より高い第１グループと、信頼度が設定値以下の第２グループとに分類する。
第１グループ記憶部８４は、第１グループに分類された対象物についての、判別結果、信頼度および位置を記憶する。第２グループ記憶部８６は、第２グループに分類された対象物についての、判別結果、信頼度および位置を記憶する。
選択部８８は、第２グループに属する対象物について、第１グループの中から、距離が近い順に予め定められた数の対象物を選択する。例えば、選択部８８は、第１グループ記憶部８４および第２グループ記憶部８６に記憶されている情報を検索して、予め定められた数の対象物を選択する。
決定部９０は、第２グループに属する対象物について、選択された予め定められた数の対象物のそれぞれの判別結果に基づき、所定状態または所定属性であるか否かを決定する。
個数算出部９２は、第１グループに属するそれぞれの対象物に対する判別結果を第１グループ記憶部８４から読み出す。また、個数算出部９２は、第２グループに属するそれぞれの対象物に対する決定結果を決定部９０から取得する。
そして、個数算出部９２は、第１グループに属するそれぞれの対象物に対する判別結果と、第２グループに属するそれぞれの対象物に対する決定結果とに基づき、第１空間に存在する所定状態または所定属性である対象物の数を算出する。例えば、個数算出部９２は、第１グループに属する所定状態または所定属性と判別された対象物の数と、第２グループに属する、所定状態または所定属性と決定された対象物の数とを加算して、第１空間に存在する所定状態または所定属性である対象物の数を算出する。
決定部９０は、例えば、次のような処理により、第２グループに属する対象物について、所定状態または所定属性であるか否かを決定する。
決定部９０は、第２グループに属する対象物について、選択された予め定められた数の対象物に対する判別結果を多数決して、所定状態または所定属性であるか否かを決定する。
例えば、決定部９０は、第２グループに属するある対象物（Ａ）について、第１グループの中から、距離が近い順に３個の対象物（Ｂ、Ｃ、Ｄ）を選択したとする。このとき、３個の対象物（Ｂ、Ｃ、Ｄ）の状態が、ＶＢ、ＶＣ、ＶＤであったとする。ＶＢ、ＶＣ、ＶＤは、例えば、対象物が所定属性（例えば表示装置１２を見ている状態）の場合には“１”、所定属性でない場合には“−１”となる値である。この場合、決定部９０は、ＶＡ＝ＶＢ＋ＶＣ＋ＶＤが正であれば、第２グループに属する対象物（Ａ）が、所定属性（例えば表示装置１２を見ている状態）であると決定する。
決定部９０は、第２グループに属する対象物のそれぞれについて、選択された予め定められた数の対象物のそれぞれに対する判別結果に、決定対象の対象物からの距離が近い程大きな重みを与える。そして、決定部９０は、重みが与えられた後の選択された予め定められた数の対象物のそれぞれに対する判別結果に基づき、所定状態または所定属性であるか否かを決定してもよい。
例えば、第２グループに属する対象物（Ａ）から、第１グループの中から選択された対象物（Ｂ）までの距離がＬＢであったとする。また、対象物（Ａ）から、第１グループの中から選択された対象物（Ｃ）までの距離がＬＣであったとする。また、対象物（Ａ）から、第１グループの中から選択された対象物（Ｄ）までの距離がＬＤであったとする。この場合、決定部９０は、ＶＡ＝（ＶＢ／ＬＢ）＋（ＶＣ／ＬＣ）＋（ＶＤ／ＬＤ）が正であれば、第２グループに属する対象物（Ａ）が、所定属性（例えば表示装置１２を見ている状態）であると決定する。
また、決定部９０は、第２グループに属する対象物のそれぞれについて、選択された予め定められた数の対象物のそれぞれに対する判別結果に対して、信頼度が高い程大きな重みを与える。そして、決定部９０は、重みが与えられた後の選択された予め定められた数の対象物のそれぞれに対する判別結果に基づき、所定状態または所定属性であるか否かを決定してもよい。
例えば、第２グループに属するある対象物（Ａ）に対する判別結果の信頼度が、αＡであるとする。また、第１グループの中から選択された３つの対象物（Ｂ、Ｃ、Ｄ）に対する判別結果の信頼度が、αＢ、αＣ、αＤであるとする。この場合、決定部９０は、ＶＡ＝（αＡ×ＶＡ／１）＋（αＢ×ＶＢ／ＬＢ）＋（αＣ×ＶＣ／ＬＣ）＋（αＤ×ＶＤ／ＬＤ）が正であれば、第２グループに属する対象物（Ａ）が、所定属性（例えば表示装置１２を見ている状態）であると決定する。
図９は、第２実施形態に係る対象物検出部４０の処理を示すフローチャートである。なお、図９のＳ２１１からＳ２１４までの処理、および、Ｓ２１９からＳ２２０までの処理は、図５に示した処理と同一である。以下、図５との相違点について説明する。
Ｓ２１４に続き、Ｓ２３１において、推定部５０は、検出された複数の対象物のそれぞれを、信頼度が設定値より高い第１グループと、信頼度が設定値以下の第２グループとに分類する。続いて、推定部５０は、第２グループに属する対象物毎に（すなわち、信頼度が設定値以下の対象物毎に）、Ｓ２３３およびＳ２３４の処理を実行する（Ｓ２３２とＳ２３５との間のループ処理）。
Ｓ２３３において、推定部５０は、第２グループに属する対象物について、第１グループの中から、距離が近い順に予め定められた数の対象物を選択する。Ｓ２３４において、推定部５０は、選択された予め定められた数の対象物のそれぞれの判別結果に基づき、所定状態または所定属性であるか否かを決定する。
例えば、決定部９０は、第２グループに属する対象物について、選択された予め定められた数の対象物に対する判別結果を多数決して、所定状態または所定属性であるか否かを決定する。さらに、決定部９０は、距離または信頼度の重みを考慮して、所定状態または所定属性であるか否かを決定してもよい。
第２グループに属する全ての対象物についてＳ２３３およびＳ２３４の処理を終えると、推定部５０は、処理をＳ２３６に進める。Ｓ２３６において、推定部５０は、第１グループに属するそれぞれの対象物に対する判別結果と、第２グループに属するそれぞれの対象物に対する決定結果とに基づき、第１空間に存在する所定状態または所定属性である対象物の数を算出する。そして、対象物検出部４０は、Ｓ２３６に続き、Ｓ２１９およびＳ２２０の処理を実行する。
図１０は、第２実施形態に係る対象物検出部４０から出力される出力画像の一例を示す図である。第２実施形態に係る推定部５０は、第１空間に存在する複数の対象物毎に、所定状態または所定属性であるか否かの判別結果を出力する。そこで、第２実施形態に係る出力部５４は、出力画像における複数の対象物のそれぞれに対応する位置に、第１空間に存在する複数の対象物のそれぞれの所定状態または所定属性の判別結果と、信頼度を表す情報とを付加する。
例えば、図１０に示すように、出力部５４は、広告を見ていると判別または決定された対象物には、出力画像における対応する位置に○印を付加する。また、例えば、出力部５４は、広告を見ていないと判別または決定された対象物には、出力画像における対応する位置に×印を付加する。
さらに、出力部５４は、信頼度が設定値より高い対象物には、出力画像における対応する位置に、信頼度が高い旨を示す情報を付加する。また、さらに、出力部５４は、信頼度が設定値以下の対象物には、出力画像における対応する位置に、信頼度が低い旨を示す情報を付加する。
また、例えば、出力部５４は、広告を見ている対象物の数を表す情報と、広告を見ていない対象物の数を表す情報とを、信頼度毎に出力画像に付加してもよい。例えば、出力部５４は、信頼度が設定値より高く且つ広告を見ている人数と、信頼度が設定値より高く且つ広告を見ていない人数と、信頼度が設定値以下であり且つ広告を見ている人数と、信頼度が設定値以下であり且つ広告を見ていない人数とを、出力画像に付加してもよい。
また、効果算出部５２は、第１実施形態と同様の広告効果を算出してよい。さらに、第２実施形態では、第１空間に存在する複数の対象物のそれぞれ毎に、所定状態または所定属性であるか否かの判別結果が特定される。そこで、効果算出部５２は、対象物の位置に応じて広告効果を補正してもよい。例えば、効果算出部５２は、広告を表示している表示装置１２に近いほど広告効果を高くしてもよい。
さらに、効果算出部５２は、広告を見ていると判別または決定された対象物の位置を、広告に付加してもよい。これにより、効果算出部５２は、どの位置から広告が見られているかといった空間的な広告効果を算出させることができる。
（第３実施形態）
図１１は、第３実施形態に係る対象物検出部４０の構成を示す図である。図１２は、第３実施形態に係る対象物検出部４０から出力される出力画像の第１例を示す図である。図１３は、第３実施形態に係る対象物検出部４０から出力される出力画像の第２例を示す図である。
第３実施形態に係る対象物検出部４０は、検出領域特定部１１２と、遮断領域特定部１１４とをさらに有する。検出領域特定部１１２は、撮像画像における、第１空間に対応する部分画像を特定する。
例えば、表示装置１２を見ることができる空間が、撮像画像に含まれる全空間のうちの、一部分である場合がある。このような場合、撮像画像に含まれる全ての対象物を検出しても、検出した対象物は、実際には表示装置１２を見ることができない可能性がある。
そこで、検出領域特定部１１２は、撮像画像における対象物を検出する対象である第１空間に対応する領域を、予め設定する。例えば、図１２に示すように、検出領域特定部１１２は、撮像画像の領域の一部分を、撮像画像における表示装置１２を見ることができる空間に対応する検出領域１２２を特定する。検出領域特定部１１２は、例えば操作者が手動で設定した情報を取得してもよい。
そして、検出部４４は、特定された検出領域１２２から、対象物を検出する。これにより、検出部４４は、第１空間に存在する複数の対象物を精度良く検出することができる。
また、撮像画像に含まれる空間に、第１の表示装置１２−１を見ることができる空間と、第２の表示装置１２−２を見ることができる空間とが含まれる場合がある。この場合、１つの撮像装置１４から、第１の表示装置１２−１を見ている対象物と、第２の表示装置１２−２を見ている対象物とを検出することができる。
そこで、このような場合、検出領域特定部１１２は、撮像画像における第１の表示装置１２−１を見ることができる空間に対応する領域と、撮像画像における第２の表示装置１２−２を見ることができる空間に対応する領域とを、予め設定する。例えば、図１３に示すように、検出領域特定部１１２は、第１の表示装置１２−１を見ることができる空間に対応する第１検出領域１２４と、第２の表示装置１２−２を見ることができる空間に対応する第２検出領域１２６とを設定する。そして、検出部４４は、第１検出領域１２４と第２検出領域１２６のそれぞれについて、独立に対象物を検出する。これにより、検出部４４は、１つの撮像画像から、複数の第１空間に存在する複数の対象物を検出することができる。なお、検出領域特定部１１２は、２つの表示装置１２に限らず、さらに多くの表示装置１２毎に領域を特定してもよい。
遮断領域特定部１１４は、第１空間に存在する複数の対象物のそれぞれの検出結果に基づき、目的物を見ることができない遮断領域を検出する。
例えば、表示装置１２が低い場所に設置されている場合、表示装置１２との間に他の人物が立っていると、後ろの人物は、表示装置１２を見ることができない。そこで、遮断領域特定部１１４は、例えば、対象物における、目的物である表示装置１２とは反対側を、遮断領域として検出する。
判別部４６は、遮断領域の情報を遮断領域特定部１１４から取得する。そして、判別部４６は、複数の対象物のそれぞれの状態を遮断領域に含まれるか否かに応じて判別する。例えば、判別部４６は、対象物が遮断領域に含まれる場合には、表示装置１２を見ていないと判断する。これにより、判別部４６は、精度良く対象物の状態を判別することができる。
以上、第１から第３の実施形態について説明した。これらの実施形態の情報処理装置２０で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。また、本実施形態の情報処理装置２０で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態の情報処理装置２０で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。また、本実施形態のプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。
情報処理装置２０を対象物検出部４０として機能させるためのプログラムは、取得モジュールと、検出モジュールと、判別モジュールと、信頼度算出モジュールと、推定モジュールと、効果算出モジュールと、出力モジュールとを有する。情報処理装置２０は、処理回路３０（例えば１または複数のプロセッサ）が記憶回路２８からプログラムを読み出して実行することにより各モジュールが主記憶装置（例えばＲＡＭ等のメモリ）上にロードされ、処理回路３０（例えば１または複数のプロセッサ）が、取得部４２、検出部４４、判別部４６、信頼度算出部４８、推定部５０、効果算出部５２および出力部５４として機能する。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、請求の範囲に記載された発明とその均等の範囲に含まれる。
１０ 検出システム
１２ 表示装置
１４ 撮像装置
２０ 情報処理装置
２２ 入力部
２４ 表示部
２６ 通信部
２８ 記憶回路
３０ 処理回路
３２ 表示制御部
４０ 対象物検出部
４２ 取得部
４４ 検出部
４６ 判別部
４８ 信頼度算出部
５０ 推定部
５２ 効果算出部
５４ 出力部
７２ 制御部
８２ 分類部
８４ 第１グループ記憶部
８６ 第２グループ記憶部
８８ 選択部
９０ 決定部
９２ 個数算出部
１１２ 検出領域特定部
１１４ 遮断領域特定部
１２２ 検出領域
１２４ 第１検出領域
１２６ 第２検出領域

Claims (15)

  1. 撮像画像を取得する取得部と、
    前記撮像画像に含まれる複数の対象物を検出する検出部と、
    前記撮像画像に基づき、検出された前記複数の対象物のそれぞれについて、状態および属性の少なくとも１つを表す対象物情報および前記対象物情報の信頼度を算出する判別部と、
    前記信頼度が設定値より高い対象物における前記対象物情報の分布に基づき、前記複数の対象物における前記対象物情報の分布を推定する推定部と、
    を備える情報処理装置。
  2. 前記判別部は、検出された前記複数の対象物のそれぞれについて、所定状態または所定属性であるか否かを判別し、
    前記推定部は、前記信頼度が前記設定値より高く且つ前記所定状態または前記所定属性であると判別された対象物に基づき、前記所定状態または前記所定属性である対象物の数を算出する
    請求項１に記載の情報処理装置。
  3. 前記判別部は、検出された前記複数の対象物のそれぞれについて、所定状態および所定属性であるか否かを判別し、
    前記推定部は、前記信頼度が前記設定値より高く且つ前記所定状態および前記所定属性であると判別された対象物に基づき、前記所定状態および前記所定属性である対象物の数を算出する
    請求項１に記載の情報処理装置。
  4. 前記推定部は、前記信頼度が前記設定値より高い対象物の数に対する、前記信頼度が前記設定値より高く且つ前記所定状態または前記所定属性であると判別された対象物の数との比率に基づき、前記所定状態または前記所定属性である対象物の数を算出する
    請求項２に記載の情報処理装置。
  5. 前記推定部は、
    検出された前記複数の対象物のそれぞれを、前記信頼度が前記設定値より高い第１グループと、前記信頼度が前記設定値以下の第２グループとに分類し、
    前記第２グループに属する対象物について、前記第１グループの中から、距離が近い順に予め定められた数の対象物を選択し、
    前記第２グループに属する対象物について、選択された予め定められた数の対象物のそれぞれの前記判別結果に基づき、前記所定状態または前記所定属性であるか否かを決定し、
    前記第１グループに属するそれぞれの対象物に対する前記判別結果と、前記第２グループに属するそれぞれの対象物に対する決定結果とに基づき、前記所定状態または前記所定属性である対象物の数を算出する
    請求項２に記載の情報処理装置。
  6. 前記複数の対象物のそれぞれは、人物であり、
    前記所定状態は、所定位置に設置された目的物を見ている状態であり、
    前記判別部は、検出された前記複数の対象物のそれぞれが、前記目的物を見ているか否かを判別する
    請求項２から５の何れか１項に記載の情報処理装置。
  7. 前記目的物は、広告を表示する表示装置であり、
    前記推定部は、前記表示装置を見ている対象物の数を算出する
    請求項６に記載の情報処理装置。
  8. 前記所定状態は、対象物が前記目的物の方向を向いている状態である
    請求項６または７に記載の情報処理装置。
  9. 前記所定状態は、対象物が所定速度以下で移動している状態である
    請求項６または７に記載の情報処理装置。
  10. 前記判別部は、検出された前記複数の対象物のそれぞれについて、複数種類の前記対象物情報および複数種類の前記対象物情報のそれぞれの前記信頼度を算出し、
    前記推定部は、前記信頼度が前記設定値より高い対象物における、複数種類の前記対象物情報の分布に基づき、前記複数の対象物における、複数種類の前記対象物情報の分布を推定する
    請求項１に記載の情報処理装置。
  11. 前記信頼度が前記設定値より高い対象物が、予め定められた数以下であった場合、前記設定値を低くする制御部をさらに備える
    請求項１から１０の何れか１項に記載の情報処理装置。
  12. 前記撮像画像における、第１空間に対応する部分画像を特定する検出領域特定部をさらに備え、
    前記検出部は、前記部分画像に含まれる前記複数の対象物のそれぞれを検出する
    請求項１から１１の何れか１項に記載の情報処理装置。
  13. 前記複数の対象物のそれぞれの検出結果に基づき、前記目的物を見ることができない遮断領域を検出する遮断領域特定部をさらに備え、
    前記判別部は、前記複数の対象物のそれぞれの状態を、前記遮断領域に含まれるか否かに応じて判別する
    請求項８に記載の情報処理装置。
  14. 情報処理装置が実行する情報処理方法であって、
    前記情報処理装置が備える取得部が、撮像画像を取得し、
    前記情報処理装置が備える検出部が、前記撮像画像に含まれる複数の対象物を検出し、
    前記情報処理装置が備える判別部が、前記撮像画像に基づき、検出された前記複数の対象物のそれぞれについて、状態および属性の少なくとも１つを表す対象物情報および前記対象物情報の信頼度を算出し、
    前記情報処理装置が備える推定部が、前記信頼度が設定値より高い対象物における前記対象物情報の分布に基づき、前記複数の対象物における前記対象物情報の分布を推定する
    情報処理方法。
  15. 情報処理装置に、請求項１４に記載の情報処理方法を実行させるためのプログラム。
JP2017002719A 2017-01-11 2017-01-11 情報処理装置、情報処理方法およびプログラム Active JP6615800B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017002719A JP6615800B2 (ja) 2017-01-11 2017-01-11 情報処理装置、情報処理方法およびプログラム
US15/665,662 US10586115B2 (en) 2017-01-11 2017-08-01 Information processing device, information processing method, and computer program product
EP17186309.5A EP3349142B1 (en) 2017-01-11 2017-08-15 Information processing device and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017002719A JP6615800B2 (ja) 2017-01-11 2017-01-11 情報処理装置、情報処理方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2018112880A JP2018112880A (ja) 2018-07-19
JP6615800B2 true JP6615800B2 (ja) 2019-12-04

Family

ID=59790916

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017002719A Active JP6615800B2 (ja) 2017-01-11 2017-01-11 情報処理装置、情報処理方法およびプログラム

Country Status (3)

Country Link
US (1) US10586115B2 (ja)
EP (1) EP3349142B1 (ja)
JP (1) JP6615800B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6334767B1 (ja) 2017-03-21 2018-05-30 株式会社東芝 情報処理装置、プログラム、及び情報処理方法
JP6833617B2 (ja) 2017-05-29 2021-02-24 株式会社東芝 移動体追跡装置、移動体追跡方法およびプログラム
JP2020072457A (ja) * 2018-11-02 2020-05-07 ソニー株式会社 映像処理装置、映像処理方法、およびプログラム
JP2020166523A (ja) * 2019-03-29 2020-10-08 株式会社ネクスウェイ 興味度情報取得システム、情報処理装置、及び情報処理プログラム
JP7405518B2 (ja) 2019-04-19 2023-12-26 Ｌｉｎｅヤフー株式会社 生成装置、生成方法及び生成プログラム
EP3975111A4 (en) * 2019-05-23 2022-07-20 Konica Minolta, Inc. OBJECT DETECTION DEVICE, OBJECT DETECTION SYSTEM, OBJECT DETECTION DEVICE, PROGRAM AND RECORDING MEDIA
JP7265202B2 (ja) * 2019-08-29 2023-04-26 富士通株式会社 広告閲覧情報出力方法及び広告閲覧情報出力プログラム、並びに情報処理装置

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7167576B2 (en) * 2001-07-02 2007-01-23 Point Grey Research Method and apparatus for measuring dwell time of objects in an environment
US20090019472A1 (en) * 2007-07-09 2009-01-15 Cleland Todd A Systems and methods for pricing advertising
US20090158309A1 (en) 2007-12-12 2009-06-18 Hankyu Moon Method and system for media audience measurement and spatial extrapolation based on site, display, crowd, and viewership characterization
JP4934861B2 (ja) 2008-01-28 2012-05-23 日本電気株式会社 表示システム、表示方法、表示効果測定システム、及び、表示効果測定方法。
EP2093698A1 (en) * 2008-02-19 2009-08-26 British Telecommunications Public Limited Company Crowd congestion analysis
JP4778532B2 (ja) * 2008-03-17 2011-09-21 Ｎｅｃソフト株式会社 顧客情報収集管理システム
JP5391951B2 (ja) 2009-09-10 2014-01-15 大日本印刷株式会社 顔検出結果分析システム，顔検出結果分析装置及びコンピュータプログラム
US20110176000A1 (en) * 2010-01-21 2011-07-21 Utah State University System and Method for Counting People
JP5272213B2 (ja) 2010-04-30 2013-08-28 日本電信電話株式会社 広告効果測定装置、広告効果測定方法およびプログラム
JP2012123727A (ja) * 2010-12-10 2012-06-28 Hitachi Solutions Ltd 広告効果測定サーバ、広告効果測定装置、プログラム、広告効果測定システム
JP5923723B2 (ja) * 2011-06-02 2016-05-25 パナソニックＩｐマネジメント株式会社 人物属性推定システム、人物属性推定装置、及び人物属性推定方法
WO2013003860A1 (en) * 2011-06-30 2013-01-03 Yale University Subject sensing in an environment
US9530060B2 (en) * 2012-01-17 2016-12-27 Avigilon Fortress Corporation System and method for building automation using video content analysis with depth sensing
JP6141079B2 (ja) * 2013-04-08 2017-06-07 キヤノン株式会社 画像処理システム、画像処理装置、それらの制御方法、及びプログラム
JP6276519B2 (ja) * 2013-05-22 2018-02-07 株式会社 日立産業制御ソリューションズ 人数計測装置および人物動線解析装置
US20150199698A1 (en) * 2014-01-14 2015-07-16 Panasonic Intellectual Property Corporation Of America Display method, stay information display system, and display control device
JP6203077B2 (ja) 2014-02-21 2017-09-27 株式会社東芝 学習装置、密度計測装置、学習方法、学習プログラム、及び密度計測システム
JP2015158819A (ja) * 2014-02-25 2015-09-03 株式会社ゼンリンデータコム 統計処理装置、統計処理方法及びプログラム
JP5834254B2 (ja) * 2014-04-11 2015-12-16 パナソニックＩｐマネジメント株式会社 人数計測装置、人数計測システムおよび人数計測方法
JP6426441B2 (ja) 2014-11-13 2018-11-21 株式会社東芝 密度計測装置、密度計測方法、およびプログラム
JP6525635B2 (ja) * 2015-02-25 2019-06-05 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP5915960B1 (ja) * 2015-04-17 2016-05-11 パナソニックＩｐマネジメント株式会社 動線分析システム及び動線分析方法
JP2017041869A (ja) 2015-08-20 2017-02-23 株式会社東芝 画像処理装置、画像処理方法、およびプログラム
JP2018022343A (ja) 2016-08-03 2018-02-08 株式会社東芝 画像処理装置、および画像処理方法
US10216983B2 (en) * 2016-12-06 2019-02-26 General Electric Company Techniques for assessing group level cognitive states

Also Published As

Publication number Publication date
EP3349142A1 (en) 2018-07-18
JP2018112880A (ja) 2018-07-19
EP3349142B1 (en) 2024-02-28
US10586115B2 (en) 2020-03-10
US20180197018A1 (en) 2018-07-12

Similar Documents

Publication Publication Date Title
JP6615800B2 (ja) 情報処理装置、情報処理方法およびプログラム
US11941887B2 (en) Scenario recreation through object detection and 3D visualization in a multi-sensor environment
US20210092325A1 (en) Anomalous stationary object detection and reporting
US11074461B2 (en) People flow estimation device, display control device, people flow estimation method, and recording medium
US10614316B2 (en) Anomalous event retriever
Bendali-Braham et al. Recent trends in crowd analysis: A review
US8705861B2 (en) Context processor for video analysis system
JP5278770B2 (ja) 挙動認識システム
US20170061239A1 (en) Real-time object analysis with occlusion handling
US20090304229A1 (en) Object tracking using color histogram and object size
Hakeem et al. Video analytics for business intelligence
JP5511035B2 (ja) 広告配信対象者特定装置、および、広告配信装置
US20150078656A1 (en) Visualizing and updating long-term memory percepts in a video surveillance system
JP2011248548A (ja) コンテンツ決定プログラムおよびコンテンツ決定装置
US11729444B2 (en) System and methods for sensor-based audience estimation during digital media display sessions on mobile vehicles
JP6620443B2 (ja) 監視プログラム、監視装置、及び監視方法
JP6708368B2 (ja) 変形可能部分モデルを使用した車両追跡における部分的隠蔽処理方法及びシステム
Anisha et al. Automated vehicle to vehicle conflict analysis at signalized intersections by camera and LiDAR sensor fusion
JP2013195725A (ja) 画像表示システム
US20210385426A1 (en) A calibration method for a recording device and a method for an automatic setup of a multi-camera system
Bouma et al. WPSS: Watching people security services
US20210201431A1 (en) Dynamically controlled cameras for computer vision monitoring
Vildjiounaite et al. Predicting consumers' locations in dynamic environments via 3D sensor-based tracking
US20230419674A1 (en) Automatically generating best digital images of a person in a physical environment
KR102531281B1 (ko) 센싱부를 활용한 통행객체 정보 생성 방법 및 시스템

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180912

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190724

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190903

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190912

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191008

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191106

R151 Written notification of patent or utility model registration

Ref document number: 6615800

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151