JP7287712B2 - 計測方法 - Google Patents

計測方法 Download PDF

Info

Publication number
JP7287712B2
JP7287712B2 JP2021563825A JP2021563825A JP7287712B2 JP 7287712 B2 JP7287712 B2 JP 7287712B2 JP 2021563825 A JP2021563825 A JP 2021563825A JP 2021563825 A JP2021563825 A JP 2021563825A JP 7287712 B2 JP7287712 B2 JP 7287712B2
Authority
JP
Japan
Prior art keywords
umbrella
person
unit
people
measurement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021563825A
Other languages
English (en)
Other versions
JPWO2021117457A5 (ja
JPWO2021117457A1 (ja
Inventor
健 齋藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Solution Innovators Ltd
Original Assignee
NEC Solution Innovators Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Solution Innovators Ltd filed Critical NEC Solution Innovators Ltd
Publication of JPWO2021117457A1 publication Critical patent/JPWO2021117457A1/ja
Publication of JPWO2021117457A5 publication Critical patent/JPWO2021117457A5/ja
Application granted granted Critical
Publication of JP7287712B2 publication Critical patent/JP7287712B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53Recognition of crowd images, e.g. recognition of crowd congestion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06MCOUNTING MECHANISMS; COUNTING OF OBJECTS NOT OTHERWISE PROVIDED FOR
    • G06M7/00Counting of objects carried by a conveyor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10Recognition assisted with metadata

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Description

本発明は、計測方法、計測装置、記録媒体に関する。
監視カメラなどが取得した画像データに基づいて、人物などを検出することが知られている。
このような技術の一例として、例えば、特許文献1がある。特許文献1には、監視用の撮像手段と、撮像手段で撮影される画像から人を検知する人検知手段と、人検知手段で検知された人を画像上で解析して移動軌跡を求める軌跡解析手段と、を含む監視情報収集システムが記載されている。
特開2018-93283号公報
監視カメラなどの撮像手段が取得した画像データに基づいて、商店街などの特定エリアへ訪れた人の数を計測することがある。このような計測を行う場合、特許文献1に記載されているように単に人を検知すると、例えば傘により顔が隠れている場合などにおいて人を検出することが出来ず、その結果、正確な計測を行うことが出来なかった。
このように、雨などの悪天候の場合、画像データに基づいて人数を計測することが難しい、という課題が生じていた。
そこで、本発明の目的は、雨などの悪天候の場合、画像データに基づいて人数を計測することが難しい、という課題を解決する計測方法、計測装置、記録媒体を提供することにある。
かかる目的を達成するため本発明の一形態である計測方法は、
計測装置が、
取得した画像データに基づいて人と傘とを検出し、
検出した結果に基づいて人数を計測する
という構成をとる。
また、本発明の他の形態である計測装置は、
取得した画像データに基づいて人と傘とを検出する検出部と、
前記検出部が検出した結果に基づいて人数を計測する計測部と、
を有する
という構成をとる。
また、本発明の他の形態であるプログラムは、
計測装置に、
取得した画像データに基づいて人と傘とを検出する検出部と、
前記検出部が検出した結果に基づいて人数を計測する計測部と、
を実現するためのプログラムである。
本発明は、以上のように構成されることにより、雨などの悪天候の場合、画像データに基づいて人数を計測することが難しい、という課題を解決する計測方法、計測装置、プログラムを記録した、コンピュータが読み取り可能な記録媒体を提供することが可能となる。
本発明の第1の実施形態における計測システムの全体の構成の一例を示す図である。 図1で示す計測装置の構成の一例を示すブロック図である。 関連付けを行う際の処理の一例を説明するための図である。 関連付けを行う際の処理の一例を説明するための図である。 関連付けを行う際の処理の一例を説明するための図である。 関連付けを行う際の処理の一例を説明するための図である。 計測処理の一例を説明するための図である。 計測装置の全体的な動作の一例を示すフローチャートである。 計測装置が関連付けを行う際の動作の一例を示すフローチャートである。 本発明の第2の実施形態における計測装置の構成の一例を示すブロック図である。
[第1の実施形態]
本発明の第1の実施形態を図1から図9までを参照して説明する。図1は、計測システム100の全体の構成の一例を示す図である。図2は、計測装置200の構成の一例を示すブロック図である。図3から図6までは、関連付けを行う際の処理の一例を説明するための図である。図7は、計測処理の一例を説明するための図である。図8は、計測装置200の全体的な動作の一例を示すフローチャートである。図9は、計測装置200が関連付けを行う際の動作の一例を示すフローチャートである。
本発明の第1の実施形態においては、画像データに基づいて人数を計測する計測システム100について説明する。後述するように、計測システム100は、画像データから人を検出するとともに、傘を検出する。また、計測システム100は、検出した人と傘とを関連付ける。そして、計測システム100は、人と傘とを関連付けた結果に基づいて、人数を計測する。
図1は、計測システム100の全体の構成の一例を示している。図1を参照すると、計測システム100は、例えば、計測装置200と、監視カメラ300と、を有している。例えば、監視カメラ300は、商店街やイベント会場の入り口など所定の位置に設置されており、商店街やイベント会場などの予め定められた領域に入退場する人などを含む画像データを取得する。また、計測装置200は、監視カメラ300が取得した画像データに基づいて人数を計測する。図1で示すように、計測装置200と監視カメラ300とは、例えば、ネットワークなどを介して互いに通信可能なよう接続されている。
なお、計測システム100が有する計測装置200や監視カメラ300の数は、1つに限定されない。計測システム100は、例えば、異なる場所に設置された監視カメラ300を複数有するなど、複数の計測装置200や監視カメラ300を有して構わない。
計測装置200は、監視カメラ300が取得した画像データに基づいて人数を計測する情報処理装置である。後述するように、計測装置200は、上記計測を行う際、人とともに傘を検出して、人と傘とを関連付けた結果を利用する。
図2は、計測装置200の構成の一例を示している。図2を参照すると、計測装置200は、主な構成要素として、例えば、画面表示部210と、通信I/F部220と、記憶部230と、演算処理部240と、を有している。
画面表示部210は、LCD(Liquid Crystal Display、液晶ディスプレイ)などの画面表示装置からなる。画面表示部210は、演算処理部240からの指示に応じて、画像情報231に含まれる画像データや人数情報234に含まれる計測結果などを画面表示する。
通信I/F部220は、データ通信回路からなる。通信I/F部220は、例えば、通信回線を介して接続された監視カメラ300や外部装置との間でデータ通信を行う。
記憶部230は、ハードディスクやメモリなどの記憶装置である。記憶部230は、演算処理部240における各種処理に必要な処理情報やプログラム235を記憶する。プログラム235は、演算処理部240に読み込まれて実行されることにより各種処理部を実現する。プログラム235は、通信I/F部220などのデータ入出力機能を介して外部装置や記録媒体から予め読み込まれ、記憶部230に保存されている。記憶部230で記憶される主な情報としては、例えば、画像情報231と、回数情報232と、関連付情報233と、人数情報234と、がある。
演算処理部240は、MPU(Micro-processing unit)などのマイクロプロセッサとその周辺回路を有する。演算処理部240は、記憶部230からプログラム235を読み込んで実行することにより、上記ハードウェアとプログラム235とを協働させて各種処理部を実現する。演算処理部240で実現される主な処理部として、例えば、画像データ取得部241と、対象検出部242と、対象追跡部243と、関連性計測部244と、関連付部245と、人数計測部246と、出力部247と、がある。
以下、上述した各処理部、各情報について、より詳細に説明する。
画像データ取得部241は、通信I/F部220を介して、監視カメラ300から当該監視カメラ300が取得した画像データを取得する。そして、画像データ取得部241は、取得した画像データを画像情報231として記憶部230に格納する。
上記処理の結果、画像情報231には、複数フレームの画像データが例えば時系列に沿って格納される。なお、画像データ取得部241は、例えば、監視カメラ300が画像データを取得した日時などを示す属性情報と、画像データと、を対応付けて記憶部230に格納するよう構成しても構わない。
対象検出部242は、画像情報231に含まれる画像データから、予め定められた検出対象を検出する。例えば、対象検出部242は、画像データから、検出対象である人の頭部と傘とを検出する。換言すると、対象検出部242は、検出した検出対象の種別が人であるか傘であるかを区別可能なように、人の頭部と傘とを検出する処理をフレームごとに行う。また、対象検出部242は、検出した頭部や傘を囲う矩形を生成する。対象検出部242が生成する矩形が頭部や傘をどのように囲うかは、例えば、任意に設定して構わない。
対象追跡部243は、対象検出部242による検出結果に基づいて、対象検出部242が検出した頭部(人)と傘の追跡を行う。これにより、対象追跡部243は、各フレームにおいて同一と判断される検出対象をつなげた線である追跡線を生成する。なお、本実施形態においては、対象追跡部243が追跡を行う際に用いる方法については特に限定しない。対象追跡部243は、例えば、人の追跡を行う際に用いる既知の方法を用いて、人と傘とを追跡するよう構成することが出来る。ただし、対象追跡部243は、一つの追跡線に傘の検出箇所と頭部の検出箇所とが混在しないように、追跡線を生成するものとする。つまり、対象追跡部243は、傘の追跡線と人の追跡線とを区別して生成する。
関連性計測部244は、対象検出部242による検出の結果や対象追跡部243が生成した追跡線などに基づいて、人と傘とが関連する関係にある可能性を示す関連あり判定回数を計測する。例えば、関連性計測部244は、後述する条件に基づいて関連ありの可能性があると判断した、人と傘の組み合わせについて、回数情報232に含まれる関連あり判定回数を1加算する。
また、関連性計測部244は、上記のような関連あり判定回数の計測を各フレームに対して行う。そのため、回数情報232には、関連性計測部244が各フレームに対して行った計測の結果が蓄積される。
図3から図6までは、関連あり判定回数を計測する条件を説明するための図である。例えば、関連性計測部244は、図3から図6までに示す条件の全てを満たす人と傘の組み合わせに対して、関連ありの可能性があると判断する。
例えば、図3を参照すると、関連性計測部244は、対象検出部242が検出した人(頭部)の矩形と傘の矩形との位置関係を確認する。そして、関連性計測部244は、頭部の矩形の上辺が傘の矩形の上辺よりも下方にある場合、第1の条件を満たす、と判断する。例えば、図3の場合、人Aの矩形の上辺は傘Aの矩形の上辺よりも下方にある。そのため、関連性計測部244は、人Aと傘Aとの組み合わせは第1の条件を満たすと判断する。一方、図3の場合、人Bの矩形の上辺は傘Aの矩形の上辺よりも上方にある。そのため、関連性計測部244は、人Bと傘Aとの組み合わせは第2の条件を満たさないと判断する。
また、図4を参照すると、関連性計測部244は、傘の追跡線の移動角度と、人の追跡線の移動角度と、を確認する。そして、関連性計測部244は、傘の追跡線の移動角度と人の追跡線の移動角度との差異が予め定められた角度閾値以内である場合、第2の条件を満たすと判断する。一般に、傘とその傘を利用する人の追跡線は、ほぼ平行になる傾向にある。そのため、第2の条件を見ることで、例えば人がすれ違う際などに誤った関連付けを行ってしまうことを抑止することができる。
なお、傘の追跡線の移動角度や人の追跡線の移動角度には、例えば図4で示すような、追跡線の生成を開始した検出開始位置から最新位置までの移動角度がある。傘の追跡線の移動角度や人の追跡線の移動角度は、図4で例示した以外であっても構わない。例えば、傘の追跡線の移動角度や人の追跡線の移動角度は、必ずしも検出開始位置からの移動角度でなくても構わない。
また、図5、図6を参照すると、関連性計測部244は、矩形の重なりを示すIoU(Intersection over Union)値を確認する。例えば、関連性計測部244は、フレーム内に存在する傘の矩形と頭部の矩形との組み合わせ全てについて、IoU値を算出する。
ここで、関連性計測部244は、図6、図7で示すように、傘の矩形を変形させた結果に基づいて、IoU値を算出することができる。例えば、関連性計測部244は、傘の矩形に応じたx値、y値にそれぞれ所定の値をかけることで、図6や図7において点線で示す傘の矩形位置を、図6や図7において実線で示す、傘の使用者がいると想定される位置側に寄せた位置にずらす。つまり、関連性計測部244は、傘の矩形を下方へ移動させる。そして、関連性計測部244は、ずらした傘の矩形と頭部の矩形との全ての組み合わせで、IoU値を算出する。例えば、以上のように、関連性計測部244は、傘の矩形をずらしたうえでIoU値を算出することができる。一般に、傘の使用者は実際の傘矩形よりも下側にいることが想定される。そのため、傘の矩形位置を使用者側に寄せることで、矩形重複率を向上させ、関連付けの精度を向上させることができる。
具体的には、例えば図6を参照すると、関連性計測部244は、図6の斜線で塗りつぶされた枠で示す、ずらした傘の矩形と頭部の矩形とが重なる部分の面積を算出することで、IoU値を算出する。そして、関連性計測部224は、算出したIoU値が予め定められたIoU閾値を超える組み合わせに対して、第3の条件を満たすと判断する。例えば、図6の場合、人Aと傘Aとの組み合わせのIoU値がIoU閾値を超えている。そのため、関連性計測部244は、人Aと傘Aとの組み合わせについて、第3の条件を満たすと判断する。一方、図3の場合、人Bと傘Aとの組み合わせのIoU値や人Cと傘Aとの組み合わせのIoU値はIoU閾値を超えていない。そのため、関連性計測部244は、人Bと傘Aとの組み合わせや人Cと傘Aとの組み合わせについて、第3の条件を満たさないと判断する。
なお、一般に、1つの傘を2人など複数人で使うことがあるものの、一人が複数の傘をさすことは少ない。そのため、人と傘との関連付けは、「多:1」の状態が許容されるものの「1:多」の状態は許容されないものとすることができる。上記より、例えば、関連性計測部224は、既に傘に関連付けられている人に対しては、IoU値が閾値を超えていても、関連付けられている傘以外の傘に対して第3の条件を満たさないものとして扱うことができる。
例えば、以上のように、関連性計測部224は、人(頭部)と傘との間の位置関係、人と傘の移動角度の関係、人と傘の重なり具合、などに基づいて、関連ありの可能性があるか否か判断する。具体的には、例えば、関連性計測部244は、上述した第1の条件、第2の条件、第3の条件の全てを満たす人と傘の組み合わせについて、関連ありの可能性があると判断する。そして、関連性計測部244は、上記全ての条件を満たす組み合わせについて、回数情報232に格納された関連あり判定回数を1加算する。
なお、関連性計測部244は、上述した第1の条件、第2の条件、第3の条件のうちのいずれか1つ、または、任意の2つを満たすことにより、関連ありの可能性があると判断するよう構成しても構わない。関連性計測部244は、上記例示した以外の条件に基づいて、関連ありの可能性があると判断しても構わない。
関連付部245は、関連性計測部244が計測した関連あり判定回数に基づいて、人と傘の組み合わせを関連付ける。そして、関連付部245は、関連付けた結果に応じた情報を関連付情報233として記憶部230に格納する。
例えば、関連付部245は、回数情報232に含まれる関連あり判定回数が予め定められた関連あり閾値を超えているか否か確認する。そして、関連あり判定回数が関連あり閾値を超えている場合、関連付部245は、関連あり閾値を超えた人と傘の組み合わせについて、関連付けを行う。例えば、関連付部245は、関連あると判断した、人に応じた情報(例えば、識別情報など)と傘に応じた情報(例えば、識別情報など)とを対応付けて関連付情報233に格納することで、関連付けを行う。
なお、上述したように、人と傘との関連付けは、例えば、「多:1」の状態が許容される一方で「1:多」の状態は許容されないものとする。そのため、ある人について関連あり判定回数が関連あり閾値を超えている組み合わせが複数個ある場合、関連付部245は、例えば、関連あり判定回数が最も多い組み合わせのみについてのみ関連付けを行うよう構成することができる。
人数計測部246は、関連付部245による関連付けの結果を利用して、画像データ中の人数を計測する。そして、人数計測部246は、計測した結果を人数情報234として記憶部230に格納する。
図7は、人数計測部246が関連付部245による関連付けの結果を利用した人数の計測を行う際の処理の一例を示している。例えば、図7を参照すると、対象検出部242が人と傘とを検出した場合において、検出した人と傘とが1:1で関連付けられている場合、人数計測部246は、人と傘とを検出した結果に基づいて「1人」を計測する。また、対象検出部242が傘を検出した場合において、検出した傘に関連付けられている人がいない場合(つまり、関連付部245により関連付けられていない傘の場合)、人数計測部246は、傘を検出した結果に基づいて「1人」を計測する。また、対象検出部242が人と傘とを検出した場合において、検出した傘に複数人が関連付けられている場合、人数計測部246は、人と傘とを検出した結果に基づいて傘に関連付けられている人数分計測する。例えば、人数計測部246は、検出した傘に2人が関連付けられている場合、「2人」を計測する。また、対象検出部242が人を検出した場合において、検出した人に関連付けられている傘がない場合(つまり、関連付部245により関連付けられていない人の場合)、人数計測部246は、人を検出した結果に基づいて「1人」を計測する。
例えば、以上のように、人数計測部246は、関連付けられた人と傘とを検出した場合、傘に関連付けられている人数に応じた計測を行う。また、人に関連付けられていない傘を検出した場合、人数計測部246は、傘の検出結果に基づいて人数を計測する。つまり、人数計測部246は、傘の検出結果に基づいて、人を検出していなくても、人数を計測する。
なお、人数計測部246は、必ずしも画像データ中の全ての人数を計測しなくても構わない。例えば、人数計測部246は、画像データ中の予め定められた領域に存在する人数を関連付部245による関連付けの結果を利用して計測するなど、画像データ中の一部の人数(つまり、条件を満たす人数)のみを計測するよう構成しても構わない。
出力部247は、画像情報231に含まれる画像データや、人数計測部246による計測の結果である人数情報234などを、出力する。例えば、出力部247は、画像データや人数情報234などを画面表示部210に表示させたり、通信I/F部220を介して外部装置に対して送信したりする。
以上が、計測装置200の構成の一例である。
監視カメラ300は、商店街の入り口など所定の位置に設置されている。監視カメラ300は、予め定められた領域に入退場する人などを含む画像データを取得する。そして、監視カメラ300は、取得した画像データを計測装置200に対して送信する。
本実施形態においては、監視カメラ300の構成については特に限定しない。監視カメラ300は、例えば、画像データを取得するとともに画像データを取得した日時を示す情報を取得するなど、一般的な機能を有することが出来る。
以上が、計測システム100の構成の一例である。続いて、図8、図9を参照して、計測装置200の動作の一例について説明する。
図8は、計測装置200の全体的な動作の一例を示している。図8を参照すると、対象検出部242は、画像情報231に含まれる画像データから、予め定められた検出対象である人の頭部と傘とを検出する(ステップS101)。
対象追跡部243は、対象検出部242による検出結果に基づいて、対象検出部242が検出した頭部と傘の追跡を行う。これにより、対象追跡部243は、各フレームにおいて対象検出部242が検出した同一の検出対象の間をつなげた線である追跡線を生成する(ステップS102)。
関連付部245は、関連性計測部244が計測した関連あり判定回数に基づいて人と傘の組み合わせを関連付ける(ステップS103)。なお、関連付部245による処理の詳細は後述する。
人数計測部246は、対象検出部242による検出の結果と関連付部245による関連付けの結果とに基づいて、画像データ中の人数を計測する(ステップS104)。
出力部247は、人数計測部246が計測した結果などを出力する(ステップS105)。
以上が、計測装置200の全体的な動作の一例である。続いて、図9を参照して、関連付けを行う際の動作の一例について説明する。
図9を参照すると、関連性計測部244は、ステップS101の処理による検出の結果やステップS102の処理により生成した追跡線などに基づいて、人と傘とが関連する関係にある可能性を示す関連あり判定回数を計測する(ステップS201)。例えば、関連性計測部244は、人(頭部)と傘との間の位置関係、人と傘の移動角度の関係、人と傘の重なり具合、などが予め定められた条件を満たす場合に、回数情報232に含まれる関連あり判定回数を1加算する。
関連付部245は、関連性計測部244が計測した関連あり判定回数に基づいて、人と傘の組み合わせを関連付ける。例えば、関連付部245は、回数情報232に含まれる関連あり判定回数が予め定められた関連あり閾値を超えているか否か確認する(ステップS202)。そして、関連あり判定回数が関連あり閾値を超えている場合(ステップS202、Yes)、関連付部245は、関連あり閾値を超えた人と傘の組み合わせについて、関連付けを行う(ステップS203)。例えば、関連付部245は、関連あると判断した、人に応じた情報と傘に応じた情報とを対応付けて関連付情報233に格納することで、関連付けを行う。
以上が、関連付けを行う際の動作である。
このように、本実施形態における計測装置200は、対象検出部242と、関連付部245と、人数計測部246と、を有している。このような構成により、人数計測部246は、対象検出部242が検出した人と傘とを関連付部245が関連付けた結果に基づいて、人数を計測することができる。これにより、例えば、傘により頭部が隠れているなどの理由により人が検出できない場合などにおいても、正確に領域に入退場した人の数を計測することができる。また、関連付けを行うことにより、人と傘とを二重に計測してしまうなど、ダブルカウントが生じることを抑制することができる。その結果、雨などの悪天候の場合においても、画像データに基づいて人数を正確に計測することが可能となる。
また、本実施形態においては、関連性計測部244が人(頭部)と傘との間の位置関係、人と傘の移動角度の関係、人と傘の重なり具合、などに基づいて関連あり判定回数を計測するよう構成されている。また、関連付部245は、関連性計測部244による計測の結果に基づいて関連付けを行うよう構成されている。このように関連性計測部244により様々な条件を見た上で関連付けを行うことで、誤った関連付けが行われることを抑止することが可能となる。その結果、雨などの悪天候の場合においても、画像データに基づいて人数をより正確に計測することが可能となる。
なお、傘により一度頭部が隠れたもののまた現れた、傘が一度たたまれた後またさされた、などの理由により、人または傘の追跡線が一度切れた後、新たな追跡線が生成される場合がある。このような場合、同一人物が複数計測されてしまうおそれがある。
そこで、対象追跡部243は、人と傘の位置関係が予め定められた条件を満たす場合、新たに表れた追跡線を以前の追跡線と同一のものであるとみなし、追跡線の統合を行うよう構成することが出来る。例えば、対象追跡部243は、以前の追跡線と新たな追跡線において人と傘の追跡線の移動角度の差が移動角度閾値以下であることなどの条件を満たす場合に、追跡線の統合を行うことが出来る。また、対象追跡部243は、例えば、画像データに基づいて判別される属性(性別、年齢、髪の色や服の色、傘の色など)を示す属性情報などに基づいて、追跡線の判別を行うよう構成しても構わない。
また、本実施形態においては、計測システム100が計測装置200と監視カメラ300とを有する場合について説明した。しかしながら、計測装置200と監視カメラ300とは一体的に構成されていても構わない。つまり、監視カメラ300が本実施形態において説明した計測装置200としての機能を有しても構わない。このように監視カメラ300を構成する場合、計測システム100は、監視カメラ300のみから構成されても構わない。
また、本実施形態においては、計測装置200としての機能を1台の情報処理装置が有する場合について例示した。しかしながら、計測装置200としての機能は、例えば、ネットワークを介して接続された複数台の情報処理装置などにより実現されても構わない。
[第2の実施形態]
次に、図14を参照して、本発明の第2の実施形態について説明する。第2の実施形態では、計測装置40の構成の概要について説明する。
図14は、計測装置40の構成の一例を示している。図14を参照すると、計測装置40は、例えば、検出部41と、計測部42と、を有している。例えば、計測装置40は、CPUなどの演算装置と、記憶装置と、を有している。例えば、計測装置40は、記憶装置に格納されたプログラムを演算装置が実行することにより、上記各処理部を実現する。
検出部41は、例えば外部カメラなどの外部装置から取得した画像データに基づいて、人と傘とを検出する。
計測部42は、検出部41が検出した結果に基づいて人数を計測する。
このように、計測装置40は、検出部41と計測部42とを有している。このような構成により、計測部42は、検出部41が検出した人と傘とに基づいて人数を計測することが出来る。これにより、例えば、傘により人が隠れているなどの理由により人が検出できない場合などにおいても、正確に領域に入退場した人の数を計測することができる。その結果、雨などの悪天候の場合においても、画像データに基づいて人数を正確に計測することが可能となる。
また、上述した計測装置40は、当該計測装置40に所定のプログラムが組み込まれることで実現できる。具体的に、本発明の他の形態であるプログラムは、計測装置40に、取得した画像データに基づいて人と傘とを検出する検出部41と、検出部41が検出した結果に基づいて人数を計測する計測部42と、を実現するためのプログラムである。
また、上述した計測装置40により実行される計測方法は、計測装置40が、取得した画像データに基づいて人と傘とを検出し、検出した結果に基づいて人数を計測する、という方法である。
上述した構成を有する、プログラム(または記録媒体)、又は、計測方法、の発明であっても、上記計測装置40と同様の作用、効果を有するために、上述した本発明の目的を達成することができる。
<付記>
上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本発明における計測方法などの概略を説明する。但し、本発明は、以下の構成に限定されない。
(付記1)
計測装置が、
取得した画像データに基づいて人と傘とを検出し、
検出した結果に基づいて人数を計測する
計測方法。
(付記2)
付記1に記載の計測方法であって、
検出した結果に基づいて、人と傘とを関連付け、
人と傘とを関連付けた結果に基づいて人数を計測する
計測方法。
(付記3)
付記2に記載の計測方法であって、
人と傘との間の位置関係に基づいて、人と傘とを関連付ける
計測方法。
(付記4)
付記2または付記3に記載の計測方法であって、
人と傘の移動角度の関係に基づいて、人と傘とを関連付ける
計測方法。
(付記5)
付記2から付記4までのいずれか1項に記載の計測方法であって、
人と傘の重なり具合に基づいて、人と傘とを関連付ける
計測方法。
(付記6)
付記5に記載の計測方法であって、
人の頭部を囲う矩形と、傘を囲う矩形を予め定められた方法によりずらした結果と、の重なり具合に基づいて、人と傘とを関連付ける
計測方法。
(付記7)
付記1から付記6までのいずれか1項に記載の計測方法であって、
関連付けられた人と傘とを検出した場合、傘に関連付けられている人数に応じた計測を行う
計測方法。
(付記8)
付記1から付記7までのいずれか1項に記載の計測方法であって、
人に関連付けられていない傘を検出した場合、傘の検出結果に基づいて人数を計測する
計測方法。
(付記9)
取得した画像データに基づいて人と傘とを検出する検出部と、
前記検出部が検出した結果に基づいて人数を計測する計測部と、
を有する
計測装置。
(付記10)
計測装置に、
取得した画像データに基づいて人と傘とを検出する検出部と、
前記検出部が検出した結果に基づいて人数を計測する計測部と、
を実現するためのプログラム。
なお、上記各実施形態及び付記において記載したプログラムは、記憶装置に記憶されていたり、コンピュータが読み取り可能な記録媒体に記録されていたりする。例えば、記録媒体は、フレキシブルディスク、光ディスク、光磁気ディスク、及び、半導体メモリ等の可搬性を有する媒体である。
以上、上記各実施形態を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることができる。
なお、本発明は、日本国にて2019年12月10日に特許出願された特願2019-222718の特許出願に基づく優先権主張の利益を享受するものであり、当該特許出願に記載された内容は、全て本明細書に含まれるものとする。
100 計測システム
200 計測装置
210 画面表示部
220 通信I/F部
230 記憶部
231 画像情報
232 回数情報
233 関連付情報
234 人数情報
235 プログラム
240 演算処理部
241 画像データ取得部
242 対象検出部
243 対象追跡部
244 関連性計測部
245 関連付部
246 人数計測部
247 出力部
300 監視カメラ
40 計測装置
41 検出部
42 計測部

Claims (9)

  1. 計測装置が、
    取得した画像データに基づいて人と傘とを検出し、
    検出した結果に基づいて、人と傘とを関連付け、
    人と傘とを関連付けた結果に基づいて人数を計測し、
    人に関連付けられていない傘を検出した場合、傘の検出結果に基づいて人数を計測する
    計測方法。
  2. 請求項に記載の計測方法であって、
    人と傘との間の位置関係に基づいて、人と傘とを関連付ける
    計測方法。
  3. 請求項1または請求項2に記載の計測方法であって、
    人と傘の移動角度の関係に基づいて、人と傘とを関連付ける
    計測方法。
  4. 請求項1から請求項3までのいずれか1項に記載の計測方法であって、
    人と傘の重なり具合に基づいて、人と傘とを関連付ける
    計測方法。
  5. 請求項に記載の計測方法であって、
    人の頭部を囲う矩形と、傘を囲う矩形を予め定められた方法によりずらした結果と、の重なり具合に基づいて、人と傘とを関連付ける
    計測方法。
  6. 請求項1から請求項までのいずれか1項に記載の計測方法であって、
    関連付けられた人と傘とを検出した場合、傘に関連付けられている人数に応じた計測を行う
    計測方法。
  7. 取得した画像データに基づいて人と傘とを検出する検出部と、
    検出した結果に基づいて、人と傘とを関連付ける関連付部と、
    人と傘とを関連付けた結果に基づいて人数を計測する計測部と、
    を有し、
    前記計測部は、人に関連付けられていない傘を検出した場合、傘の検出結果に基づいて人数を計測する
    計測装置。
  8. 計測装置に、
    取得した画像データに基づいて人と傘とを検出する検出部と、
    検出した結果に基づいて、人と傘とを関連付ける関連付部と、
    人と傘とを関連付けた結果に基づいて人数を計測する計測部と、
    を実現させ、
    前記計測部は、人に関連付けられていない傘を検出した場合、傘の検出結果に基づいて人数を計測する
    プログラム。
  9. 計測装置が、
    取得した画像データに基づいて人と傘とを検出し、
    検出した結果に基づいて、人と傘とを関連付け、
    人と傘とを関連付けた結果に基づいて人数を計測し、
    人と傘を関連付ける際、人の頭部を囲う矩形と、傘を囲う矩形を予め定められた方法によりずらした結果と、の重なり具合に基づいて、人と傘とを関連付ける
    計測方法。
JP2021563825A 2019-12-10 2020-11-19 計測方法 Active JP7287712B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019222718 2019-12-10
JP2019222718 2019-12-10
PCT/JP2020/043206 WO2021117457A1 (ja) 2019-12-10 2020-11-19 計測方法

Publications (3)

Publication Number Publication Date
JPWO2021117457A1 JPWO2021117457A1 (ja) 2021-06-17
JPWO2021117457A5 JPWO2021117457A5 (ja) 2022-07-07
JP7287712B2 true JP7287712B2 (ja) 2023-06-06

Family

ID=76329806

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021563825A Active JP7287712B2 (ja) 2019-12-10 2020-11-19 計測方法

Country Status (3)

Country Link
US (1) US20230005271A1 (ja)
JP (1) JP7287712B2 (ja)
WO (1) WO2021117457A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022090491A (ja) * 2020-12-07 2022-06-17 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010199865A (ja) 2009-02-24 2010-09-09 Nec Corp 異常検知システム、異常検知方法及び異常検知プログラム
WO2017216920A1 (ja) 2016-06-16 2017-12-21 株式会社オプティム 情報提供システム
JP2020141367A (ja) 2019-03-01 2020-09-03 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5227837B2 (ja) * 2009-02-24 2013-07-03 古河電気工業株式会社 フィルタ回路
JP5712968B2 (ja) * 2012-05-31 2015-05-07 株式会社デンソー 人検出装置
JP5720627B2 (ja) * 2012-06-11 2015-05-20 株式会社デンソー 人検出装置
JP5794255B2 (ja) * 2013-05-21 2015-10-14 株式会社デンソー 物体検出装置
US20200167701A1 (en) * 2018-11-14 2020-05-28 Michael Debono Systems and methods for managing the use of furniture items

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010199865A (ja) 2009-02-24 2010-09-09 Nec Corp 異常検知システム、異常検知方法及び異常検知プログラム
WO2017216920A1 (ja) 2016-06-16 2017-12-21 株式会社オプティム 情報提供システム
JP2020141367A (ja) 2019-03-01 2020-09-03 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Also Published As

Publication number Publication date
US20230005271A1 (en) 2023-01-05
JPWO2021117457A1 (ja) 2021-06-17
WO2021117457A1 (ja) 2021-06-17

Similar Documents

Publication Publication Date Title
US10810438B2 (en) Setting apparatus, output method, and non-transitory computer-readable storage medium
JP5121508B2 (ja) 画像処理装置、画像処理方法、プログラム及び記憶媒体
US9858486B2 (en) Device and method for detecting circumventing behavior and device and method for processing cause of circumvention
US20160371726A1 (en) Information processing apparatus, information processing method, and computer program product
US20190318594A1 (en) Display control apparatus, display control method, camera system, control method for camera system, and storage medium
US9727791B2 (en) Person detection system, method, and non-transitory computer readable medium
JPWO2016114134A1 (ja) 移動状況推定装置、移動状況推定方法およびプログラム
US20150146006A1 (en) Display control apparatus and display control method
CN110709857B (zh) 人物计数设备、人物计数方法以及存储介质
US20160091359A1 (en) System and method for measuring segment parameters of a human body for recording a body mass index
US20120249880A1 (en) Method and apparatus for detecting camera motion type in video
JPWO2014050432A1 (ja) 情報処理システム、情報処理方法及びプログラム
US9619707B2 (en) Gaze position estimation system, control method for gaze position estimation system, gaze position estimation device, control method for gaze position estimation device, program, and information storage medium
JP7287712B2 (ja) 計測方法
US20140270388A1 (en) Methods and systems for measuring group behavior
JP2011070629A (ja) 広告効果測定システム及び広告効果測定装置
US10783365B2 (en) Image processing device and image processing system
JP2005157134A (ja) 情報出力方法及び装置及びプログラム及び情報出力プログラムを格納したコンピュータ読み取り可能な記憶媒体
US20200311771A1 (en) Information processing device, information processing method, and program recording medium
JP2010233737A (ja) 体型判定方法及び体型判定システム並びにそれを用いた監視システム
JP2017207972A (ja) 画像処理装置、画像処理方法及びプログラム
US20220189138A1 (en) Information processing apparatus, control method, and storage medium
CN112288774B (zh) 移动侦测方法、装置、电子设备及存储介质
JP7313850B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2017208733A (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220428

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220428

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230329

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230425

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230518

R151 Written notification of patent or utility model registration

Ref document number: 7287712

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151