JP6412625B1 - カウント装置及びカウントプログラム - Google Patents

カウント装置及びカウントプログラム Download PDF

Info

Publication number
JP6412625B1
JP6412625B1 JP2017185537A JP2017185537A JP6412625B1 JP 6412625 B1 JP6412625 B1 JP 6412625B1 JP 2017185537 A JP2017185537 A JP 2017185537A JP 2017185537 A JP2017185537 A JP 2017185537A JP 6412625 B1 JP6412625 B1 JP 6412625B1
Authority
JP
Japan
Prior art keywords
image
target
group
unit
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017185537A
Other languages
English (en)
Other versions
JP2019061497A (ja
Inventor
領 菊池
領 菊池
光義 山足
光義 山足
周平 北島
周平 北島
広彬 白浜
広彬 白浜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Information Systems Corp
Original Assignee
Mitsubishi Electric Information Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Information Systems Corp filed Critical Mitsubishi Electric Information Systems Corp
Priority to JP2017185537A priority Critical patent/JP6412625B1/ja
Application granted granted Critical
Publication of JP6412625B1 publication Critical patent/JP6412625B1/ja
Publication of JP2019061497A publication Critical patent/JP2019061497A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

【課題】映像データに基づき対象領域に存在する物体の数を精度よくカウントすることを目的とする。
【解決手段】同定部24は、映像データを構成する異なるフレーム画像から切り出され、かつ、対象領域に含まれると判定された物体画像間で、同一の物体を示す物体画像を特定する。物体特定部25は、同一の物体を示すと判定された物体画像が1つのグループに属するようにグループ分けして、属する物体画像の数が対象基準数以上のグループを対象領域に存在する物体を示すグループとして特定する。カウント部26は、グループの数を、対象領域に存在する物体の数としてカウントする。
【選択図】図1

Description

この発明は、映像データに基づき対象領域に存在する物体の数をカウントする技術に関する。
店舗の入口を撮影した映像データに基づき、店舗に入った人数をカウントするといったことが行われている。
特許文献1には、映像データ内に境界線を設定して、映像データから切り出された人を追跡して得られた動線が境界線と交差した場合に人数をカウントすることが記載されている。
国際公開2012/132437号
特許文献1に記載された技術では、オクルージョンにより境界線付近で人の追跡が途切れてしまった場合と、境界線付近を人が行き来しているような場合と等には、正しく人数をカウントできない可能性がある。
この発明は、映像データに基づき対象領域に存在する物体の数を精度よくカウントすることを目的とする。
この発明に係るカウント装置は、
映像データを構成する複数のフレーム画像それぞれから対象とする物体を含む領域の画像を物体画像として切り出す切出部と、
前記切出部によって切出された前記物体画像が、前記映像データにおける対象領域に含まれるか否かを判定する領域判定部と、
前記切出部によって前記映像データを構成する異なるフレーム画像から切り出され、かつ、前記領域判定部によって前記物体画像が前記対象領域に含まれると判定された物体画像間で、同一の物体を示す物体画像を特定する同定部と、
前記同定部によって同一の物体を示すと判定された物体画像が1つのグループに属するようにグループ分けして、属する物体画像の数が対象基準数以上のグループを前記対象領域に存在する物体を示すグループとして特定する物体特定部と、
前記物体特定部によって特定された物体を示すグループの数を、前記対象領域に存在する物体の数としてカウントするカウント部と
を備える。
前記映像データには、前記対象領域として複数の部分領域が含まれ、
前記物体特定部は、
同一の物体を示すと判定され、かつ、同一の部分領域に含まれる物体画像が1つのグループに属するようにグループ分けして、各部分領域を対象として、属する物体画像の数が対象基準数以上のグループを対象の部分領域に存在する物体を示すグループとして特定する領域特定部と、
前記領域特定部によって特定されたグループのうち、同一の物体を示すと判定された物体画像のグループであって、異なる部分領域に存在する物体を示すグループを、部分領域間を移動した物体を示す1つの移動グループとして特定する移動特定部と
を備え、
前記カウント部は、前記移動特定部によって特定された移動グループの数を、部分領域間を移動した物体の数としてカウントする。
前記移動特定部は、グループに属する物体画像が切り出されたフレーム画像の前記映像データにおける前後関係から、前記物体の部分領域間の移動方向を特定し、
前記カウント部は、前記移動方向毎に移動した物体の数としてカウントする。
前記物体特定部は、各グループを対象として、対象のグループに属する各物体画像から物体の属性を特定し、属性基準数以上の物体画像から特定された属性を、対象のグループが示す物体の属性として特定し、
前記カウント部は、前記物体特定部によって特定された属性毎のグループの数を、属性毎の物体の数としてカウントする。
前記同定部は、各物体画像を対象として、対象の物体画像と基準画像との差分量を計算して、異なるフレーム画像から切り出され、かつ、前記領域判定部によって前記物体画像が前記対象領域に含まれると判定された物体画像間で前記差分量を比較することにより、同一の物体を示す物体画像を特定する。
前記同定部は、各物体画像を対象として、対象の物体画像と、複数の基準画像それぞれとの差分量を計算して、前記物体画像間で各基準画像について計算された差分量を比較することにより、同一の物体を示す物体画像を特定する。
前記切出部は、異なる位置から前記対象領域を含む領域を撮影する複数の撮影装置によって得られた複数の映像データそれぞれを構成する複数のフレーム画像それぞれから物体画像を切り出す。
この発明に係るカウントプログラムは、
映像データを構成する複数のフレーム画像それぞれから対象とする物体を含む領域の画像を物体画像として切り出す切出処理と、
前記切出処理によって切出された前記物体画像が、前記映像データにおける対象領域に含まれるか否かを判定する領域判定処理と、
前記切出処理によって前記映像データを構成する異なるフレーム画像から切り出され、かつ、前記領域判定処理によって前記物体画像が前記対象領域に含まれると判定された物体画像間で、同一の物体を示す物体画像を特定する同定処理と、
前記同定処理によって同一の物体を示すと判定された物体画像が1つのグループに属するようにグループ分けして、属する物体画像の数が対象基準数以上のグループを前記対象領域に存在する物体を示すグループとして特定する物体特定処理と、
前記物体特定処理によって特定された物体を示すグループの数を、前記対象領域に存在する物体の数としてカウントするカウント処理と
をコンピュータに実行させる。
この発明では、同一の物体を示すと判定された物体画像が1つのグループに属するようにグループ分けして、属する物体画像の数が対象基準数以上のグループを前記対象領域に存在する物体を示すグループとして特定し、特定された物体を示すグループの数を、物体の数としてカウントする。
これにより、オクルージョンにより一時的に認識されなくなった物体についても適切にカウントできるようにすることが可能である。その結果、物体の数を精度よくカウントすることができる。
実施の形態1に係るカウント装置10の構成図。 実施の形態1に係るカウント装置10の動作を示すフローチャート。 実施の形態1に係る映像データ30の説明図。 実施の形態1に係る対象領域33の説明図。 実施の形態1に係るフレーム画像31の例を示す図。 実施の形態1に係るグループの例を示す図。 変形例1に係る撮影装置40の配置を示す図。 変形例3に係るカウント装置10の構成図。 実施の形態2に係るカウント装置10の構成図。 実施の形態2に係るカウント装置10の動作を示すフローチャート。 実施の形態2に係る部分領域34の説明図。 実施の形態2に係るフレーム画像31の例を示す図。 実施の形態2に係るグループの例を示す図。 実施の形態2に係る部分領域34の設定例を示す図。 実施の形態2に係る物体が部分領域34間を行き来した場合の動作の説明図。 実施の形態3に係るカウント装置10の動作を示すフローチャート。 実施の形態4に係る同定処理を示すフローチャート。 実施の形態4に係る同定処理の動作例の説明図。
実施の形態1.
***構成の説明***
図1を参照して、実施の形態1に係るカウント装置10の構成を説明する。
カウント装置10は、プロセッサ11と、メモリ12と、ストレージ13と、通信インタフェース14とのハードウェアを備える。プロセッサ11は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
プロセッサ11は、プロセッシングを行うIC(Integrated Circuit)である。プロセッサ11は、具体例としては、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、GPU(Graphics Processing Unit)である。
メモリ12は、データを一時的に記憶する記憶装置である。メモリ12は、具体例としては、SRAM(Static Random Access Memory)、DRAM(Dynamic Random Access Memory)である。
ストレージ13は、データを保管する記憶装置である。ストレージ13は、具体例としては、HDD(Hard Disk Drive)である。また、ストレージ13は、SD(Secure Digital)メモリカード、CF(CompactFlash,登録商標)、NANDフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ(登録商標)ディスク、DVD(Digital Versatile
Disk)といった可搬記録媒体であってもよい。
通信インタフェース14は、外部の装置と通信するためのインタフェースである。通信インタフェース14は、具体例としては、Ethernet(登録商標)、USB(Universal Serial Bus)、HDMI(登録商標,High−Definition Multimedia Interface)のポートである。
カウント装置10は、通信インタフェース14を介して、撮影装置40と、表示装置41に接続されている。表示装置41は、タッチ式の入力機能を有するタッチパネルである。
カウント装置10は、機能構成要素として、映像取得部21と、切出部22と、領域判定部23と、同定部24と、物体特定部25と、カウント部26とを備える。カウント装置10の各機能構成要素の機能はソフトウェアにより実現される。
ストレージ13には、カウント装置10の各機能構成要素の機能を実現するプログラムが格納されている。このプログラムは、プロセッサ11によりメモリ12に読み込まれ、プロセッサ11によって実行される。これにより、カウント装置10の各機能構成要素の機能が実現される。
図1では、プロセッサ11は、1つだけ示されていた。しかし、プロセッサ11は、複数であってもよく、複数のプロセッサ11が、各機能を実現するプログラムを連携して実行してもよい。
***動作の説明***
図2から図6を参照して、実施の形態1に係るカウント装置10の動作を説明する。
実施の形態1に係るカウント装置10の動作は、実施の形態1に係るカウント方法に相当する。また、実施の形態1に係るカウント装置10の動作は、実施の形態1に係るカウントプログラムの処理に相当する。
(図2のステップS11:映像取得処理)
映像取得部21は、映像データ30を取得する。
具体的には、映像取得部21は、撮影装置40によって撮影された映像データ30を、通信インタフェース14を介して取得する。映像取得部21は、取得された映像データ30をメモリ12に書き込む。
(図2のステップS12:切出処理)
切出部22は、ステップS11で取得された映像データ30を構成する複数のフレーム画像31それぞれから対象とする物体を含む領域の画像を物体画像32として切り出す。図3に示すように、映像データ30は複数のフレーム画像31から構成される。各フレーム画像31には、対象とする物体の画像が含まれている可能性がある。以下では、対象とする物体は人であるとする。但し、対象とする物体は、人に限らず、車両及び動物といった他の種別であってもよい。
具体的には、切出部22は、メモリ12から映像データ30を読み出す。切出部22は、読み出された映像データ30を構成する複数のフレーム画像31それぞれを対象として、画像局所特徴量を用いた統計的な手法等により、対象の物体である人がいる矩形領域を物体画像32として切り出す。画像局所特徴量は、具体例としては、SIFT(Scale−Invariant Feature Transform)又はHOG(Histograms of Oriented Gradients)である。切出部22は、フレーム画像31に複数の人がいる場合には、各人がいる矩形領域を物体画像32として切出す。切出部22は、切り出された物体画像32をメモリ12に書き込む。
(図2のステップS13:領域判定処理)
領域判定部23は、ステップS12で切出された物体画像32が、映像データ30に含まれる対象領域33に含まれるか否かを判定する。図4に示すように、対象領域33は、撮影装置40の撮影領域内の領域であり、事前にカウント装置10の利用者によって設定された領域である。
具体的には、領域判定部23は、メモリ12から物体画像32を読み出す。領域判定部23は、読み出された各物体画像32を順に対象として、対象の物体画像32が対象領域33に含まれるか否かを判定する。例えば、領域判定部23は、物体画像32の下端中央部の画像中における座標を、画像中における人がいる座標として特定する。そして、領域判定部23は、特定された座標が対象領域33に含まれるか否かを判定する。領域判定部23は、判定結果を領域判定結果としてメモリ12に書き込む。
(図2のステップS14:同定処理)
同定部24は、ステップS12で映像データ30を構成する異なるフレーム画像31から切り出され、かつ、ステップS13で物体画像32が対象領域33に含まれると判定された物体画像32間で、同一の物体を示す物体画像32を特定する。
具体的には、同定部24は、物体画像32及び領域判定結果をメモリ12から読み出す。同定部24は、あるフレーム画像31から切り出され、対象領域33に含まれると判定された物体画像32を第1画像として選択し、あるフレーム画像31の1つ前のフレーム画像31から切り出され、対象領域33に含まれると判定された物体画像32を第2画像として選択する。同定部24は、選択された第1画像と第2画像とを比較して、第1画像と第2画像とが同一の人を示すか否かを判定する。例えば、同定部24は、第1画像と第2画像との画像局所特徴量の近さを計算して、近さが基準値以内であれば第1画像と第2画像とが同一の人を示すと判定する。同定部24は、あるフレーム画像31から切り出された物体画像32と、1つ前のフレーム画像31から切り出された物体画像32との全ての組合せについて、比較を行う。同定部24は、判定結果を同一性判定結果としてメモリ12に書き込む。
なお、ここでは、あるフレーム画像31と1つ前のフレーム画像31との間で比較を行った。しかし、あるフレーム画像31と1つ前から2つ以上前のフレーム画像31それぞれとの間で比較を行うようにしてもよい。何フレーム前のフレーム画像31とまで比較を行うかは、望むカウント精度と、計算量との関係から決定される。
(図2のステップS15:物体特定処理)
物体特定部25は、メモリ12から同一性判定結果を読み出す。物体特定部25は、同一性判定結果を参照して、ステップS14で同一の物体を示すと判定された物体画像32が1つのグループに属するようにグループ分けする。そして、物体特定部25は、属する物体画像32の数が対象基準数以上のグループを対象領域33に存在する物体を示すグループとして特定する。物体特定部25は、特定されたグループをメモリ12に書き込む。
対象基準数は、事前にカウント装置10の利用者によって定められた値である。対象基準数は、小さくすると、実際には存在しなかった人がカウントされる可能性が高くなり、大きくすると、実際に存在する人がカウントされない可能性が高くなる。したがって、対象基準数は、実証実験を行う等して適切な値が定められる。
(図2のステップS16:カウント処理)
カウント部26は、ステップS15で特定された物体を示すグループの数を、対象領域33に存在する物体の数としてカウントする。
具体的には、カウント部26は、メモリ12からステップS15で書き込まれたグループを読み出す。そして、カウント部26は、読み出されたグループの数を、対象領域33に存在する物体の数としてカウントする。
つまり、ステップS15では、対象基準数以上、対象領域33にいると判定された人だけが、対象領域33にいるものとして扱われる。そして、ステップS16では、対象基準数以上、対象領域33にいると判定された人だけがカウントされる。
図5及び図6を参照して具体例を説明する。
図5では、映像データ30がフレーム画像31A〜フレーム画像31Cの3つのフレーム画像31で構成されるとする。また、ここでは、対象基準数は3であるとする。
この場合に、フレーム画像31Aでは物体画像32Aと物体画像32Bとが対象領域33に含まれる。フレーム画像31Bでは、物体画像32Cと物体画像32Dとが対象領域33に含まれる。フレーム画像31Cでは、物体画像32Fが対象領域33に含まれる。ここで、物体画像32Aと物体画像32Cと物体画像32Eとが同一の人を示し、物体画像32Bと物体画像32Dと物体画像32Fとが同一の人を示すとする。そうすると、図6に示すように、ステップS15で、物体画像32Aと物体画像32Cとが同じグループ1に分類され、物体画像32Bと物体画像32Dと物体画像32Eとが同じグループ2に分類される。
その結果、グループ2は、属する物体画像32の数が対象基準数である3以上であるため、対象領域33に存在する物体を示すグループとして特定される。一方、グループ1は、属する物体画像32の数が対象基準数である3未満であるため、対象領域33に存在する物体を示すグループとして特定されない。したがって、ステップS16で、グループ2だけがカウントされ、結果は1人になる。
***実施の形態1の効果***
以上のように、実施の形態1に係るカウント装置10は、同一の物体を示すと判定された物体画像32が1つのグループに属するようにグループ分けする。そして、カウント装置10は、属する物体画像32の数が対象基準数以上のグループを対象領域33に存在する物体を示すグループとして特定し、特定された物体を示すグループの数を、物体の数としてカウントする。
これにより、精度よく対象領域33に存在する物体の数をカウントすることが可能である。
***他の構成***
<変形例1>
実施の形態1では、1つの撮影装置40で撮影された映像データ30に基づき物体の数をカウントした。しかし、図7に示すように、異なる位置から対象領域33を含む領域を撮影する複数の撮影装置40で撮影された複数の映像データ30に基づき物体の数をカウントしてもよい。図7に示すように同じ場所を撮影するとき、撮影装置40と撮影場所との位置関係で、映像データ30内の対象領域33は異なる位置に設定される。具体的には、図7において、撮影される場所における破線で示された領域が各撮影装置40で撮影される映像データ30における対象領域33になる。このとき、撮影装置40Aと撮影装置40Bとの位置が異なるため、撮影装置40Aで撮影された映像データ30に含まれる対象領域33の映像データ30における位置と、撮影装置40Bで撮影された映像データ30に含まれる対象領域33の映像データ30における位置とは、異なる位置になる。
この場合、図2のステップS11で映像取得部21は、複数の撮影装置40で撮影された複数の映像データ30を取得する。そして、図2のステップS12で切出部22は、複数の映像データ30それぞれを構成する複数のフレーム画像31それぞれから物体画像32を切り出し、ステップS13でそれぞれ映像データ30の対象領域33に含まれるかどうかを判定する。ステップS14以降の処理は実施の形態1と同じである。
複数の撮影装置40で撮影された複数の映像データ30を用いることにより、よりカウントの精度を高くすることが可能である。
<変形例2>
実施の形態1では、対象領域33は、カウント装置10の利用者によって事前に設定されていた。しかし、利用者が映像データ30を表示装置41に表示し、利用者のタッチによる領域設定(マーキング)により対象領域33を設定してもよい。また対象領域33としたい実際の場所にパイロンのような特徴的な物体を複数配置し、それらの位置関係から自動的に対象領域33を設定してもよい。
<変形例3>
実施の形態1では、同定処理を行った上で、数をカウントした。しかし、映像データに含まれる物体の数が1つだけで、同定処理を行わなくても、同一の物体であることが明らかな場合等には、同定処理を行わなくてもよい。この場合には、各フレームデータ31に含まれる物体は同一であるとの前提で処理をすればよい。
<変形例4>
実施の形態1では、同定処理を行うときに、あるフレーム画像31と1つ以上前のフレーム画像31との比較により行った。しかし、既に撮影され録画されている映像データ30に対して同定処理を行うときは、あるフレーム画像31に対して1つ以上後のフレーム画像31との比較により同定を行うこともできる。
<変形例5>
実施の形態1では、領域判定処理を行った後、同定処理を行った。しかし、同定処理を行った後、領域判定処理を行うこともできる。
<変形例6>
実施の形態1では、各機能構成要素がソフトウェアで実現された。しかし、変形例3として、各機能構成要素はハードウェアで実現されてもよい。この変形例3について、実施の形態1と異なる点を説明する。
図8を参照して、変形例3に係るカウント装置10の構成を説明する。
各機能構成要素がハードウェアで実現される場合には、カウント装置10は、プロセッサ11とメモリ12とストレージ13とに代えて、電子回路15を備える。電子回路15は、各機能構成要素と、メモリ12と、ストレージ13との機能とを実現する専用の回路である。
電子回路15としては、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックIC、GA(Gate Array)、ASIC(Application Specific Integrated Circuit)、FPGA(Field−Programmable Gate Array)が想定される。
各機能構成要素を1つの電子回路15で実現してもよいし、各機能構成要素を複数の電子回路15に分散させて実現してもよい。
<変形例4>
変形例4として、一部の各機能構成要素がハードウェアで実現され、他の各機能構成要素がソフトウェアで実現されてもよい。
プロセッサ11とメモリ12とストレージ13と電子回路15とを処理回路という。つまり、各機能構成要素の機能は、処理回路により実現される。
実施の形態2.
実施の形態2は、ある領域から他の領域へ移動した物体の数をカウントする点が実施の形態1と異なる。実施の形態2では、この異なる点を説明し、同一の点については説明を省略する。
***構成の説明***
図9を参照して、実施の形態2に係るカウント装置10の構成を説明する。
カウント装置10は、物体特定部25が領域特定部251と移動特定部252とを備える点が、図1に示すカウント装置10と異なる。
***動作の説明***
図10から図13を参照して、実施の形態2に係るカウント装置10の動作を説明する。
実施の形態2に係るカウント装置10の動作は、実施の形態2に係るカウント方法に相当する。また、実施の形態2に係るカウント装置10の動作は、実施の形態2に係るカウントプログラムの処理に相当する。
図10のステップS21からステップS24の処理は、図2のステップS11からステップS14の処理と同じである。
実施の形態2では、図11に示すように、映像データ30には、対象領域33として複数の部分領域34が含まれる。
(図10のステップS25:領域特定処理)
領域特定部251は、メモリ12から同一性判定結果を読み出す。物体特定部25は、同一性判定結果を参照して、ステップS24で同一の物体を示すと判定され、かつ、同一の部分領域34に含まれる物体画像32が1つのグループに属するようにグループ分けする。そして、領域特定部251は、各部分領域34を対象として、属する物体画像32の数が対象基準数以上のグループを対象の部分領域34に存在する物体を示すグループとして特定する。領域特定部251は、特定されたグループをメモリ12に書き込む。
(図10のステップS26:移動特定処理)
移動特定部252は、ステップS25で特定されたグループのうち、同一の物体を示すと判定された物体画像32のグループであって、異なる部分領域34に存在する物体を示すグループを、部分領域34間を移動した物体を示す1つの移動グループとして特定する。
具体的には、移動特定部252は、メモリ12からステップS25で書き込まれたグループを読み出す。移動特定部252は、読み出されたグループ間で同じ物体画像32を示すグループを特定する。例えば、移動特定部252は、グループに属する少なくとも一部の物体画像32を対象として、ステップS24と同様の方法により、同一の物体を示すか否かを判定する。移動特定部252は、同一の物体を示すと判定されたグループのうち、異なる部分領域34に存在する物体を示すグループの組を特定する。移動特定部252は、特定されたグループの組を1つの移動グループとしてメモリ12に書き込む。
この際、移動特定部252は、グループに属する物体画像32が切り出されたフレーム画像31の映像データ30における前後関係から、物体の部分領域34間の移動方向を特定してもよい。つまり、移動特定部252は、前後関係が前のフレーム画像31から切り出された物体画像32が含まれる部分領域34から、前後関係が後のフレーム画像31から切り出された物体画像32が含まれる部分領域34に移動したと特定してもよい。例えば、2つのグループに属する物体画像32の切り出し元のフレーム画像31のうち、最前のフレーム画像31から切り出された物体画像32が含まれる部分領域34から、最後のフレーム画像31から切り出された物体画像32が含まれる部分領域34に移動したと特定してもよい。
(図10のステップS27:カウント処理)
カウント部26は、ステップS26で特定された移動グループの数を、部分領域34間を移動した物体の数としてカウントする。
具体的には、カウント部26は、メモリ12からステップS26で書き込まれた移動グループを読み出す。そして、カウント部26は、読み出された移動グループの数を、部分領域34間を移動した物体の数としてカウントする。
カウント部26は、ステップS26で物体の部分領域34間の移動方向が特定されている場合には、移動方向毎にグループの数をカウントしてもよい。これにより、移動方向毎に、移動した物体の数がカウントされる。
図12及び図13を参照して具体例を説明する。
図12では、映像データ30がフレーム画像31A〜フレーム画像31Gの7つのフレーム画像31で構成されるとする。また、ここでは、対象基準数は3であるとする。
この場合に、フレーム画像31A〜フレーム画像31Cでは、物体画像32が部分領域34Aに含まれる。フレーム画像31Dでは、物体画像32はいずれの部分領域34にも含まれない。フレーム画像31E〜フレーム画像31Gでは、物体画像32は、部分領域34Bに含まれる。フレーム画像31A〜フレーム画像31Gにおける物体画像32は同一の人を示すとする。そうすると、図13に示すように、ステップS25で、フレーム画像31A〜フレーム画像31Cの物体画像32がグループ1に分類され、フレーム画像31E〜フレーム画像31Gの物体画像32がグループ2に分類される。
そして、ステップS26で、グループ1とグループ2とが1つの移動グループとして特定される。その結果、ステップS27で、部分領域34間を移動した物体の数は1とカウントされる。
映像データ30において、フレーム画像31A〜フレーム画像31Cの方が、フレーム画像31E〜フレーム画像31Gよりも前のフレーム画像31である。そのため、グループ1に属する物体画像32が含まれる部分領域34Aから、グループ2に属する物体画像32が含まれる部分領域34Bに移動したと、移動方向が特定される。
***実施の形態2の効果***
以上のように、実施の形態2に係るカウント装置10は、部分領域34間の移動を特定する。特に、カウント装置10は、部分領域34間の移動方向も特定可能である。
これにより、例えば、部分領域34を店舗の外側と内側とに設定すれば、店舗に入った人の数と、店舗から出た人の数とを精度よくカウントすることが可能である。
なお、図12及び図13の例では、部分領域34が2つだけであった。しかし、部分領域34を3つ以上にしてもよい。例えば、図14に示すように、店舗の外側と、内側の数か所に部分領域34を設定してもよい。これにより、店舗の内部のどの辺りまで来た人が何人であったかをカウントすることが可能である。
***補足***
図15に示すように、部分領域34間を繰り返し行き来する場合がある。例えば、部分領域34が店舗の外側と内側とに設定されている場合に、店舗の入口付近をふらふらと人が歩くような場合がある。
この場合、特許文献1に記載された技術では、店舗の入口の外側と内側とを行き来するたびに、繰り返しカウントされてしまう。その結果、店舗に入った人の数が現実よりも多くカウントされるといったことが起こる可能性がある。
これに対して、実施の形態2に係るカウント装置10では、部分領域34Aにいる同一の人は1つのグループになり、部分領域34Bにいる同一の人も1つのグループになる。そのため、図15に示すケースでは、部分領域34Aから部分領域34Bへの移動方向について1度だけカウントされることになる。
なお、部分領域34Aから部分領域34Bへの移動Xをしてから、部分領域34Bから部分領域34Aへの移動Yをするまでにある程度の時間が経過していたとする。また、部分領域34Bから部分領域34Aへの移動Yをしてから、部分領域34Aから部分領域34Bへの移動Zをするまでにある程度の時間が経過していたとする。
この場合には、移動X前のフレーム画像31と、移動Y後のフレーム画像31とが離れている。ステップS24では、対象のフレーム画像31と、対象のフレーム画像31の一定数前のフレーム画像31とだけしか判定対象としない。したがって、フレーム画像31が離れている場合には、ステップS24において同一の物体を示すか否かの判定対象にならない。そのため、同じ部分領域34Aにいる同一の人であっても、物体画像32Aと物体画像32Cとは、ステップS25で同一のグループに分類されない。同様に、移動Y前のフレーム画像31と、移動Z後のフレーム画像31とが離れており、ステップS24において同一の物体を示すか否かの判定対象にならない。そのため、同じ部分領域34Bにいる同一の人であっても、物体画像32Bと物体画像32Dとは、ステップS25で同一のグループに分類されない。
したがって、この場合には、部分領域34Aから部分領域34Bへの移動方向について2度カウントされ、部分領域34Bから部分領域34Aへの移動方向について1度カウントされる。
このように、ステップS24で何フレーム前のフレーム画像31とまで比較を行うかによって、部分領域34間の行き来をどのようにカウントするかを制御することができる。
実施の形態3.
実施の形態3は、映像データ30から物体の属性を特定し、特定された属性毎に物体の数をカウントする点が実施の形態1,2と異なる。実施の形態3では、この異なる点を説明し、同一の点については説明を省略する。
***動作の説明***
図16を参照して、実施の形態3に係るカウント装置10の動作を説明する。
実施の形態3に係るカウント装置10の動作は、実施の形態3に係るカウント方法に相当する。また、実施の形態3に係るカウント装置10の動作は、実施の形態3に係るカウントプログラムの処理に相当する。
ステップS31からステップS35の処理は、図2のステップS11からステップS15の処理と同じである。
(図16のステップS36:属性特定処理)
物体特定部25は、各グループを対象として、対象のグループに属する各物体画像32から物体の属性を特定する。物体特定部25は、パターンマッチングといった既存の方法により物体の属性を特定すればよい。そして、物体特定部25は、属性基準数以上の物体画像32から特定された属性を、対象のグループが示す物体の属性として特定する。
属性基準数は、事前にカウント装置10の利用者によって定められた値である。属性基準数は、小さくすると、誤った属性が特定される可能性が高くなり、大きくすると、正しい属性であるにも関わらず特定されない可能性が高くなる。
(図16のステップS37:カウント処理)
カウント部26は、ステップS36で特定された属性毎のグループの数を、属性毎の物体の数としてカウントする。
***実施の形態3の効果***
以上のように、実施の形態3に係るカウント装置10は、物体の属性を特定して、属性毎の物体の数をカウントする。
これにより、例えば、店舗に入った人の分析等をより詳細に行うことが可能である。
なお、上記説明では、実施の形態1に機能を追加した場合を説明する。しかし、実施の形態2に機能を追加することも可能である。実施の形態2に機能を追加した場合には、属性毎及び移動方向毎の物体の数をカウントすることが可能である。
実施の形態4.
実施の形態4は、同一の物体を示す物体画像32であるかの判定方法が実施の形態1〜3と異なる。つまり、実施の形態4は、同定処理(図2のステップS14等)が異なる。実施の形態4では、この異なる点を説明し、同一の点については説明を省略する。
ここでは、実施の形態1の同定処理を変更した場合を説明するが、実施の形態2,3についても同様に変更を行うことが可能である。
***動作の説明***
図17及び図18を参照して、実施の形態4に係るカウント装置10の動作を説明する。
実施の形態4に係るカウント装置10の動作は、実施の形態4に係るカウント方法に相当する。また、実施の形態4に係るカウント装置10の動作は、実施の形態4に係るカウントプログラムの処理に相当する。
(図17のステップS41:基準比較処理)
同定部24は、各物体画像32を対象として、対象の物体画像32と基準画像との差分量を計算する。差分量は、具体例としては、画像局所特徴量の近さである。基準画像は、事前に用意された画像であり、対象の物体を示す参考画像である。例えば、対象の物体が人の場合には、人の画像である。基準画像は複数用意されていてもよい。例えば、対象の物体が人の場合には、男の人の画像と女の人の画像というように、属性毎の基準画像が用意されていてもよい。基準画像が複数用意されている場合には、同定部24は、各物体画像32を対象として、対象の物体画像32と、複数の基準画像それぞれとの差分量を計算する。
(図17のステップS42:差分量比較処理)
同定部24は、異なるフレーム画像31から切り出され、かつ、ステップS13で物体画像32が対象領域33に含まれると判定された物体画像32間で、ステップS41で計算された差分量を比較する。基準画像が複数用意されている場合には、同定部24は、物体画像32間で各基準画像について計算された差分量を比較する。
これにより、同定部24は、同一の物体を示す物体画像32を特定する。例えば、同定部24は、差分量の差が基準値以内であれば、比較対象の2つの物体画像32が同一の物体を示すと判定する。
図18を参照して具体例を説明する。ここでは、基準画像X1と基準画像X2との2つの基準画像が用意されているとする。
同定部24は、物体画像32Aと基準画像X1との差分量DA1と、物体画像32Aと基準画像X2との差分量DA2とを計算する。同様に、同定部24は、物体画像32Bと基準画像X1との差分量DB1と、物体画像32Bと基準画像X2との差分量DB2とを計算する。図18では、差分量を0以上1以下の値に正規化している。
同定部24は、差分量DA1と差分量DB1との差S1と、差分量DA2と差分量DB2との差S2とを計算する。同定部24は、差S1と差S2との合計値を計算する。同定部24は、合計値が基準値以内であれば、比較対象の2つの物体画像32が同一の物体を示すと判定する。
***実施の形態4の効果***
以上のように、実施の形態4に係るカウント装置10は、基準画像との差分量を比較することにより、同一の物体を示す物体画像32であるか判定する。
画像同士の比較処理は処理量が多く、計算時間がかかる。そのため、実施の形態1で説明した同定処理は、各フレーム画像31に含まれる物体画像32の数が多い場合と、比較を行うフレーム画像31が多い場合とには、画像同士の比較回数が多くなり、計算時間がかかる。これに対して、実施の形態4で説明した同定処理では、これらの場合における画像同士の比較回数を少なくすることができ、計算時間を短くすることができる。
***他の構成***
<変形例7>
実施の形態1及び実施の形態4では、画像局所特徴量を用いて物体画像32を比較した。これに限らず、物体画像32の大きさや、物体画像32の色の分布で同定処理を行っていもよい。例えば対象の物体が人の場合には、持ち物と衣服と等が一致するかといった情報を参照して、同一であるか否かを判定してもよい。
またフレーム画像31の時間的な間隔が一定以上に狭い場合、物体画像32の位置が近ければ(距離が狭ければ)、同一であるか否かを判定してもよい。
10 カウント装置、11 プロセッサ、12 メモリ、13 ストレージ、14 通信インタフェース、15 電子回路、21 映像取得部、22 切出部、23 領域判定部、24 同定部、25 物体特定部、251 領域特定部、252 移動特定部、26
カウント部、30 映像データ、31 フレーム画像、32 物体画像、33 対象領域、34 部分領域。

Claims (8)

  1. 映像データを構成する複数のフレーム画像それぞれから対象とする物体を含む領域の画像を物体画像として切り出す切出部と、
    前記切出部によって切出された前記物体画像が、前記映像データにおける対象領域に含まれるか否かを判定する領域判定部と、
    前記切出部によって前記映像データを構成する異なるフレーム画像から切り出され、かつ、前記領域判定部によって前記物体画像が前記対象領域に含まれると判定された物体画像間で、同一の物体を示す物体画像を特定する同定部と、
    前記同定部によって同一の物体を示すと判定された物体画像が1つのグループに属するようにグループ分けして、属する物体画像の数が対象基準数以上のグループを前記対象領域に存在する物体を示すグループとして特定する物体特定部と、
    前記物体特定部によって特定された物体を示すグループの数を、前記対象領域に存在する物体の数としてカウントするカウント部と
    を備えるカウント装置。
  2. 前記映像データには、前記対象領域として複数の部分領域が含まれ、
    前記物体特定部は、
    同一の物体を示すと判定され、かつ、同一の部分領域に含まれる物体画像が1つのグループに属するようにグループ分けして、各部分領域を対象として、属する物体画像の数が対象基準数以上のグループを対象の部分領域に存在する物体を示すグループとして特定する領域特定部と、
    前記領域特定部によって特定されたグループのうち、同一の物体を示すと判定された物体画像のグループであって、異なる部分領域に存在する物体を示すグループを、部分領域間を移動した物体を示す1つの移動グループとして特定する移動特定部と
    を備え、
    前記カウント部は、前記移動特定部によって特定された移動グループの数を、部分領域間を移動した物体の数としてカウントする
    請求項1に記載のカウント装置。
  3. 前記移動特定部は、グループに属する物体画像が切り出されたフレーム画像の前記映像データにおける前後関係から、前記物体の部分領域間の移動方向を特定し、
    前記カウント部は、前記移動方向毎に移動した物体の数としてカウントする
    請求項2に記載のカウント装置。
  4. 前記物体特定部は、各グループを対象として、対象のグループに属する各物体画像から物体の属性を特定し、属性基準数以上の物体画像から特定された属性を、対象のグループが示す物体の属性として特定し、
    前記カウント部は、前記物体特定部によって特定された属性毎のグループの数を、属性毎の物体の数としてカウントする
    請求項1に記載のカウント装置。
  5. 前記同定部は、各物体画像を対象として、対象の物体画像と基準画像との差分量を計算して、異なるフレーム画像から切り出され、かつ、前記領域判定部によって前記物体画像が前記対象領域に含まれると判定された物体画像間で前記差分量を比較することにより、同一の物体を示す物体画像を特定する
    請求項1から4までのいずれか1項に記載のカウント装置。
  6. 前記同定部は、各物体画像を対象として、対象の物体画像と、複数の基準画像それぞれとの差分量を計算して、前記物体画像間で各基準画像について計算された差分量を比較することにより、同一の物体を示す物体画像を特定する
    請求項5に記載のカウント装置。
  7. 前記切出部は、異なる位置から前記対象領域を含む領域を撮影する複数の撮影装置によって得られた複数の映像データそれぞれを構成する複数のフレーム画像それぞれから物体画像を切り出す
    請求項1から6までのいずれか1項に記載のカウント装置。
  8. 映像データを構成する複数のフレーム画像それぞれから対象とする物体を含む領域の画像を物体画像として切り出す切出処理と、
    前記切出処理によって切出された前記物体画像が、前記映像データにおける対象領域に含まれるか否かを判定する領域判定処理と、
    前記切出処理によって前記映像データを構成する異なるフレーム画像から切り出され、かつ、前記領域判定処理によって前記物体画像が前記対象領域に含まれると判定された物体画像間で、同一の物体を示す物体画像を特定する同定処理と、
    前記同定処理によって同一の物体を示すと判定された物体画像が1つのグループに属するようにグループ分けして、属する物体画像の数が対象基準数以上のグループを前記対象領域に存在する物体を示すグループとして特定する物体特定処理と、
    前記物体特定処理によって特定された物体を示すグループの数を、前記対象領域に存在する物体の数としてカウントするカウント処理と
    をコンピュータに実行させるカウントプログラム。
JP2017185537A 2017-09-27 2017-09-27 カウント装置及びカウントプログラム Active JP6412625B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017185537A JP6412625B1 (ja) 2017-09-27 2017-09-27 カウント装置及びカウントプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017185537A JP6412625B1 (ja) 2017-09-27 2017-09-27 カウント装置及びカウントプログラム

Publications (2)

Publication Number Publication Date
JP6412625B1 true JP6412625B1 (ja) 2018-10-24
JP2019061497A JP2019061497A (ja) 2019-04-18

Family

ID=63920634

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017185537A Active JP6412625B1 (ja) 2017-09-27 2017-09-27 カウント装置及びカウントプログラム

Country Status (1)

Country Link
JP (1) JP6412625B1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010250571A (ja) * 2009-04-16 2010-11-04 Mitsubishi Electric Corp 人物計数装置
JP2014229068A (ja) * 2013-05-22 2014-12-08 株式会社 日立産業制御ソリューションズ 人数計測装置および人物動線解析装置
JP2017097510A (ja) * 2015-11-20 2017-06-01 ソニー株式会社 画像処理装置と画像処理方法およびプログラム
WO2018003093A1 (ja) * 2016-06-30 2018-01-04 三菱電機インフォメーションシステムズ株式会社 人数推定装置、人数推定プログラム及び通過数推定装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010250571A (ja) * 2009-04-16 2010-11-04 Mitsubishi Electric Corp 人物計数装置
JP2014229068A (ja) * 2013-05-22 2014-12-08 株式会社 日立産業制御ソリューションズ 人数計測装置および人物動線解析装置
JP2017097510A (ja) * 2015-11-20 2017-06-01 ソニー株式会社 画像処理装置と画像処理方法およびプログラム
WO2018003093A1 (ja) * 2016-06-30 2018-01-04 三菱電機インフォメーションシステムズ株式会社 人数推定装置、人数推定プログラム及び通過数推定装置

Also Published As

Publication number Publication date
JP2019061497A (ja) 2019-04-18

Similar Documents

Publication Publication Date Title
US10192107B2 (en) Object detection method and object detection apparatus
Hannuna et al. DS-KCF: a real-time tracker for RGB-D data
KR102316056B1 (ko) 화상 처리장치, 화상 처리방법 및 프로그램
JP2017531883A (ja) 画像の主要被写体を抽出する方法とシステム
US10079974B2 (en) Image processing apparatus, method, and medium for extracting feature amount of image
CN108765315B (zh) 图像补全方法、装置、计算机设备及存储介质
WO2019119396A1 (zh) 人脸表情识别方法及装置
WO2018058530A1 (zh) 目标检测方法、装置以及图像处理设备
CN105095853A (zh) 图像处理装置及图像处理方法
CN106529388A (zh) 信息处理装置及其控制方法
KR102421604B1 (ko) 이미지 처리 방법, 장치 및 전자 기기
JP2018045302A (ja) 情報処理装置、情報処理方法及びプログラム
CN110472561B (zh) 足球进球类型识别方法、装置、系统及存储介质
JP7014005B2 (ja) 画像処理装置及び方法、電子機器
KR20190018274A (ko) 이미지에 포함된 특징 포인트의 시간 또는 공간의 움직임에 기초하여 이미지에 존재하는 피사체를 인식하는 장치 및 방법
WO2018058573A1 (zh) 对象检测方法、对象检测装置以及电子设备
JP6412625B1 (ja) カウント装置及びカウントプログラム
US10839552B2 (en) Image processing apparatus, tracking method, and program
KR102002533B1 (ko) 동영상으로부터 보행자를 검출하기 위한 방법 및 이를 수행하기 위한 장치
JPWO2019163699A1 (ja) 特徴抽出方法、照合システム、およびプログラム
US20200226767A1 (en) Tracking apparatus and computer readable medium
JP6660501B1 (ja) データ抽出装置、データ抽出方法及びデータ抽出プログラム
JP2023161956A (ja) 物体追跡装置、物体追跡方法、及びプログラム
TW202303451A (zh) 指甲識別方法、裝置、設備及儲存媒體
US20200020090A1 (en) 3D Moving Object Point Cloud Refinement Using Temporal Inconsistencies

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180911

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180928

R150 Certificate of patent or registration of utility model

Ref document number: 6412625

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250