JP6331270B2 - Information processing system, information processing method, and program - Google Patents
Information processing system, information processing method, and program Download PDFInfo
- Publication number
- JP6331270B2 JP6331270B2 JP2013120197A JP2013120197A JP6331270B2 JP 6331270 B2 JP6331270 B2 JP 6331270B2 JP 2013120197 A JP2013120197 A JP 2013120197A JP 2013120197 A JP2013120197 A JP 2013120197A JP 6331270 B2 JP6331270 B2 JP 6331270B2
- Authority
- JP
- Japan
- Prior art keywords
- person
- posture
- information processing
- foot position
- processing system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Description
本発明に係るいくつかの態様は、情報処理システム、情報処理方法及びプログラムに関する。 Some embodiments according to the present invention relate to an information processing system, an information processing method, and a program.
近年、例えば監視カメラ等で撮影した映像を分析する種々の技術が提案されている。例えば特許文献1は、背景差分により検出された前景領域の人物の外接矩形の中心点(基準点)を算出した上で、基準点を時刻順に結ぶことにより動線を生成する方式を開示している。この方式では、しゃがみ状態や手のばし状態などの人物の状態を人物の外接矩形の時間変化から判定した上で、その状態に応じて、過去の外接矩形の値を参照して基準点を算出している。
また、他の関連技術が、特許文献2及び特許文献3に開示されている。
In recent years, for example, various techniques for analyzing video captured by a surveillance camera or the like have been proposed. For example, Patent Document 1 discloses a method of generating a flow line by connecting the reference points in time order after calculating the center point (reference point) of the circumscribed rectangle of the person in the foreground area detected by the background difference. Yes. In this method, a person's state such as a crouching state or a hand-running state is determined from a temporal change of the circumscribed rectangle of the person, and a reference point is calculated by referring to a value of a past circumscribed rectangle according to the state. ing.
Other related techniques are disclosed in Patent Document 2 and Patent Document 3.
しかしながら、上述の特許文献1に記載の方式では、背景差分から得られる人物矩形はノイズや照明変動などの環境要因の変化の影響を受けやすいため、人物の状態を安定して判定するのが困難である。また、特許文献1記載の方式では、人物位置(基準点)の算出の際に、状態変化が発生する直前の状態で基準点が正確にとれていることを仮定した上で、状態変化の直前の座標値を用いて状態変化時の基準点を求めている。このため、例えば人物が重なった状態からしゃがみ状態に移行した場合など、状態変化の前に人物矩形が正しく求まっていない場合には、精度が大きく低下するという課題がある。 However, in the method described in Patent Document 1 described above, since the person rectangle obtained from the background difference is easily affected by changes in environmental factors such as noise and illumination fluctuations, it is difficult to stably determine the state of the person. It is. Further, in the method described in Patent Document 1, it is assumed that the reference point is accurately taken in the state immediately before the state change occurs when calculating the person position (reference point), and immediately before the state change. The reference point at the time of state change is obtained using the coordinate value of. For this reason, for example, when the person rectangle is not correctly obtained before the state change, for example, when the person transitions from the overlapping state to the squatting state, there is a problem that the accuracy is greatly reduced.
本発明のいくつかの態様は前述の課題に鑑みてなされたものであり、好適に人物の位置を推定することのできる情報処理システム、情報処理方法及びプログラムを提供することを目的の1つとする。 Some aspects of the present invention have been made in view of the above-described problems, and an object thereof is to provide an information processing system, an information processing method, and a program capable of suitably estimating the position of a person. .
本発明に係る情報処理システムは、映像を構成する画像フレーム中から人物領域を検出する手段と、前記人物領域が、前記画像フレーム中の姿勢変動領域に含まれる場合に姿勢を判定する判定手段と、前記人物領域に含まれる人物の姿勢が起立状態か否かに基づき、前記画像フレームを用いて人物の足元位置を算出する算出手段とを備える。 An information processing system according to the present invention includes means for detecting a person area from an image frame constituting a video, and determination means for determining a posture when the person area is included in a posture variation area in the image frame. Calculating means for calculating a foot position of the person using the image frame based on whether or not the posture of the person included in the person area is in a standing state.
本発明に係る情報処理方法は、映像を構成する画像フレーム中から人物領域を検出するステップと、前記人物領域が、前記画像フレーム中の姿勢変動領域に含まれる場合に姿勢を判定するステップと、前記人物領域に含まれる人物の姿勢が起立状態か否かに基づき、前記画像フレームを用いて人物の足元位置を算出するステップとを備える。 The information processing method according to the present invention includes a step of detecting a person area from an image frame constituting a video, a step of determining a posture when the person area is included in a posture variation area in the image frame, Calculating a foot position of the person using the image frame based on whether or not the posture of the person included in the person region is in an upright state.
本発明に係るプログラムは、映像を構成する画像フレーム中から人物領域を検出する処理と、前記人物領域が、前記画像フレーム中の姿勢変動領域に含まれる場合に姿勢を判定する処理と、前記人物領域に含まれる人物の姿勢が起立状態か否かに基づき、前記画像フレームを用いて人物の足元位置を算出する処理とをコンピュータに実行させる。 The program according to the present invention includes a process for detecting a person area from an image frame constituting a video, a process for determining a posture when the person area is included in a posture variation area in the image frame, and the person Based on whether or not the posture of the person included in the region is in the standing state, the computer is caused to execute a process of calculating the foot position of the person using the image frame.
なお、本発明において、「部」や「手段」、「装置」、「システム」とは、単に物理的手段を意味するものではなく、その「部」や「手段」、「装置」、「システム」が有する機能をソフトウェアによって実現する場合も含む。また、1つの「部」や「手段」、「装置」、「システム」が有する機能が2つ以上の物理的手段や装置により実現されても、2つ以上の「部」や「手段」、「装置」、「システム」の機能が1つの物理的手段や装置により実現されても良い。 In the present invention, “part”, “means”, “apparatus”, and “system” do not simply mean physical means, but “part”, “means”, “apparatus”, “system”. This includes the case where the functions possessed by "are realized by software. Further, even if the functions of one “unit”, “means”, “apparatus”, and “system” are realized by two or more physical means or devices, two or more “parts” or “means”, The functions of “device” and “system” may be realized by a single physical means or device.
本発明によれば、好適に人物の位置を推定することのできる情報処理システム、情報処理方法及びプログラムを提供することができる。 According to the present invention, it is possible to provide an information processing system, an information processing method, and a program that can preferably estimate the position of a person.
以下に本発明の実施形態を説明する。以下の説明及び参照する図面の記載において、同一又は類似の構成には、それぞれ同一又は類似の符号が付されている。 Embodiments of the present invention will be described below. In the following description and the description of the drawings to be referred to, the same or similar components are denoted by the same or similar reference numerals.
(1 第1実施形態)
図1乃至図4は、第1実施形態を説明するための図である。以下、これらの図を参照しながら、以下の流れに沿って本実施形態を説明する。まず、「1.1」において、本実施形態の概観を説明する。次に、「1.2」でシステムの機能構成の概要を、「1.3」で処理の流れを説明する。「1.4」では、本実施形態に係る情報処理システムを実現可能なハードウェア構成の具体例を示す。最後に、「1.5」以降で、本実施形態に係る効果等を説明する。
(1 First Embodiment)
1 to 4 are diagrams for explaining the first embodiment. Hereinafter, the present embodiment will be described along the following flow with reference to these drawings. First, in “1.1”, an overview of the present embodiment will be described. Next, an overview of the functional configuration of the system is described in “1.2”, and a processing flow is described in “1.3”. “1.4” shows a specific example of a hardware configuration capable of realizing the information processing system according to the present embodiment. Finally, the effects and the like according to the present embodiment will be described after “1.5”.
(1.1 概要)
本実施形態は、例えば、監視カメラなどのビデオカメラで撮影された映像から、実空間における人物の足元の位置(座標)を特定する情報処理システムに関するものである。特に、本実施形態に係る情報処理システムは、人物がしゃがんだり屈んだりした場合であっても、人物の足元の位置を好適に検出できるようにする。
(1.1 Overview)
The present embodiment relates to an information processing system that specifies the position (coordinates) of a person's feet in real space from, for example, video captured by a video camera such as a surveillance camera. In particular, the information processing system according to the present embodiment can suitably detect the position of a person's feet even when the person squats down or crouches.
例えば、店舗内などを撮影する監視カメラの映像から人物を抽出する方法としては、例えば、人物の頭部を検知した上で、その結果と人物の身長情報とから、実空間における足元の位置を推定する方法が考えられる。しかしながら、この手法では、人物がしゃがんだり屈んだりすることにより姿勢が変動すると、追跡位置がずれやすいという課題がある。 For example, as a method of extracting a person from a video of a surveillance camera that captures the inside of a store or the like, for example, after detecting the head of the person, the position of the foot in the real space is determined from the result and the height information of the person. An estimation method can be considered. However, with this method, there is a problem that the tracking position tends to shift when the posture changes due to the person squatting or bending.
図1を参照しながら、この点を説明する。図1は、ビデオカメラCで、人物Pを撮影している。ここで、人物Pは位置Lでしゃがんでいる。もし、ビデオカメラCの映像で、姿勢を考慮せずに、単純に頭部の位置を元に足元を推定する手法を用いると、起立姿勢の人物P’の位置L’を、人物Pの位置として推測してしまう可能性がある。つまり、人物Pがしゃがむことにより、実際の位置Lから推定位置L’までの距離に相当する推定ずれが生じてしまう。このように、人物の推定位置がずれてしまうと、例えば、店舗内の顧客の動線分析において、各棚に滞在した時間を推定したい場合などに、正しい時間や場所を求めることができなくなる。 This point will be described with reference to FIG. In FIG. 1, a video camera C is used to photograph a person P. Here, the person P is crouching at the position L. If a method of simply estimating the foot based on the position of the head in the video of the video camera C without considering the posture is used, the position L ′ of the person P ′ in the standing posture is changed to the position of the person P. As you might guess. That is, when the person P squats down, an estimated deviation corresponding to the distance from the actual position L to the estimated position L ′ occurs. Thus, if the estimated position of the person is shifted, for example, when it is desired to estimate the time spent on each shelf in the flow analysis of the customer in the store, the correct time and place cannot be obtained.
そこで本実施形態に係る情報処理システムでは、人物の姿勢状態を判定した上で、しゃがみ(屈みも同様である。以下、しゃがみ及び屈みを纏めて「しゃがみ」という。)姿勢である場合には(起立姿勢ではない場合には)、人物の身長情報を用いずに、足元位置を推定する。また、人物の姿勢状態の判定で誤検知が生じた場合の影響を抑えるために、予め人物がしゃがみやすい領域を事前に指定した上で、当該領域内で人物のしゃがみが判定された場合に、推定足元位置を補正する。 Therefore, in the information processing system according to the present embodiment, after determining the posture state of the person, the squatting (the same applies to the bending. Hereinafter, the squatting and the bending are collectively referred to as “squatting”) ( If it is not a standing posture, the foot position is estimated without using the height information of the person. In addition, in order to suppress the influence when a false detection occurs in the determination of the posture state of a person, when a person squatting is determined in advance after specifying an area in which the person is likely to squat in advance, Correct the estimated foot position.
(1.2 システム概要)
以下、図2を参照しながら、本実施形態に係る情報処理システム100のシステム構成を説明する。図2は、情報処理システム100のシステム構成を示すブロック図である。情報処理システム100は、入力部101、人物検出部103、姿勢変動判定部105、姿勢変動適用領域情報107、足元位置算出部109及び出力部111を含む。
(1.2 System overview)
Hereinafter, the system configuration of the
入力部101は、例えば、図示しない監視カメラや、監視カメラが撮影した映像を記録した記憶媒体から、映像の入力を受ける。入力部101は、入力された映像を、画像フレームごとに、人物検出部103、姿勢変動判定部105、及び足元位置算出部109へと出力する。
The
人物検出部103は、入力された映像から人物を検出することにより、人物検出情報を出力する。ここで、人物検出部103は、例えば、画像に対して頭部検出や顔検出、上半身検出により、人物を検出する。ここで、頭部や顔、上半身等は、それぞれ画像内の色や形状等に基づいて検出することができる。人物検出部103が出力する人物検出情報は、例えば、検出された人物の、画像内の位置情報(例えば、人物領域を含む矩形情報)を含む。
The
姿勢変動判定部105は、入力部101から出力された人物検出情報に含まれる各人物領域に対して、姿勢変動を検知する(屈み姿勢(しゃがみ姿勢)であるか否かを検知する)。この際、姿勢変動判定部105は、人物検出情報だけから姿勢を判定するのではなく、入力部101から入力された映像も用いて姿勢変動を検知する。姿勢変動判定部105による姿勢検知方法としては、例えば、予め様々な人物の姿勢を学習させた識別器を構築した上で、これを映像内の処理対象とする画像フレームにおける人物領域近傍に適用することで、人物領域に映る人物がしゃがみ姿勢かどうか(起立姿勢かどうか)を判定することができる。この識別器の構築は、例えば、予め検出対象となる姿勢の人物の画像とそれ以外の画像を収集した上で、当該画像自体をニューラルネットワークで学習させる方式や、収集した画像から輝度勾配特徴などの特徴量を抽出した上で、当該特徴量をSVM(Support Vector Machine)やGLVQ(Generalized Learning Vector Quantization)などの識別器に学習させる方式などにより実現できる。姿勢変動判定部105は、姿勢判定結果を、姿勢変動検知情報として、足元位置算出部109へと出力する。
The posture
なお、人物領域の一部が、遮蔽物によって遮蔽されている場合などの理由で、姿勢の検知で誤検知が発生すると、人物の足元位置算出に大きな影響を与える場合がある。そこで、本実施形態に係る情報処理システム100では、姿勢変動検知を適用する画像領域を予め指定した姿勢変動適用領域情報107が設定されている。姿勢変動判定部105は、入力された映像に係る画像フレームのうち、当該姿勢変動適用領域情報107で指定された姿勢変動適用領域に対して、人物の姿勢を判定する。
Note that if a detection error occurs during posture detection, for example, when a part of the person area is shielded by an obstacle, it may greatly affect the calculation of the person's foot position. In view of this, in the
なお、本実施形態において、姿勢変動判定部105は、画像フレーム毎にしゃがみ検知を行う。しかしながら、人物がしゃがみ姿勢にある場合であっても、全てのフレームにおいて正しくしゃがみ検出がなされるとは限らず、しゃがみ検出されない可能性もある。そこで、図3に示すように、姿勢変動判定部105は、ある画像フレームでしゃがみ検出がなされたら(図3の場合、時刻t1、t2及びt3の3回しゃがみ姿勢が検出されている)、その後、予め定められた時間Tの間、しゃがみ姿勢が続いているものと判定することもできる。その場合、姿勢変動判定部105は、最後のしゃがみ姿勢の検出(図3中、時刻t3)から一定期間(時間T)は、しゃがみが継続していると判別することもできる。
In this embodiment, the posture
足元位置算出部109は、入力部101から入力された映像の画像フレームと、人物検出部103から出力された人物検出情報と、姿勢変動判定部105から出力された姿勢変動検知情報とを用いて、実空間における人物の足元位置を推定する。足元位置算出部109は、推定した人物の実空間における足元位置を、出力部111へと出力する。
The foot
より具体的には、人物が起立状態にある場合には(しゃがみ姿勢が検出されていない場合には)、足元位置算出部109は、人物検出情報に含まれる、例えば、頭部検知の結果で得られた頭頂の位置情報と、検知された人物に係る人物画像の動的な解析により得られる、人物に対して与えられる身長情報とを用いて人物の足元位置を推定する。この際、身長から画像上の見かけの長さを算出する必要があるが、これは、カメラキャリブレーションにより得られるカメラパラメータを用いて算出できる。
More specifically, when the person is standing (when the squatting posture is not detected), the foot
一方、人物がしゃがみ状態にあると検知された場合には、足元位置算出部109は、画像解析により、人物の足元位置を推定する。このとき、足元位置算出部109は、背景画像(人物が映っていない画像)と処理対象の人物が映った画像との差分を取った上で、その差分に係る下端を足元位置としても良い。しかしながら、人物の足元に映る影の影響で、足元位置が正しく求められない場合も多い。そこで、様々なしゃがみ姿勢の人物の足元の画像を学習させることにより生成した足元検出器を用いて画像内の足元位置を検知することも考えられる。この時足元検出器は、たとえば、頭頂の位置から足元が存在する画像領域を推定した上で、当該足元領域に足元検出器を適用することにより、足元の位置を検出する。この時、人物がしゃがんでいる場合には、身長から推定される足元の位置が大きくずれる場合が多いため、足元位置算出部109は、起立している場合よりも広い範囲を足元領域として探索するようにしても良い。なお、足元検出器も、しゃがみ姿勢を検出する検出器と同様に、ニューラルネットワークやSVMなどの識別器に足元領域の画像や当該画像の特徴量を学習させることによって構築できる。
On the other hand, when it is detected that the person is in a squatting state, the foot
出力部111は、足元位置算出部109による、映像に映る各人物の、各画像フレームにおける実空間上の足元位置の算出結果を出力する。出力部111による人物位置算出結果の出力先としては、例えば、表示装置や、HDD(Hard Disk Drive)等の記憶媒体などが考えられる。
The
(1.3 処理の流れ)
次に、情報処理システム100の処理の流れを、図4を参照しながら説明する。図4は、本実施形態に係る情報処理システム100の処理の流れを示すフローチャートである。
(1.3 Process flow)
Next, a processing flow of the
なお、後述の各処理ステップは、処理内容に矛盾を生じない範囲で、任意に順番を変更して若しくは並列に実行することができ、また、各処理ステップ間に他のステップを追加しても良い。更に、便宜上1つのステップとして記載されているステップは複数のステップに分けて実行することもでき、便宜上複数に分けて記載されているステップを1ステップとして実行することもできる。 Each processing step to be described later can be executed in any order or in parallel as long as there is no contradiction in processing contents, and other steps can be added between the processing steps. good. Further, a step described as a single step for convenience can be executed by being divided into a plurality of steps, and a step described as being divided into a plurality of steps for convenience can be executed as one step.
入力部101は、例えば監視カメラや、監視カメラの映像を記憶する記憶媒体から、映像の入力を受ける(S401)。入力部101は、当該映像を構成する画像フレームを、順次人物検出部103、姿勢変動判定部105、及び足元位置算出部109へと出力する。
The
人物検出部103は、入力部101から入力を受けた画像フレームの中から、人物を検出する(S403)。前述の通り、人物の検出方法としては、頭部検出や上半身検出、顔検出等が考えられる。
The
姿勢変動判定部105は、検出された人物が、画像フレーム内の姿勢変動適用領域にいるか否かを判別する(S405)。その結果、人物が姿勢変動適用領域内にいる場合には(S405のYes)、姿勢変動判定部105は、当該人物の姿勢を検出する(S407)。その結果、もし対象人物が起立状態にある(しゃがみ状態ではない)と判別された場合には(S409のYes)、足元位置算出部109は、頭部の位置と、当該人物の身長情報とを元に、人物の実世界での足元位置を算出する(S411)。S405において、人物の位置が姿勢変動適用領域ではないと判別された場合(S405のNo)においても同様である。
The posture
一方、もし、人物がしゃがみ状態にある(起立状態ではない)と判別された場合には(S409のNo)、足元位置算出部109は、例えば上述した方法により、画像フレームから足元位置の推定を行う(S413)。
On the other hand, if it is determined that the person is crouching (not standing) (No in S409), the foot
(1.4 ハードウェア構成)
以下、図5を参照しながら、上述してきた情報処理システム100をコンピュータにより実現する場合のハードウェア構成の一例を説明する。なお、情報処理システム100の機能は、複数の情報処理装置により実現することも可能である。
(1.4 Hardware configuration)
Hereinafter, an example of a hardware configuration when the
図5に示すように、情報処理システム100は、プロセッサ501、メモリ503、記憶装置505、入力インタフェース(I/F)507、データI/F509、通信I/F511、及び表示装置513を含む。
As illustrated in FIG. 5, the
プロセッサ501は、メモリ503に記憶されているプログラムを実行することにより情報処理システム100における様々な処理を制御する。例えば、図2で説明した入力部101、人物検出部103、姿勢変動判定部105、足元位置算出部109、及び出力部111に係る処理は、メモリ503に一時記憶された上で主にプロセッサ501上で動作するプログラムとして実現可能である。
The
メモリ503は、例えばRAM(Random Access Memory)等の記憶媒体である。メモリ503は、プロセッサ501によって実行されるプログラムのプログラムコードや、プログラムの実行時に必要となるデータを一時的に記憶する。例えば、メモリ503の記憶領域には、プログラム実行時に必要となるスタック領域が確保される。
The
記憶装置505は、例えばハードディスクやフラッシュメモリ等の不揮発性の記憶媒体である。記憶装置505は、オペレーティングシステムや、入力部101、人物検出部103、姿勢変動判定部105、足元位置算出部109、及び出力部111を実現するための各種プログラムや、各種データ等を記憶する。記憶装置505に記憶されているプログラムやデータは、必要に応じてメモリ503にロードされることにより、プロセッサ501から参照される。
The
入力I/F507は、ユーザからの入力を受け付けるためのデバイスである。図2で説明した姿勢変動適用領域情報107は、入力I/F507によりユーザから入力を受けてもよい。入力I/F507の具体例としては、キーボードやマウス、タッチパネル等が挙げられる。入力I/F507は、例えばUSB(Universal Serial Bus)等のインタフェースを介して情報処理システム100に接続されても良い。
The input I /
データI/F509は、情報処理システム100の外部からデータを入力するためのデバイスである。データI/F509の具体例としては、各種記憶媒体に記憶されているデータを読み取るためのドライブ装置等がある。データI/F509は、情報処理システム100の外部に設けられることも考えられる。その場合、データI/F509は、例えばUSB等のインタフェースを介して情報処理システム100へと接続される。
The data I /
通信I/F511は、情報処理システム100の外部の装置、例えば監視カメラ等との間で有線又は無線によりデータ通信するためのデバイスである。通信I/F511は情報処理システム100の外部に設けられることも考えられる。その場合、通信I/F511は、例えばUSB等のインタフェースを介して情報処理システム100に接続される。
The communication I /
表示装置513は、各種情報を表示するためのデバイスである。表示装置513の具体例としては、例えば液晶ディスプレイや有機EL(Electro−Luminescence)ディスプレイ等が挙げられる。表示装置513は、情報処理システム100の外部に設けられても良い。その場合、表示装置513は、例えばディスプレイケーブル等を介して情報処理システム100に接続される。
The
(1.5 本実施形態に係る効果)
以上説明したように、本実施形態に係る情報処理システム100では、映像に映る人物の姿勢を検知した上で、しゃがみ姿勢にあるか否か(起立姿勢か否か)に基づいて、人物の足元位置の算出方法を変えている。これにより、好適に人物の位置を推定することができる。
また、本実施形態に係る情報処理システム100では、人物の検出結果だけではなく映像も用いて人物の姿勢を判定し、さらに、足元位置も別途画像から検出している。これにより、外的な環境変動があった場合であっても高精度な位置推定が可能となる。
(1.5 Effects according to this embodiment)
As described above, in the
Further, in the
(2 第2実施形態)
以下、第2実施形態を、図6を参照しながら説明する。図6は、情報処理システム600の機能構成を示すブロック図である。図6に示すように、情報処理システム600は、検知部610と、判定部620と、算出部630とを含む。
検知部610は、映像を構成する画像フレーム中から人物領域を検出する。
判定部620は、人物領域に含まれる人物の姿勢を判定する。
算出部630は、人物の姿勢が起立状態か否かに基づき、画像フレームを用いて人物の足元位置を算出する。
このように実装することで、本実施形態に係る情報処理システム600では、好適に人物の位置を推定することができる。
(2 Second Embodiment)
The second embodiment will be described below with reference to FIG. FIG. 6 is a block diagram illustrating a functional configuration of the
The
The
The
By mounting in this way, the
(3 付記事項)
なお、前述の実施形態の構成は、組み合わせたり或いは一部の構成部分を入れ替えたりしてもよい。また、本発明の構成は前述の実施形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加えてもよい。
(3 Additional notes)
Note that the configurations of the above-described embodiments may be combined or some of the components may be replaced. The configuration of the present invention is not limited to the above-described embodiment, and various modifications may be made without departing from the scope of the present invention.
なお、前述の各実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。また、本発明のプログラムは、上記の各実施形態で説明した各動作を、コンピュータに実行させるプログラムであれば良い。 A part or all of each of the above-described embodiments can be described as in the following supplementary notes, but is not limited thereto. Moreover, the program of this invention should just be a program which makes a computer perform each operation | movement demonstrated in said each embodiment.
(付記1)
映像を構成する画像フレーム中から人物領域を検出する手段と、前記人物領域に含まれる人物の姿勢を判定する判定手段と、前記人物の姿勢が起立状態か否かに基づき、前記画像フレームを用いて前記人物の足元位置を算出する算出手段とを備える情報処理システム。
(Appendix 1)
Using the image frame based on means for detecting a person area from image frames constituting the video, determination means for determining the posture of the person included in the person area, and whether or not the posture of the person is standing An information processing system comprising: a calculating means for calculating a foot position of the person.
(付記2)
前記判定手段は、前記人物領域が前記画像フレーム中の姿勢変動領域に含まれる場合に、人物の姿勢を判定する、付記1記載の情報処理システム。
(Appendix 2)
The information processing system according to supplementary note 1, wherein the determination unit determines a posture of a person when the person region is included in a posture variation region in the image frame.
(付記3)
前記算出手段は、前記人物領域が予め定められた領域にあり、前記人物領域に含まれる人物の姿勢が起立状態にあるか否かに基づき、人物の足元位置を算出する、付記1又は付記2記載の情報処理システム。
(Appendix 3)
The calculation means calculates the foot position of the person based on whether the person area is in a predetermined area and the posture of the person included in the person area is in an upright state. The information processing system described.
(付記4)
前記算出手段は、前記人物領域に含まれる人物が起立状態でないと判定された場合に、一定期間、当該人物を起立状態にないものとして、足元位置を算出する、付記1乃至付記3のいずれか1項記載の情報処理システム。
(Appendix 4)
Any one of appendix 1 to appendix 3, wherein when the person included in the person area is determined not to be in a standing state, the calculating means calculates a foot position on the assumption that the person is not in a standing state for a certain period of time. 1. An information processing system according to item 1.
(付記5)
前記算出手段は、前記人物領域に含まれる人物が起立状態であると判定された場合には、身長を元に足元位置を算出する、付記1乃至付記4のいずれか1項記載の情報処理システム。
(Appendix 5)
The information processing system according to any one of appendix 1 to appendix 4, wherein when the person included in the person area is determined to be standing, the calculation means calculates a foot position based on a height. .
(付記6)
前記算出手段は、起立状態ではない人物の足元位置に係る学習結果を用いて、前記人物領域に含まれる人物が起立状態ではない場合の足元位置を算出する、付記1乃至付記5のいずれか1項記載の情報処理システム。
(Appendix 6)
Any one of appendix 1 to appendix 5, wherein the calculation means calculates a foot position when a person included in the person region is not in a standing state, using a learning result related to a foot position of a person who is not in a standing state. Information processing system according to item.
(付記7)
映像を構成する画像フレーム中から人物領域を検出するステップと、前記人物領域に含まれる人物の姿勢を判定するステップと、前記人物の姿勢が起立状態か否かに基づき、前記画像フレームを用いて前記人物の足元位置を算出するステップとを情報処理システムが行う情報処理方法。
(Appendix 7)
Using the image frame based on detecting a person region from image frames constituting the video, determining a posture of a person included in the person region, and whether or not the posture of the person is standing An information processing method in which an information processing system performs the step of calculating the foot position of the person.
(付記8)
前記人物領域が前記画像フレーム中の姿勢変動領域に含まれる場合に、人物の姿勢を判定する、付記7記載の情報処理方法。
(Appendix 8)
The information processing method according to appendix 7, wherein the posture of the person is determined when the person region is included in the posture variation region in the image frame.
(付記9)
前記人物領域が予め定められた領域にあり、前記人物領域に含まれる人物の姿勢が起立状態にあるか否かに基づき、人物の足元位置を算出する、付記7又は付記8記載の情報処理方法。
(Appendix 9)
The information processing method according to appendix 7 or appendix 8, wherein the person area is in a predetermined area, and the foot position of the person is calculated based on whether or not the posture of the person included in the person area is in an upright state. .
(付記10)
前記人物領域に含まれる人物が起立状態でないと判定された場合に、一定期間、当該人物を起立状態にないものとして、足元位置を算出する、付記7乃至付記9記載の情報処理方法。
(Appendix 10)
The information processing method according to appendix 7 to appendix 9, wherein when it is determined that the person included in the person area is not standing, the foot position is calculated by assuming that the person is not standing for a certain period.
(付記11)
前記人物領域に含まれる人物が起立状態であると判定された場合には、身長を元に足元位置を算出する、付記7乃至付記10のいずれか1項記載の情報処理方法。
(Appendix 11)
The information processing method according to any one of appendix 7 to appendix 10, wherein when it is determined that a person included in the person area is standing, a foot position is calculated based on a height.
(付記12)
起立状態ではない人物の足元位置に係る学習結果を用いて、前記人物領域に含まれる人物が起立状態ではない場合の足元位置を算出する、付記7乃至付記11のいずれか1項記載の情報処理方法。
(Appendix 12)
The information processing according to any one of appendix 7 to appendix 11, wherein a foot position when a person included in the person region is not in a standing state is calculated using a learning result related to the foot position of a person who is not in a standing state. Method.
(付記13)
映像を構成する画像フレーム中から人物領域を検出する処理と、前記人物領域に含まれる人物の姿勢を判定する処理と、前記人物の姿勢が起立状態か否かに基づき、前記画像フレームを用いて前記人物の足元位置を算出する処理とをコンピュータに実行させるプログラム。
(Appendix 13)
Using the image frame based on a process for detecting a person area from image frames constituting a video, a process for determining the posture of a person included in the person area, and whether or not the posture of the person is standing The program which makes a computer perform the process which calculates the said person's foot position.
(付記14)
前記人物領域が前記画像フレーム中の姿勢変動領域に含まれる場合に、人物の姿勢を判定する、付記13記載のプログラム。
(Appendix 14)
The program according to appendix 13, wherein the posture of the person is determined when the person region is included in the posture variation region in the image frame.
(付記15)
前記人物領域が予め定められた領域にあり、前記人物領域に含まれる人物の姿勢が起立状態にあるか否かに基づき、人物の足元位置を算出する、付記13又は付記14記載のプログラム。
(Appendix 15)
The program according to supplementary note 13 or supplementary note 14, wherein the person region is in a predetermined region, and the foot position of the person is calculated based on whether or not the posture of the person included in the person region is in an upright state.
(付記16)
前記人物領域に含まれる人物が起立状態でないと判定された場合に、一定期間、当該人物を起立状態にないものとして、足元位置を算出する、付記13乃至付記15記載のプログラム。
(Appendix 16)
The program according to appendix 13 to appendix 15, wherein when it is determined that the person included in the person area is not in the standing state, the foot position is calculated by assuming that the person is not in the standing state for a certain period of time.
(付記17)
前記人物領域に含まれる人物が起立状態であると判定された場合には、身長を元に足元位置を算出する、付記13乃至付記16のいずれか1項記載のプログラム。
(Appendix 17)
The program according to any one of appendix 13 to appendix 16, wherein when it is determined that the person included in the person area is standing, the foot position is calculated based on the height.
(付記18)
起立状態ではない人物の足元位置に係る学習結果を用いて、前記人物領域に含まれる人物が起立状態ではない場合の足元位置を算出する、付記13乃至付記17のいずれか1項記載のプログラム。
(Appendix 18)
18. The program according to any one of appendix 13 to appendix 17, wherein a foot position when a person included in the person area is not in a standing state is calculated using a learning result related to the foot position of a person who is not in a standing state.
100・・・情報処理システム、101・・・入力部、103・・・人物検出部、105・・・姿勢変動判定部、107・・・姿勢変動適用領域情報、109・・・足元位置算出部、111・・・出力部、501・・・プロセッサ、503・・・メモリ、505・・・記憶装置、507・・・入力インタフェース、509・・・データインタフェース、511・・・通信インタフェース、513・・・表示装置、600・・・情報処理システム、610・・・検知部、620・・・判定部、630・・・算出部、C・・・ビデオカメラ、L・・・推定位置、P・・・人物
DESCRIPTION OF
Claims (7)
前記人物領域に含まれる人物の姿勢を判定する判定手段と、
前記人物の姿勢が起立状態か否かに基づき、前記画像フレームを用いて前記人物の足元位置を算出する算出手段と
を備え、
前記算出手段は、起立状態ではない人物の足元位置に係る学習結果を用いて、前記人物領域に含まれる人物が起立状態ではない場合の足元位置を算出する、
情報処理システム。 Means for detecting a human region from image frames constituting a video;
Determining means for determining the posture of the person included in the person area;
Calculating means for calculating a foot position of the person using the image frame based on whether or not the posture of the person is standing ;
The calculation means calculates a foot position when a person included in the person region is not in a standing state, using a learning result relating to the foot position of a person who is not in a standing state.
Information processing system.
請求項1記載の情報処理システム。 The determination means determines the posture of the person when the person region is included in the posture variation region in the image frame;
The information processing system according to claim 1.
請求項1又は請求項2記載の情報処理システム。 The calculating means calculates the foot position of the person based on whether the person area is in a predetermined area and the posture of the person included in the person area is in an upright state;
The information processing system according to claim 1 or 2.
請求項1乃至請求項3のいずれか1項記載の情報処理システム。 The calculation means calculates a foot position, assuming that the person is not in a standing state for a certain period when it is determined that the person included in the person area is not in a standing state.
The information processing system according to any one of claims 1 to 3.
請求項1乃至請求項4のいずれか1項記載の情報処理システム。 The calculating means calculates a foot position based on a height when it is determined that the person included in the person area is in a standing state;
The information processing system according to any one of claims 1 to 4.
前記人物領域に含まれる人物の姿勢を判定するステップと、
前記人物の姿勢が起立状態か否かに基づき、前記画像フレームを用いて前記人物の足元位置を算出するステップと
を情報処理システムが行い、
起立状態ではない人物の足元位置に係る学習結果を用いて、前記人物領域に含まれる人物が起立状態ではない場合の足元位置を算出する、
情報処理方法。 Detecting a human region from image frames constituting the video;
Determining the posture of a person included in the person area;
Based posture of the person on whether standing state, have rows information processing system and calculating a foot position of the person using the image frame,
Using the learning result relating to the foot position of the person who is not in the standing state, the foot position when the person included in the person region is not in the standing state is calculated.
Information processing method.
前記人物領域に含まれる人物の姿勢を判定する処理と、
前記人物の姿勢が起立状態か否かに基づき、前記画像フレームを用いて前記人物の足元位置を算出する算出処理と
をコンピュータに実行させ、
前記算出処理において、起立状態ではない人物の足元位置に係る学習結果を用いて、前記人物領域に含まれる人物が起立状態ではない場合の足元位置を算出させる、
プログラム。
A process for detecting a human area from image frames constituting a video;
A process of determining the posture of a person included in the person area;
Based on whether or not the posture of the person is in a standing state, the computer executes a calculation process for calculating the position of the person's foot using the image frame ,
In the calculation process, by using a learning result related to a foot position of a person who is not in a standing state, a foot position when a person included in the person region is not in a standing state is calculated.
program.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013120197A JP6331270B2 (en) | 2013-06-06 | 2013-06-06 | Information processing system, information processing method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013120197A JP6331270B2 (en) | 2013-06-06 | 2013-06-06 | Information processing system, information processing method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014238674A JP2014238674A (en) | 2014-12-18 |
JP6331270B2 true JP6331270B2 (en) | 2018-05-30 |
Family
ID=52135802
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013120197A Active JP6331270B2 (en) | 2013-06-06 | 2013-06-06 | Information processing system, information processing method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6331270B2 (en) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6481960B2 (en) * | 2015-03-23 | 2019-03-13 | 日本電気株式会社 | Information processing system, information processing method, and program for detecting position of foot |
JP6700752B2 (en) | 2015-12-01 | 2020-05-27 | キヤノン株式会社 | Position detecting device, position detecting method and program |
JP6729043B2 (en) * | 2016-06-20 | 2020-07-22 | 株式会社リコー | Information processing device and information processing system |
US10290197B2 (en) * | 2016-08-15 | 2019-05-14 | Nec Corporation | Mass transit surveillance camera system |
WO2019111932A1 (en) | 2017-12-08 | 2019-06-13 | 日本電気株式会社 | Model learning device, model learning method, and recording medium |
CN110992397B (en) * | 2019-10-21 | 2023-07-21 | 浙江大华技术股份有限公司 | Personnel access track tracking method, system, computer equipment and storage medium |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010237873A (en) * | 2009-03-30 | 2010-10-21 | Sogo Keibi Hosho Co Ltd | Device, method, and program for detecting attitude change |
JP5435740B2 (en) * | 2010-11-12 | 2014-03-05 | オムロン株式会社 | Monitoring system and monitoring server |
JP5756709B2 (en) * | 2011-08-03 | 2015-07-29 | 綜合警備保障株式会社 | Height estimation device, height estimation method, and height estimation program |
-
2013
- 2013-06-06 JP JP2013120197A patent/JP6331270B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2014238674A (en) | 2014-12-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6331270B2 (en) | Information processing system, information processing method, and program | |
CN109376631B (en) | Loop detection method and device based on neural network | |
WO2021093329A1 (en) | Interactive behavior identification method and apparatus, computer device and storage medium | |
CN105631399A (en) | Fast object tracking framework for sports video recognition | |
US20120243733A1 (en) | Moving object detecting device, moving object detecting method, moving object detection program, moving object tracking device, moving object tracking method, and moving object tracking program | |
JP7067023B2 (en) | Information processing device, background update method and background update program | |
JP6024658B2 (en) | Object detection apparatus, object detection method, and program | |
CN109298786B (en) | Method and device for evaluating marking accuracy | |
WO2014050432A1 (en) | Information processing system, information processing method and program | |
JP2020113300A (en) | Queue detecting system, method, and program | |
CN110956131B (en) | Single-target tracking method, device and system | |
JP6396491B2 (en) | Image collection method and apparatus | |
JP7192143B2 (en) | Method and system for object tracking using online learning | |
JP6922410B2 (en) | Posture judgment program, posture judgment device and posture judgment method | |
KR102487926B1 (en) | Electronic device and method for measuring heart rate | |
JP6575845B2 (en) | Image processing system, image processing method, and program | |
CN110619672A (en) | Figure edge line selecting method, machine readable storage medium and data processing equipment | |
US9727145B2 (en) | Detecting device and detecting method | |
JP2021089778A (en) | Information processing apparatus, information processing method, and program | |
EP3951616A1 (en) | Identification information adding device, identification information adding method, and program | |
JP7028729B2 (en) | Object tracking device, object tracking system, and object tracking method | |
US20230127469A1 (en) | Computer-readable recording medium storing inference program, computer-readable recording medium storing learning program, inference method, and learning method | |
US20230130674A1 (en) | Computer-readable recording medium storing learning program, learning method, and information processing apparatus | |
US10372297B2 (en) | Image control method and device | |
JP6723822B2 (en) | Image processing apparatus, image processing method and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160513 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170424 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170509 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171109 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171124 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180403 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180416 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6331270 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |