WO2021193353A1 - 画像追跡装置、画像追跡方法、及びコンピュータ読み取り可能な記録媒体 - Google Patents

画像追跡装置、画像追跡方法、及びコンピュータ読み取り可能な記録媒体 Download PDF

Info

Publication number
WO2021193353A1
WO2021193353A1 PCT/JP2021/011080 JP2021011080W WO2021193353A1 WO 2021193353 A1 WO2021193353 A1 WO 2021193353A1 JP 2021011080 W JP2021011080 W JP 2021011080W WO 2021193353 A1 WO2021193353 A1 WO 2021193353A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
pair
detected
identity
class
Prior art date
Application number
PCT/JP2021/011080
Other languages
English (en)
French (fr)
Inventor
永記 石寺
Original Assignee
Ｎｅｃソリューションイノベータ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ｎｅｃソリューションイノベータ株式会社 filed Critical Ｎｅｃソリューションイノベータ株式会社
Priority to JP2022510041A priority Critical patent/JP7323235B2/ja
Publication of WO2021193353A1 publication Critical patent/WO2021193353A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to an image tracking device and an image tracking method for tracking an object such as a person on an image from a camera, and further relates to a program for realizing these.
  • Patent Document 1 discloses a monitoring system to which such a person tracking function is added.
  • the surveillance system disclosed in Patent Document 1 extracts the feature amount of the area expected to be a person for each frame output from the surveillance camera in chronological order, and the extracted feature amount between consecutive frames. Track the person being tracked by determining identity. According to the monitoring system disclosed in Patent Document 1, since the behavior of a specific person can be monitored, the manager can easily identify the suspicious person.
  • Non-Patent Document 1 discloses a monitoring system that tracks a specific person by using a neural network learned in advance.
  • a person's image is used as learning data to learn a neural network. Therefore, it is considered that if the monitoring system disclosed in Non-Patent Document 1 is used, the tracking accuracy can be further improved as compared with the monitoring system disclosed in Patent Document 1.
  • the frame rate is set to about 3 fps to 5 fps. This is because if the frame rate is increased, the size of the image data to be transmitted increases, which exceeds the allowable amount of the communication line. For this reason, the monitoring system needs to track people in a situation where the frame rate is low.
  • Non-Patent Document 1 is considered to suppress a decrease in tracking accuracy as compared with the monitoring system disclosed in Patent Document 1, but this monitoring system has a large amount of learning in advance. There is a problem that it is not possible to track a person who has not been machine-learned using data.
  • An example of an object of the present invention can solve the above problem, do not require prior machine learning using training data, and can track an object on an image from a camera without being affected by a frame rate.
  • An image tracking device, an image tracking method, and a computer-readable recording medium can solve the above problem, do not require prior machine learning using training data, and can track an object on an image from a camera without being affected by a frame rate.
  • the image tracking device in one aspect of the present invention is An image data acquisition unit that acquires image data output from the camera in frame units in chronological order, An object detection unit that detects an object for each image data, For each of the image data, for each of the objects detected in the image data, a pair of the object and any of the objects detected in the image data output immediately after the image data is set, and each pair is set.
  • a distribution calculation unit that obtains a first intra-class distribution having the pair as a class, a second intra-class distribution having the object other than the pair as a class, and an inter-class distribution in the feature space.
  • An identity determination unit that determines the identity of the object detected in the output image data, and An object tracking unit that performs tracking processing of the detected object based on the determination result of the sameness. It is characterized by having.
  • the image tracking method in one aspect of the present invention may be used.
  • An image data acquisition step that acquires image data output from the camera in frame units in chronological order
  • An object detection step that detects an object for each image data
  • For each of the image data for each of the objects detected in the image data, a pair of the object and any of the objects detected in the image data output immediately after the image data is set, and each pair is set.
  • a distribution calculation step for obtaining a first intra-class distribution having the pair as a class, a second intra-class distribution having the object other than the pair as a class, and an inter-class distribution in the feature space.
  • the computer-readable recording medium in one aspect of the present invention is used.
  • An image data acquisition step that acquires image data output from the camera in frame units in chronological order
  • An object detection step that detects an object for each image data, For each of the image data, for each of the objects detected in the image data, a pair of the object and any of the objects detected in the image data output immediately after the image data is set, and each pair is set.
  • a distribution calculation step for obtaining a first intra-class distribution having the pair as a class, a second intra-class distribution having the object other than the pair as a class, and an inter-class distribution in the feature space.
  • FIG. 1 is a configuration diagram showing a schematic configuration of an image tracking device according to an embodiment of the present invention.
  • FIG. 2 is a configuration diagram specifically showing the configuration of the image tracking device according to the embodiment of the present invention.
  • FIG. 3 is a diagram showing an example of image data acquired in the embodiment and an example of a pair set in the embodiment.
  • FIG. 4 is a flow chart showing the operation of the image tracking device according to the embodiment of the present invention.
  • FIG. 5 is a block diagram showing an example of a computer that realizes the image tracking device according to the embodiment of the present invention.
  • FIG. 1 is a configuration diagram showing a schematic configuration of an image tracking device according to an embodiment of the present invention.
  • the image tracking device 100 in the embodiment shown in FIG. 1 is a device that tracks an object such as a person on an image from a camera.
  • the image tracking device 100 includes an image data acquisition unit 101, an object detection unit 102, a dispersion calculation unit 103, an identity determination unit 104, and an object tracking unit 105.
  • the image data acquisition unit 101 acquires image data output from the camera in frame units in chronological order.
  • the object detection unit 102 detects an object for each image data.
  • the dispersion calculation unit 103 sets each object detected in the image data with one of the objects detected in the image data output immediately after the image data and the object. To set. Subsequently, the variance calculation unit 103 has, for each image data, in the feature space, in the first class variance whose class is the pair, and in the second class whose class is an object other than the pair. Find the variance and the variance between classes.
  • the identity determination unit 104 uses the first intra-class distribution, the second intra-class distribution, and the inter-class distribution obtained for each pair to detect the object in each image data and the image data.
  • the identity with the object detected in the image data output immediately after is determined.
  • the object tracking unit 105 performs tracking processing of the detected object based on the determination result of identity.
  • the identity of the object is determined by the intra-class variance for each continuous frame. Therefore, according to the embodiment, the object can be accurately tracked on the image from the camera without being affected by the frame rate. Further, in the embodiment, there is no need for prior machine learning using training data when tracking an object.
  • FIG. 2 is a configuration diagram specifically showing the configuration of the image tracking device according to the embodiment of the present invention.
  • FIG. 3 is a diagram showing an example of image data acquired in the embodiment and an example of a pair set in the embodiment.
  • the image tracking device 100 is connected to the camera 200 and the display device 201, and functions as an image monitoring system. Further, as shown in FIG. 2, the image tracking device 100 includes an image in addition to the image data acquisition unit 101, the object detection unit 102, the dispersion calculation unit 103, the identity determination unit 104, and the object tracking unit 105 described above. It further includes a storage unit 106 and a monitoring unit 107.
  • the camera 200 is a surveillance camera, and outputs image data obtained by photographing the surveillance area in frame units in chronological order.
  • the image data output from the camera 200 is stored in the image storage unit 106.
  • each image data is image data of a monitoring area.
  • the arrows indicate a time series, and each image data is output from the camera 200 in the order of image data 10 and image data 20.
  • the image data acquisition unit 101 acquires image data for a set period to be processed at one time from the image storage unit 106 in chronological order.
  • the image data acquisition unit 101 acquires the image data 10 and the image data 20 in order from the image storage unit 106.
  • the object detection unit 102 scans the image of each image data output from the camera 200, identifies a region having a feature amount indicating a person, and detects the identified region as an object (person). do. Specifically, the object detection unit 102 detects a person who is an object by using an existing object detection algorithm such as YOLO or SSD. Examples of the feature amount representing a person include deep fairure obtained by performing machine learning using an image of a person as teacher data. Other specific features include HoG (Histograms of Oriented Gradients) features, color histograms, and the like.
  • HoG HoG
  • the object detection unit 102 detects objects 11, 12, and 13 from the image data 10, and detects objects 21, 22, 23, and 24 from the image data 20.
  • the dispersion calculation unit 103 indicates that, for example, for the image data 10, the objects 21 to 24 are detected in the image data 20 of the next frame for each of the object 11, the object 12, and the object 13.
  • Set a pair with one Specifically, the dispersion calculation unit 103 sets the following pairs for the object 11 of the image data 10, for example.
  • the pair set in this way shows the hypothesis that they are the same object.
  • the dispersion calculation unit 103 sets an N-dimensional feature space according to the number N of the feature quantities used for object detection (N: an arbitrary natural number).
  • N an arbitrary natural number
  • a pair class in which the above-mentioned object 11 and any of the objects 21 to 24 are combined, and further, a class of an object other than the pair is shown in the feature space.
  • the variance calculation unit 103 uses the feature amount of each object to set the first intraclass variance in which the paired objects are in the same class and the objects not forming the pair in the same class for each pair. Find the second intraclass variance to do. In addition, the variance calculation unit 103 also obtains the inter-class variance from the first intra-class variance and the second intra-class variance obtained for each pair.
  • the identity determination unit 104 first uses the first intra-class variance, the second intra-class variance, and the inter-class variance for each of the objects detected in the image data for each image data. Then, an index showing the identity of each pair including the object is calculated.
  • the Fisher ratio J ⁇ is mentioned as an index showing the identity.
  • the Fisher ratio J ⁇ for one object of a certain image data is calculated by the following equation 4.
  • the identity determination unit 104 selects a pair whose calculated Fisher ratio value is equal to or greater than the threshold value for each image data, and constitutes the selected pair with the object detected in the image data. It is determined that the object detected in the image data output immediately after the image data is the same.
  • the object tracking unit 105 tracks an object in a later frame in a pair determined to be the same by the identity determination unit 104, specifically, a pair having a Fisher ratio value equal to or higher than a threshold value. A flag is set for each object that is targeted and tracked. Further, when there are a plurality of pairs having a Fisher ratio equal to or higher than the threshold value, the object tracking unit 105 sets the pair having the highest Fisher ratio as the tracking target.
  • the object tracking unit 105 targets the pair of the object 11 detected by the image data 10 and the object 21 detected by the image data 20 as a tracking target. Further, the object tracking unit 105 can determine that the objects forming the pair whose Fisher ratio is less than the threshold value are newly invaded into the frame of the camera 200.
  • the monitoring unit 107 takes out the image data stored in the image storage unit 106 in chronological order and displays it on the display screen of the display device 201. Further, with respect to the object tracked by the object tracking unit 105, a video expression indicating that the object is being tracked, for example, a symbol is added, a frame is displayed, a color is changed, or the like is performed on the display screen. In addition, the monitoring unit 107 can also output an alarm when the tracked object invades a specific area.
  • FIG. 4 is a flow chart showing the operation of the image tracking device according to the embodiment of the present invention.
  • FIGS. 1 to 3 will be referred to as appropriate.
  • the image tracking method is carried out by operating the image tracking device 100. Therefore, the description of the image tracking method in the embodiment will be replaced with the following description of the operation of the image tracking device 100.
  • the image data acquisition unit 101 acquires image data for a set period stored in the image storage unit 106 (step A1).
  • the setting period is set to, for example, 5 seconds to 10 seconds.
  • the object detection unit 102 identifies a region having a feature amount indicating a person on the image for each image data acquired in step A1, and detects the identified region as an object (person) (step A2). ).
  • the distribution calculation unit 103 selects the image data having the oldest time output by the camera from the image data acquired in step A1 and not yet selected in step A3. (Step A3).
  • the dispersion calculation unit 103 sets a pair for each object detected in step A2 in the image data selected in step A3 with each object detected in the image data of the next frame (step). A4).
  • the variance calculation unit 103 selects one of the pairs set in step A4 (step A5). Then, the variance calculation unit 103 calculates the first intraclass variance, the second intraclass variance, and the interclass variance for the pair selected in step A5 by using the feature amount of each object (step). A6).
  • step A7 determines whether or not there is a pair that has not yet been selected. As a result of the determination in step A7, if there is a pair that has not yet been selected, the variance calculation unit 103 executes step A5 again.
  • the identity determination unit 104 calculates the first intraclass variance and the second intraclass variance for each pair in step A6. An index showing identity is calculated using the intra-class variance and the inter-class variance of. Then, the identity determination unit 104 determines the identity of each pair (step A8).
  • the identity determination unit 104 determines whether or not there is image data that has not yet been selected in step A3 among the image data acquired in step A1 (step A9).
  • step A9 if there is image data that has not yet been selected in step A3 among the image data acquired in step A1, the dispersion calculation unit 103 executes step A3 again.
  • step A9 if there is no image data not yet selected in step A3 among the image data acquired in step A1, the object tracking unit 105 has the same identity in step A8. In the pair determined to have a high value, the object in the later frame is set as the tracking target (step A10).
  • the monitoring unit 107 takes out the image data stored in the image storage unit 106 in chronological order and displays it on the display screen of the display device 201, and the object targeted for tracking in step A9. Then, a video expression indicating that the data is being tracked is performed (step A11).
  • the above steps A1 to A11 are repeatedly executed as long as the monitoring area is monitored.
  • the identity of the object is determined by the intra-class variance for each continuous frame. Therefore, according to the embodiment, even when the frame rate is lowered, it is possible to suppress the deterioration of the tracking accuracy, and further, it is possible to track an object that has not been machine-learned by using a large amount of learning data in advance. ..
  • the program in the embodiment may be any program that causes a computer to execute steps A1 to A11 shown in FIG. By installing this program on a computer and executing it, the image tracking device 100 and the image tracking method according to the present embodiment can be realized.
  • the computer processor functions as an image data acquisition unit 101, an object detection unit 102, a distribution calculation unit 103, an identity determination unit 104, an object tracking unit 105, and a monitoring unit 107 to perform processing.
  • the image storage unit 106 may be realized by storing data files constituting the image storage unit 106 in a storage device such as a hard disk provided in the computer, or a storage device of another computer. It may be realized by.
  • computers include smartphones and tablet terminal devices. Further, it may be a computer built in a camera such as a surveillance camera.
  • each computer functions as one of an image data acquisition unit 101, an object detection unit 102, a dispersion calculation unit 103, an identity determination unit 104, an object tracking unit 105, and a monitoring unit 107, respectively. Is also good.
  • FIG. 5 is a block diagram showing an example of a computer that realizes the image tracking device according to the embodiment of the present invention.
  • the computer 110 includes a CPU (Central Processing Unit) 111, a main memory 112, a storage device 113, an input interface 114, a display controller 115, a data reader / writer 116, and a communication interface 117. And. Each of these parts is connected to each other via a bus 121 so as to be capable of data communication.
  • CPU Central Processing Unit
  • the computer 110 may include a GPU (Graphics Processing Unit) or an FPGA (Field-Programmable Gate Array) in addition to the CPU 111 or in place of the CPU 111.
  • the GPU or FPGA can execute the program in the embodiment.
  • the CPU 111 executes various operations by expanding the program in the embodiment composed of the code group stored in the storage device 113 into the main memory 112 and executing each code in a predetermined order.
  • the main memory 112 is typically a volatile storage device such as a DRAM (Dynamic Random Access Memory).
  • the program in the embodiment is provided in a state of being stored in a computer-readable recording medium 120.
  • the program in the present embodiment may be distributed on the Internet connected via the communication interface 117.
  • the storage device 113 include a semiconductor storage device such as a flash memory in addition to a hard disk drive.
  • the input interface 114 mediates data transmission between the CPU 111 and an input device 118 such as a keyboard and mouse.
  • the display controller 115 is connected to the display device 119 and controls the display on the display device 119.
  • the data reader / writer 116 mediates the data transmission between the CPU 111 and the recording medium 120, reads the program from the recording medium 120, and writes the processing result in the computer 110 to the recording medium 120.
  • the communication interface 117 mediates data transmission between the CPU 111 and another computer.
  • the recording medium 120 include a general-purpose semiconductor storage device such as CF (CompactFlash (registered trademark)) and SD (SecureDigital), a magnetic recording medium such as a flexible disk, or a CD-.
  • CF CompactFlash (registered trademark)
  • SD Secure Digital
  • magnetic recording medium such as a flexible disk
  • CD- CompactDiskReadOnlyMemory
  • optical recording media such as ROM (CompactDiskReadOnlyMemory).
  • the image tracking device 100 in the present embodiment can also be realized by using hardware corresponding to each part instead of the computer on which the program is installed. Further, the image tracking device 100 may be partially realized by a program and the rest may be realized by hardware.
  • An image data acquisition unit that acquires image data output from the camera in frame units in chronological order
  • An object detection unit that detects an object for each image data
  • For each of the image data for each of the objects detected in the image data, a pair of the object and any of the objects detected in the image data output immediately after the image data is set, and each pair is set.
  • a distribution calculation unit that obtains a first intra-class distribution having the pair as a class, a second intra-class distribution having the object other than the pair as a class, and an inter-class distribution in the feature space.
  • An identity determination unit that determines the identity of the object detected in the output image data
  • An object tracking unit that performs tracking processing of the detected object based on the determination result of the sameness.
  • Appendix 2 The image tracking device according to Appendix 1.
  • the identity determination unit For each of the image data, for each of the objects detected in the image data, the first intraclass dispersion, the second intraclass dispersion, and the interclass dispersion are used in each pair including the object. An index indicating identity is calculated, a pair whose calculated index value is equal to or greater than a threshold value is selected, and the object detected in the image data and the image data constituting the selected pair are formed. It is determined that the object detected in the image data output immediately after is the same. An image tracking device characterized by that.
  • An image data acquisition step that acquires image data output from the camera in frame units in chronological order
  • An object detection step that detects an object for each image data
  • For each of the image data for each of the objects detected in the image data, a pair of the object and any of the objects detected in the image data output immediately after the image data is set, and each pair is set.
  • a distribution calculation step for obtaining a first intra-class distribution having the pair as a class, a second intra-class distribution having the object other than the pair as a class, and an inter-class distribution in the feature space. , Immediately after the object detected in the image data and immediately after the image data using the first intra-class distribution, the second intra-class distribution, and the inter-class distribution obtained for each pair.
  • An identity determination step for determining the identity of the object detected in the output image data
  • An object tracking step that performs tracking processing of the detected object based on the determination result of the identity, and An image tracking method characterized by having.
  • Appendix 6 The image tracking method described in Appendix 5 In the identity determination step For each of the image data, for each of the objects detected in the image data, the first intraclass variance, the second intraclass variance, and the interclass variance are used in each pair containing the object. The Fisher ratio is calculated as the index indicating the identity. An image tracking method characterized by that.
  • An image data acquisition step that acquires image data output from the camera in frame units in chronological order
  • An object detection step that detects an object for each image data
  • For each of the image data for each of the objects detected in the image data, a pair of the object and any of the objects detected in the image data output immediately after the image data is set, and each pair is set.
  • For a pair a distribution calculation step for obtaining a first intra-class distribution having the pair as a class, a second intra-class distribution having the object other than the pair as a class, and an inter-class distribution in the feature space.
  • Appendix 8 The computer-readable recording medium according to Appendix 7, which is a computer-readable recording medium.
  • identity determination step For each of the image data, for each of the objects detected in the image data, the first intraclass dispersion, the second intraclass dispersion, and the interclass dispersion are used in each pair including the object. An index indicating identity is calculated, a pair whose calculated index value is equal to or greater than a threshold value is selected, and the object detected in the image data and the image data constituting the selected pair are formed. It is determined that the object detected in the image data output immediately after is the same.
  • a computer-readable recording medium characterized by that.
  • Appendix 9 The computer-readable recording medium according to Appendix 8, which is a computer-readable recording medium.
  • identity determination step For each of the image data, for each of the objects detected in the image data, the first intraclass variance, the second intraclass variance, and the interclass variance are used in each pair containing the object. The Fisher ratio is calculated as the index indicating the identity.
  • the present invention it is possible to track an object on an image from a camera without requiring prior machine learning using training data and without being affected by the frame rate.
  • the present invention is useful for a surveillance system that monitors the intrusion of a person or the like based on the image of a surveillance camera.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

画像追跡装置１００は、カメラから出力される画像データを取得する、画像データ取得部１０１と、画像データ毎に物体を検出する、物体検出部１０２と、画像データ毎に、検出された物体と、その直後に出力された画像データで検出された物体とでペアを設定し、各ペアについて、当該ペアをクラスとする第１のクラス内分散、それ以外の物体をクラスとする第２のクラス内分散、クラス間分散を求める、分散計算部１０３と、第１のクラス内分散、第２のクラス内分散、クラス間分散により、当該画像データの物体とその直後に出力された画像データの物体との同一性を判定する、同一性判定部１０４と、判定結果に基づいて物体の追跡処理を行う、物体追跡部１０５とを備えている。

Description

画像追跡装置、画像追跡方法、及びコンピュータ読み取り可能な記録媒体
　本発明は、カメラからの映像上で人物等の物体を追跡する、画像追跡装置、及び画像追跡方法に関し、更には、これらを実現するためのプログラムに関する。
　近年、監視システムには、監視カメラからの映像上で特定の人物を追跡する機能が付加されている。例えば、特許文献１は、このような人物追跡機能が付加された監視システムを開示している。特許文献１に開示された監視システムは、監視カメラから時系列に沿って出力されるフレーム毎に、人物と予想される領域の特徴量を抽出し、連続するフレーム間で、抽出した特徴量の同一性を判断することによって、追跡対象となっている人物を追跡する。特許文献１に開示された監視システムによれば、特定の人物の行動を監視できるため、管理者は容易に不審者を特定することができる。
　また、非特許文献１は、予め学習したニューラルネットワークを用いて、特定の人物を追跡する監視システムを開示している。非特許文献１に開示された監視システムでは、人物の画像が学習データとして用いられて、ニューラルネットワークの学習が行われる。このため、非特許文献１に開示された監視システムを用いれば、特許文献１に開示された監視システムに比べて、より追跡精度を高めることができると考えられる。
特開２００９－０９８７７４号公報
Zhedong Zheng, Xiaodong Yang, Zhiding Yu, Liang Zheng, Yi Yang, Jan Kautz1, " Joint Discriminative and Generative Learning for Person Re-identification", 22 May 2019, CVPR2019
　ところで、監視システムに用いる監視カメラでは、一般に、フレームレートを上げることが難しく、フレームレートは３fps～５fps程度に設定される。これは、フレームレートを上げると、送信する画像データのサイズが大きくなり、通信回線の許容量を超えてしまうからである。このため、監視システムは、フレームレートが低い状況下で、人物追跡を行う必要がある。
　しかしながら、このようなフレームレートが低い状況下では、フレーム間における人物の移動距離が大きくなってしまうため、特許文献１に開示された監視システムでは、追跡精度が低下するという問題が発生する。一方、非特許文献１に開示された監視システムでは、特許文献１に開示された監視システムに比べて、追跡精度の低下は抑制されると考えられるが、この監視システムには、予め大量の学習データを用いて機械学習していない人物を追跡できないという問題がある。
　本発明の目的の一例は、上記問題を解消し、学習データを用いた事前の機械学習を必要とせず、且つ、フレームレートに影響されることなく、カメラからの映像上で物体を追跡し得る、画像追跡装置、画像追跡方法、及びコンピュータ読み取り可能な記録媒体を提供することにある。
　上記目的を達成するため、本発明の一側面における画像追跡装置は、
　カメラから時系列に沿ってフレーム単位で出力される画像データを取得する、画像データ取得部と、
　前記画像データ毎に、物体を検出する、物体検出部と、
　前記画像データ毎に、当該画像データで検出された前記物体それぞれについて、当該物体と当該画像データの直後に出力された前記画像データで検出されたいずれかの前記物体とのペアを設定し、各ペアについて、特徴空間における、当該ペアをクラスとする第１のクラス内分散と、当該ペア以外の前記物体をクラスとする第２のクラス内分散と、クラス間分散とを求める、分散計算部と、
　前記各ペアについて求められた、前記第１のクラス内分散、前記第２のクラス内分散、及び前記クラス間分散を用いて、当該画像データにおいて検出された前記物体と、当該画像データの直後に出力された前記画像データにおいて検出された前記物体と、の同一性を判定する、同一性判定部と、
　前記同一性の判定結果に基づいて、検出された前記物体の追跡処理を行う、物体追跡部と、
を備えている、ことを特徴とする。
　また、上記目的を達成するため、本発明の一側面における画像追跡方法は、
　カメラから時系列に沿ってフレーム単位で出力される画像データを取得する、画像データ取得ステップと、
　前記画像データ毎に、物体を検出する、物体検出ステップと、
　前記画像データ毎に、当該画像データで検出された前記物体それぞれについて、当該物体と当該画像データの直後に出力された前記画像データで検出されたいずれかの前記物体とのペアを設定し、各ペアについて、特徴空間における、当該ペアをクラスとする第１のクラス内分散と、当該ペア以外の前記物体をクラスとする第２のクラス内分散と、クラス間分散とを求める、分散計算ステップと、
　前記各ペアについて求められた、前記第１のクラス内分散、前記第２のクラス内分散、及び前記クラス間分散を用いて、当該画像データにおいて検出された前記物体と、当該画像データの直後に出力された前記画像データにおいて検出された前記物体と、の同一性を判定する、同一性判定ステップと、
　前記同一性の判定結果に基づいて、検出された前記物体の追跡処理を行う、物体追跡ステップと、
を有する、ことを特徴とする。
　更に、上記目的を達成するため、本発明の一側面におけるコンピュータ読み取り可能な記録媒体は、
コンピュータに、
　カメラから時系列に沿ってフレーム単位で出力される画像データを取得する、画像データ取得ステップと、
　前記画像データ毎に、物体を検出する、物体検出ステップと、
　前記画像データ毎に、当該画像データで検出された前記物体それぞれについて、当該物体と当該画像データの直後に出力された前記画像データで検出されたいずれかの前記物体とのペアを設定し、各ペアについて、特徴空間における、当該ペアをクラスとする第１のクラス内分散と、当該ペア以外の前記物体をクラスとする第２のクラス内分散と、クラス間分散とを求める、分散計算ステップと、
　前記各ペアについて求められた、前記第１のクラス内分散、前記第２のクラス内分散、及び前記クラス間分散を用いて、当該画像データにおいて検出された前記物体と、当該画像データの直後に出力された前記画像データにおいて検出された前記物体と、の同一性を判定する、同一性判定ステップと、
　前記同一性の判定結果に基づいて、検出された前記物体の追跡処理を行う、物体追跡ステップと、
を実行させる命令を含む、プログラムを記録していることを特徴とする。
　以上のように本発明によれば、学習データを用いた事前の機械学習を必要とせず、且つ、フレームレートに影響されることなく、カメラからの映像上で物体を追跡することができる。
図１は、本発明の実施の形態における画像追跡装置の概略構成を示す構成図である。 図２は、本発明の実施の形態における画像追跡装置の構成を具体的に示す構成図である。 図３は、実施の形態において取得された画像データの一例と実施の形態において設定されたペアの一例とを示す図である。 図４は、本発明の実施の形態における画像追跡装置の動作を示すフロー図である。 図５は、本発明の実施の形態における画像追跡装置を実現するコンピュータの一例を示すブロック図である。
（実施の形態）
　以下、実施の形態における、画像追跡装置、画像追跡方法、及びプログラムについて、図１～図５を参照しながら説明する。
［装置構成］
　最初に、実施の形態における画像追跡装置の概略構成について図１を用いて説明する。図１は、本発明の実施の形態における画像追跡装置の概略構成を示す構成図である。
　図１に示す実施の形態における画像追跡装置１００は、カメラからの映像上で人物等の物体を追跡する装置である。図１に示すように、画像追跡装置１００は、画像データ取得部１０１と、物体検出部１０２と、分散計算部１０３と、同一性判定部１０４と、物体追跡部１０５とを備えている。
　この構成において、画像データ取得部１０１は、カメラから時系列に沿ってフレーム単位で出力される画像データを取得する。物体検出部１０２は、画像データ毎に、物体を検出する。
　分散計算部１０３は、まず、画像データ毎に、その画像データで検出された物体それぞれについて、その物体とその画像データの直後に出力された画像データで検出された、いずれかの物体とのペアを設定する。続いて、分散計算部１０３は、画像データ毎に、各ペアについて、特徴空間における、そのペアをクラスとする第１のクラス内分散と、そのペア以外の物体をクラスとする第２のクラス内分散と、クラス間分散とを求める。
　同一性判定部１０４は、各ペアについて求められた、第１のクラス内分散、第２のクラス内分散、及びクラス間分散を用いて、各画像データにおいて検出された物体と、その画像データの直後に出力された画像データにおいて検出された物体と、の同一性を判定する。物体追跡部１０５は、同一性の判定結果に基づいて、検出された物体の追跡処理を行う。
　このように、実施の形態では、連続するフレーム間毎に、クラス内分散によって物体の同一性が判定される。このため、実施の形態によれば、フレームレートに影響されることなく、カメラからの映像上で物体を精度よく追跡できる。また、実施の形態では、物体を追跡するに際して、学習データを用いた事前の機械学習の必要性はない。
　続いて、図２及び図３を用いて、実施の形態における画像追跡装置１００の構成及び機能について具体的に説明する。図２は、本発明の実施の形態における画像追跡装置の構成を具体的に示す構成図である。図３は、実施の形態において取得された画像データの一例と実施の形態において設定されたペアの一例とを示す図である。
　図２に示すように、実施の形態では、画像追跡装置１００は、カメラ２００及び表示装置２０１に接続されており、画像監視システムとして機能している。更に、図２に示すように、画像追跡装置１００は、上述した、画像データ取得部１０１、物体検出部１０２、分散計算部１０３、同一性判定部１０４、及び物体追跡部１０５に加えて、画像格納部１０６と監視部１０７とを更に備えている。
　カメラ２００は、監視カメラであり、監視エリアを撮影して得られた画像データを、時系列にそってフレーム単位で出力する。カメラ２００から出力された画像データは、画像格納部１０６に格納される。
　図３の例では、時系列にそってフレーム単位で出力された画像データ１０と画像データ２０とが示されている。各画像データは、監視エリアの画像データである。図３において矢印は時系列を示しており、各画像データは、カメラ２００から、画像データ１０、画像データ２０の順に出力されている。
　画像データ取得部１０１は、実施の形態では、画像格納部１０６から、一度に処理する設定期間分の画像データを時系列の順に取得する。図２の例では、画像データ取得部１０１は、画像格納部１０６から、画像データ１０及び画像データ２０を順に取得する。
　物体検出部１０２は、実施の形態では、カメラ２００から出力された各画像データの画像を走査して、人を示す特徴量を持った領域を特定し、特定した領域を物体（人）として検出する。具体的には、物体検出部１０２は、ＹＯＬＯ、ＳＳＤといった既存の物体検出アルゴリズムを用いて、物体である人を検出する。人を表す特徴量としては、例えば、人が映った画像を教師データとした機械学習を行うことによって得られたｄｅｅｐ　ｆｅａｔｕｒｅが挙げられる。その他、具体的な特徴量としては、ＨｏＧ（Histograms of Oriented Gradients）特徴量、色ヒストグラム等も挙げられる。
　図３の例では、物体検出部１０２は、画像データ１０から、物体１１、１２、及び１３を検出し、画像データ２０から、物体２１、２２、２３、及び２４を検出している。
　分散計算部１０３は、図３の例では、例えば、画像データ１０については、物体１１、物体１２、及び物体１３それぞれ毎に、次のフレームの画像データ２０で検出された、物体２１～２４のいずれかとペアを設定する。具体的には、分散計算部１０３は、例えば、画像データ１０の物体１１については、以下のペアを設定する。このようにして設定されたペアは、同一の物体であるという仮説を示している。
（物体１１、物体２１）
（物体１１、物体２２）
（物体１１、物体２３）
（物体１１，物体２４）
　続いて、分散計算部１０３は、物体検出に用いられた特徴量の次元の数Ｎに応じて、Ｎ次元の特徴空間を設定する（Ｎ：任意の自然数）。図３の例では、上述した物体１１と、物体２１～２４のいずれかと、を組み合わせたペアのクラス、更には、ペア以外の物体のクラスが、特徴空間において示されている。
　そして、分散計算部１０３は、特徴空間において、各物体の特徴量を用いて、ペア毎に、ペアの物体を同じクラスとする第１のクラス内分散と、ペアを構成しない物体を同じクラスとする第２のクラス内分散とを求める。また、分散計算部１０３は、ペア毎に、求めた第１のクラス内分散と第２のクラス内分散とから、クラス間分散も求める。
　具体的には、クラスｗｉに属するパターン（物体の特徴量）の集合をＸｉとし、Ｘｉに含まれるパターン数をｎｉ、平均ベクトルをｍｉ、全パターン数をｎ、全パターンの平均ベクトルをｍとする。また、ペアの物体のクラスをｉ＝１、ペア以外の物体のクラスをｉ＝２とする。この場合、ある画像データの１つの物体についての、第１のクラス内分散σ２ ｗ１、第２のクラス内分散をσ２ ｗ２、クラス間分散σ２ Ｂは下記の数１～数３によって算出される。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
　同一性判定部１０４は、実施の形態では、まず、画像データ毎に、その画像データで検出された物体それぞれについて、第１のクラス内分散、第２のクラス内分散、及びクラス間分散を用いて、その物体を含む各ペアにおける同一性を示す指標を算出する。実施の形態において、同一性を示す指標としては、フィッシャー比Ｊσが挙げられる。ある画像データの１つの物体についてのフィッシャー比Ｊσは、下記の数４によって算出される。
Figure JPOXMLDOC01-appb-M000004
　続いて、同一性判定部１０４は、画像データ毎に、算出したフィッシャー比の値が閾値以上であるペアを選択し、そして、選択したペアを構成する、その画像データにおいて検出された物体と、その画像データの直後に出力された画像データにおいて検出された物体とを、同一であると判定する。
　物体追跡部１０５は、実施の形態では、同一性判定部１０４によって同一であると判定されたペア、具体的には、フィッシャー比の値が閾値以上となるペアにおいて、後のフレームの物体を追跡対象とし、追跡対象となった各物体にフラグを設定する。また、物体追跡部１０５は、フィッシャー比が閾値以上となるペアが複数存在する場合は、フィッシャー比が最も高いペアを追跡対象とする。
　図３の例では、物体追跡部１０５は、画像データ１０で検出された物体１１と画像データ２０で検出された物体２１とのペアを追跡対象としている。また、物体追跡部１０５は、フィッシャー比が閾値未満のペアを構成する物体については、新たにカメラ２００のフレーム内に侵入していると判定することができる。
　監視部１０７は、画像格納部１０６に格納されている画像データを時系列に沿って取り出して、表示装置２０１の表示画面に表示させる。また、物体追跡部１０５によって追跡対象となった物体については、表示画面上で、追跡されていることを示す映像表現、例えば、記号の付加、枠の表示、色の変更等を行う。また、監視部１０７は、追跡対象となった物体が、特定のエリアに侵入した場合に、警報を出力することもできる。
［装置動作］
　次に、実施の形態における画像追跡装置１００の動作について図４を用いて説明する。図４は、本発明の実施の形態における画像追跡装置の動作を示すフロー図である。以下の説明においては、適宜図１～図３を参照する。また、実施の形態では、画像追跡装置１００を動作させることによって、画像追跡方法が実施される。よって、実施の形態における画像追跡方法の説明は、以下の画像追跡装置１００の動作説明に代える。
　図４に示すように、最初に、画像データ取得部１０１は、画像格納部１０６に格納されている設定期間分の画像データを取得する（ステップＡ１）。設定期間は、例えば、５秒～１０秒等に設定される。
　次に、物体検出部１０２は、ステップＡ１で取得された画像データ毎に、画像上において人を示す特徴量を持った領域を特定し、特定した領域を物体（人）として検出する（ステップＡ２）。
　次に、分散計算部１０３は、ステップＡ１で取得された画像データであって、当該ステップＡ３において未だ選択されていない画像データの中から、カメラで出力された時刻が最も古い画像データを選択する（ステップＡ３）。
　次に、分散計算部１０３は、ステップＡ３で選択した画像データにおいて、ステップＡ２で検出された物体毎に、次のフレームの画像データで検出された物体それぞれとの間でペアを設定する（ステップＡ４）。
　次に、分散計算部１０３は、ステップＡ４で設定されたペアの１つを選択する（ステップＡ５）。そして、分散計算部１０３は、各物体の特徴量を用いて、ステップＡ５で選択したペアについて、第１のクラス内分散と、第２のクラス内分散と、クラス間分散とを計算する（ステップＡ６）。
　次に、分散計算部１０３は、未だ選択していないペアが存在するかどうかを判定する（ステップＡ７）。ステップＡ７の判定の結果、未だ選択していないペアが存在する場合は、分散計算部１０３は、再度、ステップＡ５を実行する。
　一方、ステップＡ７の判定の結果、未だ選択していないペアが存在していない場合は、同一性判定部１０４が、各ペアについて、ステップＡ６で計算した、第１のクラス内分散と、第２のクラス内分散と、クラス間分散とを用いて、同一性を示す指標を算出する。そして、同一性判定部１０４は、各ペアについて、同一性を判定する（ステップＡ８）。
　次に、同一性判定部１０４は、ステップＡ１で取得された画像データのうち、未だステップＡ３にて選択されていない画像データが存在しているかどうかを判定する（ステップＡ９）。
　ステップＡ９の判定の結果、ステップＡ１で取得された画像データのうち、未だステップＡ３にて選択されていない画像データが存在している場合は、分散計算部１０３が、再度ステップＡ３を実行する。
　一方、ステップＡ９の判定の結果、ステップＡ１で取得された画像データのうち、未だステップＡ３にて選択されていない画像データが存在していない場合は、物体追跡部１０５は、ステップＡ８で同一性が高いと判定されたペアにおいて、後のフレームの物体を追跡対象に設定する（ステップＡ１０）。
　次に、監視部１０７は、画像格納部１０６に格納されている画像データを時系列に沿って取り出して、表示装置２０１の表示画面に表示させると共に、ステップＡ９で追跡対象となった物体に対して、追跡されていることを示す映像表現を行う（ステップＡ１１）。
　上述のステップＡ１～Ａ１１は、監視エリアの監視が行われる限り、繰り返し実行される。
［実施の形態における効果］
　以上のように実施の形態では、連続するフレーム間毎に、クラス内分散によって、物体の同一性が判定される。このため、実施の形態によれば、フレームレート低下した場合であっても、追跡精度の低下を抑制でき、更に、予め大量の学習データを用いて機械学習していない物体に対する追跡も可能となる。
［プログラム］
　実施の形態におけるプログラムは、コンピュータに、図４に示すステップＡ１～Ａ１１を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における画像追跡装置１００と画像追跡方法とを実現することができる。この場合、コンピュータのプロセッサは、画像データ取得部１０１、物体検出部１０２、分散計算部１０３、同一性判定部１０４、物体追跡部１０５、及び監視部１０７として機能し、処理を行なう。
　また、実施の形態では、画像格納部１０６は、コンピュータに備えられたハードディスク等の記憶装置に、これらを構成するデータファイルを格納することによって実現されていても良いし、別のコンピュータの記憶装置によって実現されていても良い。
　また、コンピュータとしては、汎用のＰＣの他に、スマートフォン、タブレット型端末装置が挙げられる。更に、監視カメラ等のカメラに内蔵されたコンピュータであっても良い。
　また、実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、画像データ取得部１０１、物体検出部１０２、分散計算部１０３、同一性判定部１０４、物体追跡部１０５、及び監視部１０７のいずれかとして機能しても良い。
［物理構成］
　ここで、実施の形態におけるプログラムを実行することによって、画像追跡装置１００を実現するコンピュータについて図５を用いて説明する。図５は、本発明の実施の形態における画像追跡装置を実現するコンピュータの一例を示すブロック図である。
　図５に示すように、コンピュータ１１０は、ＣＰＵ（Central Processing Unit）１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。
　また、コンピュータ１１０は、ＣＰＵ１１１に加えて、又はＣＰＵ１１１に代えて、ＧＰＵ（Graphics Processing Unit）、又はＦＰＧＡ（Field-Programmable Gate Array）を備えていても良い。この態様では、ＧＰＵ又はＦＰＧＡが、実施の形態におけるプログラムを実行することができる。
　ＣＰＵ１１１は、記憶装置１１３に格納された、コード群で構成された実施の形態におけるプログラムをメインメモリ１１２に展開し、各コードを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。
　また、実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであっても良い。
　また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。
　データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。
　また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記録媒体、又はＣＤ－ＲＯＭ（Compact Disk Read Only Memory）などの光学記録媒体が挙げられる。
　なお、本実施の形態における画像追跡装置１００は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。更に、画像追跡装置１００は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。
　上述した実施の形態の一部又は全部は、以下に記載する（付記１）～（付記９）によって表現することができるが、以下の記載に限定されるものではない。
（付記１）
　カメラから時系列に沿ってフレーム単位で出力される画像データを取得する、画像データ取得部と、
　前記画像データ毎に、物体を検出する、物体検出部と、
　前記画像データ毎に、当該画像データで検出された前記物体それぞれについて、当該物体と当該画像データの直後に出力された前記画像データで検出されたいずれかの前記物体とのペアを設定し、各ペアについて、特徴空間における、当該ペアをクラスとする第１のクラス内分散と、当該ペア以外の前記物体をクラスとする第２のクラス内分散と、クラス間分散とを求める、分散計算部と、
　前記各ペアについて求められた、前記第１のクラス内分散、前記第２のクラス内分散、及び前記クラス間分散を用いて、当該画像データにおいて検出された前記物体と、当該画像データの直後に出力された前記画像データにおいて検出された前記物体と、の同一性を判定する、同一性判定部と、
　前記同一性の判定結果に基づいて、検出された前記物体の追跡処理を行う、物体追跡部と、
を備えている、ことを特徴とする画像追跡装置。
（付記２）
付記１に記載の画像追跡装置であって、
　前記同一性判定部が、
前記画像データ毎に、当該画像データで検出された前記物体それぞれについて、前記第１のクラス内分散、前記第２のクラス内分散、及び前記クラス間分散を用いて、当該物体を含む各ペアにおける同一性を示す指標を算出し、更に、算出した指標の値が閾値以上であるペアを選択し、そして、選択した前記ペアを構成する、当該画像データにおいて検出された前記物体と、当該画像データの直後に出力された前記画像データにおいて検出された前記物体とを、同一であると判定する、
ことを特徴とする画像追跡装置。
（付記３）
付記２に記載の画像追跡装置であって、
　前記同一性判定部が、
前記画像データ毎に、当該画像データで検出された前記物体それぞれについて、前記第１のクラス内分散、前記第２のクラス内分散、及び前記クラス間分散を用いて、当該物体を含む各ペアにおける同一性を示す前記指標として、フィッシャー比を算出する、
ことを特徴とする画像追跡装置。
（付記４）
　カメラから時系列に沿ってフレーム単位で出力される画像データを取得する、画像データ取得ステップと、
　前記画像データ毎に、物体を検出する、物体検出ステップと、
　前記画像データ毎に、当該画像データで検出された前記物体それぞれについて、当該物体と当該画像データの直後に出力された前記画像データで検出されたいずれかの前記物体とのペアを設定し、各ペアについて、特徴空間における、当該ペアをクラスとする第１のクラス内分散と、当該ペア以外の前記物体をクラスとする第２のクラス内分散と、クラス間分散とを求める、分散計算ステップと、
　前記各ペアについて求められた、前記第１のクラス内分散、前記第２のクラス内分散、及び前記クラス間分散を用いて、当該画像データにおいて検出された前記物体と、当該画像データの直後に出力された前記画像データにおいて検出された前記物体と、の同一性を判定する、同一性判定ステップと、
　前記同一性の判定結果に基づいて、検出された前記物体の追跡処理を行う、物体追跡ステップと、
を有する、ことを特徴とする画像追跡方法。
（付記５）
付記４に記載の画像追跡方法であって、
　前記同一性判定ステップにおいて、
前記画像データ毎に、当該画像データで検出された前記物体それぞれについて、前記第１のクラス内分散、前記第２のクラス内分散、及び前記クラス間分散を用いて、当該物体を含む各ペアにおける同一性を示す指標を算出し、更に、算出した指標の値が閾値以上であるペアを選択し、そして、選択した前記ペアを構成する、当該画像データにおいて検出された前記物体と、当該画像データの直後に出力された前記画像データにおいて検出された前記物体とを、同一であると判定する、
ことを特徴とする画像追跡方法。
（付記６）
付記５に記載の画像追跡方法であって、
　前記同一性判定ステップにおいて、
前記画像データ毎に、当該画像データで検出された前記物体それぞれについて、前記第１のクラス内分散、前記第２のクラス内分散、及び前記クラス間分散を用いて、当該物体を含む各ペアにおける同一性を示す前記指標として、フィッシャー比を算出する、
ことを特徴とする画像追跡方法。
（付記７）
コンピュータに、
　カメラから時系列に沿ってフレーム単位で出力される画像データを取得する、画像データ取得ステップと、
　前記画像データ毎に、物体を検出する、物体検出ステップと、
　前記画像データ毎に、当該画像データで検出された前記物体それぞれについて、当該物体と当該画像データの直後に出力された前記画像データで検出されたいずれかの前記物体とのペアを設定し、各ペアについて、特徴空間における、当該ペアをクラスとする第１のクラス内分散と、当該ペア以外の前記物体をクラスとする第２のクラス内分散と、クラス間分散とを求める、分散計算ステップと、
　前記各ペアについて求められた、前記第１のクラス内分散、前記第２のクラス内分散、及び前記クラス間分散を用いて、当該画像データにおいて検出された前記物体と、当該画像データの直後に出力された前記画像データにおいて検出された前記物体と、の同一性を判定する、同一性判定ステップと、
　前記同一性の判定結果に基づいて、検出された前記物体の追跡処理を行う、物体追跡ステップと、
を実行させる命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。
（付記８）
付記７に記載のコンピュータ読み取り可能な記録媒体であって、
　前記同一性判定ステップにおいて、
前記画像データ毎に、当該画像データで検出された前記物体それぞれについて、前記第１のクラス内分散、前記第２のクラス内分散、及び前記クラス間分散を用いて、当該物体を含む各ペアにおける同一性を示す指標を算出し、更に、算出した指標の値が閾値以上であるペアを選択し、そして、選択した前記ペアを構成する、当該画像データにおいて検出された前記物体と、当該画像データの直後に出力された前記画像データにおいて検出された前記物体とを、同一であると判定する、
ことを特徴とするコンピュータ読み取り可能な記録媒体。
（付記９）
付記８に記載のコンピュータ読み取り可能な記録媒体であって、
　前記同一性判定ステップにおいて、
前記画像データ毎に、当該画像データで検出された前記物体それぞれについて、前記第１のクラス内分散、前記第２のクラス内分散、及び前記クラス間分散を用いて、当該物体を含む各ペアにおける同一性を示す前記指標として、フィッシャー比を算出する、
ことを特徴とするコンピュータ読み取り可能な記録媒体。
　以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２０２０年３月２５日に出願された日本出願特願２０２０－５４６７９を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　以上のように本発明によれば、学習データを用いた事前の機械学習を必要とせず、且つ、フレームレートに影響されることなく、カメラからの映像上で物体を追跡することができる。本発明は、監視カメラの映像に基づいて人の侵入等を監視する監視システムに有用である。
　１０　画像データ
　１１、１２、１３　物体
　２０　画像データ
　２１、２２、２３、２４　物体
　１００　画像追跡装置
　１０１　画像データ取得部
　１０２　物体検出部
　１０３　分散計算部
　１０４　同一性判定部
　１０５　物体追跡部
　１０６　画像格納部
　１０７　監視部
　１１０　コンピュータ
　１１１　ＣＰＵ
　１１２　メインメモリ
　１１３　記憶装置
　１１４　入力インターフェイス
　１１５　表示コントローラ
　１１６　データリーダ／ライタ
　１１７　通信インターフェイス
　１１８　入力機器
　１１９　ディスプレイ装置
　１２０　記録媒体
　１２１　バス
　２００　カメラ
　２０１　表示装置

Claims (9)

  1. 　カメラから時系列に沿ってフレーム単位で出力される画像データを取得する、画像データ取得手段と、
    　前記画像データ毎に、物体を検出する、物体検出手段と、
    　前記画像データ毎に、当該画像データで検出された前記物体それぞれについて、当該物体と当該画像データの直後に出力された前記画像データで検出されたいずれかの前記物体とのペアを設定し、各ペアについて、特徴空間における、当該ペアをクラスとする第１のクラス内分散と、当該ペア以外の前記物体をクラスとする第２のクラス内分散と、クラス間分散とを求める、分散計算手段と、
    　前記各ペアについて求められた、前記第１のクラス内分散、前記第２のクラス内分散、及び前記クラス間分散を用いて、当該画像データにおいて検出された前記物体と、当該画像データの直後に出力された前記画像データにおいて検出された前記物体と、の同一性を判定する、同一性判定手段と、
    　前記同一性の判定結果に基づいて、検出された前記物体の追跡処理を行う、物体追跡手段と、
    を備えている、ことを特徴とする画像追跡装置。
  2. 請求項１に記載の画像追跡装置であって、
    　前記同一性判定手段が、
    前記画像データ毎に、当該画像データで検出された前記物体それぞれについて、前記第１のクラス内分散、前記第２のクラス内分散、及び前記クラス間分散を用いて、当該物体を含む各ペアにおける同一性を示す指標を算出し、更に、算出した指標の値が閾値以上であるペアを選択し、そして、選択した前記ペアを構成する、当該画像データにおいて検出された前記物体と、当該画像データの直後に出力された前記画像データにおいて検出された前記物体とを、同一であると判定する、
    ことを特徴とする画像追跡装置。
  3. 請求項２に記載の画像追跡装置であって、
    　前記同一性判定手段が、
    前記画像データ毎に、当該画像データで検出された前記物体それぞれについて、前記第１のクラス内分散、前記第２のクラス内分散、及び前記クラス間分散を用いて、当該物体を含む各ペアにおける同一性を示す前記指標として、フィッシャー比を算出する、
    ことを特徴とする画像追跡装置。
  4. 　カメラから時系列に沿ってフレーム単位で出力される画像データを取得し、
    　前記画像データ毎に、物体を検出し、
    　前記画像データ毎に、当該画像データで検出された前記物体それぞれについて、当該物体と当該画像データの直後に出力された前記画像データで検出されたいずれかの前記物体とのペアを設定し、各ペアについて、特徴空間における、当該ペアをクラスとする第１のクラス内分散と、当該ペア以外の前記物体をクラスとする第２のクラス内分散と、クラス間分散とを求め、
    　前記各ペアについて求められた、前記第１のクラス内分散、前記第２のクラス内分散、及び前記クラス間分散を用いて、当該画像データにおいて検出された前記物体と、当該画像データの直後に出力された前記画像データにおいて検出された前記物体と、の同一性を判定し、
    　前記同一性の判定結果に基づいて、検出された前記物体の追跡処理を行う、
    ことを特徴とする画像追跡方法。
  5. 請求項４に記載の画像追跡方法であって、
    　前記同一性の判定において、
    前記画像データ毎に、当該画像データで検出された前記物体それぞれについて、前記第１のクラス内分散、前記第２のクラス内分散、及び前記クラス間分散を用いて、当該物体を含む各ペアにおける同一性を示す指標を算出し、更に、算出した指標の値が閾値以上であるペアを選択し、そして、選択した前記ペアを構成する、当該画像データにおいて検出された前記物体と、当該画像データの直後に出力された前記画像データにおいて検出された前記物体とを、同一であると判定する、
    ことを特徴とする画像追跡方法。
  6. 請求項５に記載の画像追跡方法であって、
    　前記同一性の判定において、
    前記画像データ毎に、当該画像データで検出された前記物体それぞれについて、前記第１のクラス内分散、前記第２のクラス内分散、及び前記クラス間分散を用いて、当該物体を含む各ペアにおける同一性を示す前記指標として、フィッシャー比を算出する、
    ことを特徴とする画像追跡方法。
  7. コンピュータに、
    　カメラから時系列に沿ってフレーム単位で出力される画像データを取得させ、
    　前記画像データ毎に、物体を検出させ、
    　前記画像データ毎に、当該画像データで検出された前記物体それぞれについて、当該物体と当該画像データの直後に出力された前記画像データで検出されたいずれかの前記物体とのペアを設定させ、各ペアについて、特徴空間における、当該ペアをクラスとする第１のクラス内分散と、当該ペア以外の前記物体をクラスとする第２のクラス内分散と、クラス間分散とを求めさせ、
    　前記各ペアについて求められた、前記第１のクラス内分散、前記第２のクラス内分散、及び前記クラス間分散を用いて、当該画像データにおいて検出された前記物体と、当該画像データの直後に出力された前記画像データにおいて検出された前記物体と、の同一性を判定させ、
    　前記同一性の判定結果に基づいて、検出された前記物体の追跡処理を行わせる、
    命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。
  8. 請求項７に記載のコンピュータ読み取り可能な記録媒体であって、
    　前記プログラムが、前記コンピュータに、前記同一性の判定において、
    前記画像データ毎に、当該画像データで検出された前記物体それぞれについて、前記第１のクラス内分散、前記第２のクラス内分散、及び前記クラス間分散を用いて、当該物体を含む各ペアにおける同一性を示す指標を算出させ、更に、算出した指標の値が閾値以上であるペアを選択させ、そして、選択した前記ペアを構成する、当該画像データにおいて検出された前記物体と、当該画像データの直後に出力された前記画像データにおいて検出された前記物体とを、同一であると判定させる、
    ことを特徴とするコンピュータ読み取り可能な記録媒体。
  9. 請求項８に記載のコンピュータ読み取り可能な記録媒体であって、
    　前記プログラムが、前記コンピュータに、前記同一性の判定において、
    前記画像データ毎に、当該画像データで検出された前記物体それぞれについて、前記第１のクラス内分散、前記第２のクラス内分散、及び前記クラス間分散を用いて、当該物体を含む各ペアにおける同一性を示す前記指標として、フィッシャー比を算出させる、
    ことを特徴とするコンピュータ読み取り可能な記録媒体。
     
PCT/JP2021/011080 2020-03-25 2021-03-18 画像追跡装置、画像追跡方法、及びコンピュータ読み取り可能な記録媒体 WO2021193353A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022510041A JP7323235B2 (ja) 2020-03-25 2021-03-18 画像追跡装置、画像追跡方法、及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-054679 2020-03-25
JP2020054679 2020-03-25

Publications (1)

Publication Number Publication Date
WO2021193353A1 true WO2021193353A1 (ja) 2021-09-30

Family

ID=77892562

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/011080 WO2021193353A1 (ja) 2020-03-25 2021-03-18 画像追跡装置、画像追跡方法、及びコンピュータ読み取り可能な記録媒体

Country Status (2)

Country Link
JP (1) JP7323235B2 (ja)
WO (1) WO2021193353A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114661947A (zh) * 2022-03-15 2022-06-24 北京达佳互联信息技术有限公司 偏好差异检测方法、装置、电子设备及计算机存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002014816A (ja) * 2000-05-02 2002-01-18 Internatl Business Mach Corp <Ibm> 判別式で決定木を生成し、それをデータ分類に使用するための方法および装置
JP2006202135A (ja) * 2005-01-21 2006-08-03 Univ Of Tokushima パターン検出装置、パターン検出方法、パターン検出プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP2012203422A (ja) * 2011-03-23 2012-10-22 Toshiba Corp 学習装置、方法及びプログラム
JP2014013432A (ja) * 2012-07-03 2014-01-23 Osaka Univ 特徴量抽出装置および特徴量抽出方法
WO2018179092A1 (ja) * 2017-03-28 2018-10-04 日本電気株式会社 個体識別装置
JP2019017867A (ja) * 2017-07-20 2019-02-07 株式会社東芝 情報処理装置、情報処理システム、およびプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002014816A (ja) * 2000-05-02 2002-01-18 Internatl Business Mach Corp <Ibm> 判別式で決定木を生成し、それをデータ分類に使用するための方法および装置
JP2006202135A (ja) * 2005-01-21 2006-08-03 Univ Of Tokushima パターン検出装置、パターン検出方法、パターン検出プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP2012203422A (ja) * 2011-03-23 2012-10-22 Toshiba Corp 学習装置、方法及びプログラム
JP2014013432A (ja) * 2012-07-03 2014-01-23 Osaka Univ 特徴量抽出装置および特徴量抽出方法
WO2018179092A1 (ja) * 2017-03-28 2018-10-04 日本電気株式会社 個体識別装置
JP2019017867A (ja) * 2017-07-20 2019-02-07 株式会社東芝 情報処理装置、情報処理システム、およびプログラム

Also Published As

Publication number Publication date
JPWO2021193353A1 (ja) 2021-09-30
JP7323235B2 (ja) 2023-08-08

Similar Documents

Publication Publication Date Title
US11106920B2 (en) People flow estimation device, display control device, people flow estimation method, and recording medium
TWI686774B (zh) 人臉活體檢測方法和裝置
CN110765860B (zh) 摔倒判定方法、装置、计算机设备及存储介质
US9824296B2 (en) Event detection apparatus and event detection method
US8630453B2 (en) Image processing device, image processing method and program
EP2919153A1 (en) Event detection apparatus and event detection method
Dutta et al. Online detection of abnormal events using incremental coding length
KR20200141812A (ko) 뉴럴 네트워크를 이용하여 이상 신호를 감지하는 방법 및 장치
Fan et al. Fall detection via human posture representation and support vector machine
US20210338109A1 (en) Fatigue determination device and fatigue determination method
WO2018078857A1 (ja) 視線推定装置、視線推定方法及びプログラム記録媒体
KR102101623B1 (ko) 영상 정보를 이용하여 이상 상황을 감지하는 방법 및 장치
EP3757878A1 (en) Head pose estimation
WO2021193353A1 (ja) 画像追跡装置、画像追跡方法、及びコンピュータ読み取り可能な記録媒体
JP2022003526A (ja) 情報処理装置、検出システム、情報処理方法、及びプログラム
CN110276313B (zh) 身份认证方法、身份认证装置、介质和计算设备
US20200084416A1 (en) Information processing apparatus, control method, and program
JP2020170252A (ja) 画像処理装置、情報処理方法及びプログラム
KR101412369B1 (ko) 영상의 객체 검출 방법 및 장치
JP7214437B2 (ja) 情報処理装置、情報処理方法及びプログラム
WO2021193352A1 (ja) 画像追跡装置、画像追跡方法、及びコンピュータ読み取り可能な記録媒体
KR102085034B1 (ko) 영상의 전경과 배경을 분리하여 전경영상을 검출하는 방법 및 장치
JP4750758B2 (ja) 注目領域抽出方法、注目領域抽出装置、コンピュータプログラム、及び、記録媒体
CN111986230A (zh) 一种视频中目标物的姿态跟踪方法及装置
KR102564039B1 (ko) 프레임간 유사도에 기초하여, 신경망 학습을 위한 프레임 데이터를 생성하는 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21775398

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022510041

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21775398

Country of ref document: EP

Kind code of ref document: A1