WO2012014403A1 - 空間における変化領域検出装置及び方法 - Google Patents

空間における変化領域検出装置及び方法 Download PDF

Info

Publication number
WO2012014403A1
WO2012014403A1 PCT/JP2011/004029 JP2011004029W WO2012014403A1 WO 2012014403 A1 WO2012014403 A1 WO 2012014403A1 JP 2011004029 W JP2011004029 W JP 2011004029W WO 2012014403 A1 WO2012014403 A1 WO 2012014403A1
Authority
WO
WIPO (PCT)
Prior art keywords
feature point
image
feature
reference image
captured image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2011/004029
Other languages
English (en)
French (fr)
Inventor
隆行 松川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to CN201180037616.0A priority Critical patent/CN103052971B/zh
Priority to US13/811,796 priority patent/US9064171B2/en
Publication of WO2012014403A1 publication Critical patent/WO2012014403A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Definitions

  • the present invention relates to an apparatus and method for detecting a change area in space from an image captured by a movable camera.
  • One of the monitoring systems is to detect removal and leaving of articles based on an image of a wearable camera attached to a security guard.
  • the removal of an item is realized by detecting an item that is present in the registered image but not in the captured image.
  • the removal of an item for example, the placement of a dangerous item such as a bomb
  • the image captured by the wearable camera changes in accordance with the position, orientation, and the like of the wearable camera, information (positioning information) indicating which space is being imaged is required. That is, in the wearable camera, sensors such as a GPS, a gyro sensor, and a magnetic direction sensor are mounted, and positioning information as attribute information of a captured image is acquired by this sensor. Then, an image corresponding to the positioning information (hereinafter, this image is referred to as a reference image) is selected from the registered images. That is, the reference image which image
  • a reference image which image
  • Patent Document 1 As for alignment using image processing, there is a technique described in, for example, Patent Document 1.
  • Patent Document 1 selects a reference image in the same space as the captured image under the premise that the captured image originally includes a change region changing with respect to the reference image. Not intended. That is, in the conventional image processing represented by Patent Document 1, it is not considered that a part of the captured image is changed from the reference image, so the pattern matching of the reference image in the same space as the reference image is performed. If it is attempted to select by the method, it may not be possible to select an appropriate reference image. In particular, since the technique described in Patent Document 1 performs pattern matching between local features, it is susceptible to the change area of the captured image, and as a result, the possibility of selecting an incorrect reference image Is considered high.
  • positioning sensors such as GPS have the disadvantage that the usable location is limited. In the case of GPS, it can only be used outdoors. In addition to GPS, there is a positioning method using UWB, but in this case, it is necessary to install a receiver in the facility, which complicates the system. In any case, when the alignment between the captured image and the reference image is performed using the sensor, the usable location is limited as compared with the case where the alignment is performed by image processing, and / or the camera is used. Besides, there is a disadvantage that a complicated configuration is required.
  • An object of the present invention is to provide a detection apparatus and method capable of accurately detecting a change area in space without using a positioning sensor.
  • a feature point detection unit for detecting feature points of a captured image, a registered image database for storing a plurality of registered images, and reference from among the feature points of the captured image
  • a first feature point selection unit for selecting feature points used to determine an image, a feature point selected by the first feature point selection unit, and a feature point of each registered image stored in the registration database
  • a reference image determining unit that determines an image having the highest degree of matching with the captured image among the plurality of registered images by performing matching determination between the captured image and each registered image
  • a second feature point selection unit for selecting a feature point used to calculate a geometric transformation parameter from feature points of the captured image and feature points of the reference image; and the second feature point selection unit
  • a geometric conversion parameter calculation unit that calculates a geometric conversion parameter using the selected feature points, and from among the feature points of the captured image and the feature points of the reference image, the captured image and the reference image
  • One aspect of the change area detection method is a change area detection method of calculating the degree of similarity between a captured image and a reference image, and detecting a change area in the captured image based on the similarity.
  • a first feature point selecting step of selecting a feature point used to determine the reference image from feature points of the captured image, and a feature point of the captured image and a feature point of the reference image A second feature point selecting step of selecting a feature point used to calculate a geometric transformation parameter; and the feature image of the feature image and the feature image of the reference image, the feature image and the reference image.
  • feature point selection suitable for determining a reference image feature point selection suitable for calculating a geometric transformation parameter, and feature point selection suitable for calculating a degree of similarity are performed independently. Therefore, it is possible to obtain an accurate reference image, an accurate geometric transformation parameter, and an accurate similarity without performing unnecessary calculations. As a result, the change area can be accurately determined with a small amount of calculation.
  • Block diagram showing the configuration of the change area detection device according to the embodiment of the present invention 2A shows a tree structure of SR-tree, and FIG. 2B shows a data structure of leaves.
  • Flow chart showing the processing procedure of the corresponding point search unit Diagram showing information stored in registered image database Flow chart showing processing procedure of reference image determination unit
  • Flow chart showing the processing procedure of the similarity calculation unit Flow chart showing the processing procedure of the similarity calculation unit Diagram showing an image of the change area detection process of the change area detection device
  • FIG. 1 shows the configuration of a change region detection apparatus according to an embodiment of the present invention.
  • the change area detection apparatus 10 inputs the captured image S1 to the feature point detection unit 11.
  • the captured image S1 is an image captured by a movable camera such as a wearable camera.
  • the feature point detection unit 11 detects feature points of the captured image S1.
  • the feature point is, for example, a point which becomes an extremum from a plurality of difference of gaussian (DOG) images generated from differences of different smoothed images as used in scale-invariant feature transform (SIFT). It may be detected.
  • DOG difference of gaussian
  • SIFT scale-invariant feature transform
  • the feature point extraction by DOG is a known technique described in, for example, Non-Patent Document 1, and thus the description thereof is omitted here.
  • the feature point detection unit 11 detects a plurality of feature points from one captured image.
  • the detected feature point information S2 is sent to the feature amount calculating unit 12.
  • the feature amount calculation unit 12 calculates a feature amount S3 for each feature point detected by the feature point detection unit 11, and outputs this.
  • the feature quantity to be calculated is preferably, for example, a rotation and scale invariant feature quantity as used in SIFT.
  • the feature amount is gradient information (multidimensional vector information) in the vicinity of the feature point.
  • the corresponding point search feature point selection unit 13 selects a feature point to be used by the corresponding point search unit 14 from the feature points detected by the feature point detection unit 11. Specifically, among the feature points detected by the feature point detection unit 11, the corresponding point search feature point selection unit 13 selects only sparse feature points in the feature quantity space calculated by the feature quantity calculation unit 12. select. A sparse feature point is a feature point in which other feature points do not exist in the vicinity. The sparse feature points selected by the corresponding point search feature point selection unit 13 may be rephrased as being sparser than the feature points selected by the similarity calculation feature point selection unit 20 described later. .
  • the corresponding point search unit 14 searches for feature points (corresponding points) of the registered image in which the distance between the feature amounts is equal to or less than the threshold value, for each of Nf feature points of the input image.
  • the distance between feature quantities is the Euclidean distance.
  • the corresponding points are searched based on the feature quantity index stored in the feature quantity index unit, instead of directly using the registered image. Thereby, the corresponding points can be searched more efficiently than directly using the registered image.
  • the feature amount index unit 15 stores feature amounts at all feature points included in each registered image stored in the registered image database 17.
  • the feature index unit 15 has an index structure such as SR-tree, for example, in order to streamline the search for corresponding points.
  • the SR-tree is a known technique described in Patent Document 2 and the like, so the description thereof is omitted here.
  • the tree structure of SR-tree is shown in FIG. 2A, and the data structure of leaves is shown in FIG. 2B. As shown in FIG. 2B, in each entry of the leaf of the SR-tree, in addition to the feature amount, the identification number (ID) of the original registered image having the feature amount is also stored.
  • ID the identification number
  • FIG. 3 shows the processing procedure of the corresponding point search unit 14.
  • the corresponding point search unit 14 searches for a plurality of corresponding points from the registered image per one feature point of the captured image. For example, the number of corresponding points of the registered image with respect to the p-th feature point of the captured image is Kp.
  • the corresponding point search unit 14 selects one feature point of the input image (reference image) and acquires its feature amount.
  • the nearest neighbor Kp feature points of the feature amount obtained in step ST11 are obtained as corresponding points of the registered image by the nearest neighbor search.
  • step ST; NO If a negative result is obtained in step ST13 (step ST; NO), corresponding points for the next feature point are searched by repeating steps ST11 to ST12, and if a positive result (step ST; YES) is obtained in step ST13, The corresponding point search process ends.
  • the feature index unit 15 is provided in the present embodiment, the corresponding points may be directly searched from the registered image.
  • the reference image determination unit 16 uses the corresponding point information from the corresponding point search unit 14 and the registered image information from the registered image database 17 to correspond to the corresponding points searched by the corresponding point search unit 14. Vote 1 vote on the original registered image with points. The reference image determination unit 16 repeatedly performs this voting process on all corresponding points searched for all feature points of the input image (reference image). Then, the reference image determination unit 16 determines the registered image with the largest number of votes obtained as a reference image for the input image.
  • the reference image determination unit 16 gives a weight according to the distance between the feature amounts calculated by the corresponding point search unit 14 and votes. In this way, since a vote result including the certainty of the corresponding points is obtained, a more accurate registered image is selected as a reference image.
  • the registered image database 17 stores the ID of the registered image, the ID of the feature point detected from the registered image, the coordinates of the feature point, and the feature amount of the feature point as one record. Further, the registered image database 17 has, for one registered image, a plurality of records for a plurality of feature points detected from the registered image.
  • FIG. 5 shows the processing procedure of the reference image determination unit 16.
  • the reference image determination unit 16 puts all the corresponding points acquired in the corresponding point search in the search result list.
  • the search result list is a list including feature point IDs of corresponding points and distances between feature points of the input image and feature amounts of the corresponding points.
  • one corresponding point is acquired from the search result list.
  • the image ID of the original image of the corresponding point is acquired from the registered image database 17.
  • step ST24 it is determined whether the acquired image ID is present in the reference image candidate list.
  • the reference image candidate list is a list including image IDs of registered images and the number of votes obtained. That is, it is a list of the number of votes obtained for each registered image. If an affirmative result is obtained in step ST24 (step ST24; YES), the process proceeds to step ST25, and the number of votes of the corresponding image ID of the reference image candidate list is added. On the other hand, if a negative result is obtained in step ST24 (step ST24; NO), the process proceeds to step ST26, and the corresponding image ID is added to the reference image candidate list.
  • step ST27 it is determined whether all feature points included in the search result list have been processed. If an affirmative result is obtained in step ST27 (step ST27; YES), the process proceeds to step ST28, and the registered image with the largest number of votes obtained in the reference image candidate list is determined as the reference image. On the other hand, if a negative result is obtained in step ST27 (step ST27; NO), the process returns to step ST22.
  • the geometric transformation parameter calculation feature point selection unit 18 selects a feature point serving as a reference used by the geometric transformation parameter calculation unit 19. Specifically, the feature point selecting unit for geometric transformation parameter calculation 18 selects the feature with the feature point of the reference image searched by the corresponding point searching unit 14 among the feature points of the input image detected by the feature point detecting unit 11 A fixed number of items are selected in order from the combination in which the amount distance is minimum. At this time, feature points closer than a certain distance in the coordinate space are not selected with respect to the feature points already selected.
  • the geometric transformation parameter calculation feature point selection unit 18 selects a feature point having a predetermined degree or more of similarity between the feature point of the input image and the feature point of the reference image. Thereby, the accuracy of the correspondence between the input image and the reference image can be enhanced. Further, the geometric transformation parameter calculation feature point selection unit 18 selects a feature point having a distance in the coordinate space of a predetermined value or more between the feature point of the input image and the feature point of the reference image. This can increase the accuracy of geometric transformation.
  • the geometric transformation parameter calculator 19 calculates a geometric transformation parameter that represents a geometric change from the input image to the reference image.
  • the geometric transformation parameter calculation unit 19 prepares a plurality of sets of such reference points, using the feature points of the input image and the feature points of the reference image corresponding thereto as both reference points, and affine transformation parameters by the least square method.
  • the set of reference points is the feature points selected by the geometric transformation parameter calculation feature point selection unit 18.
  • the feature points of the input image having no feature point of the corresponding reference image are not included in the set of reference points. If there are at least three sets of reference points, it is possible to solve the affine transformation parameters by the least squares method.
  • the inverse of the affine transformation is also calculated.
  • the inverse transformation of the affine transformation is a geometric transformation from a reference image to an input image.
  • the similarity calculation feature point selection unit 20 selects feature points of the input image and the reference image used by the similarity calculation unit 21. Specifically, the feature point selecting unit for similarity calculation 20 selects, among the feature points of the input image, a feature point whose feature amount distance from the feature point of the reference image searched in the corresponding point search is larger than a certain threshold. Do not select. In other words, among the feature points of the input image, the feature point calculating unit 21 uses only feature points whose feature amount distance with the feature point of the reference image searched in the corresponding point search is equal to or less than a certain threshold. Choose as. Also, the similarity calculation feature point selection unit 20 does not select a feature point closer than a certain distance in the already selected coordinate space. As a result, it is possible to exclude feature points of an area in which the image is not obviously changed or feature points densely packed in the coordinate space, thereby suppressing unnecessary calculation of similarity.
  • the similarity calculation unit 21 calculates the distance between the feature amounts of corresponding feature points between the input image and the reference image, and sets this as the similarity. Specifically, the similarity calculation unit 21 first performs affine transformation on the feature points of the input image using the transformation parameters calculated by the geometric transformation parameter calculation unit 19. Next, the similarity calculation unit 21 searches for feature points of the reference image present in the vicinity of the coordinates of the feature points of the input image subjected to affine transformation, and calculates the distance between feature amounts at those feature points. Conversely, the similarity calculation unit 21 also searches for feature points of the input image present in the vicinity of the coordinates obtained by inversely transforming the feature points from the reference image, and similarly calculates the distance between feature amounts at those feature points.
  • the similarity calculation unit 21 creates a corresponding point list including feature point coordinates of the input image and a feature amount distance between feature points of the reference image corresponding to the feature point.
  • the coordinate point calculated by affine transformation from the reference image is taken as the feature point coordinates of the input image.
  • FIG. 6A and 6B show the processing procedure of the similarity calculation unit 21.
  • the similarity calculation unit 21 selects one feature point from the input image.
  • the reference point here is a reference point used in parameter calculation in the geometric transformation parameter calculation unit 19. If the similarity calculation unit 21 determines that the feature point is not a reference point (step ST32; YES), the process proceeds to step ST33. On the other hand, if the similarity calculation unit 21 determines that the feature point is a reference point (step ST32; NO), it moves to step ST40.
  • step ST33 coordinate points obtained by affine transforming the feature points are calculated.
  • step ST34 it is determined whether the affine-transformed coordinate point exists in the reference image. If the similarity calculation unit 21 determines that the affine-transformed coordinate point exists in the reference image (step ST34; YES), the similarity degree calculation unit 21 proceeds to step ST35. On the other hand, when it is determined that the affine-transformed coordinate point does not exist in the reference image (step ST34; NO), the similarity calculation unit 21 proceeds to step ST40.
  • step ST35 the feature point of the reference image whose distance is closest to the affine-coordinate point is searched.
  • step ST36 it is determined whether the distance in the coordinate space between the coordinates of the feature point of the reference image found in step ST35 and the coordinate point subjected to affine transformation is within the threshold.
  • the threshold value is set to a value in which an error of affine transformation is taken into consideration. That is, the fact that a positive result is obtained in step ST36 (step ST36; YES) means that there is a feature point of the registered image corresponding to the feature point of the input image subjected to affine transformation, and the process proceeds to step ST37 at this time. .
  • step ST36 step ST36; NO
  • step ST37 the distance between feature quantities is calculated between the feature points of the input image subjected to affine transformation and the feature points of the reference image corresponding to the feature points. Then, in step ST38, the coordinates of the feature point and the distance between feature amounts are added to the corresponding point list.
  • step ST39 the coordinates of the feature point and the feature amount distance of a sufficiently large value are added to the corresponding point list.
  • the feature amount distance of a sufficiently large value is a value that can be determined as a change region by the change region determination unit 22 in the subsequent stage. Incidentally, the greater the feature amount distance, the lower the degree of similarity.
  • step ST40 it is determined whether the processing for all feature points of the input image has been completed, and if completed (step ST40; YES), the process proceeds to step ST41. On the other hand, if not completed (step ST40; NO), the process returns to step ST31, and the same process is repeated for the next feature point.
  • the process of steps ST31 to ST40 corresponds to a process for detecting an article (that is, a change area) which is not present in the registered image but is present in the captured image, as in the case of leaving the article.
  • a large feature value distance of a value that can be determined as a change area by the change area determination unit 22 in the subsequent stage is set.
  • steps ST41 to ST50 described below is for detecting an article (that is, a change area) that exists in the registered image but does not exist in the captured image, like removal of the article. It corresponds to processing.
  • the similarity calculating unit 21 selects one feature point from the reference image in step ST41. In the subsequent step ST42, it is determined whether the feature point selected in step ST41 is present in the corresponding point list. If the similarity calculation unit 21 determines that the feature point is not present in the corresponding point list (step ST42; YES), it proceeds to step ST43. On the other hand, when it is determined that the feature point is present in the corresponding point list (step ST42; NO), the similarity calculation unit 21 proceeds to step ST50.
  • step ST43 coordinate points obtained by affine transforming the feature points are calculated.
  • step ST44 it is determined whether the affine-transformed coordinate point exists in the input image. If the similarity calculation unit 21 determines that the affine-transformed coordinate point is present in the input image (step ST44; YES), the process proceeds to step ST45. On the other hand, when it is determined that the affine-transformed coordinate point does not exist in the input image (step ST44; NO), the similarity calculation unit 21 proceeds to step ST50.
  • step ST45 a feature point of the input image is searched for which the distance is closest to the affine-transformed coordinate point.
  • step ST46 it is determined whether the distance in the coordinate space between the coordinates of the feature point of the input image found in step ST45 and the coordinate point subjected to affine transformation is within the threshold.
  • the threshold value is set to a value in which an error of affine transformation is taken into consideration. That is, the fact that a positive result is obtained in step ST46 (step ST46; YES) means that there is a feature point of the input image corresponding to the feature point of the reference image subjected to affine transformation, and the process proceeds to step ST47 at this time. .
  • step ST46 step ST46; NO
  • step ST47 the distance between the feature amounts is calculated between the feature point of the reference image subjected to affine transformation and the feature point of the input image corresponding to the feature point. Then, in step ST48, the coordinates of the feature point and the distance between feature amounts are added to the corresponding point list.
  • step ST49 the coordinate point subjected to affine transformation is used as feature point coordinates, and the coordinates of the feature point and a feature amount distance of a sufficiently large value are added to the corresponding point list.
  • the feature amount distance of a sufficiently large value is a value that can be determined as a change region by the change region determination unit 22 in the subsequent stage.
  • step ST50 it is determined whether the processing for all the feature points of the reference image has been completed, and if it has not been completed (step ST50; NO), the process returns to step ST41 and similar processing is performed for the next feature point. repeat.
  • the similarity calculation unit 21 creates a corresponding point list.
  • this corresponding point list when there is a corresponding feature point between the input image and the reference image, a relatively small value of inter-feature amount distance is written.
  • the corresponding point list when there is no corresponding feature point between the input image and the reference image, a sufficiently large distance between feature amounts is written. The smaller the distance between feature amounts, the larger the degree of similarity.
  • the change area may be detected by detecting the area in which the points are dense.
  • FIG. 7 shows an image of the change area detection process of the change area detection apparatus 10 of the present embodiment.
  • FIG. 7A-1 shows an input image (captured image), and FIG. 7B-1 shows a reference image.
  • FIG. 7A-2 shows feature points in the input image
  • FIG. 7B-2 shows feature points in the reference image.
  • FIG. 7B-3 is a diagram showing a case where there is a feature point with a large distance between feature amounts in the reference image (that is, a case where a feature point not present in the input image is present in the reference image).
  • the change area determination unit 22 determines that the area indicated by the thick frame in FIG. 7A-3 is a change (abnormal) area. That is, in the example of the figure, the document is carried away.
  • the corresponding point search feature point selection unit 13 for selecting a feature point used to determine a reference image from feature points of an input image (captured image);
  • a feature point selecting unit for geometric transformation parameter calculation which selects a feature point used to calculate a geometric transformation parameter from feature points of an input image and feature points of a reference image, feature points of the input image and a reference image
  • a feature point selecting unit 20 for similarity calculation to select feature points used to obtain the similarity between the captured image and the reference image among the feature points, and the feature point selecting units 13, 18, 20
  • the feature point selection suitable for determining the reference image, the feature point selection suitable for calculating the geometric transformation parameter, and the feature point selection suitable for calculating the degree of similarity are independently performed. As a result, it is possible to obtain an accurate reference image, an accurate geometric transformation parameter, and an accurate similarity without performing unnecessary calculations. As a result, the change area can be accurately determined with a small amount of calculation.
  • the change area detection apparatus and method according to the present invention are suitably applied to, for example, a monitoring system using a wearable camera.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

　測位センサーを用いなくても、空間における変化領域を精度良く検出できる変化領域検出装置１０。変化領域検出装置１０は、入力画像（撮像画像）の特徴点の中から参照画像を決定するために用いる特徴点を選択する対応点探索用特徴点選択部１３と、入力画像の特徴点と参照画像の特徴点との中から幾何変換パラメータを算出するために用いる特徴点を選択する幾何変換パラメータ算出用特徴点選択部１８と、入力画像の特徴点と参照画像の特徴点との中から撮像画像と参照画像との類似度を求めるために用いる特徴点を選択する類似度算出用特徴点選択部２０と、を有する。

Description

空間における変化領域検出装置及び方法
　本発明は、移動可能なカメラで撮影した撮像画像から、空間内における変化領域を検出する装置及び方法に関する。
　近年、ウェアラブルカメラ等を用いて監視を行うシステムが実用化されている。この監視システムの一つとして、警備員に装着されたウェアラブルカメラの画像に基づいて、物品の持ち去り及び置き去りを検出するものがある。物品の持ち去り（例えば盗難に相当する）は、登録画像中に存在するが、撮像画像中に存在しない物品を検出することで実現される。一方、物品の置き去り（例えば爆弾などの危険物の設置に相当する）は、登録画像中には存在しないが、撮像画像中に存在する物品を検出することで実現される。
　ところで、ウェアラブルカメラによる撮像画像は、当該ウェアラブルカメラの位置や向き等に応じて変化するので、どの空間を撮像しているかを示す情報（測位情報）が必要となる。つまり、ウェアラブルカメラには、ＧＰＳ、ジャイロセンサー、磁気方位センサーなどのセンサー類が搭載され、このセンサーによって撮像画像の属性情報としての測位情報が取得される。そして、登録画像の中から測位情報に対応する画像（以下この画像を参照画像と呼ぶ）が選択される。つまり測位情報によって撮像画像と同じ空間を撮影した参照画像が特定される。次に、参照画像と撮像画像とが比較されることにより、空間における変化領域が検出され、この検出結果に基づいて、上述した持ち去りや置き去り等が判定される。
　このように、移動カメラで撮像した撮像画像と参照画像とを用いて、空間における変化領域を検出するためには、先ず、撮像画像と参照画像との位置合わせが必要となる。つまり、撮像画像に対応する参照画像を選択する必要がある。
　この位置合わせの方法としては、
　・上述したＧＰＳ等のセンサーを用いる方法
　・画像のパターンマッチング等の画像処理を用いる方法の２つが考えられる。
　画像処理を用いた位置合わせについては、例えば特許文献１に記載された技術がある。
特開２００３－２４２５０９号公報
D. Lowe, "Distinctive Image Features from Scale-Invariant Keypoiunts", International Journal of Computer Vision, Vol.60, No.2, pp.91-110, 2004
N.Katayama and S.Satoh, "The SR-tree: An Index Structure for High-Dimensional Nearest Neighbor Queries", Proceedings of the 1997 ACM SIGMOD International Conference on Management of Data, pp.369-380, 1997
　ところが、特許文献１に記載された技術は、そもそも、撮像画像に参照画像に対して変化している変化領域が含まれるといった前提の下における、撮像画像と同一空間の参照画像を選択することを想定したものではない。つまり、特許文献１に代表されるような従来の画像処理においては、撮像画像の一部が参照画像から変化していることが考慮されていないので、参照画像と同一空間の参照画像をパターンマッチングによって選択しようとすると、的確な参照画像を選択できないおそれがある。特に、特許文献１に記載された技術は、局所的な特徴同士のパターンマッチングを行うものなので、撮像画像の変化領域の影響を受けやすく、その結果、誤った参照画像を選択してしまう可能性が高いと考えられる。つまり、局所的な特徴同士のパターンマッチングを行うと、撮像画像にあって参照画像にない物体や、その逆に参照画像にあって撮像画像にない物体が、パターンマッチングの結果に影響を与えるので、同一空間の参照画像を選択するには好ましくない。
　的確な参照画像を選択できないと（つまり撮像画像と同一空間の参照画像を選択できないと）、当然、変化領域の検出精度も低下する。
　一方、ＧＰＳ等の測位センサーは、使用可能な場所が限定される欠点がある。ＧＰＳの場合は屋外しか使用できない。ＧＰＳ以外にＵＷＢによる測位方法があるが、この場合には、施設内に受信機を設置する必要があるので、システムが複雑化する。いずれにしても、センサーを用いて撮像画像と参照画像との位置合わせを行う場合には、画像処理によって位置合わせを行う場合と比較して、使用可能な場所が限定される、及び又は、カメラ以外に複雑な構成が必要となる、といった欠点がある。
　本発明の目的は、測位センサーを用いなくても、空間における変化領域を精度良く検出できる検出装置及び方法を提供することである。
　本発明の変化領域検出装置の一つの態様は、撮像画像の特徴点を検出する特徴点検出部と、複数の登録画像を格納する登録画像データベースと、前記撮像画像の特徴点の中から、参照画像を決定するために用いる特徴点を選択する第１の特徴点選択部と、前記第１の特徴点選択部によって選択された特徴点と、前記登録データベースに格納された各登録画像の特徴点とを用いて、前記撮像画像と各登録画像とのマッチング判定を行うことにより、前記複数の登録画像の中で前記撮像画像に最もマッチング度合いの高い画像を参照画像として決定する参照画像判定部と、前記撮像画像の特徴点と前記参照画像の特徴点との中から、幾何変換パラメータを算出するために用いる特徴点を選択する第２の特徴点選択部と、前記第２の特徴点選択部によって選択された特徴点を用いて、幾何変換パラメータを算出する幾何変換パラメータ算出部と、前記撮像画像の特徴点と前記参照画像の特徴点との中から、前記撮像画像と前記参照画像との類似度を求めるために用いる特徴点を選択する第３の特徴点選択部と、前記第３の特徴点選択部によって選択された特徴点を、前記幾何変換パラメータ算出部によって算出された幾何変換パラメータを用いて幾何変換し、幾何変換後の、前記撮像画像の特徴点と前記参照画像の特徴点の類似度を算出する類似度算出部と、前記類似度算出部によって得られた類似度に基づいて、変化領域を判定する変化領域判定部と、を具備する。
　本発明の変化領域検出方法の一つの態様は、撮像画像と参照画像との類似度を算出し、この類似度に基づいて前記撮像画像中の変化領域を検出する変化領域検出方法であって、前記撮像画像の特徴点の中から、前記参照画像を決定するために用いる特徴点を選択する第１の特徴点選択ステップと、前記撮像画像の特徴点と前記参照画像の特徴点との中から、幾何変換パラメータを算出するために用いる特徴点を選択する第２の特徴点選択ステップと、前記撮像画像の特徴点と前記参照画像の特徴点との中から、前記撮像画像と前記参照画像との類似度を求めるために用いる特徴点を選択する第３の特徴点選択ステップと、を含む。
　本発明によれば、参照画像を決定するのに適した特徴点選択、幾何変換パラメータを算出するのに適した特徴点選択、類似度を算出するのに適した特徴点選択を、独立に行うことができるので、無駄な計算を行わずに、的確な参照画像、的確な幾何変換パラメータ、的確な類似度を求めることができる。この結果、少ない計算量で、変化領域を精度良く求めることができるようになる。
本発明の実施の形態に係る変化領域検出装置の構成を示すブロック図 図２ＡはＳＲ－ｔｒｅｅのツリー構造を示す図、図２Ｂはリーフのデータ構造を示す図 対応点探索部の処理手順を示すフローチャート 登録画像データベースに格納された情報を示す図 参照画像判定部の処理手順を示すフローチャート 類似度算出部の処理手順を示すフローチャート 類似度算出部の処理手順を示すフローチャート 変化領域検出装置の変化領域検出処理のイメージを示す図
　以下、本発明の実施の形態について、図面を参照して詳細に説明する。
　図１に、本発明の実施の形態に係る変化領域検出装置の構成を示す。変化領域検出装置１０は、特徴点検出部１１に撮像画像Ｓ１を入力する。撮像画像Ｓ１は、ウェアラブルカメラ等の移動可能なカメラで撮影した画像である。
　特徴点検出部１１は、撮像画像Ｓ１の特徴点を検出する。ここで、特徴点は、例えば、ＳＩＦＴ（Scale-Invariant Feature Transform）で使われているような、異なる平滑化画像の差分から生成した複数のＤＯＧ（Difference of Gaussian）画像から極値となる点として検出すればよい。ＤＯＧによる特徴点抽出は、例えば非特許文献１に記載されている既知の技術なので、ここでの説明は省略する。特徴点検出部１１は、１枚の撮像画像から複数個の特徴点を検出する。検出された特徴点情報Ｓ２は、特徴量算出部１２に送出される。
　特徴量算出部１２は、特徴点検出部１１にて検出された各特徴点について、特徴量Ｓ３を算出し、これを出力する。算出される特徴量は、例えば、ＳＩＦＴで使われているような、回転及びスケールが不変な特徴量であることが好ましい。本実施の形態の場合、特徴量は、特徴点の近傍の勾配情報（多次元ベクトル情報）である。
　対応点探索用特徴点選択部１３は、特徴点検出部１１で検出された特徴点の中から対応点探索部１４で使用する特徴点を選択する。具体的には、対応点探索用特徴点選択部１３は、特徴点検出部１１で検出された特徴点のうち、特徴量算出部１２で算出された特徴量の空間において疎な特徴点だけを選択する。疎な特徴点とは、近傍に他の特徴点が存在しない特徴点である。なお、対応点探索用特徴点選択部１３によって選択される疎な特徴点とは、後述する類似度算出用特徴点選択部２０によって選択される特徴点よりも疎である、と言い換えてもよい。
　このように疎な特徴点を選択することにより、入力画像（撮像画像）中に新規に出現した物体、または消滅した物体が存在する場合でも、的確な参照画像を選択できるようになる。つまり、疎な特徴点を選択することにより、入力画像の局所的な変化の影響を受け難くなり、その結果、誤った参照画像を選択してしまう可能性を低くできる。
　対応点探索部１４は、入力画像のＮｆ個ある各特徴点について、特徴量間の距離が閾値以下となる登録画像の特徴点（対応点）を探索する。ここでの特徴量間の距離とは、ユークリッド距離のことである。本実施の形態の場合、登録画像を直接用いるのではなく、特徴量インデックス部に格納された特徴量インデックスに基づいて、対応点を探索するようになっている。これにより、登録画像を直接用いるよりも、効率的に対応点を探索できる。
　特徴量インデックス部１５は、登録画像データベース１７に格納されている各登録画像がもつ全ての特徴点における特徴量を格納する。特徴量インデックス部１５は、対応点の探索を効率化するために、例えばＳＲ－ｔｒｅｅのようなインデックス構造をなしている。ＳＲ－ｔｒｅｅは、特許文献２等に記載された公知の技術なので、ここでの説明は省略する。
　図２ＡにＳＲ－ｔｒｅｅのツリー構造を示し、図２Ｂにリーフのデータ構造を示す。図２Ｂに示したように、ＳＲ－ｔｒｅｅのリーフの各エントリには、特徴量に加えて、その特徴量を有する元の登録画像の識別番号（ＩＤ）も格納されている。
　図３に、対応点探索部１４の処理手順を示す。対応点探索部１４は、撮像画像の１つの特徴点あたり、登録画像から複数個の対応点を探索する。例えば、撮像画像のｐ番目の特徴点に対する、登録画像の対応点の個数をＫｐ個とする。対応点探索部１４は、ステップＳＴ１１で、入力画像（参照画像）の特徴点を１つ選びその特徴量を取得する。ステップＳＴ１２では、最近傍探索によって、ステップＳＴ１１で取得した特徴量の最近傍Ｋｐ個の特徴点を登録画像の対応点として取得する。ステップＳＴ１３では、入力画像（撮像画像）の全ての特徴点についての対応点を探索したか否かを判断する。ステップＳＴ１３で否定結果を得ると（ステップＳＴ；ＮＯ）、ステップＳＴ１１－ＳＴ１２を繰り返すことで次の特徴点についての対応点を探索し、ステップＳＴ１３で肯定結果（ステップＳＴ；ＹＥＳ）を得ると、対応点探索処理を終了する。
　なお、本実施の形態では、特徴量インデックス部１５を設けているが、登録画像から対応点を直接探索してもよい。
　参照画像判定部１６は、対応点探索部１４からの対応点情報と、登録画像データベース１７からの登録画像情報とを用いて、対応点探索部１４にて探索した対応点に対して、この対応点を有する元の登録画像に１票を投票する。参照画像判定部１６は、この投票処理を、入力画像（参照画像）の全ての特徴点についてそれぞれ探索した全ての対応点に対して繰り返して行う。そして、参照画像判定部１６は、最も得票数が多かった登録画像を、入力画像に対する参照画像として決定する。
　ここで、参照画像判定部１６は、対応点探索部１４にて計算した特徴量間の距離に応じた重みを付けて投票すると、より好ましい。このようにすると、対応点の確からしさが加味された得票結果が得られるので、参照画像として、より的確な登録画像が選択される。
　登録画像データベース１７は、図４に示すように、登録画像のＩＤ、登録画像から検出した特徴点のＩＤ、特徴点の座標、および特徴点の特徴量を１レコードとして格納する。また、登録画像データベース１７は、登録画像１枚に対して、その登録画像から検出した複数の特徴点分の複数のレコードをもつ。
　図５に、参照画像判定部１６の処理手順を示す。参照画像判定部１６は、ステップＳＴ２１で、対応点探索で取得した全ての対応点を探索結果リストに入れる。探索結果リストとは、対応点の特徴点ＩＤと、入力画像の特徴点と対応点の特徴量間の距離と、からなるリストである。ステップＳＴ２２では、探索結果リストから対応点を１つ取得する。ステップＳＴ２３では、登録画像データベース１７から対応点の元画像の画像ＩＤを取得する。
　続くステップＳＴ２４では、参照画像候補リストに取得した画像ＩＤがあるか否かを判断する。参照画像候補リストとは、登録画像の画像ＩＤと、得票数と、からなるリストである。つまり、各登録画像の得票数のリストである。ステップＳＴ２４で肯定結果を得ると（ステップＳＴ２４；ＹＥＳ）、ステップＳＴ２５に移って、参照画像候補リストの該当画像ＩＤの得票数を加算する。一方、ステップＳＴ２４で否定結果を得ると（ステップＳＴ２４；ＮＯ）、ステップＳＴ２６に移って、参照画像候補リストに該当画像ＩＤを追加する。
　ステップＳＴ２７では、探索結果リストに含まれ全ての特徴点について処理したかを判断する。ステップＳＴ２７で肯定結果を得ると（ステップＳＴ２７；ＹＥＳ）、ステップＳＴ２８に移って、参照画像候補リストにおいて最も得票数の多い登録画像を参照画像に決定する。一方、ステップＳＴ２７で否定結果を得ると（ステップＳＴ２７；ＮＯ）、ステップＳＴ２２に戻る。
　幾何変換パラメータ算出用特徴点選択部１８は、幾何変換パラメータ算出部１９で使用する基準となる特徴点を選択する。具体的には、幾何変換パラメータ算出用特徴点選択部１８は、特徴点検出部１１で検出した入力画像の特徴点のうち、対応点探索部１４にて探索した参照画像の特徴点との特徴量距離が最小となる組み合わせから順に、一定数選択する。このとき、既に選択した特徴点に対して、座標空間で一定の距離より近い特徴点は選択しない。
　換言すれば、幾何変換パラメータ算出用特徴点選択部１８は、入力画像の特徴点と参照画像の特徴点との間で、類似度が所定値以上の特徴点を選択する。これにより、入力画像と参照画像との対応の精度を高めることができる。また、幾何変換パラメータ算出用特徴点選択部１８は、入力画像の特徴点と参照画像の特徴点との間で、座標空間上の距離が所定値以上の特徴点を選択する。これにより、幾何変換の精度を高めることができる。
　幾何変換パラメータ算出部１９は、入力画像から参照画像への幾何学的変化を表す幾何変換パラメータを算出する。本実施の形態では、幾何変換としてアフィン変換を行う場合について説明する。幾何変換パラメータ算出部１９は、入力画像の特徴点とそれに対応する参照画像の特徴点を双方の基準点として、このような基準点の組を複数用意して、最小二乗法により、アフィン変換パラメータを計算する。ここで、基準点の組は、幾何変換パラメータ算出用特徴点選択部１８で選択した特徴点とする。対応する参照画像の特徴点がない入力画像の特徴点は、基準点の組に入れない。少なくとも、基準点の組が３組以上あれば、最小二乗法によってアフィン変換パラメータを解くことができる。さらに、アフィン変換の逆変換も計算する。アフィン変換の逆変換とは、参照画像から入力画像への幾何変換である。
　アフィン変換式は、次式で表される。
　ｘ’＝ａｘ＋ｂｙ＋ｃ
　ｙ’＝ｄｘ＋ｅｙ＋ｆ　　　　　　　………（式１）
　但し、（ｘ，ｙ）は入力画像（撮像画像）の特徴点の座標を示し、（ｘ’，ｙ’）は参照画像の特徴点の座標を示す。
　類似度算出用特徴点選択部２０は、類似度算出部２１で使用する入力画像及び参照画像それぞれの特徴点を選択する。具体的には、類似度算出用特徴点選択部２０は、入力画像の特徴点のうち、対応点探索にて探索した参照画像の特徴点との特徴量距離が一定の閾値より大きい特徴点は選択しない。換言すれば、入力画像の特徴点のうち、対応点探索にて探索した参照画像の特徴点との特徴量距離が一定の閾値以下の特徴点のみを、類似度算出部２１で使用する特徴点として選択する。また、類似度算出用特徴点選択部２０は、既に選択した座標空間で一定の距離より近い特徴点は選択しない。これにより、明らかに画像が変化していない領域の特徴点や、座標空間で必要以上に密集している特徴点を除外できるので、無駄な類似度計算を抑制できる。
　類似度算出部２１は、入力画像と参照画像との間で、対応する特徴点同士の特徴量間の距離を計算し、これを類似度とする。具体的には、類似度算出部２１は、先ず、入力画像の特徴点を、幾何変換パラメータ算出部１９にて計算した変換パラメータによりアフィン変換する。次に、類似度算出部２１は、アフィン変換した入力画像の特徴点の座標近傍に存在する参照画像の特徴点を探し、それらの特徴点における特徴量間の距離を計算する。逆に、類似度算出部２１は、参照画像からの特徴点を逆変換した座標の近傍に存在する入力画像の特徴点も探し、同様にそれらの特徴点における特徴量間の距離も計算する。
　そして、類似度算出部２１は、入力画像の特徴点座標と、この特徴点に対応する参照画像の特徴点との特徴量距離と、からなる対応点リストを作成する。対応点リストでは、参照画像の特徴点に対応する入力画像の特徴点がなければ、参照画像からアフィン変換して計算した座標点が、入力画像の特徴点座標とされる。また、対応点リストでは、入力画像から参照画像、または参照画像から入力画像に対して、対応する特徴点がない場合、そのときの特徴量間距離は、十分大きな値（＝類似度が低い）とされる。
　図６Ａ及び図６Ｂに、類似度算出部２１の処理手順を示す。類似度算出部２１は、ステップＳＴ３１で、入力画像から特徴点を１つ選ぶ。続くステップＳＴ３２では、特徴点が基準点ではないか判断する。ここでの基準点とは、幾何変換パラメータ算出部１９でのパラメータ算出で使用した基準点のことである。類似度算出部２１は、特徴点が基準点ではないと判断すると（ステップＳＴ３２；ＹＥＳ）、ステップＳＴ３３に移る。一方、類似度算出部２１は、特徴点が基準点であると判断すると（ステップＳＴ３２；ＮＯ）、ステップＳＴ４０に移る。
　ステップＳＴ３３では、特徴点をアフィン変換した座標点を計算する。続くステップＳＴ３４では、アフィン変換した座標点が参照画像内に存在するか判断する。類似度算出部２１は、アフィン変換した座標点が参照画像内に存在すると判断すると（ステップＳＴ３４；ＹＥＳ）、ステップＳＴ３５に移る。一方、類似度算出部２１は、アフィン変換した座標点が参照画像内に存在しないと判断すると（ステップＳＴ３４；ＮＯ）、ステップＳＴ４０に移る。
　ステップＳＴ３５では、アフィン変換した座標点に距離が最も近い、参照画像の特徴点を探す。続くステップＳＴ３６では、ステップＳＴ３５で探した参照画像の特徴点の座標と、アフィン変換した座標点と、の座標空間の距離が閾値以内か判断する。ここで閾値は、アフィン変換の誤差を加味した値に設定されている。つまり、ステップＳＴ３６で肯定結果が得られるということは（ステップＳＴ３６；ＹＥＳ）、アフィン変換した入力画像の特徴点に対応する登録画像の特徴点が存在することを意味し、このときステップＳＴ３７に移る。一方、ステップＳＴ３６で否定結果が得られるということは（ステップＳＴ３６；ＮＯ）、たとえアフィン変換の誤差を加味したとしても、アフィン変換した入力画像の特徴点に対応する登録画像の特徴点が存在しないことを意味し、このときステップＳＴ３９に移る。
　ステップＳＴ３７では、アフィン変換した入力画像の特徴点と、その特徴点に対応する参照画像の特徴点との間での、特徴量間の距離を計算する。そして、ステップＳＴ３８では、特徴点の座標と、特徴量間の距離と、を対応点リストに追加する。
　一方、ステップＳＴ３９では、特徴点の座標と、十分に大きな値の特徴量距離と、を対応点リストに追加する。ここで十分に大きな値の特徴量距離とは、後段の変化領域判定部２２によって変化領域と判定され得る値である。因みに、特徴量距離が大きいほど、類似度が低い。
　続くステップＳＴ４０では、入力画像の全ての特徴点についての処理を完了したか判断し、完了した場合には（ステップＳＴ４０；ＹＥＳ）、ステップＳＴ４１に進む。一方、完了していない場合には（ステップＳＴ４０；ＮＯ）、ステップＳＴ３１に戻って、次の特徴点について同様の処理を繰り返す。
　ここで、ステップＳＴ３１－ＳＴ４０の処理は、物品の置き去りのように、登録画像中には存在しないが、撮像画像中に存在する物品（つまり変化領域）を検出させるための処理に相当する。具体的には、このような変化領域に対しては、ステップＳＴ３９において、後段の変化領域判定部２２によって変化領域と判定され得る値の、大きな値の特徴量距離を設定する。
　これに対して、以降に説明するステップＳＴ４１－ＳＴ５０の処理は、物品の持ち去りのように、登録画像中に存在するが、撮像画像中に存在しない物品（つまり変化領域）を検出させるための処理に相当する。
　類似度算出部２１は、ステップＳＴ４１で、参照画像から特徴点を１つ選ぶ。続くステップＳＴ４２では、ステップＳＴ４１で選んだ特徴点が対応点リストに存在しないか判断する。類似度算出部２１は、特徴点が対応点リストに存在しないと判断すると（ステップＳＴ４２；ＹＥＳ）、ステップＳＴ４３に移る。一方、類似度算出部２１は、特徴点が対応点リストに存在すると判断すると（ステップＳＴ４２；ＮＯ）、ステップＳＴ５０に移る。
　ステップＳＴ４３では、特徴点をアフィン変換した座標点を計算する。続くステップＳＴ４４では、アフィン変換した座標点が入力画像内に存在するか判断する。類似度算出部２１は、アフィン変換した座標点が入力画像内に存在すると判断すると（ステップＳＴ４４；ＹＥＳ）、ステップＳＴ４５に移る。一方、類似度算出部２１は、アフィン変換した座標点が入力画像内に存在しないと判断すると（ステップＳＴ４４；ＮＯ）、ステップＳＴ５０に移る。
　ステップＳＴ４５では、アフィン変換した座標点に距離が最も近い、入力画像の特徴点を探す。続くステップＳＴ４６では、ステップＳＴ４５で探した入力画像の特徴点の座標と、アフィン変換した座標点と、の座標空間の距離が閾値以内か判断する。ここで閾値は、アフィン変換の誤差を加味した値に設定されている。つまり、ステップＳＴ４６で肯定結果が得られるということは（ステップＳＴ４６；ＹＥＳ）、アフィン変換した参照画像の特徴点に対応する入力画像の特徴点が存在することを意味し、このときステップＳＴ４７に移る。一方、ステップＳＴ４６で否定結果が得られるということは（ステップＳＴ４６；ＮＯ）、たとえアフィン変換の誤差を加味したとしても、アフィン変換した参照画像の特徴点に対応する入力画像の特徴点が存在しないことを意味し、このときステップＳＴ４９に移る。
　ステップＳＴ４７では、アフィン変換した参照画像の特徴点と、その特徴点に対応する入力画像の特徴点との間での、特徴量間の距離を計算する。そして、ステップＳＴ４８では、特徴点の座標と、特徴量間の距離と、を対応点リストに追加する。
　一方、ステップＳＴ４９では、アフィン変換した座標点を特徴点座標とし、特徴点の座標と、十分に大きな値の特徴量距離と、を対応点リストに追加する。ここで十分に大きな値の特徴量距離とは、後段の変化領域判定部２２によって変化領域と判定され得る値である。
　続くステップＳＴ５０では、参照画像の全ての特徴点についての処理を完了したか判断し、完了していない場合には（ステップＳＴ５０；ＮＯ）、ステップＳＴ４１に戻って、次の特徴点について同様の処理を繰り返す。
　このようにして、類似度算出部２１は対応点リストを作成する。この対応点リストは、入力画像と参照画像との間で、対応する特徴点が存在する場合には、比較的小さな値の特徴量間距離が書き込まれる。逆に、対応点リストは、入力画像と参照画像との間で、対応する特徴点が存在しない場合には、十分に大きな値の特徴量間距離が書き込まれる。特徴量間距離が小さいほど類似度は大きい。
　変化領域判定部２２は、類似度算出部２１にて作成された対応点リストを基に、特徴量間距離が大きい（＝類似度が低い）特徴点が集まる局所領域を変化領域と判定する。具体的には、変化領域判定部２２は、入力画像を格子状に分割し、類似度算出部２１で計算された特徴量間距離が閾値以上の特徴点について、その特徴点が位置する格子領域に投票する。類似度算出部２１は、この投票処理を、全ての特徴点について繰り返し、得票数が閾値以上の格子領域を変化領域と判定する。
　なお、ここでは、入力画像を格子状に分割し、格子領域への投票を行うことで変化領域を判定した場合について述べたが、これに限らず、例えば、特徴量間距離が閾値以上の特徴点が密集した領域を検出することで変化領域を検出してもよい。
　図７に、本実施の形態の変化領域検出装置１０の変化領域検出処理のイメージを示す。
　図７Ａ－１は入力画像（撮像画像）を示し、図７Ｂ－１は参照画像を示す。図７Ａ－２は入力画像における特徴点を示したものであり、図７Ｂ－２は参照画像における特徴点を示したものである。図７Ｂ－３は、参照画像中に特徴量間距離が大きい特徴点が存在する場合（つまり、入力画像には存在しない特徴点が参照画像に存在した場合）を示した図である。この場合、変化領域判定部２２によって、図７Ａ－３の太枠で示した領域が変化（異常）領域であると判定される。つまり、図の例では、書類が持ち去られている。
　以上説明したように、本実施の形態によれば、入力画像（撮像画像）の特徴点の中から参照画像を決定するために用いる特徴点を選択する対応点探索用特徴点選択部１３と、入力画像の特徴点と参照画像の特徴点との中から幾何変換パラメータを算出するために用いる特徴点を選択する幾何変換パラメータ算出用特徴点選択部１８と、入力画像の特徴点と参照画像の特徴点との中から撮像画像と参照画像との類似度を求めるために用いる特徴点を選択する類似度算出用特徴点選択部２０と、を設け、各特徴点選択部１３、１８、２０によって、参照画像を決定するのに適した特徴点選択、幾何変換パラメータを算出するのに適した特徴点選択、類似度を算出するのに適した特徴点選択を、独立に行うようにした。これにより、無駄な計算を行わずに、的確な参照画像、的確な幾何変換パラメータ、的確な類似度を求めることができる。この結果、少ない計算量で、変化領域を精度良く求めることができるようになる。
　２０１０年７月３０日出願の特願２０１０－１７２３７９の日本出願に含まれる明細書、図面及び要約書の開示内容は、すべて本願に援用される。
　本発明にかかる変化領域検出装置及び方法は、例えばウェアラブルカメラを用いた監視システムに適用して好適である。
　１０　変化領域検出装置
　１１　特徴点検出部
　１２　特徴量算出部
　１３　対応点探索用特徴点選択部
　１４　対応点探索部
　１５　特徴量インデックス部
　１６　参照画像判定部
　１７　登録画像データベース
　１８　幾何変換パラメータ算出用特徴点選択部
　１９　幾何変換パラメータ算出部
　２０　類似度算出用特徴点選択部
　２１　類似度算出部
　２２　変化領域判定部

Claims (7)

  1. 　撮像画像の特徴点を検出する特徴点検出部と、
    　複数の登録画像を格納する登録画像データベースと、
    　前記撮像画像の特徴点の中から、参照画像を決定するために用いる特徴点を選択する第１の特徴点選択部と、
    　前記第１の特徴点選択部によって選択された特徴点と、前記登録画像データベースに格納された各登録画像の特徴点とを用いて、前記撮像画像と各登録画像とのマッチング判定を行うことにより、前記複数の登録画像の中で前記撮像画像に最もマッチング度合いの高い画像を参照画像として決定する参照画像判定部と、
    　前記撮像画像の特徴点と前記参照画像の特徴点との中から、幾何変換パラメータを算出するために用いる特徴点を選択する第２の特徴点選択部と、
    　前記第２の特徴点選択部によって選択された特徴点を用いて、幾何変換パラメータを算出する幾何変換パラメータ算出部と、
    　前記撮像画像の特徴点と前記参照画像の特徴点との中から、前記撮像画像と前記参照画像との類似度を求めるために用いる特徴点を選択する第３の特徴点選択部と、
    　前記第３の特徴点選択部によって選択された特徴点を、前記幾何変換パラメータ算出部によって算出された幾何変換パラメータを用いて幾何変換し、幾何変換後の、前記撮像画像の特徴点と前記参照画像の特徴点の類似度を算出する類似度算出部と、
    　前記類似度算出部によって得られた類似度に基づいて、変化領域を判定する変化領域判定部と、
    　を具備する変化領域検出装置。
  2. 　前記第１の特徴点選択部によって選択される特徴点は、前記第３の特徴点選択部によって選択される特徴点よりも疎である、
    　請求項１に記載の変化領域検出装置。
  3. 　前記第２の特徴点選択部は、前記撮像画像の特徴点と前記参照画像の特徴点との間で、類似度が所定値以上の特徴点を選択する、
    　請求項１に記載の変化領域検出装置。
  4. 　前記第２の特徴点選択部は、前記撮像画像の特徴点と前記参照画像の特徴点との間で、座標空間上の距離が所定値以上の特徴点を選択する、
    　請求項１に記載の変化領域検出装置。
  5. 　前記第３の特徴点選択部は、前記撮像画像の特徴点と前記参照画像の特徴点との間で、類似度が所定値未満の特徴点を選択する、
    　請求項１に記載の変化領域検出装置。
  6. 　前記第３の特徴点選択部は、前記撮像画像の特徴点と前記参照画像の特徴点との間で、座標空間上の距離が所定値以上の特徴点を選択する、
    　請求項１に記載の変化領域検出装置。
  7. 　撮像画像と参照画像との類似度を算出し、この類似度に基づいて前記撮像画像中の変化領域を検出する変化領域検出方法であって、
    　前記撮像画像の特徴点の中から、前記参照画像を決定するために用いる特徴点を選択する第１の特徴点選択ステップと、
    　前記撮像画像の特徴点と前記参照画像の特徴点との中から、幾何変換パラメータを算出するために用いる特徴点を選択する第２の特徴点選択ステップと、
    　前記撮像画像の特徴点と前記参照画像の特徴点との中から、前記撮像画像と前記参照画像との類似度を求めるために用いる特徴点を選択する第３の特徴点選択ステップと、
    　を含む変化領域検出方法。
     
PCT/JP2011/004029 2010-07-30 2011-07-14 空間における変化領域検出装置及び方法 Ceased WO2012014403A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201180037616.0A CN103052971B (zh) 2010-07-30 2011-07-14 空间中的变化区域检测装置以及方法
US13/811,796 US9064171B2 (en) 2010-07-30 2011-07-14 Detection device and method for transition area in space

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010172379A JP2012033022A (ja) 2010-07-30 2010-07-30 空間における変化領域検出装置及び方法
JP2010-172379 2010-07-30

Publications (1)

Publication Number Publication Date
WO2012014403A1 true WO2012014403A1 (ja) 2012-02-02

Family

ID=45529637

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/004029 Ceased WO2012014403A1 (ja) 2010-07-30 2011-07-14 空間における変化領域検出装置及び方法

Country Status (4)

Country Link
US (1) US9064171B2 (ja)
JP (1) JP2012033022A (ja)
CN (1) CN103052971B (ja)
WO (1) WO2012014403A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103049737A (zh) * 2012-12-04 2013-04-17 中国核电工程有限公司 基于fpga的人员闸门视觉识别控制方法及系统
TWI505201B (zh) * 2012-08-23 2015-10-21 Nec Corp Object recognition device, object recognition method and program product

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5919665B2 (ja) * 2011-07-19 2016-05-18 日本電気株式会社 情報処理装置、物体追跡方法および情報処理プログラム
JP4976578B1 (ja) 2011-09-16 2012-07-18 楽天株式会社 画像検索装置およびプログラム
JP5577372B2 (ja) * 2012-03-29 2014-08-20 楽天株式会社 画像検索装置、画像検索方法、プログラムおよびコンピュータ読取り可能な記憶媒体
JP5577371B2 (ja) * 2012-03-29 2014-08-20 楽天株式会社 画像検索装置、画像検索方法およびプログラム
WO2014030399A1 (ja) * 2012-08-23 2014-02-27 日本電気株式会社 物体識別装置、物体識別方法、及びプログラム
US10237687B2 (en) 2014-09-02 2019-03-19 Qualcomm Incorporated Techniques for allocating positioning signal acquisition tasks among a plurality of co-located mobile devices
JP5857276B1 (ja) * 2014-09-12 2016-02-10 パナソニックＩｐマネジメント株式会社 ウェアラブルカメラとそのユーザを認証する認証システム
JP6521626B2 (ja) * 2014-12-25 2019-05-29 キヤノン株式会社 被写体追跡装置、方法およびプログラム
CN105427529B (zh) * 2015-12-04 2018-06-29 北京奇虎科技有限公司 一种车内环境监控的方法及终端
KR101803018B1 (ko) * 2016-09-05 2017-11-30 인천대학교 산학협력단 이미지에 기반한 형상 변화 탐지 방법 및 장치
CN106845345A (zh) * 2016-12-15 2017-06-13 重庆凯泽科技股份有限公司 活体检测方法及装置
CN107633526B (zh) * 2017-09-04 2022-10-14 腾讯科技（深圳）有限公司 一种图像跟踪点获取方法及设备、存储介质
JP7230608B2 (ja) * 2019-03-19 2023-03-01 株式会社明電舎 変更点検出装置、変更点検出方法及び変更点検出プログラム
JP6682167B2 (ja) * 2019-04-02 2020-04-15 日本電信電話株式会社 テンプレートマッチング装置、方法、及びプログラム
CN110018174B (zh) * 2019-05-22 2021-10-22 合肥联宝信息技术有限公司 一种检测物体外观的方法和装置
FR3126529B1 (fr) * 2021-09-01 2024-10-25 Kerquest Procédé de mise en relation d’une image candidate avec une image de référence.

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002158999A (ja) * 2000-08-31 2002-05-31 Hitachi Kokusai Electric Inc 物体検出方法及び物体検出装置並びに侵入物体監視装置
JP2008257469A (ja) * 2007-04-04 2008-10-23 Canon Inc 画像処理装置及び画像検索方法
JP2009116385A (ja) * 2007-11-01 2009-05-28 Sony Corp 情報処理装置および情報処理方法、画像識別装置および画像識別方法、並びに、プログラム
WO2009150882A1 (ja) * 2008-06-10 2009-12-17 国立大学法人東京工業大学 画像位置合わせ処理装置、領域拡張処理装置及び画質改善処理装置
JP2010134548A (ja) * 2008-12-02 2010-06-17 Ricoh Co Ltd 情報処理装置、情報処理方法及び情報処理プログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6453069B1 (en) * 1996-11-20 2002-09-17 Canon Kabushiki Kaisha Method of extracting image from input image using reference image
US7082209B2 (en) 2000-08-31 2006-07-25 Hitachi Kokusai Electric, Inc. Object detecting method and object detecting apparatus and intruding object monitoring apparatus employing the object detecting method
US7200270B2 (en) 2001-12-13 2007-04-03 Kabushiki Kaisha Toshiba Pattern recognition apparatus and method using distributed model representation of partial images
JP3914864B2 (ja) 2001-12-13 2007-05-16 株式会社東芝 パターン認識装置及びその方法
US7228006B2 (en) * 2002-11-25 2007-06-05 Eastman Kodak Company Method and system for detecting a geometrically transformed copy of an image
JP4492036B2 (ja) * 2003-04-28 2010-06-30 ソニー株式会社 画像認識装置及び方法、並びにロボット装置
JP4613617B2 (ja) * 2005-01-07 2011-01-19 ソニー株式会社 画像処理システム、学習装置および方法、並びにプログラム
JP4284288B2 (ja) * 2005-03-10 2009-06-24 株式会社東芝 パターン認識装置及びその方法
JP4624287B2 (ja) * 2006-03-17 2011-02-02 株式会社パスコ 建物形状変化検出方法及び建物形状変化検出システム
JP4196302B2 (ja) * 2006-06-19 2008-12-17 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP2008102907A (ja) * 2006-09-19 2008-05-01 Sharp Corp 画像処理方法、画像処理装置、原稿読取装置、画像形成装置、コンピュータプログラム及び記録媒体
JP4636064B2 (ja) * 2007-09-18 2011-02-23 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
US8254690B2 (en) * 2007-10-19 2012-08-28 Sony Corporation Information processing apparatus, information processing method, and program
CN100550054C (zh) 2007-12-17 2009-10-14 电子科技大学 一种图像立体匹配方法及其装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002158999A (ja) * 2000-08-31 2002-05-31 Hitachi Kokusai Electric Inc 物体検出方法及び物体検出装置並びに侵入物体監視装置
JP2008257469A (ja) * 2007-04-04 2008-10-23 Canon Inc 画像処理装置及び画像検索方法
JP2009116385A (ja) * 2007-11-01 2009-05-28 Sony Corp 情報処理装置および情報処理方法、画像識別装置および画像識別方法、並びに、プログラム
WO2009150882A1 (ja) * 2008-06-10 2009-12-17 国立大学法人東京工業大学 画像位置合わせ処理装置、領域拡張処理装置及び画質改善処理装置
JP2010134548A (ja) * 2008-12-02 2010-06-17 Ricoh Co Ltd 情報処理装置、情報処理方法及び情報処理プログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI505201B (zh) * 2012-08-23 2015-10-21 Nec Corp Object recognition device, object recognition method and program product
US9679221B2 (en) 2012-08-23 2017-06-13 Nec Corporation Object identification apparatus, object identification method, and program
CN103049737A (zh) * 2012-12-04 2013-04-17 中国核电工程有限公司 基于fpga的人员闸门视觉识别控制方法及系统

Also Published As

Publication number Publication date
US9064171B2 (en) 2015-06-23
CN103052971B (zh) 2015-09-30
US20130121535A1 (en) 2013-05-16
CN103052971A (zh) 2013-04-17
JP2012033022A (ja) 2012-02-16

Similar Documents

Publication Publication Date Title
CN103052971B (zh) 空间中的变化区域检测装置以及方法
EP2915138B1 (en) Systems and methods of merging multiple maps for computer vision based tracking
CN114677418B (zh) 一种基于点云特征点提取的配准方法
US8335354B2 (en) Apparatus for registering face identification features, method for registering the same, program for registering the same, and recording medium
US9330471B2 (en) Camera aided motion direction and speed estimation
JP5385105B2 (ja) 画像検索方法およびシステム
JP5680152B2 (ja) オブジェクト検索方法、検索検証方法、及びその装置
JP5677798B2 (ja) ３次元シーンにおける３次元物体の認識及び位置姿勢決定方法
WO2019140745A1 (zh) 机器人定位方法及装置
JP6070956B2 (ja) 類似性検出装置及び指向性近傍検出方法
CN110111375B (zh) 一种Delaunay三角网约束下的影像匹配粗差剔除方法及装置
JPWO2009001876A1 (ja) 特徴属性計算装置、特徴量抽出装置とパターン照合装置と方法及びプログラム
Bhattacharya et al. Improving RANSAC feature matching with local topological information
JP5356289B2 (ja) 画像検索システム
Ekekrantz et al. Adaptive iterative closest keypoint
KR101700276B1 (ko) 특징점 설정 장치 및 방법과 이를 이용한 객체 추적 장치 및 방법
Alcantarilla et al. Learning visibility of landmarks for vision-based localization
Hungar et al. Detection of feature areas for map-based localization using LiDAR descriptors
Peng et al. KISS: Knowing camera prototype system for recognizing and annotating places-of-interest
JP5819158B2 (ja) 画像検索に適した特徴ベクトルを抽出するプログラム、方法及び画像検索装置
JPWO2025027757A5 (ja)
Lara–Alvarez et al. Geometric indexing for recognition of places
CN121810750A (zh) 全局的重定位方法、装置、电子设备和存储介质
Gao et al. Election based pose estimation of moving objects
JP2005352990A (ja) 部分画像検索システム及び方法並びにプログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180037616.0

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11812005

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13811796

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11812005

Country of ref document: EP

Kind code of ref document: A1