WO2012053626A1 - 画像照合装置、画像照合方法、画像照合システム、サーバ、端末、端末制御方法、および、端末制御プログラム - Google Patents

画像照合装置、画像照合方法、画像照合システム、サーバ、端末、端末制御方法、および、端末制御プログラム Download PDF

Info

Publication number
WO2012053626A1
WO2012053626A1 PCT/JP2011/074238 JP2011074238W WO2012053626A1 WO 2012053626 A1 WO2012053626 A1 WO 2012053626A1 JP 2011074238 W JP2011074238 W JP 2011074238W WO 2012053626 A1 WO2012053626 A1 WO 2012053626A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
collation
unit
area
region
Prior art date
Application number
PCT/JP2011/074238
Other languages
English (en)
French (fr)
Inventor
達勇 秋山
尚司 谷内田
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2012539776A priority Critical patent/JPWO2012053626A1/ja
Priority to US13/880,281 priority patent/US20130208990A1/en
Publication of WO2012053626A1 publication Critical patent/WO2012053626A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches

Definitions

  • the present invention relates to an image matching apparatus, an image matching method, an image matching system, and a computer program for matching a plurality of images.
  • a general image collation apparatus collates the entire area of one image with the entire area of another image.
  • an image collation apparatus that collates a local area of one image with a local area of another image.
  • a search image obtained by a method such as being photographed by a camera device, and an image registered in advance in a database (hereinafter referred to as a registered image).
  • the following image collating device is known.
  • This image collation apparatus first estimates parameters relating to geometric transformation for alignment. Next, the image collation apparatus collates both images for each local region using the estimated parameters.
  • an image collation apparatus calculates
  • the image matching apparatus described in Patent Document 1 calculates a local region to be verified from the entire image, it calculates a local region from a region that is not suitable as a verification target. May collate. Therefore, the image matching apparatus described in Patent Document 1 has problems in matching accuracy and processing speed. For example, using the image matching apparatus described in Patent Document 1, a search image in which a guide signboard and a vehicle A are copied, and a registered image in which a vehicle B different from the same guide signboard and search image as the search image is copied Is assumed to be compared. In this case, when the image collation apparatus described in Patent Document 1 has a high degree of coincidence between the local area including the guidance signboard included in the search image and the local area including the guidance signboard included in the registered image. judge.
  • the image collation apparatus described in Patent Document 1 since the image collation apparatus described in Patent Document 1 has a low degree of coincidence between the local region including the vehicle A included in the search image and the local region including the vehicle B included in the registered image, It may be determined that the degree of matching as a whole is low. As described above, even when the user does not want to collate the areas of the vehicle A and the vehicle B, the image collation apparatus described in Patent Document 1 obtains a collation result that the degree of coincidence between the search image and the registered image is low. May end up. Furthermore, since the image collation apparatus described in Patent Document 1 performs unnecessary collation for the areas of the vehicle A and the vehicle B, the processing speed is reduced.
  • the present invention has been made to solve the above-described problems, and provides an image collation apparatus that improves collation accuracy and processing speed when obtaining an integrated collation result based on a collation result for each local region. The purpose is to do.
  • An image collating apparatus includes an image acquisition unit that acquires an image, an image display unit that displays an image acquired by the image acquisition unit, and a region that is a verification target in a region of an image displayed by the image display unit.
  • An input position pattern acquisition unit that acquires an input position pattern that represents the approximate position of the image, and an estimation target approximate region that represents an approximate region to be verified in an image displayed by the image display unit based on the input position pattern Collation target approximate area estimation means, and a collation result presentation means for presenting a collation result of a search image and a registered image, at least one of which is an image in the collation target outline area.
  • the image collating method of the present invention acquires an image, displays the acquired image on an image display unit, and displays an input position pattern representing an approximate position of a region to be collated in the region of the image displayed on the image display unit. Based on the input position pattern acquired, a collation target approximate region representing a schematic region to be collated in the image displayed on the image display means is estimated, and at least one of the images is in the collation target general region The matching result between the search image and the registered image is presented.
  • the program recording medium of the present invention includes a computer, an image acquisition unit that acquires an image, an image display unit that displays an image acquired by the image acquisition unit, and a region to be collated in the area of the image displayed by the image display unit.
  • Input position pattern acquisition means for acquiring an input position pattern representing the approximate position of the area to be matched, and a collation target outline representing an approximate area to be collated in the image displayed by the image display means based on the input position pattern
  • a collation target approximate area estimation means for estimating an area
  • an image collation program that functions as a collation result presentation means for presenting a collation result of a search image and a registered image, at least one of which is an image in the collation target outline area
  • the present invention can provide an image collation apparatus that improves collation accuracy and processing speed when obtaining an integrated collation result based on a collation result for each local region.
  • FIG. 11 is a functional block diagram of an image collating apparatus as third to tenth embodiments of the present invention. It is a functional block diagram of the image collation apparatus as the 11th Embodiment of this invention.
  • FIG. 1 is a diagram showing a hardware configuration of an image collating apparatus 1 as a first embodiment of the present invention.
  • an image collation apparatus 1 includes a control unit 1001 including a CPU (Central Processing Unit), a RAM (Random Access Memory), and a ROM (Read Only Memory), a storage device 1002 such as a hard disk, an input device 1003,
  • the computer device includes a display device 1004 and an imaging device 1005 such as a camera or a scanner.
  • the control unit 1001 causes the computer device to function as the image collating device 1 by reading the computer program stored in the ROM or the storage device 1002 into the RAM by the CPU and executing it.
  • FIG. 1 is a diagram showing a hardware configuration of an image collating apparatus 1 as a first embodiment of the present invention.
  • an image collation apparatus 1 includes a control unit 1001 including a CPU (Central Processing Unit), a RAM (Random Access Memory), and a ROM (Read Only Memory), a storage device 1002 such as a hard disk,
  • the image collation apparatus 1 includes an image acquisition unit 101, an image display unit 102, an input position pattern acquisition unit 103, a collation target approximate area estimation unit 104, an image collation unit 105, and a collation result presentation unit 106.
  • the image acquisition unit 101 includes a control unit 1001, a storage device 1002, and an imaging device 1005.
  • the image display unit 102 and the matching result presentation unit 106 are configured by a control unit 1001 and a display device 1004.
  • the input position pattern acquisition unit 103 includes a control unit 1001 and an input device 1003.
  • the comparison target approximate region estimation unit 104 and the image matching unit 105 are configured by the control unit 1001.
  • the collation result presentation unit 106 includes a control unit 1001 and a display device 1004.
  • the image acquisition unit 101 acquires an image to be collated.
  • the image acquisition unit 101 may acquire an image captured by the imaging device 1005, for example.
  • the image acquisition unit 101 may acquire an image stored in advance in the storage device 1002 or the RAM.
  • the image acquired by the image acquisition unit 101 may be a moving image or a still image.
  • the image display unit 102 displays the image acquired by the image acquisition unit 101. When the image acquired by the image acquisition unit 101 is a moving image, the image display unit 102 displays a still image at a certain time point in the moving image.
  • the input position pattern acquisition unit 103 acquires an input position pattern, which is information indicating the approximate position of the region to be collated in the image displayed by the image display unit 102.
  • the input position pattern acquisition unit 103 acquires information on a predetermined pattern representing the input position as an input position pattern that is information representing the approximate position of the region to be collated.
  • the predetermined pattern of information representing the input position is, for example, a combination of coordinates representing two points.
  • the input position pattern acquisition unit 103 may acquire an input position pattern configured by a combination of coordinates representing two points as information indicating the approximate position of the region to be collated.
  • the input position pattern acquisition unit 103 represents the positions of the start point and the end point of the mouse drag operation in the area of the image displayed by the image display unit 102. What is necessary is just to acquire information as an input position pattern.
  • the matching target approximate area estimation unit 104 estimates a matching target approximate area representing an approximate area to be verified in the image displayed by the image display unit 102.
  • the collation target approximate area estimation unit 104 does not need to estimate an accurate area that includes the areas that the user wants to be collated without excess or deficiency, and may estimate the approximate area. For example, as shown in FIG.
  • the matching target approximate area estimation unit 104 estimates a rectangle having a diagonal line connecting two points as a matching target approximate area based on an input position pattern that represents the coordinates of two points. That's fine.
  • the coordinates of the two points obtained as the input position pattern are (x1, y1) and (x2, y2) (where x1 ⁇ x2 and y1 ⁇ y2).
  • minx is a small value of x1 and x2
  • maxx is a large value of x1 and x2
  • miny is a small value of y1 and y2
  • maxy is a large value of y1 and y2.
  • the matching target approximate area estimation unit 104 uses a rectangle having four points (minx, miny), (maxx, miny), (maxx, maxy), and (minx, maxy) as vertices as a matching target approximate area. It may be estimated.
  • the comparison target schematic area B in FIG. 3 is this rectangle.
  • the comparison target approximate area B estimated by the verification target approximate area estimation unit 104 based on the coordinates of the two points does not include the area of the guide signboard A, but includes the approximate area of the guide signboard A. If it is assumed that the area that the user wants to check is the guidance signboard A included in the image of FIG. 3, the area estimated by the check target approximate area estimation unit 104 is not too large or short of the area that the user wants to check.
  • the matching target approximate area estimation unit 104 generates information representing an image in the matching target approximate area from the estimated matching target approximate area and the image acquired by the image acquisition unit 101.
  • the collation target approximate area estimation unit 104 may cut out the collation target approximate area from the image acquired by the image acquisition unit 101 and use it as information representing an image in the collation target approximate area.
  • the collation target approximate area estimation unit 104 may use a combination of the image acquired by the image acquisition unit 101 and information representing the collation target schematic area as information representing an image in the collation target schematic area.
  • the collation target approximate area estimation unit 104 generates image feature quantities (image feature quantities) in the collation target approximate area of the image acquired by the image acquisition unit 101, and represents information in the collation target approximate area. It may be.
  • the image collating unit 105 acquires information representing an image in the collation target outline area, and uses the information representing at least one of the search image and registered image to be collated. That is, the image matching unit 105 may acquire information representing an image in a matching target approximate area of a certain image and use the acquired information as information representing a search image. Then, the image collation unit 105 may acquire information representing an image in the collation target outline area of another image, and the acquired information may be used as information representing a registered image.
  • the image collation part 105 may acquire the information showing the image in the collation target outline area
  • the image matching unit 105 acquires the image feature amount of the entire region of the image acquired by the image acquisition unit 101 or the feature amount of the image in the comparison target schematic region, and uses the acquired feature amount as the search image and Information representing a registered image may be used. Then, the image matching unit 105 calculates an integrated matching result based on the matching result for each local region in the search image and the registered image.
  • the image matching unit 105 may use, for example, a technique described in Patent Document 1 as a technique for calculating an integrated matching result based on a matching result for each local region.
  • the matching target approximate region estimated by the matching target approximate region estimation unit 104 It does not require that the area you want to contain is included exactly and in full.
  • the matching result presentation unit 106 presents an integrated matching result of the search image and the registered image by the image matching unit 105.
  • the integrated collation result may be an index based on the number of matches for each local region in the search image and the registered image, for example.
  • the image matching device 1 may acquire information representing the entire area of the image acquired by the image acquisition unit 101 as information representing the search image as it is, or matching that is estimated by a matching target approximate area estimation process described later.
  • Information representing an image in the target outline area may be acquired as information representing a search image.
  • the image acquisition unit 101 and the comparison target approximate area estimation unit 104 acquire information representing a registered image (step S2).
  • the image matching apparatus 1 may acquire information representing the entire area of the image acquired by the image acquisition unit 101 as information indicating a registered image as it is, or verification that is estimated by a verification target approximate area estimation process described later.
  • Information representing an image in the target outline area may be acquired as information representing a registered image.
  • the image matching unit 105 calculates an integrated matching result based on the matching result for each local region of the search image and the registered image (step S3).
  • the image matching unit 105 may use, for example, the technique described in Patent Document 1. Specifically, the image matching unit 105 calculates an image feature amount of each image from the search image or the registered image, and calculates an integrated matching result of the search image and the registered image based on the calculated image feature amount. That's fine.
  • the image collation unit 105 acquires the image feature amount of each image as information representing the search image or the registered image
  • the integrated collation result regarding the search image and the registered image based on the acquired image feature amount. May be calculated.
  • the collation result presentation unit 106 presents the integrated collation result in step S5 (step S4).
  • the matching result presentation unit 106 may present an index based on the number of local region matches in each matching target approximate region.
  • the image collating device 1 ends the operation.
  • the comparison target approximate area estimation process in step S1 and step S2 will be described with reference to FIG.
  • the image acquisition unit 101 acquires an image to be collated (step S10).
  • the image display unit 102 displays the image acquired by the image acquisition unit 101 (step S11).
  • the image display unit 102 displays a still image at a certain point in time of the moving image.
  • the image display unit 102 may display the image acquired by the image acquisition unit 101 at the time of execution of step S11.
  • the image display unit 102 may display the first still image in the sequence when executing step S11 for the first time.
  • the image display part 102 should just display the still image following the still image displayed last time at the time of execution of step S11 after the 2nd time.
  • the input position pattern acquisition unit 103 determines whether or not an approximate position specifying operation for specifying an approximate position of a region to be collated has been started (step S12). For example, the input position pattern acquisition unit 103 may determine that the approximate position designation operation has started when detecting that the mouse drag operation or the like in the image area of the image display unit 102 has started. Alternatively, the input position pattern acquisition unit 103 may determine that the approximate position designation operation has been started when an input operation on the operation start button area displayed on the image display unit 102 is detected. In step S12, when the input position pattern acquisition unit 103 does not determine that the approximate position designation operation has been started, the processing of the image matching device 1 returns to step S11.
  • the input position pattern acquisition unit 103 acquires the input position pattern (step S13). For example, the input position pattern acquisition unit 103 may acquire a combination of the coordinates of the start point of the mouse drag operation and the coordinates of the mouse pointer at that time. The input position pattern acquisition unit 103 repeatedly executes the process of step S13 until it is determined that the approximate position designation operation has been completed (Yes in step S14). In step S14, the input position pattern acquisition unit 103 determines whether or not the approximate position designation operation has been completed (step S14). For example, the input position pattern acquisition unit 103 may determine that the approximate position designation operation has ended when the mouse drag operation has ended.
  • the input position pattern acquisition unit 103 may determine that the approximate position designation operation has been completed based on the input operation for the operation end button area displayed on the image display unit 102.
  • the matching target approximate area estimation unit 104 estimates the matching target approximate area in this image based on the input position pattern (step S15). For example, when the input position pattern is composed of coordinates representing the positions of two points, the matching target approximate area estimation unit 104 may estimate a rectangle having a diagonal line connecting the two points as a matching target approximate area. .
  • the verification target approximate area estimation unit 104 generates information representing an image in the verification target approximate area of this image (step S16).
  • the collation target approximate area estimation unit 104 may extract image data of the estimated collation target approximate area as information representing the image in the collation target approximate area, or a combination of this image and information representing the collation target approximate area May be generated.
  • the matching target approximate area estimation unit 104 may generate an estimated image feature amount in the matching target approximate area as information representing an image in the matching target approximate area.
  • the image matching device 1 ends the matching target approximate area estimation process.
  • the collation target approximate area estimation unit estimates the approximate area to be collated in the image to be collated. Then, the image collation unit obtains an integrated collation result based on the collation result for each local region for only the image in the collation target schematic region for the image whose collation target schematic region is estimated. It is. That is, the image collation unit does not need to perform collation processing for regions other than the collation target schematic region. Therefore, the collation result is not influenced by the collation result of the local region included in the region other than the collation target schematic region, and as a result, collation accuracy can be improved. In addition, since it is not necessary to perform collation processing for regions other than the collation target schematic region, the processing speed can be improved.
  • the image collation device as the first exemplary embodiment of the present invention uses a collation result related to a local area to obtain a collation target region in an image to be collated. It is possible to reduce the burden on the user who designates. The reason is that the collation target approximate area estimation unit estimates the collation target approximate area based on an operation for specifying the approximate position of the area to be collated in the image to be collated. For this reason, in the image collation apparatus as the first embodiment of the present invention, it is not necessary for the user to perform an accurate area designating operation that includes an area to be collated in the image to be collated without excess or deficiency. It is. The effect which can reduce such a user burden is demonstrated in detail.
  • JP-A-2004-272835 As a technique related to the technique for estimating the comparison target approximate area as described above, for example, an area designating technique described in JP-A-2004-272835 will be described.
  • a display desired area designated by a user is detected on a display, and display contents are displayed in the detected display desired area.
  • the technique described in Japanese Patent Application Laid-Open No. 2004-272835 requires an accurate area designation operation so as to include the display desired area without excess or deficiency, as in the first embodiment of the present invention, collation The burden on the user who designates the target area cannot be reduced.
  • the image collating apparatus does not require the user to perform an accurate region designation operation that includes a region to be collated in the image to be collated without excess or deficiency. . Therefore, the image collation apparatus as the first exemplary embodiment of the present invention can reduce the user's burden of designating a region to be collated.
  • the area designating technique described in Japanese Patent Laid-Open No. 2004-272835 is applied to a technique for obtaining an integrated matching result using a matching result related to a local area. Even if compared, the above-mentioned effects are obtained.
  • FIG. 6 shows a hardware configuration of an image collation apparatus 2 as a second embodiment of the present invention.
  • an image collation device 2 is a display device with a coordinate input function in place of the input device 1003 and the display device 1004 in contrast to the computer device constituting the image collation device 1 as the first embodiment of the present invention.
  • the display device with a coordinate input function 2003 is a display device having a function of acquiring a coordinate relating to a position on a touched device by detecting a touch of a user's finger or stylus.
  • a typical example of such a display device with a coordinate input function 2003 is a touch panel display.
  • FIG. 1 a functional block configuration of the image collating apparatus 2 is shown in FIG.
  • the image collation device 2 is different from the image collation device 1 according to the first exemplary embodiment of the present invention in that an image display unit 202 is substituted for the image display unit 102 and a contact pattern is obtained instead of the input position pattern acquisition unit 103.
  • the contact pattern acquisition unit 203 constitutes an embodiment of the input position pattern acquisition unit of the present invention.
  • the image display unit 202 and the contact pattern acquisition unit 203 are configured by a control unit 1001 and a display device 2003 with a coordinate input function.
  • the image storage unit 207 includes a control unit 1001 and a storage device 1002. Note that the hardware configuration constituting the functional block of the image collating apparatus 2 is not limited to the above-described configuration.
  • the image display unit 202 displays the image acquired by the image acquisition unit 101 on the display device with a coordinate input function 2003.
  • the contact pattern acquisition unit 203 has a function of detecting a contact pattern with respect to the display device with a coordinate input function 2003.
  • the contact pattern is typically a combination pattern of positions where a user's finger, stylus, or the like is in contact with the display device with a coordinate input function 2003.
  • the contact pattern acquisition unit 203 acquires a contact pattern that represents the approximate position of the region to be collated.
  • the contact pattern that represents the approximate position of the region to be collated may be, for example, a contact pattern that is configured by a combination of coordinates that represent two points that are touched almost simultaneously.
  • the image storage unit 207 stores information representing registered images.
  • the image storage unit 207 may store information indicating the entire area of the image acquired by the image acquisition unit 101 as information indicating the registered image.
  • the image storage unit 207 may store an image in the comparison target schematic region cut out from the original image of the registered image. Further, the image storage unit 207 may store a combination of information representing the original image of the registered image and the comparison target schematic area. Further, the image storage unit 207 may store the image feature amount of the entire area of the image acquired by the image acquisition unit 101 or the image feature amount in the collation target schematic region as information representing a registered image.
  • the image storage unit 207 is not limited to the one acquired by the image acquisition unit 101, and may store information representing a registered image registered in advance.
  • the image storage unit 207 may store related information regarding each registered image in association with each registered image.
  • the related information is a storage path of a registered image, a URL (Uniform Resource Locator), and the like. Further, the related information may include an image feature amount related to the registered image.
  • the image matching unit 205 is configured in the same manner as the image matching unit 105 according to the first embodiment of the present invention, so that the integrated matching based on the matching result for each local region regarding the search image and each registered image is performed. Find the result. Furthermore, the image collation unit 205 identifies a registered image corresponding to the search image among the registered images stored in the image storage unit 207 based on these integrated collation results.
  • the image matching unit 205 may specify a registered image having a matching degree with the search image that is equal to or greater than a threshold value.
  • the image matching unit 205 does not necessarily need to specify the corresponding registered image for all the search images.
  • the image collation unit 205 may not specify a registered image when there is no registered image having a matching degree equal to or higher than a threshold as a result of performing the image collation.
  • the image matching unit 205 may have a function of calculating a feature amount from each of the registered image and the search image, and may calculate a matching result for each local region using the calculated feature amount. At this time, the image matching unit 205 may use the technique described in Patent Document 1.
  • the verification result presentation unit 206 presents information representing the registered image specified by the image verification unit 205. If there is related information associated with the specified registered image, the collation result presenting unit 206 may acquire the related information from the image storage unit 207 and present the acquired related information.
  • the operation of the image collating apparatus 2 configured as described above will be described with reference to the drawings.
  • a registration process in which the image matching apparatus 2 registers a registered image in advance, a search process for specifying a registered image corresponding to the search image, and a matching target approximate area estimation process when acquiring the registered image or the search image will be described. To do. First, registration processing of the image collation apparatus 2 will be described with reference to FIG. First, the image matching device 2 performs an initialization process (step S21).
  • the image collation device 2 controls the contact pattern acquisition unit 203 so as to receive a contact operation via the display device with a coordinate input function 2003.
  • the image acquisition unit 101 and the comparison target approximate area estimation unit 104 acquire information representing a registered image (step S22).
  • the image acquisition unit 101 may acquire a storage path, a URL, and the like as related information related to the registered image.
  • the image matching device 2 may acquire information representing the entire area of the image acquired by the image acquisition unit 101 as information indicating the registered image as it is. Further, the image matching device 2 may acquire information representing an image in the matching target approximate area estimated by the matching target approximate area estimation process described later as information representing a registered image.
  • the image matching device 2 is an image as information representing the image feature amount of the entire area of the image acquired by the image acquisition unit 101 or the image in the matching target approximate area estimated by the matching target approximate area estimation process described later.
  • the feature amount may be acquired as information representing a registered image.
  • the image storage unit 207 stores information representing the registered image acquired in step S22 (step S23). At this time, if the related information is acquired in step S22, the image storage unit 207 may store the related information in association with the information representing the registered image. Further, the image storage unit 207 may calculate the feature amount of the registered image using the image collating unit 205 and store the calculated feature amount as related information.
  • the image storage unit 207 may perform a process of assigning an identification number for uniquely identifying a registered image, and store the resulting identification number as related information.
  • the image collation device 2 ends the registration process.
  • the image storage unit 207 may store other registered images in advance in addition to the registered images registered by the registration process.
  • the search process of the image collation apparatus 2 will be described with reference to FIG.
  • the image matching device 2 performs an initialization process (step S31).
  • the image collation device 2 controls the contact pattern acquisition unit 203 to be in a state of accepting a contact operation via the display device with a coordinate input function 2003.
  • the image acquisition unit 101 and the comparison target approximate area estimation unit 104 acquire information representing the search image (step S32).
  • the image matching device 2 may acquire information representing the entire area of the image acquired by the image acquiring unit 101 as information representing the search image as it is, or matching estimated by a matching target approximate area estimation process described later.
  • Information representing an image in the target outline area may be acquired as information representing a search image.
  • the image matching device 2 has image features as information representing the image feature amount of the entire area of the image acquired by the image acquisition unit 101 and the image in the matching target approximate area estimated by the matching target approximate area estimation process described later. The amount may be acquired as information representing the search image.
  • the image collation apparatus 2 has acquired information representing the entire area of the image acquired by the image acquisition unit 101 as information representing the registered image as it is, which will be described later.
  • the image collation unit 205 calculates an integrated collation result based on the collation result for each local area of the search image and each registered image stored in the image storage unit 207 (step S33).
  • the image matching unit 205 may calculate an image feature amount of each image from the search image and the registered image, and calculate an integrated matching result of the search image and the registered image using the calculated image feature amount.
  • the image matching unit 205 may perform matching by using the feature amount included in the related information of the registered image. Further, when the image feature amount is stored in the image storage unit 207 as information representing the registered image, the image matching unit 205 may perform the matching using the stored image feature amount.
  • the image collation unit 205 may perform collation using the acquired image feature amount.
  • the image collation unit 205 identifies a registered image corresponding to the search image based on the collation result between the search image in step S33 and each registered image (step S34).
  • the collation result presentation unit 206 acquires related information of the registered image specified in step S34.
  • the collation result presentation unit 206 presents the information representing the registered image specified in step S34 including the acquired related information (step S35).
  • the collation result presenting unit 206 may present the identified image corresponding to the registered image superimposed on a region having a high degree of coincidence with the registered image in the search image or the original image of the search image.
  • the matching result presentation unit 206 may further present related information in a corresponding region of the registered image superimposed on the search image or in the vicinity thereof.
  • the verification result presentation unit 206 may present a storage path or URL as related information as information representing the specified registered image. If no registered image corresponding to the search image is identified in step S34, the matching result presentation unit 206 may present predetermined information indicating that “the corresponding registered image does not exist”. Next, the comparison target approximate area estimation process in step S22 and step S32 will be described.
  • the image acquisition unit 101 acquires an image to be collated (step S40).
  • the image display unit 202 displays the image acquired by the image acquisition unit 101 (step S41).
  • the image display unit 102 displays an image at a certain point in time of the moving image.
  • the image display unit 202 may display the still image acquired by the image acquisition unit 101 at the time of execution of step S41.
  • the image display unit 102 displays the first still image in the sequence and displays the second time at the time of the first execution of step S41.
  • the contact pattern acquisition unit 203 determines whether or not an approximate position specifying operation for specifying the approximate position of the region to be collated has been started (step S42). For example, the contact pattern acquisition unit 203 may determine that the approximate position designation operation has been started when it detects contact with the area of the image displayed by the image display unit 202. Alternatively, the contact pattern acquisition unit 203 may determine that the approximate position designation operation has started when it detects a contact pattern that has been determined in advance as representing the start of the approximate position designation operation. In step S42, when the contact pattern acquisition unit 203 does not determine that the approximate position designation operation has been started, the image collation device 2 executes step S41 again.
  • the contact pattern acquisition unit 203 acquires a contact pattern (step S43).
  • the contact pattern acquisition unit 203 may acquire a contact pattern by holding a history of information representing a contact position with respect to the display device with a coordinate input function 2003. Note that the contact pattern acquisition unit 203 represents the contact position included in the contact pattern representing the start of the approximate position designation operation when making a determination using the contact pattern representing the start of the approximate position designation operation in step S42. It is not necessary to keep information as a history.
  • the contact pattern acquisition unit 203 repeatedly executes the process of step S43 until it is determined that the approximate position designation operation has been completed (Yes in step S44).
  • step S44 the contact pattern acquisition unit 203 determines whether or not the approximate position designation operation has been completed (step S44). For example, when the contact pattern acquisition unit 203 can determine that the contact pattern necessary for estimating the comparison target approximate region has been acquired with reference to the held contact position history, the approximate position designation operation has ended. Just judge. Alternatively, the contact pattern acquisition unit 203 may determine that the approximate position designation operation has ended when it detects contact with the end button area displayed by the image display unit 202. Next, the matching target approximate area estimation unit 104 estimates the matching target approximate area in this image based on the acquired contact pattern (step S45).
  • the matching target approximate area estimation unit 104 may estimate a rectangle having a diagonal line connecting two points as a matching target approximate area.
  • the verification target approximate area estimation unit 104 generates information representing an image in the verification target approximate area of this image (step S16).
  • the collation target approximate area estimation unit 104 may cut out image data of the estimated collation target approximate area as information representing the image in the collation target approximate area, or information representing this image and the collation target approximate area A combination with may be generated.
  • the matching target approximate area estimation unit 104 may generate an image feature amount of the estimated image in the matching target approximate area as information representing an image in the matching target approximate area.
  • the image matching device 2 ends the process of estimating the matching target approximate area.
  • the image matching apparatus according to the second embodiment of the present invention searches for a registered image corresponding to a search image using a technique for calculating an integrated matching result using a matching result related to a local region.
  • the search accuracy and search processing speed can be improved.
  • the reason is that the collation target approximate area estimation unit estimates a general area to be collated in the acquired image, and the image collation unit uses the estimated image in the collation target approximate area as a search image and the corresponding registered image. It is because it specifies.
  • the image storage unit stores the image in the comparison target schematic region estimated by the verification target schematic region estimation unit as a registered image, and the image verification unit searches for a registered image corresponding to the search image. is there. That is, the image collation apparatus as the second exemplary embodiment of the present invention can perform unnecessary collation processing because the search image and the registered image that are collated by the image collation unit do not include a region that is not a collation target. This contributes to an improvement in search processing speed. In addition, the image collation apparatus according to the second embodiment of the present invention improves the collation accuracy between the search image and each registered image, and as a result, improves the retrieval accuracy for specifying the registered image corresponding to the search image. Because it can.
  • the image collation apparatus as the second exemplary embodiment of the present invention retrieves a registered image corresponding to a retrieval image using a technique for obtaining an integrated collation result using a collation result regarding a local region. At this time, it is possible to further reduce the user burden of designating a region to be collated in the image to be collated.
  • the matching target approximate area estimation unit estimates the matching target approximate area based on a simple contact pattern. For this reason, in the image collation apparatus as the second exemplary embodiment of the present invention, it is not necessary for the user to perform an accurate contact operation surrounding a region to be collated. Thus, the effect which can further reduce a user burden is demonstrated in detail.
  • Japanese Patent Laid-Open No. 2009-282634 detects a plurality of touch input positions at the same time, and specifies a circular designated area based on a combination of the touch input positions detected at the same time.
  • the technique described in Japanese Patent Laid-Open No. 2009-282634 selects an object in which a specified circular display area includes a certain area of display area.
  • 2009-282634 selects an object in which a circular designated region includes a display area of a certain ratio or more. For this reason, it is necessary to perform a touch input operation so that the object to be verified is surrounded by a circular designated area at a certain rate or more. Therefore, the technique described in Japanese Patent Application Laid-Open No. 2009-282634 cannot reduce the burden on the user who selects an object.
  • the image collating apparatus according to the second embodiment of the present invention does not require the user to perform a touch operation that surrounds the area to be collated in the image to be collated with the circular designated area. Therefore, the image collation device as the second exemplary embodiment of the present invention can further reduce the user's burden of designating an area to be collated.
  • the image storage unit 207 may omit storing the registered image itself when storing the image feature amount calculated from the registered image in the related information. is there. This is because the image collation unit 205 can obtain an integrated collation result based on the collation result for each local region using the image feature amount.
  • the image storage unit 207 may store the position information indicating the point or the direction information indicating the direction in the related information related to each registered image.
  • the position information representing the point may be information measured by a positioning system represented by GPS (Global Positioning System).
  • the direction information may be information acquired by an electronic compass or the like.
  • the image acquisition unit 101 may acquire position information or orientation information together with the search image.
  • the image collating unit 205 specifies a registered image corresponding to the search image by using only registered images having position information or azimuth information similar to the position information or azimuth information acquired together with the search image. Also good.
  • the image collating unit 205 when the position information acquired together with the search image represents the point Q and the position information associated with the registered image represents the point R, the image collating unit 205 is located within a predetermined distance from the point Q.
  • a registered image associated with R may be a target for collation.
  • the image collation unit 205 uses a registered image associated with azimuth information representing a azimuth as a difference within a predetermined value from a azimuth represented by the azimuth information acquired together with the search image as a target of collation. Also good.
  • the image storage unit 207 may store related information related to the registered image in multiple languages.
  • the collation result presentation unit 206 may display information representing a registered image corresponding to the search image in a language according to a preset user attribute or selection operation.
  • the image collation apparatus 3 as the third embodiment of the present invention is configured by a computer device constituting the image collation apparatus 2 as the second embodiment of the present invention shown in FIG.
  • a functional block configuration of the image collating apparatus 3 is shown in FIG.
  • the image matching device 3 is different from the image matching device 2 according to the second embodiment of the present invention in place of the contact pattern acquisition unit 203 in place of the contact pattern acquisition unit 303 and the matching target approximate region estimation unit 104.
  • the difference is that a comparison target approximate region estimation unit 304 is provided.
  • the contact pattern acquisition unit 303 is configured in the same manner as the contact pattern acquisition unit 203 in the second embodiment of the present invention.
  • the contact pattern acquisition unit 303 has a coordinate representing one point as a contact pattern indicating the approximate position of the region to be collated. The difference is that the configured contact pattern is acquired.
  • the collation target approximate area estimation unit 304 estimates that a rectangle having apexes of four points of a predetermined distance from one point that is a contact pattern is the collation target approximate area.
  • the comparison target approximate area estimation unit 304 (x1 + dx1L, y1 + dy1L), (x1 + dx1R, y1 + dy1L), (x1 + dx1R, y1 + dy1R), (x1 + dx1L)
  • a rectangle having four vertices (y1 + dy1R) as vertices is estimated to be a comparison target approximate region.
  • step S43 the contact pattern acquisition unit 303 repeatedly executes the acquisition process of the contact pattern constituted by the coordinates of one point until it can be determined that the approximate position designation operation has been completed (Yes in step S44).
  • step S44 when the contact pattern acquisition unit 203 can determine that the coordinates of one point have been acquired with reference to the history of the contact position, as in the second embodiment of the present invention, the approximate position designation is performed. What is necessary is just to judge that operation was complete
  • the contact pattern acquisition unit 203 may determine that the approximate position designation operation has ended by detecting contact with the end button region.
  • the matching target approximate area estimation unit 304 estimates that a rectangle whose vertices are four points each having a predetermined distance is a matching target approximate area in this image from one point from which coordinates are acquired as a contact pattern. .
  • the image matching device 3 operates in the same manner as the image matching device 2 according to the second embodiment of the present invention, thereby generating information representing an image in the matching target approximate region of the corresponding image. This is the end of the description of the collation target approximate area estimation process of the image collation apparatus 3. Next, the effect of the image collating apparatus as the third embodiment of the present invention will be described.
  • the image matching apparatus searches for a registered image corresponding to a search image using a technique for obtaining an integrated matching result using a matching result related to a local region. Further, it is possible to further reduce the user burden of designating the comparison target approximate area in the image to be verified. The reason is that the collation target approximate area estimation unit estimates the collation target approximate area based on a simple contact pattern composed of one point of coordinates. For this reason, in the image collation apparatus as the third exemplary embodiment of the present invention, it is not necessary for the user to perform an accurate contact operation for designating a region to be collated. (Fourth embodiment) Next, a fourth embodiment of the present invention will be described.
  • the image collation apparatus as the fourth embodiment of the present invention is configured in the same manner as the image collation apparatus 3 as the third embodiment of the present invention, but the contact pattern acquisition unit 303 and the collation target approximate area estimation.
  • the configuration of the unit 304 is different.
  • the contact pattern acquisition unit 303 in the present embodiment acquires a contact pattern constituted by coordinates representing three points as a contact pattern that represents the approximate position of the region to be collated. In this case, it is desirable that the contact pattern acquisition unit 303 in the present embodiment store the order in which the coordinates representing the three points are acquired.
  • the collation target approximate area estimation unit 304 in the present embodiment estimates that a parallelogram including three points that are contact patterns as vertices is a collation target approximate area.
  • the matching target approximate region estimation unit 304 in the present embodiment has a line segment connecting P1 and P2 and a line segment connecting P2 and P3.
  • a parallelogram having two sides may be used as the comparison target approximate region.
  • the verification target approximate region estimation unit 304 according to the present embodiment randomly specifies the order of verification target approximate region. May be estimated.
  • the collation target approximate area estimation unit 304 according to the present embodiment is a case other than the above example that includes P1, P2, and P3 as vertices even when the order of the contact patterns P1, P2, and P3 is acquired.
  • a parallelogram may be used as the comparison target schematic region.
  • the image collation device according to the fourth embodiment of the present invention configured as described above performs steps S43 to S3 with respect to the collation target approximate region estimation process of the image collation device 3 according to the third embodiment of the present invention.
  • the operation in S45 is different.
  • the image collating apparatus according to the fourth embodiment of the present invention acquires a contact pattern constituted by three coordinate points, and estimates a parallelogram including the three point coordinates as apexes as a collation target schematic region. Next, the effect of the image collating apparatus as the fourth embodiment of the present invention will be described.
  • the image collating apparatus as the fourth embodiment of the present invention estimates a collation target approximate area based on a simple contact pattern composed of three coordinate points, an area to be collated is designated. Can reduce the burden on the user.
  • the collation target approximate area estimation unit 304 may estimate that a parallelogram circumscribed rectangle including three points as contact patterns as vertices is a collation target approximate area. For example, the collation target approximate area estimation unit 304 performs minx, which is the minimum value of the x coordinate, and maxx, which is the maximum value, of the above-described P1, P2, and P3 and the parallelogram vertex P4 (x4, y4) including these.
  • Miny which is the minimum value of y-coordinate and maxy which is the maximum value may be calculated.
  • the matching target approximate area estimation unit 304 has a rectangular shape having four points (minx, miny), (maxx, miny), (maxx, maxy), and (minx, maxy) as vertices. Can be estimated.
  • the image collation apparatus of this Embodiment can estimate the general
  • the image collation device as the fifth embodiment of the present invention is configured in the same manner as the image collation device 3 as the third embodiment of the present invention, but the contact pattern acquisition unit 303 and the collation target approximate region estimation.
  • the configuration of the unit 304 is different.
  • the contact pattern acquisition unit 303 in the present embodiment acquires a contact pattern constituted by coordinates representing n points (n is an integer of 3 or more) as a contact pattern that represents the approximate position of the region to be collated.
  • the matching target approximate area estimation unit 304 in the present embodiment estimates that a polygon whose n points that are contact patterns are vertices is a matching target approximate area.
  • the image collation device according to the fifth embodiment of the present invention configured as described above is compared with the comparison target approximate area estimation process of the image collation device 3 according to the third embodiment of the present invention.
  • the operation in S45 is different.
  • the image collation apparatus according to the fifth embodiment of the present invention acquires a contact pattern constituted by coordinates of n points, and estimates that a polygon having n points as vertices is an approximate region to be collated. To do.
  • effects of the image collating device as the fifth exemplary embodiment of the present invention will be described.
  • the image collating apparatus as the fifth embodiment of the present invention estimates the collation target approximate area based on a simple contact pattern composed of the coordinates of n points. The burden on the user for designating can be reduced.
  • the image collation device as the sixth embodiment of the present invention is configured in the same manner as the image collation device 3 as the third embodiment of the present invention, but the contact pattern acquisition unit 303 and the collation target approximate region estimation The configuration of the unit 304 is different.
  • the contact pattern acquisition unit 303 in the present embodiment acquires a contact pattern constituted by coordinates representing n points (n is an integer of 3 or more) as a contact pattern that represents the approximate position of the region to be collated.
  • the contact pattern comprised by the coordinate showing n point contains the contact pattern which comprises arbitrary lines.
  • the contact pattern constituting an arbitrary line can be regarded as being composed of a plurality of spatially continuous points.
  • the collation target approximate area estimation unit 304 in the present embodiment estimates that a circumscribed rectangle of a polygon whose n points that are contact patterns are vertices is a collation target approximate area.
  • the comparison target approximate area estimation unit 304 according to the present embodiment has a minimum value of minx, a maximum value of maxx, and a minimum value of y coordinates of n points among the x coordinates of n points. What is necessary is just to calculate miny and maxy which is the maximum value.
  • the matching target approximate area estimation unit 304 has a rectangular shape having four points (minx, miny), (maxx, miny), (maxx, maxy), and (minx, maxy) as vertices. What is necessary is just to estimate that it is an object outline area
  • the image collation device according to the sixth embodiment of the present invention configured as described above is compared with the comparison target approximate region estimation process of the image collation device 3 according to the third embodiment of the present invention. The operation in S45 is different.
  • the image collation apparatus according to the sixth embodiment of the present invention acquires a contact pattern constituted by coordinates of n points, and a polygon circumscribed rectangle whose n points are vertices is an approximate region to be collated It is estimated that.
  • the image collation apparatus as the sixth embodiment of the present invention estimates a collation target schematic area based on a simple contact pattern composed of coordinates of n points, an area to be collated is selected. The burden on the user for designating can be reduced.
  • the image collating apparatus as the sixth embodiment of the present invention can estimate the approximate area to be collated widely compared with the fifth embodiment of the present invention.
  • the image collating apparatus according to the sixth embodiment of the present invention can maintain the collation accuracy even when there is a slight deviation between the region that the user wants to collate and the actual contact operation. (Seventh embodiment)
  • a seventh embodiment of the present invention will be described.
  • the image collation apparatus as the seventh embodiment of the present invention is configured in the same manner as the image collation apparatus 3 as the third embodiment of the present invention, but the contact pattern acquisition unit 303 and the collation target approximate area estimation The configuration of the unit 304 is different.
  • the contact pattern acquisition unit 303 in the present embodiment acquires information representing a curve as a contact pattern that represents the approximate position of the region to be collated.
  • information acquired as a contact pattern is referred to as a curve A.
  • the comparison target approximate area estimation unit 304 in the present embodiment is surrounded by a curve A acquired as a contact pattern and a curve B obtained by rotating the curve A by a predetermined amount ⁇ around the midpoint of the start point and end point of the curve A.
  • the area to be checked is estimated as a comparison target approximate area.
  • the predetermined amount ⁇ may be determined in advance so as to satisfy 0 ° ⁇ ⁇ ⁇ 360 °.
  • the matching target approximate area estimation unit 304 in the present embodiment may estimate the area inside the closed curve as the matching target approximate area.
  • the image collation device according to the seventh embodiment of the present invention configured as described above is compared with the comparison target approximate region estimation process of the image collation device 3 according to the third embodiment of the present invention at steps S43 to S43. The operation in S45 is different.
  • the image collating apparatus acquires a contact pattern representing the curve A, and rotates the curve A by a predetermined amount ⁇ around the middle point of the curve A and the start point and end point of the curve A. It is estimated that the area surrounded by the curved line B is the comparison target approximate area.
  • the contact pattern acquisition unit 303 determines that the approximate position designation operation has been started in step S42, and then determines whether or not the approximate position designation operation has been completed in step S44. In step S44, the contact pattern acquisition unit 303 may determine that the approximate position designation operation has been completed when the continuous contact operation on the display device with the coordinate input function 2003 is no longer detected.
  • the image collation apparatus as the seventh embodiment of the present invention estimates a collation target approximate area based on a simple contact pattern representing a single curve, it designates an area to be a collation target. Therefore, the burden on the user can be reduced.
  • the comparison target approximate area estimation unit 304 in the present embodiment includes a curve A that is a contact pattern, and a curve B that is obtained by rotating the curve A by a predetermined amount ⁇ around the middle point of the start point and end point of the curve A. You may estimate that the circumscribed rectangle of the area
  • the comparison target approximate area estimation unit 304 includes the minimum value minx, the maximum value maxx, and the y coordinate value that the area R can take among the x coordinate values that the area R can take. What is necessary is just to calculate miny which is the minimum value and maxy which is the maximum value. Then, the matching target approximate area estimation unit 304 according to the present embodiment has a rectangular shape having four points (minx, miny), (maxx, miny), (maxx, maxy), and (minx, maxy) as vertices. What is necessary is just to estimate that it is an object outline area
  • the image collation apparatus according to the present embodiment can estimate the collation target schematic region more widely than the case where only the region R is used as the collation target schematic region. Therefore, the image collation apparatus according to the present embodiment can maintain the collation accuracy even when there is a slight difference between the region that the user wants to collate and the actual contact operation.
  • the image collation device as the eighth embodiment of the present invention is configured in the same manner as the image collation device 3 as the third embodiment of the present invention, but the contact pattern acquisition unit 303 and the collation target approximate region estimation. The configuration of the unit 304 is different.
  • the contact pattern acquisition unit 303 in the present embodiment acquires information representing a curve as a contact pattern that represents the approximate position of the region to be collated.
  • information acquired as a contact pattern is referred to as a curve A.
  • the comparison target approximate area estimation unit 304 in the present embodiment is surrounded by a curve A that is the acquired contact pattern and a curve C that is line-symmetric with respect to the curve A with the line connecting the start point and end point of the curve A as an axis. It is estimated that the region is a matching target approximate region.
  • a curve obtained by connecting the curve A and the curve C is a closed curve.
  • the matching target approximate area estimation unit 304 in the present embodiment may estimate that the area inside the closed curve is the matching target approximate area.
  • the image collation device configured as described above performs steps S43 to S3 with respect to the collation target approximate region estimation process of the image collation device 3 according to the third embodiment of the present invention.
  • the operation in S45 is different.
  • the image collating apparatus acquires a contact pattern representing the curve A, and is a curve that is line-symmetric with respect to the curve A with the line connecting the curve A and the start point and end point of the curve A as an axis.
  • a region surrounded by C is estimated to be a comparison target approximate region.
  • the contact pattern acquisition unit 303 determines that the approximate position designation operation has been started in step S42, and then determines whether or not the approximate position designation operation has been completed in step S44. In step S44, the contact pattern acquisition unit 303 may determine that the approximate position designation operation has been completed when the continuous contact operation on the display device with the coordinate input function 2003 is no longer detected.
  • the comparison target approximate region estimation unit 304 in the present embodiment is surrounded by a curve A that is a contact pattern and a curve C that is line-symmetric with respect to the curve A with a line connecting the start point and end point of the curve A as an axis.
  • region R2 is a collation object outline area
  • the collation target approximate area estimation unit 304 in the present embodiment includes the minimum value minx, the maximum value maxx, and the y coordinate value that the area R can take among the x coordinate values that the area R2 can take. What is necessary is just to calculate miny which is the minimum value and maxy which is the maximum value.
  • the matching target approximate area estimation unit 304 has a rectangular shape having four points (minx, miny), (maxx, miny), (maxx, maxy), and (minx, maxy) as vertices. What is necessary is just to estimate that it is an object outline area
  • the image collation apparatus according to the present embodiment can estimate the collation target schematic region more widely than the case where only the region R2 is used as the collation target schematic region. Therefore, the image collation apparatus according to the present embodiment can maintain the collation accuracy even when there is a slight difference between the region that the user wants to collate and the actual contact operation.
  • the image collation device as the ninth embodiment of the present invention is configured in the same manner as the image collation device 3 as the third embodiment of the present invention, but the contact pattern acquisition unit 303 and the collation target approximate region estimation The configuration of the unit 304 is different.
  • the contact pattern acquisition unit 303 in the present embodiment acquires information representing a line constituting the closed region as a contact pattern representing the approximate position of the region to be collated.
  • the collation target approximate area estimation unit 304 in the present embodiment estimates that the inside of the line constituting the closed area that is the acquired contact pattern is the collation target approximate area.
  • the image collation device configured as described above performs steps S43 to S3 for the collation target approximate region estimation process of the image collation device 3 according to the third embodiment of the present invention.
  • the operation in S45 is different.
  • the image collation device acquires a contact pattern representing a line constituting a closed region, and estimates that the internal closed region is a collation target schematic region. Note that the contact pattern acquisition unit 303 according to the present embodiment determines that the approximate position designation operation has been started in step S42, and then determines whether or not the approximate position designation operation has been completed in step S44.
  • step S44 the contact pattern acquisition unit 303 detects the same contact position as the past contact position included in the contact position history while detecting a continuous contact operation on the coordinate input function-equipped display device 2003. In this case, it may be determined that the approximate position designation operation has been completed.
  • effects of the image collating device as the ninth exemplary embodiment of the present invention will be described.
  • Such an image collation apparatus as the ninth embodiment of the present invention estimates a collation target schematic region based on a simple contact pattern representing a line constituting a closed region. The burden on the user for designating can be reduced. (Tenth embodiment) Next, a tenth embodiment of the present invention will be described.
  • the image collation device as the tenth embodiment of the present invention is configured in the same manner as the image collation device 3 as the third embodiment of the present invention, but the contact pattern acquisition unit 303 and the collation target approximate region estimation The configuration of the unit 304 is different.
  • the contact pattern acquisition unit 303 in the present embodiment acquires information representing a curve as a contact pattern that represents the approximate position of the region to be collated.
  • information acquired as a contact pattern is referred to as a curve A.
  • the collation target approximate area estimation unit 304 in this embodiment regards the curve A acquired as a contact pattern as a combination of two line segments (L-shaped), and parallel four sides having the two line segments as two sides It is estimated that the shape is a matching target approximate area.
  • the comparison target approximate area estimation unit 304 in the present embodiment may detect the inflection point of the curve A. Then, the matching target approximate area estimation unit 304 includes an L-shaped curve A in which two line segments, a line segment connecting the start point and the inflection point, and a line segment connecting the inflection point and the end point are connected. You can consider it.
  • the comparison target approximate area estimation unit 304 in the present embodiment may detect, for example, a point where the curvature of the curve A is maximum as an inflection point.
  • the comparison target approximate area estimation unit 304 according to the present embodiment analyzes the contact position history in time, and the location where the rate of change of the contact position trajectory during a certain period of time (contact pattern input speed) is the smallest.
  • the image collation device configured as described above performs steps S43 to S40 for the collation target approximate area estimation process of the image collation device 3 according to the third embodiment of the present invention.
  • the operation in S45 is different.
  • the image collation apparatus acquires a contact pattern representing a curve A, and considers the curve A to be a combination of two line segments (L-shaped).
  • a parallelogram having two sides is estimated as a comparison target approximate region.
  • the contact pattern acquisition unit 303 determines that the approximate position designation operation has been started in step S42, and then determines whether or not the approximate position designation operation has been completed in step S44.
  • the contact pattern acquisition unit 303 may determine that the approximate position designation operation has ended when a continuous contact operation on the display device with a coordinate input function 2003 is no longer detected in step S44.
  • the image collation apparatus as the tenth embodiment of the present invention estimates the collation target approximate region based on a simple contact pattern representing a curve that can be regarded as an L-shape, It is possible to reduce the burden on the user for designating the desired area.
  • the comparison target approximate area estimation unit 304 in this embodiment regards the curve A, which is a contact pattern, as a combination of two line segments (L-shaped), and sets the two line segments as two sides in parallel.
  • the circumscribed rectangle of the quadrilateral may be estimated as the collation target schematic region.
  • the comparison target approximate area estimation unit 304 uses minx, which is the minimum value of the x coordinate, and the maximum value of the vertices P1, P2, P3, and P4 of the parallelogram having two L-shaped sides. What is necessary is to calculate a certain maxx, a minimum value of y-coordinates, and a maximum value of maxy. Then, the comparison target approximate area estimation unit 304 in the present embodiment is a verification target using a rectangle having four points (minx, miny), (maxx, miny), (maxx, maxy), and (minx, maxy) as vertices. What is necessary is just to estimate as a rough area.
  • the image collation apparatus according to the present embodiment can estimate the collation target approximate area more widely than the case where only the parallelogram having the L-shaped two sides is used as the collation target approximate area. . Therefore, the image collation apparatus according to the present embodiment can maintain the collation accuracy even when there is a slight difference between the region that the user wants to collate and the actual contact operation. (Eleventh embodiment)
  • an eleventh embodiment of the present invention will be described in detail with reference to the drawings. Note that, in each drawing referred to in the description of the present embodiment, the same reference numerals are given to the same configuration and steps that operate in the same manner as in the second embodiment of the present invention, and the detailed description in the present embodiment. Description is omitted.
  • the image collation apparatus 4 as the eleventh embodiment of the present invention is configured by a computer device constituting the image collation apparatus 2 as the second embodiment of the present invention shown in FIG.
  • a functional block configuration of the image collating device 4 is shown in FIG.
  • the image matching device 4 includes a matching target approximate region estimation unit 404 instead of the matching target approximate region estimation unit 104 in addition to the matching target approximate region estimation unit 104 with respect to the image matching device 2 according to the second embodiment of the present invention.
  • the difference is that a portion 408 is provided.
  • the contact pattern shape determination unit 408 is configured by the control unit 1001.
  • the hardware configuration of each functional block of the image matching device 4 is not limited to the above-described configuration.
  • the contact pattern shape determination unit 408 determines the shape of the contact pattern acquired by the contact pattern acquisition unit 203. For example, the contact pattern shape determination unit 408 may determine whether the contact pattern is one or more points or lines. Specifically, for example, the contact pattern shape determination unit 408 assigns a signal for identifying a pixel (coordinate) belonging to the contact pattern and a pixel (coordinate) that does not belong to each pixel (coordinate). Then, the contact pattern shape determination unit 408 extracts a connected region composed of pixels belonging to the contact pattern, and one or more contact patterns based on the number of connected regions and the number of pixels in each connected region. It may be determined whether the point is a line or a line.
  • the contact pattern shape determination unit 408 may determine the number of points. Specifically, for example, the contact pattern shape determination unit 408 may use the number of connected regions as the number of points. Further, when the contact pattern shape determining unit 408 determines that the contact pattern is composed of lines, the contact pattern shape determining unit 408 determines whether the contact pattern is a closed curve, an L shape, or any other line. Also good.
  • the verification target approximate area estimation unit 404 estimates the verification target approximate area based on the shape of the contact pattern determined by the contact pattern shape determination unit 408.
  • the collation target approximate area estimation unit 404 estimates that a rectangle whose apexes are four points each having a predetermined distance from one point is the collation target approximate area. do it.
  • the matching target approximate area estimation unit 404 estimates that a rectangle having a diagonal line connecting the two points is a matching target approximate area. Good.
  • the collation target approximate area estimation unit 404 estimates that a parallelogram including three points as vertices or a circumscribed rectangle thereof is the collation target approximate area. do it.
  • the verification target approximate area estimation unit 404 determines that a polygon having each point as a vertex or a circumscribed rectangle is the verification target approximate area. It may be estimated. Further, for example, when the shape of the determined contact pattern is a closed curve, the verification target approximate area estimation unit 404 may estimate that the inside of the closed curve or its circumscribed rectangle is the verification target approximate area. Further, for example, when the shape of the determined contact pattern is a line other than a closed curve that can be regarded as an L-shape, the collation target approximate area estimation unit 404 is a parallelogram having two sides of the L-shape.
  • the circumscribed rectangle is a collation target schematic region.
  • the collation target approximate area estimation unit 404 includes a start point and an end point of the curve A.
  • a curve B obtained by rotating the curve A by a predetermined amount around the point may be generated.
  • the matching target approximate area estimation unit 404 may estimate that the area surrounded by the curve A and the curve B is the matching target approximate area.
  • the matching target approximate area estimation unit 404 determines that the area surrounded by the curve A and the curve C that is symmetrical with respect to the curve A about the line connecting the starting point and the ending point of the curve A is the matching target outline. You may estimate that it is a region.
  • the collation target approximate area estimation operation of the image collation apparatus 4 configured as described above will be described with reference to FIG. Note that the registration process and the search process of the image collation apparatus 4 are the same as those of the image collation apparatus 2 as the second embodiment of the present invention, and thus the description thereof will be omitted. In FIG.
  • the image collating device 4 performs the operations of steps S40 to S44 in the same manner as the image collating device 2 as the second embodiment of the present invention, and acquires the contact pattern.
  • the contact pattern acquisition unit 203 may display an area designation operation end button on the display device with a coordinate input function 2003 at the start of the area designation operation. And it is suitable for the contact pattern acquisition part 203 to judge that area
  • the contact pattern shape determination unit 408 determines whether the shape of the contact pattern is one or more points or a line (step S51).
  • the contact pattern shape determination unit 408 may be one or more points or lines based on the number of connected regions related to pixels belonging to the contact pattern and the number of pixels in each connected region. What is necessary is just to discriminate
  • step S52 when the contact pattern shape determination unit 408 determines that the contact pattern is a closed curve, the verification target approximate area estimation unit 404 uses the closed area inside the closed curve or the circumscribed rectangle of the closed area as a verification target approximate area. Estimate (step S53).
  • the contact pattern shape determining unit 408 determines in step S52 that the contact pattern is not a closed curve, the contact pattern shape determining unit 408 determines whether the shape of the contact pattern is L-shaped (step S54). For example, the contact pattern shape discriminating unit 408 determines whether or not the shape of the contact pattern is L-shaped based on whether or not the inflection point as described in the tenth embodiment of the present invention can be detected. What is necessary is just to discriminate.
  • step S54 when the contact pattern shape determining unit 408 determines that the shape of the contact pattern is L-shaped, the verification target approximate region estimation unit 404 determines that the two line segments constituting the L-shape are two sides. It is presumed that the parallelogram or the circumscribed rectangle to be processed is the collation target schematic region (step S55). On the other hand, when the contact pattern shape determining unit 408 determines in step S54 that the shape of the contact pattern is not L-shaped, the verification target approximate region estimation unit 404 determines that the above-described comparison target approximate region estimation unit 404 uses the above-described contact pattern shape (curve A). Curve B or curve C described above is generated.
  • the matching target approximate region estimation unit 404 estimates that the region surrounded by the curve A and the curve B or the region surrounded by the curve A and the curve C described above is the matching target approximate region (step). S56). If the contact pattern shape determining unit 408 determines in step S51 that the shape of the contact pattern is one or more points, the contact pattern shape determining unit 408 further calculates the number of points (step S57). Next, the matching target approximate area estimation unit 404 estimates the matching target approximate area based on the number of points calculated in step S57 (step S58). For example, if the number of points calculated in step S57 is one, the matching target approximate area estimation unit 404 has a rectangular shape with four points each having a predetermined distance from the one point as the matching target approximate area.
  • the matching target approximate area estimation unit 404 estimates that a rectangle having a diagonal line connecting the two points is a matching target approximate area. That's fine. Further, for example, if the number of points calculated in step S57 is three, the collation target approximate area estimation unit 404 has a parallelogram including the three points as vertices or a circumscribed rectangle as the collation target approximate area. It may be estimated. In addition, for example, if the number of points calculated in step S57 is four or more, the matching target approximate area estimation unit 404 is a matching target approximate area that is a polygon having each point as a vertex or its circumscribed rectangle. Can be estimated.
  • the collation target approximate area estimation unit 404 generates information representing an image in the estimated collation target approximate area (step S16).
  • the image matching device 4 ends the matching target approximate area estimation process.
  • effects of the image collating device according to the eleventh embodiment of the present invention will be described.
  • an image collation apparatus as an eleventh embodiment of the present invention retrieves a registered image corresponding to a retrieval image using a technique for obtaining an integrated collation result using a collation result related to a local region.
  • the collation accuracy and processing speed can be improved.
  • the image collating apparatus as the eleventh embodiment of the present invention can further reduce the user burden of designating the collation target approximate area in the image to be collated.
  • the image collating apparatus can further increase the degree of freedom of the user's contact operation for designating a region to be collated.
  • the same reference numerals are given to the same configuration and steps that operate in the same manner as in the second embodiment of the present invention, and the detailed description in the present embodiment. Description is omitted.
  • an image collation apparatus 5 as a twelfth embodiment of the present invention is configured by a computer device constituting the image collation apparatus 2 as the second embodiment of the present invention shown in FIG.
  • a functional block configuration of the image collating apparatus 5 is shown in FIG.
  • the image collation device 5 is different from the image collation device 2 according to the second embodiment of the present invention in place of the image display unit 202 in place of the image display unit 502 and the contact pattern acquisition unit 203.
  • the comparison target approximate area correction unit 509 is configured by the control unit 1001.
  • the hardware configuration of each functional block of the image matching device 5 is not limited to the above configuration.
  • the image display unit 502 is configured to be the same as the image display unit 202 in the second embodiment of the present invention, and already displays the comparison target approximate region estimated by the verification target approximate region estimation unit 104. Superimposed on the image.
  • FIG. 15 shows an example of a comparison target schematic area that is displayed by the image display unit 502 so as to be superimposed on the image.
  • the image display unit 502 displays four straight lines surrounding the collation target schematic region superimposed on the image.
  • the contact pattern acquisition unit 503 is configured in the same manner as the contact pattern acquisition unit 203 in the second embodiment of the present invention, and acquires a corrected contact pattern for correcting the comparison target schematic region.
  • the corrected contact pattern constitutes one embodiment of the corrected position pattern in the present invention.
  • the contact pattern acquisition unit 503 may acquire the locus of the contact position acquired through the display device with a coordinate input function 2003 as a corrected contact pattern.
  • the collation target schematic area correction unit 509 corrects the collation target schematic area based on the corrected contact pattern acquired by the contact pattern acquisition unit 503.
  • the comparison target approximate area correction unit 509 selects a straight line in the vicinity of the start point of the trajectory that is the corrected contact pattern acquired by the contact pattern acquisition unit 503 among the four straight lines displayed by the image display unit 502. Good.
  • the matching target approximate area correction unit 509 calculates the movement amount vector based on the start point and the end point of the locus, and corrects the position of the selected straight line based on the movement amount vector.
  • the image matching device 5 operates in steps S40 to S45 in the same manner as the image matching device 2 as the second embodiment of the present invention, thereby estimating the matching target approximate region based on the contact pattern.
  • the image display unit 502 superimposes and displays the collation target approximate region estimated by the collation target approximate region estimation unit 104 in step S45 on the already displayed image (step S61).
  • the image display unit 502 may display four straight lines representing the outline of the comparison target schematic region.
  • the contact pattern acquisition unit 503 acquires a corrected contact pattern for correcting the comparison target schematic region (step S62).
  • the contact pattern acquisition unit 503 may acquire the locus of the contact position as a corrected contact pattern.
  • the contact pattern acquisition unit 503 repeats step S62 until it can be determined that the region correction operation has been completed. At this time, for example, when the contact pattern acquisition unit 503 detects a contact operation on the correction completion button area displayed on the image display unit 502, the contact pattern acquisition unit 503 may determine that the area correction operation has ended.
  • the collation target schematic area correction unit 509 corrects the collation target schematic area based on the corrected contact pattern (step S63).
  • the collation target approximate area correcting unit 509 may select one of four straight lines based on the locus as the corrected contact pattern. Furthermore, the comparison target approximate area correction unit 509 may calculate the movement amount vector based on the start point and the end point of the locus, and correct the position of the selected straight line based on the calculated movement amount vector. Thereafter, the image collation device 5 operates in the same manner as the image collation device 2 as the second embodiment of the present invention, and generates information representing the image in the corrected collation target schematic region. Thus, the image matching device 5 ends the matching target approximate area estimation process. Next, effects of the twelfth embodiment of the present invention will be described.
  • the image collation apparatus as the twelfth embodiment of the present invention can further improve the collation accuracy when obtaining an integrated collation result using the collation result regarding the local region.
  • the reason is that the collation target approximate area correcting unit corrects the collation target approximate area once estimated as an approximate area to be collated.
  • the image collation device as the twelfth embodiment of the present invention can obtain an integrated collation result based on the collation result for each local region using the corrected collation target schematic region, This is because a highly accurate collation result can be obtained. (Thirteenth embodiment)
  • a thirteenth embodiment of the present invention will be described in detail with reference to the drawings.
  • the image matching system 6 includes a terminal 61 and a server 62. Further, the terminal 61 and the server 62 are communicably connected via a network constituted by the Internet, a LAN (Local Area Network), a public line network, a wireless communication network, or a combination thereof.
  • a network constituted by the Internet, a LAN (Local Area Network), a public line network, a wireless communication network, or a combination thereof.
  • the terminal 61 includes an image acquisition unit 101, an image display unit 102, an input position pattern acquisition unit 103, a verification target approximate area estimation unit 104, a verification target approximate area image information transmission unit 611, and a verification result presentation unit 606. It has.
  • the terminal 61 is configured by a general-purpose computer device that includes a control unit including a CPU, RAM, and ROM, a storage device such as a hard disk, an input device, a display device, and a network interface.
  • the control unit causes the computer device to function as the terminal 61 by reading a computer program stored in the ROM or the storage device into the RAM by the CPU and executing it.
  • the collation target schematic area image information transmission unit 611 includes a network interface and a control unit.
  • the collation result presentation unit 606 includes a display device, a network interface, and a control unit.
  • the server 62 includes a verification target approximate area image information receiving unit 621, an image verification unit 605, and a verification result transmission unit 622.
  • the server 62 is configured by a general-purpose computer device that includes a control unit including a CPU, a RAM, and a ROM, a storage device such as a hard disk, and a network interface.
  • the control unit causes the computer apparatus to function as the server 62 by reading a computer program stored in the ROM or the storage device into the RAM by the CPU and executing it.
  • the collation target approximate area image information receiving unit 621 and the collation result transmitting unit 622 are configured by a network interface and a control unit.
  • the verification target approximate area image information transmission unit 611 of the terminal 61 transmits information representing the image in the verification target approximate area estimated by the verification target approximate area estimation unit 104 to the server 62 in the image acquired by the image acquisition unit 101.
  • the collation target approximate area image information transmission unit 611 may transmit what is extracted from the collation target approximate area of the image acquired by the image acquisition unit 101 as information representing an image in the collation target approximate area.
  • the collation target approximate area image information transmission unit 611 transmits a combination of information representing the entire area of the image acquired by the image acquisition unit 101 and the collation target schematic area as information representing an image in the collation target approximate area.
  • the verification target approximate area image information transmission unit 611 may transmit the image feature amount in the verification target approximate area of the image acquired by the image acquisition unit 101 as information representing the image in the verification target approximate area.
  • the matching target approximate area image information transmission unit 611 may transmit information representing an image in the matching target approximate area of a certain image as information representing a search image.
  • the collation target approximate area image information transmission unit 611 may transmit information representing an image in the collation target approximate area of another image as information representing a registered image.
  • the collation result presentation unit 606 receives and presents an integrated collation result regarding the information representing the image in the collation target schematic area transmitted to the server from the server.
  • the integrated collation result may be an index representing the degree of coincidence between the search image and the registered image transmitted to the server, for example.
  • the collation target approximate area image information receiving unit 621 of the server 62 receives information representing an image in the collation target approximate area of the image to be collated from the terminal 61.
  • the image matching unit 605 converts the information representing the image in the matching target approximate region received by the matching target approximate region image information receiving unit 621 into information representing at least one of the search image and the registered image. Then, the image matching unit 605 obtains the integrated matching result for the search image and the registered image based on the matching result for each local region.
  • the image collation unit 605 does not have to receive the information received by the collation target outline area image information receiving unit 621, either one of the information representing the search image and the information representing the registered image.
  • the image matching unit 605 receives from the terminal 61 information on other images stored in advance in a storage device or memory, as one of information representing a search image and information representing a registered image. Information representing the entire area of another image may be used.
  • the verification result transmission unit 622 transmits the integrated verification result of the search image and the registered image by the image verification unit 605 to the terminal 61.
  • the left diagram represents the operation of the terminal 61
  • the right diagram represents the operation of the server 62
  • the dashed arrows connecting the left and right represent the flow of data.
  • the image acquisition unit 101 and the comparison target approximate area estimation unit 104 of the terminal 61 acquire information representing a search image (step S71).
  • the terminal 61 may acquire information indicating the entire area of the image acquired by the image acquisition unit 101 as information indicating the search image.
  • the terminal 61 may acquire information representing an image in the matching target approximate area estimated by the matching target approximate area estimation process described with reference to FIG. 5 as information representing the search image.
  • the terminal 61 may acquire the image feature amount of the entire region of the image acquired by the image acquisition unit 101 or the feature amount of the image in the comparison target approximate region as information representing the search image.
  • the image acquisition unit 101 and the comparison target approximate area estimation unit 104 of the terminal 61 acquire information representing a registered image (step S72).
  • the terminal 61 may acquire information indicating the entire area of the image acquired by the image acquisition unit 101 as information indicating the registered image.
  • the terminal 61 may acquire information representing an image in the matching target approximate area estimated by the matching target approximate area estimation process described with reference to FIG. 5 as information representing a registered image.
  • the terminal 61 may acquire the image feature amount of the entire region of the image acquired by the image acquisition unit 101 or the feature amount of the image in the comparison target schematic region as information representing the registered image.
  • step S71 when the information representing the entire area of the image acquired by the image acquisition unit 101 is acquired as information indicating the search image, the collation estimated by the collation target approximate area estimation process described with reference to FIG. Information representing an image in the target outline area is acquired as information representing a registered image.
  • the comparison target approximate area image information transmission unit 611 of the terminal 61 transmits information representing the search image and the registered image acquired in Step S71 and Step S72 to the server 62 (Step S73).
  • the comparison target schematic region image information receiving unit 621 of the server 62 receives information representing the search image and the registered image from the terminal 61 (step S74).
  • the image matching unit 105 calculates an integrated matching result based on the matching result for each local region with respect to the search image and the registered image (step S75).
  • the image matching unit 105 may calculate an image feature amount from the search image and the registered image, and calculate an integrated match result regarding the search image and the registered image using the calculated image feature amount.
  • an integrated matching result regarding the search image and the registered image using the acquired image feature amount May be calculated.
  • the collation result transmission unit 622 transmits the integrated collation result calculated in step S75 to the terminal 61 (step S76).
  • the collation result presentation unit 606 of the terminal 61 presents the received integrated collation result (step S77).
  • the image collation system 6 ends the operation.
  • the terminal 61 may omit either one of step S71 and step S72.
  • the server 62 sets the information of the other image stored in advance in the storage device or the memory as one of information representing the search image and information representing the registered image.
  • the image collation system can improve the collation accuracy and processing speed when obtaining an integrated collation result using a collation result related to a local region. This is because the comparison target approximate area estimation unit of the terminal estimates an approximate area to be verified in the image to be verified. Then, the image collation unit of the server obtains an integrated collation result based on the collation result for each local region for only the image in the collation target approximate region for the image whose collation target approximate region is estimated. Because it seeks. Therefore, the image collation unit does not need to perform collation processing for regions other than the collation target schematic region.
  • the server 62 may further include an image storage unit that stores information representing a registered image.
  • the image storage unit may store information representing an image in the comparison target schematic area estimated by the terminal 61 as information representing a registered image.
  • the image storage unit may store the information representing the entire area of the image acquired by the terminal 61 as information representing the registered image.
  • the image storage unit may store information representing a registered image acquired from another device in advance.
  • the image storage unit may store the image feature amount calculated from these registered images as information representing the registered image.
  • the image collation system 6 operates as follows. First, the comparison target approximate area image information transmission unit 611 of the terminal 61 transmits information representing an image in the comparison target approximate area of the image acquired by the image acquisition unit 101 to the server 62 as information indicating the search image. Then, the image matching unit 605 of the server 62 specifies a registered image corresponding to the search image received by the matching target approximate region image information receiving unit 621 from the image storage unit. Then, the matching result transmission unit 622 transmits information representing the specified registered image to the terminal 61.
  • the verification result presentation unit 606 of the terminal 61 presents information representing the registered image received from the server 62.
  • the display device and the input device of the terminal 61 may be configured by a device that can detect a contact position by a contact operation on the display area.
  • the input position pattern acquisition unit 103 may acquire a contact pattern representing a contact position pattern as an input position pattern.
  • the terminal 61 includes the contact pattern shape discriminating unit in the eleventh embodiment of the present invention and the collation target approximate area correcting unit in the twelfth embodiment of the present invention. Further, it may be provided.
  • each functional block of the image collation apparatus according to each embodiment of the present invention is distributed to the terminal and the server. It can be said that it is a thing.
  • the configuration of the thirteenth embodiment of the present invention in which the server has an image collation unit with a relatively large amount of calculation links the server and the terminal. This is suitable for performing a series of image matching processes.
  • the terminal is usually more portable than the server, the configuration of the thirteenth embodiment of the present invention in which the terminal has an image acquisition unit, an image display unit, and an input position pattern acquisition unit is Has the advantage of being able to capture images at various locations.
  • each functional block included in the image collation system of the present invention is not limited to the arrangement configuration of the thirteenth embodiment of the present invention, and can be arbitrarily arranged in a server and a terminal. Next, another embodiment of the present invention will be described.
  • An image collation apparatus includes an image acquisition unit that acquires an image to be collated, an image display unit that displays an image acquired by the image acquisition unit, and a region of an image displayed on the image display unit An input position pattern acquisition unit that acquires an input position pattern that represents an approximate position of a region to be verified, and an approximate region to be verified in an image displayed on the image display unit based on the input position pattern A matching target approximate region estimation unit that estimates a matching target approximate region, and information representing an image in the matching target approximate region as at least one of a search image and a registered image.
  • an image matching unit for obtaining an integrated matching result based on a matching result for each local region, and presenting the integrated matching result Comprising a collation result presentation unit that, the.
  • the image collation system of the present embodiment includes a terminal and a server, and the terminal displays an image acquisition unit that acquires an image to be verified, and an image display that displays the image acquired by the image acquisition unit.
  • An input position pattern acquisition unit that acquires an input position pattern that represents a rough position of a region to be collated in the region of the image displayed on the image display unit, and the image display unit based on the input position pattern
  • a collation target approximate region estimation unit for estimating a collation target approximate region representing a schematic region to be collated in the image displayed on the image, and a collation target outline for transmitting information representing an image in the collation target approximate region to the server
  • An area image information transmission unit, and a collation result presentation unit that presents an integrated collation result related to the image to be collated from the server
  • the server includes a verification target approximate area image information receiving unit that receives information representing an image in the verification target approximate area from the terminal, and the verification target approximate area image information as at least one of a search image and a registered image.
  • the integrated collation result is obtained based on the collation result for each local area with respect to the search image and the registered image.
  • the terminal according to the present embodiment is a terminal that communicates with a server that obtains an integrated collation result based on a collation result for each local region with respect to the collation target image, and obtains the collation target image.
  • An image acquisition unit that performs image acquisition, an image display unit that displays an image acquired by the image acquisition unit, and an input position pattern that represents an approximate position of a region to be collated in the region of the image displayed on the image display unit
  • An input position pattern acquisition unit that performs, and based on the input position pattern, a collation target approximate region estimation unit that estimates a collation target approximate region that represents a general region that is a collation target in the image displayed on the image display unit,
  • a collation target approximate area image information transmitting unit that transmits information representing an image in the collation target approximate area to the server; and the integrated reference relating to the image to be collated.
  • the results and a collation result presentation unit for presenting by receiving from the server.
  • the server according to the present embodiment is a server that communicates with a terminal that estimates a collation target schematic region that represents a schematic region to be collated in an image to be collated, and represents an image in the collation target schematic region.
  • An image matching unit for obtaining an integrated matching result based on a matching result for each local region with respect to the search image and the registered image, and obtaining the integrated matching result as the terminal
  • a collation result transmitting unit for transmitting to.
  • the image matching method of the present embodiment acquires an image to be verified, displays the image on the image display unit, and approximates the position of the region to be verified in the region of the image displayed on the image display unit.
  • An input position pattern representing the reference image is estimated, and based on the input position pattern, a collation target approximate region representing a general region to be collated in the image displayed on the image display unit is estimated, and the search image and the registered image
  • an integrated matching result is obtained based on a matching result for each local area with respect to the search image and the registered image. , Presenting the integrated verification result.
  • the terminal control method of the present embodiment acquires an image to be collated, displays the image on the image display unit, and approximate positions of the region to be collated in the region of the image displayed on the image display unit.
  • An input position pattern representing the image is obtained, and based on the input position pattern, a collation target approximate region representing a schematic region to be collated in the image displayed on the image display unit is estimated, and the image to be collated
  • the information indicating the image in the comparison target approximate area is transmitted to a server for obtaining an integrated matching result based on the matching result for each local area with respect to the image, and the integrated matching result regarding the image to be checked From the server.
  • the program recording medium of the present embodiment is a verification target including a computer provided in a terminal that communicates with a server that obtains an integrated verification result based on a local verification result for each region related to the verification target image.
  • An image acquisition unit that acquires an image
  • an image display unit that displays the image acquired by the image acquisition unit, and an input position that represents an approximate position of a region to be collated in the region of the image displayed on the image display unit
  • An input position pattern acquisition unit that acquires a pattern, and a collation target approximate region estimation that estimates a collation target approximate region that represents a general region that is a collation target in the image displayed on the image display unit based on the input position pattern Means, and a verification target approximate area image information transmission means for transmitting information representing an image in the verification target approximate area to the server;
  • Storing the terminal control program to function as the collation result presentation means for presenting by receiving the integrated matching result to an image to be serial verification object from the server.
  • a computer program that causes the CPU of each device to perform the operations of the image matching device, the server, and the terminal described with reference to each flowchart is stored in the storage device (storage medium) of each device. You may store in.
  • the stored computer program may be read and executed by the CPU of each device.
  • the present invention is constituted by the code of the computer program or a storage medium.
  • each function block may comprise a part or all of the function by a hardware circuit.
  • each functional block may be configured by causing a processor such as a GPU (Graphics Processing Unit) to execute a computer program for a part or all of the function. .
  • Image acquisition means for acquiring an image to be verified; Image display means for displaying the image acquired by the image acquisition means; Input position pattern acquisition means for acquiring an input position pattern representing the approximate position of the area to be collated in the area of the image displayed on the image display means; Based on the input position pattern, a collation target approximate region estimation unit that estimates a collation target schematic region representing a schematic region to be collated in the image displayed on the image display unit; By acquiring information representing an image in the comparison target approximate area as at least one of the search image and the registered image, the search image and the registered image are integrated based on a collation result for each local area.
  • Image collation means for obtaining a typical collation result
  • Collation result presenting means for presenting the integrated collation result
  • An image collation apparatus comprising: (Appendix 2) Image storage means for storing information representing the registered image; The image collating unit specifies a registered image corresponding to the search image among the registered images based on the integrated collation result regarding the search image and each registered image, The image verification apparatus according to appendix 1, wherein the verification result presentation unit presents information related to the registered image corresponding to the search image.
  • the input position pattern acquisition means acquires information representing the position of one point as the input position pattern, The image according to any one of appendix 1 to appendix 4, wherein the collation target approximate area estimation unit estimates a rectangle having four vertices each having a predetermined distance from the one point as the collation target approximate area. Verification device.
  • the input position pattern acquisition means acquires information representing the position of three points as the input position pattern, 6.
  • the image collation apparatus according to any one of appendix 1 to appendix 5, wherein the collation target approximate area estimation unit estimates a parallelogram including the three points as apexes as the collation target approximate area.
  • the input position pattern acquisition means acquires information representing the position of three points as the input position pattern, 6.
  • the image collation apparatus according to any one of appendix 1 to appendix 5, wherein the collation target approximate area estimation unit estimates a parallelogram circumscribed rectangle including the three points as vertices as the collation target approximate area. .
  • the input position pattern acquisition means acquires information representing the positions of n (n is an integer of 3 or more) points as the input position pattern, 8.
  • the image collating apparatus according to any one of appendix 1 to appendix 7, wherein the collation target approximate area estimation unit estimates a polygon having the n points as vertices as the collation target approximate area.
  • the input position pattern acquisition means acquires information representing the positions of n (n is an integer of 3 or more) points as the input position pattern, The image collation according to any one of appendix 1 to appendix 7, wherein the collation target approximate area estimation unit estimates a polygon circumscribed rectangle having the n points as vertices as the collation target approximate area. apparatus. (Appendix 10) The input position pattern acquisition means acquires information representing a curve as the input position pattern, The comparison target approximate area estimation unit estimates, as the verification target approximate area, an area surrounded by the curve and another curve obtained by rotating the curve by a predetermined amount around the middle point of the start point and end point of the curve.
  • the input position pattern acquisition means acquires information representing a curve as the input position pattern
  • the collation target approximate area estimation unit calculates a circumscribed rectangle of an area surrounded by the curve and another curve obtained by rotating the curve by a predetermined amount around the midpoint of the start point and end point of the curve.
  • the image collating apparatus according to any one of appendix 1 to appendix 9, wherein (Appendix 12)
  • the input position pattern acquisition means acquires information representing a curve as the input position pattern
  • the comparison target approximate area estimation unit estimates, as the verification target approximate area, an area surrounded by the curve and another curve that is symmetric with respect to the curve about a line connecting the start point and end point of the curve.
  • the image collating apparatus according to any one of Supplementary Note 1 to Supplementary Note 11, wherein (Appendix 13)
  • the input position pattern acquisition means acquires information representing a curve as the input position pattern
  • the collation target approximate region estimation unit calculates a circumscribed rectangle of a region surrounded by the curve and another curve line-symmetric with respect to the curve with a line connecting a start point and an end point of the curve as an axis.
  • the image collating apparatus according to any one of appendix 1 to appendix 11, wherein the image collating apparatus is estimated as follows.
  • the input position pattern acquisition means acquires information representing a line constituting a closed region as the input position pattern, 14.
  • the image collating apparatus according to any one of appendix 1 to appendix 13, wherein the collation target approximate region estimation unit estimates the closed region as the collation target schematic region.
  • the input position pattern acquisition means acquires information representing a line constituting a closed region as the input position pattern, 14.
  • the image collating apparatus according to any one of appendix 1 to appendix 13, wherein the collation target approximate area estimation unit estimates a circumscribed rectangle of the closed region as the collation target approximate area.
  • the input position pattern acquisition means acquires information representing a curve as the input position pattern
  • the collation target approximate area estimation unit estimates a parallelogram including the two line segments on two sides as the collation target approximate area by regarding the curve as a connection of two line segments.
  • the image collation device according to any one of Supplementary Note 1 to Supplementary Note 15.
  • the input position pattern acquisition means acquires information representing a curve as the input position pattern
  • the collation target approximate area estimation unit estimates a parallelogram circumscribed rectangle including the two line segments on two sides as the collation target approximate area by regarding the curve as a connection of two line segments.
  • the image collating device according to any one of Supplementary Note 1 to Supplementary Note 15, wherein (Appendix 18) An input position pattern shape determining means for determining the shape of the input position pattern; 18.
  • the image display means displays the comparison target approximate area estimated for the displayed image superimposed on the image
  • the input position pattern acquisition means further acquires a correction position pattern for correcting the comparison target schematic area displayed on the image display means
  • the image collating apparatus according to any one of appendix 1 to appendix 18, further comprising collation target approximate area correcting means for correcting the collation target approximate area based on the correction position pattern.
  • the image storage means stores related information related to the registered image in association with the registered image;
  • the matching result presentation unit presents the acquired related information by acquiring the related information related to the registered image specified by the image matching unit, according to any one of appendix 2 to appendix 19, Image matching device.
  • the image acquisition means acquires related information together with the search image
  • the image collating unit specifies a registered image stored in the image storing unit, the associated information of which corresponds to the retrieved image from among the registered images associated with the associated information of the retrieved image.
  • the image collating device according to Supplementary Note 20, which is a feature.
  • the related information includes position information indicating a position of a point related to the image,
  • the image collating unit has a distance between a position represented by the position information included in the related information and a position represented by the position information included in the related information of the search image among the registered images stored in the image storage unit.
  • the image collating apparatus according to appendix 21, wherein an image corresponding to the search image is specified from registered images having a threshold value or less.
  • the related information includes direction information representing a direction related to an image
  • the image collating means has a difference between the azimuth indicated by the azimuth information included in the related information and the azimuth indicated by the azimuth information included in the related information of the search image among the registered images stored in the image storage means.
  • the image collating apparatus according to Supplementary Note 21 or Supplementary Note 22, wherein one corresponding to the search image is specified from registered images having a threshold value or less.
  • the image collating unit obtains the image feature amount of the image in the collation target approximate region as information representing the image in the collation target approximate region, and thereby uses the acquired image feature amount to perform the integrated collation. 24.
  • the terminal Image acquisition means for acquiring an image to be verified; Image display means for displaying the image acquired by the image acquisition means; An input position pattern acquisition unit that acquires an input position pattern that represents an approximate position of a region to be collated in the region of the image displayed on the image display unit; Based on the input position pattern, a collation target approximate region estimation unit that estimates a collation target schematic region representing a schematic region to be collated in the image displayed on the image display unit; Collation target approximate region image information transmitting means for transmitting information representing an image in the collation target approximate region to the server; Collation result presentation means for presenting an integrated collation result related to the image to be collated from the server; Have The server Collation target outline area image information receiving means for receiving information representing an image in the comparison target outline area from the terminal; By acquiring information representing an image in the comparison target approximate area received by the verification target approximate area image information receiving means as at least one of the search image and the registered image, the search image and the registered image are obtained.
  • Image collating means for obtaining the integrated collation result based on a collation result for each local region; Verification result transmission means for transmitting the integrated verification result to the terminal; An image matching system.
  • the server Image storage means for storing information representing the registered image;
  • the image collating unit specifies a registered image corresponding to the search image among the registered images based on the integrated collation result regarding the search image and each registered image,
  • the verification result transmission means transmits information representing the registered image corresponding to the search image to the terminal, 27.
  • the image verification system according to appendix 26, wherein the verification result presentation unit of the terminal presents information related to the registered image corresponding to the search image.
  • the comparison target approximate area image information transmission means of the terminal transmits an image feature amount of an image in the verification target approximate area to the server as information representing an image in the verification target approximate area. 26 or the image collation system according to appendix 27.
  • Image acquisition means for acquiring an image to be verified; Image display means for displaying the image acquired by the image acquisition means; An input position pattern acquisition unit that acquires an input position pattern that represents an approximate position of a region to be collated in the region of the image displayed on the image display unit; Based on the input position pattern, a collation target approximate region estimation unit that estimates a collation target schematic region representing a schematic region to be collated in the image displayed on the image display unit; Collation target approximate region image information transmitting means for transmitting information representing an image in the collation target approximate region to a server for obtaining an integrated collation result based on a collation result for each local region with respect to the image to be collated; , Collation result presenting means for presenting the integrated collation result regarding the image
  • a server that communicates with a terminal that estimates a matching target approximate area that represents a matching target area in a matching target image, Collation target outline area image information receiving means for receiving information representing an image in the comparison target outline area from the terminal; By acquiring information representing an image in the comparison target approximate area received by the verification target approximate area image information receiving means as at least one of the search image and the registered image, the search image and the registered image are obtained.
  • Image collating means for obtaining an integrated collation result based on a collation result for each local region; Verification result transmission means for transmitting the integrated verification result to the terminal; Server provided.
  • (Appendix 33) Image storage means for storing information representing the registered image; The supplementary note 32, wherein the image collating unit identifies a registered image corresponding to the search image among the registered images based on the integrated collation result regarding the search image and each registered image.
  • Server. Additional remark 32 or characterized in that the collation target approximate area image information receiving means receives an image feature amount of an image in the collation target approximate area from the terminal as information representing an image in the collation target approximate area.
  • (Appendix 35) Get the image to be verified, Displaying the image on the image display means; Obtaining an input position pattern representing an approximate position of a region to be collated in the region of the image displayed on the image display means; Based on the input position pattern, a collation target approximate area representing a schematic area to be collated in the image displayed on the image display unit is estimated, By acquiring information representing an image in the comparison target approximate area as at least one of the search image and the registered image, the search image and the registered image are integrated based on a collation result for each local area. For a matching result An image matching method for presenting the integrated matching result.
  • Appendix 36 Storing information representing the registered image in an image storage means; Based on the integrated collation result of the search image and each of the registered images, a registered image corresponding to the search image is specified, 36.
  • the terminal Using a terminal and a server, The terminal Get the image to be verified, Display the acquired image on the image display means, Obtaining an input position pattern representing an approximate position of a region to be collated in the region of the image displayed on the image display means; Based on the input position pattern, a collation target approximate area representing a schematic area to be collated in the image displayed on the image display means is estimated, Sending information representing the image in the comparison target approximate area to the server, The server Receiving information from the terminal representing an image in the comparison target approximate area; By acquiring information representing the received image within the comparison target approximate area as at least one of the search image and the registered image, the collation result for each local area is obtained with respect to the search image and the registered image.
  • the terminal An image collation method for presenting the integrated collation result by receiving it from the server.
  • the server Storing information representing the registered image in an image storage means; Based on the search result and the integrated collation result for each registered image, the registered image corresponding to the search image is specified among the registered images, Transmitting information representing the registered image corresponding to the search image to the terminal as the integrated matching result;
  • the terminal 38 The image collating method according to appendix 37, wherein information representing the registered image corresponding to the search image is presented as the integrated collation result.
  • (Appendix 39) Get the image to be verified, Displaying the image on the image display means; Obtaining an input position pattern representing an approximate position of a region to be collated in the region of the image displayed on the image display means; Based on the input position pattern, a collation target approximate area representing a schematic area to be collated in the image displayed on the image display means is estimated, To the server for obtaining an integrated matching result based on the matching result for each local area with respect to the image to be matched, information representing the image in the matching target approximate area is transmitted, The integrated collation result regarding the image to be collated is received from the server. Terminal control method.
  • (Appendix 40) Receiving information representing an image in the collation target outline area from a terminal that estimates a collation target outline area representing an outline area to be collated in an image to be collated; By acquiring information representing the received image within the comparison target approximate area as at least one of the search image and the registered image, the collation result for each local area is obtained with respect to the search image and the registered image. Based on the results of the integrated verification, Send the integrated verification result to the terminal Server control method.
  • Computer Image acquisition means for acquiring an image to be verified; Image display means for displaying the image; Input position pattern acquisition means for acquiring an input position pattern representing the approximate position of the area to be collated in the area of the image displayed by the image display means; Based on the input position pattern, a collation target approximate region estimation unit that estimates a collation target schematic region representing a schematic region to be collated in the image displayed on the image display unit; By acquiring information representing an image in the comparison target approximate area as at least one of the search image and the registered image, the search image and the registered image are integrated based on a collation result for each local area.
  • Image collation means for obtaining a typical collation result; Collation result presenting means for presenting the integrated collation result; A program recording medium for storing an image collation program that functions as a computer program. (Appendix 42) Further causing the computer to function as image storage means for storing information representing the registered image; The image collating means identifies a registered image corresponding to the search image based on the integrated collation result of the search image and each registered image; 42.
  • the program recording medium according to appendix 41, wherein the collation result presenting means stores an image collation program that presents information representing a registered image corresponding to the search image as the integrated collation result.
  • a computer provided in a terminal that communicates with a server for obtaining an integrated collation result based on a collation result for each local region with respect to an image to be collated,
  • Image acquisition means for acquiring an image to be collated;
  • Image display means for displaying the image acquired by the image acquisition means;
  • An input position pattern acquisition unit that acquires an input position pattern that represents an approximate position of a region to be collated in the region of the image displayed on the image display unit;
  • a collation target approximate region estimation unit Based on the input position pattern, a collation target approximate region estimation unit that estimates a collation target schematic region representing a schematic region to be collated in the image displayed on the image display unit;
  • Collation target approximate region image information transmitting means for transmitting information representing an image in the collation target approximate region to the server;
  • Collation result presentation means for presenting the integrated collation result relating to the image to be collated by receiving from the server;
  • a program recording medium for storing a terminal control program for functioning as a computer.
  • Appendix 44 When the image display means can detect the contact position by the contact operation on the display area, 44.
  • Appendix 45 A computer provided in a server that communicates with a terminal that estimates a matching target approximate area that represents a matching target area in an image to be verified; Collation target outline area image information receiving means for receiving information representing an image in the comparison target outline area from the terminal; By acquiring information representing an image in the comparison target approximate area received by the verification target approximate area image information receiving means as at least one of the search image and the registered image, the search image and the registered image are obtained.
  • Image collating means for obtaining an integrated collation result based on a collation result for each local region; Verification result transmission means for transmitting the integrated verification result to the terminal;
  • a program recording medium for storing a server control program that functions as a computer program. (Appendix 46) Further causing the computer to function as image storage means for storing information representing the registered image;
  • a server control program for specifying a registered image corresponding to the search image among the registered images based on the integrated collation result of the search image and the registered images; 46.
  • the program recording medium according to appendix 45 which is stored.
  • the present invention can provide an image collation apparatus that improves collation accuracy and processing speed when obtaining an integrated collation result using a collation result related to a local region.
  • the present invention searches, for example, a registered image having a high degree of coincidence with a region such as a signboard partially included in the search image, and information such as commentary text and other language display partially included in the searched registration image It is applicable to the system provided for
  • the present invention is also applicable to a system that presents information in an augmented reality by superimposing and displaying information related to the searched registered image on the search image.
  • the signboards are not only general signboards installed indoors and outdoors, but also exterior walls of buildings, indoor and outdoor guide versions, documents in general, posters, notepads, sticky notes, advertisement flyers, Menus such as restaurants may be used.
  • Image collation device 6 Image collation system 61 Terminal 62 Server 101 Image acquisition unit 102, 202, 502 Image display unit 103 Input position pattern acquisition unit 104, 304, 404 Collation target approximate region estimation unit 105 , 205, 605 Image collation unit 106, 206, 606 Collation result presentation unit 203, 303, 503 Contact pattern acquisition unit 207 Image storage unit 303 Contact pattern acquisition unit 408 Contact pattern shape determination unit 509 Collation target approximate area correction unit 611 Verification target Approximate area image information transmitting unit 621 Verification target approximate area image information receiving unit 622 Verification result transmitting unit 1001 Control unit 1002 Storage device 1003 Input device 1004 Display device 1005 Imaging device 2003 Display device with coordinate input function

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

[課題]局所的な領域毎の照合結果に基づいて統合的な照合結果を求める際の照合精度及び処理速度を向上させる画像照合装置を提供すること。[解決手段]本発明の画像照合装置は、画像を取得する画像取得手段と、前記画像取得手段が取得した画像を表示する画像表示手段と、前記画像表示手段が表示する画像の領域において、照合対象となる領域の概略位置を表す入力位置パターンを取得する入力位置パターン取得手段と、前記入力位置パターンに基づいて、前記画像表示手段が表示する画像において照合対象となる概略の領域を表す照合対象概略領域を推定する照合対象概略領域推定手段と、少なくともいずれか一方が前記照合対象概略領域内の画像である検索画像と登録画像の、照合結果を提示する照合結果提示手段と、を備える。

Description

画像照合装置、画像照合方法、画像照合システム、サーバ、端末、端末制御方法、および、端末制御プログラム
 本発明は、複数の画像を照合する画像照合装置、画像照合方法、画像照合システム、および、コンピュータ・プログラムに関する。
 一般的な画像照合装置は、1つの画像の全領域と他の画像の全領域とを照合する。
 これに対して、近年、1つの画像の局所的な領域と、他の画像の局所的な領域との照合を行う画像照合装置が提案されている。
 このような画像照合装置として、カメラデバイスで撮影される等の方法で得られた検索用の画像(以下、検索画像と呼ぶ)と、データベース上にあらかじめ登録された画像(以下、登録画像と呼ぶ)とを照合する、以下の画像照合装置が知られている。この画像照合装置は、まず、位置合わせのための幾何変換に関するパラメータを推定する。次に、画像照合装置は、推定したパラメータを用いて局所的な領域毎に両画像の照合を行う。そして、画像照合装置は、局所的な領域毎の照合結果に基づいて、統合的な照合結果を求める(例えば、特許文献1参照)。
 この特許文献1に記載された画像照合装置は、局所的な各領域に関する照合結果に基づいて統合的な照合結果を求めているため、検索画像と登録画像とに共通する領域がある程度含まれていれば、画像同士の照合を可能とする利点を有している。
WO2010/053109
 しかし、特許文献1に記載された画像照合装置は、画像全体の中から照合対象とする局所的な領域を算出しているため、照合対象として適していない領域からも局所的な領域を算出して照合を行ってしまう場合がある。従って、特許文献1に記載されている画像照合装置には、照合精度および処理速度に課題があった。
 例えば、特許文献1に記載された画像照合装置を用いて、案内看板および車両Aが写された検索画像と、検索画像と同一の案内看板および検索画像とは異なる車両Bが写された登録画像とを照合する場合を想定する。この場合、特許文献1に記載された画像照合装置は、検索画像に含まれる案内看板を含む局所的な領域と、登録画像に含まれる案内看板を含む局所的な領域との一致度が高いと判定する。しかし、特許文献1に記載された画像照合装置は、検索画像に含まれる車両Aを含む局所的な領域と、登録画像に含まれる車両Bを含む局所的な領域との一致度が低いため、全体としての一致度が低いと判定する場合がある。このように、ユーザにとって車両Aおよび車両Bの領域について照合を行いたくなかった場合でも、特許文献1に記載された画像照合装置は、検索画像および登録画像の一致度が低いという照合結果を得てしまう場合がある。さらに、特許文献1に記載された画像照合装置は、車両Aおよび車両Bの領域について不要な照合を行うために処理速度が低下する。
 本発明は、上述の課題を解決するためになされたもので、局所的な領域毎の照合結果に基づいて統合的な照合結果を求める際の照合精度及び処理速度を向上させる画像照合装置を提供することを目的とする。
 本発明の画像照合装置は、画像を取得する画像取得手段と、前記画像取得手段が取得した画像を表示する画像表示手段と、前記画像表示手段が表示する画像の領域において、照合対象となる領域の概略位置を表す入力位置パターンを取得する入力位置パターン取得手段と、前記入力位置パターンに基づいて、前記画像表示手段が表示する画像において照合対象となる概略の領域を表す照合対象概略領域を推定する照合対象概略領域推定手段と、少なくともいずれか一方が前記照合対象概略領域内の画像である検索画像と登録画像の、照合結果を提示する照合結果提示手段と、を備える。
 本発明の画像照合方法は、画像を取得し、取得した画像を画像表示手段に表示し、前記画像表示手段に表示した画像の領域において、照合対象となる領域の概略位置を表す入力位置パターンを取得し、前記入力位置パターンに基づいて、前記画像表示手段に表示した画像において照合対象となる概略の領域を表す照合対象概略領域を推定し、少なくともいずれか一方が前記照合対象概略領域内の画像である検索画像と登録画像の、照合結果を提示する。
 本発明のプログラム記録媒体は、コンピュータを、画像を取得する画像取得手段と、前記画像取得手段が取得した画像を表示する画像表示手段と、前記画像表示手段が表示する画像の領域において、照合対象となる領域の概略位置を表す入力位置パターンを取得する入力位置パターン取得手段と、前記入力位置パターンに基づいて、前記画像表示手段が表示する画像において照合対象となる概略の領域を表す照合対象概略領域を推定する照合対象概略領域推定手段と、少なくともいずれか一方が前記照合対象概略領域内の画像である検索画像と登録画像の、照合結果を提示する照合結果提示手段として機能させる画像照合プログラムを記憶する。
 本発明は、局所的な領域毎の照合結果に基づいて統合的な照合結果を求める際の照合精度及び処理速度を向上させる画像照合装置を提供することができる。
本発明の第1の実施の形態としての画像照合装置のハードウェア構成図である。 本発明の第1の実施の形態としての画像照合装置の機能ブロック図である。 本発明の第1の実施の形態における画像表示部に表示された画面の一例を示す図である。 本発明の第1の実施の形態としての画像照合装置の画像照合動作を説明するフローチャートである。 本発明の第1の実施の形態としての画像照合装置の照合対象概略領域推定動作を説明するフローチャートである。 本発明の第2の実施の形態としての画像照合装置のハードウェア構成図である。 本発明の第2の実施の形態としての画像照合装置の機能ブロック図である。 本発明の第2の実施の形態としての画像照合装置の登録動作を説明するフローチャートである。 本発明の第2の実施の形態としての画像照合装置の検索動作を説明するフローチャートである。 本発明の第2の実施の形態としての画像照合装置の照合対象概略領域推定動作を説明するフローチャートである。 本発明の第3~第10の実施の形態としての画像照合装置の機能ブロック図である。 本発明の第11の実施の形態としての画像照合装置の機能ブロック図である。 本発明の第11の実施の形態としての画像照合装置の照合対象概略領域推定動作を説明するフローチャートである。 本発明の第12の実施の形態としての画像照合装置の機能ブロック図である。 本発明の第12の実施の形態における画像表示部に表示された画面の一例を示す図である。 本発明の第12の実施の形態としての画像照合装置の照合対象概略領域推定動作を説明するフローチャートである。 本発明の第13の実施の形態としての画像照合システムの機能ブロック図である。 本発明の第13の実施の形態としての画像照合システムの照合対象概略領域推定動作を説明するフローチャートである。
 以下、本発明の実施の形態について、図面を参照して詳細に説明する。
 (第1の実施の形態)
 図1は、本発明の第1の実施の形態としての画像照合装置1のハードウェア構成を表す図である。
 図1において、画像照合装置1は、CPU(Central Processing Unit)、RAM(Random Access Memory)およびROM(Read Only Memory)を含む制御部1001と、ハードディスク等の記憶装置1002と、入力装置1003と、表示装置1004と、カメラやスキャナ等の撮像装置1005とを備えたコンピュータ装置によって構成されている。
 制御部1001は、ROMまたは記憶装置1002に記憶されたコンピュータ・プログラムをCPUによりRAMに読み込んで実行することにより、コンピュータ装置を画像照合装置1として機能させる。
 図2は、画像照合装置1の機能ブロック構成を表す図である。
 画像照合装置1は、画像取得部101と、画像表示部102と、入力位置パターン取得部103と、照合対象概略領域推定部104と、画像照合部105と、照合結果提示部106とを備えている。
 画像取得部101は、制御部1001、記憶装置1002、および、撮像装置1005によって構成される。また、画像表示部102および照合結果提示部106は、制御部1001、および、表示装置1004によって構成される。また、入力位置パターン取得部103は、制御部1001、および、入力装置1003によって構成される。また、照合対象概略領域推定部104および画像照合部105は、制御部1001によって構成される。また、照合結果提示部106は、制御部1001、および、表示装置1004によって構成される。なお、画像照合装置1の機能ブロックを構成するハードウェア構成は上述の構成に限定されない。
 画像取得部101は、照合対象となる画像を取得する。例えば、画像取得部101は、例えば撮像装置1005が撮像した画像を取得すればよい。あるいは、画像取得部101は、あらかじめ記憶装置1002またはRAMに格納された画像を取得してもよい。
 また、画像取得部101が取得する画像は、動画像であっても静止画像であってもよい。
 画像表示部102は、画像取得部101が取得した画像を表示する。画像表示部102は、画像取得部101が取得した画像が動画像である場合は、動画像のうちのある時点における静止画像を表示する。
 入力位置パターン取得部103は、画像表示部102が表示する画像において照合対象となる領域の概略位置を表す情報である、入力位置パターンを取得する。入力位置パターン取得部103は、照合対象となる領域の概略位置を表す情報である入力位置パターンとして、入力位置を表す、あらかじめ定められたパターンの情報を取得する。入力位置を表す情報の、あらかじめ定められたパターンは、例えば、2点を表す座標の組合せである。入力位置パターン取得部103は、2点を表す座標の組み合わせによって構成される入力位置パターンを、照合対象となる領域の概略位置を表す情報として取得すればよい。
 例えば、入力装置1003がマウスによって構成される場合、入力位置パターン取得部103は、画像表示部102が表示する画像の領域内における、マウスドラッグ操作の開始点および終了点の2点の位置を表す情報を、入力位置パターンとして取得すればよい。
 照合対象概略領域推定部104は、入力位置パターンに基づいて、画像表示部102が表示する画像において、照合対象となる概略の領域を表す照合対象概略領域を推定する。
 このとき、照合対象概略領域推定部104は、ユーザが照合対象としたい領域を過不足なく含む正確な領域を推定する必要はなく、概略の領域を推定すればよい。
 例えば、図3に示すように、照合対象概略領域推定部104は、2点の座標を表す入力位置パターンに基づいて、2点を結ぶ線分を対角線とする矩形を照合対象概略領域として推定すればよい。図3の例では、入力位置パターンとして得られた2点の座標は、(x1,y1)と(x2、y2)である(ただし、x1≠x2かつy1≠y2)。以下では、minxがx1とx2のうち小さい値、maxxがx1とx2のうち大きい値、minyがy1とy2のうち小さい値、maxyがy1とy2のうち大きい値である。この例では、照合対象概略領域推定部104は、4つの点(minx、miny)、(maxx、miny)、(maxx、maxy)、(minx、maxy)を頂点とする長方形を照合対象概略領域として推定すればよい。図3の照合対象概略領域Bは、この長方形である。
 照合対象概略領域推定部104が2点の座標に基づいて推定した照合対象概略領域Bは、案内看板Aの領域を過不足なく含んではいないが、案内看板Aの概略の領域を含んでいる。ユーザが照合対象としたい領域が、図3の画像に含まれる案内看板Aであると想定した場合、照合対象概略領域推定部104が推定した領域は、ユーザが照合対象としたい領域を過不足無く含む正確な領域ではなく、概略の領域である。
 また、照合対象概略領域推定部104は、推定した照合対象概略領域と、画像取得部101が取得した画像とから、照合対象概略領域内の画像を表す情報を生成する。例えば、照合対象概略領域推定部104は、画像取得部101が取得した画像から照合対象概略領域を切り出して、照合対象概略領域内の画像を表す情報にすればよい。あるいは、照合対象概略領域推定部104は、画像取得部101が取得した画像および照合対象概略領域を表す情報の組み合わせを、照合対象概略領域内の画像を表す情報としてもよい。あるいは、照合対象概略領域推定部104は、画像取得部101が取得した画像の照合対象概略領域内の画像の特徴量(画像特徴量)を生成して、照合対象概略領域内の画像を表す情報にしてもよい。
 画像照合部105は、照合対象概略領域内の画像を表す情報を取得して、照合する検索画像および登録画像のうち、少なくとも1つの画像を表す情報にする。すなわち、画像照合部105は、ある画像の照合対象概略領域内の画像を表す情報を取得して、取得した情報を、検索画像を表す情報にすればよい。そして、画像照合部105、他の画像の照合対象概略領域内の画像を表す情報を取得して、取得した情報を、登録画像を表す情報にすればよい。あるいは、画像照合部105は、ある画像の照合対象概略領域内の画像を表す情報を取得して、取得した情報を、検索画像を表す情報にしてもよい。そして、画像照合部105は、画像取得部101が取得した画像の全領域を表す情報をそのまま取得して、取得した情報を、登録画像を表す情報にしてもよい。あるいは、画像照合部105は、画像取得部101が取得した画像の全領域を表す情報をそのまま取得して、取得した情報を、検索画像を表す情報にしてもよい。そして、画像照合部105は、ある画像の照合対象概略領域内の画像を表す情報を取得して、取得した情報を、登録画像を表す情報にしてもよい。あるいは、画像照合部105は、画像取得部101が取得した画像の全領域の画像特徴量または照合対象概略領域内の画像の特徴量を取得して、取得した特徴量を、これらの検索画像および登録画像を表す情報にしてもよい。
 そして、画像照合部105は、検索画像および登録画像における局所的な領域毎の照合結果に基づいて、統合的な照合結果を算出する。ここで、画像照合部105は、局所的な領域毎の照合結果に基づいて統合的な照合結果を算出する技術として、例えば、特許文献1に記載された技術を用いればよい。このとき、画像照合部105は、局所的な領域毎の照合結果に基づいて統合的な照合結果を算出するので、照合対象概略領域推定部104によって推定される照合対象概略領域に、照合対象としたい領域が、正確に過不足無く含まれていることを必要としない。
 照合結果提示部106は、画像照合部105による検索画像および登録画像の統合的な照合結果を提示する。統合的な照合結果は、例えば、検索画像および登録画像における局所的な領域毎の一致数に基づく指標であればよい。
 以上のように構成された画像照合装置1の動作について、図4および図5を参照して説明する。
 まず、画像取得部101および照合対象概略領域推定部104は、検索画像を表す情報を取得する(ステップS1)。
 例えば、画像照合装置1は、画像取得部101が取得する画像の全領域を表す情報を、そのまま検索画像を表す情報として取得してもよいし、後述の照合対象概略領域推定処理によって推定する照合対象概略領域内の画像を表す情報を、検索画像を表す情報として取得してもよい。
 次に、画像取得部101および照合対象概略領域推定部104は、登録画像を表す情報を取得する(ステップS2)。
 例えば、画像照合装置1は、画像取得部101が取得した画像の全領域を表す情報を、そのまま登録画像を表す情報として取得してもよいし、後述の照合対象概略領域推定処理によって推定する照合対象概略領域内の画像を表す情報を、登録画像を表す情報として取得してもよい。
 ただし、ステップS1で、画像取得部101が取得した画像の全領域を表す情報を、そのまま検索画像を表す情報として取得した場合は、後述の照合対象概略領域推定処理によって推定する照合対象概略領域内の画像を表す情報を、登録画像を表す情報として取得するようにする。
 次に、画像照合部105は、検索画像および登録画像の、局所的な領域毎の照合結果に基づいて、統合的な照合結果を算出する(ステップS3)。このとき、前述のように、画像照合部105は、例えば、特許文献1に記載の技術を用いればよい。具体的には、画像照合部105は、検索画像または登録画像から各画像の画像特徴量を算出し、算出した画像特徴量に基づいて、検索画像および登録画像の統合的な照合結果を算出すればよい。あるいは、画像照合部105は、検索画像または登録画像を表す情報として各画像の画像特徴量を取得している場合、取得した画像特徴量に基づいて、検索画像および登録画像に関する統合的な照合結果を算出してもよい。
 次に、照合結果提示部106は、ステップS5における統合的な照合結果を提示する(ステップS4)。
 例えば、照合結果提示部106は、各照合対象概略領域内における局所的な領域の一致数に基づく指標を提示すればよい。
 以上で、画像照合装置1は動作を終了する。
 次に、ステップS1およびステップS2における照合対象概略領域推定処理について図5を参照して説明する。
 まず、画像取得部101は、照合対象となる画像を取得する(ステップS10)。
 次に、画像表示部102は、画像取得部101によって取得された画像を表示する(ステップS11)。
 なお、ステップS10で画像取得部101が取得した画像が動画像である場合、画像表示部102は、その動画像のある時点における静止画像を表示する。例えば、画像取得部101が動画像を継続的に取得している場合、画像表示部102は、ステップS11の実行時点で画像取得部101が取得した画像を表示してもよい。あるいは、画像取得部101が既に動画像を構成する静止画像の列を取得している場合、画像表示部102は、初回のステップS11の実行時には、列の先頭の静止画像を表示すればよい。そして、画像表示部102は、2回目以降のステップS11の実行時には、前回表示した静止画像の次の静止画像を表示すればよい。
 次に、入力位置パターン取得部103は、照合対象となる領域の概略位置を指定する概略位置指定操作が開始されたか否かを判断する(ステップS12)。
 例えば、入力位置パターン取得部103は、画像表示部102の画像領域におけるマウスドラッグ操作等が開始されたことを検知したときに、概略位置指定操作が開始されたと判断すればよい。あるいは、入力位置パターン取得部103は、画像表示部102に表示された操作開始ボタン領域に対する入力操作を検知したときに、概略位置指定操作が開始されたと判断してもよい。
 ステップS12において、概略位置指定操作が開始されたと入力位置パターン取得部103が判断しなかった場合、画像照合装置1の処理は、ステップS11に戻る。
 一方、ステップS12において、概略位置指定操作が開始されたと入力位置パターン取得部103が判断した場合、入力位置パターン取得部103は、入力位置パターンを取得する(ステップS13)。
 例えば、入力位置パターン取得部103は、マウスドラッグ操作の開始点の座標およびその時点でのマウスポインタの座標の組み合わせを取得してもよい。入力位置パターン取得部103は、概略位置指定操作が終了したと判定するまで(ステップS14でYes)、ステップS13の処理を繰り返し実行する。
 ステップS14において、入力位置パターン取得部103は、概略位置指定操作が終了したか否かを判断する(ステップS14)。
 例えば、入力位置パターン取得部103は、マウスドラッグ操作が終了した時点で概略位置指定操作が終了したと判断してもよい。あるいは、入力位置パターン取得部103は、画像表示部102に表示された操作終了ボタン領域に対する入力操作に基づいて、概略位置指定操作が終了したと判断してもよい。
 次に、照合対象概略領域推定部104は、入力位置パターンに基づいて、この画像における照合対象概略領域を推定する(ステップS15)。
 例えば、入力位置パターンが2点の位置を表す座標で構成される場合、照合対象概略領域推定部104は、2点を結ぶ線分を対角線とする矩形を照合対象概略領域として推定してもよい。
 次に、照合対象概略領域推定部104は、この画像の照合対象概略領域内の画像を表す情報を生成する(ステップS16)。
 照合対象概略領域推定部104は、照合対象概略領域内の画像を表す情報として、推定した照合対象概略領域の画像データを切り出してもよいし、この画像と照合対象概略領域を表す情報との組み合わせを生成してもよい。あるいは、照合対象概略領域推定部104は、照合対象概略領域内の画像を表す情報として、推定した照合対象概略領域内の画像特徴量を生成してもよい。
 以上で、画像照合装置1は、照合対象概略領域推定処理を終了する。
 次に、本発明の第1の実施の形態の効果について述べる。
 本発明の第1の実施の形態としての画像照合装置は、局所的な領域に関する照合結果を利用して統合的な照合結果を求める際の、照合精度及び処理速度を向上させることができる。
 その理由は、照合対象概略領域推定部が、照合対象となる画像において照合対象となる概略の領域を推定するからである。そして、画像照合部が、照合対象概略領域が推定された画像についてはその照合対象概略領域内の画像のみを対象として、局所的な領域毎の照合結果に基づいて統合的な照合結果を求めるからである。すなわち、画像照合部は、照合対象概略領域以外の領域について照合処理を行う必要がない。そのため、照合対象概略領域以外の領域に含まれる局所的な領域の照合結果に統合的な照合結果が左右されることがなく、結果的に照合精度を向上させることができる。また、照合対象概略領域以外の領域について照合処理を行う必要がないので、処理速度を向上させることができる。
 また、本発明の第1の実施の形態としての画像照合装置は、局所的な領域に関する照合結果を利用して統合的な照合結果を求める際に、照合対象となる画像において照合対象としたい領域を指定するユーザ負担を軽減することができる。
 その理由は、照合対象概略領域推定部が、照合対象となる画像において照合対象となる領域の概略位置の指定操作に基づいて、照合対象概略領域を推定するからである。このため、本発明の第1の実施の形態としての画像照合装置では、照合対象となる画像において照合対象としたい領域を過不足なく含むような正確な領域指定操作をユーザが行う必要がないからである。
 このようなユーザ負担を軽減することができる効果について、さらに詳細に説明する。
 まず、上述のような照合対象概略領域を推定する技術に関連する技術として、例えば、特開2004−272835号公報に記載された領域指定技術について説明する。
 特開2004−272835号公報に記載された技術では、ディスプレイ上でユーザが指定した表示希望領域を検出し、検出した表示希望領域に表示内容を表示する。
 しかし、特開2004−272835号公報に記載された技術では、表示希望領域を過不足なく含むよう正確な領域指定操作を必要とするため、本発明の第1の実施の形態のように、照合対象としたい領域を指定するユーザの負担を軽減することができない。
 このように、本発明の第1の実施の形態としての画像照合装置は、照合対象となる画像において照合対象としたい領域を過不足なく含むような正確な領域指定操作をユーザが行う必要がない。従って、本発明の第1の実施の形態としての画像照合装置は、照合対象としたい領域を指定するユーザ負担を軽減することができる。本実施形態の画像照合装置には、局所的な領域に関する照合結果を利用して統合的な照合結果を求める技術に、特開2004−272835号公報に記載された領域指定技術を適用した場合と比べても、上述の効果がある。
 (第2の実施の形態)
 次に、本発明の第2の実施の形態について図面を参照して詳細に説明する。なお、本実施の形態の説明において参照する各図面において、本発明の第1の実施の形態と同一の構成および同様に動作するステップには同一の符号を付して本実施の形態における詳細な説明を省略する。
 まず、本発明の第2の実施の形態としての画像照合装置2のハードウェア構成を図6に示す。
 図6において、画像照合装置2は、本発明の第1の実施の形態としての画像照合装置1を構成するコンピュータ装置に対して、入力装置1003および表示装置1004に替えて座標入力機能付表示装置2003を有する点が異なるコンピュータ装置によって構成されている。
 座標入力機能付表示装置2003は、ユーザの指やスタイラス等の接触を感知して接触されたデバイス上の位置に関する座標を獲得する機能を有する表示デバイスである。このような座標入力機能付表示装置2003として代表的なものには、タッチパネル式ディスプレイ等がある。
 次に、画像照合装置2の機能ブロック構成を図7に示す。
 画像照合装置2は、本発明の第1の実施の形態としての画像照合装置1に対して、画像表示部102に替えて画像表示部202と、入力位置パターン取得部103に替えて接触パターン取得部203と、画像照合部105に替えて画像照合部205と、照合結果提示部106に替えて照合結果提示部206とを備え、さらに画像格納部207を備える点が異なる。なお、接触パターン取得部203は、本発明の入力位置パターン取得部の一実施形態を構成する。
 画像表示部202および接触パターン取得部203は、制御部1001、および、座標入力機能付表示装置2003によって構成される。また、画像格納部207は、制御部1001、および、記憶装置1002によって構成される。なお、画像照合装置2の機能ブロックを構成するハードウェア構成は上述の構成に限定されない。
 画像表示部202は、画像取得部101によって取得された画像を、座標入力機能付表示装置2003に表示する。
 接触パターン取得部203は、座標入力機能付表示装置2003に対する接触パターンを検知する機能を有する。接触パターンとは、典型的には、ユーザの指やスタイラス等が座標入力機能付表示装置2003に対して接触した位置の組み合わせのパターンである。
 また、接触パターン取得部203は、照合対象となる領域の概略位置を表す接触パターンを取得する。照合対象となる領域の概略位置を表す接触パターンとは、例えば、ほぼ同時に接触された2点を表す座標の組み合わせによって構成される接触パターンであってもよい。
 画像格納部207は、登録画像を表す情報を格納している。
 なお、画像格納部207は、登録画像を表す情報として、画像取得部101が取得した画像の全領域を表す情報を格納していてもよい。また、画像格納部207は、登録画像の元の画像から切り出しされた照合対象概略領域内の画像を格納していてもよい。また、画像格納部207は、登録画像の元の画像およびその照合対象概略領域を表す情報の組み合わせを格納していてもよい。また、画像格納部207は、画像取得部101が取得した画像の全領域の画像特徴量または照合対象概略領域内の画像特徴量を、登録画像を表す情報として格納してもよい。また、画像格納部207は、画像取得部101が取得したものに限らず、あらかじめ登録された登録画像を表す情報を格納しておいてもよい。
 また、画像格納部207は、各登録画像に関する関連情報を、各登録画像に関連づけて格納していてもよい。ここで、関連情報とは、登録画像の格納パス、URL(Uniform Resource Locator)等である。さらに、関連情報は、登録画像に関する画像特徴量を含んでいてもよい。
 画像照合部205は、本発明の第1の実施の形態における画像照合部105と同様に構成されることにより、検索画像および各登録画像に関する局所的な領域毎の照合結果に基づく統合的な照合結果を求める。さらに、画像照合部205は、これらの統合的な照合結果に基づいて、画像格納部207に格納されている登録画像のうち、検索画像に対応する登録画像を特定する。例えば、画像照合部205は、検索画像との一致度が閾値以上の登録画像を特定してもよい。
 ただし、検索画像に対応する登録画像が登録されていない場合も考慮すると、画像照合部205は、必ずしもすべての検索画像について、対応する登録画像を特定する必要はない。例えば、画像照合部205は、画像照合を行った結果、閾値以上の一致度を有する登録画像が無い場合には、登録画像を特定しなくてもよい。
 また、画像照合部205は、登録画像および検索画像のそれぞれから特徴量を計算する機能を備え、計算した特徴量を用いて、局所的な領域毎の照合結果を算出してもよい。このとき、画像照合部205は、特許文献1に記載された技術を用いてもよい。
 照合結果提示部206は、画像照合部205が特定した登録画像を表す情報を提示する。照合結果提示部206は、特定された登録画像に関連付けられた関連情報があれば、その関連情報を画像格納部207から取得し、取得した関連情報を提示してもよい。
 以上のように構成された画像照合装置2の動作について、図面を参照して説明する。
 ここでは、画像照合装置2があらかじめ登録画像を登録する登録処理と、検索画像に対応する登録画像を特定する検索処理と、登録画像または検索画像を取得する際の照合対象概略領域推定処理について説明する。
 まず、画像照合装置2の登録処理について、図8を用いて説明する。
 まず、画像照合装置2は、初期化処理を行う(ステップS21)。具体的には、例えば、画像照合装置2は、座標入力機能付表示装置2003を介して接触操作を受け付ける状態となるよう、接触パターン取得部203を制御する。
 次に、画像取得部101および照合対象概略領域推定部104は、登録画像を表す情報を取得する(ステップS22)。
 このとき、画像取得部101は、登録画像に関連する関連情報として、格納パスやURL等を併せて取得してもよい。
 なお、画像照合装置2は、画像取得部101が取得した画像の全領域を表す情報を、そのまま登録画像を表す情報として取得してもよい。また、画像照合装置2は、後述する照合対象概略領域推定処理によって推定する照合対象概略領域内の画像を表す情報を、登録画像を表す情報として取得してもよい。また、画像照合装置2は、画像取得部101が取得した画像の全領域の画像特徴量、または、後述する照合対象概略領域推定処理によって推定する照合対象概略領域内の画像を表す情報としての画像特徴量を、登録画像を表す情報として取得してもよい。
 次に、画像格納部207は、ステップS22で取得された登録画像を表す情報を格納する(ステップS23)。
 このとき、画像格納部207は、ステップS22で関連情報を取得していれば、登録画像を表す情報に関連情報を関連づけて格納してもよい。
 また、画像格納部207は、画像照合部205を用いて登録画像の特徴量を算出し、算出した特徴量を関連情報として格納してもよい。
 また、画像格納部207は、登録画像を一意に識別する識別番号を付与する処理を行い、結果として得られる識別番号を関連情報として格納してもよい。
 以上で、画像照合装置2は、登録処理を終了する。
 なお、上述のように、画像格納部207は、この登録処理によって登録される登録画像の他、あらかじめ他の登録画像を格納しておいてもよい。
 次に、画像照合装置2の検索処理について、図9を用いて説明する。
 ここでは、まず、画像照合装置2は、初期化処理を行う(ステップS31)。例えば、画像照合装置2は、接触パターン取得部203を、座標入力機能付表示装置2003を介して接触操作を受け付ける状態となるよう制御する。
 次に、画像取得部101および照合対象概略領域推定部104は、検索画像を表す情報を取得する(ステップS32)。
 なお、画像照合装置2は、画像取得部101が取得した画像の全領域を表す情報を、そのまま検索画像を表す情報として取得してもよいし、後述する照合対象概略領域推定処理によって推定する照合対象概略領域内の画像を表す情報を、検索画像を表す情報として取得してもよい。また、画像照合装置2は、画像取得部101が取得した画像の全領域の画像特徴量や、後述する照合対象概略領域推定処理によって推定する照合対象概略領域内の画像を表す情報としての画像特徴量を、検索画像を表す情報として取得してもよい。
 ただし、画像照合装置2は、前述の登録処理において、画像取得部101が取得した画像の全領域を表す情報をそのまま登録画像を表す情報として取得していた場合は、後述の照合対象概略領域推定処理によって推定する照合対象概略領域内の画像を表す情報を、検索画像を表す情報として取得する。
 次に、画像照合部205は、検索画像と、画像格納部207に格納された各登録画像の、局所的な領域毎の照合結果に基づいて、統合的な照合結果を算出する(ステップS33)。
 このとき、画像照合部205は、検索画像および登録画像から各画像の画像特徴量を算出し、算出した画像特徴量を用いて検索画像および登録画像の統合的な照合結果を算出してもよい。また、画像照合部205は、登録画像の関連情報に含まれる特徴量を利用して照合を行ってもよい。また、画像照合部205は、登録画像を表す情報として画像格納部207に画像特徴量が格納されている場合、格納された画像特徴量を利用して照合を行ってもよい。また、画像照合部205は、ステップS32で、検索画像を表す情報として画像特徴量を取得している場合、取得した画像特徴量を用いて照合を行ってもよい。
 次に、画像照合部205は、ステップS33における検索画像と、各登録画像との照合結果に基づいて、検索画像に対応する登録画像を特定する(ステップS34)。
 次に、照合結果提示部206は、ステップS34で特定された登録画像の関連情報を取得する。そして、照合結果提示部206は、ステップS34で特定された登録画像を表す情報に、取得した関連情報を含めて提示する(ステップS35)。
 このとき、照合結果提示部206は、検索画像もしくは検索画像の元の画像において登録画像との一致度が高い領域に、特定された登録画像の対応する領域を重畳させて提示してもよい。また、この場合、照合結果提示部206は、検索画像上に重畳させた登録画像の対応する領域内またはその近傍に、さらに関連情報を重畳させて提示してもよい。
 あるいは、照合結果提示部206は、特定した登録画像を表す情報として、関連情報としての格納パスやURLを提示してもよい。
 なお、ステップS34で検索画像に対応する登録画像が特定されなかった場合、照合結果提示部206は、「対応する登録画像が存在しない」旨を表すあらかじめ定められた情報を提示してもよい。
 次に、ステップS22およびステップS32における照合対象概略領域推定処理について説明する。
 まず、画像取得部101は、照合対象となる画像を取得する(ステップS40)。
 次に、画像表示部202は、画像取得部101が取得した画像を表示する(ステップS41)。
 なお、該当する画像が動画像である場合、画像表示部102は、その動画像のある時点における画像を表示する。例えば、画像取得部10が動画像を継続的に取得している場合、画像表示部202は、ステップS41の実行時点で画像取得部101が取得した静止画像を表示してもよい。あるいは、画像取得部101が既に動画像を構成する静止画像の列を取得している場合、画像表示部102は、初回のステップS41の実行時には、列の先頭の静止画像を表示し、2回目以降のステップS41の実行時には、前回表示した静止画像の次の静止画像を表示するようにしてもよい。
 次に、接触パターン取得部203は、照合対象となる領域の概略位置を指定する概略位置指定操作が開始されたか否かを判断する(ステップS42)。
 例えば、接触パターン取得部203は、画像表示部202が表示する画像の領域に対する接触を検知したときに、概略位置指定操作が開始されたと判断してもよい。あるいは、接触パターン取得部203は、概略位置指定操作を開始することを表すものとしてあらかじめ定められた接触パターンを検知したときに、概略位置指定操作が開始されたと判断してもよい。
 ステップS42において、概略位置指定操作が開始されたと接触パターン取得部203が判断しなかった場合、画像照合装置2は、再度ステップS41を実行する。
 一方、接触パターン取得部203は、ステップS42において、概略位置指定操作が開始されたと判断した場合、接触パターンを取得する(ステップS43)。
 接触パターン取得部203は、座標入力機能付表示装置2003に対する接触位置を表す情報の履歴を保持することにより、接触パターンを取得してもよい。なお、接触パターン取得部203は、ステップS42において概略位置指定操作の開始を表す接触パターンを利用して判断を行う場合には、概略位置指定操作の開始を表す接触パターンに含まれる接触位置を表す情報を履歴として保持しなくてよい。
 接触パターン取得部203は、このステップS43の処理を、概略位置指定操作が終了したと判定するまで(ステップS44でYes)繰り返し実行される。
 ステップS44において、接触パターン取得部203は、概略位置指定操作が終了したか否かを判断する(ステップS44)。
 例えば、接触パターン取得部203は、保持した接触位置の履歴を参照して、照合対象概略領域を推定するために必要な接触パターンを取得したと判定できる場合に、概略位置指定操作が終了したと判断すればよい。あるいは、接触パターン取得部203は、画像表示部202が表示する終了ボタン領域に対する接触を検知したときに、概略位置指定操作が終了したと判断してもよい。
 次に、照合対象概略領域推定部104は、取得された接触パターンに基づいて、この画像における照合対象概略領域を推定する(ステップS45)。
 例えば、接触パターンが2点の座標で構成される場合、照合対象概略領域推定部104は、2点を結ぶ線分を対角線とする矩形を照合対象概略領域として推定すればよい。
 次に、照合対象概略領域推定部104は、この画像の照合対象概略領域内の画像を表す情報を生成する(ステップS16)。
 このとき、照合対象概略領域推定部104は、照合対象概略領域内の画像を表す情報として、推定した照合対象概略領域の画像データを切り出してもよいし、この画像と照合対象概略領域を表す情報との組み合わせを生成してもよい。あるいは、照合対象概略領域推定部104は、照合対象概略領域内の画像を表す情報として、推定した照合対象概略領域内の画像の画像特徴量を生成してもよい。
 以上で、画像照合装置2は、照合対象概略領域を推定する処理を終了する。
 次に、本発明の第2の実施の形態の効果について述べる。
 本発明の第2の実施の形態としての画像照合装置は、局所的な領域に関する照合結果を利用して統合的な照合結果を算出する技術を用いて検索画像に対応する登録画像を検索する際の、検索精度及び検索処理速度を向上させることができる。
 その理由は、照合対象概略領域推定部が、取得した画像において照合対象となる概略の領域を推定し、画像照合部が、推定した照合対象概略領域内の画像を検索画像として、対応する登録画像を特定するからである。また、画像格納部が、照合対象概略領域推定部によって推定された照合対象概略領域内の画像を登録画像として格納しておき、画像照合部が、検索画像に対応する登録画像を検索するからである。
 すなわち、本発明の第2の実施の形態としての画像照合装置は、画像照合部によって照合される検索画像および登録画像に、照合対象でない領域が含まれないので、不要な照合処理を行うことがなく検索処理速度の向上に貢献するからである。また、本発明の第2の実施の形態としての画像照合装置は、検索画像と各登録画像の照合精度を向上させるので、結果として、検索画像に対応する登録画像を特定する検索精度を向上させることができるからである。
 また、本発明の第2の実施の形態としての画像照合装置は、局所的な領域に関する照合結果を利用して統合的な照合結果を求める技術を用いて検索画像に対応する登録画像を検索する際に、照合対象となる画像において照合対象としたい領域を指定するユーザ負担をさらに軽減することができる。
 その理由は、照合対象概略領域推定部が、簡素な接触パターンに基づいて、照合対象概略領域を推定するからである。このため、本発明の第2の実施の形態としての画像照合装置では、照合対象としたい領域を囲むような正確な接触操作をユーザが行う必要がないからである。
 このように、ユーザ負担をさらに軽減することができる効果について、さらに詳細に説明する。
 まず、上述のような照合対象概略領域を接触パターンに基づいて推定する技術に関連する技術として、例えば、特開2009−282634号公報に記載された領域指定技術について説明する。
 特開2009−282634号公報に記載された技術は、複数のタッチ入力位置を同時に検出し、同時に検出したタッチ入力位置の組み合わせに基づいて円形の指定領域を特定する。特開2009−282634号公報に記載された技術は、特定した円形の指定領域に一定割合の表示面積が含まれるオブジェクトを選択する。
 しかし、特開2009−282634号公報に記載された技術は、円形の指定領域に一定割合以上の表示面積が含まれるオブジェクトを選択する。そのため、照合対象としたいオブジェクトを円形の指定領域で一定割合以上囲むようタッチ入力操作を行う必要がある。従って、特開2009−282634号公報に記載された技術は、オブジェクトを選択するユーザの負担を軽減することができない。
 このように、本発明の第2の実施の形態としての画像照合装置は、照合対象となる画像において照合対象としたい領域を円形の指定領域で囲むような接触操作をユーザが行う必要がない。従って、本発明の第2の実施の形態としての画像照合装置は、照合対象としたい領域を指定するユーザ負担をさらに軽減することができる。本発明の第2の実施の形態としての画像照合装置には、局所的な領域に関する照合結果を利用して統合的な照合結果を求める技術に特開2009−282634号公報に記載された領域指定技術を適用した場合と比べても、前述の効果がある。
 なお、本発明の第2の実施の形態において、画像格納部207は、登録画像から計算された画像特徴量を関連情報に含めて格納する場合、登録画像そのものの格納を省略することも可能である。なぜなら、画像照合部205は、画像特徴量を利用して、局所的な領域毎の照合結果に基づく統合的な照合結果を求めることが可能だからである。
 また、本発明の第2の各実施の形態において、画像格納部207は、地点を表す位置情報または方位を表す方位情報を、各登録画像に関連する関連情報の中に含めて格納してもよい。なお、地点を表す位置情報は、GPS(Global Positioning System)に代表される測位システムによって測定される情報であってもよい。また、方位情報は、電子コンパス等によって取得された情報であってもよい。
 この場合、画像取得部101は、検索画像とともに位置情報または方位情報を取得してもよい。そして、画像照合部205は、検索画像とともに取得した位置情報または方位情報と類似する位置情報または方位情報を持つ登録画像のみを照合の対象として、検索画像に対応する登録画像を特定するようにしてもよい。
 例えば、画像照合部205は、検索画像とともに取得した位置情報が地点Qを表し、登録画像に対応づけられた位置情報が地点Rを表す場合に、地点Qからあらかじめ定められた距離内にある地点Rに対応付けられた登録画像を照合の対象としてもよい。
 また、例えば、画像照合部205は、検索画像とともに取得した方位情報が表す方位から、あらかじめ定められた一定の値以内の差である方位を表す方位情報に関連づけられた登録画像を照合の対象としてもよい。
 このように構成することにより、本発明の第2の各実施の形態としての画像照合装置は、照合対象となる登録画像の数を絞り込むことができ、検索処理の高速化にさらに貢献することができる。
 また、本発明の第2の実施の形態において、画像格納部207は、登録画像に関連する関連情報を多言語で格納しておいてもよい。これにより、照合結果提示部206は、検索画像に対応する登録画像を表す情報を、あらかじめ設定されたユーザの属性や選択操作に応じた言語で表示してもよい。
 (第3の実施の形態)
 次に、本発明の第3の実施の形態について図面を参照して詳細に説明する。なお、本実施の形態の説明において参照する各図面において、本発明の第2の実施の形態と同一の構成および同様に動作するステップには同一の符号を付して本実施の形態における詳細な説明を省略する。
 まず、本発明の第3の実施の形態としての画像照合装置3は、図6に示した本発明の第2の実施の形態としての画像照合装置2を構成するコンピュータ装置によって構成される。
 次に、画像照合装置3の機能ブロック構成を図11に示す。
 画像照合装置3は、本発明の第2の実施の形態としての画像照合装置2に対して、接触パターン取得部203に替えて接触パターン取得部303と、照合対象概略領域推定部104に替えて照合対象概略領域推定部304とを備える点が異なる。
 接触パターン取得部303は、本発明の第2の実施の形態における接触パターン取得部203と同様に構成されるが、照合対象となる領域の概略位置を表す接触パターンとして、1点を表す座標によって構成される接触パターンを取得する点が異なる。
 照合対象概略領域推定部304は、接触パターンである1つの点から、それぞれ所定距離の4点を頂点とする矩形が、照合対象概略領域であると推定する。
 例えば、接触パターンである1点の座標が(x1、y1)であれば、照合対象概略領域推定部304は、(x1+dx1L、y1+dy1L)、(x1+dx1R、y1+dy1L)、(x1+dx1R、y1+dy1R)、(x1+dx1L、y1+dy1R)の4点を頂点とする矩形が、照合対象概略領域であると推定する。
 以上のように構成された画像照合装置3の動作について説明する。
 画像照合装置3の動作は、本発明の第2の実施の形態としての画像照合装置2に対して、図10に示した照合対象概略領域推定処理におけるS43~S45における処理が異なる。
 ステップS43において、接触パターン取得部303は、概略位置指定操作が終了したと判断できるまで(ステップS44でYes)、1点の座標によって構成される接触パターンの取得処理を繰り返し実行する。なお、ステップS44において、接触パターン取得部203は、本発明の第2の実施の形態と同様に、接触位置の履歴を参照して1点の座標を取得したと判断できたとき、概略位置指定操作が終了したと判断すればよい。また、接触パターン取得部203は、終了ボタン領域に対する接触を検知することにより、概略位置指定操作が終了したと判断してもよい。
 ステップS45において、照合対象概略領域推定部304は、接触パターンとして座標を取得した1点から、それぞれ所定距離にある4点を頂点とする矩形が、この画像における照合対象概略領域であると推定する。
 画像照合装置3は、以降、本発明の第2の実施の形態としての画像照合装置2と同様に動作することにより、該当する画像の照合対象概略領域内の画像を表す情報を生成する。
 以上で、画像照合装置3の照合対象概略領域推定処理の説明を終了する。
 次に、本発明の第3の実施の形態としての画像照合装置の効果について述べる。
 本発明の第3の実施の形態としての画像照合装置は、局所的な領域に関する照合結果を利用して統合的な照合結果を求める技術を用いて検索画像に対応する登録画像を検索する際に、照合対象となる画像における照合対象概略領域を指定するユーザ負担をさらに軽減することができる。
 その理由は、照合対象概略領域推定部が、1点の座標から構成される簡素な接触パターンに基づいて、照合対象概略領域を推定するからである。このため、本発明の第3の実施の形態としての画像照合装置では、照合対象としたい領域を指定するための正確な接触操作をユーザが行う必要がないからである。
 (第4の実施の形態)
 次に、本発明の第4の実施の形態について説明する。
 本発明の第4の実施の形態としての画像照合装置は、本発明の第3の実施の形態としての画像照合装置3と同様に構成されるが、接触パターン取得部303および照合対象概略領域推定部304の構成が異なる。
 本実施の形態における接触パターン取得部303は、照合対象となる領域の概略位置を表す接触パターンとして、3点を表す座標によって構成される接触パターンを取得する。この場合、本実施の形態における接触パターン取得部303は、3点を表す座標を取得した順序を記憶しておくことが望ましい。
 また、本実施の形態における照合対象概略領域推定部304は、接触パターンである3つの点を頂点に含む平行四辺形が、照合対象概略領域であると推定する。例えば、本実施の形態における照合対象概略領域推定部304は、3つの点がP1、P2、P3の順で取得された場合、P1とP2を結ぶ線分、および、P2とP3を結ぶ線分を2辺とする平行四辺形を照合対象概略領域にすればよい。
 また、本実施の形態における照合対象概略領域推定部304は、接触パターン取得部303が3点P1、P2、P3の順序を取得していない場合、ランダムに順序を規定することにより照合対象概略領域を推定してもよい。なお、本実施の形態における照合対象概略領域推定部304は、接触パターンP1、P2、P3の順序が取得されている場合であっても、P1、P2、P3を頂点に含む上述の例以外の平行四辺形を照合対象概略領域としてもよい。
 以上のように構成された本発明の第4の実施の形態の画像照合装置は、本発明の第3の実施の形態の画像照合装置3の照合対象概略領域推定処理に対して、ステップS43~S45における動作が異なる。本発明の第4の実施の形態の画像照合装置は、3点の座標によって構成される接触パターンを取得し、3点の座標を頂点に含む平行四辺形を照合対象概略領域として推定する。
 次に、本発明の第4の実施の形態としての画像照合装置の効果について述べる。
 このような本発明の第4の実施の形態としての画像照合装置は、3点の座標から構成される簡素な接触パターンに基づいて照合対象概略領域を推定するため、照合対象としたい領域を指定するためのユーザ負担を軽減することができる。
 なお、本実施の形態における照合対象概略領域推定部304は、接触パターンである3つの点を頂点に含む平行四辺形の外接矩形が、照合対象概略領域であると推定してもよい。
 例えば、照合対象概略領域推定部304が、上述のP1、P2、P3と、これらを含む平行四辺形の頂点P4(x4、y4)の、x座標の最小値であるminx、最大値であるmaxx、y座標の最小値であるminy、最大値であるmaxyを算出すればよい。そして、照合対象概略領域推定部304は、4つの点(minx、miny)、(maxx、miny)、(maxx、maxy)、(minx、maxy)を頂点とする矩形が、照合対象概略領域であると推定すればよい。
 これにより、本実施の画像照合装置は、3点を頂点に含む平行四辺形のみを照合対象概略領域とする場合より、照合対象とする概略の領域を広く推定することができる。したがって、本実施の画像照合装置は、ユーザにとって照合対象としたい領域と実際の接触操作とに若干のずれがあった場合にも、照合精度を保つことができる。
 (第5の実施の形態)
 次に、本発明の第5の実施の形態について説明する。
 本発明の第5の実施の形態としての画像照合装置は、本発明の第3の実施の形態としての画像照合装置3と同様に構成されるが、接触パターン取得部303および照合対象概略領域推定部304の構成が異なる。
 本実施の形態における接触パターン取得部303は、照合対象となる領域の概略位置を表す接触パターンとして、n点(nは3以上の整数)を表す座標によって構成される接触パターンを取得する。
 本実施の形態における照合対象概略領域推定部304は、接触パターンであるn個の点が頂点である多角形が、照合対象概略領域であると推定する。
 以上のように構成された本発明の第5の実施の形態の画像照合装置は、本発明の第3の実施の形態の画像照合装置3の照合対象概略領域推定処理に対して、ステップS43~S45における動作が異なる。本発明の第5の実施の形態の画像照合装置は、n個の点の座標によって構成される接触パターンを取得し、n個の点を頂点とする多角形が照合対象概略領域であると推定する。
 次に、本発明の第5の実施の形態としての画像照合装置の効果について述べる。
 このような本発明の第5の実施の形態としての画像照合装置は、n点の座標から構成される簡素な接触パターンに基づいて、照合対象概略領域を推定するため、照合対象としたい領域を指定するためのユーザ負担を軽減することができる。
 (第6の実施の形態)
 次に、本発明の第6の実施の形態について説明する。
 本発明の第6の実施の形態としての画像照合装置は、本発明の第3の実施の形態としての画像照合装置3と同様に構成されるが、接触パターン取得部303および照合対象概略領域推定部304の構成が異なる。
 本実施の形態における接触パターン取得部303は、照合対象となる領域の概略位置を表す接触パターンとして、n点(nは3以上の整数)を表す座標によって構成される接触パターンを取得する。なお、n点を表す座標によって構成される接触パターンは、任意の線を構成する接触パターンを含む。任意の線を構成する接触パターンは、曲線か直線か、開曲線か閉曲線か等の形状に関わらず、空間的に連続する複数の点から構成されるとみなすことができる。
 本実施の形態における照合対象概略領域推定部304は、接触パターンであるn個の点が頂点である多角形の外接矩形が、照合対象概略領域であると推定する。
 例えば、本実施の形態における照合対象概略領域推定部304は、n個の点のx座標のうち最小値であるminx、最大値であるmaxx、n個の点のy座標のうち最小値であるminy、最大値であるmaxyを算出すればよい。そして、本実施の形態における照合対象概略領域推定部304は、4つの点(minx、miny)、(maxx、miny)、(maxx、maxy)、(minx、maxy)を頂点とする矩形が、照合対象概略領域であると推定すればよい。
 以上のように構成された本発明の第6の実施の形態の画像照合装置は、本発明の第3の実施の形態の画像照合装置3の照合対象概略領域推定処理に対して、ステップS43~S45における動作が異なる。本発明の第6の実施の形態の画像照合装置は、n個の点の座標によって構成される接触パターンを取得し、n個の点が頂点である多角形の外接矩形が、照合対象概略領域であると推定する。
 次に、本発明の第6の実施の形態としての画像照合装置の効果について述べる。
 このような本発明の第6の実施の形態としての画像照合装置は、n点の座標から構成される簡素な接触パターンに基づいて、照合対象概略領域を推定するため、照合対象としたい領域を指定するためのユーザ負担を軽減することができる。
 また、本発明の第6の実施の形態としての画像照合装置は、本発明の第5の実施の形態と比較すると、照合対象とする概略の領域を広く推定することができる。本発明の第6の実施の形態としての画像照合装置は、ユーザにとって照合対象としたい領域と実際の接触操作とに若干のずれがあった場合にも、照合精度を保つことができる。
 (第7の実施の形態)
 次に、本発明の第7の実施の形態について説明する。
 本発明の第7の実施の形態としての画像照合装置は、本発明の第3の実施の形態としての画像照合装置3と同様に構成されるが、接触パターン取得部303および照合対象概略領域推定部304の構成が異なる。
 本実施の形態における接触パターン取得部303は、照合対象となる領域の概略位置を表す接触パターンとして、曲線を表す情報を取得する。ここで、説明の簡略化のため、接触パターンとして取得した情報を曲線Aと記載する。
 本実施の形態における照合対象概略領域推定部304は、接触パターンとして取得した曲線Aと、曲線Aの始点および終点の中点を中心に曲線Aを所定量θだけ回転させた曲線Bとで囲まれる領域を、照合対象概略領域として推定する。
 なお、所定量θは、0度≦θ<360度を満たすようあらかじめ定められていればよい。回転角θの特に好適な例はθ=180度である。この場合、曲線Aと曲線Bとが連結された曲線が閉曲線となるため、本実施の形態における照合対象概略領域推定部304は、閉曲線内部の領域を照合対象概略領域として推定すればよい。
 以上のように構成された本発明の第7の実施の形態の画像照合装置は、本発明の第3の実施の形態の画像照合装置3の照合対象概略領域推定処理に対して、ステップS43~S45における動作が異なる。本発明の第7の実施の形態の画像照合装置は、曲線Aを表す接触パターンを取得し、曲線Aと、曲線Aの始点および終点の中点を中心に曲線Aを所定量θだけ回転させた曲線Bとで囲まれる領域が、照合対象概略領域であると推定する。
 なお、本実施の形態における接触パターン取得部303は、ステップS42において概略位置指定操作が開始されたと判断した後、ステップS44において、概略位置指定操作が終了したか否かを判断する。接触パターン取得部303は、ステップS44において、座標入力機能付表示装置2003に対する連続した接触操作を検知しなくなったときに、概略位置指定操作が終了したと判断すればよい。
 次に、本発明の第7の実施の形態としての画像照合装置の効果について述べる。
 このような本発明の第7の実施の形態としての画像照合装置は、1本の曲線を表す簡素な接触パターンに基づいて、照合対象概略領域を推定するため、照合対象としたい領域を指定するためのユーザ負担を軽減することができる。
 なお、本実施の形態における照合対象概略領域推定部304は、接触パターンである曲線Aと、曲線Aの始点および終点の中点を中心に曲線Aを所定量θだけ回転させた曲線Bとで囲まれる領域Rの外接矩形が、照合対象概略領域であると推定してもよい。
 例えば、本実施の形態における照合対象概略領域推定部304は、領域Rが取りうるx座標の値のうち最小値であるminx、最大値であるmaxx、領域Rが取りうるy座標の値のうち最小値であるminy、最大値であるmaxyを算出すればよい。そして、本実施の形態における照合対象概略領域推定部304は、4つの点(minx、miny)、(maxx、miny)、(maxx、maxy)、(minx、maxy)を頂点とする矩形が、照合対象概略領域であると推定すればよい。
 これにより、本実施の形態としての画像照合装置は、領域Rのみを照合対象概略領域とする場合と比較して、照合対象概略領域を広く推定することができる。従って、本実施の形態としての画像照合装置は、ユーザにとって照合対象としたい領域と実際の接触操作とに若干のずれがあった場合にも、照合精度を保つことができる。
 (第8の実施の形態)
 次に、本発明の第8の実施の形態について説明する。
 本発明の第8の実施の形態としての画像照合装置は、本発明の第3の実施の形態としての画像照合装置3と同様に構成されるが、接触パターン取得部303および照合対象概略領域推定部304の構成が異なる。
 本実施の形態における接触パターン取得部303は、照合対象となる領域の概略位置を表す接触パターンとして、曲線を表す情報を取得する。ここで、説明の簡略化のため、接触パターンとして取得した情報を曲線Aと記載する。
 本実施の形態における照合対象概略領域推定部304は、取得した接触パターンである曲線Aと、曲線Aの始点および終点を結ぶ線を軸として曲線Aに対して線対称な曲線Cとで囲まれる領域が、照合対象概略領域であると推定する。
 曲線Aと曲線Cとが連結された曲線は閉曲線となる。本実施の形態における照合対象概略領域推定部304は、閉曲線内部の領域が照合対象概略領域であると推定すればよい。
 以上のように構成された本発明の第8の実施の形態の画像照合装置は、本発明の第3の実施の形態の画像照合装置3の照合対象概略領域推定処理に対して、ステップS43~S45における動作が異なる。本発明の第8の実施の形態の画像照合装置は、曲線Aを表す接触パターンを取得し、曲線Aと、曲線Aの始点および終点を結ぶ線を軸として曲線Aに対して線対称な曲線Cとで囲まれる領域が、照合対象概略領域であると推定する。
 なお、本実施の形態における接触パターン取得部303は、ステップS42において概略位置指定操作が開始されたと判断した後、ステップS44において、概略位置指定操作が終了したか否かを判断する。接触パターン取得部303は、ステップS44において、座標入力機能付表示装置2003に対する連続した接触操作を検知しなくなったときに、概略位置指定操作が終了したと判断すればよい。
 次に、本発明の第8の実施の形態としての画像照合装置の効果について述べる。
 このような本発明の第8の実施の形態としての画像照合装置は、1本の曲線を表す簡素な接触パターンに基づいて、照合対象概略領域を推定するため、照合対象としたい領域を指定するためのユーザ負担を軽減することができる。
 なお、本実施の形態における照合対象概略領域推定部304は、接触パターンである曲線Aと、曲線Aの始点および終点を結ぶ線を軸として曲線Aに対して線対称な曲線Cとで囲まれる領域R2の外接矩形が、照合対象概略領域であると推定してもよい。
 例えば、本実施の形態における照合対象概略領域推定部304は、領域R2が取りうるx座標の値のうち最小値であるminx、最大値であるmaxx、領域Rが取りうるy座標の値のうち最小値であるminy、最大値であるmaxyを算出すればよい。そして、本実施の形態における照合対象概略領域推定部304は、4つの点(minx、miny)、(maxx、miny)、(maxx、maxy)、(minx、maxy)を頂点とする矩形が、照合対象概略領域であると推定すればよい。
 これにより、本実施の形態としての画像照合装置は、領域R2のみを照合対象概略領域とする場合と比較して、照合対象概略領域を広く推定することができる。従って、本実施の形態としての画像照合装置は、ユーザにとって照合対象としたい領域と実際の接触操作とに若干のずれがあった場合にも、照合精度を保つことができる。
 (第9の実施の形態)
 次に、本発明の第9の実施の形態について説明する。
 本発明の第9の実施の形態としての画像照合装置は、本発明の第3の実施の形態としての画像照合装置3と同様に構成されるが、接触パターン取得部303および照合対象概略領域推定部304の構成が異なる。
 本実施の形態における接触パターン取得部303は、照合対象となる領域の概略位置を表す接触パターンとして、閉領域を構成する線を表す情報を取得する。
 本実施の形態における照合対象概略領域推定部304は、取得した接触パターンである閉領域を構成する線の内部が、照合対象概略領域であると推定する。
 以上のように構成された本発明の第9の実施の形態の画像照合装置は、本発明の第3の実施の形態の画像照合装置3の照合対象概略領域推定処理に対して、ステップS43~S45における動作が異なる。本発明の第9の実施の形態の画像照合装置は、閉領域を構成する線を表す接触パターンを取得し、その内部の閉領域が照合対象概略領域であると推定する。
 なお、本実施の形態における接触パターン取得部303は、ステップS42において概略位置指定操作が開始されたと判断した後、ステップS44において、概略位置指定操作が終了したか否かを判断する。接触パターン取得部303は、ステップS44において、座標入力機能付表示装置2003に対する連続した接触操作を検知している間に、接触位置の履歴に含まれる過去の接触位置と同一の接触位置を検出した場合に、概略位置指定操作が終了したと判断すればよい。
 次に、本発明の第9の実施の形態としての画像照合装置の効果について述べる。
 このような本発明の第9の実施の形態としての画像照合装置は、閉領域を構成する線を表す簡素な接触パターンに基づいて、照合対象概略領域を推定するため、照合対象としたい領域を指定するためのユーザ負担を軽減することができる。
 (第10の実施の形態)
 次に、本発明の第10の実施の形態について説明する。
 本発明の第10の実施の形態としての画像照合装置は、本発明の第3の実施の形態としての画像照合装置3と同様に構成されるが、接触パターン取得部303および照合対象概略領域推定部304の構成が異なる。
 本実施の形態における接触パターン取得部303は、照合対象となる領域の概略位置を表す接触パターンとして、曲線を表す情報を取得する。ここで、説明の簡略化のため、接触パターンとして取得した情報を曲線Aと記載する。
 本実施の形態における照合対象概略領域推定部304は、接触パターンとして取得した曲線Aを2つの線分が連結したもの(L字型)とみなし、その2つの線分を2辺とする平行四辺形が照合対象概略領域であると推定する。
 例えば、本実施の形態における照合対象概略領域推定部304は、曲線Aの変曲点を検出すればよい。そして、照合対象概略領域推定部304は、曲線Aを、始点と変曲点とを結ぶ線分と、変曲点と終点とを結ぶ線分との2つの線分が連結したL字型とみなせばよい。
 この場合、本実施の形態における照合対象概略領域推定部304は、例えば、曲線Aの曲率が最大となる点を変曲点として検出すればよい。
 あるいは、本実施の形態における照合対象概略領域推定部304は、接触位置の履歴を時間的に解析し、一定時間中に接触位置の軌跡が変化する割合(接触パターンの入力速度)が最も小さい箇所を変曲点としてもよい。なぜなら、ユーザがL字型の接触操作を行う場合、L字型を構成する2つの線分の接点付近では、ユーザの指やスタイラス等による接触位置の移動速度が小さくなると考えられるからである。
 以上のように構成された本発明の第10の実施の形態の画像照合装置は、本発明の第3の実施の形態の画像照合装置3の照合対象概略領域推定処理に対して、ステップS43~S45における動作が異なる。本発明の第10の実施の形態の画像照合装置は、曲線Aを表す接触パターンを取得し、曲線Aを2つの線分が連結したもの(L字型)とみなすことにより、2つの線分を2辺とする平行四辺形を照合対象概略領域として推定する。
 なお、本実施の形態における接触パターン取得部303は、ステップS42において概略位置指定操作が開始されたと判断した後、ステップS44において、概略位置指定操作が終了したか否かを判断する。接触パターン取得部303は、ステップS44において、座標入力機能付表示装置2003に対する連続した接触操作が検知されなくなったときに、概略位置指定操作が終了したと判断すればよい。
 次に、本発明の第10の実施の形態としての画像照合装置の効果について述べる。
 このような本発明の第10の実施の形態としての画像照合装置は、L字型とみなすことができる曲線を表す簡素な接触パターンに基づいて、照合対象概略領域を推定するため、照合対象としたい領域を指定するためのユーザ負担を軽減することができる。
 なお、本実施の形態における照合対象概略領域推定部304は、接触パターンである曲線Aを2つの線分が連結したもの(L字型)とみなし、その2つの線分を2辺とする平行四辺形の外接矩形が、照合対象概略領域であると推定してもよい。
 例えば、本実施の形態における照合対象概略領域推定部304は、L字型を2辺とする平行四辺形の頂点P1、P2、P3、P4の、x座標の最小値であるminx、最大値であるmaxx、y座標の最小値であるminy、最大値であるmaxyを算出すればよい。そして、本実施の形態における照合対象概略領域推定部304は、4つの点(minx、miny)、(maxx、miny)、(maxx、maxy)、(minx、maxy)を頂点とする矩形を照合対象概略領域として推定すればよい。
 これにより、本実施の形態としての画像照合装置は、L字型を2辺とする平行四辺形のみを照合対象概略領域とする場合と比較して、照合対象概略領域を広く推定することができる。従って、本実施の形態としての画像照合装置は、ユーザにとって照合対象としたい領域と実際の接触操作とに若干のずれがあった場合にも、照合精度を保つことができる。
 (第11の実施の形態)
 次に、本発明の第11の実施の形態について図面を参照して詳細に説明する。なお、本実施の形態の説明において参照する各図面において、本発明の第2の実施の形態と同一の構成および同様に動作するステップには同一の符号を付して本実施の形態における詳細な説明を省略する。
 まず、本発明の第11の実施の形態としての画像照合装置4は、図6に示した本発明の第2の実施の形態としての画像照合装置2を構成するコンピュータ装置によって構成される。
 次に、画像照合装置4の機能ブロック構成を図12に示す。
 画像照合装置4は、本発明の第2の実施の形態としての画像照合装置2に対して、照合対象概略領域推定部104に替えて照合対象概略領域推定部404を備え、さらに接触パターン形状判別部408を備える点が異なる。ここで、接触パターン形状判別部408は、制御部1001によって構成される。なお、画像照合装置4の各機能ブロックを構成するハードウェア構成は上述の構成に限定されない。
 接触パターン形状判別部408は、接触パターン取得部203が取得した接触パターンの形状を判別する。
 例えば、接触パターン形状判別部408は、接触パターンが、1つ以上の点、あるいは、線のいずれであるかを判別すればよい。具体的には、例えば、接触パターン形状判別部408が、接触パターンに属す画素(座標)とそうでない画素(座標)とを識別する信号を各画素(座標)に割り当てる。そして、接触パターン形状判別部408は、接触パターンに属す画素で構成される連結領域を抽出し、連結領域の数、および、各連結領域内の画素数に基づいて、接触パターンが、1つ以上の点であるか、線であるかを判別してもよい。
 さらに、接触パターン形状判別部408は、接触パターンが1つ以上の点によって構成されると判別した場合には、その点の個数を判別してもよい。具体的には、例えば、接触パターン形状判別部408は、上述の連結領域の個数を点の個数としてもよい。
 また、接触パターン形状判別部408は、接触パターンが線によって構成されると判別した場合には、接触パターンが、閉曲線、L字型、および、それ以外の線のいずれであるかを判別してもよい。
 照合対象概略領域推定部404は、接触パターン形状判別部408が判別した接触パターンの形状に基づいて、照合対象概略領域を推定する。
 例えば、照合対象概略領域推定部404は、判別された接触パターンの形状が1つの点である場合、1つの点からそれぞれ所定距離の4点を頂点とする矩形が照合対象概略領域であると推定すればよい。
 また、例えば、照合対象概略領域推定部404は、判別された接触パターンの形状が2つの点である場合、2点を結ぶ線分を対角線とする矩形が照合対象概略領域であると推定すればよい。
 また、例えば、照合対象概略領域推定部404は、判別された接触パターンの形状が3つの点である場合、3点を頂点に含む平行四辺形またはその外接矩形が照合対象概略領域であると推定すればよい。
 また、例えば、照合対象概略領域推定部404は、判別された接触パターンの形状が4つ以上の点である場合、各点を頂点とする多角形またはその外接矩形が照合対象概略領域であると推定すればよい。
 また、例えば、照合対象概略領域推定部404は、判別された接触パターンの形状が閉曲線である場合、閉曲線の内部またはその外接矩形が照合対象概略領域であると推定すればよい。
 また、例えば、照合対象概略領域推定部404は、判別された接触パターンの形状が、L字型とみなすことができる、閉曲線以外の線である場合、L字型を2辺とする平行四辺形またはその外接矩形が照合対象概略領域であると推定してもよい。
 また、例えば、照合対象概略領域推定部404は、判別された接触パターンの形状が、L字型をみなすことができない、閉曲線でない線(曲線A)である場合、曲線Aの始点および終点の中点を中心に曲線Aを所定量回転させた曲線Bを生成すればよい。そして、照合対象概略領域推定部404は、曲線Aと曲線Bとで囲まれる領域が、照合対象概略領域であると推定すればよい。あるいは、この場合、照合対象概略領域推定部404は、曲線Aと、曲線Aの始点および終点を結ぶ線を軸として曲線Aに対して線対称な曲線Cとで囲まれる領域が、照合対象概略領域であると推定してもよい。
 以上のように構成される画像照合装置4の照合対象概略領域推定動作について、図13を用いて説明する。なお、画像照合装置4の登録処理および検索処理は、本発明の第2の実施の形態としての画像照合装置2と同様であるため、本実施の形態における説明を省略する。
 図13において、画像照合装置4は、本発明の第2の実施の形態としての画像照合装置2と同様にステップS40~S44の動作を行って、接触パターンを取得する。
 なお、接触パターン取得部203は、領域指定操作の開始時に座標入力機能付表示装置2003上に領域指定操作の終了ボタンを表示しておけばよい。そして、接触パターン取得部203は、ステップS44において、終了ボタンの領域に対する接触操作を取得したときに領域指定操作が終了したと判断するのが好適である。
 次に、接触パターン形状判別部408は、接触パターンの形状が1つ以上の点であるか線であるかを判別する(ステップS51)。
 例えば、接触パターン形状判別部408は、上述のように、接触パターンに属す画素に関する連結領域の数、および、各連結領域内の画素数に基づいて、1つ以上の点であるか、線であるかを判別すればよい。
 接触パターン形状判別部408は、ステップS51において、接触パターンが線であると判別した場合、接触パターンの形状が閉曲線であるか否かを判別する(ステップS52)。
 例えば、接触パターン形状判別部408は、接触パターンを構成している画素について輪郭追跡を行い、ループを検出した場合に閉曲線であると判別すればよい。
 ステップS52において、接触パターン形状判別部408が、接触パターンが閉曲線であると判別した場合、照合対象概略領域推定部404は、閉曲線の内部の閉領域または閉領域の外接矩形を照合対象概略領域として推定する(ステップS53)。
 一方、接触パターン形状判別部408は、ステップS52において、接触パターンが閉曲線でないと判別した場合、接触パターンの形状がL字型であるかを判別する(ステップS54)。
 例えば、接触パターン形状判別部408は、本発明の第10の実施形態において述べたような変曲点を検出できるか否かに基づいて、接触パターンの形状がL字型であるか否かを判別すればよい。
 ステップS54において、接触パターン形状判別部408が、接触パターンの形状がL字型であると判別した場合、照合対象概略領域推定部404は、L字型を構成する2つの線分を2辺とする平行四辺形またはその外接矩形が照合対象概略領域であると推定する(ステップS55)。
 一方、ステップS54において、接触パターン形状判別部408が、接触パターンの形状がL字型でないと判別された場合、照合対象概略領域推定部404は、接触パターンの形状(曲線A)から、上述の曲線Bまたは上述の曲線Cを生成する。そして、照合対象概略領域推定部404は、上述の、曲線Aおよび曲線Bによって囲まれる領域、または、上述の、曲線Aおよび曲線Cによって囲まれる領域が照合対象概略領域であると推定する(ステップS56)。
 また、接触パターン形状判別部408は、ステップS51において、接触パターンの形状が1つ以上の点であると判別した場合、さらに、点の個数を算出する(ステップS57)。
 次に、照合対象概略領域推定部404は、ステップS57で算出した点の個数に基づいて、照合対象概略領域を推定する(ステップS58)。
 例えば、照合対象概略領域推定部404は、ステップS57で算出した点の個数が1つであれば、その1つの点からそれぞれ所定距離の4点を頂点とする矩形が照合対象概略領域であると推定すればよい。
 また、例えば、照合対象概略領域推定部404は、ステップS57で算出した点の個数が2つであれば、その2点を結ぶ線分を対角線とする矩形が照合対象概略領域であると推定すればよい。
 また、例えば、照合対象概略領域推定部404は、ステップS57で算出した点の個数が3つであれば、その3点を頂点に含む平行四辺形またはその外接矩形が照合対象概略領域であると推定すればよい。
 また、例えば、照合対象概略領域推定部404は、ステップS57で算出した点の個数が4つ以上であれば、それらの各点を頂点とする多角形またはその外接矩形が照合対象概略領域であると推定すればよい。
 次に、照合対象概略領域推定部404は、推定した照合対象概略領域内の画像を表す情報を生成する(ステップS16)。
 以上で、画像照合装置4は、照合対象概略領域推定処理を終了する。
 次に、本発明の第11の実施の形態の画像照合装置の効果について述べる。
 本発明の第11の実施の形態としての画像照合装置は、局所的な領域に関する照合結果を利用して統合的な照合結果を求める技術を用いて検索画像に対応する登録画像を検索する際に、照合精度および処理速度を向上することができる。さらに、本発明の第11の実施の形態としての画像照合装置は、照合対象となる画像における照合対象概略領域を指定するユーザ負担をさらに軽減することができる。
 その理由は、接触パターン形状判別部が、接触パターンの形状を判別し、照合対象概略領域推定部が、接触パターンの形状に基づいて照合対象概略領域を推定するからである。したがって、本発明の第11の実施の形態としての画像照合装置は、照合対象としたい領域を指定するためのユーザの接触操作の自由度をより高くすることができるからである。
 (第12の実施の形態)
 次に、本発明の第12の実施の形態について図面を参照して詳細に説明する。なお、本実施の形態の説明において参照する各図面において、本発明の第2の実施の形態と同一の構成および同様に動作するステップには同一の符号を付して本実施の形態における詳細な説明を省略する。
 まず、本発明の第12の実施の形態としての画像照合装置5は、図6に示した本発明の第2の実施の形態としての画像照合装置2を構成するコンピュータ装置によって構成される。
 次に、画像照合装置5の機能ブロック構成を図14に示す。
 図14において、画像照合装置5は、本発明の第2の実施の形態としての画像照合装置2に対して、画像表示部202に替えて画像表示部502と、接触パターン取得部203に替えて接触パターン取得部503とを備え、さらに照合対象概略領域修正部509を備える点が異なる。
 ここで、照合対象概略領域修正部509は、制御部1001によって構成される。なお、画像照合装置5の各機能ブロックを構成するハードウェア構成は上述の構成に限定されない。
 画像表示部502は、本発明の第2の実施の形態における画像表示部202と同一に構成されるのに加えて、照合対象概略領域推定部104によって推定された照合対象概略領域を、既に表示した画像に重畳して表示する。
 画像表示部502が、画像に重畳して表示する照合対象概略領域の一例を図15に示す。図15において、画像表示部502は、照合対象概略領域を囲む4本の直線を画像に重畳して表示している。図8における画像の左下が原点である場合、横軸(右方向が正)がx軸、縦軸(上方向が正)がy軸である。画像表示部502は、4本の直線として、式x=minxで表現されるminx直線、式x=maxxで表現されるmaxx直線、式y=minyで表現されるminy直線、式y=maxyで表現されるmaxy直線を表示すればよい。なお、画像表示部502は、上述のような原点の位置および軸の方向等をあらかじめ任意に設定しておけばよい。
 接触パターン取得部503は、本発明の第2の実施の形態における接触パターン取得部203と同様に構成されるのに加えて、照合対象概略領域を修正するための修正接触パターンを取得する。なお、修正接触パターンは、本発明における修正位置パターンの一実施形態を構成する。
 例えば、接触パターン取得部503は、座標入力機能付表示装置2003を介して取得する接触位置の軌跡を修正接触パターンとして取得してもよい。
 照合対象概略領域修正部509は、接触パターン取得部503が取得した修正接触パターンに基づいて、照合対象概略領域を修正する。
 例えば、照合対象概略領域修正部509は、画像表示部502が表示する4本の直線のうち、接触パターン取得部503が取得した修正接触パターンである軌跡の始点の近傍にある直線を選択すればよい。そして、この場合、照合対象概略領域修正部509は、軌跡の始点と終点とに基づいて移動量ベクトルを計算し、選択した直線の位置を移動量ベクトルに基づいて修正すればよい。
 以上のように構成された画像照合装置5の照合対象概略領域推定動作について、図16を用いて説明する。
 なお、画像照合装置5の登録処理および検索処理は、本発明の第2の実施の形態としての画像照合装置2と同様であるため、本実施の形態における説明を省略する。
 図16において、画像照合装置5は、本発明の第2の実施の形態としての画像照合装置2と同様にステップS40~S45まで動作することにより、接触パターンに基づいて照合対象概略領域を推定する。
 次に、画像表示部502は、ステップS45で照合対象概略領域推定部104が推定した照合対象概略領域を、既に表示している画像に重畳して表示する(ステップS61)。
 例えば、画像表示部502は、照合対象概略領域の輪郭を表す4本の直線を表示してもよい。
 次に、接触パターン取得部503は、照合対象概略領域を修正するための修正接触パターンを取得する(ステップS62)。
 例えば、接触パターン取得部503は、接触位置の軌跡を修正接触パターンとして取得すればよい。
 なお、接触パターン取得部503は、領域修正操作が終了したと判断できるまで、ステップS62を繰り返し行う。このとき、接触パターン取得部503は、例えば、画像表示部502に表示された修正完了ボタン領域に対する接触操作を検知したときに、領域修正操作が終了したと判断すればよい。
 次に、照合対象概略領域修正部509は、修正接触パターンに基づいて、照合対象概略領域を修正する(ステップS63)。
 例えば、照合対象概略領域修正部509は、修正接触パターンとしての軌跡に基づいて、4本の直線のうちの1本を選択すればよい。さらに、照合対象概略領域修正部509は、軌跡の始点と終点とに基づいて移動量ベクトルを計算し、計算した移動量ベクトルに基づいて選択した直線の位置を修正すればよい。
 この後、画像照合装置5は、本発明の第2の実施の形態としての画像照合装置2と同様に動作して、修正した照合対象概略領域内の画像を表す情報を生成する。
 以上で、画像照合装置5は、照合対象概略領域推定処理を終了する。
 次に、本発明の第12の実施の形態の効果について述べる。
 本発明の第12の実施の形態としての画像照合装置は、局所的な領域に関する照合結果を利用して統合的な照合結果を求める際の照合精度を、さらに向上させることができる。
 その理由は、照合対象概略領域修正部が、照合対象となる概略の領域として一旦推定した照合対象概略領域を修正するからである。これにより、本発明の第12の実施の形態としての画像照合装置は、修正した照合対象概略領域を用いて局所的な領域毎の照合結果に基づく統合的な照合結果を求めることができ、さらに高精度な照合結果を得ることができるからである。
 (第13の実施の形態)
 次に、本発明の第13の実施の形態について図面を参照して詳細に説明する。なお、本実施の形態の説明において参照する各図面において、本発明の第1の実施の形態と同一の構成および同様に動作するステップには同一の符号を付して本実施の形態における詳細な説明を省略する。
 まず、本発明の第13の実施の形態としての画像照合システム6の構成について、図17を参照して説明する。
 図17において、画像照合システム6は、端末61と、サーバ62とを備えている。また、端末61およびサーバ62は、インターネット、LAN(Local Area Network)、公衆回線網、無線通信網またはこれらの組合せ等によって構成されるネットワークによって通信可能に接続されている。
 端末61は、画像取得部101と、画像表示部102と、入力位置パターン取得部103と、照合対象概略領域推定部104と、照合対象概略領域画像情報送信部611と、照合結果提示部606とを備えている。
 端末61は、CPU、RAMおよびROMを含む制御部と、ハードディスク等の記憶装置と、入力装置と、表示装置と、ネットワークインタフェースとを備えた汎用的なコンピュータ装置によって構成されている。なお、制御部は、ROMまたは記憶装置に記憶されたコンピュータ・プログラムをCPUによりRAMに読み込んで実行することにより、コンピュータ装置を端末61として機能させる。
 照合対象概略領域画像情報送信部611は、ネットワークインタフェース、および、制御部によって構成されている。また、照合結果提示部606は、表示装置、ネットワークインタフェース、および、制御部によって構成されている。
 サーバ62は、照合対象概略領域画像情報受信部621と、画像照合部605と、照合結果送信部622とを備えている。
 サーバ62は、CPU、RAMおよびROMを含む制御部と、ハードディスク等の記憶装置と、ネットワークインタフェースとを備えた汎用的なコンピュータ装置によって構成されている。なお、制御部は、ROMまたは記憶装置に記憶されたコンピュータ・プログラムをCPUによりRAMに読み込んで実行することにより、コンピュータ装置をサーバ62として機能させる。
 照合対象概略領域画像情報受信部621および照合結果送信部622は、ネットワークインタフェース、および、制御部によって構成されている。
 なお、端末61およびサーバ62の各機能ブロックを構成するハードウェア構成は上述の構成に限定されない。
 端末61の照合対象概略領域画像情報送信部611は、画像取得部101が取得した画像において、照合対象概略領域推定部104が推定した照合対象概略領域内の画像を表す情報を、サーバ62に対して送信する。
 例えば、照合対象概略領域画像情報送信部611は、画像取得部101が取得した画像の照合対象概略領域内を切り出したものを、照合対象概略領域内の画像を表す情報として送信すればよい。あるいは、照合対象概略領域画像情報送信部611は、画像取得部101が取得した画像の全領域および照合対象概略領域を表す情報の組み合わせを、照合対象概略領域内の画像を表す情報として送信してもよい。あるいは、照合対象概略領域画像情報送信部611は、画像取得部101が取得した画像の照合対象概略領域内の画像特徴量を、照合対象概略領域内の画像を表す情報として送信してもよい。
 照合対象概略領域画像情報送信部611は、ある画像の照合対象概略領域内の画像を表す情報を、検索画像を表す情報として送信してもよい。さらに、照合対象概略領域画像情報送信部611は、他の画像の照合対象概略領域内の画像を表す情報を、登録画像を表す情報として送信してもよい。
 照合結果提示部606は、サーバに送信した照合対象概略領域内の画像を表す情報に関する統合的な照合結果を、サーバから受信して提示する。
 統合的な照合結果は、例えば、サーバに送信した検索画像および登録画像の一致度を表す指標であればよい。
 サーバ62の照合対象概略領域画像情報受信部621は、照合対象となる画像の照合対象概略領域内の画像を表す情報を、端末61から受信する。
 画像照合部605は、照合対象概略領域画像情報受信部621が受信した照合対象概略領域内の画像を表す情報を、検索画像および登録画像のうち少なくとも1つの画像を表す情報にする。
 そして、画像照合部605は、検索画像および登録画像に関して、局所的な領域毎の照合結果に基づいて前記統合的な照合結果を求める。
 なお、画像照合部605は、検索画像を表す情報および登録画像を表す情報のうちいずれか1つは、照合対象概略領域画像情報受信部621が受信した情報でなくてもよい。この場合は、画像照合部605は、検索画像を表す情報および登録画像を表す情報のうちいずれか1つとして、あらかじめ記憶装置やメモリに格納された他の画像の情報や、端末61から受信する他の画像の全領域を表す情報を用いればよい。
 照合結果送信部622は、画像照合部605による検索画像および登録画像の統合的な照合結果を、端末61に対して送信する。
 以上のように構成された画像照合システム6の動作について、図18を参照して説明する。なお、図18において、左図は端末61の動作を表し、右図はサーバ62の動作を表し、左右を結ぶ破線の矢印は、データの流れを表すものとする。
 まず、端末61の画像取得部101および照合対象概略領域推定部104は、検索画像を表す情報を取得する(ステップS71)。
 端末61は、画像取得部101が取得した画像の全領域を表す情報を、検索画像を表す情報として取得すればよい。あるいは、端末61は、図5を用いて説明した照合対象概略領域推定処理によって推定する照合対象概略領域内の画像を表す情報を、検索画像を表す情報として取得してもよい。また、端末61は、画像取得部101が取得した画像の全領域の画像特徴量または照合対象概略領域内の画像の特徴量を、検索画像を表す情報として取得してもよい。
 次に、端末61の画像取得部101および照合対象概略領域推定部104は、登録画像を表す情報を取得する(ステップS72)。
 端末61は、画像取得部101が取得した画像の全領域を表す情報を、登録画像を表す情報として取得すればよい。あるいは、端末61は、図5を用いて説明した照合対象概略領域推定処理によって推定する照合対象概略領域内の画像を表す情報を、登録画像を表す情報として取得してもよい。また、端末61は、画像取得部101が取得した画像の全領域の画像特徴量または照合対象概略領域内の画像の特徴量を、登録画像を表す情報として取得してもよい。
 ただし、ステップS71で、画像取得部101が取得した画像の全領域を表す情報を、検索画像を表す情報として取得した場合は、図5を用いて説明した照合対象概略領域推定処理によって推定する照合対象概略領域内の画像を表す情報を、登録画像を表す情報として取得するようにする。
 次に、端末61の照合対象概略領域画像情報送信部611は、ステップS71およびステップS72で取得した検索画像および登録画像を表す情報をサーバ62に送信する(ステップS73)。
 次に、サーバ62の照合対象概略領域画像情報受信部621は、検索画像および登録画像を表す情報を端末61から受信する(ステップS74)。
 次に、画像照合部105は、検索画像および登録画像に関して、局所的な領域毎の照合結果に基づく統合的な照合結果を算出する(ステップS75)。
 画像照合部105は、検索画像および登録画像から画像特徴量を算出することにより、算出した画像特徴量を用いて検索画像および登録画像に関する統合的な照合結果を算出すればよい。あるいは、画像照合部105は、ステップS74において、検索画像および登録画像を表す情報として画像特徴量を取得している場合、取得した画像特徴量を用いて検索画像および登録画像に関する統合的な照合結果を算出してもよい。
 次に、照合結果送信部622は、ステップS75で算出した統合的な照合結果を端末61に対して送信する(ステップS76)。
 次に、端末61の照合結果提示部606は、受信した統合的な照合結果を提示する(ステップS77)。
 以上で、画像照合システム6は動作を終了する。
 なお、上述の処理において、端末61は、ステップS71およびステップS72のうちいずれか一方の処理を省略してもよい。この場合、サーバ62は、ステップS75において、、あらかじめ記憶装置やメモリに格納された他の画像の情報を、検索画像を表す情報および登録画像を表す情報のうちいずれか1つにする。
 次に、本発明の第13の実施の形態の効果について述べる。
 本発明の第13の実施の形態としての画像照合システムは、局所的な領域に関する照合結果を利用して統合的な照合結果を求める際の照合精度及び処理速度を向上させることができる。
 その理由は、端末の照合対象概略領域推定部が、照合対象となる画像において照合対象となる概略の領域を推定するからである。そして、サーバの画像照合部が、照合対象概略領域が推定された画像についてはその照合対象概略領域内の画像のみを対象として、局所的な領域毎の照合結果に基づいて統合的な照合結果を求めるからである。従って、画像照合部は、照合対象概略領域以外の領域について照合処理を行う必要がない。そのため、照合対象概略領域以外の領域に含まれる局所的な領域の照合結果に統合的な照合結果が左右されることがなく、結果的に照合精度を向上させることができる。また、照合対象概略領域以外の領域について照合処理を行う必要がないので、処理速度を向上させることができる。
 なお、本発明の第13の実施の形態において、サーバ62は、さらに、登録画像を表す情報を格納した画像格納部を備えてもよい。
 この場合、画像格納部は、端末61が推定した照合対象概略領域内の画像を表す情報を、登録画像を表す情報として格納してもよい。あるいは、画像格納部は、端末61が取得した画像の全領域を表す情報を、登録画像を表す情報としてそのまま格納してもよい。あるいは、画像格納部は、あらかじめ他の装置から取得した登録画像を表す情報を格納してもよい。あるいは、画像格納部は、これらの登録画像から算出される画像特徴量を、登録画像を表す情報として格納してもよい。
 この場合、画像照合システム6は次のように動作する。
 まず、端末61の照合対象概略領域画像情報送信部611は、画像取得部101が取得した画像の照合対象概略領域内の画像を表す情報を、検索画像を表す情報としてサーバ62に送信する。
 そして、サーバ62の画像照合部605は、照合対象概略領域画像情報受信部621が受信した検索画像に対応する登録画像を、画像格納部の中から特定する。
 そして、照合結果送信部622は、特定された登録画像を表す情報を端末61に送信する。
 そして、端末61の照合結果提示部606は、サーバ62から受信した登録画像を表す情報を提示する。
 また、本発明の第13の実施の形態において、端末61の表示装置および入力装置が表示領域に対する接触操作による接触位置を検出可能なデバイスによって構成され得る。この場合、入力位置パターン取得部103は、接触位置のパターンを表す接触パターンを入力位置パターンとして取得してもよい。
 また、本発明の第13の実施の形態において、端末61は、本発明の第11の実施の形態における接触パターン形状判別部や本発明の第12の実施の形態における照合対象概略領域修正部をさらに備えてもよい。
 以上説明したように、本発明の第13の実施の形態としての画像照合システム6は、本発明の各実施の形態としての画像照合装置の各機能ブロックを、端末とサーバとに分散配置させたものであるといえる。
 通常、サーバは端末に比べて高い処理能力を持っているので、計算量が比較的多い画像照合部をサーバが有する本発明の第13の実施の形態の構成は、サーバと端末とを連携させて一連の画像照合処理を行う上で好適である。また、通常、端末はサーバと比較して可搬性に優れているので、画像取得部、画像表示部および入力位置パターン取得部を端末が有する本発明の第13の実施の形態の構成は、ユーザにとってさまざまな箇所で画像を撮像できる利点を有する。
 なお、本発明の画像照合システムが備える各機能ブロックの配置構成は、本発明の第13の実施の形態の配置構成に限らず、サーバおよび端末に任意に配置させることが可能である。
 次に、本発明の他の実施形態について説明する。
 本実施形態の画像照合装置は、照合対象となる画像を取得する画像取得部と、前記画像取得部によって取得された画像を表示する画像表示部と、前記画像表示部に表示された画像の領域において、照合対象となる領域の概略位置を表す入力位置パターンを取得する入力位置パターン取得部と、前記入力位置パターンに基づいて、前記画像表示部に表示された画像において照合対象となる概略の領域を表す照合対象概略領域を推定する照合対象概略領域推定部と、検索画像および登録画像のうち少なくとも1つの画像として前記照合対象概略領域内の画像を表す情報を取得することにより、前記検索画像および前記登録画像に関して、局所的な領域毎の照合結果に基づいて統合的な照合結果を求める画像照合部と、前記統合的な照合結果を提示する照合結果提示部と、を備える。
 また、本実施形態の画像照合システムは、端末と、サーバとを備え、前記端末は、照合対象となる画像を取得する画像取得部と、前記画像取得部によって取得された画像を表示する画像表示部と、前記画像表示部に表示された画像の領域において照合対象となる領域の概略位置を表す入力位置パターンを取得する入力位置パターン取得部と、前記入力位置パターンに基づいて、前記画像表示部に表示された画像において照合対象となる概略の領域を表す照合対象概略領域を推定する照合対象概略領域推定部と、前記照合対象概略領域内の画像を表す情報を前記サーバに送信する照合対象概略領域画像情報送信部と、前記照合対象となる画像に関する統合的な照合結果を前記サーバから受信することにより提示する照合結果提示部と、を有し、前記サーバは、前記照合対象概略領域内の画像を表す情報を前記端末から受信する照合対象概略領域画像情報受信部と、検索画像および登録画像のうち少なくとも1つの画像として前記照合対象概略領域画像情報受信部によって受信された前記照合対象概略領域内の画像を表す情報を取得することにより、前記検索画像および前記登録画像に関して、局所的な領域毎の照合結果に基づいて前記統合的な照合結果を求める画像照合部と、前記統合的な照合結果を前記端末に送信する照合結果送信部と、を有する。
 また、本実施形態の端末は、照合対象となる画像に関して局所的な領域毎の照合結果に基づいて統合的な照合結果を求めるサーバと通信する端末であって、前記照合対象となる画像を取得する画像取得部と、前記画像取得部によって取得された画像を表示する画像表示部と、前記画像表示部に表示された画像の領域において照合対象となる領域の概略位置を表す入力位置パターンを取得する入力位置パターン取得部と、前記入力位置パターンに基づいて、前記画像表示部に表示された画像において照合対象となる概略の領域を表す照合対象概略領域を推定する照合対象概略領域推定部と、前記照合対象概略領域内の画像を表す情報を前記サーバに送信する照合対象概略領域画像情報送信部と、前記照合対象となる画像に関する前記統合的な照合結果を前記サーバから受信することにより提示する照合結果提示部と、を備える。
 また、本実施形態のサーバは、照合対象となる画像における照合対象となる概略の領域を表す照合対象概略領域を推定する端末と通信するサーバであって、前記照合対象概略領域内の画像を表す情報を前記端末から受信する照合対象概略領域画像情報受信部と、検索画像および登録画像のうち少なくとも1つの画像として前記照合対象概略領域画像情報受信部によって受信された前記照合対象概略領域内の画像を表す情報を取得することにより、前記検索画像および前記登録画像に関して、局所的な領域毎の照合結果に基づいて統合的な照合結果を求める画像照合部と、前記統合的な照合結果を前記端末に送信する照合結果送信部と、備える。
 また、本実施形態の画像照合方法は、照合対象となる画像を取得し、前記画像を画像表示部に表示し、前記画像表示部に表示された画像の領域において照合対象となる領域の概略位置を表す入力位置パターンを取得し、前記入力位置パターンに基づいて、前記画像表示部に表示された画像において照合対象となる概略の領域を表す照合対象概略領域を推定し、検索画像および登録画像のうち少なくとも1つの画像として前記照合対象概略領域内の画像を表す情報を取得することにより、前記検索画像および前記登録画像に関して、局所的な領域毎の照合結果に基づいて統合的な照合結果を求め、前記統合的な照合結果を提示する。
 また、本実施形態の端末制御方法は、照合対象となる画像を取得し、前記画像を画像表示部に表示し、前記画像表示部に表示された画像の領域において照合対象となる領域の概略位置を表す入力位置パターンを取得し、前記入力位置パターンに基づいて、前記画像表示部に表示された画像において照合対象となる概略の領域を表す照合対象概略領域を推定し、前記照合対象となる画像に関して局所的な領域毎の照合結果に基づいて統合的な照合結果を求めるサーバに、前記照合対象概略領域内の画像を表す情報を送信し、前記照合対象となる画像に関する前記統合的な照合結果を前記サーバから受信する。
 また、本実施形態のプログラム記録媒体は、照合対象となる画像に関して局所的な領域毎の照合結果に基づいて統合的な照合結果を求めるサーバと通信する端末が備えるコンピュータを、前記照合対象となる画像を取得する画像取得手段と、前記画像取得手段によって取得された画像を表示する画像表示手段と、前記画像表示手段に表示された画像の領域において照合対象となる領域の概略位置を表す入力位置パターンを取得する入力位置パターン取得手段と、前記入力位置パターンに基づいて、前記画像表示手段に表示された画像において照合対象となる概略の領域を表す照合対象概略領域を推定する照合対象概略領域推定手段と、前記照合対象概略領域内の画像を表す情報を前記サーバに送信する照合対象概略領域画像情報送信手段と、前記照合対象となる画像に関する前記統合的な照合結果を前記サーバから受信することにより提示する照合結果提示手段として機能させる端末制御プログラムを記憶する。
 上述した本発明の各実施の形態において、各フローチャートを参照して説明した画像照合装置、サーバおよび端末の動作を各装置のCPUに行わせるコンピュータ・プログラムを、各装置の記憶装置(記憶媒体)に格納しておいてもよい。格納しておいたコンピュータ・プログラムを、各装置のCPUが読み出して実行するようにしてもよい。そして、このような場合において、本発明は、係るコンピュータ・プログラムのコード或いは記憶媒体によって構成される。
 また、上述した本発明の各実施の形態において、各機能ブロックは、その機能の一部または全体をハードウェア回路によって構成してもよい。
 また、上述した本発明の各実施の形態において、各機能ブロックは、その機能の一部または全体を、GPU(Graphics Processing Unit)等のプロセッサにコンピュータ・プログラムを実行させることにより構成してもよい。
 また、上述した各実施の形態は、適宜組み合わせて実施されることが可能である。
 また、本発明は、上述した各実施の形態に限定されず、様々な態様で実施されることが可能である。
 また、上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
 (付記1)
 照合対象となる画像を取得する画像取得手段と、
 前記画像取得手段によって取得された画像を表示する画像表示手段と、
 前記画像表示手段に表示された画像の領域において、照合対象となる領域の概略位置を表す入力位置パターンを取得する入力位置パターン取得手段と、
 前記入力位置パターンに基づいて、前記画像表示手段に表示された画像において照合対象となる概略の領域を表す照合対象概略領域を推定する照合対象概略領域推定手段と、
 検索画像および登録画像のうち少なくとも1つの画像として前記照合対象概略領域内の画像を表す情報を取得することにより、前記検索画像および前記登録画像に関して、局所的な領域毎の照合結果に基づいて統合的な照合結果を求める画像照合手段と、
 前記統合的な照合結果を提示する照合結果提示手段と、
 を備えた画像照合装置。
 (付記2)
 前記登録画像を表す情報を格納した画像格納手段をさらに備え、
 前記画像照合手段は、前記検索画像および前記各登録画像に関する前記統合的な照合結果に基づいて、前記登録画像のうち前記検索画像に対応する登録画像を特定し、
 前記照合結果提示手段は、前記検索画像に対応する前記登録画像に関する情報を提示することを特徴とする付記1に記載の画像照合装置。
 (付記3)
 前記画像表示手段が、表示領域に対する接触操作による接触位置を検出可能なデバイスによって構成されるとき、
 前記入力位置パターン取得手段は、前記接触位置のパターンを表す接触パターンを前記入力位置パターンとして取得することを特徴とする付記1または付記2に記載の画像照合装置。
 (付記4)
 前記入力位置パターン取得手段は、前記入力位置パターンとして2点の位置を表す情報を取得し、
 前記照合対象概略領域推定手段は、前記2点を結ぶ線分を対角線とする矩形を前記照合対象概略領域として推定することを特徴とする付記1から付記3のいずれかに記載の画像照合装置。
 (付記5)
 前記入力位置パターン取得手段は、前記入力位置パターンとして1点の位置を表す情報を取得し、
 前記照合対象概略領域推定手段は、前記1点からそれぞれ所定距離の4点を頂点とする矩形を前記照合対象概略領域として推定することを特徴とする付記1から付記4のいずれかに記載の画像照合装置。
 (付記6)
 前記入力位置パターン取得手段は、前記入力位置パターンとして3点の位置を表す情報を取得し、
 前記照合対象概略領域推定手段は、前記3点を頂点に含む平行四辺形を前記照合対象概略領域として推定することを特徴とする付記1から付記5のいずれかに記載の画像照合装置。
 (付記7)
 前記入力位置パターン取得手段は、前記入力位置パターンとして3点の位置を表す情報を取得し、
 前記照合対象概略領域推定手段は、前記3点を頂点に含む平行四辺形の外接矩形を前記照合対象概略領域として推定することを特徴とする付記1から付記5のいずれかに記載の画像照合装置。
 (付記8)
 前記入力位置パターン取得手段は、前記入力位置パターンとしてn(nは3以上の整数)個の点の位置を表す情報を取得し、
 前記照合対象概略領域推定手段は、前記n個の点を頂点とする多角形を前記照合対象概略領域として推定することを特徴とする付記1から付記7のいずれかに記載の画像照合装置。
 (付記9)
 前記入力位置パターン取得手段は、前記入力位置パターンとしてn(nは3以上の整数)個の点の位置を表す情報を取得し、
 前記照合対象概略領域推定手段は、前記n個の点を頂点とする多角形の外接矩形を前記照合対象概略領域として推定することを特徴とする付記1から付記7のいずれかに記載の画像照合装置。
 (付記10)
 前記入力位置パターン取得手段は、前記入力位置パターンとして曲線を表す情報を取得し、
 前記照合対象概略領域推定手段は、前記曲線と、前記曲線の始点および終点の中点を中心に前記曲線を所定量回転させた他の曲線とで囲まれる領域を前記照合対象概略領域として推定することを特徴とする付記1から付記9のいずれかに記載の画像照合装置。
 (付記11)
 前記入力位置パターン取得手段は、前記入力位置パターンとして曲線を表す情報を取得し、
 前記照合対象概略領域推定手段は、前記曲線と、前記曲線の始点および終点の中点を中心に前記曲線を所定量回転させた他の曲線とで囲まれる領域の外接矩形を前記照合対象概略領域として推定することを特徴とする付記1から付記9のいずれかに記載の画像照合装置。
 (付記12)
 前記入力位置パターン取得手段は、前記入力位置パターンとして曲線を表す情報を取得し、
 前記照合対象概略領域推定手段は、前記曲線と、前記曲線の始点および終点を結ぶ線を軸として前記曲線に対して線対称な他の曲線とで囲まれる領域を前記照合対象概略領域として推定することを特徴とする付記1から付記11のいずれかに記載の画像照合装置。
 (付記13)
 前記入力位置パターン取得手段は、前記入力位置パターンとして曲線を表す情報を取得し、
 前記照合対象概略領域推定手段は、前記曲線と、前記曲線の始点および終点を結ぶ線を軸として前記曲線に対して線対称な他の曲線とで囲まれる領域の外接矩形を前記照合対象概略領域として推定することを特徴とする付記1から付記11のいずれかに記載の画像照合装置。
 (付記14)
 前記入力位置パターン取得手段は、前記入力位置パターンとして閉領域を構成する線を表す情報を取得し、
 前記照合対象概略領域推定手段は、前記閉領域を前記照合対象概略領域として推定することを特徴とする付記1から付記13のいずれかに記載の画像照合装置。
 (付記15)
 前記入力位置パターン取得手段は、前記入力位置パターンとして閉領域を構成する線を表す情報を取得し、
 前記照合対象概略領域推定手段は、前記閉領域の外接矩形を前記照合対象概略領域として推定することを特徴とする付記1から付記13のいずれかに記載の画像照合装置。
 (付記16)
 前記入力位置パターン取得手段は、前記入力位置パターンとして曲線を表す情報を取得し、
 前記照合対象概略領域推定手段は、前記曲線を2つの線分が連結したものとみなすことにより、前記2つの線分を2辺に含む平行四辺形を前記照合対象概略領域として推定することを特徴とする付記1から付記15のいずれかに記載の画像照合装置。
 (付記17)
 前記入力位置パターン取得手段は、前記入力位置パターンとして曲線を表す情報を取得し、
 前記照合対象概略領域推定手段は、前記曲線を2つの線分が連結したものとみなすことにより、前記2つの線分を2辺に含む平行四辺形の外接矩形を前記照合対象概略領域として推定することを特徴とする付記1から付記15のいずれかに記載の画像照合装置。
 (付記18)
 前記入力位置パターンの形状を判別する入力位置パターン形状判別手段をさらに備え、
 前記照合対象概略領域推定手段は、前記入力位置パターン形状判別手段によって判別された形状に基づいて前記照合対象概略領域を推定することを特徴とする付記1から付記17のいずれかに記載の画像照合装置。
 (付記19)
 前記画像表示手段は、表示した画像に対して推定された前記照合対象概略領域を該画像に重畳して表示し、
 前記入力位置パターン取得手段は、前記画像表示手段に表示された照合対象概略領域を修正するための修正位置パターンをさらに取得し、
 前記修正位置パターンに基づいて、前記照合対象概略領域を修正する照合対象概略領域修正手段をさらに備えたことを特徴とする付記1から付記18のいずれかに記載の画像照合装置。
 (付記20)
 前記画像格納手段は、前記登録画像に対応付けて該登録画像に関連する関連情報を格納し、
 前記照合結果提示手段は、前記画像照合手段によって特定された登録画像に関連する関連情報を取得することにより、取得した関連情報を提示することを特徴とする付記2から付記19のいずれかに記載の画像照合装置。
 (付記21)
 前記画像取得手段は、前記検索画像とともにその関連情報を取得し、
 前記画像照合手段は、前記画像格納手段に格納された登録画像のうち、その関連情報が前記検索画像の関連情報に関連する登録画像の中から、前記検索画像に対応するものを特定することを特徴とする付記20に記載の画像照合装置。
 (付記22)
 前記関連情報は、画像に関連する地点の位置を表す位置情報を含み、
 前記画像照合手段は、前記画像格納手段に格納された登録画像のうち、その関連情報に含まれる位置情報が表す位置と、前記検索画像の関連情報に含まれる位置情報が表す位置との距離が閾値以下の登録画像の中から、前記検索画像に対応するものを特定することを特徴とする付記21に記載の画像照合装置。
 (付記23)
 前記関連情報は、画像に関連する方位を表す方位情報を含み、
 前記画像照合手段は、前記画像格納手段に格納された登録画像のうち、その関連情報に含まれる方位情報が表す方位と、前記検索画像の関連情報に含まれる方位情報が表す方位との差が閾値以下の登録画像の中から、前記検索画像に対応するものを特定することを特徴とする付記21または付記22に記載の画像照合装置。
 (付記24)
 前記画像照合手段は、前記照合対象概略領域内の画像を表す情報として、前記照合対象概略領域内の画像の画像特徴量を取得することにより、取得した画像特徴量を用いて前記統合的な照合結果を求めることを特徴とする付記1から付記23のいずれかに記載の画像照合装置。
 (付記25)
 前記画像格納手段は、前記登録画像を表す情報として、前記登録画像の画像特徴量を格納することを特徴とする付記2から付記24のいずれかに記載の画像照合装置。
 (付記26)
 端末と、サーバとを備え、
 前記端末は、
 照合対象となる画像を取得する画像取得手段と、
 前記画像取得手段によって取得された画像を表示する画像表示手段と、
 前記画像表示手段に表示された画像の領域において照合対象となる領域の概略位置を表す入力位置パターンを取得する入力位置パターン取得手段と、
 前記入力位置パターンに基づいて、前記画像表示手段に表示された画像において照合対象となる概略の領域を表す照合対象概略領域を推定する照合対象概略領域推定手段と、
 前記照合対象概略領域内の画像を表す情報を前記サーバに送信する照合対象概略領域画像情報送信手段と、
 前記照合対象となる画像に関する統合的な照合結果を前記サーバから受信することにより提示する照合結果提示手段と、
 を有し、
 前記サーバは、
 前記照合対象概略領域内の画像を表す情報を前記端末から受信する照合対象概略領域画像情報受信手段と、
 検索画像および登録画像のうち少なくとも1つの画像として前記照合対象概略領域画像情報受信手段によって受信された前記照合対象概略領域内の画像を表す情報を取得することにより、前記検索画像および前記登録画像に関して、局所的な領域毎の照合結果に基づいて前記統合的な照合結果を求める画像照合手段と、
 前記統合的な照合結果を前記端末に送信する照合結果送信手段と、
 を有する画像照合システム。
 (付記27)
 前記サーバは、
 前記登録画像を表す情報を格納した画像格納手段をさらに有し、
 前記画像照合手段は、前記検索画像および前記各登録画像に関する前記統合的な照合結果に基づいて、前記登録画像のうち前記検索画像に対応する登録画像を特定し、
 前記照合結果送信手段は、前記検索画像に対応する前記登録画像を表す情報を前記端末に送信し、
 前記端末の前記照合結果提示手段は、前記検索画像に対応する前記登録画像に関する情報を提示することを特徴とする付記26に記載の画像照合システム。
 (付記28)
 前記端末の照合対象概略領域画像情報送信手段は、前記照合対象概略領域内の画像を表す情報として、前記照合対象概略領域内の画像の画像特徴量を前記サーバに送信することを特徴とする付記26または付記27に記載の画像照合システム。
 (付記29)
 照合対象となる画像を取得する画像取得手段と、
 前記画像取得手段によって取得された画像を表示する画像表示手段と、
 前記画像表示手段に表示された画像の領域において照合対象となる領域の概略位置を表す入力位置パターンを取得する入力位置パターン取得手段と、
 前記入力位置パターンに基づいて、前記画像表示手段に表示された画像において照合対象となる概略の領域を表す照合対象概略領域を推定する照合対象概略領域推定手段と、
 前記照合対象概略領域内の画像を表す情報を、照合対象となる画像に関して局所的な領域毎の照合結果に基づいて統合的な照合結果を求めるサーバに送信する照合対象概略領域画像情報送信手段と、
 前記照合対象となる画像に関する前記統合的な照合結果を前記サーバから受信することにより提示する照合結果提示手段と、
 を備えた端末。
 (付記30)
 前記画像表示手段が、表示領域に対する接触操作による接触位置を検出可能なデバイスによって構成されるとき、
 前記入力位置パターン取得手段は、前記接触位置のパターンを表す接触パターンを前記入力位置パターンとして取得することを特徴とする付記29に記載の端末。
 (付記31)
 前記照合対象概略領域画像情報送信手段は、前記照合対象概略領域内の画像を表す情報として、前記照合対象概略領域内の画像の画像特徴量を前記サーバに送信することを特徴とする付記29または付記30に記載の端末。
 (付記32)
 照合対象となる画像における照合対象となる概略の領域を表す照合対象概略領域を推定する端末と通信するサーバであって、
 前記照合対象概略領域内の画像を表す情報を前記端末から受信する照合対象概略領域画像情報受信手段と、
 検索画像および登録画像のうち少なくとも1つの画像として前記照合対象概略領域画像情報受信手段によって受信された前記照合対象概略領域内の画像を表す情報を取得することにより、前記検索画像および前記登録画像に関して、局所的な領域毎の照合結果に基づいて統合的な照合結果を求める画像照合手段と、
 前記統合的な照合結果を前記端末に送信する照合結果送信手段と、
 備えたサーバ。
 (付記33)
 前記登録画像を表す情報を格納した画像格納手段をさらに備え、
 前記画像照合手段は、前記検索画像および前記各登録画像に関する前記統合的な照合結果に基づいて、前記登録画像のうち前記検索画像に対応する登録画像を特定することを特徴とする付記32に記載のサーバ。
 (付記34)
 前記照合対象概略領域画像情報受信手段は、前記照合対象概略領域内の画像を表す情報として、前記照合対象概略領域内の画像の画像特徴量を前記端末から受信することを特徴とする付記32または付記33に記載のサーバ。
 (付記35)
 照合対象となる画像を取得し、
 前記画像を画像表示手段に表示し、
 前記画像表示手段に表示された画像の領域において照合対象となる領域の概略位置を表す入力位置パターンを取得し、
 前記入力位置パターンに基づいて、前記画像表示手段に表示された画像において照合対象となる概略の領域を表す照合対象概略領域を推定し、
 検索画像および登録画像のうち少なくとも1つの画像として前記照合対象概略領域内の画像を表す情報を取得することにより、前記検索画像および前記登録画像に関して、局所的な領域毎の照合結果に基づいて統合的な照合結果を求め、
 前記統合的な照合結果を提示する、画像照合方法。
 (付記36)
 前記登録画像を表す情報を画像格納手段に格納し、
 前記検索画像および前記各登録画像の前記統合的な照合結果に基づいて、前記検索画像に対応する登録画像を特定し、
 前記検索画像に対応する登録画像を表す情報を提示することを特徴とする付記35に記載の画像照合方法。
 (付記37)
 端末と、サーバとを用いて、
 前記端末は、
 照合対象となる画像を取得し、
 取得した画像を画像表示手段に表示し、
 前記画像表示手段に表示された画像の領域において照合対象となる領域の概略位置を表す入力位置パターンを取得し、
 前記入力位置パターンに基づいて、前記画像表示手段に表示された画像において照合対象となる概略の領域を表す照合対象概略領域を推定し、
 前記照合対象概略領域内の画像を表す情報を前記サーバに送信し、
 前記サーバは、
 前記照合対象概略領域内の画像を表す情報を前記端末から受信し、
 検索画像および登録画像のうち少なくとも1つの画像として、受信した前記照合対象概略領域内の画像を表す情報を取得することにより、前記検索画像および前記登録画像に関して、局所的な領域毎の照合結果に基づいて統合的な照合結果を求め、
 前記統合的な照合結果を前記端末に送信し、
 前記端末は、
 前記統合的な照合結果を前記サーバから受信することにより提示する、画像照合方法。
 (付記38)
 前記サーバは、
 前記登録画像を表す情報を画像格納手段に格納し、
 前記検索画像および前記各登録画像に関する前記統合的な照合結果に基づいて、前記登録画像のうち前記検索画像に対応する登録画像を特定し、
 前記検索画像に対応する前記登録画像を表す情報を前記統合的な照合結果として前記端末に送信し、
 前記端末は、
 前記検索画像に対応する前記登録画像を表す情報を前記統合的な照合結果として提示することを特徴とする付記37に記載の画像照合方法。
 (付記39)
 照合対象となる画像を取得し、
 前記画像を画像表示手段に表示し、
 前記画像表示手段に表示された画像の領域において照合対象となる領域の概略位置を表す入力位置パターンを取得し、
 前記入力位置パターンに基づいて、前記画像表示手段に表示された画像において照合対象となる概略の領域を表す照合対象概略領域を推定し、
 前記照合対象となる画像に関して局所的な領域毎の照合結果に基づいて統合的な照合結果を求めるサーバに、前記照合対象概略領域内の画像を表す情報を送信し、
 前記照合対象となる画像に関する前記統合的な照合結果を前記サーバから受信する
 端末制御方法。
 (付記40)
 照合対象となる画像における照合対象となる概略の領域を表す照合対象概略領域を推定する端末から、前記照合対象概略領域内の画像を表す情報を受信し、
 検索画像および登録画像のうち少なくとも1つの画像として、受信した前記照合対象概略領域内の画像を表す情報を取得することにより、前記検索画像および前記登録画像に関して、局所的な領域毎の照合結果に基づいて統合的な照合結果を求め、
 前記統合的な照合結果を前記端末に送信する
 サーバ制御方法。
 (付記41)
 コンピュータを、
 照合対象となる画像を取得する画像取得手段と、
 前記画像を表示する画像表示手段と、
 前記画像表示手段によって表示された画像の領域において照合対象となる領域の概略位置を表す入力位置パターンを取得する入力位置パターン取得手段と、
 前記入力位置パターンに基づいて、前記画像表示手段に表示された画像において照合対象となる概略の領域を表す照合対象概略領域を推定する照合対象概略領域推定手段と、
 検索画像および登録画像のうち少なくとも1つの画像として前記照合対象概略領域内の画像を表す情報を取得することにより、前記検索画像および前記登録画像に関して、局所的な領域毎の照合結果に基づいて統合的な照合結果を求める画像照合手段と、
 前記統合的な照合結果を提示する照合結果提示手段、
 として機能させる画像照合プログラムを記憶するプログラム記録媒体。
 (付記42)
 前記登録画像を表す情報を格納する画像格納手段として前記コンピュータをさらに機能させ、
 前記画像照合手段は、前記検索画像および前記各登録画像の前記統合的な照合結果に基づいて、前記検索画像に対応する登録画像を特定し、
 前記照合結果提示手段は、前記検索画像に対応する登録画像を表す情報を前記統合的な照合結果として提示することを特徴とする画像照合プログラムを記憶する、付記41に記載のプログラム記録媒体。
 (付記43)
 照合対象となる画像に関して局所的な領域毎の照合結果に基づいて統合的な照合結果を求めるサーバと通信する端末が備えるコンピュータを、
 前記照合対象となる画像を取得する画像取得手段と、
 前記画像取得手段によって取得された画像を表示する画像表示手段と、
 前記画像表示手段に表示された画像の領域において照合対象となる領域の概略位置を表す入力位置パターンを取得する入力位置パターン取得手段と、
 前記入力位置パターンに基づいて、前記画像表示手段に表示された画像において照合対象となる概略の領域を表す照合対象概略領域を推定する照合対象概略領域推定手段と、
 前記照合対象概略領域内の画像を表す情報を前記サーバに送信する照合対象概略領域画像情報送信手段と、
 前記照合対象となる画像に関する前記統合的な照合結果を前記サーバから受信することにより提示する照合結果提示手段、
 として機能させるための端末制御プログラムを記憶するプログラム記録媒体。
 (付記44)
 前記画像表示手段が、表示領域に対する接触操作による接触位置を検出可能であるとき、
 前記入力位置パターン取得手段は、前記接触位置のパターンを表す接触パターンを前記入力位置パターンとして取得することを特徴とする端末制御プログラムを記憶する、付記43に記載のプログラム記録媒体。
 (付記45)
 照合対象となる画像における照合対象となる概略の領域を表す照合対象概略領域を推定する端末と通信するサーバが備えるコンピュータを、
 前記照合対象概略領域内の画像を表す情報を前記端末から受信する照合対象概略領域画像情報受信手段と、
 検索画像および登録画像のうち少なくとも1つの画像として前記照合対象概略領域画像情報受信手段によって受信された前記照合対象概略領域内の画像を表す情報を取得することにより、前記検索画像および前記登録画像に関して、局所的な領域毎の照合結果に基づいて統合的な照合結果を求める画像照合手段と、
 前記統合的な照合結果を前記端末に送信する照合結果送信手段、
 として機能させるサーバ制御プログラムを記憶するプログラム記録媒体。
 (付記46)
 前記登録画像を表す情報を格納する画像格納手段として前記コンピュータをさらに機能させ、
 前記画像照合手段は、前記検索画像および前記各登録画像の前記統合的な照合結果に基づいて、前記登録画像のうち前記検索画像に対応する登録画像を特定することを特徴とするサーバ制御プログラムを記憶する、付記45に記載のプログラム記録媒体。
 以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
 この出願は、2010年10月22日に出願された日本出願特願2010−237463を基礎とする優先権を主張し、その開示の全てをここに取り込む。
 本発明は、局所的な領域に関する照合結果を利用して統合的な照合結果を求める際の照合精度及び処理速度を向上させる画像照合装置を提供することができる。本発明は、例えば、検索画像に部分的に含まれる看板等の領域と一致度が高い登録画像を検索し、検索した登録画像に部分的に含まれる解説文や他言語表示等の情報をユーザに対して提供するシステムに適用可能である。また、本発明は、検索した登録画像に関連する情報を検索画像に重畳表示することにより拡張現実的に情報を提示するシステムにも適用可能である。なお、看板等は、屋内外に設置されている一般的な看板だけでなく、建物の外壁、屋内外の案内版、文書一般、ポスター、メモ帳、付箋紙に記載されたメモ、広告チラシ、レストラン等のメニュー等であってもよい。
 1、2、3、4、5  画像照合装置
 6  画像照合システム
 61  端末
 62  サーバ
 101  画像取得部
 102、202、502  画像表示部
 103  入力位置パターン取得部
 104、304、404  照合対象概略領域推定部
 105、205、605  画像照合部
 106、206、606  照合結果提示部
 203、303、503  接触パターン取得部
 207  画像格納部
 303  接触パターン取得部
 408  接触パターン形状判別部
 509  照合対象概略領域修正部
 611  照合対象概略領域画像情報送信部
 621  照合対象概略領域画像情報受信部
 622  照合結果送信部
 1001  制御部
 1002  記憶装置
 1003  入力装置
 1004  表示装置
 1005  撮像装置
 2003  座標入力機能付表示装置

Claims (10)

  1.  画像を取得する画像取得手段と、
     前記画像取得手段が取得した画像を表示する画像表示手段と、
     前記画像表示手段が表示する画像の領域において、照合対象となる領域の概略位置を表す入力位置パターンを取得する入力位置パターン取得手段と、
     前記入力位置パターンに基づいて、前記画像表示手段が表示する画像において照合対象となる概略の領域を表す照合対象概略領域を推定する照合対象概略領域推定手段と、
     少なくともいずれか一方が前記照合対象概略領域内の画像である検索画像と登録画像の、照合結果を提示する照合結果提示手段と、
     を備える画像照合装置。
  2.  前記検索画像と前記登録画像の照合を行って前記照合結果を算出する画像照合手段
     を備える請求項1に記載の画像照合装置。
  3.  1つ以上の前記登録画像を表す情報を格納した画像格納手段を備え、
     前記画像照合手段は、前記検索画像と前記登録画像各々の前記照合結果各々から、前記登録画像のうち前記検索画像に対応する登録画像を特定し、
     前記照合結果提示手段は、前記検索画像に対応する前記登録画像に関する情報を提示することを特徴とする請求項2に記載の画像照合装置。
  4.  前記画像表示手段は、表示した画像に対して推定された前記照合対象概略領域を該画像に重畳して表示し、
     前記入力位置パターン取得手段は、前記照合対象概略領域を修正するための修正位置パターンをさらに取得し、
     前記修正位置パターンに基づいて、前記照合対象概略領域を修正する照合対象概略領域修正手段をさらに備えたことを特徴とする請求項1または請求項3に記載の画像照合装置。
  5.  前記画像照合手段は、前記検索画像の画像特徴量と前記登録画像の画像特徴量を取得し、取得した前記画像特徴量各々を用いて前記照合結果を算出することを特徴とする請求項2から請求項4のいずれかに記載の画像照合装置。
  6.  サーバと請求項1に記載の前記画像照合装置を含み、
     前記画像照合装置は、
     前記照合対象概略領域内の画像を表す情報を前記サーバに送信する照合対象概略領域画像情報送信手段を有し、
     前記照合結果提示手段は、前記サーバから受信した前記照合結果を提示し、
     前記サーバは、
     前記照合対象概略領域内の画像を表す情報を前記画像照合装置から受信する照合対象概略領域画像情報受信手段と、
     少なくともいずれか一方が前記照合対象概略領域内の画像である前記検索画像と前記登録画像の照合を行って、前記照合結果を算出する画像照合手段と、
     前記照合結果を前記画像照合装置に送信する照合結果送信手段と、
     を有する
     画像照合システム。
  7.  画像を取得し、
     取得した画像を画像表示手段に表示し、
     前記画像表示手段に表示する画像の領域において、照合対象となる領域の概略位置を表す入力位置パターンを取得し、
     前記入力位置パターンに基づいて、前記画像表示手段に表示する画像において照合対象となる概略の領域を表す照合対象概略領域を推定し、
     少なくともいずれか一方が前記照合対象概略領域内の画像である検索画像と登録画像の、照合結果を提示する
     画像照合方法。
  8.  コンピュータを、
     画像を取得する画像取得手段と、
     前記画像取得手段が取得した画像を表示する画像表示手段と、
     前記画像表示手段が表示する画像の領域において、照合対象となる領域の概略位置を表す入力位置パターンを取得する入力位置パターン取得手段と、
     前記入力位置パターンに基づいて、前記画像表示手段が表示する画像において照合対象となる概略の領域を表す照合対象概略領域を推定する照合対象概略領域推定手段と、
     少なくともいずれか一方が前記照合対象概略領域内の画像である検索画像と登録画像の、照合結果を提示する照合結果提示手段と
     して機能させる画像照合プログラムを記憶するプログラム記録媒体。
  9.  コンピュータを、
     前記検索画像と前記登録画像の照合を行って前記照合結果を算出する画像照合手段と
     して機能させる画像照合プログラムを記憶する、請求項8に記載のプログラム記録媒体。
  10.  コンピュータを、
     1つ以上の前記登録画像を表す情報を格納した画像格納手段と、
     前記検索画像および前記登録画像各々の照合結果から、前記登録画像のうち前記検索画像に対応する登録画像を特定する前記画像照合手段は、
     前記検索画像に対応する前記登録画像に関する情報を提示する前記照合結果提示手段と
     して機能させる画像照合プログラムを記憶する、請求項9に記載のプログラム記録媒体。
PCT/JP2011/074238 2010-10-22 2011-10-14 画像照合装置、画像照合方法、画像照合システム、サーバ、端末、端末制御方法、および、端末制御プログラム WO2012053626A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2012539776A JPWO2012053626A1 (ja) 2010-10-22 2011-10-14 画像照合装置、画像照合方法、画像照合システム、サーバ、端末、端末制御方法、および、端末制御プログラム
US13/880,281 US20130208990A1 (en) 2010-10-22 2011-10-14 Image comparison device, image comparison method, image comparison system, server, terminal, terminal control method, and terminal control program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-237463 2010-10-22
JP2010237463 2010-10-22

Publications (1)

Publication Number Publication Date
WO2012053626A1 true WO2012053626A1 (ja) 2012-04-26

Family

ID=45975335

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/074238 WO2012053626A1 (ja) 2010-10-22 2011-10-14 画像照合装置、画像照合方法、画像照合システム、サーバ、端末、端末制御方法、および、端末制御プログラム

Country Status (3)

Country Link
US (1) US20130208990A1 (ja)
JP (1) JPWO2012053626A1 (ja)
WO (1) WO2012053626A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140072226A1 (en) * 2012-09-13 2014-03-13 International Business Machines Corporation Searching and Sorting Image Files
CN104166819A (zh) * 2014-07-25 2014-11-26 小米科技有限责任公司 身份验证方法、装置及终端

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0765185A (ja) * 1993-08-31 1995-03-10 Fuji Photo Film Co Ltd 画像処理方法および装置
JPH08263522A (ja) * 1995-03-24 1996-10-11 Dainippon Screen Mfg Co Ltd 画像検索方法
JP2002304628A (ja) * 2001-04-05 2002-10-18 Canon Inc 情報検索システム及びその方法と記憶媒体

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000189403A (ja) * 1998-12-25 2000-07-11 Oki Electric Ind Co Ltd 虹彩領域抽出方法及び個体識別装置
JP4519963B2 (ja) * 1999-06-21 2010-08-04 富士通株式会社 生体情報の暗号化・復号化方法および装置並びに、生体情報を利用した本人認証システム
JP4469476B2 (ja) * 2000-08-09 2010-05-26 パナソニック株式会社 眼位置検出方法および眼位置検出装置
US7542602B2 (en) * 2004-11-19 2009-06-02 Carestream Health, Inc. Digital image processing of medical images
JP2006254229A (ja) * 2005-03-11 2006-09-21 Fuji Photo Film Co Ltd 撮像装置、撮像方法及び撮像プログラム
US7620215B2 (en) * 2005-09-15 2009-11-17 Microsoft Corporation Applying localized image effects of varying intensity
JP4493679B2 (ja) * 2007-03-29 2010-06-30 富士フイルム株式会社 対象領域抽出方法および装置ならびにプログラム
KR101030430B1 (ko) * 2007-09-12 2011-04-20 주식회사 코아로직 영상 처리 장치와 방법 및 그 기록매체
US8073231B2 (en) * 2008-10-22 2011-12-06 Carestream Health, Inc. Tube detection in diagnostic images
US8532346B2 (en) * 2009-03-11 2013-09-10 Sony Corporation Device, method and computer program product
US8861864B2 (en) * 2010-03-11 2014-10-14 Qualcomm Incorporated Image feature detection based on application of multiple feature detectors

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0765185A (ja) * 1993-08-31 1995-03-10 Fuji Photo Film Co Ltd 画像処理方法および装置
JPH08263522A (ja) * 1995-03-24 1996-10-11 Dainippon Screen Mfg Co Ltd 画像検索方法
JP2002304628A (ja) * 2001-04-05 2002-10-18 Canon Inc 情報検索システム及びその方法と記憶媒体

Also Published As

Publication number Publication date
JPWO2012053626A1 (ja) 2014-02-24
US20130208990A1 (en) 2013-08-15

Similar Documents

Publication Publication Date Title
US10499002B2 (en) Information processing apparatus and information processing method
CN102867169B (zh) 图像处理设备和显示控制方法
CN102695032B (zh) 信息处理装置、信息共享方法以及终端设备
US8850337B2 (en) Information processing device, authoring method, and program
CN105517679B (zh) 用户地理位置的确定
CN202502670U (zh) 图像处理装置
WO2008094643A1 (en) Referencing a map to the coordinate space of a positioning system
US20150117796A1 (en) Method and system for prioritizing points of interest for display in a map
US20130176337A1 (en) Device and Method For Information Processing
JP5668587B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5843288B2 (ja) 情報提示システム
US20150254809A1 (en) Display control apparatus, display control method, and non-transitory computer readable medium
US8170784B2 (en) Method and apparatus for moving content to mobile devices
CN110070491A (zh) 银行卡图片矫正方法、装置、设备及存储介质
JP6017343B2 (ja) データベース生成装置、カメラ姿勢推定装置、データベース生成方法、カメラ姿勢推定方法、およびプログラム
JP5094703B2 (ja) 地図マッチング装置、地図マッチング方法、及びプログラム
WO2012053626A1 (ja) 画像照合装置、画像照合方法、画像照合システム、サーバ、端末、端末制御方法、および、端末制御プログラム
EP3177005B1 (en) Display control system, display control device, display control method, and program
US9779545B1 (en) Footprint based business label placement
US20220245918A1 (en) User Equipment and Method of Controlling the Same
JP6085390B1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
KR102443016B1 (ko) 증강 기술을 이용하여 광고를 구현하는 장치 및 방법
KR102157999B1 (ko) 사용자 주변 포커싱을 통한 지역 정보 자동 인식 장치 및 방법
US9245192B2 (en) Ad collateral detection
JP2011164701A (ja) オブジェクト表示制御装置及びオブジェクト表示制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11834465

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2012539776

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 13880281

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11834465

Country of ref document: EP

Kind code of ref document: A1