WO2013008583A1 - オブジェクト情報提供装置、オブジェクト情報提供システム、端末及びオブジェクト情報提供方法 - Google Patents

オブジェクト情報提供装置、オブジェクト情報提供システム、端末及びオブジェクト情報提供方法 Download PDF

Info

Publication number
WO2013008583A1
WO2013008583A1 PCT/JP2012/065385 JP2012065385W WO2013008583A1 WO 2013008583 A1 WO2013008583 A1 WO 2013008583A1 JP 2012065385 W JP2012065385 W JP 2012065385W WO 2013008583 A1 WO2013008583 A1 WO 2013008583A1
Authority
WO
WIPO (PCT)
Prior art keywords
matching data
object information
information
image analysis
terminal
Prior art date
Application number
PCT/JP2012/065385
Other languages
English (en)
French (fr)
Inventor
太田　学
森永　康夫
Original Assignee
株式会社エヌ・ティ・ティ・ドコモ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社エヌ・ティ・ティ・ドコモ filed Critical 株式会社エヌ・ティ・ティ・ドコモ
Priority to EP12811515.1A priority Critical patent/EP2733673A4/en
Priority to US13/878,868 priority patent/US8996577B2/en
Priority to CN201280009267.6A priority patent/CN103380443B/zh
Publication of WO2013008583A1 publication Critical patent/WO2013008583A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/248—Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
    • G06V30/2504—Coarse or fine approaches, e.g. resolution of ambiguities or multiscale approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis

Definitions

  • the present invention relates to an object information providing apparatus, an object information providing system, a terminal, and an object information providing method.
  • a technique in which a virtual object placed around the location of a mobile terminal is acquired and a virtual object including various information and images is superimposed and displayed on a real space image acquired by a camera provided in the mobile terminal. It has been. Further, a technique is known in which a predetermined marker is detected from a real space image acquired by a camera of a mobile terminal, and a virtual object associated with the marker is superimposed on the real space image and displayed on a display. . In addition, three-dimensional map information including information such as the shape of the structure in the real space is acquired via communication, and image analysis processing is performed to match the acquired map information with the real space image acquired by the camera.
  • a technique is known in which, when they match, a virtual object is superimposed and displayed on an image in the real space in association with a predetermined object existing in the real space.
  • a marker image in which color, brightness, contrast, resolution, and focus are changed is generated from the registered image of the marker.
  • an apparatus for detecting a marker is known (for example, see Patent Document 1).
  • the three-dimensional map information serving as matching data used for matching has a very large amount of information. For this reason, due to the large amount of information of matching data, there are problems such as long communication time for acquiring matching data, increased traffic on communication lines, soaring communication charges, and increased matching processing time. ing. Since the technique described in Patent Document 1 is to generate variations of marker images stored in advance with the problem of improving detection accuracy, there is a problem caused by the large amount of matching data as described above. It cannot be solved.
  • the present invention has been made in view of the above problems, and in AR technology that extracts a predetermined object from an image in a real space and displays a virtual object in association with the target,
  • an object information providing apparatus an object information providing system, a terminal, and an object information providing method capable of providing matching data having an appropriate amount of information without reducing the accuracy of matching processing with an object in an image. For the purpose.
  • an object information providing apparatus provides an image in real space that matches matching data for extracting a predetermined object from an image in real space and an object that matches at least a certain amount.
  • Object information that provides virtual object information associated with matching data to a terminal that extracts a virtual object associated with the matching data and displays the virtual object associated with the target object superimposed on a real space image
  • a transmission device that transmits at least one matching data among a plurality of pieces of matching data, the amount of information included being different in stages, together with virtual object information associated with the matching data, to a terminal; Based on the matching data transmitted by the means from the image in the real space at the terminal
  • the virtual object information is obtained based on the reception result of receiving from the terminal a processing result indicating the success or failure of extraction of a valid target represented by the matching data, and the processing result received by the receiving means.
  • an object information providing system provides an image in real space that matches matching data for extracting a predetermined object from an image in real space and an object that matches at least a certain amount. And a virtual object associated with the matching data and displayed on the real space image in association with the object, and virtual object information associated with the matching data is provided to the terminal.
  • An object information providing system that includes at least one matching data among a plurality of pieces of matching data having different amounts of information included in the matching information as the matching data.
  • the terminal transmits matching data transmitted from the transmitting means.
  • object information receiving means for receiving virtual object information, image analysis means for executing image analysis processing based on matching data received by the object information receiving means, and processing results in the image analysis processing executed by the image analysis means.
  • a terminal based on matching data for extracting a predetermined object from an image in the real space, detects an object that matches at least a certain amount from the image in the real space.
  • a terminal that extracts and superimposes a virtual object associated with the matching data in association with the target object on a real space image, and provides virtual object information associated with the matching data for the terminal A virtual terminal in which at least one matching data among a plurality of pieces of matching data having different amounts of information is associated with the matching data.
  • Object information receiving means for receiving from object information providing apparatus together with object information
  • the image analysis means for performing an image analysis process for extracting an object from an image in the real space based on the matching data received by the object information receiving means, and the matching data in the image analysis process performed by the image analysis means
  • Image analysis result transmitting means for transmitting a processing result indicating success or failure of the extraction of a legitimate object to the object information providing apparatus.
  • an object information providing method relates to matching data for extracting a predetermined target from an image in the real space and a target that matches at least a certain amount with the real space.
  • the virtual object information associated with the matching data is provided to a terminal that extracts the virtual object associated with the matching data and displays the virtual object associated with the target object in a superimposed manner on the real space image.
  • An object information providing method in an object information providing apparatus wherein at least one matching data among a plurality of pieces of matching data having different amounts of information contained in stages is sent to a terminal together with virtual object information associated with the matching data Send step to send and matchon sent in send step
  • a reception step for receiving from the terminal a processing result indicating success or failure of extraction of a valid object represented by the matching data, and reception at the reception step And adjusting the amount of matching data provided to the terminal in association with the virtual object information based on the processed result.
  • an object information providing method relates to matching data for extracting a predetermined target from an image in the real space and a target that matches at least a certain amount with the real space.
  • a virtual object extracted from the image and associated with the matching data and superimposed on the physical space image, and virtual object information in which matching data is associated with the terminal An object information providing method in a system including the object information providing apparatus, wherein the object information providing apparatus includes at least one matching data among a plurality of matching data in which the amount of information included is stepwise.
  • An object information receiving step in which the terminal receives one matching data and virtual object information transmitted in the transmitting step, and the terminal uses the matching data received in the object information receiving step from the real space image.
  • An image analysis step for performing an image analysis process for extracting an object and a processing result indicating whether or not a valid object represented by the matching data is successfully extracted in the image analysis process performed in the image analysis step by the terminal
  • An image analysis result transmission step to be transmitted to the information providing device, a reception step in which the object information providing device receives the processing result transmitted in the image analysis result transmitting step, and a process in which the object information providing device has been received in the receiving step. Based on the results, Having an adjustment step of adjusting the amount of information of matching data to be provided to the terminal in association with virtual object information.
  • At least one matching data is transmitted from the object information providing apparatus to the terminal, and the result of the image analysis process based on the matching data is transmitted from the terminal to the object information providing apparatus.
  • the amount of information is adjusted.
  • the success or failure of extraction of the legitimate object represented by the matching data in the terminal is reflected in the information amount of the matching data. Therefore, matching data having an appropriate amount of information can be provided without reducing the accuracy of matching processing between the matching data and the object in the real space image.
  • the plurality of matching data includes a plurality of simplified data that are different in stages from the one complete matching data having the largest amount of information among the plurality of matching data.
  • the transmission means transmits complete matching data and simplified matching data including information amount of one of a plurality of stages related to the information amount together with the virtual object information, and the adjusting means is simplified matching.
  • simple matching data having an information amount smaller than the information amount of one stage is associated with the virtual object information, and the valid object is extracted. If not, simplified matching data having a larger amount of information than that of one stage Mapped to the virtual object information.
  • the plurality of matching data includes a plurality of simplified data that are different in stages from one complete matching data having the largest amount of information among the plurality of matching data.
  • the transmission means transmits perfect matching data and simplified matching data including information amount of one of a plurality of stages regarding the information amount together with virtual object information, and the adjustment means performs image analysis.
  • the simplified matching data having an information amount smaller than the information amount in one stage is associated with the virtual object information, and the legitimate object is not extracted in the image analysis process.
  • the simplified matching data having an information amount larger than the information amount in one stage is Corresponding to the object information
  • the object information receiving unit receives the complete matching data and the simplified matching data transmitted from the transmitting unit
  • the image analysis unit is configured to receive the complete matching data and the simplified matching data received by the object information receiving unit.
  • Image analysis processing based on each is performed, and the image analysis result transmitting means determines that a valid object is found when the object extracted based on the complete matching data matches the object extracted based on the simplified matching data.
  • the processing result indicating that the object has been extracted is transmitted to the object information providing apparatus, and when the object extracted based on the complete matching data does not match the object extracted based on the simplified matching data, a valid object is extracted.
  • the processing result indicating that it has not been sent is sent to the object information providing apparatus.
  • the plurality of matching data includes one complete matching data having the largest amount of information among the plurality of matching data, and a plurality of simple matching data having different amounts of information included in stages.
  • the object information receiving means receives the complete matching data transmitted from the transmitting means, and the simplified matching data including the information amount of one of a plurality of stages related to the information amount, and the image analysis means includes: The image analysis processing based on each of the complete matching data and the simplified matching data received by the object information receiving means is performed, and the image analysis result transmitting means extracts based on the object extracted based on the complete matching data and the simplified matching data.
  • complete matching data and simplified matching data are transmitted from the object information providing apparatus to the terminal, image analysis processing based on each matching data is performed, and the objects extracted in each image analysis processing match.
  • the amount of information in the simplified matching data is adjusted by one step less, and if they do not match, the amount of information in the simplified matching data is adjusted by one step more.
  • the information amount of the simple matching data matched with virtual object information is appropriately set according to the success or failure of extraction of a legitimate target object.
  • the adjustment unit may include simplified matching data having an information amount larger than an information amount in one stage when a valid object is not extracted in the image analysis process. Is associated with the virtual object information, and a learned flag indicating that simple matching data appropriate for extracting a legitimate object is associated with the virtual object information is set in association with the virtual object information. It is good to do.
  • the adjustment means includes simplified matching data having an information amount larger than the information amount in one stage when a valid object is not extracted in the image analysis processing. Is associated with the virtual object information, and a learned flag indicating that simple matching data appropriate for extracting a legitimate object is associated with the virtual object information is set in association with the virtual object information. It is good to do.
  • the image analysis process using the complete matching data and the simplified matching data is sequentially performed, and the valid object is extracted after the image analysis process in which the valid object is extracted in the image analysis process based on the simplified matching data.
  • simple matching data that is one step larger in amount of information than the simple matching data is associated with virtual object information.
  • Simple matching data with a small amount is associated with virtual object information. Therefore, the simplified matching data in which the accuracy and amount of information of the matching process with the object are optimized are associated with the virtual object information.
  • the system recognizes that the optimized simplified matching data is associated with the virtual object information.
  • the transmission unit may obtain the simplified matching data associated with the virtual object information when the learned flag is set in association with the virtual object information.
  • the virtual object information is transmitted together with the virtual object information, and the adjustment unit has learned about the virtual object information when an object other than a valid object is extracted in the image analysis process based on the simplified matching data transmitted by the transmission unit.
  • the flag may be unset.
  • the transmission unit obtains the simplified matching data associated with the virtual object information when the learned flag is set in association with the virtual object information.
  • the virtual object information is transmitted together with the virtual object information, and the adjustment unit has learned about the virtual object information when an object other than a valid object is extracted in the image analysis process based on the simplified matching data transmitted by the transmission unit.
  • the flag is not set, the image analysis unit performs image analysis processing based on the simplified matching data received by the object information receiving unit, and the image analysis result transmission unit performs a plurality of objects based on the simplified matching data in the image analysis processing.
  • an object is extracted, it is not a valid object May transmit the processing result indicating that the extracted object information provision device.
  • the learned flag is not set. Therefore, the process of optimizing the capacity of the simplified matching data is performed again. This prevents a decrease in the accuracy of the matching process.
  • the matching process with the object in the image in the real space is performed.
  • Matching data having an appropriate amount of information can be provided without degrading accuracy.
  • Embodiments of an object information providing apparatus, an object information providing system, a terminal, and an object information providing method according to the present invention will be described with reference to the drawings. If possible, the same parts are denoted by the same reference numerals, and redundant description is omitted.
  • FIG. 1 is a diagram showing a device configuration of the object information providing system 1.
  • the object information providing system 1 includes an object information providing apparatus 10 and a terminal 20.
  • the object information providing apparatus 10 and the terminal 20 can communicate with each other via a communication network N configured by the Internet, a wireless LAN, a mobile communication network, or the like.
  • the terminal 20 is configured by, for example, a mobile terminal, a personal computer, or the like. Although three terminals 20 are shown in FIG. 1, the number of terminals 20 existing in the object information providing system 1 is arbitrary.
  • three-dimensional map information including information such as the shape of a structure in the real space is provided from the object information providing apparatus 10 to the terminal 20 through communication. Analysis is performed to match the image of the real space acquired by the camera and the real space image, and if they match, the virtual object is superimposed on the real space image in association with a predetermined object existing in the real space It assumes the AR technology to be displayed.
  • the object information providing apparatus 10 is an apparatus that provides virtual object information to a terminal, and is configured by a computer such as a server.
  • the virtual object information includes image data of the virtual object to be superimposed and displayed on the real space image on the terminal 20.
  • the virtual object information is associated with matching data for extracting a predetermined target from an image in the real space.
  • the terminal 20 is a device that extracts a predetermined object from an image in the real space based on the matching data, and superimposes and displays the virtual object associated with the matching data on the image in the real space in association with the object.
  • the matching data is image data representing a predetermined object in the real space.
  • the predetermined object is, for example, a structure such as a building or a natural terrain existing in the real space and can be extracted from the real space image by image analysis. Also good.
  • FIG. 2 is a block diagram showing a functional configuration of the object information providing apparatus 10.
  • the object information providing apparatus 10 functionally includes a position information acquisition unit 11, an object information extraction unit 12, an object information storage unit 13, an object information transmission unit 14 (transmission means), and an image analysis result.
  • a receiving unit 15 (receiving unit) and a matching data adjusting unit 16 (adjusting unit) are included.
  • FIG. 3 is a block diagram showing a functional configuration of the terminal 20.
  • the terminal 20 functionally includes a position measurement unit 21, a position information transmission unit 22, an object information acquisition unit 23 (object information reception unit), an object information storage unit 24, a photographing unit 25, an image.
  • An analysis unit 26 image analysis unit
  • an image analysis result transmission unit 27 image analysis result transmission unit
  • a display unit 28 are included.
  • FIG. 4 is a hardware configuration diagram of the object information providing apparatus 10.
  • the object information providing apparatus 10 physically includes a CPU 101, a RAM 102 and a ROM 103 which are main storage devices, a communication module 104 which is a data transmission / reception device, an auxiliary storage device 105 such as a hard disk and a flash memory,
  • the computer system includes an input device 106 such as a keyboard as an input device and an output device 107 such as a display.
  • Each function shown in FIG. 2 has a communication module 104, an input device 106, and an output device 107 under the control of the CPU 101 by reading predetermined computer software on the hardware such as the CPU 101 and the RAM 102 shown in FIG.
  • the terminal 20 shown in FIG. 3 also has a hardware configuration as shown in FIG. Again, with reference to FIG. 2, each function part of the object information provision apparatus 10 is demonstrated in detail.
  • the position information acquisition unit 11 is a part that acquires position information indicating the location of the terminal 20. This position information is transmitted from the position information transmission unit 22 of the terminal 20. The position information acquisition unit 11 sends the acquired position information to the object information extraction unit 12.
  • the object information extraction unit 12 refers to the object information storage unit 13 and extracts from the object information storage unit 13 object information related to the virtual object arranged around the position indicated by the position information acquired from the position information acquisition unit 11. It is a part to do.
  • the object information extraction unit 12 sends the extracted object information to the object information transmission unit 14.
  • the object information storage unit 13 stores object information, and includes a matching data storage unit 13A and a virtual object storage unit 13B.
  • FIG. 5 is a diagram illustrating a configuration of the virtual object storage unit 13B and an example of stored data.
  • the virtual object storage unit 13B includes, for each ID for identifying object information, complete matching data, a position / direction, a learned flag, a simple level and an image analysis processing result, simple matching data, and virtual object information. Is remembered.
  • “Complete matching data” is matching data having the largest amount of information among a plurality of matching data representing one object.
  • the object information storage unit 13 stores a plurality of matching data as matching data representing one object.
  • “Position / direction” is information indicating the position and direction of the object in the real space.
  • the position is represented by, for example, longitude and latitude.
  • the direction is represented by a rotation angle formed by a predetermined direction of the object with respect to the predetermined direction.
  • the predetermined direction in the target object is, for example, a facing direction in which the target object can be visually recognized as shown in the image indicated by the matching data.
  • “NE: xx degrees” represents a direction rotated xx degrees in the east direction (E) with respect to the north direction (N).
  • “S” represents the south direction
  • “W” represents the west direction. Since the virtual object is displayed in a superimposed manner in association with the object in the real space, the “position” information indicates the location of the object and also the arrangement position of the virtual object.
  • the “learned flag” is a flag indicating that simple matching data appropriate for extracting a legitimate object is associated with the virtual object information.
  • simple matching data having an amount of information suitable for matching processing with an object in a real space image is selected from a plurality of simple matching data, and information on matching data by the matching data adjustment unit 16 is selected. The state where the adjustment of the amount is completed is shown.
  • the learned flag “0” indicates a state where the adjustment of the information amount of the matching data by the matching data adjustment unit 16 is not completed. Details of setting the learned flag will be described later.
  • Image analysis processing result is information indicating the image analysis processing result for each simple level of the simple matching data, and indicates the success or failure of the legitimate object extraction by the simple matching data in the terminal 20. Details of the image analysis processing result will be described later.
  • “Simplified matching data” is simplified matching data currently associated with the virtual object information.
  • the plurality of matching data representing one object includes complete matching data and a plurality of simplified matching data in which the amount of information included is different in stages.
  • the “simple matching data” in the virtual object storage unit 13B is simple matching data having an information amount at any stage among a plurality of simple matching data.
  • “Virtual object information” is image data representing a virtual object that is superimposed and displayed on an image in the real space on the terminal 20.
  • FIG. 6 is a diagram illustrating an example of the configuration of the matching data storage unit 13A and stored data.
  • the matching data storage unit 13 ⁇ / b> A stores a plurality of matching data representing the target object for each target object.
  • the example shown in FIG. 6 shows a plurality of matching data associated with the ID “1” in the virtual object storage unit 13B of FIG.
  • the matching data storage unit 13A shown in FIG. 6 stores one complete matching data and simple matching data of simple levels 1 to 4.
  • the matching data is image data, the amount of information varies greatly depending on how to include information such as the color gradation expression method and resolution.
  • the perfect matching data and the simple matching data of the simplification levels 1 to 4 are image data representing one object with different amounts of information. Perfect matching data is matching data having the largest amount of information.
  • the simple matching data at the simple level 1 is, for example, matching data obtained by performing noise removal and monochromatic processing on complete matching data.
  • Simple level 2 simple matching data is, for example, matching data obtained by performing gray scale processing on simple level 1 simple matching data.
  • Simple level 3 simple matching data is, for example, matching data obtained by performing thinning processing on simple level 2 simple matching data.
  • Simple level 4 simple matching data is, for example, matching data obtained by applying white and black binarization processing to simple level 3 simple matching data.
  • the multiple matching data obtained in this way has the largest amount of information of complete matching data.
  • simple matching data the higher the simple level, the smaller the amount of information.
  • Image analysis processing for extracting an object from an image in real space using matching data with a large amount of information is highly accurate but has a heavy processing load. Further, communication between devices with matching data having a large amount of information requires more time than communication with matching data having a small amount of information. Conversely, image analysis processing that extracts an object from an image in real space using matching data with a small amount of information is low in accuracy, but has a small processing load. Note that the above-described processing for obtaining each simplified matching data is an example, and is not limited to this example as long as matching data having different amounts of information can be obtained in stages.
  • the object information transmitting unit 14 is a part that transmits at least one matching data among a plurality of matching data having different amounts of information in stages to the terminal 20 together with virtual object information associated with the matching data. .
  • the matching data and the virtual object information are included in the object information sent from the object information extraction unit 12.
  • the object information transmission unit 14 sends the matching data stored in the virtual object storage unit 13B (see FIG. 5) together with the virtual object information extracted based on the position information by the object information extraction unit 12 to the terminal 20. Send to.
  • the object information transmission unit 14 transmits the simple matching data to the terminal 20. To do.
  • the image analysis result receiving unit 15 receives the matching data in the image analysis process for extracting the target object from the real space image performed in the terminal 20 based on the matching data transmitted to the terminal 20 by the object information transmitting unit 14. This is a part that receives from the terminal 20 a notification of processing results indicating the success or failure of extraction of the legitimate object to be represented.
  • the matching data adjustment unit 16 is a part that adjusts the amount of matching data provided to the terminal in association with the virtual object information based on the processing result received by the image analysis result receiving unit 15. Specifically, in the image analysis process based on the simplified matching data, the matching data adjustment unit 16 receives the notification that the valid object has been extracted, and when the image analysis result receiving unit 15 receives the notification, Simplified matching data having an information amount smaller than the data is associated with the virtual object information. That is, the matching data adjustment unit 16 changes the simplified matching data associated with the virtual object information to simplified matching data that is one level higher in the simplification level in the virtual object storage unit 13B illustrated in FIG. “OK” is set in the image analysis processing result of the same record as the image processing result using the simple matching data.
  • the matching data adjusting unit 16 determines that the matching data adjusting unit 16 is more than the simplified matching data.
  • the simplified matching data having a large amount of information is associated with the virtual object information, and the learned flag is set in association with the virtual object information. That is, the matching data adjustment unit 16 changes the simple matching data associated with the virtual object information to simple matching data that is one level lower in the simplification level in the virtual object storage unit 13B illustrated in FIG.
  • “NG” is set in the image analysis processing result of the same record.
  • the matching data adjustment unit 16 sets a learned flag in the record. Therefore, at this point, simple matching data with the smallest amount of information among simple matching data from which a valid target can be extracted is associated with the virtual object information. That is, simple matching data associated with virtual object information is optimized.
  • the learned flag when the learned flag is set, in the image analysis process based on the simplified matching data transmitted by the object information transmitting unit 14, a notification that an object other than a valid object has been extracted is displayed as an image analysis result.
  • the receiving unit 15 receives the matching data
  • the matching data adjustment unit 16 does not set the learned flag regarding the virtual object information.
  • the learned flag is not set when something other than the legitimate object is extracted from the image in the real space. Therefore, the process of optimizing the capacity of simplified matching data is performed again. This prevents a decrease in the accuracy of the matching process.
  • the position positioning unit 21 is a part that acquires position information indicating the location of the terminal 20, and is configured by a GPS device, for example.
  • the position measurement unit 21 sends the acquired position information to the position information transmission unit 22.
  • the position information transmitting unit 22 is a part that transmits position information to the object information providing apparatus 10.
  • the object information acquisition unit 23 is a part that receives matching data and virtual object information transmitted from the object information providing apparatus 10.
  • the object information acquisition unit 23 stores matching data and virtual object information in the object information storage unit 24.
  • the object information storage unit 24 stores matching data and virtual object information received by the object information acquisition unit 23, and includes a matching data storage unit 24A and a virtual object storage unit 24B.
  • FIG. 7 is a diagram illustrating a configuration of the object information storage unit 24 and an example of stored data.
  • the object information storage unit 24 stores complete matching data, simplified matching data, and virtual object information in association with an ID for identifying object information. That is, the matching data storage unit 24A corresponds to a column of complete matching data and simplified version matching data in the table of FIG. 7, and the virtual object storage unit 24B corresponds to a column of virtual object information in the table of FIG.
  • the imaging unit 25 is a part that captures an image of a real space, and is configured by a device such as a camera.
  • the imaging unit 25 sends an image in the real space to the image analysis unit 26.
  • the image analysis unit 26 is a part that performs image analysis processing for extracting an object from an image in the real space based on the matching data received by the object information acquisition unit 23.
  • the image analysis unit 26 based on each of the complete matching data and the simple matching data, An image analysis process for extracting an object from an image in the real space is performed. Then, the image analysis unit 26 sends information related to the success or failure of extraction of the object based on each of the complete matching data and the simplified matching data to the image analysis result transmission unit 27.
  • the image analysis unit 26 extracts an object from an image in the real space based on the simple matching data. Perform analysis processing. Then, the image analysis unit 26 sends information related to the success or failure of extraction of the object based on the simplified matching data to the image analysis result transmission unit 27.
  • the image analysis result transmitting unit 27 is a part that transmits to the object information providing apparatus a processing result indicating success or failure of extraction of a legitimate object represented by the matching data in the image analysis processing performed by the image analyzing unit 26.
  • the image analysis result transmitting unit 27 transmits “OK notification” to the object information providing apparatus 10.
  • OK notification is a notification indicating that the object extracted based on the simplified matching data is a valid object represented by the matching data.
  • the image analysis result transmission unit 27 transmits “NG notification 1” to the object information providing apparatus 10.
  • NG notification 1 is a notification indicating that the object extracted based on the simplified matching data is not a valid object represented by the matching data.
  • the image analysis result transmission unit 27 sets “NG notification 2” as an object. It transmits to the information providing apparatus 10.
  • “NG notification 2” is a notification indicating that a plurality of objects including those other than the legitimate object are extracted based on the simplified matching data.
  • an object extraction process based on each of the complete matching data and the simple matching data is performed, and when the objects extracted by the respective extraction processes match, or an object based on the simple matching data
  • the image analysis unit 26 displays the object extraction result and the object information in the real space image together with the real space image.
  • the extraction result includes information indicating the position and size of the object in the real space image.
  • the display unit 28 is a part that superimposes and displays a virtual object on an image in the real space, and includes a device such as a display. Specifically, the display unit 28 associates the virtual object associated with the matching data used in the image analysis processing in the object information storage unit 24 with the target object extracted by the image analysis unit 26, so that the real space Is superimposed on the image.
  • the position measurement unit 21 acquires position information indicating the location of the terminal 20 (S1). Subsequently, the position information transmitting unit 22 transmits the position information to the object information providing apparatus 10 (S2).
  • the object information acquisition unit 23 receives the matching data and virtual object information transmitted from the object information providing apparatus 10 according to the position information transmitted in step S2 (S3).
  • the object information acquisition unit 23 stores matching data and virtual object information in the object information storage unit 24.
  • the image analysis unit 26 determines whether the object information acquisition unit 23 has acquired the complete matching data and the simplified version matching data from the object information providing device 10 or only the simplified version matching data (S4). ). If it is determined that complete matching data and simplified matching data have been acquired, the processing procedure proceeds to step S5. On the other hand, if it is determined that only simplified version matching data has been acquired, the processing procedure proceeds to step S10.
  • step S5 the image analysis unit 26 performs image analysis processing for extracting an object from the real space image acquired by the imaging unit 25 based on the simplified matching data acquired in step S3 (S5).
  • the process of step S5 is repeated until some object is extracted from the real space image by the matching process using the simplified matching data.
  • the image analysis unit 26 performs image analysis processing for extracting an object from the real space image acquired by the imaging unit 25 based on the complete matching data acquired in step S3 (S6). Since perfect matching data has a large amount of information, it is highly possible that an object extracted based on perfect matching data is a valid object represented by the matching data. Then, the image analysis unit 26 determines whether or not the object extracted based on the complete matching data matches the object extracted based on the simplified matching data in step S5.
  • step S7 If it is not determined that they match, the processing procedure proceeds to step S7. In this case, since the target extracted in step S5 is not a valid target, the image analysis result transmission unit 27 transmits “NG notification 1” to the object information providing apparatus 10 (S7).
  • step S8 the processing procedure proceeds to step S8.
  • the display unit 28 associates the virtual object acquired in step S3 with the target object extracted by the image analysis unit 26. It is superimposed and displayed on the real space image (S8).
  • the image analysis result transmitting unit 27 transmits “OK notification” to the object information providing apparatus 10 (S9).
  • step S10 the image analysis unit 26 performs image analysis processing for extracting an object from an image in the real space based on the simplified matching data acquired in step S3 (S10).
  • the case where only the simple matching data is transmitted from the object information providing apparatus 10 is a case where the simple matching data optimum for the image analysis processing is determined in the object information providing apparatus 10. That is, the simplified matching data is learned simplified matching data.
  • step S11 If one object is extracted from the real space image based on the learned simplified matching data, the processing procedure proceeds to step S11.
  • the display unit 28 extracts the virtual object acquired in step S3 by the image analysis unit 26. The image is superimposed on the real space image in association with the target object (S11).
  • step S12 when a plurality of objects are extracted from the real space image based on the learned simple matching data, the processing procedure proceeds to step S12.
  • the image analysis result transmitting unit 27 sends “NG notification 2” to the object information providing apparatus 10. Transmit (S12).
  • FIG. 9 is a flowchart showing the processing contents of the object information providing method in the object information providing apparatus 10.
  • the location information acquisition unit 11 acquires location information indicating the location of the terminal 20 (S21).
  • the object information extraction unit 12 refers to the object information storage unit 13, and obtains object information regarding the virtual object arranged around the position indicated by the position information acquired from the position information acquisition unit 11, as an object information storage unit 13 is extracted (S22).
  • the object information transmitting unit 14 determines whether or not a learned flag is set in the extracted object information (S23). If it is not determined that the learned flag is set, the processing procedure proceeds to step S24. On the other hand, if it is determined that the learned flag is set, the processing procedure proceeds to step S32.
  • step S24 If the learned flag associated with the virtual object information is not set in step S24, the optimum simplified matching data has not been determined, so the object information transmitting unit 14 determines the complete matching data and the simplified matching. Data is transmitted to the terminal 20 (S24). Subsequently, the image analysis result receiving unit 15 receives a notification of a processing result in an image analysis process for extracting an object from a real space image performed in the terminal 20 based on the matching data transmitted in step S24 ( S25).
  • the matching data adjustment unit 16 acquires, from the matching data storage unit 13A, simple matching data whose simplification level is one step higher than the simple matching data transmitted in step S24 (S26). Then, the matching data adjustment unit 16 stores the simplified matching data acquired in step S26 in the virtual object storage unit 13B in association with the virtual object information transmitted in step S24 (S27).
  • the processing procedure proceeds to step S28.
  • the virtual object information is stored in the virtual object storage unit 13B in association with the virtual object information (S30). Further, the object information transmission unit 14 may transmit the updated simplified matching data to the terminal 20 for use in the image analysis process (S31).
  • step S32 when the learned flag associated with the virtual object information is set, the optimum simple matching data is determined, so the object information transmitting unit 14 transmits only the simple matching data to the terminal. 20 to send. Subsequently, the image analysis result receiving unit 15 uses “NG” as a notification of the processing result in the image analysis processing for extracting the object from the real space image performed in the terminal 20 based on the simplified matching data transmitted in step S32. It is determined whether or not “Notification 2” has been received (S33). If it is determined that “NG notification 2” has been received, the processing procedure proceeds to step S34. On the other hand, if it is not determined that “NG notification 2” has been received, the processing procedure ends.
  • the simple matching data once optimized from the viewpoint of the information amount may not be optimal, and the process of optimizing the information amount of the simple matching data is performed again.
  • the object information transmission unit 14 may transmit complete matching data to the terminal 20 for use in image analysis processing (S35). Thus, the process ends.
  • the object information providing apparatus 10 the object information providing system 1, the terminal 20, and the object information providing method of the present embodiment, at least one matching data is transmitted from the object information providing apparatus 10 to the terminal 20, and based on the matching data
  • the result of the image analysis processing is transmitted from the terminal 20 to the object information providing apparatus 10, and the information amount of the matching data is adjusted based on the image processing result.
  • the success or failure of extraction of the legitimate object represented by the matching data in the terminal 20 is reflected in the information amount of the matching data. Therefore, matching data having an appropriate amount of information can be provided without reducing the accuracy of matching processing between the matching data and the object in the real space image.
  • the accuracy of the extraction of the object from the image of the real space based on the matching data is as follows: the distance between the object and the terminal 20, and the facing direction of the object in the direction in which the terminal 20 is located relative to the object. Therefore, the matching data adjustment unit 16 may adjust the matching data in view of this dependency.
  • the image analysis result transmitting unit 27 of the terminal 20 provides the position information and orientation information of the terminal 20 as object information in addition to the information regarding the success or failure of the extraction of the object based on the matching data in the image analyzing unit 26. Transmit to device 10.
  • the direction information can be acquired by a device such as a geomagnetic sensor and an acceleration sensor (not shown) included in the terminal 20.
  • the matching data adjustment unit 16 of the object information providing apparatus 10 determines the object and the terminal 20 based on the received position information and direction information and the position / direction information of the object stored in the object information storage unit 13. And the angle formed by the direction in which the terminal 20 is located with respect to the directly facing direction of the object is calculated.
  • the matching data adjustment unit 16 classifies the calculated distance and angle into a predetermined range of sections set in advance with respect to the distance value and the angle value, and information on matching data for each of the classified distance and angle sections The amount can be adjusted. That is, the matching data adjustment unit 16 can select suitable simple matching data for each classified distance and angle section. Note that the matching data adjustment unit 16 may be able to select simple matching data for each distance and angle section and each time range.
  • the simple matching data is selected and changed (S26, S28 to S29, S34).
  • the accuracy regarding the success or failure of the extraction of the object from the real space image based on the matching data depends on various external factors such as the amount of light, the performance of the camera, and the camera shake of the user of the terminal 20 at the time of shooting.
  • the matching data adjustment unit 16 receives the same type of notification regarding the success or failure of extraction of a target object a predetermined number of times or more or a predetermined ratio in a state where a certain simplicity level is set. In such a case, selection and change of the simplified matching data may be performed. In addition, the matching data adjustment unit 16 aggregates the number of notifications regarding the success or failure of the extraction of the object for each simple level, and statistically processes the total number of notifications to calculate the simple matching data. May be selected.
  • the accuracy of the matching process with the object in the image in the real space is increased.
  • Matching data having an appropriate amount of information can be provided without being reduced.
  • SYMBOLS 1 ... Object information provision system, 10 ... Object information provision apparatus, 11 ... Position information acquisition part, 12 ... Object information extraction part, 13 ... Object information storage part, 13A ... Matching data storage part, 13B ... Virtual object storage part, 14 ... object information transmission unit, 15 ... image analysis result reception unit, 16 ... matching data adjustment unit, 20 ... terminal, 21 ... position positioning unit, 22 ... position information transmission unit, 23 ... object information acquisition unit, 24 ... object information storage , 24A ... matching data storage unit, 24B ... virtual object storage unit, 25 ... photographing unit, 26 ... image analysis unit, 27 ... image analysis result transmission unit, 28 ... display unit, N ... network.

Abstract

　オブジェクト情報提供システムにおいて、少なくとも一のマッチングデータがオブジェクト情報提供装置から端末に送信され、そのマッチングデータに基づく画像解析処理の結果が端末からオブジェクト情報提供装置に送信され、画像処理結果に基づきマッチングデータの情報量が調整される。これにより、端末におけるマッチングデータが表す正当な対象物の抽出の成否が、マッチングデータの情報量に反映される。

Description

オブジェクト情報提供装置、オブジェクト情報提供システム、端末及びオブジェクト情報提供方法
　本発明は、オブジェクト情報提供装置、オブジェクト情報提供システム、端末及びオブジェクト情報提供方法に関する。
　近年において、ＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ：拡張現実）技術を用いたサービスが開発・提供されている。例えば、移動端末の所在位置の周辺に配置された仮想オブジェクトを取得し、移動端末に備えられたカメラにより取得した現実空間の画像に種々の情報や画像を含む仮想オブジェクトを重畳表示する技術が知られている。また、移動端末のカメラにより取得された現実空間の画像から所定のマーカを検出し、当該マーカに対応付けられた仮想オブジェクトを現実空間の画像に重畳してディスプレイに表示する技術が知られている。また、通信を介して現実空間の構造物の形状等の情報を含む３次元の地図情報を取得し、取得した地図情報とカメラにより取得された現実空間の画像とをマッチングさせる画像解析処理を行い、それらが一致した場合に、現実空間に存在する所定の対象物に対応付けて仮想オブジェクトを現実空間の画像に重畳表示する技術が知られている。一方、様々な条件で撮影された画像から良好にマーカを検出するために、マーカの登録画像から、色彩、輝度、コントラスト、解像度、ピントを変化させたマーカの画像を生成し、生成した画像に基づき、マーカの検出を行う装置が知られている（例えば、特許文献１参照）。
特開２００７－３０４７３３号公報
　上述した、３次元の地図情報と現実空間の画像とのマッチングに基づき仮想オブジェクトを表示させる技術では、マッチングに用いるマッチングデータとなる３次元の地図情報は、非常に大きな情報量を有する。このため、マッチングデータの情報量の多さに起因して、マッチングデータを取得するための通信時間が長い、通信回線におけるトラフィックの増大、通信料金の高騰、及びマッチング処理時間の増大といった課題が生じている。特許文献１に記載された技術は、検出精度向上を課題として、予め記憶したマーカの画像のバリエーションを生成するものであるため、上述したようなマッチングデータの情報量の多さに起因する課題を解決できない。
　そこで、本発明は、上記問題点に鑑みてなされたものであり、現実空間の画像における所定の対象物を抽出して当該対象物に対応付けて仮想オブジェクトを表示するＡＲ技術において、現実空間の画像における対象物とのマッチング処理の精度を低下させることなく、適切な情報量を有するマッチングデータを提供することが可能なオブジェクト情報提供装置、オブジェクト情報提供システム、端末及びオブジェクト情報提供方法を提供することを目的とする。
　上記課題を解決するために、本発明の一形態に係るオブジェクト情報提供装置は、現実空間の画像から所定の対象物を抽出するためのマッチングデータと、一定以上一致する対象物を現実空間の画像から抽出し、当該マッチングデータに対応付けられた仮想オブジェクトを当該対象物に対応付けて現実空間の画像に重畳表示する端末に対して、マッチングデータが対応付けられた仮想オブジェクト情報を提供するオブジェクト情報提供装置であって、含まれる情報量が段階的に異なる複数のマッチングデータのうちの少なくとも一のマッチングデータを、該マッチングデータに対応付けられた仮想オブジェクト情報と共に端末に送信する送信手段と、送信手段により送信されたマッチングデータに基づき端末において現実空間の画像から対象物を抽出する画像解析処理における、該マッチングデータが表す正当な対象物の抽出の成否を示す処理結果を端末から受信する受信手段と、受信手段により受信された処理結果に基づき、仮想オブジェクト情報に対応付けて端末に提供するマッチングデータの情報量を調整する調整手段と、を備える。
　上記課題を解決するために、本発明の一形態に係るオブジェクト情報提供システムは、現実空間の画像から所定の対象物を抽出するためのマッチングデータと、一定以上一致する対象物を現実空間の画像から抽出し、当該マッチングデータに対応付けられた仮想オブジェクトを当該対象物に対応付けて現実空間の画像に重畳表示する端末と、該端末に対してマッチングデータが対応付けられた仮想オブジェクト情報を提供するオブジェクト情報提供装置と、を含むオブジェクト情報提供システムであって、オブジェクト情報提供装置は、含まれる情報量が段階的に異なる複数のマッチングデータのうちの少なくとも一のマッチングデータを、該マッチングデータに対応付けられた仮想オブジェクト情報と共に端末に送信する送信手段と、送信手段により送信されたマッチングデータに基づき端末において現実空間の画像から対象物を抽出する画像解析処理における、該マッチングデータが表す正当な対象物の抽出の成否を示す処理結果を端末から受信する受信手段と、受信手段により受信された処理結果に基づき、仮想オブジェクト情報に対応付けて端末に提供するマッチングデータの情報量を調整する調整手段と、を備え、端末は、送信手段から送信されたマッチングデータ及び仮想オブジェクト情報を受信するオブジェクト情報受信手段と、オブジェクト情報受信手段により受信されたマッチングデータに基づき画像解析処理を実施する画像解析手段と、画像解析手段により実施された画像解析処理における処理結果をオブジェクト情報提供装置に送信する画像解析結果送信手段と、を備える。
　上記課題を解決するために、本発明の一形態に係る端末は、現実空間の画像から所定の対象物を抽出するためのマッチングデータに対して、一定以上一致する対象物を現実空間の画像から抽出し、当該マッチングデータに対応付けられた仮想オブジェクトを当該対象物に対応付けて現実空間の画像に重畳表示する端末と、該端末に対してマッチングデータが対応付けられた仮想オブジェクト情報を提供するオブジェクト情報提供装置と、を含むオブジェクト情報提供システムにおける端末であって、含まれる情報量が段階的に異なる複数のマッチングデータのうちの少なくとも一のマッチングデータを、該マッチングデータに対応付けられた仮想オブジェクト情報と共に、オブジェクト情報提供装置から受信するオブジェクト情報受信手段と、オブジェクト情報受信手段により受信されたマッチングデータに基づき現実空間の画像から対象物を抽出する画像解析処理を実施する画像解析手段と、画像解析手段により実施された画像解析処理における、マッチングデータが表す正当な対象物の抽出の成否を示す処理結果をオブジェクト情報提供装置に送信する画像解析結果送信手段と、を備える。
　また、上記課題を解決するために、本発明の一形態に係るオブジェクト情報提供方法は、現実空間の画像から所定の対象物を抽出するためのマッチングデータと、一定以上一致する対象物を現実空間の画像から抽出し、当該マッチングデータに対応付けられた仮想オブジェクトを当該対象物に対応付けて現実空間の画像に重畳表示する端末に対して、マッチングデータが対応付けられた仮想オブジェクト情報を提供するオブジェクト情報提供装置におけるオブジェクト情報提供方法であって、含まれる情報量が段階的に異なる複数のマッチングデータのうちの少なくとも一のマッチングデータを、該マッチングデータに対応付けられた仮想オブジェクト情報と共に端末に送信する送信ステップと、送信ステップにおいて送信されたマッチングデータに基づき端末において現実空間の画像から対象物を抽出する画像解析処理における、該マッチングデータが表す正当な対象物の抽出の成否を示す処理結果を端末から受信する受信ステップと、受信ステップにおいて受信された処理結果に基づき、仮想オブジェクト情報に対応付けて端末に提供するマッチングデータの情報量を調整する調整ステップと、を有する。
　また、上記課題を解決するために、本発明の一形態に係るオブジェクト情報提供方法は、現実空間の画像から所定の対象物を抽出するためのマッチングデータと、一定以上一致する対象物を現実空間の画像から抽出し、当該マッチングデータに対応付けられた仮想オブジェクトを当該対象物に対応付けて現実空間の画像に重畳表示する端末と、該端末に対してマッチングデータが対応付けられた仮想オブジェクト情報を提供するオブジェクト情報提供装置と、を含むシステムにおけるオブジェクト情報提供方法であって、オブジェクト情報提供装置が、含まれる情報量が段階的に異なる複数のマッチングデータのうちの少なくとも一のマッチングデータを、該マッチングデータに対応付けられた仮想オブジェクト情報と共に端末に送信する送信ステップと、端末が、送信ステップにおいて送信された一のマッチングデータ及び仮想オブジェクト情報を受信するオブジェクト情報受信ステップと、端末が、オブジェクト情報受信ステップにおいて受信されたマッチングデータに基づき現実空間の画像から対象物を抽出する画像解析処理を実施する画像解析ステップと、端末が、画像解析ステップにおいて実施された画像解析処理における、当該マッチングデータが表す正当な対象物の抽出の成否を示す処理結果をオブジェクト情報提供装置に送信する画像解析結果送信ステップと、オブジェクト情報提供装置が、画像解析結果送信ステップにおいて送信された処理結果を受信する受信ステップと、オブジェクト情報提供装置が、受信ステップにおいて受信された処理結果に基づき、仮想オブジェクト情報に対応付けて端末に提供するマッチングデータの情報量を調整する調整ステップと、を有する。
　上記形態によれば、少なくとも一のマッチングデータがオブジェクト情報提供装置から端末に送信され、そのマッチングデータに基づく画像解析処理の結果が端末からオブジェクト情報提供装置に送信され、画像処理結果に基づきマッチングデータの情報量が調整される。これにより、端末におけるマッチングデータが表す正当な対象物の抽出の成否が、マッチングデータの情報量に反映される。従って、マッチングデータと現実空間の画像における対象物とのマッチング処理の精度を低下させることなく、適切な情報量を有するマッチングデータを提供できる。
　また、別の形態に係るオブジェクト情報提供装置では、複数のマッチングデータは、当該複数のマッチングデータのうち最も情報量が多い一の完全マッチングデータと、含まれる情報量が段階的に異なる複数の簡略マッチングデータとを含み、送信手段は、完全マッチングデータ、及び情報量に関する複数の段階のうちの一の段階の情報量が含まれる簡略マッチングデータを仮想オブジェクト情報と共に送信し、調整手段は、簡略マッチングデータに基づく画像解析処理において、正当な対象物が抽出された場合には、一の段階の情報量より少ない情報量を有する簡略マッチングデータを当該仮想オブジェクト情報に対応付け、正当な対象物が抽出されなかった場合には、一の段階の情報量より多い情報量を有する簡略マッチングデータを当該仮想オブジェクト情報に対応付ける。
　また、別の形態に係るオブジェクト情報提供システムでは、複数のマッチングデータは、当該複数のマッチングデータのうち最も情報量が多い一の完全マッチングデータと、含まれる情報量が段階的に異なる複数の簡略マッチングデータとを含み、送信手段は、完全マッチングデータ、及び情報量に関する複数の段階のうちの一の段階の情報量が含まれる簡略マッチングデータを仮想オブジェクト情報と共に送信し、調整手段は、画像解析処理において正当な対象物が抽出された場合には、一の段階の情報量より少ない情報量を有する簡略マッチングデータを当該仮想オブジェクト情報に対応付け、画像解析処理において正当な対象物が抽出されなかった場合には、一の段階の情報量より多い情報量を有する簡略マッチングデータを当該仮想オブジェクト情報に対応付け、オブジェクト情報受信手段は、送信手段から送信された完全マッチングデータ及び簡略マッチングデータを受信し、画像解析手段は、オブジェクト情報受信手段により受信された完全マッチングデータ及び簡略マッチングデータの各々に基づく画像解析処理を実施し、画像解析結果送信手段は、完全マッチングデータに基づき抽出された対象物と簡略マッチングデータに基づき抽出された対象物とが一致する場合に、正当な対象物が抽出された旨の処理結果をオブジェクト情報提供装置に送信し、完全マッチングデータに基づき抽出された対象物と簡略マッチングデータに基づき抽出された対象物とが一致しない場合に、正当な対象物が抽出されなかった旨の処理結果をオブジェクト情報提供装置に送信する。
　また、別の形態に係る端末では、複数のマッチングデータは、当該複数のマッチングデータのうち最も情報量が多い一の完全マッチングデータと、含まれる情報量が段階的に異なる複数の簡略マッチングデータとを含み、オブジェクト情報受信手段は、送信手段から送信された完全マッチングデータ、及び情報量に関する複数の段階のうちの一の段階の情報量が含まれる簡略マッチングデータを受信し、画像解析手段は、オブジェクト情報受信手段により受信された完全マッチングデータ及び簡略マッチングデータの各々に基づく画像解析処理を実施し、画像解析結果送信手段は、完全マッチングデータに基づき抽出された対象物と簡略マッチングデータに基づき抽出された対象物とが一致する場合に、正当な対象物が抽出された旨の処理結果をオブジェクト情報提供装置に送信し、完全マッチングデータに基づき抽出された対象物と簡略マッチングデータに基づき抽出された対象物とが一致しない場合に、正当な対象物が抽出されなかった旨の処理結果をオブジェクト情報提供装置に送信する。
　上記形態によれば、完全マッチングデータ及び簡略マッチングデータがオブジェクト情報提供装置から端末に送信され、各々のマッチングデータに基づく画像解析処理が実施され、各画像解析処理において抽出された対象物が一致した場合に、簡略マッチングデータにおける情報量が一段階少なく調整され、一致しなかった場合に、簡略マッチングデータにおける情報量が一段階多く調整される。これにより、仮想オブジェクト情報に対応付けられる簡略マッチングデータの情報量が、正当な対象物の抽出の成否に応じて適切に設定される。
　また、さらに別の形態に係るオブジェクト情報提供装置では、調整手段は、画像解析処理において正当な対象物が抽出されなかった場合には、一の段階の情報量より多い情報量を有する簡略マッチングデータを当該仮想オブジェクト情報に対応付けると共に、正当な対象物を抽出するのに適切な簡略マッチングデータが当該仮想オブジェクト情報に対応付けられていることを示す学習済フラグを当該仮想オブジェクト情報に対応付けて設定することとしてもよい。
　また、さらに別の形態に係るオブジェクト情報提供システムでは、調整手段は、画像解析処理において正当な対象物が抽出されなかった場合には、一の段階の情報量より多い情報量を有する簡略マッチングデータを当該仮想オブジェクト情報に対応付けると共に、正当な対象物を抽出するのに適切な簡略マッチングデータが当該仮想オブジェクト情報に対応付けられていることを示す学習済フラグを当該仮想オブジェクト情報に対応付けて設定することとしてもよい。
　上記形態によれば、完全マッチングデータ及び簡略マッチングデータを用いた画像解析処理が逐次実施され、簡略マッチングデータに基づく画像解析処理において正当な対象物が抽出された画像解析処理の後に、正当な対象物が抽出されなかった場合に、当該簡略マッチングデータよりも情報量が一段階多い簡略マッチングデータが仮想オブジェクト情報に対応付けられるので、正当な対象物を抽出可能な簡略マッチングデータのうち最も情報量が少ない簡略マッチングデータが仮想オブジェクト情報に対応付けられる。従って、対象物とのマッチング処理の精度及び情報量が最適化された簡略マッチングデータが仮想オブジェクト情報に対応付けられることとなる。また、このときに学習済フラグが設定されるので、最適化された簡略マッチングデータが当該仮想オブジェクト情報に対応付けられていることが、システムにおいて認識される。
　また、さらに別の形態に係るオブジェクト情報提供装置では、送信手段は、仮想オブジェクト情報に対応付けられて学習済フラグが設定されている場合に、当該仮想オブジェクト情報に対応付けられた簡略マッチングデータを当該仮想オブジェクト情報と共に送信し、調整手段は、送信手段により送信された簡略マッチングデータに基づく画像解析処理において、正当な対象物以外のものが抽出された場合には、当該仮想オブジェクト情報に関する学習済フラグを非設定にすることとしてもよい。
　また、さらに別の形態に係るオブジェクト情報提供システムでは、送信手段は、仮想オブジェクト情報に対応付けられて学習済フラグが設定されている場合に、当該仮想オブジェクト情報に対応付けられた簡略マッチングデータを当該仮想オブジェクト情報と共に送信し、調整手段は、送信手段により送信された簡略マッチングデータに基づく画像解析処理において、正当な対象物以外のものが抽出された場合には、当該仮想オブジェクト情報に関する学習済フラグを非設定にし、画像解析手段は、オブジェクト情報受信手段により受信された簡略マッチングデータに基づく画像解析処理を実施し、画像解析結果送信手段は、画像解析処理において簡略マッチングデータに基づき複数の対象物が抽出された場合に、正当な対象物以外のものが抽出された旨の処理結果をオブジェクト情報提供装置に送信することとしてもよい。
　上記形態によれば、情報量の観点において一旦最適化された簡略マッチングデータに基づく画像解析処理において、正当な対象物以外のものが現実空間の画像から抽出された場合に、学習済フラグが非設定にされるので、簡略マッチングデータの容量の最適化のプロセスが再び行われることとなる。これにより、マッチング処理の精度の低下が防止される。
　本発明の一側面によれば、現実空間の画像における所定の対象物を抽出して当該対象物に対応付けて仮想オブジェクトを表示するＡＲ技術において、現実空間の画像における対象物とのマッチング処理の精度を低下させることなく、適切な情報量を有するマッチングデータを提供することが可能となる。
オブジェクト情報提供システムの装置構成を示すブロック図である。 オブジェクト情報提供装置の機能的構成を示すブロック図である。 端末の機能的構成を示すブロック図である。 オブジェクト情報提供装置のハードブロック図である。 オブジェクト情報提供装置における仮想オブジェクト格納部の構成及び記憶されているデータの例を示す図である。 オブジェクト情報提供装置におけるマッチングデータ格納部の構成及び記憶されているデータの例を示す図である。 端末におけるオブジェクト情報記憶部の構成及び記憶されているデータの例を示す図である。 オブジェクト情報提供方法における端末の処理内容を示すフローチャートである。 オブジェクト情報提供方法におけるオブジェクト情報提供装置の処理内容を示すフローチャートである。
　本発明に係るオブジェクト情報提供装置、オブジェクト情報提供システム、端末及びオブジェクト情報提供方法の実施形態について図面を参照して説明する。なお、可能な場合には、同一の部分には同一の符号を付して、重複する説明を省略する。
　図１は、オブジェクト情報提供システム１の装置構成を示す図である。オブジェクト情報提供システム１は、オブジェクト情報提供装置１０及び端末２０を含む。オブジェクト情報提供装置１０及び端末２０は、インターネットや無線ＬＡＮ、移動体通信網などで構成されている通信ネットワークＮを介して互いに通信することが可能である。端末２０は、例えば、携帯端末、パーソナルコンピュータ等により構成される。なお、図１では端末２０を３台示しているが、オブジェクト情報提供システム１内に存在する端末２０の台数は任意である。
　本実施形態のオブジェクト情報提供システム１は、通信を介して現実空間の構造物の形状等の情報を含む３次元の地図情報がオブジェクト情報提供装置１０から端末２０に提供され、端末２０において地図情報とカメラにより取得された現実空間の画像とをマッチングさせる画像解析処理が行われ、それらが一致した場合に、現実空間に存在する所定の対象物に対応付けて仮想オブジェクトを現実空間の画像に重畳表示するＡＲ技術を想定したものである。
　オブジェクト情報提供装置１０は、端末に対して、仮想オブジェクト情報を提供する装置であって、例えばサーバといったコンピュータにより構成される。仮想オブジェクト情報は、端末２０において、現実空間の画像に重畳表示させるための仮想オブジェクトの画像データを含む。仮想オブジェクト情報は、現実空間の画像から所定の対象物を抽出するためのマッチングデータが対応付けられている。
　端末２０は、マッチングデータに基づき現実空間の画像から所定の対象物を抽出し、当該マッチングデータに対応付けられた仮想オブジェクトを当該対象物に対応付けて現実空間の画像に重畳表示する装置である。マッチングデータは、現実空間における所定の対象物を表す画像データである。また、所定の対象物は、例えば、現実空間に存在する建物や自然の地形といった構造物であって、現実空間の画像から画像解析によって抽出可能なものであれば、どのようなものであってもよい。
　図２は、オブジェクト情報提供装置１０の機能的構成を示すブロック図である。図２に示すように、オブジェクト情報提供装置１０は、機能的には、位置情報取得部１１、オブジェクト情報抽出部１２、オブジェクト情報記憶部１３、オブジェクト情報送信部１４（送信手段）、画像解析結果受信部１５（受信手段）、及びマッチングデータ調整部１６（調整手段）を含む。
　また、図３は、端末２０の機能的構成を示すブロック図である。図３に示すように、端末２０は、機能的には、位置測位部２１、位置情報送信部２２、オブジェクト情報取得部２３（オブジェクト情報受信手段）、オブジェクト情報記憶部２４、撮影部２５、画像解析部２６（画像解析手段）、画像解析結果送信部２７（画像解析結果送信手段）、及び表示部２８を含む。
　図４は、オブジェクト情報提供装置１０のハードウエア構成図である。オブジェクト情報提供装置１０は、物理的には、図４に示すように、ＣＰＵ１０１、主記憶装置であるＲＡＭ１０２及びＲＯＭ１０３、データ送受信デバイスである通信モジュール１０４、ハードディスク、フラッシュメモリ等の補助記憶装置１０５、入力デバイスであるキーボード等の入力装置１０６、ディスプレイ等の出力装置１０７などを含むコンピュータシステムとして構成されている。図２に示した各機能は、図４に示すＣＰＵ１０１、ＲＡＭ１０２等のハードウエア上に所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵ１０１の制御のもとで通信モジュール１０４、入力装置１０６、出力装置１０７を動作させるとともに、ＲＡＭ１０２や補助記憶装置１０５におけるデータの読み出し及び書き込みを行うことで実現される。また、図３に示す端末２０も、図４に示すようなハードウエア構成を有する。再び、図２を参照し、オブジェクト情報提供装置１０の各機能部について詳細に説明する。
　位置情報取得部１１は、端末２０の所在位置を示す位置情報を取得する部分である。この位置情報は、端末２０の位置情報送信部２２から送信される。位置情報取得部１１は、取得した位置情報をオブジェクト情報抽出部１２に送出する。
　オブジェクト情報抽出部１２は、オブジェクト情報記憶部１３を参照して、位置情報取得部１１から取得した位置情報に示される位置周辺に配置された仮想オブジェクトに関するオブジェクト情報を、オブジェクト情報記憶部１３から抽出する部分である。オブジェクト情報抽出部１２は、抽出したオブジェクト情報をオブジェクト情報送信部１４に送出する。
　オブジェクト情報記憶部１３は、オブジェクト情報を記憶している部分であって、マッチングデータ格納部１３Ａ及び仮想オブジェクト格納部１３Ｂを含む。図５は、仮想オブジェクト格納部１３Ｂの構成及び記憶されているデータの例を示す図である。図５に示すように、仮想オブジェクト格納部１３Ｂは、オブジェクト情報を識別するＩＤごとに、完全マッチングデータ、位置・方向、学習済フラグ、簡略レベル及び画像解析処理結果、簡略マッチングデータ及び仮想オブジェクト情報を記憶している。
　「完全マッチングデータ」は、一の対象物を表す複数のマッチングデータのうちの最も情報量が多いマッチングデータである。後述するように、オブジェクト情報記憶部１３は、一の対象物を表すマッチングデータとして、複数のマッチングデータを記憶している。
　「位置・方向」は、現実空間における対象物の位置及び方向を示す情報である。位置は、例えば、経度及び緯度により表される。方向は、所定の方向を基準とした当該対象物における所定方向が成す回転角により表される。当該対象物における所定方向は、例えば、当該対象物をマッチングデータにより示される画像のとおりに視認できる正対方向である。例えば、「ＮＥ：ｘｘ度」は、北方向（Ｎ）を基準として東方向（Ｅ）にｘｘ度回転した方向を表す。なお、同図における「Ｓ」は南方向を表し、「Ｗ」は西方向を表す。なお、仮想オブジェクトは、現実空間の対象物に対応付けられて重畳表示されるので、「位置」の情報は、対象物の所在位置を示すと共に、仮想オブジェクトの配置位置でもある。
　「学習済フラグ」は、正当な対象物を抽出するのに適切な簡略マッチングデータが当該仮想オブジェクト情報に対応付けられていることを示すフラグである。学習済フラグ「１」は、複数の簡略マッチングデータから、現実空間の画像における対象物とのマッチング処理に好適な情報量を有する簡略マッチングデータが選択され、マッチングデータ調整部１６によるマッチングデータの情報量の調整が完了した状態を示す。一方、学習済フラグ「０」は、マッチングデータ調整部１６によるマッチングデータの情報量の調整が完了していない状態を示す。学習済フラグの設定の詳細については後述する。
　「画像解析処理結果」は、簡略マッチングデータの簡略レベルごとの画像解析処理結果を示す情報であって、端末２０における簡略マッチングデータによる正当な対象物の抽出の成否を示す。画像解析処理結果の詳細については後述する。
　「簡略マッチングデータ」は、現時点において、当該仮想オブジェクト情報に対応付けられている簡略マッチングデータである。一の対象物を表す複数のマッチングデータは、完全マッチングデータと、含まれる情報量が段階的に異なる複数の簡略マッチングデータを含む。仮想オブジェクト格納部１３Ｂにおける「簡略マッチングデータ」は、複数の簡略マッチングデータのうちの、いずれかの段階の情報量を有する簡略マッチングデータである。
　「仮想オブジェクト情報」は、端末２０において、現実空間の画像に重畳表示される仮想オブジェクトを表す画像データである。
　また、図６は、マッチングデータ格納部１３Ａの構成及び記憶されているデータの例を示す図である。図６に示すように、マッチングデータ格納部１３Ａは、一の対象物ごとに、その対象物を表す複数のマッチングデータを記憶している。図６に示す例は、図５の仮想オブジェクト格納部１３ＢにおけるＩＤ「１」に対応付けられた複数のマッチングデータを示す。図６に示すマッチングデータ格納部１３Ａは、一の完全マッチングデータ及び簡略レベル１～４の簡略マッチングデータを記憶している。
　マッチングデータは、画像データであるので、色の階調の表現方法、解像度等の情報の含ませ方に依存して、情報量が大きく異なる。完全マッチングデータ及び簡略レベル１～４の簡略マッチングデータは、一の対象物を異なる情報量により表した画像データである。完全マッチングデータは、最も多くの情報量を有するマッチングデータである。簡略レベル１の簡略マッチングデータは、例えば、完全マッチングデータに対して、ノイズ除去及び単色化処理を施して得られたマッチングデータである。簡易レベル２の簡略マッチングデータは、例えば、簡略レベル１の簡略マッチングデータに対して、グレースケール処理を施して得られたマッチングデータである。
　簡易レベル３の簡略マッチングデータは、例えば、簡略レベル２の簡略マッチングデータに対して、細線化処理を施して得られたマッチングデータである。簡易レベル４の簡略マッチングデータは、例えば、簡略レベル３の簡略マッチングデータに対して、白色及び黒色の二値化処理を施して得られたマッチングデータである。
　こうして得られた複数のマッチングデータでは、完全マッチングデータの情報量が最も多い。また、簡略マッチングデータでは、簡易レベルが高いほど情報量が少ない。情報量が多いマッチングデータを用いた現実空間の画像から対象物を抽出する画像解析処理は、高精度である一方、処理負荷が大きい。また、情報量が多いマッチングデータの装置間の通信は、情報量が少ないマッチングデータの通信に比べて時間を要する。逆に、情報量が少ないマッチングデータを用いた現実空間の画像から対象物を抽出する画像解析処理は、低精度である一方、処理負荷が小さい。なお、上述した、各簡略マッチングデータを得るための処理は、例示であって、情報量が段階的に異なるマッチングデータが得られる限りにおいて、この例に限定されない。
　オブジェクト情報送信部１４は、含まれる情報量が段階的に異なる複数のマッチングデータのうちの少なくとも一のマッチングデータを、該マッチングデータに対応付けられた仮想オブジェクト情報と共に端末２０に送信する部分である。マッチングデータ及び仮想オブジェクト情報は、オブジェクト情報抽出部１２から送出されたオブジェクト情報に含まれる。
　具体的には、オブジェクト情報送信部１４は、オブジェクト情報抽出部１２により位置情報に基づき抽出された仮想オブジェクト情報と共に、仮想オブジェクト格納部１３Ｂ（図５参照）に記憶されているマッチングデータを端末２０に送信する。
　さらに具体的には、当該仮想オブジェクト情報に対応付けられた学習済フラグが設定されていない場合には、最適な簡略マッチングデータが決定されていないので、オブジェクト情報送信部１４は、完全マッチングデータ及び簡略マッチングデータを端末２０に送信する。完全マッチングデータは、簡略マッチングデータを用いた画像解析処理により現実空間の画像から抽出された対象物が正当であるか否かを判定するために用いられる。一方、当該仮想オブジェクト情報に対応付けられた学習済フラグが設定されている場合には、最適な簡略マッチングデータが決定されているので、オブジェクト情報送信部１４は、簡略マッチングデータを端末２０に送信する。
　画像解析結果受信部１５は、オブジェクト情報送信部１４により端末２０に送信されたマッチングデータに基づいて端末２０において実施された現実空間の画像から対象物を抽出する画像解析処理における、該マッチングデータが表す正当な対象物の抽出の成否を示す処理結果の通知を端末２０から受信する部分である。
　マッチングデータ調整部１６は、画像解析結果受信部１５により受信された処理結果に基づき、仮想オブジェクト情報に対応付けて端末に提供するマッチングデータの情報量を調整する部分である。具体的には、マッチングデータ調整部１６は、簡略マッチングデータに基づく画像解析処理において、正当な対象物が抽出された旨の通知を画像解析結果受信部１５が受信した場合には、当該簡略マッチングデータよりも少ない情報量を有する簡略マッチングデータを当該仮想オブジェクト情報に対応付ける。即ち、マッチングデータ調整部１６は、図５に示す仮想オブジェクト格納部１３Ｂにおいて、当該仮想オブジェクト情報に対応付けられている簡略マッチングデータを、簡略レベルが１段階高い簡略マッチングデータに変更すると共に、従前の簡略マッチングデータによる画像処理結果として、同レコードの画像解析処理結果に「Ｏ．Ｋ．」を設定する。
　また、簡略マッチングデータに基づく画像解析処理において正当な対象物が抽出されなかった旨の通知を画像解析結果受信部１５が受信した場合には、マッチングデータ調整部１６は、当該簡略マッチングデータよりも多い情報量を有する簡略マッチングデータを当該仮想オブジェクト情報に対応付けると共に、学習済フラグを当該仮想オブジェクト情報に対応付けて設定する。即ち、マッチングデータ調整部１６は、図５に示す仮想オブジェクト格納部１３Ｂにおいて、当該仮想オブジェクト情報に対応付けられている簡略マッチングデータを、簡略レベルが１段階低い簡略マッチングデータに変更すると共に、従前の簡略マッチングデータによる画像処理結果として、同レコードの画像解析処理結果に「ＮＧ」を設定する。そして、マッチングデータ調整部１６は、同レコードにおいて、学習済フラグを設定する。従って、この時点において、正当な対象物を抽出可能な簡略マッチングデータのうち最も情報量が少ない簡略マッチングデータが当該仮想オブジェクト情報に対応付けられることとなる。即ち、仮想オブジェクト情報に対応付けられる簡略マッチングデータが最適化される。
　また、学習済フラグが設定されている場合に、オブジェクト情報送信部１４により送信された簡略マッチングデータに基づく画像解析処理において、正当な対象物以外のものが抽出された旨の通知を画像解析結果受信部１５が受信した場合には、マッチングデータ調整部１６は、当該仮想オブジェクト情報に関する学習済フラグを非設定にする。これにより、情報量の観点において一旦最適化された簡略マッチングデータに基づく画像解析処理において、正当な対象物以外のものが現実空間の画像から抽出された場合に学習済フラグが非設定にされるので、簡略マッチングデータの容量の最適化のプロセスが再び行われることとなる。これにより、マッチング処理の精度の低下が防止される。
　次に、再び図４を参照して、端末２０の各機能部の機能について説明する。位置測位部２１は、端末２０の所在位置を示す位置情報を取得する部分であって、例えばＧＰＳ装置により構成される。位置測位部２１は、取得した位置情報を位置情報送信部２２に送出する。位置情報送信部２２は、位置情報をオブジェクト情報提供装置１０に送信する部分である。
　オブジェクト情報取得部２３は、オブジェクト情報提供装置１０から送信されたマッチングデータ及び仮想オブジェクト情報を受信する部分である。オブジェクト情報取得部２３は、マッチングデータ及び仮想オブジェクト情報をオブジェクト情報記憶部２４に記憶させる。
　オブジェクト情報記憶部２４は、オブジェクト情報取得部２３により受信されたマッチングデータ及び仮想オブジェクト情報を記憶する部分であって、マッチングデータ格納部２４Ａ及び仮想オブジェクト格納部２４Ｂを含む。図７は、オブジェクト情報記憶部２４の構成及び記憶されているデータの例を示す図である。オブジェクト情報記憶部２４は、オブジェクト情報を識別するＩＤに対応付けて、完全マッチングデータ、簡略版マッチングデータ及び仮想オブジェクト情報を記憶している。即ち、マッチングデータ格納部２４Ａは、図７のテーブルにおける完全マッチングデータ及び簡略版マッチングデータのカラムに相当し、仮想オブジェクト格納部２４Ｂは、図７のテーブルにおける仮想オブジェクト情報のカラムに相当する。
　撮影部２５は、現実空間の画像を撮影する部分であって、例えば、カメラといった装置により構成される。撮影部２５は、現実空間の画像を画像解析部２６に送出する。
　画像解析部２６は、オブジェクト情報取得部２３により受信されたマッチングデータに基づき現実空間の画像から対象物を抽出する画像解析処理を実施する部分である。
　具体的には、オブジェクト情報取得部２３が完全マッチングデータ及び簡略版マッチングデータをオブジェクト情報提供装置１０から取得した場合には、画像解析部２６は、完全マッチングデータ及び簡略マッチングデータの各々に基づき、現実空間の画像から対象物を抽出する画像解析処理を実施する。そして、画像解析部２６は、完全マッチングデータ及び簡略マッチングデータの各々に基づく対象物の抽出の成否に関する情報を、画像解析結果送信部２７に送出する。
　一方、オブジェクト情報取得部２３が簡略版マッチングデータのみをオブジェクト情報提供装置１０から取得した場合には、画像解析部２６は、当該簡略マッチングデータに基づき、現実空間の画像から対象物を抽出する画像解析処理を実施する。そして、画像解析部２６は、当該簡略マッチングデータに基づく対象物の抽出の成否に関する情報を、画像解析結果送信部２７に送出する。
　画像解析結果送信部２７は、画像解析部２６により実施された画像解析処理における、マッチングデータが表す正当な対象物の抽出の成否を示す処理結果をオブジェクト情報提供装置に送信する部分である。
　具体的には、画像解析部２６において、完全マッチングデータ及び簡略マッチングデータの各々に基づく対象物の抽出処理が実施され、各々の対象物の抽出の成否に関する情報を画像解析部２６から取得し、且つ、各々の抽出処理により抽出された対象物が一致する場合には、画像解析結果送信部２７は、「Ｏ．Ｋ．通知」をオブジェクト情報提供装置１０に送信する。「Ｏ．Ｋ．通知」は、簡略マッチングデータに基づき抽出された対象物が、当該マッチングデータが表す正当な対象物であることを示す通知である。一方、各々の抽出処理により抽出された対象物が一致しない場合には、画像解析結果送信部２７は、「ＮＧ通知１」をオブジェクト情報提供装置１０に送信する。「ＮＧ通知１」は、簡略マッチングデータに基づき抽出された対象物が、当該マッチングデータが表す正当な対象物でないことを示す通知である。
　また、画像解析部２６において、簡略マッチングデータに基づく対象物の抽出処理のみが実施され、複数の対象物が抽出された場合には、画像解析結果送信部２７は、「ＮＧ通知２」をオブジェクト情報提供装置１０に送信する。「ＮＧ通知２」は、簡略マッチングデータに基づき、正当な対象物以外のものを含む複数の対象物が抽出されたことを示す通知である。
　また、画像解析部２６において、完全マッチングデータ及び簡略マッチングデータの各々に基づく対象物の抽出処理が実施され、各々の抽出処理により抽出された対象物が一致する場合、又は簡略マッチングデータに基づく対象物の抽出処理のみが実施され、一の対象物が抽出された場合には、画像解析部２６は、現実空間の画像における対象物の抽出結果及びオブジェクト情報を、現実空間の画像と共に表示部２８に送出する。抽出結果は、現実空間の画像における当該対象物の位置や大きさを示す情報を含む。
　表示部２８は、仮想オブジェクトを現実空間の画像に重畳表示する部分であって、例えば、ディスプレイといった装置を含む。具体的には、表示部２８は、画像解析処理に用いられたマッチングデータにオブジェクト情報記憶部２４において対応付けられた仮想オブジェクトを、画像解析部２６により抽出された対象物に対応付けて現実空間の画像に重畳表示する。
　次に、図８を参照して、オブジェクト情報提供システム１におけるオブジェクト情報提供方法において、端末２０により実施される処理内容を説明する。
　まず、位置測位部２１は、端末２０の所在位置を示す位置情報を取得する（Ｓ１）。続いて、位置情報送信部２２は、位置情報をオブジェクト情報提供装置１０に送信する（Ｓ２）。
　次に、オブジェクト情報取得部２３は、ステップＳ２において送信した位置情報に応じてオブジェクト情報提供装置１０から送信されたマッチングデータ及び仮想オブジェクト情報を受信する（Ｓ３）。オブジェクト情報取得部２３は、マッチングデータ及び仮想オブジェクト情報をオブジェクト情報記憶部２４に記憶させる。
　続いて、画像解析部２６は、オブジェクト情報取得部２３がオブジェクト情報提供装置１０から完全マッチングデータ及び簡略版マッチングデータを取得したか、又は簡略版マッチングデータのみを取得したか、を判断する（Ｓ４）。完全マッチングデータ及び簡略版マッチングデータを取得したと判断された場合には、処理手順は、ステップＳ５に進められる。一方、簡略版マッチングデータのみを取得したと判断された場合には、処理手順は、ステップＳ１０に進められる。
　ステップＳ５において、画像解析部２６は、ステップＳ３において取得した簡略マッチングデータに基づき、撮影部２５により取得された現実空間の画像から対象物を抽出する画像解析処理を実施する（Ｓ５）。ステップＳ５の処理は、簡略マッチングデータを用いたマッチング処理により現実空間の画像から何らかの対象物が抽出されるまで繰り返される。
　次に、画像解析部２６は、ステップＳ３において取得した完全マッチングデータに基づき、撮影部２５により取得された現実空間の画像から対象物を抽出する画像解析処理を実施する（Ｓ６）。完全マッチングデータは、多くの情報量を有するので、完全マッチングデータに基づき抽出された対象物は、当該マッチングデータが表す正当な対象物である可能性が高い。そして、画像解析部２６は、完全マッチングデータに基づき抽出された対象物と、ステップＳ５において簡略マッチングデータに基づき抽出された対象物が一致するか否かを判定する。
　一致すると判定されなかった場合には処理手順はステップＳ７に進められる。この場合には、ステップＳ５において抽出された対象物が正当な対象物ではないので、画像解析結果送信部２７は、「ＮＧ通知１」をオブジェクト情報提供装置１０に送信する（Ｓ７）。
　一方、一致すると判定された場合には処理手順はステップＳ８に進められる。この場合には、ステップＳ５において抽出された対象物が正当な対象物であるので、表示部２８は、ステップＳ３において取得した仮想オブジェクトを、画像解析部２６により抽出された対象物に対応付けて現実空間の画像に重畳表示する（Ｓ８）。また、続くステップＳ９において、画像解析結果送信部２７は、「Ｏ．Ｋ．通知」をオブジェクト情報提供装置１０に送信する（Ｓ９）。
　また、ステップＳ１０において、画像解析部２６は、ステップＳ３において取得した簡略マッチングデータに基づき、現実空間の画像から対象物を抽出する画像解析処理を実施する（Ｓ１０）。簡略マッチングデータのみがオブジェクト情報提供装置１０から送信される場合は、オブジェクト情報提供装置１０において、画像解析処理に最適な簡略マッチングデータが決定されている場合である。即ち、この簡略マッチングデータは、学習済の簡略マッチングデータである。
　学習済の簡略マッチングデータに基づき、現実空間の画像から一の対象物が抽出された場合には、処理手順はステップＳ１１に進められる。この場合には、抽出された対象物は当該簡略マッチングデータが表す正当な対象物である可能性が高いので、表示部２８は、ステップＳ３において取得した仮想オブジェクトを、画像解析部２６により抽出された対象物に対応付けて現実空間の画像に重畳表示する（Ｓ１１）。
　一方、学習済の簡略マッチングデータに基づき、現実空間の画像から複数の対象物が抽出された場合には、処理手順はステップＳ１２に進められる。この場合には、一旦学習済とされた簡略マッチングデータが画像解析処理に最適なものではないことを意味するので、画像解析結果送信部２７は、「ＮＧ通知２」をオブジェクト情報提供装置１０に送信する（Ｓ１２）。
　続いて、オブジェクト情報提供装置１０におけるオブジェクト情報提供方法の処理内容を説明する。図９は、オブジェクト情報提供装置１０におけるオブジェクト情報提供方法の処理内容を示すフローチャートである。
　まず、位置情報取得部１１は、端末２０の所在位置を示す位置情報を取得する（Ｓ２１）。続いて、オブジェクト情報抽出部１２は、オブジェクト情報記憶部１３を参照して、位置情報取得部１１から取得した位置情報に示される位置周辺に配置された仮想オブジェクトに関するオブジェクト情報を、オブジェクト情報記憶部１３から抽出する（Ｓ２２）。そして、オブジェクト情報送信部１４は、抽出されたオブジェクト情報における学習済フラグが設定されているか否かを判定する（Ｓ２３）。学習済フラグが設定されていると判定されなかった場合には、処理手順はステップＳ２４に進められる。一方、学習済フラグが設定されていると判定された場合には、処理手順はステップＳ３２に進められる。
　ステップＳ２４において、当該仮想オブジェクト情報に対応付けられた学習済フラグが設定されていない場合には、最適な簡略マッチングデータが決定されていないので、オブジェクト情報送信部１４は、完全マッチングデータ及び簡略マッチングデータを端末２０に送信する（Ｓ２４）。続いて、画像解析結果受信部１５は、ステップＳ２４において送信したマッチングデータに基づいて端末２０において実施された現実空間の画像から対象物を抽出する画像解析処理における、処理結果の通知を受信する（Ｓ２５）。
　「Ｏ．Ｋ．通知」を受信した場合には、処理手順はステップＳ２６に進められる。この場合には、簡略マッチングデータの情報量を更に少なくしても、正当な対象物の抽出が可能である可能性がある。そこで、マッチングデータ調整部１６は、ステップＳ２４において送信した簡略マッチングデータよりも、簡略レベルが１段階上の簡略マッチングデータをマッチングデータ格納部１３Ａから取得する（Ｓ２６）。そして、マッチングデータ調整部１６は、ステップＳ２６で取得した簡略マッチングデータを、ステップＳ２４において送信した仮想オブジェクト情報に対応付けて、仮想オブジェクト格納部１３Ｂに格納する（Ｓ２７）。
　一方、ステップＳ２５で「ＮＧ通知１」を受信した場合には、処理手順はステップＳ２８に進められる。この場合には、ステップＳ２４で送信した簡略マッチングデータは、正当な対象物を抽出可能な簡略マッチングデータのうち、最も情報量が少ない簡略マッチングデータよりも、簡略レベルが１段階上の簡略マッチングデータであると考えられる。そこで、マッチングデータ調整部１６は、ステップＳ２４において送信した簡略マッチングデータよりも、簡略レベルが１段階下の簡略マッチングデータをマッチングデータ格納部１３Ａから取得する（Ｓ２８）。そして、マッチングデータ調整部１６は、当該仮想オブジェクト情報に対応付けて学習済フラグを設定（学習済フラグ＝１）すると共に（Ｓ２９）、ステップＳ２８で取得した簡略マッチングデータを、ステップＳ２４において送信した仮想オブジェクト情報に対応付けて、仮想オブジェクト格納部１３Ｂに格納する（Ｓ３０）。さらに、オブジェクト情報送信部１４は、更新された簡略マッチングデータを、画像解析処理に供するために端末２０に送信してもよい（Ｓ３１）。
　ステップＳ３２において、当該仮想オブジェクト情報に対応付けられた学習済フラグが設定されている場合には、最適な簡略マッチングデータが決定されているので、オブジェクト情報送信部１４は、簡略マッチングデータのみを端末２０に送信する。続いて、画像解析結果受信部１５は、ステップＳ３２において送信した簡略マッチングデータに基づいて端末２０において実施された現実空間の画像から対象物を抽出する画像解析処理における処理結果の通知として、「ＮＧ通知２」を受信したか否かを判定する（Ｓ３３）。「ＮＧ通知２」を受信したと判定された場合には、処理手順はステップＳ３４に進められる。一方、「ＮＧ通知２」を受信したと判定されなかった場合には、処理手順は終了する。
　ステップＳ３４において、マッチングデータ調整部１６は、当該仮想オブジェクト情報に関する学習済フラグを非設定（学習済フラグ＝０）にする（Ｓ３４）。この場合には、情報量の観点において一旦最適化された簡略マッチングデータが最適ではなかった可能性があるとして、簡略マッチングデータの情報量の最適化のプロセスが再び行われることとなる。さらに、オブジェクト情報送信部１４は、完全マッチングデータを、画像解析処理に供するために端末２０に送信してもよい（Ｓ３５）。こうして、処理を終了する。
　本実施形態のオブジェクト情報提供装置１０、オブジェクト情報提供システム１、端末２０及びオブジェクト情報提供方法によれば、少なくとも一のマッチングデータがオブジェクト情報提供装置１０から端末２０に送信され、そのマッチングデータに基づく画像解析処理の結果が端末２０からオブジェクト情報提供装置１０に送信され、画像処理結果に基づきマッチングデータの情報量が調整される。これにより、端末２０におけるマッチングデータが表す正当な対象物の抽出の成否が、マッチングデータの情報量に反映される。従って、マッチングデータと現実空間の画像における対象物とのマッチング処理の精度を低下させることなく、適切な情報量を有するマッチングデータを提供できる。
　以上、本発明をその実施形態に基づいて詳細に説明した。しかし、本発明は上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。
　例えば、マッチングデータに基づく現実空間の画像からの対象物の抽出の精度は、対象物と端末２０との距離、対象物を基準とした端末２０が所在する方向の対象物の正対方向に対してのずれ（角度）、光量といった種々の条件に依存する場合があるので、マッチングデータ調整部１６は、この依存性に鑑みて、マッチングデータの調整を実施することとしてもよい。具体的には、端末２０の画像解析結果送信部２７は、画像解析部２６におけるマッチングデータに基づく対象物の抽出の成否に関する情報に併せて、端末２０の位置情報及び方位情報を、オブジェクト情報提供装置１０に送信する。方位情報は、端末２０が備える地磁気センサ及び加速度センサ（図示せず）といった装置により取得できる。そして、オブジェクト情報提供装置１０のマッチングデータ調整部１６は、受信した位置情報及び方位情報並びに、オブジェクト情報記憶部１３に記憶された当該対象物の位置・方向の情報に基づき、対象物と端末２０との距離及び対象物の正対方向に対しての端末２０が所在する方向が成す角度を算出する。マッチングデータ調整部１６は、算出した距離及び角度を、距離の値及び角度の値に関して予め複数設定された所定範囲の区間に分類し、分類された距離及び角度の区間ごとに、マッチングデータの情報量の調整を実施できる。即ち、マッチングデータ調整部１６は、分類された距離及び角度の区間ごとに好適な簡略マッチングデータを選択できる。なお、マッチングデータ調整部１６は、距離及び角度の区間並びに時刻の範囲ごとに簡略マッチングデータを選択できることとしてもよい。
　また、本実施形態では、マッチングデータ調整部１６は、例えば図９に示すように、画像解析部２６におけるマッチングデータに基づく対象物の抽出の成否に関する情報を受信（Ｓ２５，Ｓ３３）する度に、簡略マッチングデータの選択及び変更を実施（Ｓ２６，Ｓ２８～Ｓ２９，Ｓ３４）することとしていた。これに対して、マッチングデータに基づく現実空間の画像からの対象物の抽出の成否に関する精度において、光量、カメラの性能、撮影時における端末２０の利用者の手ぶれ等の種々の外的要因に依存してばらつきが生じることに鑑みて、マッチングデータ調整部１６は、ある簡略レベルが設定されている状態において所定の回数以上又は所定の割合以上の対象物の抽出の成否に関する同一種の通知を受信した場合に、簡略マッチングデータの選択及び変更を実施することとしてもよい。また、マッチングデータ調整部１６は、簡略レベルごとに対象物の抽出の成否に関する通知の数を、通知の種類ごとに集計し、集計された通知の数を統計的に処理して、簡略マッチングデータの選択を実施してもよい。
　本実施形態によれば、現実空間の画像における所定の対象物を抽出して当該対象物に対応付けて仮想オブジェクトを表示するＡＲ技術において、現実空間の画像における対象物とのマッチング処理の精度を低下させることなく、適切な情報量を有するマッチングデータを提供することが可能となる。
　１…オブジェクト情報提供システム、１０…オブジェクト情報提供装置、１１…位置情報取得部、１２…オブジェクト情報抽出部、１３…オブジェクト情報記憶部、１３Ａ…マッチングデータ格納部、１３Ｂ…仮想オブジェクト格納部、１４…オブジェクト情報送信部、１５…画像解析結果受信部、１６…マッチングデータ調整部、２０…端末、２１…位置測位部、２２…位置情報送信部、２３…オブジェクト情報取得部、２４…オブジェクト情報記憶部、２４Ａ…マッチングデータ格納部、２４Ｂ…仮想オブジェクト格納部、２５…撮影部、２６…画像解析部、２７…画像解析結果送信部、２８…表示部、Ｎ…ネットワーク。

Claims (12)

  1. 　現実空間の画像から所定の対象物を抽出するためのマッチングデータと、一定以上一致する対象物を現実空間の画像から抽出し、当該マッチングデータに対応付けられた仮想オブジェクトを当該対象物に対応付けて現実空間の画像に重畳表示する端末に対して、マッチングデータが対応付けられた仮想オブジェクト情報を提供するオブジェクト情報提供装置であって、
    　含まれる情報量が段階的に異なる複数のマッチングデータのうちの少なくとも一のマッチングデータを、該マッチングデータに対応付けられた仮想オブジェクト情報と共に前記端末に送信する送信手段と、
    　前記送信手段により送信されたマッチングデータに基づき前記端末において現実空間の画像から対象物を抽出する画像解析処理における、該マッチングデータが表す正当な対象物の抽出の成否を示す処理結果を前記端末から受信する受信手段と、
    　前記受信手段により受信された処理結果に基づき、前記仮想オブジェクト情報に対応付けて前記端末に提供するマッチングデータの前記情報量を調整する調整手段と、
    　を備えるオブジェクト情報提供装置。
  2. 　前記複数のマッチングデータは、当該複数のマッチングデータのうち最も情報量が多い一の完全マッチングデータと、含まれる情報量が段階的に異なる複数の簡略マッチングデータとを含み、
    　前記送信手段は、前記完全マッチングデータ、及び情報量に関する複数の段階のうちの一の段階の情報量が含まれる簡略マッチングデータを前記仮想オブジェクト情報と共に送信し、
    　前記調整手段は、前記簡略マッチングデータに基づく前記画像解析処理において、前記正当な対象物が抽出された場合には、前記一の段階の情報量より少ない情報量を有する簡略マッチングデータを当該仮想オブジェクト情報に対応付け、前記正当な対象物が抽出されなかった場合には、前記一の段階の情報量より多い情報量を有する簡略マッチングデータを当該仮想オブジェクト情報に対応付ける、
    　請求項１に記載のオブジェクト情報提供装置。
  3. 　前記調整手段は、
    　前記画像解析処理において前記正当な対象物が抽出されなかった場合には、前記一の段階の情報量より多い情報量を有する簡略マッチングデータを当該仮想オブジェクト情報に対応付けると共に、正当な対象物を抽出するのに適切な簡略マッチングデータが当該仮想オブジェクト情報に対応付けられていることを示す学習済フラグを当該仮想オブジェクト情報に対応付けて設定する、
    　請求項２に記載のオブジェクト情報提供装置。
  4. 　前記送信手段は、前記仮想オブジェクト情報に対応付けられて学習済フラグが設定されている場合に、当該仮想オブジェクト情報に対応付けられた簡略マッチングデータを当該仮想オブジェクト情報と共に送信し、
    　前記調整手段は、
    　前記送信手段により送信された簡略マッチングデータに基づく前記画像解析処理において、正当な対象物以外のものが抽出された場合には、当該仮想オブジェクト情報に関する前記学習済フラグを非設定にする、
    　請求項３に記載のオブジェクト情報提供装置。
  5. 　現実空間の画像から所定の対象物を抽出するためのマッチングデータと、一定以上一致する対象物を現実空間の画像から抽出し、当該マッチングデータに対応付けられた仮想オブジェクトを当該対象物に対応付けて現実空間の画像に重畳表示する端末と、該端末に対してマッチングデータが対応付けられた仮想オブジェクト情報を提供するオブジェクト情報提供装置と、を含むオブジェクト情報提供システムであって、
    　前記オブジェクト情報提供装置は、
    　含まれる情報量が段階的に異なる複数のマッチングデータのうちの少なくとも一のマッチングデータを、該マッチングデータに対応付けられた仮想オブジェクト情報と共に前記端末に送信する送信手段と、
    　前記送信手段により送信されたマッチングデータに基づき前記端末において現実空間の画像から対象物を抽出する画像解析処理における、該マッチングデータが表す正当な対象物の抽出の成否を示す処理結果を前記端末から受信する受信手段と、
    　前記受信手段により受信された処理結果に基づき、前記仮想オブジェクト情報に対応付けて前記端末に提供するマッチングデータの前記情報量を調整する調整手段と、を備え、
    　前記端末は、
    　前記送信手段から送信された前記マッチングデータ及び仮想オブジェクト情報を受信するオブジェクト情報受信手段と、
    　前記オブジェクト情報受信手段により受信されたマッチングデータに基づき前記画像解析処理を実施する画像解析手段と、
    　前記画像解析手段により実施された画像解析処理における前記処理結果を前記オブジェクト情報提供装置に送信する画像解析結果送信手段と、を備える
    　オブジェクト情報提供システム。
  6. 　前記複数のマッチングデータは、当該複数のマッチングデータのうち最も情報量が多い一の完全マッチングデータと、含まれる情報量が段階的に異なる複数の簡略マッチングデータとを含み、
    　前記送信手段は、前記完全マッチングデータ、及び情報量に関する複数の段階のうちの一の段階の情報量が含まれる簡略マッチングデータを前記仮想オブジェクト情報と共に送信し、
    　前記調整手段は、前記画像解析処理において前記正当な対象物が抽出された場合には、前記一の段階の情報量より少ない情報量を有する簡略マッチングデータを当該仮想オブジェクト情報に対応付け、前記画像解析処理において前記正当な対象物が抽出されなかった場合には、前記一の段階の情報量より多い情報量を有する簡略マッチングデータを当該仮想オブジェクト情報に対応付け、
    　前記オブジェクト情報受信手段は、前記送信手段から送信された前記完全マッチングデータ及び簡略マッチングデータを受信し、
    　前記画像解析手段は、前記オブジェクト情報受信手段により受信された前記完全マッチングデータ及び前記簡略マッチングデータの各々に基づく前記画像解析処理を実施し、
    　前記画像解析結果送信手段は、前記完全マッチングデータに基づき抽出された対象物と前記簡略マッチングデータに基づき抽出された対象物とが一致する場合に、正当な対象物が抽出された旨の処理結果を前記オブジェクト情報提供装置に送信し、前記完全マッチングデータに基づき抽出された対象物と前記簡略マッチングデータに基づき抽出された対象物とが一致しない場合に、正当な対象物が抽出されなかった旨の処理結果を前記オブジェクト情報提供装置に送信する、
    　請求項５記載のオブジェクト情報提供システム。
  7. 　前記調整手段は、
    　前記画像解析処理において前記正当な対象物が抽出されなかった場合には、前記一の段階の情報量より多い情報量を有する簡略マッチングデータを当該仮想オブジェクト情報に対応付けると共に、正当な対象物を抽出するのに適切な簡略マッチングデータが当該仮想オブジェクト情報に対応付けられていることを示す学習済フラグを当該仮想オブジェクト情報に対応付けて設定する、
    　請求項６に記載のオブジェクト情報提供システム。
  8. 　前記送信手段は、前記仮想オブジェクト情報に対応付けられて学習済フラグが設定されている場合に、当該仮想オブジェクト情報に対応付けられた簡略マッチングデータを当該仮想オブジェクト情報と共に送信し、
    　前記調整手段は、前記送信手段により送信された簡略マッチングデータに基づく前記画像解析処理において、正当な対象物以外のものが抽出された場合には、当該仮想オブジェクト情報に関する前記学習済フラグを非設定にし、
    　前記画像解析手段は、前記オブジェクト情報受信手段により受信された前記簡略マッチングデータに基づく前記画像解析処理を実施し、
    　前記画像解析結果送信手段は、前記画像解析処理において前記簡略マッチングデータに基づき複数の対象物が抽出された場合に、正当な対象物以外のものが抽出された旨の処理結果を前記オブジェクト情報提供装置に送信する、
    　請求項７に記載のオブジェクト情報提供システム。
  9. 　現実空間の画像から所定の対象物を抽出するためのマッチングデータに対して、一定以上一致する対象物を現実空間の画像から抽出し、当該マッチングデータに対応付けられた仮想オブジェクトを当該対象物に対応付けて現実空間の画像に重畳表示する端末と、該端末に対してマッチングデータが対応付けられた仮想オブジェクト情報を提供するオブジェクト情報提供装置と、を含むオブジェクト情報提供システムにおける端末であって、
    　含まれる情報量が段階的に異なる複数のマッチングデータのうちの少なくとも一のマッチングデータを、該マッチングデータに対応付けられた仮想オブジェクト情報と共に、前記オブジェクト情報提供装置から受信するオブジェクト情報受信手段と、
    　前記オブジェクト情報受信手段により受信されたマッチングデータに基づき現実空間の画像から対象物を抽出する画像解析処理を実施する画像解析手段と、
    　前記画像解析手段により実施された画像解析処理における、前記マッチングデータが表す正当な対象物の抽出の成否を示す処理結果を前記オブジェクト情報提供装置に送信する画像解析結果送信手段と、
    　を備える端末。
  10. 　前記複数のマッチングデータは、当該複数のマッチングデータのうち最も情報量が多い一の完全マッチングデータと、含まれる情報量が段階的に異なる複数の簡略マッチングデータとを含み、
    　前記オブジェクト情報受信手段は、前記送信手段から送信された前記完全マッチングデータ、及び情報量に関する複数の段階のうちの一の段階の情報量が含まれる簡略マッチングデータを受信し、
    　前記画像解析手段は、前記オブジェクト情報受信手段により受信された前記完全マッチングデータ及び前記簡略マッチングデータの各々に基づく前記画像解析処理を実施し、
    　前記画像解析結果送信手段は、前記完全マッチングデータに基づき抽出された対象物と前記簡略マッチングデータに基づき抽出された対象物とが一致する場合に、正当な対象物が抽出された旨の処理結果を前記オブジェクト情報提供装置に送信し、前記完全マッチングデータに基づき抽出された対象物と前記簡略マッチングデータに基づき抽出された対象物とが一致しない場合に、正当な対象物が抽出されなかった旨の処理結果を前記オブジェクト情報提供装置に送信する、
    　請求項９に記載の端末。
  11. 　現実空間の画像から所定の対象物を抽出するためのマッチングデータと、一定以上一致する対象物を現実空間の画像から抽出し、当該マッチングデータに対応付けられた仮想オブジェクトを当該対象物に対応付けて現実空間の画像に重畳表示する端末に対して、マッチングデータが対応付けられた仮想オブジェクト情報を提供するオブジェクト情報提供装置におけるオブジェクト情報提供方法であって、
    　含まれる情報量が段階的に異なる複数のマッチングデータのうちの少なくとも一のマッチングデータを、該マッチングデータに対応付けられた仮想オブジェクト情報と共に前記端末に送信する送信ステップと、
    　前記送信ステップにおいて送信されたマッチングデータに基づき前記端末において現実空間の画像から対象物を抽出する画像解析処理における、該マッチングデータが表す正当な対象物の抽出の成否を示す処理結果を前記端末から受信する受信ステップと、
    　前記受信ステップにおいて受信された処理結果に基づき、前記仮想オブジェクト情報に対応付けて前記端末に提供するマッチングデータの前記情報量を調整する調整ステップと、
    　を有するオブジェクト情報提供方法。
  12. 　現実空間の画像から所定の対象物を抽出するためのマッチングデータと、一定以上一致する対象物を現実空間の画像から抽出し、当該マッチングデータに対応付けられた仮想オブジェクトを当該対象物に対応付けて現実空間の画像に重畳表示する端末と、該端末に対してマッチングデータが対応付けられた仮想オブジェクト情報を提供するオブジェクト情報提供装置と、を含むシステムにおけるオブジェクト情報提供方法であって、
    　前記オブジェクト情報提供装置が、含まれる情報量が段階的に異なる複数のマッチングデータのうちの少なくとも一のマッチングデータを、該マッチングデータに対応付けられた仮想オブジェクト情報と共に前記端末に送信する送信ステップと、
    　前記端末が、前記送信ステップにおいて送信された前記一のマッチングデータ及び仮想オブジェクト情報を受信するオブジェクト情報受信ステップと、
    　前記端末が、前記オブジェクト情報受信ステップにおいて受信されたマッチングデータに基づき現実空間の画像から対象物を抽出する画像解析処理を実施する画像解析ステップと、
    　前記端末が、前記画像解析ステップにおいて実施された画像解析処理における、当該マッチングデータが表す正当な対象物の抽出の成否を示す処理結果を前記オブジェクト情報提供装置に送信する画像解析結果送信ステップと、
    　前記オブジェクト情報提供装置が、前記画像解析結果送信ステップにおいて送信された前記処理結果を受信する受信ステップと、
    　前記オブジェクト情報提供装置が、前記受信ステップにおいて受信された処理結果に基づき、前記仮想オブジェクト情報に対応付けて前記端末に提供するマッチングデータの前記情報量を調整する調整ステップと、
    　を有するオブジェクト情報提供方法。
     
PCT/JP2012/065385 2011-07-14 2012-06-15 オブジェクト情報提供装置、オブジェクト情報提供システム、端末及びオブジェクト情報提供方法 WO2013008583A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP12811515.1A EP2733673A4 (en) 2011-07-14 2012-06-15 DEVICE FOR PROVIDING OBJECT INFORMATION, SYSTEM FOR PROVIDING OBJECT INFORMATION AND PROCESS FOR PROVIDING OBJECT INFORMATION
US13/878,868 US8996577B2 (en) 2011-07-14 2012-06-15 Object information provision device, object information provision system, terminal, and object information provision method
CN201280009267.6A CN103380443B (zh) 2011-07-14 2012-06-15 对象信息提供装置、对象信息提供系统、终端和对象信息提供方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011156027A JP5230778B2 (ja) 2011-07-14 2011-07-14 オブジェクト情報提供装置、オブジェクト情報提供システム、端末及びオブジェクト情報提供方法
JP2011-156027 2011-07-14

Publications (1)

Publication Number Publication Date
WO2013008583A1 true WO2013008583A1 (ja) 2013-01-17

Family

ID=47505881

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/065385 WO2013008583A1 (ja) 2011-07-14 2012-06-15 オブジェクト情報提供装置、オブジェクト情報提供システム、端末及びオブジェクト情報提供方法

Country Status (5)

Country Link
US (1) US8996577B2 (ja)
EP (1) EP2733673A4 (ja)
JP (1) JP5230778B2 (ja)
CN (1) CN103380443B (ja)
WO (1) WO2013008583A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10227583B2 (en) 2016-12-12 2019-03-12 xCella Biosciences, Inc. Methods and systems for screening using microcapillary arrays
US11156626B2 (en) 2016-12-30 2021-10-26 xCella Biosciences, Inc. Multi-stage sample recovery system
US11473081B2 (en) 2016-12-12 2022-10-18 xCella Biosciences, Inc. Methods and systems for screening using microcapillary arrays

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150286871A1 (en) * 2012-10-31 2015-10-08 Warld Limited Image display system, electronic device, program, and image display method
US20140253540A1 (en) * 2013-03-07 2014-09-11 Yoav DORI Method and system of incorporating real world objects into a virtual environment
US9070217B2 (en) 2013-03-15 2015-06-30 Daqri, Llc Contextual local image recognition dataset
JP6230923B2 (ja) * 2014-01-23 2017-11-15 日立Ｇｅニュークリア・エナジー株式会社 水中移動体の位置検知装置及び位置検知方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001076150A (ja) * 1999-09-08 2001-03-23 Sankyo Seiki Mfg Co Ltd 粗テンプレートの作成方法及び装置
JP2001126051A (ja) * 1999-10-27 2001-05-11 Olympus Optical Co Ltd 関連情報呈示装置及び関連情報呈示方法
JP2002008028A (ja) * 2000-06-27 2002-01-11 Matsushita Electric Ind Co Ltd パターンマッチング方法と装置
JP2004048674A (ja) * 2002-05-24 2004-02-12 Olympus Corp 視野一致型情報呈示システム、並びに、それに用いられる携帯情報端末及びサーバ
JP2005250950A (ja) * 2004-03-05 2005-09-15 Nippon Telegr & Teleph Corp <Ntt> マーカ提示用携帯端末および拡張現実感システムならびにその動作方法
JP2007304733A (ja) 2006-05-09 2007-11-22 Nippon Telegr & Teleph Corp <Ntt> 画像検出装置および画像検出方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3031573A (en) * 1956-08-22 1962-04-24 Dowty Electrics Ltd Precipitation chambers
TWI419124B (zh) * 2009-03-06 2013-12-11 Au Optronics Corp 二維／三維影像顯示裝置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001076150A (ja) * 1999-09-08 2001-03-23 Sankyo Seiki Mfg Co Ltd 粗テンプレートの作成方法及び装置
JP2001126051A (ja) * 1999-10-27 2001-05-11 Olympus Optical Co Ltd 関連情報呈示装置及び関連情報呈示方法
JP2002008028A (ja) * 2000-06-27 2002-01-11 Matsushita Electric Ind Co Ltd パターンマッチング方法と装置
JP2004048674A (ja) * 2002-05-24 2004-02-12 Olympus Corp 視野一致型情報呈示システム、並びに、それに用いられる携帯情報端末及びサーバ
JP2005250950A (ja) * 2004-03-05 2005-09-15 Nippon Telegr & Teleph Corp <Ntt> マーカ提示用携帯端末および拡張現実感システムならびにその動作方法
JP2007304733A (ja) 2006-05-09 2007-11-22 Nippon Telegr & Teleph Corp <Ntt> 画像検出装置および画像検出方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2733673A4

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10227583B2 (en) 2016-12-12 2019-03-12 xCella Biosciences, Inc. Methods and systems for screening using microcapillary arrays
US11085039B2 (en) 2016-12-12 2021-08-10 xCella Biosciences, Inc. Methods and systems for screening using microcapillary arrays
US11473081B2 (en) 2016-12-12 2022-10-18 xCella Biosciences, Inc. Methods and systems for screening using microcapillary arrays
US11156626B2 (en) 2016-12-30 2021-10-26 xCella Biosciences, Inc. Multi-stage sample recovery system

Also Published As

Publication number Publication date
US20130198216A1 (en) 2013-08-01
EP2733673A4 (en) 2015-06-24
JP2013025327A (ja) 2013-02-04
CN103380443A (zh) 2013-10-30
JP5230778B2 (ja) 2013-07-10
US8996577B2 (en) 2015-03-31
CN103380443B (zh) 2016-04-27
EP2733673A1 (en) 2014-05-21

Similar Documents

Publication Publication Date Title
JP5230778B2 (ja) オブジェクト情報提供装置、オブジェクト情報提供システム、端末及びオブジェクト情報提供方法
JP5055402B2 (ja) オブジェクト表示装置、オブジェクト表示システム及びオブジェクト表示方法
US8750559B2 (en) Terminal and method for providing augmented reality
JP5279875B2 (ja) オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラム
TWI483215B (zh) 根據相關３ｄ點雲端資料強化影像資料
US10025985B2 (en) Information processing apparatus, information processing method, and non-transitory computer-readable storage medium storing program
US9536175B2 (en) System and method for providing additional information using image matching
US11592311B2 (en) Method and apparatus for displaying surrounding information using augmented reality
US20160019704A1 (en) Method and apparatus for displaying point of interest
EP2733674A1 (en) Object display device, object display method, and object display program
CN108932051A (zh) 增强现实图像处理方法、装置及存储介质
JP2012174116A (ja) オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラム
US10726262B2 (en) Imaging support system, device and method, and imaging terminal
CN111737547A (zh) 商户信息的获取系统、方法、装置、设备及存储介质
WO2012108219A1 (ja) オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラム
JP6612685B2 (ja) 計測支援装置及び計測支援方法
US20150269782A1 (en) Augmented reality display system, augmented reality information generating apparatus, augmented reality display apparatus, and server
CN110457571B (zh) 获取兴趣点信息的方法、装置、设备及存储介质
JP5340900B2 (ja) オブジェクト管理装置及びオブジェクト管理方法
JP5649842B2 (ja) 情報提供装置、情報提供方法、及びプログラム
JP5578719B2 (ja) 情報システム、端末装置、広告出力方法、およびプログラム
US20210326388A1 (en) Electronic device for providing infographics, and method thereof
JP6677830B1 (ja) 情報処理装置の制御プログラム、情報処理装置の制御方法、及び、情報処理装置
CN115240209A (zh) 水印识别方法和装置
JP5913449B2 (ja) サーバ装置、第一端末装置、第二端末装置、情報処理方法、およびプログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201280009267.6

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12811515

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13878868

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2012811515

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE