WO2019082381A1 - 画像抽出装置、画像抽出方法及び画像抽出プログラム - Google Patents

画像抽出装置、画像抽出方法及び画像抽出プログラム

Info

Publication number
WO2019082381A1
WO2019082381A1 PCT/JP2017/038921 JP2017038921W WO2019082381A1 WO 2019082381 A1 WO2019082381 A1 WO 2019082381A1 JP 2017038921 W JP2017038921 W JP 2017038921W WO 2019082381 A1 WO2019082381 A1 WO 2019082381A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
display object
information
geographical
omnidirectional
Prior art date
Application number
PCT/JP2017/038921
Other languages
English (en)
French (fr)
Inventor
宗 益子
奈保 河野
亮輔 黒木
Original Assignee
楽天株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 楽天株式会社 filed Critical 楽天株式会社
Priority to US16/305,584 priority Critical patent/US10853643B2/en
Priority to PCT/JP2017/038921 priority patent/WO2019082381A1/ja
Priority to JP2018560122A priority patent/JP6539418B1/ja
Publication of WO2019082381A1 publication Critical patent/WO2019082381A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/18—Extraction of features or characteristics of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Definitions

  • the present invention relates to the technical fields of an image extracting apparatus, an image extracting method, and an image extracting program for extracting an image in which an object to be displayed is photographed from an image captured at a point around a place where the object to be displayed is located.
  • Patent Document 1 when the point information of the display object is set, the closest viewpoint from the point of the display object is identified, and the direction from the viewpoint to the point of the display object is identified.
  • a system which extracts an image of a specified direction from an omnidirectional image corresponding to a specified viewpoint and transmits the extracted image to an image display terminal.
  • Patent Document 1 there may be a case where an image in which a display object is captured can be displayed.
  • the viewpoint closest to the point of the display object is located on the back side or the side of the display object, an image in which the front of the display object is captured can not be displayed.
  • the user needs to perform an operation to change the viewpoint on the front side of the display object in order to display an image in which the front of the display object is captured.
  • the present invention has been made in view of the above points, and an image extracting apparatus, an image extracting method, and an image extracting program, which can increase the probability that an image in which an image showing the front of a display object appears is initially displayed. Intended to provide.
  • the invention acquires the position information which shows the position of a display subject, the acquisition means which acquires the display subject information which shows the display subject, and the acquired position Extraction means for extracting one or more partial images including the acquired display object information from an image photographed from one or more points located within a predetermined range from a position indicated by the information, and the extracted partial images And output means for outputting
  • the image extracting apparatus extracts a partial image including display object information from an image captured from one or more points located within a predetermined range from the position of the geographical object, and this partial image Output Therefore, it is possible to enhance the probability that an image in which the front of the display object is captured is initially displayed as a partial image.
  • the invention according to claim 2 is the image output apparatus according to claim 1, wherein the acquisition means acquires the display object information indicating the appearance of at least a part of the front of the display object, and the extraction means
  • the present invention is characterized in that a partial image including an image having the appearance indicated by the display object information is extracted.
  • the invention according to claim 3 is the image output apparatus according to claim 1 or 2, wherein the acquiring unit acquires the display object information indicating the name of the display object, and the extracting unit A partial image including the name of the display object in the image is extracted.
  • the information processing apparatus extracts a partial image including in the image the name of the probable display object displayed in front of the display object. Therefore, it is possible to increase the probability that an image in which the front of the display object is captured is initially displayed.
  • the invention according to claim 4 is the image output apparatus according to claim 3, wherein the display object information includes the name of the display object, and the acquisition means is a geography for each of a plurality of geographical objects. Acquiring position information associated with a name included in the display object information from position information storage means that stores the name of the target object and the position information indicating the position of the geographical object in association with each other It is characterized by
  • the information processing apparatus can use the name of the display object to extract a partial image and acquire position information of the display object.
  • the invention according to claim 5 is the image output apparatus according to any one of claims 1 to 4, wherein the acquisition means is characterized by representing feature of an image of each of a plurality of categories of geographical objects.
  • the characteristic information of the geographical object of the category corresponding to the display object is acquired as the display object information from the characteristic information storage unit to be stored, and the extraction unit indicates the characteristic indicated by the acquired characteristic information. It is characterized by extracting the partial image which contains.
  • the information processing apparatus extracts the partial image including the feature indicated by the feature information of the geographical object of the category corresponding to the display object. Therefore, it is possible to increase the probability that an image in which the front of the display object is captured is initially displayed.
  • the invention according to claim 6 is the image extracting apparatus according to any one of claims 1 to 5, wherein the extracting means has a relatively low resolution as an image photographed from the one or more points.
  • a plurality of low resolution images and a plurality of high resolution images having a relatively high resolution the image storage means storing a plurality of high resolution images corresponding to the plurality of low resolution images, the plurality of low resolution images.
  • the low resolution image acquisition unit for obtaining an image
  • the identification unit for identifying the low resolution image including the display object information among the plurality of low resolution images acquired, and the image storage unit
  • a high resolution image acquiring unit for acquiring a high resolution image corresponding to the specified low resolution image among resolution images, and the partial image including the display object information from the acquired high resolution image
  • An extraction unit for extracting characterized in that it comprises a.
  • the information processing apparatus first specifies the low resolution image including the display target object information among the plurality of low resolution images. Next, the information processing apparatus extracts a partial image from the high resolution image corresponding to the specified low resolution image among the plurality of high resolution images respectively corresponding to the plurality of low resolution images.
  • the information processing apparatus may obtain only the high resolution image corresponding to the specified low resolution image from the plurality of high resolution images from the image storage unit. Therefore, the processing load of the information processing apparatus and the communication load between the information processing apparatus and the image storage means can be reduced as compared to the case of acquiring all high resolution images.
  • the invention according to claim 7 is the image output apparatus according to any one of claims 1 to 6, wherein the extraction means extracts the partial image from the photographed image using pattern recognition. It is characterized by
  • the invention according to claim 8 is an image extracting method executed by a computer, wherein the acquiring step acquires position information indicating a position of a display object, and display object information indicating the display object. Extracting one or more partial images including the acquired display object information from an image photographed from one or more points located within a predetermined range from the position indicated by the position information; and the extraction step And an output step of outputting a partial image.
  • the invention according to claim 9 is the computer from the position information indicating the position of the display object and the acquiring means for acquiring the display object information indicating the display object, and the position indicated by the acquired position information.
  • Extraction means for extracting one or more partial images including the acquired display object information from images captured from one or more points located within a predetermined range, and output means for outputting the extracted partial images And to function as.
  • the image extracting apparatus extracts a partial image including display object information from an image captured from one or more points located within a predetermined range from the position of the geographical object, and this partial image Output Therefore, it is possible to enhance the probability that an image in which the front of the display object is captured is initially displayed as a partial image.
  • FIG. 2 is a block diagram showing an example of a schematic configuration of an omnidirectional image server 2 according to an embodiment. It is a figure which shows an example of the content memorize
  • the display object is a geographical object on which the image is displayed among a plurality of geographical objects.
  • a geographical object is an object identified using geographical information, such as a map, for example. Geographical objects are objects present on the ground or underground space. The geographical object may be artificial or natural. The position of the geographical object (the latitude and longitude) basically does not change or does not change for a certain period of time.
  • Each geographic object preferably has a unique name that indicates the geographic object, but may not necessarily have a unique name.
  • geographical objects examples include buildings, houses, towers, parks and other structures, monuments, statues, trees, mountains, rocks and the like.
  • the geographical object may be part of a structure, for example one floor, one room, one section, etc.
  • the geographical object that can be the display object may be composed of a plurality of objects.
  • the park is composed of a plurality of play equipment, fences and the like arranged in the site.
  • partial images are extracted from omnidirectional images.
  • the omnidirectional image is taken, for example, using an omnidirectional camera.
  • the extraction source of the partial image may be, for example, a panoramic image or an image captured at a general angle of view.
  • the invention is also applicable to various systems for providing images of geographical objects.
  • FIG. 1 is a diagram showing an example of a schematic configuration of an information providing system S according to the present embodiment.
  • the information providing system S includes an information providing server 1, an omnidirectional image server 2, and a plurality of user terminals 3.
  • the information providing server 1 is an example of the information processing apparatus of the present invention.
  • the information providing server 1, the omnidirectional image server 2, and the user terminal 3 can mutually transmit and receive data via the network NW using, for example, TCP / IP as a communication protocol.
  • the network NW is constructed by, for example, the Internet, a dedicated communication line (for example, a CATV (Community Antenna Television) line), a mobile communication network (including a base station and the like), a gateway, and the like.
  • the information providing server 1 is a server device that executes various processes related to a certain electronic shopping mall.
  • the online shopping mall products are sold from a plurality of stores.
  • a store is an example of a geographical object.
  • the information providing server 1 searches for a product in response to a request from the user terminal 3.
  • the information providing server 1 transmits a web page indicating a search result of a product to the user terminal 3 as a search result page.
  • the information providing server 1 transmits a web page indicating detailed information on the product to the user terminal 3 as a product page.
  • the information providing server 1 acquires an omnidirectional image from the omnidirectional image server 2 and extracts a partial image in which a store is photographed from the omnidirectional image.
  • the omnidirectional image server 2 stores omnidirectional images captured from various points (view points).
  • the omnidirectional image server 2 provides the omnidirectional image to the information providing server 1 in response to a request from the information providing server 1. Specifically, when the omnidirectional image server 2 receives the position information from the information providing server 1, the omnidirectional image taken of one or more view points within a predetermined range from the position indicated by the position information is Transmit to the information providing server 1.
  • the latitude and longitude, an address, etc. are mentioned as an example of position information.
  • the information providing server 1 and the omnidirectional image server 2 may be integrally configured.
  • the user terminal 3 is a communication device used by a user who uses the information providing system S.
  • the user terminal 3 accesses the information providing server 1 via the network NW to display a web page.
  • a program such as a browser is installed in the user terminal 3.
  • Examples of the user terminal 3 include a personal computer, a PDA (Personal Digital Assistant), a smart phone, a portable information terminal such as a tablet computer, and a portable telephone.
  • FIG. 2A is a block diagram showing an example of a schematic configuration of the information providing server 1 according to the present embodiment.
  • the information providing server 1 includes a system control unit 11, a system bus 12, an input / output interface 13, a storage unit 14, and a communication unit 15.
  • the system control unit 11 and the input / output interface 13 are connected via the system bus 12.
  • the system control unit 11 includes a central processing unit (CPU) 11 a, a read only memory (ROM) 11 b, a random access memory (RAM) 11 c, and the like.
  • the CPU 11a is an example of a processor.
  • the present invention is also applicable to various processors different from the CPU.
  • the storage unit 14, the ROM 11b, and the RAM 11c are each an example of a memory.
  • the present invention is also applicable to various memories different from hard disks, ROMs and RAMs.
  • the input / output interface 13 performs interface processing between the storage unit 14 and the communication unit 15 and the system control unit 11.
  • the storage unit 14 is configured of, for example, a hard disk drive or the like.
  • the storage unit 14 stores a database such as a shop DB 14a and a product DB 14b.
  • DB is an abbreviation of database.
  • FIG. 3 is a diagram showing an example of contents stored in the database.
  • Store information on the store is stored in the store DB 14a.
  • store attributes such as a store ID, a store name, and a store address are stored in the store DB 14a in association with each store.
  • the store ID is identification information that identifies the store.
  • the product DB 14 b stores product information on products sold in the online shopping mall. Specifically, in the product DB 14b, a product ID, a store ID, a product name, a price, an image of the product, a description of the product, and the like are stored in association with each product.
  • the item ID is identification information that identifies the item.
  • the store ID indicates the seller of the product.
  • the storage unit 14 further stores various data for displaying a web page, such as HyperText Markup Language (HTML) document, Extensible Markup Language (XML) document, image data, text data, electronic document and the like. Further, the storage unit 14 stores various setting values.
  • HTML HyperText Markup Language
  • XML Extensible Markup Language
  • the storage unit 14 also stores various programs such as an operating system, a DBMS (Database Management System), and an information providing server program.
  • the information providing server program is a program that causes the system control unit 11 to execute various processes related to providing information to the user terminal 3.
  • the information providing server program includes various program codes such as an acquisition code, an extraction code, and an output code.
  • the various programs may be acquired from, for example, another server apparatus or the like via the network NW, or may be recorded on a recording medium such as a magnetic tape, an optical disc, or a memory card and read via a drive apparatus. It may be possible to Further, the information providing server program or the like may be a program product.
  • the communication unit 15 is connected to the user terminal 3 and the omnidirectional image server 2 via the network NW, and controls the communication state with these devices.
  • FIG. 2B is a block diagram showing an example of a schematic configuration of the omnidirectional image server 2 according to the present embodiment.
  • the omnidirectional image server 2 includes a system control unit 21, a system bus 22, an input / output interface 23, a storage unit 24, and a communication unit 25.
  • the system control unit 21 and the input / output interface 23 are connected via the system bus 22.
  • the system control unit 21 includes a CPU 21a, a ROM 21b, a RAM 21c, and the like.
  • the input / output interface 23 performs interface processing between the storage unit 24 and the communication unit 25 and the system control unit 21.
  • the storage unit 24 is configured of, for example, a hard disk drive or the like.
  • the storage unit 24 stores a database such as the omnidirectional image DB 24 a.
  • an omnidirectional image is stored in the omnidirectional image DB 24a.
  • the omnidirectional image DB 24 a stores an omnidirectional image captured from the position indicated by the longitude and latitude, and the shooting date and time of the omnidirectional image in association with the longitude and latitude of each viewpoint.
  • the view point is basically outdoors.
  • an omnidirectional image captured indoors in a department store, a shopping mall, or the like may be stored in the omnidirectional image DB 24a.
  • At least one omnidirectional image photographed at one date and time may be stored for one viewpoint (one latitude and longitude), and plural omnidirectional images photographed at plural different dates and times may be stored.
  • one or more omnidirectional images having a resolution lower than the resolution of the omnidirectional image may be stored in the omnidirectional image DB 24a.
  • the photographed omnidirectional image itself is stored in the omnidirectional image DB 24 a as an original omnidirectional image.
  • the system control unit 21 generates an omnidirectional image having a resolution lower than that of the original omnidirectional image as a low resolution omnidirectional image by converting the original omnidirectional image.
  • the system control unit 21 stores the low resolution omnidirectional image in the omnidirectional image DB 24 a.
  • the resolution of the entire original omnidirectional image may be the same or different.
  • the resolutions of all low resolution omnidirectional images may be the same or different.
  • each low resolution omnidirectional image may be lower than the resolution of the original omnidirectional image from which it was generated. Also, for one original omnidirectional image, a plurality of low resolution omnidirectional images with different resolutions may be stored in the omnidirectional image DB 24 a.
  • the communication unit 25 connects with the information providing server 1 via the network NW, and controls the communication state with the information providing server 1.
  • FIG. 4 is a diagram showing an example of functional blocks of the system control unit 11 of the information providing server 1 according to the present embodiment.
  • the system control unit 11 causes the display target object information acquisition unit 111 to extract partial images as shown in FIG. 4 by the CPU 11 a reading and executing an acquisition code, an extraction code, an output code, etc. It functions as a unit 112, a partial image output unit 113, and the like.
  • the display target object information acquisition unit 111 is an example of an acquisition unit of the present invention.
  • the partial image extraction unit 112 is an example of the extraction unit of the present invention.
  • the partial image output unit 113 is an example of the output unit of the present invention.
  • the display target object information acquisition unit 111 acquires position information indicating the position of the display target object and display target object information indicating the display target object.
  • the position information specifically indicates the geographical position of the display object.
  • the position information is, for example, latitude and longitude, an address, and the like.
  • the display object information may be, for example, information indicating the appearance (shape, pattern, color, etc.) of the whole or a part of the display object. More preferably, the display object information is information indicating the appearance of at least a portion of the front of the display object. Examples of the display object information include the name of the display object and feature information indicating the feature of the image of the display object. The names of geographical objects are likely to be displayed in front of the geographical objects.
  • the name of the display object indicates the appearance of characters indicating the name that is a part of the front of the display object.
  • the name of the geographical object is displayed on a sign of the geographical object, a nameplate, a gate or the like.
  • the name of the display object is preferably a unique name.
  • the feature information indicates features of shape, pattern and color that are likely to be located or displayed in front of the display object. Therefore, the feature information indicates the appearance of at least a portion of the front of the display object.
  • the feature information may be, for example, a feature (a feature vector).
  • the display target object is, for example, a store designated by the user or a store of a seller of goods designated by the user.
  • the display target object information acquisition unit 111 acquires the store ID of the selected store.
  • the display target object information acquisition unit 111 associates the product ID of the selected product and acquires the store ID stored in the product DB 14 b.
  • the display target object information acquisition unit 111 searches the store DB 14a for store information associated with the store ID.
  • the display target object information acquisition unit 111 acquires a store name from the store information as display target object information.
  • the display target object information acquisition unit 111 acquires an address from the store information, and acquires the latitude and longitude corresponding to the address as position information.
  • the display target object information acquisition unit 111 may acquire the feature amount of the image of the product as the display target object information instead of the store name or together with the store name. There is a possibility that the product is placed so that it can be seen from the front of the store.
  • the storage unit 14 stores feature amounts of typical images of products belonging to the category in association with each of a plurality of product categories.
  • the display target object information acquisition unit 111 acquires a feature amount corresponding to the category of the product sold by the selected store or the category of the selected product.
  • the display target object information acquisition unit 111 may acquire the image of the product from the product information stored in the product DB 14b in association with the product ID of the selected product, and extract the feature amount from this image .
  • features are extracted using an algorithm such as Scale Invariant Feature Transform (SIFT) or Speeded Up Robust Features (SURF).
  • SIFT Scale Invariant Feature Transform
  • SURF Speeded Up Robust Features
  • the partial image extraction unit 112 acquires the display object information information from the omnidirectional image captured at one or more viewpoints positioned within a predetermined range from the position indicated by the position information acquired by the display object information acquisition unit 111.
  • a partial image including the display object information acquired by 111 is extracted.
  • the partial image extraction unit 112 extracts a partial image including an image having an appearance indicated by the display object information. More preferably, the partial image extraction unit 112 extracts a partial image including an image having an appearance of at least a part of the front of the display object.
  • the partial image extraction unit 112 extracts a partial image using pattern recognition. Examples of pattern recognition include object recognition and character recognition.
  • the partial image extraction unit 112 transmits the latitude and longitude acquired as the position information to the omnidirectional image server 2.
  • the omnidirectional image server 2 searches the omnidirectional image DB 24 a for the latitude and longitude of a viewpoint within a predetermined range from the position indicated by the latitude and longitude received from the information providing server 1.
  • the omnidirectional image server 2 may search only the latitude and longitude of the closest view point from the position indicated by the received latitude and longitude.
  • the omnidirectional image server 2 may search the latitude and longitude of a predetermined number of viewpoints in order from the position indicated by the received latitude and longitude.
  • the omnidirectional image server 2 may search the latitude and longitude of all the viewpoints within a predetermined range from the position indicated by the received latitude and longitude.
  • the omnidirectional image server 2 acquires at least one omnidirectional image stored in the omnidirectional image DB 24 a in association with the latitude and longitude, for each of the retrieved latitude and longitude.
  • the omnidirectional image server 2 transmits the acquired omnidirectional image to the information providing server 1.
  • the partial image extraction unit 112 transmits the address of the store as the display object to the omnidirectional image server 2, and the omnidirectional image server 2 acquires the latitude and longitude of the store from this address to acquire the omnidirectional image DB 24a. You may search for
  • the partial image extraction unit 112 recognizes characters included in the omnidirectional image from the omnidirectional image received from the omnidirectional image server 2 using a character recognition technology.
  • the partial image extraction unit 112 compares the recognized character with the store name acquired as the display object information. If the recognized character matches the store name or the recognized character includes the store name, the partial image extraction unit 112 determines that the store as the display dealing object is shown in the corresponding omnidirectional image .
  • the partial image extraction unit 112 may also determine that the store is shown in the omnidirectional image even when the characters of a predetermined ratio or more of the store name match the recognized characters.
  • the partial image extraction unit 112 extracts a partial image in which the store is photographed from the omnidirectional image determined to be photographed in the store.
  • the partial image extraction unit 112 preferably specifies the range of the partial image in the omnidirectional image so that at least the store name is included.
  • the partial image extraction unit 112 recognizes a building (that is, a store) appearing in the omnidirectional image superimposed on the store name by object recognition, and the range of the partial image so that all or most of the stores are included. It is more desirable to identify When the address of the store includes the floor number, the partial image extraction unit 112 is a partial image so that the part of the floor indicated by the floor number is included among the structures shown in the omnidirectional image superimposed on the store name.
  • the partial image extraction unit 112 determines, for example, the direction, elevation angle, and vertical and horizontal angle of view of the building with reference to the view point, as the range of the partial image.
  • the partial image extraction unit 112 extracts a partial image from the omnidirectional image according to the determined range.
  • FIG. 5 is a diagram showing an example of the positional relationship between a certain store and a view point.
  • the front of the store 100 faces north.
  • the name of the store 100 is "XYZ SHOP".
  • the view point P1 is located in the south direction from the store 100.
  • the view point P1 is closest to the store 100.
  • the view point P2 is located in the north-northwest direction from the store 100.
  • the view point P3 is located in the north-northeast direction from the store 100.
  • FIG. 6 is a diagram showing an example of an omnidirectional image and a partial image.
  • an omnidirectional image is represented simply as a panoramic image.
  • the omnidirectional images OI1 to OI3 are images taken at view points P1 to P3, respectively.
  • the omnidirectional image OI1 the rear face of the store 100 is captured, and the store name is not captured.
  • OI2 a part of the store 100 and the automobile 110 are shown. Since the front of the store 100 is hidden by the car 110, the store name can not be seen.
  • the omnidirectional image OI 3 the diagonal front of the store 100 is shown, and the store name is displayed on the roof portion of the store 100.
  • the partial image extraction unit 112 since the partial image extraction unit 112 recognizes the store name from the omnidirectional image OI3 by character recognition, it extracts the partial image PI1 from the omnidirectional image OI3.
  • the partial image PI1 is an image including the store name and most of the store 100. As described above, it is possible to extract an image of the display object taken from a view point capable of photographing the front of the display object and in which the display object is not hidden by the obstacle as a partial image.
  • display object information may be included in two or more omnidirectional images.
  • one omnidirectional image may include two or more pieces of object information.
  • two or more omnidirectional images may show a shop name, or one omnidirectional image may show two or more shop names.
  • the partial image extraction unit 112 determines the size (number of pixels in the vertical and horizontal directions) of the store name in the omnidirectional image, the degree of distortion of the store name, the recognition accuracy of the store name, and the building (store) in the omnidirectional image.
  • the partial image extraction unit 112 may select an omnidirectional image having a relatively large store name, an omnidirectional image having a small distortion of the store name, an omnidirectional image having high recognition accuracy of the store name, an omnidirectional image having a large building, A partial image is extracted from an omnidirectional image with few objects or a clear omnidirectional image. As the square circumscribing the store name in the omnidirectional image is closer to a rectangle, distortion of the store name is smaller. The smaller the blur or the clearer the image, the clearer the image.
  • the partial image extraction unit 112 recognizes the product from the omnidirectional image using the feature quantity by object recognition.
  • the partial image extraction unit 112 may specify the range of the partial image so that, for example, all or most of the structures included in the omnidirectional image are superimposed on the product.
  • the partial image extraction unit 112 includes, for example, all or most of the structures shown in the omnidirectional image superimposed on both the store name and the product. As described above, the range of the partial image may be specified.
  • the partial image extraction unit 112 calculates the direction in which the store is located from the view point based on the latitude and longitude of the store and the latitude and longitude of the view point, and the pattern from the range corresponding to the calculated direction in the omnidirectional image
  • the recognition may be used to identify a part including display object information.
  • the partial image extraction unit 112 first acquires a plurality of low resolution omnidirectional images from the omnidirectional image server 2 and specifies a low resolution including display target object information among the acquired low resolution omnidirectional images. It is also good. After that, the partial image extraction unit 112 acquires an original omnidirectional image corresponding to the low resolution image including the display target object information among the plurality of original omnidirectional images from the omnidirectional image server 2, and this original omnidirectional image , And partial images may be extracted. As a result, the number of original images transmitted from the omnidirectional image server 2 to the information providing server 1 is reduced, so that the load on the network and the processing load on the server can be reduced.
  • the original omnidirectional image corresponding to the low resolution image is an original omnidirectional image from which the low resolution image is generated, or an original omnidirectional image having the same resolution as the low resolution image but having the same picture as the low resolution image. .
  • the partial image extraction unit 112 may, for example, initially obtain the low resolution omnidirectional image with the lowest resolution. An image is acquired from the omnidirectional image server 2, and among these low resolution omnidirectional images, a low resolution omnidirectional image including a signboard or the like having a probability of displaying a shop name using object recognition is specified. It is also good. Next, the partial image extraction unit 112 acquires, from the omnidirectional image server 2, a low resolution omnidirectional image corresponding to the specified low resolution omnidirectional image among the low resolution omnidirectional images with the second lowest resolution.
  • a low resolution omnidirectional image in which a shop name is displayed on a part such as a signboard may be specified. Then, the partial image extraction unit 112 may acquire an original omnidirectional image corresponding to the specified low resolution omnidirectional image.
  • the partial image output unit 113 outputs the partial image extracted by the partial image extraction unit 112. For example, when the user designates any store from the search result page, the partial image output unit 113 transmits the partial image to the user terminal 3 to display the partial image in the search result page. Alternatively, when the user selects any product from the search result page, the partial image output unit 113 transmits a product page including the partial image to the user terminal 3.
  • FIG. 7 is an example of a search result page.
  • the search result page includes a product list 210, a map area 220, a shop image area 230, and the like.
  • the product list 210 information on the searched products is displayed in a list.
  • the map area 220 for example, a map of the whole or a part of Japan is displayed, and a mark indicating the position of a store that sells the searched product is displayed.
  • the store image area 230 displays an image of a store extracted as a partial image. When the user selects any mark from the map area 220, an image of a shop corresponding to the mark is displayed in the shop image area 230.
  • FIG. 8 is a sequence diagram showing an operation example of the information providing system S according to the present embodiment.
  • the user inputs a search condition, and the user terminal 3 transmits the search condition to the information providing server 1.
  • the information providing server 1 searches the product DB 14 b for product information of products that satisfy the search condition.
  • the information providing server 1 generates, for example, a search result page shown in FIG. 7 and transmits it to the user terminal 3.
  • the user selects a mark of any store from the map area 220 of the search result page (step S1). Then, the user terminal 3 transmits the shop ID of the selected shop to the information providing server 1 (step S2).
  • the display target object information acquisition unit 111 acquires the store name and the address stored in the store DB 14a in association with the received store ID (step S3). Next, the display target object information acquisition unit 111 acquires the latitude and longitude corresponding to the acquired address (step S4).
  • the display target object information acquisition unit 111 transmits a low resolution omnidirectional image request including the acquired latitude and longitude to the omnidirectional image server 2 (step S5).
  • the omnidirectional image server 2 specifies, from the omnidirectional image DB 24a, the latitude and longitude of one or more viewpoints within a predetermined range from the position indicated by the latitude and longitude included in the low resolution omnidirectional image request. Then, the omnidirectional image server 2 searches the omnidirectional image DB 24a for the low resolution omnidirectional image associated with the retrieved longitude and latitude (step S6). Next, the omnidirectional image server 2 transmits the retrieved low resolution omnidirectional image to the information providing server 1 in association with the latitude and longitude (step S7).
  • the partial image extraction unit 112 specifies a low resolution omnidirectional image in which a shop name is shown by character recognition among the low resolution omnidirectional images received from the information providing server 1 (step S8).
  • the partial image extraction unit 112 determines the extraction range (direction, elevation angle, vertical and horizontal angle of view) of the partial image such that at least the partial image includes the store name in the specified low resolution omnidirectional image (Step S9).
  • the partial image extraction unit 112 transmits an original omnidirectional image request including the latitude and longitude associated with the identified low resolution omnidirectional image to the information providing server 1 (step S10).
  • the information providing server 1 searches the omnidirectional image DB 24a for the original omnidirectional image associated with the latitude and longitude included in the original omnidirectional image request (step S11).
  • the information providing server 1 transmits the retrieved original omnidirectional image to the information providing server 1 (step S12).
  • the partial image extraction unit 112 extracts a partial image from the original omnidirectional image based on the determined extraction range (step S13).
  • the partial image output unit 113 transmits the extracted partial image to the user terminal 3 (step S14).
  • the user terminal 3 displays the partial image received from the information providing server 1 in the shop image area 230 of the search result page (step S15).
  • the system control unit 11 acquires position information indicating the position of a store as a display object, and display object information indicating a display object. Further, the system control unit 11 extracts a partial image including the acquired display target object information from the omnidirectional image captured from one or more viewpoints located within a predetermined range from the position indicated by the acquired position information. Do. Further, the system control unit 11 outputs the extracted partial image. Therefore, it is possible to enhance the probability that an image in which the front of the display object is captured is initially displayed as a partial image.
  • system control unit 11 may acquire display object information indicating the appearance of at least a part of the front of the display object.
  • the system control unit 11 may also extract a partial image including an image having an appearance indicated by the display object information. In this case, it is possible to increase the probability that an image in which the front of the display object is captured is initially displayed.
  • system control unit 11 may acquire display object information indicating the store name of the display object. Further, the system control unit 11 may extract a partial image including the store name of the display object in the image. In this case, the system control unit 11 extracts a partial image including the store name of the display object having a probability that is displayed in front of the display object. Therefore, it is possible to increase the probability that an image in which the front of the display object is captured is initially displayed.
  • the system control unit 11 sets a plurality of low resolution omnidirectional images with relatively low resolution and a plurality of original omnidirectional images with relatively high resolution as omnidirectional images captured from one or more viewpoints.
  • a plurality of low resolution omnidirectional images may be acquired from the omnidirectional image server 2 which stores a plurality of original omnidirectional images corresponding to the plurality of low resolution omnidirectional images.
  • the system control unit 11 may specify a low resolution omnidirectional image including display target object information among the plurality of acquired low resolution omnidirectional images.
  • the system control unit 11 may obtain, from the omnidirectional image server 2, an original omnidirectional image corresponding to the low resolution omnidirectional image specified among the plurality of original omnidirectional images.
  • system control unit 11 may extract a partial image including display target object information from the acquired original omnidirectional image.
  • the processing load of the information providing server 1 and the communication load between the information providing server 1 and the omnidirectional image server 2 can be reduced as compared to the case of acquiring all the original omnidirectional images.
  • the system control unit 11 may also extract a partial image from the captured omnidirectional image using pattern recognition.
  • the system control unit 11 analyzes the omnidirectional image using pattern recognition to identify and extract a partial image including display target object information from the omnidirectional image.
  • the information providing server 1 receives from the user terminal 3 a keyword input as a search condition by the user, and searches for a geographical object based on the keyword.
  • the information providing server 1 transmits a web page indicating a search result including the front image of the searched geographical object to the user terminal 3 as a search result page.
  • FIG. 9 is a block diagram showing an example of a schematic configuration of the information providing server 1 according to the present embodiment. Elements in FIG. 9 similar to those in FIG. 2A are denoted by the same reference numerals.
  • the point that the information providing server 1 of the present embodiment differs from the information providing server 1 of the first embodiment is that the store DB 14 a and the product DB 14 b are not stored in the storage unit 14 of the information providing server 1 of the present embodiment. And it is a point in which geographical object DB14c and picture feature-value DB14d are memorized.
  • FIG. 10 is a diagram showing an example of contents stored in the database.
  • the geographical object DB 14 c stores geographical object information on the geographical object. Specifically, in the geographical object DB 14c, the geographical object ID, the geographical object name, the position information of the geographical object, the description of the geographical object, the category information, etc. It is associated and stored.
  • the geographical object ID is identification information that identifies the geographical object.
  • a geographical object name is a unique name indicating a geographical object.
  • the location information is an address or latitude and longitude.
  • the category information indicates, among a plurality of categories of geographical objects, a category to which the geographical object indicated by the geographical object name belongs.
  • the image feature amount DB 14 d stores feature amounts of images associated with keywords. Specifically, keywords and feature amounts are stored in association with each other in the image feature amount DB 14 d.
  • the general name of the geographical object may be stored as the keyword.
  • the keyword as a common name of the geographical object indicates the type of the geographical object.
  • the feature quantity indicates the feature of a typical image of the geographical object indicated by the keyword. It is desirable that the feature quantities indicate features of shapes, patterns and colors which are likely to be located or displayed in front of the geographical object.
  • the feature amount of the torii is stored for the keyword “shrine”.
  • the names of chains of a plurality of stores, hotels, etc., the names of corporations having a plurality of establishments, etc. may be stored.
  • the feature value may indicate, for example, the feature of a chain or a corporate trademark or other mark.
  • the keywords as corporate names indicate categories of geographical objects.
  • the display target object information acquisition unit 111 acquires, from the geographical target object DB 14c, position information of the geographical target object searched based on the keyword input by the user. For example, when the name of the display object is input as a keyword, the display object information acquisition unit 111 transmits geographical object information including a geographical object name that matches the input name from the geographical object DB 14c. Search for. Alternatively, the display object information acquisition unit 111 searches for geographical object information in which one or more input keywords are included in at least one of a geographical object name, position information, and a description of the geographical object. Do. The display target object information acquisition unit 111 acquires position information from the searched geographical target object information.
  • the display object information acquiring unit 111 acquires this keyword as the display object information
  • the display object information acquisition unit 111 may acquire the geographical object name included in the searched geographical object information as the display object information from the geographical object DB 14 c.
  • the display target object information acquisition unit 111 may use, as display target object information, a feature amount that matches or is associated with a keyword included in at least one of the keywords input by the user. You may acquire from DB14d.
  • the image feature amount DB 14 d may store feature amounts of typical images of geographic objects of the category in association with each of a plurality of categories of geographic objects.
  • the display target object information acquisition unit 111 may acquire the feature amount associated with the category corresponding to the display target object from the image feature amount DB 14 d with reference to the category information of the display target object.
  • the display object information acquisition unit 111 may acquire the feature amount together with the geographical object name (a keyword indicating the geographical object or a geographical object name included in the geographical object information). Alternatively, the display object information acquisition unit 111 acquires only the geographical object name when one piece of geographical object information is searched, and the feature when the plural pieces of geographical object information are searched. You may only get the quantity. For example, when the user inputs the name "A hot spring" of the display object as a keyword, it is assumed that one piece of geographical object information of a hot spring hotel whose name is "A hot spring” is retrieved. In this case, the keyword "A hot spring" is the display object information.
  • the display object information acquisition unit 111 acquires the feature amount of the torii associated with the “shrine” as the display object information from the image feature amount DB 14 d.
  • the display target object information acquisition unit 111 may acquire at least one of the geographical target object name and the feature amount as display target object information regardless of the number of searched geographic target object information.
  • the partial image extraction unit 112 may extract a partial image including a geographical object name from the omnidirectional image. Alternatively, the partial image extraction unit 112 may extract a partial image including the feature indicated by the feature amount acquired from the image feature amount DB 14 d. For example, the partial image output unit 113 extracts feature points from the omnidirectional image using SIFT, SURF, or the like, and calculates local feature amounts at one or more locations in the omnidirectional image based on the feature points. The partial image output unit 113 compares the local feature amount with the feature amount acquired from the image feature amount DB 14 d to calculate the similarity.
  • the partial image output unit 113 extracts a partial image including a portion at which the local feature amount is calculated in the omnidirectional image, when there is a local feature amount whose similarity is calculated to a predetermined value or more.
  • the partial image extraction unit 112 may extract a partial image including both of the geographical object name and the image having the feature indicated by the feature amount.
  • the partial image extraction unit 112 may extract a partial image including at least one of a geographical object name and an image having a feature indicated by the feature amount.
  • the partial image extraction unit 112 extracts a partial image including a geographical object name when one piece of geographical object information is searched, and when a plurality of pieces of geographical object information is searched, You may extract the partial image containing the feature which a feature-value shows.
  • FIG. 11 is a diagram showing an example of an omnidirectional image and a partial image.
  • omnidirectional images OI4 and OI5 are images taken from viewpoints within a predetermined range from one of these shrines. It is assumed that the feature amount of the torii is used as the display object information.
  • the omnidirectional image OI 4 shows the rear face of the main hall 310 of the shrine but does not show the torii.
  • the omnidirectional image OI 4 shows the front of the main hall 310 and the torii gate 320.
  • the partial image extraction unit 112 extracts a partial image PI2 including most of the torii gate 320 from the omnidirectional image OI4.
  • the partial image PI2 includes the front of the main hall 310, the main hall 310 may not be included because the torii gate 320 existing in front of the shrine may be included in the partial image.
  • Display object information may be included in two or more omnidirectional images for one geographical object.
  • the partial image extraction unit 112 recognizes the size of the geographical object name, the degree of distortion of the geographical object name, and the geographical object name in the omnidirectional image. Accuracy, size of geographical object (all or part of geographical object) characterized by feature quantity, recognition accuracy of geographical object, presence or absence of obstacle in front of geographical object, image
  • the omnidirectional image from which the partial image is extracted may be determined based on at least one of the degree of sharpness and the like.
  • the partial image extraction unit 112 may determine, based on the category information of the display target object information, the partial image is preferentially extracted from the omnidirectional image captured in which time zone.
  • the partial image extraction unit 112 preferentially uses the omnidirectional image captured in the daytime for a store or government office etc. opened in the daytime, and for a store etc. opened in the night, at night
  • the omnidirectional image taken may be used preferentially.
  • the partial image output unit 113 transmits a search result page including the extracted partial image to the user terminal 3.
  • FIG. 12 is a diagram showing an example of a search result page.
  • the search result page includes a geographical object list 400 and the like.
  • geographical object simplified information 410, a geographical object image 420 and the like are displayed as information of the searched geographical objects.
  • the geographical object simplified information 410 is, for example, the name of the geographical object, position information, a description, and the like.
  • the geographical object image 420 is an image of the front of the geographical object extracted as a partial image.
  • the partial image output unit 113 may determine the display order of the information on the geographical objects in the geographical object list 400 based on, for example, the resolution of the partial images.
  • the partial image output unit 113 may group and display information of geographical objects by clustering based on the position information of the searched geographical objects. For example, information on geographical objects close in distance between each other is grouped.
  • FIG. 13 is a sequence diagram showing an operation example of the information providing system S according to the present embodiment.
  • the same processes as in FIG. 8 are denoted by the same reference numerals.
  • the user terminal 3 transmits the keyword to the information providing server 1 (step S21).
  • the display target object information acquisition unit 111 uses the keyword received from the user terminal 3 to search for one or more pieces of geographical target object information from the geographical target object DB 14 c. Then, the display target object information acquisition unit 111 acquires position information from each geographical target object information. If the position information is an address, the display object information acquisition unit 111 acquires the latitude and longitude corresponding to the address (step S22). Next, steps S5 to S7 are executed for each of the acquired latitude and longitude.
  • the display target object information acquisition unit 111 sets, for each of the searched geographical targets, one or more low resolution omnidirectional images captured from one or more viewpoints within a predetermined range from the position of the geographical target.
  • An image is acquired from the omnidirectional image server 2.
  • the partial image output unit 113 determines whether or not the latitude and longitude of two or more geographical objects have been acquired in step S22 (step S23). If the partial image output unit 113 determines that the latitude and longitude of two or more geographical objects has not been acquired (step S23: NO), the process proceeds to step S24. On the other hand, if the partial image output unit 113 determines that the latitude and longitude of two or more geographical objects has been acquired (step S23: YES), the process proceeds to step S26.
  • step S24 the display object information acquisition unit 111 acquires a keyword indicating a geographical object name among the input keywords, or acquires a geographical object name from the searched geographical object information.
  • the partial image output unit 113 specifies a low resolution omnidirectional image in which a geographical object name is shown by character recognition among the low resolution omnidirectional images received from the information providing server 1.
  • the partial image output unit 113 determines the extraction range of the partial image such that at least the partial image includes the geographical object name in the specified low resolution omnidirectional image (step S25).
  • the display target object information acquiring unit 111 specifies, of the input keywords, a keyword that matches the keyword stored in the image feature amount DB 14d.
  • the display target object information acquisition unit 111 acquires the feature amount associated with the specified keyword from the image feature amount DB 14 d.
  • the partial image output unit 113 is a low resolution omnidirectional image including the features indicated by the acquired feature amount of the image feature DB 14 d among the low resolution omnidirectional images received from the information providing server 1 for each of the acquired latitude and longitude Identify
  • the partial image output unit 113 determines the extraction range of the partial image such that at least the partial image includes the feature indicated by the feature amount in the low resolution omnidirectional image specified for each of the acquired latitude and longitude. (Step S27).
  • steps S10 to S12 are executed for each of the acquired latitude and longitude. That is, the partial image extraction unit 112 acquires, from the omnidirectional image server 2, the original omnidirectional image corresponding to the low-resolution omnidirectional image specified in step S24 or step S26, for each of the searched geographical objects. Next, the partial image extraction unit 112 extracts a partial image from the original omnidirectional image based on the determined extraction range for each of the acquired latitude and longitude (step S13).
  • the partial image output unit 113 generates a search result page including the extracted partial image and transmits it to the user terminal 3 (step S28).
  • the user terminal 3 displays the search result page received from the information providing server 1 (step S29).
  • the system control unit 11 acquires display object information indicating the name of the display object. Further, the system control unit 11 extracts a partial image including the name of the display object. Therefore, it is possible to further increase the probability that the image in which the front of the display object is captured is initially displayed.
  • the system control unit 11 stores, for each of a plurality of geographic objects, the name of the geographic object and the position information indicating the position of the geographic object in association with each other.
  • the position information associated with the geographical object name included in the display object information may be acquired.
  • the information providing server 1 can use the name of the display object to extract a partial image and acquire position information of the display object.
  • the system control unit 11 is a geographic object of a type or category corresponding to the display object
  • the feature amount of may be acquired as display object information.
  • the system control unit 11 may extract a partial image including the feature indicated by the acquired feature amount.
  • the system control unit 11 extracts a partial image including the feature indicated by the feature information of the geographical object of the type or category corresponding to the display object. Therefore, it is possible to increase the probability that an image in which the front of the display object is captured is initially displayed.
  • Reference Signs List 1 information providing server 2 omnidirectional image server 3 user terminal 11 system control unit 12 system bus 13 input / output interface 14 storage unit 14 a store DB 14b Product DB 14c Geographical Object DB 14d Image Feature DB 15 communication unit 111 display object information acquisition unit 112 partial image extraction unit 113 partial image extraction unit 21 system control unit 22 system bus 23 input / output interface 24 storage unit 24 a omnidirectional image DB NW network

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Abstract

表示対象物の正面が写った画像が当初に表示される蓋然性を高めることを可能とする。　画像抽出装置は、表示対象物の位置を示す位置情報、及び表示対象物を示す表示対象物情報を取得する。画像抽出装置は、取得された位置情報が示す位置から所定範囲内に位置する１以上の地点から撮影された画像から、取得された表示対象物情報を含む部分画像を抽出する。画像抽出装置は、抽出された部分画像を出力する。

Description

画像抽出装置、画像抽出方法及び画像抽出プログラム
　本発明は、表示対象物が位置する場所周辺の地点で撮影された画像から、その表示対象物が写った画像を抽出する画像抽出装置、画像抽出方法及び画像抽出プログラムの技術分野に関する。
　従来、ユーザからの表示対象物の検索の要求に基づいて、表示対象物の位置を特定し、その位置周辺の地点で撮影された画像であって、その表示対象物が写った画像を表示するシステムが知られている。例えば、特許文献１には、表示対象物の地点情報が設定されると、表示対象物の地点から最も近いビューポイントを特定し、そのビューポイントから表示対象物の地点に向かう方向を特定し、特定されたビューポイントに対応する全方位の画像の中から、特定された方向の画像を抽出し、抽出された画像を画像表示端末に送信するシステムが開示されている。
特開２０１６－１１５０６７号公報
　特許文献１に開示された技術では、表示対象物が写った画像を表示することができる場合もある。しかしながら、表示対象物の地点から最も近いビューポイントが、表示対象物の背面側や側面側に位置する場合、表示対象物の正面が写った画像を表示することができない。この場合、ユーザは、表示対象物の正面が写った画像を表示させるため、表示対象物の正面側にビューポイントを変更する操作を行う必要がある。
　本発明は、以上の点に鑑みてなされたものであり、表示対象物の正面が写った画像が当初に表示される蓋然性を高めることを可能とする画像抽出装置、画像抽出方法及び画像抽出プログラムを提供することを目的とする。
　上記課題を解決するために、請求項１に記載の発明は、表示対象物の位置を示す位置情報、及び前記表示対象物を示す表示対象物情報を取得する取得手段と、前記取得された位置情報が示す位置から所定範囲内に位置する１以上の地点から撮影された画像から、前記取得された表示対象物情報を含む１以上の部分画像を抽出する抽出手段と、前記抽出された部分画像を出力する出力手段と、を備えることを特徴とする。
　この発明によれば、画像抽出装置は、地理的対象物の位置から所定範囲内に位置する１以上の地点から撮影された画像から、表示対象物情報を含む部分画像を抽出し、この部分画像を出力する。従って、部分画像として、表示対象物の正面が写った画像が当初に表示される蓋然性を高めることができる。
　請求項２に記載の発明は、請求項１に記載の画像出力装置において、前記取得手段は、前記表示対象物の正面の少なくとも一部分の外観を示す前記表示対象物情報を取得し、前記抽出手段は、前記表示対象物情報が示す前記外観を有する画像を含む部分画像を抽出することを特徴とする。
　この発明によれば、表示対象物の正面が写った画像が当初に表示される蓋然性を高めることができる。
　請求項３に記載の発明は、請求項１又は２に記載の画像出力装置において、前記取得手段は、前記表示対象物の名称を示す前記表示対象物情報を取得し、前記抽出手段は、前記表示対象物の名称を画像中に含む部分画像を抽出することを特徴とする。
　この発明によれば、情報処理装置は、表示対象物の正面に表示されている蓋然性がある表示対象物の名称を画像中に含む部分画像を抽出する。従って、表示対象物の正面が写った画像が当初に表示される蓋然性を高めることができる。
　請求項４に記載の発明は、請求項３に記載の画像出力装置において、前記表示対象物情報は前記表示対象物の名称を含み、前記取得手段は、複数の地理的対象物それぞれについて、地理的対象物の名称と、該地理的対象物の位置を示す位置情報と、を関連付けて記憶する位置情報記憶手段から、前記表示対象物情報に含まれる名称に関連付けられた位置情報を取得することを特徴とする。
　この発明によれば、情報処理装置は、表示対象物の名称を用いて、部分画像を抽出するとともに、表示対象物の位置情報を取得することができる。
　請求項５に記載の発明は、請求項１乃至４の何れか１項に記載の画像出力装置において、前記取得手段は、複数のカテゴリーの地理的対象物それぞれの画像の特徴を示す特徴情報を記憶する特徴情報記憶手段から、前記表示対象物に対応するカテゴリーの地理的対象物の特徴情報を、前記表示対象物情報として取得し、前記抽出手段は、前記取得された特徴情報が示す特徴を含む部分画像を抽出することを特徴とする。
　この発明によれば、情報処理装置は、表示対象物に対応するカテゴリーの地理的対象物の特徴情報が示す特徴を含む部分画像を抽出する。従って、表示対象物の正面が写った画像が当初に表示される蓋然性を高めることができる。
　請求項６に記載の発明は、請求項１乃至５の何れか１項に記載の画像抽出装置において、前記抽出手段は、前記１以上の地点から撮影された画像として、解像度が相対的に低い複数の低解像度画像、及び解像度が相対的に高い複数の高解像度画像であって、前記複数の低解像度画像それぞれに対応する複数の高解像度画像を記憶する画像記憶手段から、前記複数の低解像度画像を取得する低解像度画像取得部と、前記取得された複数の低解像度画像のうち、前記表示対象物情報を含む低解像度画像を特定する特定部と、前記画像記憶手段から、前記複数の高解像度画像のうち前記特定された低解像度画像に対応する高解像度画像を取得する高解像度画像取得部と、前記取得された高解像度画像から、前記表示対象物情報を含む前記部分画像を抽出する抽出部と、を含むことを特徴とする。
　この発明によれば、情報処理装置は、最初に複数の低解像度画像のうち表示対象物情報を含む低解像度画像を特定する。次に、情報処理装置は、複数の低解像度画像にそれぞれ対応する複数の高解像度画像のうち、特定された低解像度画像に対応する高解像度画像から部分画像を抽出する。情報処理装置は、複数の高解像度画像のうち、特定された低解像度画像に対応する高解像度画像のみを画像記憶手段から取得すればよい。従って、全ての高解像度画像を取得する場合よりも、情報処理装置の処理負荷、及び情報処理装置と画像記憶手段との間の通信負荷を軽減させることができる。
　請求項７に記載の発明は、請求項１乃至６の何れか１項に記載の画像出力装置において、前記抽出手段は、前記撮影された画像からパターン認識を用いて前記部分画像を抽出することを特徴とする。
　請求項８に記載の発明は、コンピュータにより実行される画像抽出方法において、表示対象物の位置を示す位置情報、及び前記表示対象物を示す表示対象物情報を取得する取得ステップと、前記取得された位置情報が示す位置から所定範囲内に位置する１以上の地点から撮影された画像から、前記取得された表示対象物情報を含む１以上の部分画像を抽出する抽出ステップと、前記抽出された部分画像を出力する出力ステップと、を含むことを特徴とする。
　請求項９に記載の発明は、コンピュータを、表示対象物の位置を示す位置情報、及び前記表示対象物を示す表示対象物情報を取得する取得手段と、前記取得された位置情報が示す位置から所定範囲内に位置する１以上の地点から撮影された画像から、前記取得された表示対象物情報を含む１以上の部分画像を抽出する抽出手段と、前記抽出された部分画像を出力する出力手段と、として機能させることを特徴とする。
　本発明によれば、画像抽出装置は、地理的対象物の位置から所定範囲内に位置する１以上の地点から撮影された画像から、表示対象物情報を含む部分画像を抽出し、この部分画像を出力する。従って、部分画像として、表示対象物の正面が写った画像が当初に表示される蓋然性を高めることができる。
一実施形態に係る情報提供システムＳの概要構成の一例を示す図である。 一実施形態に係る情報提供サーバ１の概要構成の一例を示すブロック図である。 一実施形態に係る全方位画像サーバ２の概要構成の一例を示すブロック図である。 データベースに記憶される内容の一例を示す図である。 一実施形態に係る情報提供サーバ１のシステム制御部１１の機能ブロックの一例を示す図である。 或る店舗とビューポイントとの位置関係の一例を示す図である。 全方位画像及び部分画像の例を示す図である。 検索結果ページの一例である。 一実施形態に係る情報提供システムＳの動作例を示すシーケンス図である。 一実施形態に係る情報提供サーバ１の概要構成の一例を示すブロック図である。 データベースに記憶される内容の一例を示す図である。 全方位画像及び部分画像の例を示す図である。 検索結果ページの一例を示す図である。 一実施形態に係る情報提供システムＳの動作例を示すシーケンス図である。
　以下、図面を参照して本発明の実施形態について詳細に説明する。なお、以下に説明する実施の形態は、表示対象物の部分画像を含む情報を提供する情報提供サーバに対して本発明を適用した場合の実施形態である。表示対象物は、複数の地理的対象物のうち、その画像が表示される地理的対象物である。地理的対象物は、例えば地図等の地理学的な情報を用いて識別される物である。地理的対象物は、地上や地下空間等に存在する物である。地理的対象物は、人工物であってもよし自然物であってもよい。地理的対象物の位置（経緯度）は基本的には変わらないか、または一定期間変わらない。各地理的対象物は、その地理的対象物を示す固有名称を有することが望ましいが、必ずしも固有名称を有さなくてもよい。地理的対象物の例として、ビル、家屋、塔、公園その他建造物、記念碑、像、樹木、山、岩等が挙げられる。また、地理的対象物は、例えば１つの階、１つの部屋、１つの区画等の、建造物の一部であってもよい。また、表示対象物となり得る地理的対象物は、複数の物で構成されてもよい。例えば、公園は、敷地内に配置された複数の遊戯具、柵等で構成される。以下に説明する実施の形態においては、全方位画像から部分画像が抽出される。全方位画像は、例えば全天球カメラを用いて撮影される。しかしながら、部分画像の抽出元は、例えばパノラマ画像や、一般的な画角で撮影された画像等であってもよい。また、本発明は、地理的対象物の画像を提供する様々なシステムに対して適用可能である。
［１．第１実施形態］
［１－１．情報提供システムの構成］
　先ず、本実施形態に係る情報提供システムＳの構成について、図１を用いて説明する。図１は、本実施形態に係る情報提供システムＳの概要構成の一例を示す図である。
　図１に示すように、情報提供システムＳは、情報提供サーバ１と、全方位画像サーバ２と、複数のユーザ端末３と、を含んで構成されている。情報提供サーバ１は、本発明の情報処理装置の一例である。
　情報提供サーバ１、全方位画像サーバ２及びユーザ端末３は、ネットワークＮＷを介して、例えば、通信プロトコルにＴＣＰ／ＩＰ等を用いて相互にデータの送受信が可能になっている。なお、ネットワークＮＷは、例えば、インターネット、専用通信回線（例えば、ＣＡＴＶ（Community Antenna Television）回線）、移動体通信網（基地局等を含む）、及びゲートウェイ等により構築されている。
　本実施形態において、情報提供サーバ１は、或る電子商店街に関する各種処理を実行するサーバ装置である。電子商店街では、複数の店舗から商品が販売される。店舗は、地理的対象物の一例である。情報提供サーバ１は、ユーザ端末３からの要求に応じて商品を検索する。情報提供サーバ１は、商品の検索結果を示すウェブページを、検索結果ページとしてユーザ端末３へ送信する。検索結果ページから、ユーザが何れかの商品を選択すると、情報提供サーバ１は、商品に関する詳細な情報を示すウェブページを、商品ページとしてユーザ端末３へ送信する。検索結果ページ又は商品ページにおいて、検索された商品の販売元の店舗又は選択された商品の販売元の店舗の正面が写った画像が表示される。情報提供サーバ１は、全方位画像サーバ２から全方位画像を取得して、全方位画像から、店舗が写っている部分画像を抽出する。
　全方位画像サーバ２は、様々な地点（ビューポイント）から撮影された全方位画像を記憶する。全方位画像サーバ２は、情報提供サーバ１からの要求に応じて、全方位画像を情報提供サーバ１へ提供する。具体的に、全方位画像サーバ２は、情報提供サーバ１から位置情報を受信すると、この位置情報が示す位置から所定範囲内にある１以上のビューポイントで撮影された１以上の全方位画像を情報提供サーバ１へ送信する。位置情報の例として、経緯度、住所等が挙げられる。なお、情報提供サーバ１と全方位画像サーバ２とが一体に構成されてもよい。
　ユーザ端末３は、情報提供システムＳを利用するユーザにより利用される通信装置である。ユーザ端末３は、ネットワークＮＷを介して情報提供サーバ１にアクセスしてウェブページを表示する。ユーザ端末３には、ブラウザ等のプログラムがインストールされている。ユーザ端末３の例として、パーソナルコンピュータ、ＰＤＡ（Personal Digital Assistant）、スマートフォン、タブレットコンピュータ等の携帯情報端末、携帯電話機等が挙げられる。
［１－２．情報提供サーバの構成］
　次に、情報提供サーバ１の構成について、図２Ａ及び図３を用いて説明する。図２Ａは、本実施形態に係る情報提供サーバ１の概要構成の一例を示すブロック図である。図２Ａに示すように、情報提供サーバ１は、システム制御部１１と、システムバス１２と、入出力インターフェース１３と、記憶部１４と、通信部１５と、を備えている。システム制御部１１と入出力インターフェース１３とは、システムバス１２を介して接続されている。
　システム制御部１１は、ＣＰＵ（Central Processing Unit）１１ａ、ＲＯＭ（Read Only Memory）１１ｂ、ＲＡＭ（Random Access Memory）１１ｃ等により構成されている。ＣＰＵ１１ａは、プロセッサの一例である。なお、本発明は、ＣＰＵと異なる様々なプロセッサに対しても適用可能である。記憶部１４、ＲＯＭ１１ｂ及びＲＡＭ１１ｃは、それぞれメモリの一例である。なお、本発明は、ハードディスク、ＲＯＭ及びＲＡＭと異なる様々なメモリに対しても適用可能である。
　入出力インターフェース１３は、記憶部１４及び通信部１５とシステム制御部１１との間のインターフェース処理を行う。
　記憶部１４は、例えば、ハードディスクドライブ等により構成されている。この記憶部１４には、店舗ＤＢ１４ａ、商品ＤＢ１４ｂ等のデータベースが記憶されている。「ＤＢ」は、データベースの略語である。
　図３は、データベースに記憶される内容の一例を示す図である。店舗ＤＢ１４ａには、店舗に関する店舗情報が記憶される。具体的に、店舗ＤＢ１４ａには、店舗ＩＤ、店舗名、店舗の住所等の店舗の属性が、店舗ごとに対応付けて記憶される。店舗ＩＤは、店舗を識別する識別情報である。
　商品ＤＢ１４ｂには、電子商店街で販売される商品に関する商品情報が記憶される。具体的に、商品ＤＢ１４ｂには、商品ＩＤ、店舗ＩＤ、商品名、価格、商品の画像、商品の説明等が、商品ごとに対応付けて記憶される。商品ＩＤは、商品を識別する識別情報である。店舗ＩＤは、商品の販売元を示す。
　記憶部１４には、更にウェブページを表示するための各種データ、例えばＨＴＭＬ（HyperText Markup Language）文書、ＸＭＬ（Extensible Markup Language）文書、画像データ、テキストデータ、電子文書等が記憶されている。また、記憶部１４には、各種の設定値が記憶されている。
　また、記憶部１４には、オペレーティングシステム、ＤＢＭＳ（Database Management System）、情報提供サーバプログラム等の各種プログラムが記憶されている。情報提供サーバプログラムは、ユーザ端末３への情報提供に関する各種処理をシステム制御部１１に実行させるプログラムである。情報提供サーバプログラムは、取得コード、抽出コード、出力コード等の各種のプログラムコードを含む。なお、各種プログラムは、例えば、他のサーバ装置等からネットワークＮＷを介して取得されるようにしてもよいし、磁気テープ、光ディスク、メモリカード等の記録媒体に記録されてドライブ装置を介して読み込まれるようにしてもよい。また、情報提供サーバプログラム等は、プログラム製品であってもよい。
　通信部１５は、ネットワークＮＷを介してユーザ端末３や全方位画像サーバ２と接続し、これらの装置との通信状態を制御する。
［１－３．全方位画像サーバの構成］
　次に、全方位画像サーバ２の構成について、図２Ｂ及び図３を用いて説明する。図２Ｂは、本実施形態に係る全方位画像サーバ２の概要構成の一例を示すブロック図である。図２Ｂに示すように、全方位画像サーバ２は、システム制御部２１と、システムバス２２と、入出力インターフェース２３と、記憶部２４と、通信部２５と、を備えている。システム制御部２１と入出力インターフェース２３とは、システムバス２２を介して接続されている。
　システム制御部２１は、ＣＰＵ２１ａ、ＲＯＭ２１ｂ、ＲＡＭ２１ｃ等により構成されている。
　入出力インターフェース２３は、記憶部２４及び通信部２５とシステム制御部２１との間のインターフェース処理を行う。
　記憶部２４は、例えば、ハードディスクドライブ等により構成されている。この記憶部２４には、全方位画像ＤＢ２４ａ等のデータベースが記憶されている。
　図３に示すように、全方位画像ＤＢ２４ａには全方位画像が記憶される。具体的に、全方位画像ＤＢ２４ａには、各ビューポイントの経緯度、に関連付けて、この経緯度が示す位置から撮影された全方位画像、及びこの全方位画像の撮影日時が記憶される。ビューポイントは基本的には屋外にある。しかしながら、百貨店内、ショッピングモール内等の屋内で撮影された全方位画像が全方位画像ＤＢ２４ａに記憶されてもよい。１つのビューポイント（１つの経緯度）について、１つの日時に撮影された少なくとも１つの全方位画像が記憶されてもよいし、互いに異なる複数の日時に撮影された複数の全方位画像が記憶されてもよい。撮影された各全方位画像について、この全方位画像の解像度よりも低い解像度の全方位画像が１又は複数更に全方位画像ＤＢ２４ａに記憶されてもよい。例えば、撮影された全方位画像そのものが、オリジナル全方位画像として全方位画像ＤＢ２４ａに記憶される。システム制御部２１は、オリジナル全方位画像を変換することにより、オリジナル全方位画像の解像度よりも低い解像度の全方位画像を、低解像度全方位画像として生成する。システム制御部２１は、この低解像度全方位画像を全方位画像ＤＢ２４ａに記憶させる。全オリジナル全方位画像の解像度は同一であってもよいし異なっていてもよい。全低解像度全方位画像の解像度は同一であってもよし異なっていてもよい。各低解像度全方位画像の解像度が、生成元のオリジナル全方位画像の解像度よりも低ければよい。また、１つのオリジナル全方位画像について、互いに解像度の異なる複数の低解像度全方位画像が全方位画像ＤＢ２４ａに記憶されてもよい。
　通信部２５は、ネットワークＮＷを介して情報提供サーバ１と接続し、情報提供サーバ１との通信状態を制御する。
［１－４．情報提供サーバのシステム制御部の機能概要］
　次に、図４乃至図７を用いて、情報提供サーバ１のシステム制御部１１の機能概要について説明する。図４は、本実施形態に係る情報提供サーバ１のシステム制御部１１の機能ブロックの一例を示す図である。システム制御部１１は、ＣＰＵ１１ａが、情報提供サーバプログラムに含まれる取得コード、抽出コード、出力コード等を読み出し実行することにより、図４に示すように、表示対象物情報取得部１１１、部分画像抽出部１１２、部分画像出力部１１３等として機能する。表示対象物情報取得部１１１は、本発明の取得手段の一例である。部分画像抽出部１１２は、本発明の抽出手段の一例である。部分画像出力部１１３は、本発明の出力手段の一例である。
　表示対象物情報取得部１１１は、表示対象物の位置を示す位置情報、及び表示対象物を示す表示対象物情報を取得する。位置情報は、具体的には表示対象物の地理的な位置を示す。上述したように、位置情報は、例えば経緯度、住所等である。表示対象物情報は、例えば表示対象物の全体又は一部の外観（形状、模様、色彩等）を示す情報であってもよい。より望ましくは、表示対象物情報は、表示対象物の正面の少なくとも一部分の外観を示す情報である。表示対象物情報の例として、表示対象物の名称、表示対象物の画像の特徴を示す特徴情報等が挙げられる。地理的対象物の名称は、地理的対象物の正面に表示されている蓋然性が高い。この点において、表示対象物の名称は、表示対象物の正面の一部分である名称を示す文字の外観を示す。例えば、地理的対象物の看板、表札、門等に、地理的対象物の名称が表示される。表示対象物の名称は、固有名称であることが望ましい。特徴情報は、表示対象物の正面に位置し又は表示される蓋然性がある形状、模様及び色の特徴を示すことが望ましい。従って、特徴情報は、表示対象物の正面の少なくとも一部分の外観を示す。特徴情報は、例えば特徴量（特徴ベクトル）であってもよい。
　本実施形態において、表示対象物は、例えばユーザにより指定された店舗又はユーザにより指定された商品の販売元の店舗である。検索結果ページからユーザが何れかの店舗を選択すると、表示対象物情報取得部１１１は、選択された店舗の店舗ＩＤを取得する。或いは、検索結果ページからユーザが何れかの商品を選択すると、表示対象物情報取得部１１１は、選択された商品の商品ＩＤを関連付けて商品ＤＢ１４ｂに記憶されている店舗ＩＤを取得する。表示対象物情報取得部１１１は、店舗ＤＢ１４ａから、店舗ＩＤに関連付けられた店舗情報を検索する。表示対象物情報取得部１１１は、店舗情報から店舗名を、表示対象物情報として取得する。更に、表示対象物情報取得部１１１は、店舗情報から住所を取得し、この住所対応する経緯度を、位置情報として取得する。
　表示対象物情報取得部１１１は、店舗名に代えて又は店舗名とともに、商品の画像の特徴量を表示対象物情報として取得してもよい。商品は、店舗の正面から見えるように置かれている蓋然性がある。例えば、記憶部１４には、複数の商品のカテゴリーそれぞれに関連付けて、カテゴリーに属する商品の典型的な画像の特徴量が記憶される。表示対象物情報取得部１１１は、選択された店舗が販売する商品のカテゴリー又は選択された商品のカテゴリーに対応する特徴量を取得する。或いは、表示対象物情報取得部１１１は、選択された商品の商品ＩＤに関連付けて商品ＤＢ１４ｂに記憶されている商品情報から商品の画像を取得して、この画像から特徴量を抽出してもよい。例えばＳＩＦＴ（Scale Invariant Feature Transform）、ＳＵＲＦ（Speeded Up Robust Features）等のアルゴリズムを用いて特徴量が抽出される。
　部分画像抽出部１１２は、表示対象物情報取得部１１１により取得された位置情報が示す位置から所定範囲内に位置する１以上のビューポイントで撮影された全方位画像から、表示対象物情報取得部１１１により取得された表示対象物情報を含む部分画像を抽出する。例えば、部分画像抽出部１１２は、表示対象物情報が示す外観を有する画像を含む部分画像を抽出する。より望ましくは、部分画像抽出部１１２は、表示対象物の正面の少なくとも一部分の外観を有する画像を含む部分画像を抽出する。部分画像抽出部１１２は、パターン認識を用いて部分画像を抽出する。パターン認識の例として、物体認識、文字認識等が挙げられる。
　本実施形態において、部分画像抽出部１１２は、位置情報として取得された経緯度を全方位画像サーバ２へ送信する。全方位画像サーバ２は、情報提供サーバ１から受信した経緯度が示す位置から所定範囲内にあるビューポイントの経緯度を、全方位画像ＤＢ２４ａから検索する。全方位画像サーバ２は、受信した経緯度が示す位置から最も近いビューポイントの経緯度のみを検索してもよい。或いは、全方位画像サーバ２は、受信した経緯度が示す位置から近い順に所定数のビューポイントの経緯度を検索してもよい。或いは、全方位画像サーバ２は、受信した経緯度が示す位置から所定範囲内にある全てのビューポイントの経緯度を検索してもよい。全方位画像サーバ２は、検索された経緯度ごとに、その経緯度に関連付けて全方位画像ＤＢ２４ａに記憶されている全方位画像を少なくとも１つ取得する。全方位画像サーバ２は、取得した全方位画像を情報提供サーバ１へ送信する。なお、部分画像抽出部１１２は、表示対象物としての店舗の住所を全方位画像サーバ２へ送信し、全方位画像サーバ２は、この住所から、店舗の経緯度を取得して全方位画像ＤＢ２４ａを検索してもよい。
　部分画像抽出部１１２は、文字認識技術を用いて、全方位画像サーバ２から受信した全方位画像から、全方位画像に写っている文字を認識する。部分画像抽出部１１２は、認識された文字と、表示対象物情報として取得された店舗名とを比較する。部分画像抽出部１１２は、認識された文字が店舗名と一致し、又は認識された文字が店舗名を含む場合、対応する全方位画像に、表示対処物としての店舗が写っていると判定する。部分画像抽出部１１２は、店舗名の所定割合以上の文字が、認識された文字と一致する場合にも、全方位画像に店舗が写っていると判定してもよい。
　部分画像抽出部１１２は、店舗が写っていると判定された全方位画像から、店舗が写っている部分画像を抽出する。部分画像抽出部１１２は、少なくとも店舗名が含まれるように、全方位画像内の部分画像の範囲を特定することが望ましい。部分画像抽出部１１２は、物体認識により、店舗名に重畳して全方位画像に写っている建造物（すなわち店舗）を認識し、店舗の全部又は大部分が含まれるように、部分画像の範囲を特定することがより望ましい。店舗の住所が階番号を含む場合、部分画像抽出部１１２は、店舗名に重畳して全方位画像に写っている建造物のうち、階番号が示す階の部分が含まれるように、部分画像の範囲を特定することが望ましい。部分画像抽出部１１２は、部分画像の範囲として、例えばビューポイントを基準とした建造物の方角、仰角、縦横の画角を決定する。部分画像抽出部１１２は、決定された範囲に従って、全方位画像から部分画像を抽出する。
　図５は、或る店舗とビューポイントとの位置関係の一例を示す図である。図５に示すように、店舗１００の周囲にビューポイントＰ１～Ｐ３がある。店舗１００の正面は北に向いている。店舗１００の名称は「ＸＹＺ　ＳＨＯＰ」である。ビューポイントＰ１は店舗１００から南の方向に位置している。ビューポイントＰ１～Ｐ３のうち、ビューポイントＰ１が店舗１００から最も近い。ビューポイントＰ２は、店舗１００から北北西の方向に位置している。ビューポイントＰ３は、店舗１００から北北東の方向に位置している。
　図６は、全方位画像及び部分画像の例を示す図である。図６においては、パノラマ画像のよう簡易的に全方位画像を表している。全方位画像ＯＩ１～ＯＩ３はそれぞれビューポイントＰ１～Ｐ３で撮影された画像である。全方位画像ＯＩ１において、店舗１００の後面が写っており、店舗名は写っていない。全方位画像ＯＩ２において、店舗１００の一部及び自動車１１０が写っている。店舗１００の正面が自動車１１０に隠されているため、店舗名が見えない。全方位画像ＯＩ３において、店舗１００の斜め正面が写っており、店舗１００の屋根部分に店舗名が表示されている。この場合、部分画像抽出部１１２は、文字認識により全方位画像ＯＩ３から店舗名を認識するので、全方位画像ＯＩ３から部分画像ＰＩ１を抽出する。部分画像ＰＩ１は、店舗名及び店舗１００の大部分を含む画像である。このように、表示対象物の正面を撮影可能なビューポイントから撮影された表示対象物の画像であって、表示対象物が障害物に隠れていない画像を、部分画像として抽出することができる。
　全方位画像サーバ２から取得された全方位画像のうち、２以上の全方位画像に表示対象物情報が含まれている場合がある。或いは、１つの全方位画像に２以上の対象物情報が含まれている場合がある。例えば、２以上の全方位画像に店舗名が写っていたり、１つの全方位画像の２以上の店舗名が写っていたりする場合がある。この場合、部分画像抽出部１１２は、全方位画像中における店舗名の大きさ（縦横のピクセル数）、店舗名の歪み度合い、店舗名の認識精度、全方位画像中における建造物（店舗）の大きさ、建造物の前の障害物（例えば人、車、塀等）の有無、画像の鮮明度合い等の少なくとも１つに基づいて、部分画像の抽出元の全方位画像又は部分画像の抽出範囲を決定してもよい。例えば、部分画像抽出部１１２は、相対的に店舗名が大きい全方位画像、店舗名の歪みが小さい全方位画像、店舗名の認識精度が高い全方位画像、建造物が大きい全方位画像、障害物が少ない全方位画像又は鮮明な全方位画像から、部分画像が抽出する。全方位画像において店舗名に外接する四角形が矩形に近いほど、店舗名の歪みが小さい。ぼけが小さい又はエッジが明確な画像ほど鮮明な画像である。
　表示対象物情報として商品の画像の特徴量が取得された場合、部分画像抽出部１１２は、物体認識により、特徴量を用いて全方位画像から商品を認識する。部分画像抽出部１１２は、例えば商品に重畳して全方位画像に写っている建造物の全部又は大部分が含まれるように、部分画像の範囲を特定してもよい。表示対象物情報として店舗名及び特徴量が取得された場合、部分画像抽出部１１２は、例えば店舗名及び商品の両方に重畳して全方位画像に写っている建造物の全部又は大部分が含まれるように、部分画像の範囲を特定してもよい。
　なお、部分画像抽出部１１２は、店舗の経緯度及びビューポイントの経緯度に基づき、ビューポイントから店舗が位置する方角を計算し、全方位画像において、計算された方角に対応する範囲から、パターン認識を用いて、表示対象物情報を含む部分を特定してもよい。
　部分画像抽出部１１２は、最初は全方位画像サーバ２から複数の低解像度全方位画像を取得して、取得された低解像度全方位画像のうち、表示対象物情報を含む低解像度を特定してもよい。その後、部分画像抽出部１１２は、全方位画像サーバ２から複数のオリジナル全方位画像のうち、表示対象物情報を含む低解像度画像に対応するオリジナル全方位画像を取得して、このオリジナル全方位画像から、部分画像を抽出してもよい。これにより、全方位画像サーバ２から情報提供サーバ１へ送信されるオリジナル画像の数が少なくなるので、ネットワークの負荷及びサーバの処理負荷を軽減させることができる。低解像度画像に対応するオリジナル全方位画像とは、低解像度画像の生成元のオリジナル全方位画像、又は低解像度画像とは解像度は異なるものの低解像度画像と絵が同一であるオリジナル全方位画像である。
　オリジナル全方位画像から、解像度が互いに異なる複数の低解像度全方位画像が生成されて全方位画像ＤＢ２４ａに記憶されている場合、部分画像抽出部１１２は、例えば最初は最も解像度が低い低解像度全方位画像を全方位画像サーバ２から取得して、これらの低解像度全方位画像のうち、物体認識を用いて店舗名を表示する蓋然性がある看板等が写っている低解像度全方位画像を特定してもよい。次に、部分画像抽出部１１２は、２番目に解像度が低い低解像度全方位画像のうち、特定された低解像度全方位画像に対応する低解像度全方位画像を全方位画像サーバ２から取得して、これらの低解像度全方位画像のうち、看板等の部分に店舗名が表示されている低解像度全方位画像を特定してもよい。そして、部分画像抽出部１１２は、特定された低解像度全方位画像に対応するオリジナル全方位画像を取得してもよい。
　部分画像出力部１１３は、部分画像抽出部１１２により抽出された部分画像を出力する。例えば、検索結果ページからユーザが何れかの店舗を指定した場合、部分画像出力部１１３は、部分画像をユーザ端末３へ送信して、検索結果ページ内に部分画像を表示させる。或いは、検索結果ページからユーザが何れかの商品を選択した場合、部分画像出力部１１３は、部分画像を含む商品ページをユーザ端末３へ送信する。
　図７は、検索結果ページの一例である。図７に示すように、検索結果ページは、商品一覧２１０、地図領域２２０及び店舗画像領域２３０等を含む。商品一覧２１０には、検索された商品に関する情報が一覧表示される。地図領域２２０には、例えば日本の全体又は一部の地図が表示されるとともに、検索された商品の販売元の店舗の位置を示すマークが表示される。店舗画像領域２３０は、部分画像として抽出された店舗の画像が表示される。地図領域２２０からユーザが何れかのマークを選択すると、このマークに対応する店舗の画像が店舗画像領域２３０に表示される。
［１－５．情報提供システムの動作］
　次に、情報提供システムＳの動作について、図８を用いて説明する。図８は、本実施形態に係る情報提供システムＳの動作例を示すシーケンス図である。ユーザ端末３に電子商店街のウェブページが表示されているとき、ユーザは検索条件を入力し、ユーザ端末３は検索条件を情報提供サーバ１へ送信する。情報提供サーバ１は、検索条件を満たす商品の商品情報を商品ＤＢ１４ｂから検索する。情報提供サーバ１は、例えば図７に示す検索結果ページを生成してユーザ端末３へ送信する。
　図８に示すように、ユーザは、検索結果ページの地図領域２２０から、何れかの店舗のマークを選択する（ステップＳ１）。すると、ユーザ端末３は、選択された店舗の店舗ＩＤを情報提供サーバ１へ送信する（ステップＳ２）。表示対象物情報取得部１１１は、受信された店舗ＩＤに関連付けて店舗ＤＢ１４ａに記憶されている店舗名及び住所を取得する（ステップＳ３）。次いで、表示対象物情報取得部１１１は、取得された住所に対応する経緯度を取得する（ステップＳ４）。
　次いで、表示対象物情報取得部１１１は、取得された経緯度を含む低解像度全方位画像要求を全方位画像サーバ２へ送信する（ステップＳ５）。全方位画像サーバ２は、全方位画像ＤＢ２４ａから、低解像度全方位画像要求に含まれる経緯度が示す位置から所定範囲内にある１以上のビューポイントの経緯度を特定する。そして、全方位画像サーバ２は、検索された経緯度に関連付けられた低解像度全方位画像を全方位画像ＤＢ２４ａから検索する（ステップＳ６）。次いで、全方位画像サーバ２は、検索された低解像度全方位画像を、経緯度と関連付けて情報提供サーバ１へ送信する（ステップＳ７）。
　部分画像抽出部１１２は、情報提供サーバ１から受信された低解像度全方位画像のうち、文字認識により、店舗名が写っている低解像度全方位画像を特定する（ステップＳ８）。次いで、部分画像抽出部１１２は、特定された低解像度全方位画像において、少なくとも部分画像が店舗名を含むように、部分画像の抽出範囲（方角、仰角、縦横の画角）を決定する（ステップＳ９）。次いで、部分画像抽出部１１２は、特定された低解像度全方位画像に関連付けられた経緯度を含むオリジナル全方位画像要求を情報提供サーバ１へ送信する（ステップＳ１０）。情報提供サーバ１は、全方位画像ＤＢ２４ａから、オリジナル全方位画像要求に含まれる経緯度に関連付けられたオリジナル全方位画像を検索する（ステップＳ１１）。情報提供サーバ１は、検索されたオリジナル全方位画像を情報提供サーバ１へ送信する（ステップＳ１２）。部分画像抽出部１１２は、決定された抽出範囲に基づいて、オリジナル全方位画像から部分画像を抽出する（ステップＳ１３）。
　部分画像出力部１１３は、抽出された部分画像をユーザ端末３へ送信する（ステップＳ１４）。ユーザ端末３は、情報提供サーバ１から受信した部分画像を、検索結果ページの店舗画像領域２３０に表示する（ステップＳ１５）。
　以上説明したように、本実施形態によれば、システム制御部１１が、表示対象物としての店舗の位置を示す位置情報、及び表示対象物を示す表示対象物情報を取得する。また、システム制御部１１が、取得された位置情報が示す位置から所定範囲内に位置する１以上のビューポイントから撮影された全方位画像から、取得された表示対象物情報を含む部分画像を抽出する。また、システム制御部１１が、抽出された部分画像を出力する。従って、部分画像として、表示対象物の正面が写った画像が当初に表示される蓋然性を高めることができる。
　また、システム制御部１１が、表示対象物の正面の少なくとも一部分の外観を示す表示対象物情報を取得してもよい。また、システム制御部１１が、表示対象物情報が示す外観を有する画像を含む部分画像を抽出してもよい。この場合、表示対象物の正面が写った画像が当初に表示される蓋然性を高めることができる。
　また、システム制御部１１が、表示対象物の店舗名を示す表示対象物情報を取得してもよい。また、システム制御部１１が、表示対象物の店舗名を画像中に含む部分画像を抽出してもよい。この場合、システム制御部１１は、表示対象物の正面に表示されている蓋然性がある表示対象物の店舗名を含む部分画像を抽出する。従って、表示対象物の正面が写った画像が当初に表示される蓋然性を高めることができる。
　また、システム制御部１１が、１以上のビューポイントから撮影された全方位画像として、解像度が相対的に低い複数の低解像度全方位画像、及び解像度が相対的に高い複数のオリジナル全方位画像であって、複数の低解像度全方位画像それぞれに対応する複数のオリジナル全方位画像を記憶する全方位画像サーバ２から、複数の低解像度全方位画像を取得してもよい。また、システム制御部１１が、取得された複数の低解像度全方位画像のうち、表示対象物情報を含む低解像度全方位画像を特定してもよい。また、システム制御部１１が、全方位画像サーバ２から、複数のオリジナル全方位画像のうち特定された低解像度全方位画像に対応するオリジナル全方位画像を取得してもよい。また、システム制御部１１が、取得されたオリジナル全方位画像から、表示対象物情報を含む部分画像を抽出してもよい。この場合、全てのオリジナル全方位画像を取得する場合よりも、情報提供サーバ１の処理負荷、及び情報提供サーバ１と全方位画像サーバ２との間の通信負荷を軽減させることができる。
　また、システム制御部１１が、撮影された全方位画像からパターン認識を用いて部分画像を抽出してもよい。この場合、システム制御部１１は、パターン認識を用いて全方位画像を解析することにより、この全方位画像から表示対象物情報を含む部分画像を特定して抽出する。
［２．第２実施形態］
　次に、情報提供サーバ１が地理的対象物を検索する場合の実施形態について説明する。本実施形態において、情報提供サーバ１は、ユーザにより検索条件として入力されたキーワードをユーザ端末３から受信し、キーワードに基づいて地理的対象物を検索する。情報提供サーバ１は、検索された地理的対象物の正面の画像を含む検索結果を示すウェブページを、検索結果ページとしてユーザ端末３へ送信する。
［２－１．情報提供サーバの構成］
　先ず、情報提供サーバ１の構成について、図９及び図１０を用いて説明する。図９は、本実施形態に係る情報提供サーバ１の概要構成の一例を示すブロック図である。図９において、図２Ａと同様の要素については同様の符号が付されている。本実施形態の情報提供サーバ１が第１実施形態の情報提供サーバ１と異なる点は、本実施形態の情報提供サーバ１の記憶部１４には、店舗ＤＢ１４ａ及び商品ＤＢ１４ｂが記憶されておらず、且つ地理的対象物ＤＢ１４ｃ及び画像特徴量ＤＢ１４ｄが記憶されている点である。
　図１０は、データベースに記憶される内容の一例を示す図である。地理的対象物ＤＢ１４ｃには、地理的対象物に関する地理的対象物情報が記憶される。具体的に、地理的対象物ＤＢ１４ｃには、地理的対象物ＩＤ、地理的対象物名、地理的対象物の位置情報、地理的対象物の説明、カテゴリー情報等が、地理的対象物ごとに関連付けて記憶される。地理的対象物ＩＤは、地理的対象物を識別する識別情報である。地理的対象物名は、地理的対象物を示す固有名称である。位置情報は、住所又は経緯度である。カテゴリー情報は、複数の地理的対象物のカテゴリーのうち、地理的対象物名が示す地理的対象物が属するカテゴリーを示す。
　画像特徴量ＤＢ１４ｄには、キーワードに関連した画像の特徴量が記憶される。具体的に、画像特徴量ＤＢ１４ｄには、キーワード及び特徴量が、キーワードごとに関連付けて記憶される。キーワードとして、例えば地理的対象物の一般名称が記憶されてもよい。地理的対象物の一般名称としてのキーワードは、地理的対象物の種類を示す。特徴量として、キーワードが示す地理的対象物の典型的な画像の特徴を示す。特徴量は、地理的対象物の正面に位置し又は表示される蓋然性がある形状、模様及び色の特徴を示すことが望ましい。例えば、キーワード「神社」について、鳥居の特徴量が記憶される。また、キーワードとして、例えば複数の店やホテル等のチェーンの名称、複数の事業所等を有する法人の名称等が記憶されてもよい。特徴量は、例えばチェーンや法人の商標その他のマークの特徴を示してもよい。法人名としてのキーワードは、地理的対象物のカテゴリーを示す。
［２－２．情報提供サーバのシステム制御部の機能概要］
　表示対象物情報取得部１１１は、ユーザにより入力されたキーワードに基づいて検索された地理的対象物の位置情報を、地理的対象物ＤＢ１４ｃから取得する。例えば、キーワードとして表示対象物の名称が入力された場合、表示対象物情報取得部１１１は、入力された名称と一致する地理的対象物名を含む地理的対象物情報を地理的対象物ＤＢ１４ｃから検索する。或いは、表示対象物情報取得部１１１は、入力された１又は複数のキーワードが、地理的対象物名、位置情報及び地理的対象物の説明の少なくとも１つに含まれる地理的対象物情報を検索する。表示対象物情報取得部１１１は、検索された地理的対象物情報から位置情報を取得する。
　表示対象物情報取得部１１１は、ユーザにより入力されたキーワードが、地理的対象物ＤＢ１４ｃに記憶されている何れかの地理的対象物名に一致した場合、このキーワードを、表示対象物情報として取得してもよい。或いは、表示対象物情報取得部１１１は、検索された地理的対象物情報に含まれる地理的対象物名を、表示対象物情報として地理的対象物ＤＢ１４ｃから取得してもよい。或いは、表示対象物情報取得部１１１は、ユーザにより入力されたキーワードの少なくとも何れか１つのキーワードと一致し又はこのキーワードに含まれるキーワードに関連付けられた特徴量を、表示対象物情報として画像特徴量ＤＢ１４ｄから取得してもよい。或いは、画像特徴量ＤＢ１４ｄに、複数の地理的対象物のカテゴリーのそれぞれに関連付けて、そのカテゴリーの地理的対象物の典型的な画像の特徴量が記憶されてもよい。表示対象物情報取得部１１１は、表示対象物のカテゴリー情報を参照して、表示対象物に対応するカテゴリーに関連付けられた特徴量を画像特徴量ＤＢ１４ｄから取得してもよい。
　表示対象物情報取得部１１１は、地理的対象物名（地理的対象物を示すキーワード又は地理的対象物情報に含まれる地理的対象物名）とともに、特徴量を取得してもよい。或いは、表示対象物情報取得部１１１は、１つの地理的対象物情報が検索された場合は、地理的対象物名のみを取得し、複数の地理的対象物情報が検索された場合は、特徴量のみを取得してもよい。例えば、ユーザがキーワードとして、表示対象物の名称「Ａ温泉」を入力すると、名称が「Ａ温泉」である温泉宿の地理的対象物情報が１つ検索されたとする。この場合、キーワード「Ａ温泉」が表示対象物情報となる。また、ユーザがキーワードとして、表示対象物が位置する地域の名称及び表示対象物の種類を示す一般名称の組み合わせ「Ｂ市　神社」を入力すると、Ｂ市にある複数の神社の地理的対象物情報が検索されたとする。この場合、表示対象物情報取得部１１１は、「神社」に関連付けられた鳥居の特徴量を表示対象物情報として画像特徴量ＤＢ１４ｄから取得する。なお、表示対象物情報取得部１１１は、検索された地理的対象物情報の数にかかわらず、地理的対象物名及び特徴量の少なくとも何れか一方を表示対象物情報として取得してもよい。
　部分画像抽出部１１２は、全方位画像から、地理的対象物名を含む部分画像を抽出してもよい。或いは、部分画像抽出部１１２は、画像特徴量ＤＢ１４ｄから取得された特徴量が示す特徴を含む部分画像を抽出してもよい。例えば、部分画像出力部１１３は、ＳＩＦＴ、ＳＵＲＦ等を用いて、全方位画像から特徴点を抽出し、特徴点に基づいて全方位画像における１又は複数箇所の局所特徴量を計算する。部分画像出力部１１３は、局所特徴量と画像特徴量ＤＢ１４ｄから取得された特徴量とを比較して、類似度を計算する。部分画像出力部１１３は、所定値以上の類似度が計算された局所特徴量がある場合、全方位画像においてその局所特徴量が計算された箇所を含む部分画像を抽出する。或いは、部分画像抽出部１１２は、地理的対象物名、及び特徴量が示す特徴を有する画像の両方を含む部分画像を抽出してもよい。或いは、部分画像抽出部１１２は、地理的対象物名、及び特徴量が示す特徴を有する画像のうち少なくとも何れか一方を含む部分画像を抽出してもよい。或いは、部分画像抽出部１１２は、１つの地理的対象物情報が検索された場合は、地理的対象物名を含む部分画像を抽出し、複数の地理的対象物情報が検索された場合は、特徴量が示す特徴を含む部分画像を抽出してもよい。
　図１１は、全方位画像及び部分画像の例を示す図である。ユーザがキーワード「Ｂ市　神社」を入力すると、例えばＢ市に位置する複数の神社が検索される。図１１において、全方位画像ＯＩ４及びＯＩ５は、これらの神社のうちの一の神社から所定範囲内にあるビューポイントから撮影された画像である。表示対象物情報として鳥居の特徴量が用いられるとする。全方位画像ＯＩ４には、神社の本殿３１０の後面が写っているが、鳥居は写っていない。全方位画像ＯＩ４には、本殿３１０の正面及び鳥居３２０が写っている。従って、部分画像抽出部１１２は、全方位画像ＯＩ４から鳥居３２０の大部分を含む部分画像ＰＩ２を抽出する。部分画像ＰＩ２は本殿３１０の正面も含んでいるが、神社の正面に存在する鳥居３２０が部分画像に含まれていればよいので、本殿３１０は含まれなくてもよい。
　１つの地理的対象物について、２以上の全方位画像に表示対象物情報が含まれている場合がある。この場合、第１実施形態の場合と同様に、部分画像抽出部１１２は、全方位画像中における地理的対象物名の大きさ、地理的対象物名の歪み度合い、地理的対象物名の認識精度、特徴量により特徴が示される地理的対象物（地理的対象物の全体又はその一部）の大きさ、地理的対象物の認識精度、地理的対象物の前の障害物の有無、画像の鮮明度合い等の少なくとも１つに基づいて、部分画像の抽出元の全方位画像を決定してもよい。また、部分画像抽出部１１２は、表示対象物情報のカテゴリー情報に基づいて、何れの時間帯に撮影された全方位画像から優先的に部分画像を抽出するかを決定してもよい。例えば、部分画像抽出部１１２は、昼間にオープンしている店や官公庁等については、昼間に撮影された全方位画像を優先的に利用し、夜間にオープンしている店等については、夜間に撮影された全方位画像を優先的に利用してもよい。
　部分画像出力部１１３は、抽出された部分画像を含む検索結果ページをユーザ端末３へ送信する。図１２は、検索結果ページの一例を示す図である。図１２に示すように、検索結果ページは、地理的対象物一覧４００等を含む。地理的対象物一覧４００には、検索された地理的対象物の情報として、地理的対象物簡易情報４１０及び地理的対象物画像４２０等が表示される。地理的対象物簡易情報４１０は、例えば地理的対象物の名称、位置情報、説明等である。地理的対象物画像４２０は、部分画像として抽出された地理的対象物の正面の画像である。部分画像出力部１１３は、例えば部分画像の解像度に基づいて、地理的対象物一覧４００における地理的対象物の情報の表示順を決定してもよい。例えば、部分画像の解像度が高い地理的対象物の情報であるほど、表示順位が高くなる。部分画像出力部１１３は、検索された地理的対象物の位置情報に基づいて、クラスタリングにより地理的対象物の情報をグループ化して表示させてもよい。例えば、互いの間の距離が近い地理的対象物同士の情報がグループ化される。
［２－３．情報提供システムの動作］
　次に、情報提供システムＳの動作について、図１３を用いて説明する。図１３は、本実施形態に係る情報提供システムＳの動作例を示すシーケンス図である。図１３において、図８と同様の処理については同様の符号が付されている。
　図１３に示すように、ユーザがキーワードを入力すると、ユーザ端末３はキーワードを情報提供サーバ１へ送信する（ステップＳ２１）。表示対象物情報取得部１１１は、ユーザ端末３から受信したキーワードを用いて、地理的対象物ＤＢ１４ｃから１つ以上の地理的対象物情報を検索する。そして、表示対象物情報取得部１１１は、各地理的対象物情報から位置情報を取得する。この位置情報が住所である場合、表示対象物情報取得部１１１は、この住所に対応する経緯度を取得する（ステップＳ２２）。次いで、取得された各経緯度について、ステップＳ５～Ｓ７が実行される。すなわち、表示対象物情報取得部１１１は、検索された地理的対象物ごとに、その地理的対象物の位置から所定範囲内にある１以上のビューポイントから撮影された１以上の低解像度全方位画像を全方位画像サーバ２から取得する。
　次いで、部分画像出力部１１３は、ステップＳ２２において２以上の地理的対象物の経緯度が取得されたか否かを判定する（ステップＳ２３）。部分画像出力部１１３は、２以上の地理的対象物の経緯度が取得されなかったと判定した場合には（ステップＳ２３：ＮＯ）、処理をステップＳ２４に進める。一方、部分画像出力部１１３は、２以上の地理的対象物の経緯度が取得されたと判定した場合には（ステップＳ２３：ＹＥＳ）、処理をステップＳ２６に進める。
　ステップＳ２４において、表示対象物情報取得部１１１は、　入力されたキーワードのうち地理的対象物名を示すキーワードを取得し、又は検索された地理的対象物情報から地理的対象物名を取得する。部分画像出力部１１３は、情報提供サーバ１から受信された低解像度全方位画像のうち、文字認識により、地理的対象物名が写っている低解像度全方位画像を特定する。次いで、部分画像出力部１１３は、特定された低解像度全方位画像において、少なくとも部分画像が地理的対象物名を含むように、部分画像の抽出範囲を決定する（ステップＳ２５）。
　ステップＳ２６において、表示対象物情報取得部１１１は、入力されたキーワードのうち、画像特徴量ＤＢ１４ｄに記憶されているキーワードと一致するキーワードを特定する。表示対象物情報取得部１１１は、特定したキーワードに関連付けられた特徴量を画像特徴量ＤＢ１４ｄから取得する。部分画像出力部１１３は、取得された経緯度ごとに、情報提供サーバ１から受信された低解像度全方位画像のうち、画像特徴量ＤＢ１４ｄ取得された特徴量が示す特徴を含む低解像度全方位画像を特定する。次いで、部分画像出力部１１３は、取得された経緯度ごとに、特定された低解像度全方位画像において、少なくとも部分画像が、特徴量が示す特徴を含むように、部分画像の抽出範囲を決定する（ステップＳ２７）。
　ステップＳ２５又はステップＳ２７を終えると、取得された経緯度ごとに、ステップＳ１０～Ｓ１２が実行される。すなわち、部分画像抽出部１１２は、検索された地理的対象物ごとに、ステップＳ２４又はステップＳ２６で特定された低解像度全方位画像に対応するオリジナル全方位画像を全方位画像サーバ２から取得する。次いで、部分画像抽出部１１２は、取得された経緯度ごとに、決定された抽出範囲に基づいて、オリジナル全方位画像から部分画像を抽出する（ステップＳ１３）。
　部分画像出力部１１３は、抽出された部分画像を含む検索結果ページを生成してユーザ端末３へ送信する（ステップＳ２８）。ユーザ端末３は、情報提供サーバ１から受信した検索結果ページを表示する（ステップＳ２９）。
　以上説明したように、本実施形態によれば、システム制御部１１が、表示対象物の名称を示す表示対象物情報を取得する。また、システム制御部１１が、表示対象物の名称を含む部分画像を抽出する。従って、表示対象物の正面が写った画像が当初に表示される蓋然性を更に高めることができる。
　また、システム制御部１１が、複数の地理的対象物それぞれについて、地理的対象物の名称と、その地理的対象物の位置を示す位置情報と、を関連付けて記憶する地理的対象物ＤＢ１４ｃから、表示対象物情報に含まれる地理的対象物名に関連付けられた位置情報を取得してもよい。この場合、情報提供サーバ１は、表示対象物の名称を用いて、部分画像を抽出するとともに、表示対象物の位置情報を取得することができる。
　また、システム制御部１１が、複数の種類又はカテゴリーの地理的対象物それぞれの画像の特徴を示す特徴量を記憶する画像特徴量ＤＢ１４ｄから、表示対象物に対応する種類又はカテゴリーの地理的対象物の特徴量を、表示対象物情報として取得してもよい。また、システム制御部１１が、取得された特徴量が示す特徴を含む部分画像を抽出してもよい。この場合、システム制御部１１は、表示対象物に対応する種類又はカテゴリーの地理的対象物の特徴情報が示す特徴を含む部分画像を抽出する。従って、表示対象物の正面が写った画像が当初に表示される蓋然性を高めることができる。
１　情報提供サーバ
２　全方位画像サーバ
３　ユーザ端末
１１　システム制御部
１２　システムバス
１３　入出力インターフェース
１４　記憶部
１４ａ　店舗ＤＢ
１４ｂ　商品ＤＢ
１４ｃ　地理的対象物ＤＢ
１４ｄ　画像特徴量ＤＢ
１５　通信部
１１１　表示対象物情報取得部
１１２　部分画像抽出部
１１３　部分画像抽出部
２１　システム制御部
２２　システムバス
２３　入出力インターフェース
２４　記憶部
２４ａ　全方位画像ＤＢ
ＮＷ　ネットワーク
 

Claims (9)

  1. 　表示対象物の位置を示す位置情報、及び前記表示対象物を示す表示対象物情報を取得する取得手段と、
    　前記取得された位置情報が示す位置から所定範囲内に位置する１以上の地点から撮影された画像から、前記取得された表示対象物情報を含む１以上の部分画像を抽出する抽出手段と、
    　前記抽出された部分画像を出力する出力手段と、
    　を備えることを特徴とする画像抽出装置。
  2. 　請求項１に記載の画像出力装置において、
    　前記取得手段は、前記表示対象物の正面の少なくとも一部分の外観を示す前記表示対象物情報を取得し、
    　前記抽出手段は、前記表示対象物情報が示す前記外観を有する画像を含む部分画像を抽出することを特徴とする画像抽出装置。
  3. 　請求項１又は２に記載の画像出力装置において、
    　前記取得手段は、前記表示対象物の名称を示す前記表示対象物情報を取得し、
    　前記抽出手段は、前記表示対象物の名称を画像中に含む部分画像を抽出することを特徴とする画像抽出装置。
  4. 　請求項３に記載の画像出力装置において、
    　前記表示対象物情報は前記表示対象物の名称を含み、
    前記取得手段は、複数の地理的対象物それぞれについて、地理的対象物の名称と、該地理的対象物の位置を示す位置情報と、を関連付けて記憶する位置情報記憶手段から、前記表示対象物情報に含まれる名称に関連付けられた位置情報を取得することを特徴とする画像抽出装置。
  5. 　請求項１乃至４の何れか１項に記載の画像出力装置において、
    　前記取得手段は、複数のカテゴリーの地理的対象物それぞれの画像の特徴を示す特徴情報を記憶する特徴情報記憶手段から、前記表示対象物に対応するカテゴリーの地理的対象物の特徴情報を、前記表示対象物情報として取得し、
    　前記抽出手段は、前記取得された特徴情報が示す特徴を含む部分画像を抽出することを特徴とする画像抽出装置。
  6. 　請求項１乃至５の何れか１項に記載の画像抽出装置において、
    　前記抽出手段は、
    　前記１以上の地点から撮影された画像として、解像度が相対的に低い複数の低解像度画像、及び解像度が相対的に高い複数の高解像度画像であって、前記複数の低解像度画像それぞれに対応する複数の高解像度画像を記憶する画像記憶手段から、前記複数の低解像度画像を取得する低解像度画像取得部と、
    　前記取得された複数の低解像度画像のうち、前記表示対象物情報を含む低解像度画像を特定する特定部と、
    　前記画像記憶手段から、前記複数の高解像度画像のうち前記特定された低解像度画像に対応する高解像度画像を取得する高解像度画像取得部と、
    　前記取得された高解像度画像から、前記表示対象物情報を含む前記部分画像を抽出する抽出部と、
    　を含むことを特徴とする画像抽出装置。
  7. 　請求項１乃至６の何れか１項に記載の画像出力装置において、
    　前記抽出手段は、前記撮影された画像からパターン認識を用いて前記部分画像を抽出することを特徴とする画像抽出装置。
  8. 　コンピュータにより実行される画像抽出方法において、
    　表示対象物の位置を示す位置情報、及び前記表示対象物を示す表示対象物情報を取得する取得ステップと、
    　前記取得された位置情報が示す位置から所定範囲内に位置する１以上の地点から撮影された画像から、前記取得された表示対象物情報を含む１以上の部分画像を抽出する抽出ステップと、
    　前記抽出された部分画像を出力する出力ステップと、
    　を含むことを特徴とする画像抽出方法。
  9. 　コンピュータを、
    　表示対象物の位置を示す位置情報、及び前記表示対象物を示す表示対象物情報を取得する取得手段と、
    　前記取得された位置情報が示す位置から所定範囲内に位置する１以上の地点から撮影された画像から、前記取得された表示対象物情報を含む１以上の部分画像を抽出する抽出手段と、
    　前記抽出された部分画像を出力する出力手段と、
    　として機能させることを特徴とする情報処理プログラム。
     
PCT/JP2017/038921 2017-10-27 2017-10-27 画像抽出装置、画像抽出方法及び画像抽出プログラム WO2019082381A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/305,584 US10853643B2 (en) 2017-10-27 2017-10-27 Image extraction device, image extraction method, and image extraction program
PCT/JP2017/038921 WO2019082381A1 (ja) 2017-10-27 2017-10-27 画像抽出装置、画像抽出方法及び画像抽出プログラム
JP2018560122A JP6539418B1 (ja) 2017-10-27 2017-10-27 画像抽出装置、画像抽出方法及び画像抽出プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/038921 WO2019082381A1 (ja) 2017-10-27 2017-10-27 画像抽出装置、画像抽出方法及び画像抽出プログラム

Publications (1)

Publication Number Publication Date
WO2019082381A1 true WO2019082381A1 (ja) 2019-05-02

Family

ID=66247868

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/038921 WO2019082381A1 (ja) 2017-10-27 2017-10-27 画像抽出装置、画像抽出方法及び画像抽出プログラム

Country Status (3)

Country Link
US (1) US10853643B2 (ja)
JP (1) JP6539418B1 (ja)
WO (1) WO2019082381A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023509105A (ja) * 2020-10-26 2023-03-07 ３アイ インコーポレイテッド ディープラーニングを利用した屋内位置測位方法
JP7363226B2 (ja) 2019-09-06 2023-10-18 株式会社リコー 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11776253B2 (en) * 2020-03-27 2023-10-03 Snap Inc. Displaying object names in association with augmented reality content

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013114473A1 (ja) * 2012-02-02 2013-08-08 パナソニック株式会社 サーバー、端末装置、画像検索方法、画像処理方法、およびプログラム
JP2014228952A (ja) * 2013-05-20 2014-12-08 政人 矢川 情報提供システム及びその方法及びプログラム
JP2016103248A (ja) * 2014-11-28 2016-06-02 富士通株式会社 画像提供システムおよび画像提供方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1153511A (ja) * 1997-07-31 1999-02-26 Canon Inc 画像処理装置および方法および記憶媒体
JP2001160062A (ja) * 1999-12-03 2001-06-12 Mitsubishi Electric Corp 画像データ検索装置
JP4428067B2 (ja) * 2004-01-28 2010-03-10 ソニー株式会社 画像照合装置、プログラム、および画像照合方法
IL162878A0 (en) * 2004-07-06 2005-11-20 Hi Tech Solutions Ltd Multi-level neural network based characters identification method and system
US20130261969A1 (en) 2010-12-24 2013-10-03 Pioneer Corporation Navigation apparatus, control method, program, and storage medium
US10521761B2 (en) * 2013-03-12 2019-12-31 United Parcel Service Of America, Inc. Systems and methods of delivering parcels using attended delivery/pickup locations
JP6324155B2 (ja) * 2014-03-27 2018-05-16 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP6273168B2 (ja) * 2014-05-29 2018-01-31 ヤフー株式会社 決定装置、決定方法および決定プログラム
JP6358072B2 (ja) 2014-12-12 2018-07-18 株式会社デンソー 画像表示端末、画像表示システム及び画像表示プログラム
JPWO2016125307A1 (ja) * 2015-02-06 2017-08-31 株式会社ぐるなび 情報配信装置及び情報配信プログラム
JP6838903B2 (ja) * 2016-09-13 2021-03-03 東芝テック株式会社 物品読取装置およびプログラム
CN109154979A (zh) * 2016-10-26 2019-01-04 奥康科技有限公司 用于分析图像和提供反馈的可佩戴设备和方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013114473A1 (ja) * 2012-02-02 2013-08-08 パナソニック株式会社 サーバー、端末装置、画像検索方法、画像処理方法、およびプログラム
JP2014228952A (ja) * 2013-05-20 2014-12-08 政人 矢川 情報提供システム及びその方法及びプログラム
JP2016103248A (ja) * 2014-11-28 2016-06-02 富士通株式会社 画像提供システムおよび画像提供方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7363226B2 (ja) 2019-09-06 2023-10-18 株式会社リコー 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム
JP2023509105A (ja) * 2020-10-26 2023-03-07 ３アイ インコーポレイテッド ディープラーニングを利用した屋内位置測位方法
JP7336653B2 (ja) 2020-10-26 2023-09-01 ３アイ インコーポレイテッド ディープラーニングを利用した屋内位置測位方法

Also Published As

Publication number Publication date
JP6539418B1 (ja) 2019-07-03
JPWO2019082381A1 (ja) 2019-11-14
US20190213410A1 (en) 2019-07-11
US10853643B2 (en) 2020-12-01

Similar Documents

Publication Publication Date Title
JP5739874B2 (ja) 向きに基づいた検索システム及び方法
US8515673B2 (en) Crime risk assessment system
US8472664B1 (en) Inferring locations from an image
US8698841B2 (en) System, method and process of identifying and advertising organizations or other entities by overlaying image files on cartographic mapping applications
JP6539418B1 (ja) 画像抽出装置、画像抽出方法及び画像抽出プログラム
JP2005509219A (ja) 画像取込及び識別のためのシステム及び方法
US8355533B2 (en) Method for providing photographed image-related information to user, and mobile system therefor
EP2003611A2 (en) Information presentation system, information presentation terminal, and server
CN101010695A (zh) 检索系统和检索方法
JP5395920B2 (ja) 検索装置、検索方法、検索プログラム、及びそのプログラムを記憶するコンピュータ読取可能な記録媒体
JP2003108577A (ja) リンク情報と組み合わせた画像の記録
CN104657458A (zh) 场景图像中的前景目标的目标信息的展示方法及装置
US9396584B2 (en) Obtaining geographic-location related information based on shadow characteristics
US7039630B2 (en) Information search/presentation system
CN106130886A (zh) 扩展信息的展示方法及装置
US8942415B1 (en) System and method of identifying advertisement in images
CN104133819B (zh) 信息检索方法及装置
KR20010105569A (ko) 3차원 부동산 지도정보 인터넷 서비스시스템 및 이를이용한 서비스방법
US7505639B2 (en) Information presentation method and information presentation system
US20060142935A1 (en) Providing a user with location-based information
KR101173358B1 (ko) 큐알코드를 이용한 숲길 정보제공 시스템 및 방법
CN113867528A (zh) 显示方法、装置、设备及计算机可读存储介质
US11288306B1 (en) Methods for producing sitemap for use with geographic information systems
US8321497B1 (en) Data structure disposed in a computer readable memory that provides information corresponding to a location
KR20210094396A (ko) 이미지 기반 검색 어플리케이션 및 그를 위한 검색 서버

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018560122

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17929689

Country of ref document: EP

Kind code of ref document: A1