WO2013187494A1 - 情報配信方法、コンピュータプログラム、情報配信装置及び携帯通信機 - Google Patents

情報配信方法、コンピュータプログラム、情報配信装置及び携帯通信機 Download PDF

Info

Publication number
WO2013187494A1
WO2013187494A1 PCT/JP2013/066422 JP2013066422W WO2013187494A1 WO 2013187494 A1 WO2013187494 A1 WO 2013187494A1 JP 2013066422 W JP2013066422 W JP 2013066422W WO 2013187494 A1 WO2013187494 A1 WO 2013187494A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
image
display
unit
displayed
Prior art date
Application number
PCT/JP2013/066422
Other languages
English (en)
French (fr)
Inventor
早川　進
俊彦 池田
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Priority to CN201380030618.6A priority Critical patent/CN104380271B/zh
Priority to US14/406,883 priority patent/US9584854B2/en
Publication of WO2013187494A1 publication Critical patent/WO2013187494A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/44—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/003—Maps
    • G09B29/006—Representation of non-cartographic information on maps, e.g. population distribution, wind direction, radiation levels, air and sea routes
    • G09B29/007—Representation of non-cartographic information on maps, e.g. population distribution, wind direction, radiation levels, air and sea routes using computer methods

Definitions

  • the present invention relates to an information distribution method for distributing information from a computer to a portable communication device, a computer program, an information distribution device, and a portable communication device.
  • Patent Document 1 in a system including an information providing server, a display, and a video camera, when a user gives flash light or the like to a portion for which detailed information is required among contents displayed on the display, a video camera image obtained by capturing it Also, a system has been described in which the information providing server detects the position where the flash light is hit, and displays more detailed information on the display device about the contents displayed at that position.
  • Patent Document 1 requires a video camera as well as a display device, and a light emitting element for emitting flash light in a portable terminal. Also, only one user can use the display device at the same time.
  • An object of the present invention is to provide an information distribution method, a computer program, an information distribution apparatus, and a portable communication device capable of providing information according to the position to each user.
  • a computer displays information having a hierarchical structure on a display, acquires an image obtained by capturing a part of the information displayed on the display, and displays the acquired image on the display
  • the position in the captured image is detected, and information having a hierarchical structure corresponding to the acquired image is identified based on the detection result, and an enlarged image or a reduced image of the acquired image, or It is characterized by selecting information for generating an image displaying information of a hierarchy different from the hierarchy displayed in the acquired image, and outputting the selected information.
  • the user can designate a focused part of the information displayed on the display by an intuitive operation of photographing with a portable communication device, and obtain information related to the focused part. It becomes possible.
  • a computer program comprises the steps of: detecting a position in an image displayed on the display of an image obtained by capturing a part of information having a hierarchical structure displayed on the display on a computer; A step of specifying information having a hierarchical structure corresponding to the captured image, and a layer different from a layer displayed on a magnified image or a reduced image of the captured image, or the captured image based on the identification result And selecting information for generating an image to display the information.
  • the user can designate a focused part of the information displayed on the display by an intuitive operation of photographing with a portable communication device, and obtain information related to the focused part. It becomes possible.
  • An information distribution apparatus is an information distribution apparatus that transmits information having a hierarchical structure stored in a storage unit to a mobile communication device, the distribution unit distributing the information to a display, and the mobile communication device capturing an image A receiving unit that receives an image corresponding to a part of the information displayed on the display from the portable communication device, and a reading unit that reads information having a hierarchical structure from the storage unit based on the received image And a transmitter configured to transmit the read information to the mobile communication device.
  • the information distribution apparatus reads out information having a hierarchical structure based on the image captured by the portable communication device, and transmits the information to the portable communication device.
  • the user can designate a gazed part of the information displayed on the display by an intuitive operation of photographing with a portable communication device, and obtain information related to the gazed part.
  • the reading unit corresponds to the received image based on a detection unit that detects the position of the received image on the display surface of the display, and a detection result by the detection unit.
  • a distance receiving unit that includes a specifying unit that specifies information having a hierarchical structure and receives the distance between the mobile communication device and the display from the mobile communication device, and based on the information specified by the specifying unit and the received distance. It is characterized in that information for generating an image corresponding to the enlarged image or the reduced image of the received image is read out from the storage unit.
  • an enlarged or reduced image of a partial image of the display transmitted from the portable communication device is generated from information having a hierarchical structure stored in the storage unit. Then, since the data is transmitted to the portable communication device, the user can refer to the image with good visibility.
  • the information distribution apparatus includes a distance receiving unit that receives the distance from the portable communication device and the display from the portable communication device, and the reading unit reads the information from the storage unit based on the received distance. And / or a hierarchy of the information to be transmitted to the portable communication device.
  • the hierarchy of the information read out from the reading unit and / or the hierarchy of the information to be transmitted to the mobile communication device are defined based on the distance between the mobile communication device and the display. By moving closer to or away from the display, the hierarchy of information displayed on the portable communication device changes. The user can switch the hierarchy of information by intuitive operation.
  • the information distribution apparatus includes an inclination receiving unit that receives, from the portable communication device, an inclination of the mobile communication device in a plane parallel to the display surface of the display, and the identification unit receives the received inclination
  • the information having the hierarchical structure corresponding to the transmitted image is specified by using the information.
  • the tilt of the portable communication device is transmitted to the computer.
  • the computer uses the received inclination to specify information having a hierarchical structure corresponding to the transmitted image, and therefore, the processing for specifying can be performed more efficiently than in the case where the inclination is not used.
  • the delivery unit delivers information having different hierarchical structures to a plurality of displays, and an image to be displayed on each display and an image received from the portable communication device
  • the mobile communication device further includes a second identification unit that identifies a display that has acquired an image by performing the matching.
  • the present invention since information is distributed to a plurality of displays, it is possible to provide services to more users. Further, since the display is specified by matching the received image from the mobile communication device with the image to be displayed on the display, it is not necessary for the user to perform an operation such as inputting information on the display.
  • a computer delivers information having a hierarchical structure to a display, receives an image obtained by capturing a part of the information displayed on the display, and displays the received image on the display
  • the position on the surface is detected, information having a hierarchical structure corresponding to the acquired image is identified based on the detection result, the information is read from the storage unit based on the identification result, and the read out information is transmitted to the mobile communication It is characterized by transmitting to the aircraft.
  • the user can designate a focused part of the information displayed on the display by an intuitive operation of photographing with a portable communication device, and obtain information related to the focused part. It becomes possible.
  • a mobile communication device images a display on which information having a hierarchical structure is displayed, and an image acquisition unit that acquires an image corresponding to a part of the information, and an image that transmits the acquired image to the information distribution device
  • a transmitting unit, a receiving unit for receiving the transmitted information based on the transmitted image, and a display unit for displaying the received information are characterized.
  • the user can designate a focused part of the information displayed on the display by an intuitive operation of photographing with a portable communication device, and obtain information related to the focused part. It becomes possible.
  • the computer receives, from the portable terminal, an image obtained by capturing a part of the information displayed on the display, reads out information having a hierarchical structure based on the received image, and transmits the information to the portable terminal.
  • the user can designate a focused part in the information displayed on the display by intuitive operation, and the computer can accurately provide the information required by the user.
  • FIG. 1 is an explanatory view showing a schematic configuration of an information providing system according to a first embodiment. It is an explanatory view showing hardware constitutions of a contents server. It is an explanatory view showing hardware constitutions of a personal digital assistant. It is explanatory drawing which shows an example of the content which has a hierarchical structure memorize
  • FIG. 21 is an explanatory view showing a schematic configuration of an information providing system according to a sixth embodiment.
  • FIG. 21 is an explanatory view showing a schematic configuration of an information providing system according to a seventh embodiment. It is an explanatory view showing hardware constitutions of a contents server. It is an explanatory view showing hardware constitutions of a television receiver. It is an explanatory view showing hardware constitutions of a personal digital assistant. It is the flowchart which showed the operation
  • FIG. 1 is an explanatory view showing a schematic configuration of an information providing system according to the first embodiment.
  • the information providing system includes a content server 1 (computer), a display 2 and a portable terminal 3 (portable communication device).
  • the content server 1 and the display 2 may be wired such as Digital Visual Interface (DVI), High Definition Multimedia Interface (HDMI) (registered trademark), or Video Graphics Array (VGA), or Ultra Wide Band (UWB), or wireless USB (UWB). It is connected by wireless such as Universal Serial Bus) and Intel (registered trademark) WiDi (Wireless Display).
  • the display 2 displays content data output by the content server 1.
  • the content server 1 and the portable terminal 3 communicate using USB, wireless fidelity (WiFi), IEEE (Institute of Electrical and Electronic Engineers) 1394, Bluetooth (registered trademark), WiMAX (Worldwide Interoperability for Microwave Access), etc. .
  • FIG. 2 is an explanatory view showing a hardware configuration of the content server 1.
  • the content server 1 includes a control unit 11, a content database 12 (storage unit), an image processing unit 13, and a communication unit 14 (transmission unit).
  • the control unit 11 includes a central processing unit (CPU) 11a, a random access memory (RAM) 11b, and a read only memory (ROM) 11c.
  • CPU central processing unit
  • RAM random access memory
  • ROM read only memory
  • the CPU 11a is connected to hardware units via a bus.
  • the CPU 11a controls each part of the hardware in accordance with a control program (computer program) stored in the ROM 11c.
  • the RAM 11 b is, for example, an SRAM (Static RAM), a DRAM (Dynamic RAM), a flash memory or the like.
  • the RAM 11 b temporarily stores various data generated when the CPU 11 a executes various programs.
  • the content database 12 stores content (information having a hierarchical structure) having a hierarchical structure to be provided to the portable terminal 3.
  • the image processing unit 13 generates an image to be displayed on the display 2 and outputs the image to the display 2.
  • the communication unit 14 has a function of communicating with the portable terminal 3 and a function of communicating with another computer via the network N.
  • the network N is the Internet, a WAN (Wide Area Network), a packet switching network, or the like.
  • FIG. 3 is an explanatory view showing a hardware configuration of the portable terminal 3.
  • the portable terminal 3 includes a control unit 31, a camera unit 32 (image acquisition unit), an acceleration sensor 33 (measurement unit), a display unit 34, an operation unit 35, and a communication unit 36 (transmission unit).
  • the control unit 31 includes a CPU 31a, a RAM 31b, and a ROM 31c.
  • the CPU 31a is connected to hardware units via a bus.
  • the CPU 31a controls each part of the hardware in accordance with the control program stored in the ROM 31c.
  • the RAM 31 b is, for example, an SRAM (Static RAM), a DRAM (Dynamic RAM), a flash memory or the like.
  • the RAM 31 b temporarily stores various data generated when the CPU 31 a executes various programs.
  • the camera unit 32 includes a camera module 32a and an AF (Auto Focus) mechanism 32b.
  • the camera module 32a includes a lens system, an imaging element, and the like, and acquires an image.
  • An AF (Auto Focus) mechanism 32 b controls the lens system of the camera module 32 a to automatically perform focusing.
  • the acceleration sensor 33 calculates the inclination of the mobile terminal 3 by differentiating the measured acceleration of the mobile terminal 3 in the predetermined direction.
  • the display unit 34 displays an image captured by the camera module 32a, content transmitted from the content server 1, a button for operation, a menu, and the like.
  • the operation unit 35 includes a button for operating the portable terminal 3, a touch panel for using the display unit 34 for operation, and the like.
  • the communication unit 36 communicates with the content server 1. What is transmitted from the portable terminal 3 to the content server 1 is an image captured by the camera module 32a, the distance to the display 2, the tilt angle of the portable terminal 3 obtained from the measurement value of the acceleration sensor 33, operation information and the like. What is transmitted from the content server 1 is a content image or the like.
  • FIG. 4 is an explanatory view showing an example of content having a hierarchical structure stored in the content database 12. What is shown in FIG. 4 is content for performing facility guidance using a map.
  • the content has a three-tiered structure.
  • the first layer consists of map information d1 and facility information d2.
  • the map information d1 consists of maps of each scale, such as a map d11 of 1 / 10,000, a map d12 of 1 / 50,000, a map d13 of 1 / 10,000, etc. in the second layer.
  • the map layer d111, the terrain layer d112, the weather layer d113, the traffic information layer d114, the aerial photograph layer d115, the air temperature layer d116, the wind layer d117 and the like are included.
  • the facility information d2 is data d21 of each facility in the second hierarchy.
  • the facility information d2 makes it possible to define a parent-child relationship between records, and is data of a hierarchical structure.
  • Map layer d111 is the base map information, and line data such as prefectural boundaries, city boundaries, transportation network (railway, station, ferry route), highway / toll road, highway, road edge (Nijo line), etc. , Main building data, house data, water surface data (sea, river, lake and marsh), polygon data such as green space data, point data such as notes and road numbers.
  • the topography layer d112 is polygon data that visually represents elevation by using color shading or shading based on contour data.
  • the weather layer d113 is point data for displaying a weather forecast.
  • the weather layer d 113 has information such as today's weather and tomorrow's weather as attribute data. Although geographical information (diameter, latitude, etc.) of the weather layer d113 is fixed data, weather forecast data which is attribute data is dynamic data. Weather forecast data is acquired from another server or the like via the network N.
  • the traffic information layer d114 is line data that displays the traffic congestion status and the like of the road.
  • the traffic information layer d114 includes geographic information as fixed data and attribute data indicating dynamic traffic condition, which is a dynamic data.
  • An example of geographical information as fixed data is DRM (Digital Road Map) data of the Japan Digital Road Map Association. Since all roads are represented by nodes and links, uniform processing is possible.
  • a node is an intersection or other node on a road network expression.
  • a link is a road section between nodes.
  • An ID is assigned to each node and each link. By having attribute data for each link, it is possible to express the traffic congestion situation for each link.
  • the congestion status data is acquired from another server or the like via the network N. In this case, if the other servers also support DRM data, the link ID and the traffic congestion status may be acquired.
  • the aerial photograph layer d115 is composed of image data called a so-called orthoimage.
  • the ortho image is an image corrected for distortion occurring in aerial photographs.
  • the temperature layer d116 is point data that indicates the temperature.
  • the wind layer d117 is point data for displaying the wind direction and the wind speed. Similar to the weather layer d113, geographical information (diameter, latitude, etc.) is fixed data, but attribute temperature data such as temperature, wind direction, and wind speed are dynamic data. These data are acquired from another server or the like via the network N.
  • the aerial photograph layer d115 is raster data, but other layers may be vector data or raster data. Also, all layers do not have to be included in the map of all scales, and appropriate layers may be selected and data created for each scale. Furthermore, although the base map layer d 111 contains a plurality of data, it is not necessary to include the same data in the maps of all the scales, and even if appropriate data is selected for each scale or data creation is performed good.
  • the facility information d2 includes No, latitude and longitude, category, facility name, parent link, display start scale, video information, commentary, opening hours, and child link. No is stored a sequential number that is the ID of the facility.
  • latitude and longitude latitude and longitude values indicating the geographical position of the facility are stored.
  • As a latitude value add + for north latitude and-for south latitude.
  • As longitude values add + for east longitude and-for west longitude. It is possible to easily distinguish between north latitude and south latitude and between east longitude and west longitude by the positive and negative signs.
  • the category is a string representing the category of the facility.
  • a character string representing a category is, for example, a mountain, a lake, a commercial facility, and the like.
  • Parent links and child links are fields for representing a hierarchical structure of data.
  • the parent link stores the ID of the record in the upper hierarchy.
  • the child link stores the ID of the record lower in the hierarchy. For example, since the record of No. 0004 has a parent link value of 0003, it can be understood that the record of No. 0003 is a record of the upper hierarchy. Therefore, No. 0004 is described in the column of the child link of the No. 0003 record.
  • the value 0000 for both parent link and child link indicates that there is no target record. For example, a record whose No is 0002 has a parent link value of 0000, it indicates that there is no record of a higher hierarchy than that. In addition, since the record of No. 0004 has a child link value of 0000, it indicates that there is no record of a hierarchy lower than that.
  • the display start scale stores the value of the minimum scale at which the information of each record is displayed on the map.
  • the record No. 0001 indicates that the display starts at a scale of 1 / 10,000, is displayed at a larger scale, and is hidden at a smaller scale.
  • the video information stores video data regarding the facility.
  • the jpg file name is stored, not the data itself.
  • the commentary about the facility is memorized as sentences.
  • Business hours are the business hours of the facility.
  • FIG. 5 is a flowchart showing the operation procedure of the information providing system.
  • FIG. 6 is a flowchart showing a procedure for establishing a communication link between the content server 1 and the portable terminal 3.
  • the content server 1 and the portable terminal 3 establish a communication link (step S1).
  • the CPU 11a of the content server 1 outputs a command for scanning the portable terminal 3 (step S11).
  • the CPU 11a determines whether or not the portable terminal 3 has been found based on the presence or absence of a response from the portable terminal 3 (step S12).
  • the CPU 11a checks whether the number of portable terminals currently establishing a link is less than the maximum possible number of links (step S13). If the number is smaller than the maximum possible number of links (YES in step S13), the CPU 11a establishes a link with the portable terminal 3 (step S14), and ends the process. If the maximum possible number of links has been reached (NO in step S13), the CPU 11a sends a warning message to the portable terminal 3 (step S15), and ends the process.
  • the warning message displayed on the mobile terminal 3 is, for example, "I can only view up to xx people at the same time. Sorry, please wait for a while".
  • the CPU 11a disconnects the link (step S16) and ends the processing.
  • the CPU 11a executes the process shown in FIG. 6 at predetermined intervals, for example, at intervals of 5 seconds. Note that although the process ends in FIG. 6 after the processes of steps S14 to S16, the process may be returned to step S11. In that case, the processing shown in FIG. 6 is operated on the back end so that the CPU 11a can execute other processing.
  • the user holds the portable terminal 3 over the display 2 and captures an image of a portion that is gazed in the information displayed on the display 2 with the camera module 32 a.
  • the CPU 31a of the portable terminal 3 controls the camera module 32a to capture an image, and acquires the distance between the portable terminal 3 and the display 2 from the operation result of the AF mechanism 32b at the time of capturing an image. Further, the CPU 31a (calculation unit) calculates the inclination of the mobile terminal 3 from the measurement result of the acceleration sensor 33 (step S2).
  • the CPU 31a of the portable terminal 3 transmits the acquired image, the distance, and the calculated inclination to the content server 1 (step S3).
  • the CPU 11a (detection unit) of the content server 1 detects the position of the received image in the image displayed on the display 2 based on the image, distance, and inclination received from the portable terminal 3. Based on the position, the CPU 11a calculates the position and orientation (relative spatial position / orientation) of the portable terminal 3 with respect to the display 2 (step S4).
  • the CPU 11a specifies the range of the image to be transmitted to the portable terminal 3 from the calculated position / orientation.
  • the CPU 11a (specifying unit) specifies information corresponding to the range.
  • the CPU 11a reads out the specified information from the content database 12, and causes the image processing unit 13 to generate an image (step S5).
  • the CPU 11a transmits the generated image to the portable terminal 3 (step S6). It is not an essential condition that the mobile terminal 3 includes the acceleration sensor 33, and when the mobile terminal 3 does not include the acceleration sensor 33, the image received from the mobile terminal 3 and the image displayed on the display 2
  • the rotation vector of the image may be calculated based on the image and the inclination of the mobile terminal 3 may be calculated.
  • the CPU 31a of the portable terminal 3 receives an image from the content server 1 (step S7).
  • the CPU 31a displays the received image on the display unit 34, and waits for an operation from the user (step S8). If the user has performed some operation (YES in step S8), the CPU 31a determines whether the operation is an end operation (step S9). If the operation is an end operation (YES in step S9), the CPU 31a performs a communication link with the content server 1 and the like, and ends the processing. If it is not the end operation (NO in step S9), the CPU 31a transmits the content of the operation to the content server 1 (step S10), and returns the process to step S2. If the user does not perform any operation even after the predetermined time has elapsed (NO in step S8), the CPU 31a returns the process to step S2.
  • step S2 and subsequent steps are repeated.
  • the above is the basic operation of the information providing system.
  • FIG. 7 is a flowchart showing a processing procedure for distributing a map.
  • the CPU 11a of the content server 1 acquires image information from the portable terminal 3 (step S21).
  • the CPU 11a compares the acquired image information with the map information displayed on the display 2, and acquires the position information (longitude, latitude) of the acquired image information and the tilt of the mobile terminal 3 (step S22). Since the acquired image information is a part of the image displayed on the display 2, by performing image matching, it is possible to know which part of the image displayed on the display 2 is the acquired image information. Thereby, it becomes possible to obtain position information (longitude, latitude) of the acquired image information and the inclination of the portable terminal 3.
  • the CPU 11a checks whether the distance between the portable terminal 3 and the display 2 has changed (step S23).
  • the CPU 11a acquires the distance to the display 2 from the portable terminal 3 in communication with the image information and stores the distance for each portable terminal 3 in the RAM 11b or the like.
  • the CPU 31a obtains the distance to the display 2 from the focal length obtained by the AF mechanism 32b built in the portable terminal 3 at the time of focusing.
  • the CPU 11a compares the distance between the portable terminal 3 and the display 2 acquired together with the image information with the previous distance stored in the RAM 11b or the like, and determines whether there is any change. If there is a change (YES in step S23), the CPU 11a shifts the process to step S24. The CPU 11a changes the scale of the map to be transmitted to the portable terminal 3 according to the amount of change. If there is no change (NO in step S23), the CPU 11a shifts the process to step S25.
  • the CPU 11a determines whether or not the switching operation has been performed (step S25).
  • the switching operation is to hide the displayed layer and to display the hidden layer.
  • Such an operation signal is transmitted from the portable terminal 3 to the content server 1 separately from the image information. If there is a switching operation (YES in step S25), the CPU 11a shifts the process to step S26.
  • the CPU 11a switches display / non-display of the corresponding map layer (step S26). If there is no switching operation (NO in step S25), the CPU 11a shifts the process to step S27.
  • the CPU 11a determines whether or not there is a facility search operation (step S27).
  • Facility search operation means, for example, displaying a list of information of facilities included in the display range of the map. If there is a facility search operation (YES in step S27), the CPU 11a shifts the process to step S28. The CPU 11a acquires the facilities included in the display range of the map displayed on the mobile terminal 3 by spatial search. The facility information list is drawn based on the search result (step S28). If there is no facility search operation (NO in step S27), the CPU 11a shifts the process to step S29.
  • the CPU 11a determines whether or not a detail display operation has been performed (step S29).
  • the detail display operation is an operation for displaying detailed information of the selected facility. For example, when the facility information displayed in a list is selected, or when the facility icon on the map is selected. If the detail display operation has been performed (YES in step S29), the CPU 11a draws the selected facility information (step S30). The CPU 11a shifts the process to step S33. If the detail display operation has not been performed (NO in step S29), the CPU 11a shifts the process to step S31.
  • the CPU 11a draws the map image of the selected range at the currently selected scale (step S31).
  • the CPU 11a draws on the map the name of the facility information which is within the display range of the map and whose display start scale is smaller than the currently selected scale, and an icon (step S32).
  • the CPU 11a draws a virtual button (facility search button, layer switching menu, etc.) corresponding to the current display content in a part of the image (step S33).
  • the CPU 11a cuts out an image according to the tilt of the mobile terminal 3 from the image created by the above-described processing (step S34).
  • the CPU 11a transmits the clipped image to the portable terminal 3 (step S35).
  • the CPU 11a ends the process. After that, when the image is transmitted from the portable terminal 3 again, the CPU 11a performs the process from S21 again.
  • FIG. 8 is an explanatory view showing an example of a map displayed on the display 2.
  • the rectangular frame drawn on the map depicts the range the user is photographing with the camera.
  • the CPU 31a of the portable terminal 3 causes the camera module 32a to capture the range of the rectangular frame in accordance with the user operation, and transmits the image to the content server 1 using the communication unit 36.
  • the CPU 31a may transmit the focal length obtained at the time of focusing by the AF mechanism 32b and the tilt of the terminal obtained from the acceleration sensor 33 to the content server 1.
  • the CPU 11a of the content server 1 calculates the position (longitude, latitude) and inclination of the image transmitted from the portable terminal 3 based on the received image (step S22). Based on the calculated position of the image and the inclination of the terminal, the CPU 11a cuts out the image (step S34) and transmits it to the portable terminal 3 (step S35).
  • FIG. 9 is an explanatory view showing an example of a map displayed on the portable terminal 3. The area of the rectangular frame shown in FIG. 8 is displayed on the display unit 34 of the mobile terminal 3.
  • FIG. 10 is an explanatory view showing another example of the map displayed on the portable terminal 3.
  • FIG. 9 is displayed on the display unit 34 of the portable terminal 3
  • the user moves the portable terminal 3 closer to the display 2 and moves the two to the center of the screen. is there.
  • the map shown in FIG. 10 is on a larger scale than the map shown in FIG.
  • Tomiyama is displayed near the center of the map.
  • the CPU 11a of the content server 1 detects that the distance to the display 2 has changed (YES in step S23), and changes the scale of the displayed map (step S24).
  • FIG. 10 further displays an example of a layer switching menu.
  • a layer with a check is displayed.
  • FIG. 10 when the topographic map which is not displayed is selected, the screen shown in FIG. 11 is displayed.
  • FIG. 11 is an explanatory view showing an example of a map when the terrain layer is displayed. Although the range displayed as FIG. 10 is the same, contour lines are displayed.
  • the CPU 11a detects a layer switching operation (step S25), and switches the selected terrain layer from non-display to display (step S26).
  • the layer switching menu has been described as being displayed on the screen in advance, but it is not limited thereto.
  • the layer switching menu may be displayed.
  • FIG. 12 is an explanatory view showing an example of a screen when facility information is displayed.
  • the CPU 11a of the content server 1 detects that the detail display operation has been performed (YES in step S29), and information about the mountain hut is displayed in the facility name column of the content database 12, sales The time column and the comment column are read out and the contents are drawn (step S30).
  • FIG. 13 is an explanatory view showing another example of the map displayed on the portable terminal 3.
  • many facilities such as maps in the theme park are included.
  • the CPU 11a of the content server 1 detects a facility search operation (YES in step S27), and searches for a facility within the display range of the map. For example, the CPU 11a acquires latitudes and longitudes at four corners of the map. The CPU 11a compares those values with the longitude / latitude of each record of the facility information d2 of the content database 12, and extracts the records included in the display range. The CPU 11a displays a list of facility names as a search result.
  • FIG. 14 is an explanatory view showing an example of a screen displaying facility information in a list. The facility list window is displayed on the map screen, and the names of facilities included in the display range of the map are listed.
  • the content server 1 detects the position designated by the user based on the image captured and transmitted by the portable terminal 3, and the portable terminal 3 uses the information according to the position. It is possible to send to
  • the map data is raster data, but it is not limited thereto and may be vector data.
  • the image to be displayed on the portable terminal 3 may not be generated by the content server 1, but may be performed by the portable terminal 3.
  • the content server 1 transmits map data necessary for display to the portable terminal 3, and the portable terminal 3 generates an image using the received map data.
  • FIG. 15A and FIG. 15B are explanatory drawings about utilization as a magnifying glass.
  • FIG. 15A is an example of characters displayed on the display 2.
  • FIG. 15B is an example in which the characters shown in FIG. 15A are enlarged and displayed.
  • the character “ ⁇ ” shown in FIG. 15A has a large number of strokes and it is difficult for the user to hold the portable terminal 3 over the display 2 to enlarge and display the character.
  • FIG. 16 is a flow chart showing the operation procedure of the information providing system.
  • the CPU 31a of the portable terminal 3 controls the communication unit 36 to establish a link with the content server 1 (step S1).
  • the user holds the portable terminal 3 over the display 2 and shoots a portion to be enlarged by the camera module 32a.
  • the CPU 31a takes in an image from the camera module 32a, and calculates the distance between the portable terminal 3 and the display 2 based on the focal length obtained from the AF mechanism 32b (step S40).
  • the CPU 31a transmits the image and the distance to the content server 1 (step S41).
  • the CPU 11a of the content server 1 determines at which position the portable terminal 3 has photographed the display 2, that is, which part of the display 2 has been photographed (step S42) ).
  • the CPU 11a causes the image processing unit 13 to generate a partial image based on the obtained position (step S43).
  • the CPU 11a transmits the generated image to the portable terminal 3 (step S6).
  • the CPU 31a of the portable terminal 3 receives the image and displays it on the display unit 34 (step S7).
  • the CPU 31a monitors whether or not there is an operation from the user for a predetermined time (step S8), and if there is an operation (YES in step S8), the CPU 31a determines whether it is an end operation (step S9). If the operation is an end operation (YES in step S9), the CPU 31a performs a communication link with the content server 1 and the like, and ends the processing. If it is not the end operation (NO in step S9), the operation content is transmitted to the content server 1 (step S10), and the process returns to step S40. If there is no operation (NO in step S8), the CPU 31a returns the process to step S40.
  • the image When used as a magnifying glass, the image is enlarged when the portable terminal 3 approaches the display 2, and reduced and displayed when separated.
  • the portable terminal 3 when enlarging a character, since it may be hard to see if the output image is inclined, the portable terminal 3 does not measure the inclination and does not transmit the inclination to the content server 1. Whether to use the inclination may be switched by the user, or the CPU 31a of the portable terminal 3 may analyze and determine the content of the image. Alternatively, when the content server 1 displays character information on the display 2, tilt information received from the portable terminal 3 may not be used.
  • a part of the image displayed on the display 2 is scaled up / down at an appropriate magnification according to the distance between the portable terminal 3 and the display 2 and the portable terminal 3 ,
  • the user can use the portable terminal 3 as a magnifying glass.
  • characters are enlarged and displayed, if processing such as changing the font size is performed, the characters are enlarged while maintaining the shape of the characters, so even kanji with a large number of strokes can be checked without collapsing the characters. It becomes possible.
  • the content hierarchy to be displayed is automatically switched.
  • it is a pictorial book showing the structure of the human body.
  • FIG. 17 is an explanatory view showing an example of the initial display. The right hand part of the human body is usually displayed on the display 2.
  • FIG. 18 is an explanatory view showing an example of an image displayed on the display unit 34 of the portable terminal 3. The right hand portion of the human body shown in FIG. 17 is displayed, but the skin is not displayed, and the skeleton is displayed. By holding the portable terminal 3 over the display 2, it is an image of penetrating the skin and looking at the skeleton.
  • a layer to be displayed is automatically switched so as to display a blood vessel instead of a skeleton.
  • the enlargement / reduction of the image is not performed by a change in the distance between the portable terminal 3 and the display 2 but by an operation of the user.
  • the machine switch provided in the operation unit 35 and the virtual button displayed on the display unit 34 are operated, the enlargement / reduction of the image may be changed.
  • FIG. 19 is a flowchart showing the operation procedure of the information providing system.
  • the CPU 31a of the portable terminal 3 controls the communication unit 36 to establish a link with the content server 1 (step S1).
  • the user holds the portable terminal 3 over the display 2 and takes a picture of a portion where he wishes to refer to the internal structure with the camera module 32a.
  • the CPU 31a takes in an image from the camera module 32a, and calculates the distance between the portable terminal 3 and the display 2 based on the focal length obtained from the AF mechanism 32b (step S40).
  • the CPU 31a transmits the image and the distance to the content server 1 (step S41).
  • the CPU 11a of the content server 1 determines at which position the portable terminal 3 has photographed the display 2, that is, which part of the display 2 has been photographed (step S42) ).
  • the CPU 11a selects a layer to be displayed based on the determined position, and causes the image processing unit 13 to generate an image to be transmitted to the portable terminal 3 (step S44). In this example, the skin is hidden and the blood vessels are displayed.
  • the CPU 11a transmits the generated image to the portable terminal 3 (step S6).
  • the CPU 31a of the portable terminal 3 receives the image and displays it on the display unit 34 (step S7).
  • the CPU 31a monitors whether or not there is an operation from the user for a predetermined time (step S8), and if there is an operation (YES in step S8), the CPU 31a determines whether it is an end operation (step S9). If the operation is an end operation (YES in step S9), the CPU 31a performs a communication link with the content server 1 and the like, and ends the processing. If it is not the end operation (NO in step S9), the operation content is transmitted to the content server 1 (step S10), and the process returns to step S40. If there is no operation (NO in step S8), the CPU 31a returns the process to step S40.
  • the user's operation is image enlargement / reduction.
  • the structure of the human body is expressed as hierarchical structure data as in the case of a human picture book, and the distance from the portable terminal 3 to the display 2 allows blood vessels, muscles and Since switching is sequentially performed up to the inside of the human body, etc., the user can refer to hierarchical structure data by intuitive operation.
  • the layer to be displayed is changed depending on the distance between the portable terminal 3 and the display 2, the present invention is not limited thereto.
  • the layer to be displayed may be fixed, and the image may be enlarged or reduced according to the distance between the portable terminal 3 and the display 2. In this case, it is possible to see a specific layer in detail.
  • a CT (Computed Tomography) image or an MRI (Magnatic Resonance Image) image may be adopted as data handled in the present embodiment.
  • MRI Magnetic Resonance Image
  • FIG. 20 is an explanatory view showing an example of an advertisement image displayed on the display 2. It is an image of a woman walking down with his back from his shoulder. A link to an advertisement is virtually pasted on a part of this video.
  • a portion surrounded by a dotted square is a region where the link is attached.
  • an area is set in the face part of a woman.
  • the area b is set in the bag portion.
  • the area s is set to the high heel part.
  • FIG. 21 is an illustration showing an example of the data structure of the content database 12.
  • the content database 12 includes image data d3 and advertisement content d4.
  • the image data d3 includes an ID field, a name field, an image data field, and a link field.
  • the advertisement content d4 includes a parent ID field, an area ID field, a range field, a product field, an advertisement field, and a department space.
  • the ID field stores a primary key for identifying a record.
  • the name column stores the name of the image data.
  • the link field stores the image data and the area ID of the advertising content d4 to which the link is attached.
  • the parent ID column of the advertisement content d4 stores the ID of image data to which a link is attached to the advertisement content d4.
  • the area ID column stores the ID of the advertisement content d4.
  • the range column stores coordinate data for defining to which part of the image data d3 the advertisement content d4 is to be linked. In the present embodiment, since the area is rectangular, coordinate values of two diagonal points are stored.
  • the range field of the area ID 11 (x11, y11) and (x21, y21) are stored.
  • the coordinates of four points constituting the area ID 11 are (x11, y11), (x21, y11), (x21, y21), and (x11, y21).
  • the item field stores the name of the item that the advertisement content d4 handles.
  • the advertisement section stores file names of moving pictures and still pictures which are entities of the advertising content d4.
  • the section name field stores the file name of the section guidance data for selling the product.
  • FIG. 22 is a flowchart showing the operation procedure of the information providing system.
  • the CPU 31a of the portable terminal 3 controls the communication unit 36 to establish a link with the content server 1 (step S1).
  • the image shown in FIG. 20 is displayed on the display 2.
  • the user shoots, for example, a woman's face portion (area f) with the portable terminal 3.
  • the CPU 31a of the portable terminal 3 acquires an image from the camera module 32a, and calculates the distance between the portable terminal 3 and the display 2 based on the focal length obtained by the AF mechanism 32b (step S40).
  • the CPU 31a transmits the acquired image and the distance to the content server 1 (step S41).
  • the CPU 11 a of the content server 1 receives the image and the distance transmitted from the portable terminal 3.
  • the received image and the image (walk # woman. Jpg) displayed on the display 2 are matched, and the photographed part (area f) is specified (step S 42).
  • the area ID of the area f is 11.
  • the content is a moving image file, the content is not limited thereto and may be a still image.
  • the CPU 11a transmits the entity file cosme.mpg to the portable terminal 3 (step S46).
  • a virtual button for displaying the sales floor guidance may be displayed on the mobile terminal 3.
  • a hyperlink may be set to display department guidance in an image to be displayed.
  • the CPU 31a of the portable terminal 3 receives the advertisement entity file cosme.mpg and displays it on the display unit 34 (step S47).
  • the CPU 31a monitors whether or not there is an operation from the user for a predetermined time (step S8), and if there is an operation (YES in step S8), the CPU 31a determines whether it is an end operation (step S9). If the operation is an end operation (YES in step S9), the CPU 31a performs a communication link with the content server 1 and the like, and ends the processing. If it is not the end operation (NO in step S9), the operation content is transmitted to the content server 1 (step S10), and the process returns to step S40.
  • step S8 If there is no operation (NO in step S8), the CPU 31a returns the process to step S40.
  • the operation referred to here is, for example, an operation for selecting a link to the sales department guidance set in the image, and selecting a virtual button of the sales department guidance display.
  • the CPU 31a requests the content server 1 for sales floor guidance information (step S10). Similar processing is performed again from step S40.
  • the CPU 11a of the content server 1 transmits the sales floor guidance data to the portable terminal 3 in accordance with the request from the portable terminal 3 (step S46).
  • the CPU 31a of the mobile terminal 3 displays the received section guidance data on the display unit 34 (step S47).
  • the CPU 11 a determines that the image portion corresponding to the area ID 13 or 14 has been captured, and the advertisement regarding the high heel is the display unit of the portable terminal 3 It is displayed on 34.
  • the sales department guidance of the high heel is displayed on the display unit 34 by the operation of the user.
  • the number of times the advertisement has been distributed to the user may be measured, and the advertiser may be charged based on the number.
  • the advertiser may be charged based on the number.
  • FIG. 23 is an explanatory view showing an example of a guide map displayed on the display 2.
  • the arrangement of a plurality of stores is illustrated as shown in FIG.
  • FIG. 24A and FIG. 24B are explanatory diagrams in the case where store information is acquired by holding the mobile terminal 3 over.
  • FIG. 24A shows a state in which the mobile terminal 3 is held over the portion of the store T1.
  • FIG. 24B shows an example of information on the store T1 displayed on the portable terminal 3.
  • the menu provided at the store T1 is displayed.
  • the route to the store T1 is displayed.
  • the screen of the mobile terminal 3 may be provided with a button for acquiring a coupon that can be used in the store. That will motivate the user to stop at the store.
  • FIG. 25 is an explanatory view showing a schematic configuration of an information providing system according to the sixth embodiment.
  • the information providing system according to the present embodiment includes a content server 1, a portable terminal 3, and a poster 4.
  • the content server 1 and the portable terminal 3 have the same configuration as that of the above-described first embodiment, so the differences will be mainly described below.
  • the poster 4 is an advertisement image or the like printed on a paper medium.
  • the data of the advertisement image is stored in the content database 12 of the content server 1.
  • a part of the poster 4 for example, a back part is photographed, and the photographed image is transmitted to the content server 1
  • advertisement information on the bag is transmitted to the portable terminal 3.
  • the operation of the information providing system is the same as that of the above-described fourth embodiment even in the case of the image printed on the poster 4 and thus the description thereof is omitted.
  • the content server 1 controls the display content, an image to be compared with the image transmitted from the portable terminal 3 is specified as one.
  • the image of the poster 4 it is necessary to be able to specify a photographed poster except when the content server 1 holds one image data.
  • the user may input the poster ID by character input or by reading a two-dimensional barcode first, and the ID may be transmitted to the content server 1 together with the photographed image. It is needless to say that any known technique may be used as long as the poster can be specified.
  • the present invention is not limited thereto.
  • the control unit 11 may generate an image without the image processing unit 13.
  • an image processing apparatus may be separately prepared as hardware separate from the content server 1 and image generation may be performed. In that case, data necessary for image generation is transmitted from the content server 1 to the image processing apparatus, and the image processing apparatus generates an image based on the received data, and transmits the generated image to the content server 1.
  • the content server 1 causes the single display 2 to display content data.
  • the content server 1 and the portable terminal 3 are close to each other, and it is assumed that data is transmitted and received by near field communication. However, it is not limited thereto.
  • the content server 1, the television receiver 20 (corresponding to the display 2), and the portable terminal 3 are connected via a network.
  • FIG. 26 is an explanatory view showing a schematic configuration of an information providing system according to the seventh embodiment.
  • the information providing system includes a content server 1 (computer), a television receiver 20 (display), a portable terminal 3 (portable communication device), a broadcast station 5, a public wireless LAN access point 6, a portable telephone base station 7, the Internet, etc. Network Network N etc. are included.
  • the broadcast station 5 propagates the content data received from the content server 1 via the network N to the television receiver 20 by broadcasting.
  • the content data may be broadcast as ordinary television broadcast, may be broadcast as data broadcast, or may be broadcast by Hybridcast (registered trademark).
  • the content server 1 and the portable terminal 3 communicate with each other via a public wireless LAN and a public wireless LAN access or a mobile phone network and a mobile phone base station 7 in addition to communication via a wired network.
  • FIG. 27 is an explanatory view showing a hardware configuration of the content server 1.
  • the content server 1 includes a control unit 11, a content database 12, an image processing unit 13, and a communication unit 14.
  • the control unit 11 includes a CPU 11a, a RAM 11b, and a ROM 11c.
  • the content server 1 performs data transmission and reception with the television receiver 20 via a communication line. Further, communication with the portable terminal 3 is also performed via the communication line.
  • FIG. 28 is an explanatory view showing a hardware configuration of the television receiver 20.
  • the television receiver 20 includes a CPU 21a, a ROM 21b, a RAM 21c, a tuner 22, a video processing unit 23, a display unit 24, an audio processing unit 25, an audio output unit 26, and a communication unit 27.
  • the CPU 21a is connected to hardware units via a bus.
  • the CPU 21a controls each part of the hardware in accordance with a control program (computer program) stored in the ROM 21b.
  • the RAM 21 c is, for example, an SRAM (Static RAM), a DRAM (Dynamic RAM), a flash memory or the like.
  • the RAM 21 c temporarily stores various data generated when the CPU 21 a executes various programs.
  • the tuner 22 selects an appropriate radio wave from a plurality of types of radio waves received by the antenna from the broadcasting station 5, divides the video data contained in the selected radio wave into moving image data and audio data, and respectively processes the video processor 23 and audio processing Output to the unit 25.
  • the video data is data including moving image data and audio data synchronized with each other.
  • the image processing unit 23 outputs the moving image data input from the tuner 22 or the communication unit 27 to the display unit 24 after performing appropriate image processing.
  • the display unit 24 uses, for example, a color liquid crystal display panel, and displays a moving image based on the input moving image data in synchronization with the sound output from the audio output unit 26.
  • the audio processing unit 25 performs appropriate audio processing on audio data input from the tuner 22 or the communication unit 27, and then outputs the audio data to the audio output unit 26.
  • the audio output unit 26 uses a speaker, and outputs audio based on the input audio data in synchronization with the moving image displayed on the display unit 24.
  • the television receiver 20 receives the content data carried by the broadcast wave via the tuner.
  • Content data transmitted by a communication line such as the Internet is received via the communication unit 27.
  • FIG. 29 is an explanatory view showing a hardware configuration of the portable terminal 3.
  • the portable terminal 3 includes a control unit 31, a camera unit 32, an acceleration sensor 33, a display unit 34, an operation unit 35, and a communication unit 36.
  • the control unit 31 includes a CPU 31a, a RAM 31b, and a ROM 31c.
  • the CPU 31a is connected to hardware units via a bus.
  • the CPU 31a controls each part of the hardware in accordance with the control program stored in the ROM 31c.
  • the RAM 31 b is, for example, an SRAM, a DRAM, a flash memory or the like.
  • the RAM 31 b temporarily stores various data generated when the CPU 31 a executes various programs.
  • the camera unit 32 includes a camera module 32a and an AF mechanism 32b.
  • the camera module 32a includes a lens system, an imaging element, and the like, and acquires an image.
  • the AF mechanism 32b controls the lens system of the camera module 32a to automatically perform focusing.
  • the acceleration sensor 33 calculates the inclination of the mobile terminal 3 by differentiating the measured acceleration of the mobile terminal 3 in the predetermined direction.
  • the display unit 34 displays an image captured by the camera module 32a, content transmitted from the content server 1, a button for operation, a menu, and the like.
  • the operation unit 35 includes a button for operating the portable terminal 3, a touch panel for using the display unit 34 for operation, and the like.
  • the communication unit 36 communicates with the content server 1 via the network N.
  • What is transmitted from the portable terminal 3 to the content server 1 is an image captured by the camera module 32a, the distance to the display 2, the tilt angle of the portable terminal 3 obtained from the measurement value of the acceleration sensor 33, operation information and the like.
  • What is transmitted from the content server 1 is a content image or the like.
  • the communication unit 36 is connected to the network N through the mobile phone base station 7 or the access point of WiMax, and communicates with the content server 1. In addition, it connects to a public wireless LAN by WiFi, and communicates with the content server 1 via the network N from the public wireless LAN.
  • a connection request is transmitted from the portable terminal 3 to the content server by the user operation (step S50).
  • the content server 1 receives a connection request from the portable terminal 3 (step S51).
  • the content server 1 starts a new session and generates a session ID (step S52).
  • the session is a mechanism for the content server 1 to manage data transmission and reception with the portable terminal 3 and is similar to that used in the Web server.
  • the session ID is an ID for specifying a session, and the content server 1 specifies the portable terminal 3 by the session ID.
  • the content server 1 transmits a response including the session ID to the portable terminal 3 (step S53).
  • the portable terminal 3 receives the response from the content server 1 (step S54).
  • the portable terminal 3 takes out the session ID included in the response and stores it in the RAM 31b (step S55).
  • the user holds the portable terminal 3 over the television receiver 20, and of the information displayed on the television receiver 20, the camera module 32a captures an image of a portion that is watched.
  • the CPU 31a of the portable terminal 3 controls the camera module 32a to capture an image, and acquires the distance between the portable terminal 3 and the television receiver 20 from the operation result of the AF mechanism 32b at the time of capturing an image. Further, the acceleration sensor 33 calculates the inclination of the portable terminal 3 from the measurement result (step S56).
  • the CPU 31a of the portable terminal 3 transmits the acquired image, distance, calculated inclination, and session ID to the content server 1 (step S57).
  • the CPU 11a of the content server 1 extracts a session variable using the session ID included in the data received from the portable terminal 3 (step S58).
  • the CPU 11a of the content server 1 refers to the session variable, and determines whether the television receiver 20 corresponding to the mobile terminal 3 has been identified (step S59). If the television receiver 20 has been identified (YES in step S59), that is, if the session variable includes information for identifying the television receiver, the CPU 11a of the content server 1 executes the process in step S63. Transfer to When the television receiver 20 has not been identified (NO in step S59), the CPU 11a of the content server 1 receives an image, a distance, and a tilt from the portable terminal 3, and based on the received distance and the tilt, A correction is performed (step S60).
  • the contents server 1 matches the corrected image with the image delivered to the television receiver 20 (step S61).
  • a known technique may be used for the matching.
  • the CPU 11a of the content server 1 identifies the television receiver 20 displaying the acquired image from the matching result, and stores the association between the session ID and the identified television receiver 20 in the RAM 11b (step S62). .
  • the CPU 11a of the content server 1 selects the television of the received image based on the image, distance, and inclination received from the portable terminal 3
  • the position in the image displayed on the John receiver 20 is detected. That is, the position on the display surface of the television receiver 20 of the received image is detected.
  • the CPU 11a calculates the position and orientation (relative spatial position / direction) of the portable terminal 3 with respect to the television receiver 20 (step S63).
  • the CPU 11a specifies the range of the image to be transmitted to the portable terminal 3 from the calculated position / orientation.
  • the CPU 11a specifies information corresponding to the range.
  • the CPU 11a readout unit
  • the CPU 11a transmits the generated image and session ID to the portable terminal 3 (step S65).
  • the CPU 31a of the portable terminal 3 receives an image and a session ID from the content server 1 (step S66).
  • the CPU 31a displays the received image on the display unit 34, and waits for an operation from the user (step S67). If the user has performed an operation (YES in step S67), the CPU 31a determines whether the operation is an end operation (step S68). If the operation is an end operation (YES in step S68), the CPU 31a ends the process. If the operation is not an end operation (NO in step S68), the CPU 31a transmits the operation content to the content server 1 (step S69), and returns the process to step S56. If the user does not perform any operation even after the predetermined time has elapsed (NO in step S67), the CPU 31a returns the process to step S56. Hereinafter, step S56 and subsequent steps are repeated.
  • the above is the basic operation of the information providing system.
  • step S67 shown in FIG. 31 when the user does not perform a predetermined operation for a predetermined time, the process returns to step S56, and the portable terminal 3 captures an image again and transmits the image or the like to the content server 1 did.
  • the present invention is not limited thereto, and may be in a waiting state unless the user explicitly operates.
  • the explicit operation is, for example, an operation in which the user presses the shutter button for photographing.
  • the seventh embodiment communication between the content server 1 and the television receiver 20 and the portable terminal 3 is performed via the network.
  • the content server 1 can provide services to a plurality of television receivers 20 and portable terminals 3. Since the content server 1 can be centrally managed, the management becomes easy. In addition, maintenance of content data is facilitated.
  • the seventh embodiment it is possible to deliver contents for performing facility guidance using a map. Further, the contents may be distributed as described in the second to fifth embodiments.
  • the difference between the first to fifth embodiments and the sixth embodiment is that the content server 1 is connected to a television receiver (display). The difference due to this is the basic process, and is the difference between FIG. 5 and FIGS.
  • the content distribution, which is an applied process, is the same as that described above, and thus is omitted.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Computer Hardware Design (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)
  • Telephonic Communication Services (AREA)

Abstract

　ディスプレイの画面を参照する複数のユーザそれぞれが指定する画面上の位置を検出し、その位置に応じた情報を各ユーザに提供可能な情報提供システム、情報提供方法及びコンピュータプログラムを提供する。　階層構造を持つ情報を記憶した記憶部を有するコンピュータ１と、該コンピュータ１と接続され前記情報を表示するディスプレイ２と、前記コンピュータ１と通信する携帯通信機３とを備えた情報配信システムにおいて、前記携帯通信機３は、前記ディスプレイ２に表示された情報の一部を撮像し画像を取得する画像取得部と、取得した画像を前記コンピュータ１に送信する送信部とを有し、前記コンピュータ１は、前記携帯通信機３より送信された画像に基づいて、階層構造を持つ情報を記憶部より読み出す読み出し部と、読み出した情報を携帯通信機３に送信する送信部とを有するよう構成する。

Description

情報配信方法、コンピュータプログラム、情報配信装置及び携帯通信機
　本発明は、コンピュータから携帯通信装置へ情報を配信する情報配信方法、コンピュータプログラム、情報配信装置及び携帯通信機に関する。
　昨今、携帯端末の小型化、高機能化が進んでいる。それに伴い携帯端末が取り扱える情報の量も飛躍的に増えている。しかしながら、情報閲覧の方法は旧態依然としたものであり、閲覧性は高いとは言い難い。特に階層構造を持つデータの閲覧では、表示している階層（レイヤ）に対する操作以外に、階層間の移動（レイヤ切り替え）が必要となるが、直感的な閲覧方法は見出されていない。
　特許文献１には情報提供サーバ、ディスプレイ及びビデオカメラを含むシステムにおいて、ディスプレイに表示されたコンテンツの中で、ユーザが詳細情報を求める部分にフラッシュ光等を与えると、それを撮影したビデオカメラ画像から、情報提供サーバはフラッシュ光が当たった位置を検出し、その位置に表示されている内容について、より詳細な情報を表示装置に表示するシステムが記載されている。
特開２００５－５６０５４号公報
　しかしながら、特許文献１に記載のシステムは、表示装置と共にビデオカメラを、携帯端末にはフラッシュ光を発する発光素子を必要とする。また、表示装置は同時に一人のユーザしか利用できない。
　本発明は、上述のごとき事情に鑑みてなされたものであり、ディスプレイの画面を参照する各ユーザが自分の注視位置を直感的に指定可能で、各ユーザが指定する画面上の位置を検出し、その位置に応じた情報を各ユーザに提供可能な情報配信方法、コンピュータプログラム、情報配信装置及び携帯通信機を提供することを目的とする。
　本発明に係る情報配信方法は、コンピュータが、階層構造を持つ情報をディスプレイに表示し、前記ディスプレイに表示された前記情報の一部を撮像した画像を取得し、取得した画像の前記ディスプレイに表示された画像内での位置を検出し、検出結果に基づき、前記取得した画像に対応した階層構造を持つ情報を特定し、特定結果に基づいて、前記取得した画像の拡大画像若しくは縮小画像、又は前記取得した画像に表示された階層とは異なる階層の情報を表示する画像を生成するための情報を選択し、選択した情報を出力することを特徴とする。
　本発明にあっては、ユーザは、ディスプレイに表示された情報の中で注視した部分を、携帯通信機で撮影するという直感的な操作で指定し、注視した部分に関連する情報を得ることが可能となる。
　本発明に係るコンピュータプログラムは、コンピュータに、ディスプレイに表示された階層構造を持つ情報の一部を撮像した画像の前記ディスプレイに表示された画像内での位置を検出するステップと、検出結果に基づき、前記撮像した画像に対応した階層構造を持つ情報を特定するステップと、特定結果に基づいて、前記撮像した画像の拡大画像若しくは縮小画像、又は前記撮像した画像に表示された階層とは異なる階層の情報を表示する画像を生成するための情報を選択するステップとを実行させることを特徴とする。
　本発明にあっては、ユーザは、ディスプレイに表示された情報の中で注視した部分を、携帯通信機で撮影するという直感的な操作で指定し、注視した部分に関連する情報を得ることが可能となる。
　本発明に係る情報配信装置は、記憶部に記憶した階層構造を持つ情報を携帯通信機に送信する情報配信装置において、前記情報をディスプレイに配信する配信部と、前記携帯通信機が撮像して得た、前記ディスプレイに表示された前記情報の一部に対応した画像を前記携帯通信機より受信する受信部と、受信した画像に基づいて、階層構造を持つ情報を前記記憶部より読み出す読み出し部と、読み出した情報を携帯通信機に送信する送信部とを備えることを特徴とする。
　本発明にあっては、携帯通信機で撮像した画像に基づいて、情報配信装置は階層構造を持つ情報を読み出し、携帯通信機に送信する。ユーザは、ディスプレイに表示された情報の中で注視した部分を、携帯通信機で撮影するという直感的な操作で指定し、注視した部分に関連する情報を得ることが可能となる。
　本発明に係る情報配信装置は、前記読み出し部は、前記受信した画像の前記ディスプレイの表示面での位置を検出する検出部と、該検出部による検出結果に基づき、前記受信した画像に対応した階層構造を持つ情報を特定する特定部とを含み、前記携帯通信機及び前記ディスプレイの距離を前記携帯通信機から受信する距離受信部を備え、該特定部が特定した情報及び受信した距離に基づいて、前記受信した画像の拡大画像又は縮小画像に相当する画像を生成するための情報を前記記憶部より読み出すことを特徴とする。
　本発明にあっては、携帯通信機とディスプレイまでの距離に基づいて、携帯通信機から送信されたディスプレイの部分画像の拡大又は縮小した画像を記憶部に記憶された階層構造を持つ情報から生成して、携帯通信機に送信するので、ユーザは視認性の良い画像を参照することが可能となる。
　本発明に係る情報配信装置は、前記携帯通信機及び前記ディスプレイの距離を前記携帯通信機から受信する距離受信部を備え、前記読み出し部は受信した距離に基づいて、前記記憶部より読み出す前記情報の階層及び／又は前記携帯通信機に送信する前記情報の階層を定めるようにしてあることを特徴とする。
　本発明にあっては、携帯通信機とディスプレイまでの距離に基づいて、読み出し部より読み出す情報の階層及び／又は携帯通信機に送信する情報の階層を定めるようにしてあるので、携帯通信機をディスプレイに近づけたり、遠ざけたりすることにより、携帯通信機に表示される情報の階層が変化することとなる。ユーザは直感的な操作により、情報の階層を切り替えることが可能となる。
　本発明に係る情報配信装置は、前記ディスプレイの表示面と平行な面内での前記携帯通信機の傾きを該携帯通信機より受信する傾き受信部を備え、前記特定部は、受信した傾きを用いて、前記送信された画像に対応した前記階層構造を持つ情報を特定することを特徴とする。
　本発明にあっては、携帯通信機の傾きをコンピュータに送信する。コンピュータは受信した傾きを用いて、送信された画像に対応した階層構造を持つ情報を特定するので、傾きを用いない場合よりも、特定する処理を効率的に行うことが可能となる。
　本発明に係る情報配信装置は、前記配信部は、各々異なる階層構造を持つ情報を複数のディスプレイに配信するようにしてあり、各ディスプレイで表示されるべき画像及び前記携帯通信機より受信した画像のマッチングを行うことにより、前記携帯通信機が画像を取得したディスプレイを特定する第２特定部を備えることを特徴とする。
　本発明にあっては、複数のディスプレイに情報を配信するので、より多くのユーザにサービスを提供することが可能となる。また、携帯通信機から受信画像とディスプレイに表示されるべき画像とのマッチングによりディスプレイを特定するので、ディスプレイに関する情報を入力させるなどの作業をユーザに行わせる必要がない。
　本発明に係る情報配信方法は、コンピュータが、階層構造を持つ情報をディスプレイに配信し、前記ディスプレイに表示された前記情報の一部を撮像した画像を受信し、受信した画像の前記ディスプレイの表示面での位置を検出し、検出結果に基づいて、前記取得した画像に対応した階層構造を持つ情報を特定し、特定結果に基づいて、記憶部より前記情報を読み出し、読み出した情報を携帯通信機に送信することを特徴とする。
　本発明にあっては、ユーザは、ディスプレイに表示された情報の中で注視した部分を、携帯通信機で撮影するという直感的な操作で指定し、注視した部分に関連する情報を得ることが可能となる。
　本発明に係る携帯通信機は、階層構造を持つ情報を表示したディスプレイを撮像し、前記情報の一部に対応する画像を取得する画像取得部と、取得した画像を情報配信装置に送信する画像送信部と、送信した画像に基づいて、送信された前記情報を受信する受信部と、受信した前記情報を表示する表示部とを備えたことを特徴とする。
　本発明にあっては、ユーザは、ディスプレイに表示された情報の中で注視した部分を、携帯通信機で撮影するという直感的な操作で指定し、注視した部分に関連する情報を得ることが可能となる。
　本発明にあっては、コンピュータは、ディスプレイに表示された情報の一部を撮像した画像を携帯端末から受信し、受信した画像に基づいて、階層構造を持つ情報を読み出し、携帯端末に送信するようしてあるので、ユーザは、ディスプレイに表示された情報の中で注視した部分を直感的な操作で指定し、コンピュータはユーザが求める情報を的確に提供することが可能となる。
実施の形態１に係る情報提供システムの概略構成を示す説明図である。 コンテンツサーバのハードウェア構成を示した説明図である。 携帯端末のハードウェア構成を示した説明図である。 コンテンツデータベースに記憶してある階層構造を持つコンテンツの一例を示す説明図である。 情報提供システムの動作手順を示したフローチャートである。 コンテンツサーバと携帯端末との通信リンクを確立する手順を示したフローチャートである。 地図を配信する処理手順を示したフローチャートである。 ディスプレイに表示されている地図の一例を示す説明図である。 携帯端末に表示される地図の一例を示す説明図である。 携帯端末に表示される地図の他の例を示す説明図である。 地形レイヤを表示した場合の地図の一例を示す説明図である。 施設情報を表示した場合の画面の一例を示す説明図である。 携帯端末に表示される地図の他の例を示す説明図である。 施設情報をリスト表示している画面の一例を示す説明図である。 拡大鏡としての利用についての説明図である。 拡大鏡としての利用についての説明図である。 情報提供システムの動作手順を示したフローチャートである。 初期表示の一例を示す説明図である。 携帯端末の表示部に表示される画像の一例を示す説明図である。 情報提供システムの動作手順を示したフローチャートである。 ディスプレイに表示する広告映像の一例を示す説明図である。 コンテンツデータベースのデータ構造の一例を示す説明である。 情報提供システムの動作手順を示したフローチャートである。 ディスプレイに表示する案内図の一例を示す説明図である。 携帯端末をかざして店舗情報を取得する場合の説明図である。 携帯端末をかざして店舗情報を取得する場合の説明図である。 実施の形態６に係る情報提供システムの概略構成を示す説明図である。 実施の形態７に係る情報提供システムの概略構成を示す説明図である。 コンテンツサーバのハードウェア構成を示した説明図である。 テレビジョン受信機のハードウェア構成を示した説明図である。 携帯端末のハードウェア構成を示した説明図である。 情報提供システムの動作手順を示したフローチャートである。 情報提供システムの動作手順を示したフローチャートである。
　以下、本発明をその実施の形態を示す図面に基づき具体的に説明する。
　実施の形態１
　図１は、実施の形態１に係る情報提供システムの概略構成を示す説明図である。情報提供システムは、コンテンツサーバ１（コンピュータ）、ディスプレイ２、携帯端末３（携帯通信機）を含む。コンテンツサーバ１とディスプレイ２とは、ＤＶＩ（Digital Visual Interface）、ＨＤＭＩ（登録商標）（High Definition Multimedia Interface）、ＶＧＡ（Video Graphics Array）等の有線、またはＵＷＢ(Ultra Wide Band)方式、ワイヤレスＵＳＢ（Universal Serial Bus）、インテル（登録商標）ＷｉＤｉ（Wireless Display）等無線により接続されている。ディスプレイ２はコンテンツサーバ１が出力するコンテンツデータを表示する。コンテンツサーバ１と携帯端末３とは、ＵＳＢ、ＷｉＦｉ（wireless fidelity）、ＩＥＥＥ（Institute of Electrical and Electronic Engineers）１３９４、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＷｉＭＡＸ（Worldwide Interoperability for Microwave Access）等を用いて通信を行う。
　図２は、コンテンツサーバ１のハードウェア構成を示した説明図である。コンテンツサーバ１は制御部１１、コンテンツデータベース１２（記憶部）、画像処理部１３、通信部１４（送信部）を含む。制御部１１はＣＰＵ(Central Processing Unit)１１ａ、ＲＡＭ（Random Access Memory）１１ｂ、ＲＯＭ（Read Only Memory）１１ｃを含む。
　ＣＰＵ１１ａは、バスを介してハードウェア各部と接続されている。ＣＰＵ１１ａはＲＯＭ１１ｃに記憶された制御プログラム（コンピュータプログラム）に従いハードウェア各部を制御する。ＲＡＭ１１ｂは例えばＳＲＡＭ（Static ＲＡＭ）、ＤＲＡＭ（Dynamic ＲＡＭ）、フラッシュメモリ等である。ＲＡＭ１１ｂは、ＣＰＵ１１ａによる各種プログラムの実行時に発生する種々のデータを一時的に記憶する。コンテンツデータベース１２は携帯端末３に提供する階層構造を持つコンテンツ（階層構造を持つ情報）を記憶している。画像処理部１３はディスプレイ２に表示する画像を生成し、ディスプレイ２に出力する。通信部１４は携帯端末３と通信する機能及びネットワークＮを介して、他のコンピュータと通信する機能を備える。ネットワークＮはインターネット、ＷＡＮ（Wide Area Network）、パケット交換網等である。
　図３は携帯端末３のハードウェア構成を示した説明図である。携帯端末３は制御部３１、カメラ部３２（画像取得部）、加速度センサ３３（測定部）、表示部３４、操作部３５、通信部３６（送信部）を含む。制御部３１はＣＰＵ３１ａ、ＲＡＭ３１ｂ、ＲＯＭ３１ｃを含む。
　ＣＰＵ３１ａは、バスを介してハードウェア各部と接続されている。ＣＰＵ３１ａはＲＯＭ３１ｃに記憶された制御プログラムに従いハードウェア各部を制御する。ＲＡＭ３１ｂは例えばＳＲＡＭ（Static ＲＡＭ）、ＤＲＡＭ（Dynamic ＲＡＭ）、フラッシュメモリ等である。ＲＡＭ３１ｂは、ＣＰＵ３１ａによる各種プログラムの実行時に発生する種々のデータを一時的に記憶する。
　カメラ部３２は、カメラモジュール３２ａ、ＡＦ（Auto Focus）機構３２ｂを含む。カメラモジュール３２ａはレンズ系、撮像素子等を含み、画像を取得する。ＡＦ（Auto Focus）機構３２ｂはカメラモジュール３２ａのレンズ系を制御し、自動的にピント合わせを行う。加速度センサ３３は計測した携帯端末３の所定方向の加速度を微分することにより、携帯端末３の傾きを算出する。表示部３４はカメラモジュール３２ａで撮像した画像、コンテンツサーバ１より送信されたコンテンツ、操作のためのボタン、メニュー等が表示される。操作部３５は携帯端末３を操作するためのボタン、表示部３４を操作に用いるためのタッチパネル等を含む。
　通信部３６はコンテンツサーバ１と通信を行う。携帯端末３からコンテンツサーバ１に送信するのは、カメラモジュール３２ａで撮像した画像、ディスプレイ２との距離、加速度センサ３３の計測値から求めた携帯端末３の傾き角度、操作情報等である。コンテンツサーバ１から送信されるのは、コンテンツ画像等である。
　図４はコンテンツデータベース１２に記憶してある階層構造を持つコンテンツの一例を示す説明図である。図４に示すのは、地図を用いて施設案内を行うコンテンツである。コンテンツは３階層構造となっている。１階層目は地図情報ｄ１と施設情報ｄ２とからなる。地図情報ｄ１は２階層目で１／１０万の地図ｄ１１、１／５万の地図ｄ１２、１／１万の地図ｄ１３…というように縮尺毎の地図からなる。さらに３階層目では、地図レイヤｄ１１１、地形レイヤｄ１１２、天気レイヤｄ１１３、交通情報レイヤｄ１１４、航空写真レイヤｄ１１５、気温レイヤｄ１１６、風レイヤｄ１１７等からなる。施設情報ｄ２は２階層目で各施設のデータｄ２１となる。施設情報ｄ２は各レコード間で親子関係を定義可能としてあり、階層構造のデータとなっている。
　地図レイヤｄ１１１はベースとなる地図情報であり、都道府県界、市区町村境界、交通網（鉄道、駅、フェリー航路）、高速・有料道路、幹線道路、道路縁（二条線）等のラインデータ、主要建物データ、家屋データ、水面データ（海、河川、湖沼）、緑地データ等のポリゴンデータ、注記、道路番号等のポイントデータを含んでいる。
　地形レイヤｄ１１２は等高線データを基に標高を色の濃淡や陰影により視覚的に表したポリゴンデータである。天気レイヤｄ１１３は天気予報を表示するためのポイントデータである。天気レイヤｄ１１３は属性データとして今日の天気、明日の天気等の情報を持つ。天気レイヤｄ１１３の地理情報（径度、緯度等）は固定データであるが、属性データである天気予報データは動的なデータである。天気予報データはネットワークＮを介して、他のサーバ等から取得する。
　交通情報レイヤｄ１１４は道路の渋滞状況等を表示するラインデータである。交通情報レイヤｄ１１４は固定データとしての地理情報、動的なデータである渋滞状況を示す属性データを含む。固定データとしての地理情報の一例としては日本デジタル道路地図協会のＤＲＭ（Digital Road Map）データである。すべての道路がノードとリンクで表現されているため、統一的な処理が可能である。ノードとは交差点その他道路網表現上の結節点等である。リンクとはノードとノードの間の道路区間である。各ノードと各リンクにはＩＤが振られている。属性データはリンク毎に持つことにより、リンク毎に渋滞状況を表現することが可能となる。渋滞状況データはネットワークＮを介して、他のサーバ等から取得する。この場合、他のサーバもＤＲＭデータに対応していれば、リンクＩＤと渋滞状況を取得すれば良い。
　航空写真レイヤｄ１１５は所謂オルソ画像と呼ばれる画像データからなる。オルソ画像とは航空写真に生じる歪みを補正した画像である。
　気温レイヤｄ１１６は気温を表示するポイントデータである。風レイヤｄ１１７は風向き、風速を表示するポイントデータである。天気レイヤｄ１１３と同様に地理情報（径度、緯度等）は固定データであるが、属性データである気温、風向き、風速は動的なデータである。これらのデータはネットワークＮを介して、他のサーバ等から取得する。
　上記のレイヤのうち、航空写真レイヤｄ１１５はラスタデータであるが、他のレイヤについては、ベクタデータでもラスタデータでも良い。また、すべてのレイヤが全ての縮尺の地図に含まれている必要はなく、縮尺毎に適切なレイヤを選択しデータ作成を行なっても良い。さらに、ベースとなる地図レイヤｄ１１１は複数のデータが含まれているが、全ての縮尺の地図に同一のデータを含む必要はなく、縮尺毎に適切なデータを選択するしデータ作成を行なっても良い。
　ベクタデータとした場合、データの精度が高く、表示時間が実用に耐えうる範囲内であれば、小縮尺（例えば１／１０万）から大縮尺（１／５００）の地図において共通のデータとしても良い。
　施設情報ｄ２は、Ｎｏ、緯度・経度、カテゴリー、施設名、親リンク、表示開始縮尺、映像情報、解説、営業時間、子リンクを含む。Ｎｏは施設のＩＤとなる順番号が記憶される。緯度・経度は施設の地理的位置を示す緯度と経度の値が記憶される。緯度の値として、北緯の場合は＋、南緯の場合は－を付与する。経度の値として、東経の場合は＋、西経の場合は－を付与する。正負の符号により北緯と南緯との区別、東経と西経との区別を容易に行うことが可能となる。カテゴリーは施設のカテゴリーを表す文字列が記憶される。カテゴリーを表す文字列は、例えば、山、湖、商業施設等である。
　施設名は施設の名称を表す文字列が記憶される。親リンク、子リンクはデータの階層構造を表すための欄である。親リンクには階層が上位のレコードのＩＤが記憶される。子リンクには階層が下位のレコードのＩＤが記憶される。例えば、Ｎｏ０００４のレコードは親リンクの値が０００３なので、Ｎｏ０００３のレコードが上位階層のレコードであることが分かる。従って、Ｎｏ０００３のレコードの子リンクの欄には、Ｎｏ０００４が記載されている。
　親リンク、子リンクともに値００００は、対象となるレコードがないことを示す。例えば、Ｎｏが０００２のレコードは親リンクの値が００００であるので、それよりも上位の階層のレコードはないことを示している。また、Ｎｏが０００４のレコードは子リンクの値が００００であるので、それよりも下位の階層のレコードはないことを示している。
　表示開始縮尺は各レコードの情報を地図上に表示する最小縮尺の値を記憶する。例えば、Ｎｏ０００１のレコードは、縮尺１／１０万より表示を開始し、それよりも大きい縮尺では表示、それよりも小さい縮尺では非表示とすることを示している。
　映像情報は施設に関する映像データを記憶する。図４の例では、データそのものではなく、ｊｐｇファイル名が記憶してある。
　解説は、施設についての解説文が文章として記憶してある。
　営業時間は、施設の営業時間が記憶してある。
　次に、情報提供システムの動作について説明する。本実施の形態ではコンテンツサーバ１と携帯端末３とが無線通信を行うこととする。図５は情報提供システムの動作手順を示したフローチャートである。図６はコンテンツサーバ１と携帯端末３との通信リンクを確立する手順を示したフローチャートである。まず、コンテンツサーバ１と携帯端末３とが通信リンクを確立する（ステップＳ１）。図６に移り、コンテンツサーバ１のＣＰＵ１１ａは、携帯端末３をスキャンするコマンドを出力する（ステップＳ１１）。ＣＰＵ１１ａは携帯端末３からの応答の有無で、携帯端末３が見つかったか否かを判定する（ステップＳ１２）。携帯端末３から応答があり、携帯端末３が見つかった場合（ステップＳ１２でＹＥＳ）、ＣＰＵ１１ａは現在リンクを確立している携帯端末数が、最大可能リンク数未満であるか否かを調べる（ステップＳ１３）。最大可能リンク数未満である場合（ステップＳ１３でＹＥＳ）、ＣＰＵ１１ａは携帯端末３とのリンクを確立し（ステップＳ１４）、処理を終了する。最大可能リンク数に達している場合（ステップＳ１３でＮＯ）、ＣＰＵ１１ａは警告メッセージを携帯端末３に送信し（ステップＳ１５）、処理を終了する。携帯端末３に表示する警告メッセージは、例えば、「同時にはｘｘ人までしかご覧いただけません。申し訳ありませんがしばらくお待ちください」とする。携帯端末３から応答がなく、携帯端末３が見つからなかった場合（ステップＳ１２でＮＯ）、ＣＰＵ１１ａはリンク切断を行い（ステップＳ１６）、処理を終了する。ＣＰＵ１１ａは、図６に示した処理を所定間隔、例えば５秒間隔で実行する。なお、図６では、ステップＳ１４からＳ１６の処理後は、いずれも処理を終了しているが、処理をステップＳ１１に戻すようにしても良い。その場合は、ＣＰＵ１１ａが他の処理を実行できるよう、図６に示した処理は、バックエンドで動作させる。
　図５に戻り、ユーザは携帯端末３をディスプレイ２にかざし、ディスプレイ２に表示されている情報の中で、注視した部分の画像をカメラモジュール３２ａで撮影する。携帯端末３のＣＰＵ３１ａは、カメラモジュール３２ａを制御して画像を取り込むとともに、画像を取り込む際のＡＦ機構３２ｂの動作結果から携帯端末３とディスプレイ２との距離を取得する。また、加速度センサ３３の計測結果より携帯端末３の傾きを、ＣＰＵ３１ａ（算出部）は算出する（ステップＳ２）。
　携帯端末３のＣＰＵ３１ａは、取得した画像、距離、算出した傾きをコンテンツサーバ１に送信する（ステップＳ３）。コンテンツサーバ１のＣＰＵ１１ａ（検出部）は、携帯端末３より受信した画像、距離、傾きを基に、受信した画像のディスプレイ２に表示された画像内での位置を検出する。その位置により、ＣＰＵ１１ａはディスプレイ２に対する携帯端末３の位置と向き（相対的空間位置／向き）を算出する（ステップＳ４）。ＣＰＵ１１ａは算出した位置／向きより、携帯端末３に送信すべき画像の範囲を特定する。ＣＰＵ１１ａ（特定部）その範囲に対応した情報を特定する。ＣＰＵ１１ａ（読み出し部）は、コンテンツデータベース１２より特定した情報を読み出し、画像処理部１３により画像を生成させる（ステップＳ５）。ＣＰＵ１１ａは生成した画像を携帯端末３に送信する（ステップＳ６）。
　なお、携帯端末３が加速度センサ３３を備えていることは必須の条件ではなく、携帯端末３が加速度センサ３３を備えていない場合は、携帯端末３より受信した画像とディスプレイ２に表示していた画像とにより、画像の回転ベクトル演算を行い、携帯端末３の傾きを算出すれば良い。
　携帯端末３のＣＰＵ３１ａはコンテンツサーバ１より画像を受信する（ステップＳ７）。ＣＰＵ３１ａは受信した画像を表示部３４に表示し、ユーザからの操作を待つ（ステップＳ８）。ユーザが何らかの操作をした場合（ステップＳ８でＹＥＳ）、ＣＰＵ３１ａは終了操作であるか判定する（ステップＳ９）。終了操作である場合（ステップＳ９でＹＥＳ）、ＣＰＵ３１ａはコンテンツサーバ１との通信リンク等を行い、処理を終了する。終了操作でない場合（ステップＳ９でＮＯ）、ＣＰＵ３１ａは操作内容をコンテンツサーバ１に送信し（ステップＳ１０）、処理をステップＳ２に戻す。所定時間経過してもユーザによる操作がなかった場合（ステップＳ８でＮＯ）、ＣＰＵ３１ａは処理をステップＳ２に戻す。以下、ステップＳ２以降を繰り返す。以上が情報提供システムの基本的な動作である。
　次に、提供するコンテンツが地図とした場合の情報提供システムの動作について、説明する。以下の説明において、携帯端末３は加速度センサ３３を持たないものとする。図７は地図を配信する処理手順を示したフローチャートである。コンテンツサーバ１のＣＰＵ１１ａは、携帯端末３から画像情報を取得する（ステップＳ２１）。ＣＰＵ１１ａは取得した画像情報を、ディスプレイ２に表示している地図情報と比較して、取得した画像情報の位置情報（経度、緯度）、携帯端末３の傾きを取得する（ステップＳ２２）。取得した画像情報は、ディスプレイ２に表示した画像の一部分であるので、画像マッチングを行うことにより、取得した画像情報がディスプレイ２に表示した画像のどの部分であるかが分かる。それにより、取得した画像情報の位置情報（経度、緯度）、携帯端末３の傾きを求めることが可能となる。
　次に、ＣＰＵ１１ａは、携帯端末３とディスプレイ２との距離が変化したかを調べる（ステップＳ２３）。ここで、ＣＰＵ１１ａは、通信を行なっている携帯端末３よりディスプレイ２との距離を画像情報と共に取得し、ＲＡＭ１１ｂ等に携帯端末３毎に記憶しているものとする。ディスプレイ２との距離は、携帯端末３に内蔵されたＡＦ機構３２ｂがピント合わせの際に得た焦点距離より、ＣＰＵ３１ａが求めるものとする。
　ＣＰＵ１１ａは、画像情報と共に取得した携帯端末３とディスプレイ２との距離を、ＲＡＭ１１ｂ等に記憶してある前回の距離と比較し、変化がないかを判定する。変化がある場合（ステップＳ２３でＹＥＳ）、ＣＰＵ１１ａは処理をステップＳ２４に移す。ＣＰＵ１１ａは変化量に応じて、携帯端末３に送信する地図の縮尺を変更する。変化がない場合（ステップＳ２３でＮＯ）、ＣＰＵ１１ａは処理をステップＳ２５に移す。
　ＣＰＵ１１ａは、切替操作があったか否か判定する（ステップＳ２５）。ここでいう切替操作とは表示されているレイヤを非表示にすること、非表示となっているレイヤを表示にすることをいう。そのような操作信号は画像情報と別に携帯端末３からコンテンツサーバ１に送信されるものとする。
　切替操作があった場合（ステップＳ２５でＹＥＳ）、ＣＰＵ１１ａは処理をステップＳ２６に移す。ＣＰＵ１１ａは、該当する地図レイヤの表示／非表示を切替える（ステップＳ２６）。切替操作がなかった場合（ステップＳ２５でＮＯ）、ＣＰＵ１１ａは処理をステップＳ２７に移す。
　ＣＰＵ１１ａは、施設検索操作があったか否かを判定する（ステップＳ２７）。施設検索操作とは、例えば、地図の表示範囲内に含まれる施設の情報を一覧表示することを言う。施設検索操作があった場合（ステップＳ２７でＹＥＳ）、ＣＰＵ１１ａは処理をステップＳ２８に移す。ＣＰＵ１１ａは、携帯端末３に表示する地図の表示範囲内に含まれる施設を空間検索により取得する。検索結果を基に施設情報リストを描画する（ステップＳ２８）。施設検索操作がなかった場合（ステップＳ２７でＮＯ）、ＣＰＵ１１ａは処理をステップＳ２９へ移す。
　ＣＰＵ１１ａは、詳細表示操作があったか否かを判定する（ステップＳ２９）。詳細表示操作とは、選択した施設の詳細情報を表示させるための操作を言う。例えば、リスト表示された施設情報を選択した場合や、地図上の施設アイコンを選択した場合である。詳細表示操作があった場合（ステップＳ２９でＹＥＳ）、ＣＰＵ１１ａは選択された施設情報を描画する（ステップＳ３０）。ＣＰＵ１１ａは処理をステップＳ３３へ移す。詳細表示操作がなかった場合（ステップＳ２９でＮＯ）、ＣＰＵ１１ａは処理をステップＳ３１へ移す。
　ＣＰＵ１１ａは、現在選択されている縮尺で、選択されている範囲の地図画像を描画する（ステップＳ３１）。ＣＰＵ１１ａは、地図の表示範囲内にある施設情報であって、表示開始縮尺が現在選択されている縮尺よりも小さいものの名称、アイコンを地図上に描画する（ステップＳ３２）。
　ＣＰＵ１１ａは、画像の一部に、現在の表示内容に対応する仮想ボタン（施設検索ボタン、レイヤ切替メニュー等）を描画する（ステップＳ３３）。ＣＰＵ１１ａは、上述の処理にて作成した画像より携帯端末３の傾きに応じた画像を切り出す（ステップＳ３４）。ＣＰＵ１１ａは、切り出した画像を携帯端末３に送信する（ステップＳ３５）。ＣＰＵ１１ａは、処理を終了する。その後、再び、携帯端末３から画像が送信された場合、ＣＰＵ１１ａは再びＳ２１からの処理を行う。
　次に、上述の処理を具体例に基づき説明する。図８はディスプレイ２に表示されている地図の一例を示す説明図である。地図上に描かれている矩形枠は、ユーザがカメラで撮影している範囲を描いたものである。携帯端末３のＣＰＵ３１ａは、ユーザ操作に従い、カメラモジュール３２ａに矩形枠の範囲を撮影させ、その画像を、通信部３６を用いてコンテンツサーバ１に送信する。ＡＦ機構３２ｂによるピント合わせの際に得た焦点距離、加速度センサ３３から得た端末の傾きを、ＣＰＵ３１ａはコンテンツサーバ１に送信しても良い。
　コンテンツサーバ１のＣＰＵ１１ａは、受信した画像を基に、携帯端末３より送信された画像の位置（経度、緯度）、傾きを算出する（ステップＳ２２）。算出した画像の位置、端末の傾きを基に、ＣＰＵ１１ａは画像を切り出し（ステップＳ３４）、携帯端末３に送信する（ステップＳ３５）。図９は携帯端末３に表示される地図の一例を示す説明図である。図８に示した矩形枠の領域が、携帯端末３の表示部３４に表示されている。
　図１０は携帯端末３に表示される地図の他の例を示す説明図である。図９が携帯端末３の表示部３４に表示されている状態で、ユーザが、携帯端末３をディスプレイ２に近づけると共に、富二山が画面に中央になるように動かした場合を想定したものである。図９と図１０とを比較すると、図１０に示す地図は、図９に示す地図よりも縮尺が大きくなっている。また、富二山が地図の中央付近に表示されている。また、縮尺が大きくなることにより、山小屋の表示開始縮尺より大きな縮尺となったため、山小屋が地図に表示されている。すなわち、コンテンツサーバ１のＣＰＵ１１ａは、ディスプレイ２との距離が変化したことを検出し（ステップＳ２３でＹＥＳ）、表示する地図の縮尺を変更する（ステップＳ２４）。
　図１０には、さらに、レイヤ切替のメニューの一例が表示されている。ここで、チェックが付いているレイヤが表示対象となっている。図１０において、非表示となっている地形図を選択すると、図１１に示す画面が表示される。図１１は地形レイヤを表示した場合の地図の一例を示す説明図である。図１０と表示している範囲は同様であるが、等高線が表示されている。ＣＰＵ１１ａは、レイヤの切替操作を検知し（ステップＳ２５）、選択された地形レイヤを非表示から表示に切り替える（ステップＳ２６）。
　なお、上述の説明において、レイヤ切替メニューは予め画面に表示されているものとして説明したが、それに限られない。ユーザが携帯端末３の操作部３５にある特定のボタンを押下したときに、レイヤ切替メニューを表示することとしても良い。
　図１２は施設情報を表示した場合の画面の一例を示す説明図である。図１０において、山小屋のアイコンをユーザが選択した場合、コンテンツサーバ１のＣＰＵ１１ａは詳細表示操作されたことを検知し（ステップＳ２９でＹＥＳ）、山小屋に関する情報を、コンテンツデータベース１２の施設名欄、営業時間欄、解説欄から読み出し、その内容を描画する（ステップＳ３０）。
　図１３は携帯端末３に表示される地図の他の例を示す説明図である。この例ではテーマパーク内の地図等、多くの施設が含まれている。ユーザにより施設検索ボタンが選択されると、コンテンツサーバ１のＣＰＵ１１ａは施設検索操作を検知し（ステップＳ２７でＹＥＳ）、地図の表示範囲内の施設を検索する。例えば、ＣＰＵ１１ａは地図の４隅の緯度、経度を取得する。ＣＰＵ１１ａは、それらの値とコンテンツデータベース１２の施設情報ｄ２各レコードの経度・緯度とを比較し、表示範囲内に含まれるレコードを抽出する。ＣＰＵ１１ａは検索結果として施設名をリスト表示する。図１４は施設情報をリスト表示している画面の一例を示す説明図である。地図画面の上に施設リストウィンドウが表示され、地図の表示範囲内に含まれる施設の名称がリスト表示されている。
　上述の説明においては、携帯端末が複数台の場合の処理については、特に述べていないが、コンテンツサーバ１と複数台の携帯端末がリンクしている場合も同様であり、それぞれの携帯端末毎に、上記の処理を行えば良い。
　上述のように、本実施の形態では、携帯端末３が撮影し送信した画像に基づき、コンテンツサーバ１はユーザが指定した位置を検出し、その位置に応じた情報をユーザが使用する携帯端末３に送信することが可能となる。
　なお、上述の説明では、地図データはラスタデータである前提で説明したが、それに限られずベクトルデータであっても良い。ベクトルデータである場合は、携帯端末３に表示する画像をコンテンツサーバ１で生成するのではなく、携帯端末３で行なっても良い。コンテンツサーバ１は表示に必要な地図データを携帯端末３に送信し、携帯端末３は受信した地図データを用いて、画像を生成する。
　実施の形態２
　本実施の形態では、拡大鏡としての利用について説明する。図１５Ａ及び図１５Ｂは拡大鏡としての利用についての説明図である。図１５Ａはディスプレイ２に表示されている文字の例である。図１５Ｂは図１５Ａで示した文字を拡大表示した例である。図１５Ａに示した「廣」という文字は画数が多く見づらいために、ユーザは携帯端末３をディスプレイ２にかざして文字を拡大表示させている。
　図１６は情報提供システムの動作手順を示したフローチャートである。携帯端末３のＣＰＵ３１ａは、通信部３６を制御し、コンテンツサーバ１とリンクを確立する（ステップＳ１）。ユーザは携帯端末３をディスプレイ２にかざし、拡大したい部分をカメラモジュール３２ａで撮影する。ＣＰＵ３１ａは、カメラモジュール３２ａから画像を取り込むと共に、ＡＦ機構３２ｂより得た焦点距離を基に、携帯端末３とディスプレイ２との距離を算出する（ステップＳ４０）。ＣＰＵ３１ａは画像と距離をコンテンツサーバ１に送信する（ステップＳ４１）。コンテンツサーバ１のＣＰＵ１１ａは、受信した画像と距離を基に、携帯端末３がどの位置でディスプレイ２を撮影したのか、すなわち、ディスプレイ２のどの部分を携帯端末３は撮影したのかを求める（ステップＳ４２）。ＣＰＵ１１ａは求めた位置に基づき部分画像を、画像処理部１３に生成させる（ステップＳ４３）。ＣＰＵ１１ａは生成した画像を携帯端末３に送信する（ステップＳ６）。
　携帯端末３のＣＰＵ３１ａは画像を受信し、表示部３４に表示する（ステップＳ７）。ＣＰＵ３１ａは、所定時間ユーザから操作がないかを監視し（ステップＳ８）、操作があれば（ステップＳ８でＹＥＳ）、ＣＰＵ３１ａは終了操作であるか判定する（ステップＳ９）。終了操作である場合（ステップＳ９でＹＥＳ）、ＣＰＵ３１ａはコンテンツサーバ１との通信リンク等を行い、処理を終了する。終了操作でない場合（ステップＳ９でＮＯ）、操作内容をコンテンツサーバ１に送信し（ステップＳ１０）、処理をステップＳ４０に戻す。操作がなければ（ステップＳ８でＮＯ）、ＣＰＵ３１ａは、処理をステップＳ４０に戻す。
　拡大鏡として利用する場合は、携帯端末３がディスプレイ２に近づいた場合は画像を拡大し、離れた場合は縮小して表示するようにする。
　なお、文字を拡大する場合は、出力画像が傾くと見辛くなることも考えられるので、携帯端末３は傾きの計測をせず、傾きをコンテンツサーバ１に送信しないこととする。傾きを用いるか否かは、ユーザが切り替えられるようにしても良いし、携帯端末３のＣＰＵ３１ａが画像の内容を解析し、判定しても良い。または、コンテンツサーバ１が文字情報をディスプレイ２に表示している場合は、携帯端末３から受信した傾き情報は用いないこととしても良い。
　以上のように、本実施の形態においては、ディスプレイ２に表示している画像の一部を、携帯端末３とディスプレイ２との距離に応じて、適切な倍率で拡大／縮小して携帯端末３に表示するので、ユーザは携帯端末３を拡大鏡として利用できる。特に文字を拡大表示する際には、フォントサイズを変更する等の処理を行えば、文字の形を保ったまま拡大表示されるので、画数が多い漢字でも字形が潰れずに、確認することが可能となる。
　実施の形態３
　本実施の形態では、表示するコンテンツ階層を自動的に切り替える。例として、人体の構造を示す図鑑とする。図１７は初期表示の一例を示す説明図である。人体の右手部分が通常にディスプレイ２に表示されている。図１８は携帯端末３の表示部３４に表示される画像の一例を示す説明図である。図１７に示した人体の右手部分が表示されているが、皮膚は表示されずに、骨格が表示されている。ディスプレイ２に携帯端末３をかざすことにより、皮膚を透過して骨格を眺めるというイメージである。この状態で携帯端末３をディスプレイ２に近づけると、骨格ではなく血管を表示するというように、表示するレイヤを自動的に切り替える。この場合において、画像の拡大／縮小は、携帯端末３とディスプレイ２との距離の変化により行うのではなく、ユーザの操作で行うものとする。例えば、操作部３５が備える機械スイッチ、表示部３４に表示した仮想ボタンが操作された場合に、画像の拡大／縮小を変化させれば良い。
　図１９は情報提供システムの動作手順を示したフローチャートである。携帯端末３のＣＰＵ３１ａは、通信部３６を制御し、コンテンツサーバ１とリンクを確立する（ステップＳ１）。ユーザは携帯端末３をディスプレイ２にかざし、内部構造を参照したい部分をカメラモジュール３２ａで撮影する。ＣＰＵ３１ａは、カメラモジュール３２ａから画像を取り込むと共に、ＡＦ機構３２ｂより得た焦点距離を基に、携帯端末３とディスプレイ２との距離を算出する（ステップＳ４０）。ＣＰＵ３１ａは画像と距離をコンテンツサーバ１に送信する（ステップＳ４１）。コンテンツサーバ１のＣＰＵ１１ａは、受信した画像と距離を基に、携帯端末３がどの位置でディスプレイ２を撮影したのか、すなわち、ディスプレイ２のどの部分を携帯端末３は撮影したのかを求める（ステップＳ４２）。ＣＰＵ１１ａは求めた位置に基づき表示すべきレイヤを選択し、携帯端末３へ送信する画像を画像処理部１３に生成させる（ステップＳ４４）。今回の例では、皮膚を非表示にして、血管を表示する。ＣＰＵ１１ａは生成した画像を携帯端末３に送信する（ステップＳ６）。
　携帯端末３のＣＰＵ３１ａは画像を受信し、表示部３４に表示する（ステップＳ７）。ＣＰＵ３１ａは、所定時間ユーザから操作がないかを監視し（ステップＳ８）、操作があれば（ステップＳ８でＹＥＳ）、ＣＰＵ３１ａは終了操作であるか判定する（ステップＳ９）。終了操作である場合（ステップＳ９でＹＥＳ）、ＣＰＵ３１ａはコンテンツサーバ１との通信リンク等を行い、処理を終了する。終了操作でない場合（ステップＳ９でＮＯ）、操作内容をコンテンツサーバ１に送信し（ステップＳ１０）、処理をステップＳ４０に戻す。操作がなければ（ステップＳ８でＮＯ）、ＣＰＵ３１ａは、処理をステップＳ４０に戻す。例えば、ユーザの操作は画像の拡大／縮小である。
　以上のように本実施の形態では、人体図鑑のように人体の構造を、階層構造データとして表現し、携帯端末３とディスプレイ２との距離により、人体の表面の皮膚から、血管、筋肉、骨格等人体の内部に至るまで、順次切り替えるので、ユーザは直感的な操作により、階層構造データを参照することが可能となる。
　なお、携帯端末３とディスプレイ２との距離により、表示するレイヤを変化させることとしたが、それに限られない。表示するレイヤを固定とし、携帯端末３とディスプレイ２との距離により、画像を拡大／縮小するようにしても良い。この場合、ある特定のレイヤを細かく見ることが可能となる。
　また、本実施の形態で扱うデータとして、ＣＴ（Computed Tomography）画像、ＭＲＩ(Magnatic Resonance Image）画像を採用しても良い。この場合において、携帯端末３とディスプレイ２との距離により、表示する断層を変化させるので、より直感的な操作感をユーザに提供することが可能となる。
　実施の形態４
　本実施の形態では、デジタルサイネージとしての利用について、説明する。図２０はディスプレイ２に表示する広告画像の一例を示す説明図である。女性が肩からバックを下げて歩いている映像である。この映像の一部分には広告へのリンクが仮想的に貼られている。図２０において点線の四角で囲った部分がリンクの貼られている領域である。領域ｆは、女性の顔部分に領域が設定されている。領域ｂは、バッグ部分に領域が設定されている。領域ｓは、ハイヒールの部分に領域が設定されている。
　図２１はコンテンツデータベース１２のデータ構造の一例を示す説明である。コンテンツデータベース１２は、画像データｄ３と広告コンテンツｄ４とを含む。画像データｄ３は、ＩＤ欄、名称欄、画像データ欄、リンク欄を含む。広告コンテンツｄ４は、親ＩＤ欄、領域ＩＤ欄、範囲欄、商品欄、広告欄、売り場欄を含む。ＩＤ欄はレコードを特定するための主キーを記憶する。名称欄は画像データの名称が記憶される。リンク欄は画像データとリンクが貼られている広告コンテンツｄ４の領域ＩＤを記憶する。広告コンテンツｄ４の親ＩＤ欄は、広告コンテンツｄ４とリンクが貼られている画像データのＩＤを記憶する。領域ＩＤ欄は、広告コンテンツｄ４のＩＤが記憶される。範囲欄は、広告コンテンツｄ４を、画像データｄ３のどの部分にリンクさせるかを定義するための座標データを記憶する。本実施の形態では領域は矩形状であるので、対角線上の二点の座標値を記憶している。領域ＩＤ１１の範囲欄には(ｘ１１，ｙ１１)，(ｘ２１，ｙ２１)が記憶されている。領域ＩＤ１１を構成する４点の座標は、（ｘ１１，ｙ１１），（ｘ２１，ｙ１１），（ｘ２１，ｙ２１），（ｘ１１，ｙ２１）である。商品欄は広告コンテンツｄ４が扱っている商品の名称が記憶される。広告欄は広告コンテンツｄ４の実体である動画や静止画のファイル名が記憶される。売り場欄は、商品を販売している売り場案内データのファイル名が記憶されている。
　図２２は情報提供システムの動作手順を示したフローチャートである。携帯端末３のＣＰＵ３１ａは、通信部３６を制御し、コンテンツサーバ１とリンクを確立する（ステップＳ１）。ディスプレイ２に図２０で示した画像が表示されている。ユーザは携帯端末３により、例えば、女性の顔部分（領域ｆ）を撮影する。携帯端末３のＣＰＵ３１ａは、カメラモジュール３２ａから画像を取得すると共に、ＡＦ機構３２ｂより得た焦点距離を基に、携帯端末３とディスプレイ２との距離を算出する（ステップＳ４０）。ＣＰＵ３１ａは取得した画像と距離をコンテンツサーバ１に送信する（ステップＳ４１）。コンテンツサーバ１のＣＰＵ１１ａは、携帯端末３から送信された画像と距離を受信する。受信した画像とディスプレイ２に表示している画像（walk#woman.jpg）とのマッチングを行い、撮影された箇所（領域ｆ）を特定する（ステップＳ４２）。ここでは、領域ｆの領域ＩＤは、１１である。ＣＰＵ１１ａは、領域ＩＤ＝１１のレコードの広告欄から広告の実体ファイル名cosme.mpgを送信するコンテンツとして取得する（ステップＳ４５）。コンテンツは動画ファイルであるが、それに限られず静止画でも良い。ＣＰＵ１１ａは、実体ファイルcosme.mpgを携帯端末３に送信する（ステップＳ４６）。この際、売り場案内を表示させるための仮想ボタンを携帯端末３に表示させるようにしても良い。または、表示する画像内に売り場案内を表示するためのハイパーリンクを設定しても良い。
　携帯端末３のＣＰＵ３１ａは広告実体ファイルcosme.mpgを受信し、表示部３４に表示する（ステップＳ４７）。ＣＰＵ３１ａは、所定時間ユーザから操作がないかを監視し（ステップＳ８）、操作があれば（ステップＳ８でＹＥＳ）、ＣＰＵ３１ａは終了操作であるか判定する（ステップＳ９）。終了操作である場合（ステップＳ９でＹＥＳ）、ＣＰＵ３１ａはコンテンツサーバ１との通信リンク等を行い、処理を終了する。終了操作でない場合（ステップＳ９でＮＯ）、操作内容をコンテンツサーバ１に送信し（ステップＳ１０）、処理をステップＳ４０に戻す。操作がなければ（ステップＳ８でＮＯ）、ＣＰＵ３１ａは、処理をステップＳ４０に戻す。ここでいう操作は例えば、画像内に設定された売り場案内へのリンクを選択する、売り場案内表示の仮想ボタンが選択する操作である。この場合、ＣＰＵ３１ａは売り場案内情報をコンテンツサーバ１に要求する（ステップＳ１０）。再び、ステップＳ４０から同様な処理が行われる。コンテンツサーバ１のＣＰＵ１１ａは携帯端末３からの要求に従い、売り場案内データを携帯端末３に送信する（ステップＳ４６）。携帯端末３のＣＰＵ３１ａは、受信した売り場案内データを表示部３４に表示する（ステップＳ４７）。
　ユーザが携帯端末３により、女性の履くハイヒール部分を撮影した場合、領域ＩＤ１３または１４に対応する画像部分が撮影されたものと、ＣＰＵ１１ａは判定するので、ハイヒールに関する広告が、携帯端末３の表示部３４に表示される。また、ユーザの操作により、ハイヒールの売り場案内が表示部３４に表示される。
　以上のように、ディスプレイ２に表示された画像の中でユーザが注視した部分を画像として取得することで、ユーザに合わせた広告を配信することが可能となる。
　本実施の形態において、広告をユーザに配信した回数を計測し、回数によって広告主に課金することとしても良い。また、ユーザが注視した部分を集計することにより、広告映像の中で、どの部分が最もユーザの目を引いたのかも明らかとなり、広告効果を確認することが可能となる。
　実施の形態５
　本実施の形態では、デパート、ショッピングモール等の案内図としての利用について、説明する。図２３はディスプレイ２に表示する案内図の一例を示す説明図である。図２３に示すように複数の店舗の配置が図示してある。図２４Ａ及び図２４Ｂは携帯端末３をかざして店舗情報を取得する場合の説明図である。図２４Ａは携帯端末３を店舗Ｔ１の部分にかざしている様子を示している。図２４Ｂは携帯端末３に表示される店舗Ｔ１についての情報の一例を示している。ここでは、店舗Ｔ１で提供しているメニューが表示されている。
　携帯端末３に表示されているボタンｂ１をユーザが押すと、店舗Ｔ１への経路を表示する。ユーザが情報を取得した店舗の履歴をコンテンツサーバ１で記憶しておくことにより店舗への関心度を図ることが可能となる。また、ボタンｂ１が押されて店舗への経路情報が取得された回数をコンテンツサーバ１で記憶しておくことにより、現状の案内図では行き方がわかりづらい店舗を明らかにすることができる。また、携帯端末３の画面に、店舗で利用できるクーポン券を取得するボタンを設けても良い。そのことにより、ユーザが店舗に立ち寄る動機となる。実施の形態４との相違は取り扱う情報の内容が異なるだけであり、情報提供システムの動作については同様であるので、説明を省略する。
　実施の形態６
　実施の形態６ではディスプレイ２ではなく、ポスター等の紙媒体に表示されている画像を用いる。図２５は、実施の形態６に係る情報提供システムの概略構成を示す説明図である。本実施の形態に係る情報提供システムは、コンテンツサーバ１、携帯端末３、ポスター４を含む。コンテンツサーバ１、携帯端末３は、上述の実施の形態１と同様な構成であるので、以下では相違する点を主に説明する。
　ポスター４は広告画像等を紙媒体に印字したものである。広告画像のデータは、コンテンツサーバ１のコンテンツデータベース１２に記憶されている。例えば、上述の図２５に示した画像がポスター４に印字されている場合、実施の形態４と同様に、ポスター４の一部分、例えばバックの部分を撮影し、撮影した画像をコンテンツサーバ１に送信すると、バックに関する広告情報が携帯端末３に送信される。このように、ポスター４に印字された画像であっても、情報提供システムの動作は、上述の実施の形態４と同様であるので、説明を省略する。
　ポスター４を用いる場合、コンテンツサーバ１が表示内容を制御しているため携帯端末３から送信された画像と対比を行う画像は１つに特定される。しかしながら、ポスター４の画像である場合、コンテンツサーバ１が一つの画像データを保持しているときを除き、撮影されたポスターの特定が行えなければならない。そのためには、例えば、ポスター毎に背景色を変える、肉眼では認識できない透かしをポスター毎に変えて入れる等が考えられる。または、最初にポスターＩＤをユーザが文字入力、または２次元バーコードを読み取ることにより入力することにし、撮影画像と共にＩＤをコンテンツサーバ１に送信することとしても良い。それ以外にポスターを特定できるものであれば、どのような公知技術を用いても良いことは言うまでもないことである。
　本実施の形態では、画像を表示するディスプレイが不要となるため、ディスプレイを用いる場合に比べて、低コストで運用することが可能となる。
　なお、コンテンツサーバ１は画像処理部１３を備え、携帯端末３に送信する画像の生成を画像処理部１３で行うこととしたが、それに限られない。画像処理部１３を備えず、制御部１１により画像を生成しても良い。また、コンテンツサーバ１とは別体のハードウェアとして画像処理装置を別途用意し、画像生成を行なわせても良い。その場合、コンテンツサーバ１より画像生成に必要なデータを画像処理装置に送信し、画像処理装置は受信したデータを基に画像を生成し、生成した画像をコンテンツサーバ１に送信する。
　実施の形態７
　上述の実施の形態１から実施の形態５において、コンテンツサーバ１は、単一のディスプレイ２にコンテンツデータを表示させることを前提としている。コンテンツサーバ１と携帯端末３とは近接しており、近距離無線通信によりデータを送受信することを前提としている。しかし、それに限られるものではない。実施の形態７では、コンテンツサーバ１とテレビジョン受信機２０（ディスプレイ２に相当）及び携帯端末３とは、ネットワークを介して接続されていることを前提とする。
　図２６は実施の形態７に係る情報提供システムの概略構成を示す説明図である。情報提供システムは、コンテンツサーバ１（コンピュータ）、テレビジョン受信機２０（ディスプレイ）、携帯端末３（携帯通信機）、放送局５、公衆無線ＬＡＮアクセスポイント６、携帯電話基地局７、インターネット等のネットワーク網Ｎ等を含む。
　放送局５はネットワーク網Ｎを介してコンテンツサーバ１より受け取ったコンテンツデータを放送によりテレビジョン受信機２０に伝搬させる。コンテンツデータは通常のテレビジョン放送として放送しても良いし、データ放送として放送しても良いし、ハイブリッドキャスト（Hybridcast:登録商標）にて放送しても良い。
　コンテンツサーバ１と携帯端末３とは、有線ネットワークを介しての通信のほか、公衆無線ＬＡＮ及び公衆無線ＬＡＮアクセス又は携帯電話網及び携帯電話基地局７を介して、通信する。
　図２７はコンテンツサーバ１のハードウェア構成を示した説明図である。コンテンツサーバ１は制御部１１、コンテンツデータベース１２、画像処理部１３、通信部１４を含む。制御部１１はＣＰＵ１１ａ、ＲＡＭ１１ｂ、ＲＯＭ１１ｃを含む。
　コンテンツサーバ１の各部のうち、実施の形態１に係るコンテンツサーバ１と同様である部分は説明を省略する。実施の形態７では、コンテンツサーバ１はテレビジョン受信機２０とのデータ送受信は、通信回線を介して行う。また、携帯端末３との通信も通信回線を介して行う。
　図２８はテレビジョン受信機２０のハードウェア構成を示した説明図である。テレビジョン受信機２０は、ＣＰＵ２１ａ、ＲＯＭ２１ｂ、ＲＡＭ２１ｃ、チューナ２２、映像処理部２３、表示部２４、音声処理部２５、音声出力部２６、通信部２７を含む。ＣＰＵ２１ａは、バスを介してハードウェア各部と接続されている。ＣＰＵ２１ａはＲＯＭ２１ｂに記憶された制御プログラム（コンピュータプログラム）に従いハードウェア各部を制御する。ＲＡＭ２１ｃは例えばＳＲＡＭ（Static ＲＡＭ）、ＤＲＡＭ（Dynamic ＲＡＭ）、フラッシュメモリ等である。ＲＡＭ２１ｃは、ＣＰＵ２１ａによる各種プログラムの実行時に発生する種々のデータを一時的に記憶する。
　チューナ２２は、放送局５からアンテナが受信した複数種類の電波から適宜の電波を選択し、選択した電波に含まれる映像データを動画データ及び音声データに分割して夫々映像処理部２３及び音声処理部２５へ出力する。ここで映像データとは、互いに同期している動画データ及び音声データを含むデータである。映像処理部２３は、チューナ２２又は通信部２７から入力された動画データを、適宜の画像処理を施してから表示部２４へ出力する。表示部２４は、例えばカラーの液晶表示パネルを用いてなり、入力された動画データに基づく動画を、音声出力部２６から出力される音声に同期して表示する。音声処理部２５は、チューナ２２又は通信部２７から入力された音声データを、適宜の音声処理を施してから音声出力部２６に出力する。音声出力部２６はスピーカを用いてなり、入力された音声データに基づく音声を、表示部２４に表示される動画に同期して出力する。
　テレビジョン受信機２０は、放送波に搬送されたコンテツデータをチューナを介して、受け取る。インターネット等の通信回線により送信されたコンテンツデータは通信部２７を介して受け取る。
　図２９は携帯端末３のハードウェア構成を示した説明図である。携帯端末３は制御部３１、カメラ部３２、加速度センサ３３、表示部３４、操作部３５、通信部３６を含む。制御部３１はＣＰＵ３１ａ、ＲＡＭ３１ｂ、ＲＯＭ３１ｃを含む。
　ＣＰＵ３１ａは、バスを介してハードウェア各部と接続されている。ＣＰＵ３１ａはＲＯＭ３１ｃに記憶された制御プログラムに従いハードウェア各部を制御する。ＲＡＭ３１ｂは例えばＳＲＡＭ、ＤＲＡＭ、フラッシュメモリ等である。ＲＡＭ３１ｂは、ＣＰＵ３１ａによる各種プログラムの実行時に発生する種々のデータを一時的に記憶する。
　カメラ部３２は、カメラモジュール３２ａ、ＡＦ機構３２ｂを含む。カメラモジュール３２ａはレンズ系、撮像素子等を含み、画像を取得する。ＡＦ機構３２ｂはカメラモジュール３２ａのレンズ系を制御し、自動的にピント合わせを行う。加速度センサ３３は計測した携帯端末３の所定方向の加速度を微分することにより、携帯端末３の傾きを算出する。表示部３４はカメラモジュール３２ａで撮像した画像、コンテンツサーバ１より送信されたコンテンツ、操作のためのボタン、メニュー等が表示される。操作部３５は携帯端末３を操作するためのボタン、表示部３４を操作に用いるためのタッチパネル等を含む。
　通信部３６はネットワークＮ介して、コンテンツサーバ１と通信を行う。携帯端末３からコンテンツサーバ１に送信するのは、カメラモジュール３２ａで撮像した画像、ディスプレイ２との距離、加速度センサ３３の計測値から求めた携帯端末３の傾き角度、操作情報等である。コンテンツサーバ１から送信されるのは、コンテンツ画像等である。
　通信部３６は、携帯電話基地局７やＷｉＭａｘのアクセスポイントを通じてネットワークＮと接続され、コンテンツサーバ１と通信を行う。また、ＷｉＦｉにより公衆無線ＬＡＮに接続し、公衆無線ＬＡＮからネットワークＮを介して、コンテンツサーバ１と通信を行う。
　次に、実施の形態７に係る情報提供システムの動作について説明する。図３０、３１は情報提供システムの動作手順を示したフローチャートである。ユーザ操作により、携帯端末３からコンテンツサーバに対して接続要求を送信する（ステップＳ５０）。コンテンツサーバ１は携帯端末３から接続要求を受信する（ステップＳ５１）。コンテンツサーバ１は新たなセッションを開始し、セッションＩＤを生成する（ステップＳ５２）。セッションはコンテンツサーバ１が携帯端末３とのデータ送受信を管理するための仕組みであり、Ｗｅｂサーバで用いられるものと同様である。セッションＩＤはセッションを特定するＩＤであり、セッションＩＤによりコンテンツサーバ１は携帯端末３を特定する。
　コンテンツサーバ１はセッションＩＤを含む、応答を携帯端末３に対して送信する（ステップＳ５３）。
　携帯端末３はコンテンツサーバ１からの応答を受信する（ステップＳ５４）。携帯端末３は応答に含まれるセッションＩＤを取り出し、ＲＡＭ３１ｂに記憶する（ステップＳ５５）。
　ユーザは携帯端末３をテレビジョン受信機２０にかざし、テレビジョン受信機２０に表示されている情報の中で、注視した部分の画像をカメラモジュール３２ａで撮影する。携帯端末３のＣＰＵ３１ａは、カメラモジュール３２ａを制御して画像を取り込むとともに、画像を取り込む際のＡＦ機構３２ｂの動作結果から携帯端末３とテレビジョン受信機２０との距離を取得する。また、加速度センサ３３は計測結果より携帯端末３の傾きを算出する（ステップＳ５６）。携帯端末３のＣＰＵ３１ａは、取得した画像、距離、算出した傾き、セッションＩＤをコンテンツサーバ１に送信する（ステップＳ５７）。
　コンテンツサーバ１のＣＰＵ１１ａは、携帯端末３より受信したデータに含まれるセッションＩＤを用いてセッション変数を取り出す（ステップＳ５８）。コンテンツサーバ１のＣＰＵ１１ａはセッション変数を参照し、携帯端末３に対応したテレビジョン受信機２０が特定済か否かを判定する（ステップＳ５９）。テレビジョン受信機２０が特定済である場合（ステップＳ５９でＹＥＳ）、すなわち、セッション変数にテレビジョン受信機を特定するための情報が含まれている場合、コンテンツサーバ１のＣＰＵ１１ａは処理をステップＳ６３に移す。テレビジョン受信機２０が特定済でない場合（ステップＳ５９でＮＯ）、コンテンツサーバ１のＣＰＵ１１ａは、携帯端末３より画像、距離、傾きを受信し、受信した距離、傾きを基に、受信した画像の補正を行う（ステップＳ６０）。具体的には、傾いた画像を元に戻す補正と、画像の解像度を調整する補正である。この後に行うマッチングの精度を向上するためである。コンテツサーバ１は補正した画像と、テレビジョン受信機２０に配信している画像とのマッチングを行う（ステップＳ６１）。マッチングについては、公知の技術を用いれば良い。
　コンテンツサーバ１のＣＰＵ１１ａは、マッチング結果より取得した画像を表示しているテレビジョン受信機２０を特定し、セッションＩＤと特定したテレビジョン受信機２０との対応付けをＲＡＭ１１ｂに記憶する（ステップＳ６２）。
　ステップＳ６２での特定結果又はセッションＩＤとテレビジョン受信機との対応付けを利用して、コンテンツサーバ１のＣＰＵ１１ａは、携帯端末３より受信した画像、距離、傾きを基に、受信した画像のテレビジョン受信機２０に表示された画像内での位置を検出する。すなわち、受信した画像のテレビジョン受信機２０の表示面での位置を検出する。その位置により、ＣＰＵ１１ａはテレビジョン受信機２０に対する携帯端末３の位置と向き（相対的空間位置／向き）を算出する（ステップＳ６３）。ＣＰＵ１１ａは算出した位置／向きより、携帯端末３に送信すべき画像の範囲を特定する。ＣＰＵ１１ａはその範囲に対応した情報を特定する。ＣＰＵ１１ａ（読み出し部）は、コンテンツデータベース１２より特定した情報を読み出し、画像処理部１３により画像を生成させる（ステップＳ６４）。ＣＰＵ１１ａは生成した画像、セッションＩＤを携帯端末３に送信する（ステップＳ６５）。
　携帯端末３のＣＰＵ３１ａはコンテンツサーバ１より画像、セッションＩＤを受信する（ステップＳ６６）。ＣＰＵ３１ａは受信した画像を表示部３４に表示し、ユーザからの操作を待つ（ステップＳ６７）。ユーザが何らかの操作をした場合（ステップＳ６７でＹＥＳ）、ＣＰＵ３１ａは終了操作であるか判定する（ステップＳ６８）。終了操作である場合（ステップＳ６８でＹＥＳ）、ＣＰＵ３１ａは処理を終了する。終了操作でない場合（ステップＳ６８でＮＯ）、ＣＰＵ３１ａは操作内容をコンテンツサーバ１に送信し（ステップＳ６９）、処理をステップＳ５６に戻す。所定時間経過してもユーザによる操作がなかった場合（ステップＳ６７でＮＯ）、ＣＰＵ３１ａは処理をステップＳ５６に戻す。以下、ステップＳ５６以降を繰り返す。以上が情報提供システムの基本的な動作である。
　図３１に示した処理ステップＳ６７において、ユーザが所定の操作を所定時間行わなかった場合は、ステップＳ５６に戻り、再度、携帯端末３は画像を取り込み、コンテンツサーバ１に画像等を送信することとした。しかしにそれに限らず、ユーザが明示的な操作をしない限り、待ち状態としても良い。明示的な操作とは、例えば、ユーザが撮影のためのシャッタボタンを押す操作である。
　以上のように、実施の形態７において、コンテンツサーバ１とテレビジョン受信機２０、携帯端末３との通信はネットワークを介して行うこととした。それにより、コンテンツサーバ１は複数のテレビジョン受信機２０、携帯端末３へサービス提供が可能となる。コンテンツサーバ１を集中して管理可能となるので、管理が容易となる。また、コンテンツデータのメンテナンスが容易となる。
　実施の形態１と同様に実施の形態７においても、地図を用いて施設案内を行うコンテンツの配信を行うことが可能である。さらに、実施の形態２～実施の形態５に示したコンテンツの配信を行なっても良い。実施の形態１～実施の形態５と実施の形態６との違いは、コンテンツサーバ１がテレビジョン受信機（ディスプレイ）と接続されている点である。それによる違いは、基本となる処理であり、図５と図３０、３１との違いである。応用的な処理であるコンテンツ配信については、同様であるので省略する。
　各実施例で記載されている技術的特徴（構成要件）はお互いに組合せ可能であり、組み合わせすることにより、新しい技術的特徴を形成することができる。
　上述した実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上述した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
　１　コンテンツサーバ（コンピュータ）
　１１　制御部
　１１ａ　ＣＰＵ
　１１ｂ　ＲＡＭ
　１１ｃ　ＲＯＭ
　１２　コンテンツデータベース（記憶部）
　１３　画像処理部
　１４　通信部（送信部）
　２　ディスプレイ
　３　携帯端末（携帯通信機）
　３１　制御部
　３１ａ　ＣＰＵ
　３１ｂ　ＲＡＭ
　３１ｃ　ＲＯＭ
　３２　カメラ部
　３２ａ　カメラモジュール
　３２ｂ　ＡＦ機構
　３３　加速度センサ（測定部）
　３４　表示部
　３５　操作部
　３６　通信部
　Ｎ　ネットワーク
　５　放送局
　６　公衆無線ＬＡＮアクセスポイント
　７　携帯電話基地局
　２０　テレビジョン受信機
　２１ａ　ＣＰＵ
　２１ｂ　ＲＯＭ
　２１ｃ　ＲＡＭ
　２２　チューナ
　２３　映像処理部
　２４　表示部
　２５　音声処理部
　２６　音声出力部
　２７　通信部

Claims (9)

  1. 　コンピュータが、
    　階層構造を持つ情報をディスプレイに表示し、
    　前記ディスプレイに表示された前記情報の一部を撮像した画像を取得し、
    　取得した画像の前記ディスプレイに表示された画像内での位置を検出し、
    　検出結果に基づき、前記取得した画像に対応した階層構造を持つ情報を特定し、
    　特定結果に基づいて、前記取得した画像の拡大画像若しくは縮小画像、又は前記取得した画像に表示された階層とは異なる階層の情報を表示する画像を生成するための情報を選択し、
    　選択した情報を出力する
    　ことを特徴とする情報配信方法。
  2. 　コンピュータに、
    　ディスプレイに表示された階層構造を持つ情報の一部を撮像した画像の前記ディスプレイに表示された画像内での位置を検出するステップと、
    　検出結果に基づき、前記撮像した画像に対応した階層構造を持つ情報を特定するステップと、
    　特定結果に基づいて、前記撮像した画像の拡大画像若しくは縮小画像、又は前記撮像した画像に表示された階層とは異なる階層の情報を表示する画像を生成するための情報を選択するステップと
    　を実行させることを特徴とするコンピュータプログラム。
  3. 　記憶部に記憶した階層構造を持つ情報を携帯通信機に送信する情報配信装置において、
    　前記情報をディスプレイに配信する配信部と、
    　前記携帯通信機が撮像して得た、前記ディスプレイに表示された前記情報の一部に対応した画像を前記携帯通信機より受信する受信部と、
    　受信した画像に基づいて、階層構造を持つ情報を前記記憶部より読み出す読み出し部と、
    　読み出した情報を携帯通信機に送信する送信部とを備える
    　ことを特徴とする情報配信装置。
  4. 　前記読み出し部は、
    　前記受信した画像の前記ディスプレイの表示面での位置を検出する検出部と、
    　該検出部による検出結果に基づき、前記受信した画像に対応した階層構造を持つ情報を特定する特定部とを含み、
    　前記携帯通信機及び前記ディスプレイの距離を前記携帯通信機から受信する距離受信部を備え、
    　該特定部が特定した情報及び受信した距離に基づいて、前記受信した画像の拡大画像又は縮小画像に相当する画像を生成するための情報を前記記憶部より読み出す
    　ことを特徴とする請求項３に記載の情報配信装置。
  5. 　前記携帯通信機及び前記ディスプレイの距離を前記携帯通信機から受信する距離受信部を備え、
    　前記読み出し部は受信した距離に基づいて、前記記憶部より読み出す前記情報の階層及び／又は前記携帯通信機に送信する前記情報の階層を定めるようにしてある
    　ことを特徴とする請求項３に記載の情報配信装置。
  6. 　前記ディスプレイの表示面と平行な面内での前記携帯通信機の傾きを該携帯通信機より受信する傾き受信部を備え、
    　前記特定部は、受信した傾きを用いて、前記送信された画像に対応した前記階層構造を持つ情報を特定する
    　ことを特徴とする請求項４に記載の情報配信装置。
  7. 　前記配信部は、各々異なる階層構造を持つ情報を複数のディスプレイに配信するようにしてあり、
    　各ディスプレイで表示されるべき画像及び前記携帯通信機より受信した画像のマッチングを行うことにより、前記携帯通信機が画像を取得したディスプレイを特定する第２特定部を備える
    　ことを特徴とする請求項３から請求項６に記載の情報配信装置。
  8. 　コンピュータが、
    　階層構造を持つ情報をディスプレイに配信し、
    　前記ディスプレイに表示された前記情報の一部を撮像した画像を受信し、
    　受信した画像の前記ディスプレイの表示面での位置を検出し、
    　検出結果に基づいて、前記取得した画像に対応した階層構造を持つ情報を特定し、
    　特定結果に基づいて、記憶部より前記情報を読み出し、
    　読み出した情報を携帯通信機に送信する
    　ことを特徴とする情報配信方法。
  9. 　階層構造を持つ情報を表示したディスプレイを撮像し、前記情報の一部に対応する画像を取得する画像取得部と、
    　取得した画像を情報配信装置に送信する画像送信部と、
    　送信した画像に基づいて、送信された前記情報を受信する受信部と、
    　受信した前記情報を表示する表示部とを備えた
    　ことを特徴とする携帯通信機。
PCT/JP2013/066422 2012-06-15 2013-06-14 情報配信方法、コンピュータプログラム、情報配信装置及び携帯通信機 WO2013187494A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201380030618.6A CN104380271B (zh) 2012-06-15 2013-06-14 信息发布方法、信息发布装置及移动通信设备
US14/406,883 US9584854B2 (en) 2012-06-15 2013-06-14 Information distribution method, computer program, information distribution apparatus and mobile communication device

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2012136100 2012-06-15
JP2012-136100 2012-06-15
JP2013-123046 2013-06-11
JP2013123046A JP5404956B2 (ja) 2012-06-15 2013-06-11 情報配信装置、情報配信システム、情報配信方法及び携帯通信機

Publications (1)

Publication Number Publication Date
WO2013187494A1 true WO2013187494A1 (ja) 2013-12-19

Family

ID=49758312

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/066422 WO2013187494A1 (ja) 2012-06-15 2013-06-14 情報配信方法、コンピュータプログラム、情報配信装置及び携帯通信機

Country Status (4)

Country Link
US (1) US9584854B2 (ja)
JP (1) JP5404956B2 (ja)
CN (1) CN104380271B (ja)
WO (1) WO2013187494A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015097924A1 (ja) * 2013-12-27 2015-07-02 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 通信方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5404956B2 (ja) * 2012-06-15 2014-02-05 シャープ株式会社 情報配信装置、情報配信システム、情報配信方法及び携帯通信機
US10670420B2 (en) 2015-03-02 2020-06-02 Sharp Kabushiki Kaisha Information output system, control method, and control program
CN113423068B (zh) * 2016-01-22 2022-06-17 荣耀终端有限公司 通信的方法、移动终端、发布终端与通信系统
CN107592487A (zh) * 2017-09-06 2018-01-16 合肥庆响网络科技有限公司 图像处理装置
CN109246617B (zh) * 2018-09-21 2020-11-17 京东方科技集团股份有限公司 商品引导方法、商品引导装置及存储介质
US11625155B2 (en) * 2020-03-23 2023-04-11 Ricoh Company, Ltd. Information processing system, user terminal, method of processing information
US11606456B1 (en) * 2021-10-19 2023-03-14 Motorola Mobility Llc Electronic devices and corresponding methods utilizing ultra-wideband communication signals for user interface enhancement
US11907495B2 (en) * 2021-10-19 2024-02-20 Motorola Mobility Llc Electronic devices and corresponding methods utilizing ultra-wideband communication signals for user interface enhancement

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005056054A (ja) * 2003-08-01 2005-03-03 Nippon Telegr & Teleph Corp <Ntt> 携帯情報端末に対する情報提供システム、情報提供方法、情報提供プログラム、および、情報提供プログラムを記録した記録媒体
JP2008191868A (ja) * 2007-02-02 2008-08-21 Fujitsu Ltd 位置指定プログラムおよび携帯端末装置

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002025459A1 (fr) * 2000-09-20 2002-03-28 Sony Corporation Systeme et procede de distribution
US7016532B2 (en) * 2000-11-06 2006-03-21 Evryx Technologies Image capture and identification system and process
JP2003122757A (ja) 2001-10-10 2003-04-25 Sony Corp 検索案内システム、端末装置およびサーバ装置
JP2003315078A (ja) 2002-04-25 2003-11-06 Alpine Electronics Inc ナビゲーション装置
KR100474312B1 (ko) * 2002-12-12 2005-03-10 엘지전자 주식회사 디지털 카메라의 자동 주밍 방법
US20070159522A1 (en) * 2004-02-20 2007-07-12 Harmut Neven Image-based contextual advertisement method and branded barcodes
JP2006003963A (ja) 2004-06-15 2006-01-05 Hitachi Omron Terminal Solutions Corp 地域案内システム
JP4363642B2 (ja) * 2004-07-02 2009-11-11 富士フイルム株式会社 地図表示システム及びデジタルカメラ
JP4806907B2 (ja) 2004-07-22 2011-11-02 日産自動車株式会社 ナビゲーション装置、およびナビゲーション装置における地図の表示方法
US8547401B2 (en) * 2004-08-19 2013-10-01 Sony Computer Entertainment Inc. Portable augmented reality device and method
EP1640879A1 (de) * 2004-09-28 2006-03-29 Swisscom Mobile AG Verfahren und Mittel zur Suche von Aufnahmedaten in einer Datenbank
US7775437B2 (en) * 2006-06-01 2010-08-17 Evryx Technologies, Inc. Methods and devices for detecting linkable objects
JP2008160631A (ja) * 2006-12-26 2008-07-10 Funai Electric Co Ltd 携帯機器
US20080313037A1 (en) * 2007-06-15 2008-12-18 Root Steven A Interactive advisory system
US8229160B2 (en) * 2008-01-03 2012-07-24 Apple Inc. Systems and methods for identifying objects and providing information related to identified objects
JP2009230193A (ja) 2008-03-19 2009-10-08 Olympus Imaging Corp ポインティング装置としての機能を実現する撮影装置、表示装置、および情報システム
US9683853B2 (en) * 2009-01-23 2017-06-20 Fuji Xerox Co., Ltd. Image matching in support of mobile navigation
JP5434671B2 (ja) 2010-02-26 2014-03-05 富士通株式会社 画像表示装置、画像表示方法、および画像表示プログラム
US20110213664A1 (en) 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
WO2011141861A2 (en) * 2010-05-10 2011-11-17 Park Assist Llc. Method and system for managing a parking lot based on intelligent imaging
US8348147B2 (en) * 2010-12-20 2013-01-08 Cisco Technology, Inc. Method and apparatus for tracking the location of a digital media player deployed in a network
US9749673B2 (en) * 2011-06-03 2017-08-29 Amg Ip, Llc Systems and methods for providing multiple audio streams in a venue
US9591149B2 (en) * 2012-04-30 2017-03-07 Qualcomm Incorporated Generation of a combined image of a presentation surface
US20130340006A1 (en) * 2012-06-14 2013-12-19 Mobitv, Inc. Eye-tracking navigation
JP5404956B2 (ja) * 2012-06-15 2014-02-05 シャープ株式会社 情報配信装置、情報配信システム、情報配信方法及び携帯通信機

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005056054A (ja) * 2003-08-01 2005-03-03 Nippon Telegr & Teleph Corp <Ntt> 携帯情報端末に対する情報提供システム、情報提供方法、情報提供プログラム、および、情報提供プログラムを記録した記録媒体
JP2008191868A (ja) * 2007-02-02 2008-08-21 Fujitsu Ltd 位置指定プログラムおよび携帯端末装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DAIJI YAMASHITA ET AL.: "Design and Evaluation of Handheld Card for Browsing Disital Content with Mobile Phone Based on Magnifying Glass Metaphor", THE SECOND FORUM ON DATA ENGINEERING AND INFORMATION MANAGEMENT 2010-RONBUNSHU, 25 May 2010 (2010-05-25), pages A6-1 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015097924A1 (ja) * 2013-12-27 2015-07-02 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 通信方法
US9294666B2 (en) 2013-12-27 2016-03-22 Panasonic Intellectual Property Corporation Of America Communication method
US9413460B2 (en) 2013-12-27 2016-08-09 Panasonic Intellectual Property Corporation Of America Communication method
JPWO2015097924A1 (ja) * 2013-12-27 2017-03-23 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 通信方法

Also Published As

Publication number Publication date
CN104380271B (zh) 2017-09-08
CN104380271A (zh) 2015-02-25
US20150201234A1 (en) 2015-07-16
JP5404956B2 (ja) 2014-02-05
US9584854B2 (en) 2017-02-28
JP2014016986A (ja) 2014-01-30

Similar Documents

Publication Publication Date Title
JP5404956B2 (ja) 情報配信装置、情報配信システム、情報配信方法及び携帯通信機
US10791267B2 (en) Service system, information processing apparatus, and service providing method
US10462359B1 (en) Image composition instruction based on reference image perspective
US11310419B2 (en) Service system, information processing apparatus, and service providing method
EP3188132B1 (en) Display control device, display control method, and program
KR101617111B1 (ko) 무선 통신 디바이스들에 대한 핸즈-프리 증강 현실
US8264584B2 (en) Image capturing apparatus, additional information providing server, and additional information filtering system
JP4591353B2 (ja) 文字認識装置、移動通信システム、移動端末装置、固定局装置、文字認識方法および文字認識プログラム
US7088389B2 (en) System for displaying information in specific region
US20130095855A1 (en) Method, System, and Computer Program Product for Obtaining Images to Enhance Imagery Coverage
US20030095681A1 (en) Context-aware imaging device
US20090289955A1 (en) Reality overlay device
JP2014527188A (ja) 地図画像を収集及び提供するためのシステム及び方法
KR101253283B1 (ko) 고해상도 영상 재구성 방법 및 시스템
US20150015609A1 (en) Method of augmented reality communication and information
JP2004257872A (ja) 位置情報取得システム、位置情報取得装置、位置情報取得方法、及びプログラム
JP5702845B2 (ja) 情報配信システム
Speed Walking through time: use of locative media to explore historical maps
US10108882B1 (en) Method to post and access information onto a map through pictures
WO2016095176A1 (en) Interacting with a perspective view
JP2011209622A (ja) 情報提供装置、情報提供方法、及びプログラム
JP2016143269A (ja) コンテンツ検索装置、コンテンツ検索方法、コンテンツ格納装置およびコンテンツ格納方法
TW201719525A (zh) 一種沉浸式廣告傳播系統
KR101880506B1 (ko) 위치 기반 멀티미디어 포스팅 시스템
US20140316905A1 (en) System and method for three-dimensional advertising

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13804684

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14406883

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13804684

Country of ref document: EP

Kind code of ref document: A1