WO2013061940A1 - 頭部装着型表示装置、情報端末、プログラム、情報記憶媒体、画像処理システム、頭部装着型表示装置の制御方法及び情報端末の制御方法 - Google Patents

頭部装着型表示装置、情報端末、プログラム、情報記憶媒体、画像処理システム、頭部装着型表示装置の制御方法及び情報端末の制御方法 Download PDF

Info

Publication number
WO2013061940A1
WO2013061940A1 PCT/JP2012/077283 JP2012077283W WO2013061940A1 WO 2013061940 A1 WO2013061940 A1 WO 2013061940A1 JP 2012077283 W JP2012077283 W JP 2012077283W WO 2013061940 A1 WO2013061940 A1 WO 2013061940A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
head
image
display device
display
Prior art date
Application number
PCT/JP2012/077283
Other languages
English (en)
French (fr)
Inventor
藤垣　勇人
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to CN201280052059.4A priority Critical patent/CN103891269B/zh
Publication of WO2013061940A1 publication Critical patent/WO2013061940A1/ja
Priority to US14/262,031 priority patent/US9746671B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/003—Maps
    • G09B29/006—Representation of non-cartographic information on maps, e.g. population distribution, wind direction, radiation levels, air and sea routes
    • G09B29/007—Representation of non-cartographic information on maps, e.g. population distribution, wind direction, radiation levels, air and sea routes using computer methods
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/10—Map spot or coordinate position indicators; Map reading aids
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0259—Targeted advertisements based on store location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0261—Targeted advertisements based on user location

Definitions

  • the present invention relates to a head-mounted display device, an information terminal, a program, an information storage medium, an image processing system, a head-mounted display device control method, an information terminal control method, and the like.
  • a navigation service a service for providing store information, and the like can be given.
  • the current position of the user is acquired using a means such as GPS, or the search target position is input by the user and then displayed on a map displayed on the screen of the mobile electronic device. Display the location of facilities such as restaurants.
  • the conventional information providing service has a problem in that the user's viewpoint (gaze direction) frequently fluctuates during use. For example, in order to refer to the screen of such an information providing service, it is necessary to look at a portable electronic device held by a hand. For this reason, when the user tries to use it while moving (for example, when the user actually moves to the displayed facility while referring to the display screen), the user checks the safety of the road while looking at the mobile electronic device. Must point. This is very troublesome for the user.
  • HMD Head Mounted Display
  • Patent Document 1 discloses a method for controlling an image displayed on the HMD in accordance with the movement of the user's head.
  • the information providing service is performed by the HMD alone without maintaining the communication state between the information terminal and the HMD, the information providing service is performed because there is an upper limit on the amount of data that can be stored in the display buffer or the storage unit of the HMD. There is a problem that the area where the information can be stored is limited, or detailed information such as stores cannot be provided to the user.
  • the information terminal that has received the sensor data from the HMD transmits a display control signal to the HMD. That is, bidirectional communication is required between the HMD and the information terminal. Therefore, real-time performance may be impaired when the screen is scrolled in accordance with the movement of the head.
  • a head-mounted display device an information terminal, and a program capable of performing processing for specifying an image to be displayed on the head-mounted display device according to a set control mode
  • An information storage medium an image processing system, a head-mounted display device control method, an information terminal control method, and the like can be provided.
  • a process for specifying an image to be displayed on the head-mounted display device is performed according to the set control mode, and the power consumption of the entire system is suppressed.
  • One aspect of the present invention is a communication unit that communicates with an information terminal, a display buffer that stores image data received from the information terminal via the communication unit in an image storage area, and information that acquires head posture information
  • An acquisition unit a processing unit that sets a display area in the image storage area of the display buffer; and a display unit that displays an image of the set display area as a display image, and the control mode is set to the first mode.
  • the communication unit transmits the head posture information to the information terminal, and when the control mode is set to the second mode, the communication unit transmits the head posture information.
  • the processing unit relates to a head-mounted display device that sets the display area in the image storage area of the display buffer based on the head posture information.
  • processing for specifying an image to be displayed on the head-mounted display device can be performed in accordance with the set control mode.
  • the communication unit when the control mode is set to the second mode, receives display layout data and the image data from the information terminal, and the display buffer May store the image data in the image storage area set by the display layout data, and the processing unit may set the display area in the image storage area based on the head posture information. .
  • the image data can be stored in the display buffer in the display layout indicated by the display layout data received from the information terminal.
  • An image can be displayed on the display unit.
  • the display layout of the display buffer can be changed by the display layout data received from the information terminal.
  • the processing unit when the head posture represented by the head posture information is the first head posture, the processing unit adds a first display region to the image storage region.
  • the head posture is the second head posture
  • the second display area is set in the image storage area, and the display unit is set when the first display area is set.
  • the image of the first display area is displayed as the display image, and when the second display area is set, the image of the second display area may be displayed as the display image. Good.
  • the processing unit obtains a posture change amount based on the acquired head posture information, and determines that the posture change amount is equal to or greater than a predetermined threshold when the display unit displays the posture change amount.
  • the area may be moved from the first display area to the second display area.
  • the communication unit transmits the head posture information to the information terminal when the control mode is set to the second mode, and the transmitted head A plurality of image data corresponding to posture information and position information is received from the information terminal, and the display buffer stores the plurality of image data in the image storage area set by the display layout data. Good.
  • a plurality of images representing information on facilities and the like are stored in the image storage area of the display buffer of the head-mounted display device, and the head-mounted display device can be The display image can be changed in accordance with the head posture.
  • the communication unit receives the image data and a content ID associated with the image data, and the display buffer stores the image data associated with each content ID, You may memorize
  • the same type of image data can be stored in the same position in the image storage area.
  • a communication unit that communicates with the head-mounted display device, a storage unit that stores image data, a processing unit that performs control mode setting processing, and a position that detects position information
  • the storage unit includes information on a first database in which a category ID and the image data are associated, head posture information received from the head-mounted display device, and the position information And the information of the second database in which the category ID is associated with the combination, and the communication unit transmits the information of the first database to the head-mounted display device, and the processing unit
  • the control mode is set to the first mode
  • the category ID associated with the combination of the head posture information and the position information is acquired from the second database
  • the communication Parts are concerned the category ID obtained in the information terminal to be transmitted to the head-mounted display device.
  • the processing unit of the head-mounted display device specifies image data corresponding to the acquired category ID based on the first database, and the specified image data is stored in the image storage area of the display buffer. It is possible to set a display area as a display area.
  • the communication unit may include a combination of the head posture information and the position information in the second database when the control mode is set to the first mode. If not, a blank ID may be transmitted to the head-mounted display device as the category ID.
  • the storage unit stores a third database in which a plurality of pieces of image data are associated with a combination of the head posture information and the position information.
  • the control mode is set to the second mode
  • the plurality of image data associated with the combination of the head posture information and the position information is acquired from the third database, and the communication unit includes:
  • the acquired plurality of image data may be transmitted to the head-mounted display device.
  • the display buffer of the head-mounted display device can store a plurality of image data in the image storage area set by the display layout data.
  • the processing unit switches from the first mode to the second mode based on user input information received from the head-mounted display device via the communication unit, or The control mode may be switched from the second mode to the first mode.
  • the user when the user wants to refer to the detailed information such as the facility, the user changes the control mode to the second mode by the user input and wants to refer to the outline information of the surrounding facility because the user resumed the movement. It is possible to change to the first mode by user input.
  • Another aspect of the present invention relates to a program that causes a computer to function as each of the above-described units, or a computer-readable information storage medium that stores the program.
  • a head-mounted display device that acquires head posture information, sets a display area in an image storage area that stores image data, and displays an image of the set display area. And an information terminal that performs position information detection processing and control mode setting processing and communicates with the head-mounted display device, wherein the information terminal is associated with a category ID and image data.
  • Information of the first database, and information of the second database in which the category ID is associated with the combination of the head posture information and the position information, and the first database is displayed in the head-mounted display.
  • the head-mounted display device When the information terminal sets the control mode to the first mode, the head-mounted display device transmits the head posture information to the information terminal, and the information terminal Receiving The category ID associated with the combination of the head posture information and the position information is acquired from the second database, and the acquired category ID is transmitted to the head-mounted display device.
  • the wearable display device identifies the image data associated with the received category ID from the first database, and among the image storage areas, the area where the identified image data is stored, When the information terminal is set as a display area and the information terminal sets the control mode to the second mode, the head-mounted display device does not transmit the head posture information to the information terminal, and the head
  • the present invention relates to an image processing system that sets the display area in the image storage area based on posture information.
  • image data is received from an information terminal, the received image data is stored in an image storage area of a display buffer, user head posture information is acquired, and the display buffer A display area is set in the image storage area, the image of the set display area is displayed as a display image, and the head posture information is transmitted to the information terminal when the control mode is set to the first mode.
  • the control mode is set to the second mode, the head posture information is not transmitted to the information terminal, and the image storage area of the display buffer stores the head posture information based on the head posture information.
  • the present invention relates to a method for controlling a head-mounted display device that sets a display area.
  • the user's head posture information is received from the head-mounted display device, the user's position information is detected, the image data is stored, and the category ID, the image data, Is stored, and information on the second database in which the category ID is associated with the combination of the head posture information and the position information, and
  • the control mode setting process is performed, and the control mode is set to the first mode, the received head position information and the detected position information
  • FIG. 1A and FIG. 1B are system configuration diagrams of the present embodiment.
  • 2A and 2B are explanatory diagrams of the control mode.
  • FIG. 3 is a sequence diagram for explaining the flow of processing when the first mode is set.
  • 4A to 4C show display examples of icon images.
  • FIG. 5 is a sequence diagram for explaining the flow of processing when the second mode is set.
  • 6A to 6C show display layout examples.
  • FIG. 7 is a flowchart illustrating an example of moving the display area based on the posture change amount.
  • 8A to 8C are display examples of images representing detailed information.
  • FIG. 9A and FIG. 9B are examples in which images are arranged and set based on the content ID.
  • 10A to 10C are examples of databases.
  • a navigation service a service for providing store information, and the like can be given.
  • the current position of the user is acquired using a means such as GPS, or the search target position is input by the user and then displayed on a map displayed on the screen of the mobile electronic device. Display the location of facilities such as restaurants.
  • the conventional information providing service has a problem in that the user's viewpoint (gaze direction) frequently fluctuates during use. For example, in order to refer to the screen of such an information providing service, it is necessary to look at a portable electronic device held by a hand. For this reason, when the user tries to use it while moving (for example, when the user actually moves to the displayed facility while referring to the display screen), the user checks the safety of the road while looking at the mobile electronic device. Must point. This is very troublesome for the user.
  • HMD Head Mounted Display
  • Patent Document 1 discloses a method for controlling an image displayed on the HMD in accordance with the movement of the user's head.
  • the methods there is a method of providing an information providing service by a single HMD without maintaining a communication state between the information terminal and the HMD.
  • the area where the information providing service can be performed is limited, and detailed information such as stores can be provided to the user. There is a problem of not being.
  • the information terminal that has received the sensor data from the HMD transmits a display control signal to the HMD. That is, bidirectional communication is required between the HMD and the information terminal. Therefore, real-time performance may be impaired when the screen is scrolled in accordance with the movement of the head.
  • the head-mounted display device (HMD) and the information terminal according to the present embodiment perform processing for specifying an image to be displayed on the head-mounted display device according to the set control mode.
  • FIG. 1A shows a state where a user 10 uses a head-mounted display device (HMD) and an information terminal according to the present embodiment.
  • the user 10 wears the HMD 100 on the head and has the information terminal 200.
  • various sensors are worn as wearable sensors. Specifically, an acceleration sensor 551 and an orientation sensor 560 are provided in the HMD 100, and a GPS sensor 550 is provided in the information terminal 200.
  • the GPS sensor 550 is a sensor that detects the position (location) of the user. Instead of the GPS sensor 550, a location information service of a cellular phone or location information of a wireless LAN in the vicinity may be used.
  • the azimuth sensor 560 is, for example, a geomagnetic sensor, and measures the azimuth to which the sensor is directed at an angle (0 ° to 360 °).
  • the geomagnetic sensor is composed of, for example, an element whose resistance value or impedance value increases or decreases depending on the strength of the magnetic field, and detects triaxial geomagnetic information.
  • the acceleration sensor 551 is composed of an element whose resistance value is increased or decreased by an external force, for example, and detects triaxial acceleration information.
  • a sensor having the functions of a geomagnetic sensor, an acceleration sensor, and a gyro sensor may be used.
  • a sensor that calculates and outputs a deviation angle based on magnetic north from geomagnetic information and acceleration information may be used.
  • FIG. 1B shows a configuration example of a head-mounted display device (HMD) of this embodiment, an information terminal, and an image processing system including these.
  • HMD head-mounted display device
  • the head-mounted display device 100 includes a communication unit 110, a display buffer 120, a processing unit 130, a display unit 140, an information acquisition unit 150, and an operation unit 160.
  • the information terminal 200 includes a communication unit 210, a storage unit 220, a processing unit 230, and a position detection unit 240.
  • the information terminal 200 is, for example, a portable information terminal (mobile computer) such as a PDA or a notebook PC.
  • the information terminal 200 may be a device that is also used as a mobile phone, a wristwatch, or a portable audio.
  • the HMD and the image generation system according to the present embodiment are not limited to the configuration shown in FIG. 1B, and various modifications such as omitting some of these components or adding other components. Is possible. Note that some of the functions of the image generation system of the present embodiment are realized by the information terminal 200, but may be realized by an electronic device different from the information terminal 200, for example. For example, some functions of the image generation system according to the present embodiment may be realized by a server connected to the information terminal 200 or the HMD 100 by communication.
  • the communication unit 110 of the HMD and the communication unit 210 of the information terminal transmit / receive information to / from each other according to a communication standard such as WiFi or Bluetooth (registered trademark).
  • a communication standard such as WiFi or Bluetooth (registered trademark).
  • the communication unit 110 and the communication unit 210 may perform communication by wire or may perform communication by radio.
  • the HMD communication unit 110 is connected to the processing unit 130.
  • the processing unit 130 is connected to the display buffer 120, the information acquisition unit 150, and the operation unit 160.
  • the display buffer 120 is connected to the display unit 140.
  • the information acquisition unit 150 is connected to the processing unit 130.
  • the communication unit 210 of the information terminal is connected to the processing unit 230.
  • the processing unit 230 is connected to the communication unit 210, the storage unit 220, and the position detection unit 240.
  • the storage unit 220 is connected to the processing unit 230.
  • the position detection unit 240 is connected to the processing unit 230.
  • the display buffer 120 has an image storage area capable of storing an image having a resolution of at least twice (including its value) the resolution of an image that can be displayed on the display unit 140.
  • the image storage area of the display buffer 120 can be realized by a memory such as a RAM or an HDD (hard disk drive).
  • the processing unit 130 controls each unit of the HMD. Specifically, the processing unit 130 performs a display area setting process, which will be described later, or instructs the information acquisition unit to start / stop acquisition of sensor information according to user input information.
  • Display unit 140 displays the image stored in the image storage area of display buffer 120.
  • the display unit 140 is mounted in the vicinity of the user's head and is set to have a size smaller than the size of the pupil, and functions as a display unit of a so-called see-through viewer.
  • the information acquisition unit 150 acquires sensor information and notifies the processing unit 130 of the sensor information.
  • the information acquisition unit 150 may be the sensor itself or a functional unit that acquires sensor information from the sensor.
  • the operation unit 160 acquires input information from the user and notifies the processing unit 130 of it.
  • the operation unit 160 is, for example, a button or switch provided on the HMD 100. Note that the operation unit 160 may be provided in the information terminal 200.
  • the storage unit 220 stores an image to be displayed on the display unit 140 of the HMD, a database, and serves as a work area for the processing unit 230 and the like, and its function can be realized by a memory such as a RAM or an HDD.
  • the processing unit 230 controls each unit of the information terminal.
  • the processing unit 230 performs control mode setting processing.
  • the functions of the processing unit 130 and the processing unit 230 can be realized by hardware such as various processors (such as a CPU) and ASIC (such as a gate array), a program, and the like.
  • the position detection unit 240 acquires user position information and notifies the processing unit 230 of the acquired position information.
  • the position detection unit 240 may be a sensor itself such as the GPS sensor 550 or may be a functional unit that acquires sensor information from the sensor.
  • the head-mounted display device (hereinafter referred to as HMD) transmits head posture information and the like to the information terminal, and the information terminal specifies display image information based on the received head posture information. Then, the information terminal transmits the specified display image information to the HMD. That is, the HMD and the information terminal specify a display image while communicating with each other.
  • the display image information may be the display image itself, or may be information indicating a specific image as used in the present embodiment. This will be described later.
  • FIG. 2 (B) shows the processing when the control mode is set to the second mode.
  • the HMD and the information terminal communicate with each other at the start of the process, but thereafter disconnect the communication.
  • the HMD alone identifies the display image based on the head posture information.
  • FIG. 4A shows a state in which the image processing system of this embodiment is used. Further, in FIG. 4A, when the control mode is set to the first mode, an example of an icon image displayed on the HMD is shown in FIG. 4B, and an example of an image storage area of the display buffer of the HMD. As shown in FIG. 4A, an example of an icon image displayed on the HMD is shown in FIG. 4B, and an example of an image storage area of the display buffer of the HMD. As shown in FIG.
  • the head direction of the user US is the DR direction, and there is a post office ahead of the head direction DR. There are other railroad crossings, restaurants, toilets, etc. in the vicinity of the user US. In such a case, it is assumed that the user US starts using the information providing service using the HMD and the information terminal of the present embodiment.
  • the processing unit of the information terminal reads the icon image (image data or first mode icon image group) and the category ID associated with the icon image from the storage unit (S30).
  • icon image examples include the image IIM in FIG. 4B and each image stored in the image storage area IB in FIG. 4C.
  • a specific example of data in which an icon image and a category ID are associated with each other is a first database DB1 shown in FIG.
  • a unique category ID is associated with each type of facility such as a toilet, a post office, a restaurant, and a station.
  • the category ID is associated with the file name of the icon image, and the corresponding icon image can be specified by specifying the category ID. For example, when the category ID is specified as 2, the icon image indicated by the icon file (restautrant.jpg) relating to “restaurant” is specified.
  • the processing unit of the information terminal transmits these icon image and category ID (hereinafter referred to as the first database DB1) to the processing unit of the HMD via the communication unit (S31). Then, the processing unit of the HMD receives the first database DB1 and stores it (S32).
  • the information terminal of the present embodiment has transmitted all the first database by step S32, but may transmit only a part of the first database, or the HMD may store the first database in advance. May be stored.
  • the processing unit of the information terminal transmits an instruction to start the loop processing for the first mode to the processing unit of the HMD (S34), and starts the loop processing for the first mode (S36). ).
  • the processing unit of the HMD that has received the instruction to start the loop processing for the first mode issues an instruction to start acquiring head posture information (direction) to the information acquisition unit (S35).
  • Head posture information is acquired (S37).
  • the azimuth information in the head posture information is information indicating the DR direction.
  • the processing unit of the information terminal receives the head posture information from the HMD and acquires the user position information from the position detection unit provided in the information terminal (S38).
  • the position information is information representing the latitude and longitude of the current position of the user.
  • the storage unit of the information terminal stores, for example, the second database shown in FIG. 10B in advance.
  • the second database is data in which a category ID is associated with each combination of position information (latitude and longitude here) and head posture information (here azimuth and elevation angle).
  • the processing unit of the information terminal determines whether or not there is data (record) corresponding to the received head posture information and the acquired position information in the second database (S39). If it is determined that data exists, the category ID of the data is read out and notified to the processing unit of the HMD (S40).
  • the latitude of the current position of the user US is 35.7247413801
  • the longitude is 139.336746525
  • the head orientation of the user US is 124
  • the elevation angle is 127.
  • the processing unit of the HMD specifies an icon image corresponding to the received category ID using the first database. Then, in the image storage area, an area where the specified icon image is stored is set as a display area, and the icon image is displayed on the display unit (S41).
  • the processing unit of the information terminal determines that there is no data corresponding to the combination of the received head posture information and the acquired position information in the second database, the processing unit of the information terminal uses a blank ID (empty category). ID) is notified to the processing unit of the HMD (S42).
  • ID empty category
  • any symbol or number that is not associated with an icon file (icon image) in the first database may be used. For example, in the example of FIG. 10A, “255” or the like is used as the blank ID.
  • the processing unit of the HMD displays a blank image on the display unit without setting a display region in the image storage region (S43). Alternatively, no image is displayed on the display unit.
  • the processing unit of the HMD issues a loop processing end request for the first mode (or a request for transition to the second mode). It transmits to the process part of an information terminal (S45).
  • the processing unit of the information terminal that has received the loop processing end request in the first mode ends the loop processing and sets the control mode to the second mode (S46).
  • the storage unit of the information terminal stores, for example, a third database shown in FIG. 10C in advance.
  • the third database includes a plurality of image file names (details) for each combination of position information (here latitude and longitude) and head posture information (here azimuth and elevation). This is a set of data (records) associated with (information image file).
  • the processing unit of the information terminal reads, from the third database DB3, image data (detailed information image) corresponding to a combination of the user's head posture information and position information immediately before the control mode is switched to the second mode. (S50).
  • image data failed information image
  • S50 A practical example of the detailed information image will be described later.
  • the processing unit of the information terminal designates the display layout data and transmits it to the HMD together with the image data (detailed information image) (S51). Then, the processing unit of the HMD stores the received image data in the image storage area of the display layout indicated by the received display layout information. Then, the processing unit of the HMD sets a display area in the image storage area, and the display unit displays an image (S52).
  • the display layout data is data indicating the display layout as described later.
  • FIGS. 6 (A) to 6 (C) For example, an example in which a rectangular display layout of 3 rows ⁇ 3 columns is designated by display layout data will be described with reference to FIGS. 6 (A) to 6 (C).
  • 6A shows a state where the user US wearing the HMD is shaking his head
  • FIG. 6B shows an example of an image IIM displayed on the display unit
  • FIG. 6C shows a display buffer. An image storage area IB and an image stored are shown.
  • the image storage area IB of the display buffer has an area (in this example, 9 screens) that is at least twice (including its value) the image that can be displayed by the display unit.
  • the image data received from the information terminal is stored in the image storage area IB set by (FIG. 6C). Then, a part of the stored image (IIM in FIG. 6B) is displayed on the display unit.
  • the processing unit of the information terminal transmits an instruction (S53) to start the processing in the second mode and the processing unit of the HMD starts the processing in the second mode (S54), the information acquisition unit of the HMD Head posture information such as azimuth and elevation is transmitted to the processing unit (S55).
  • the processing unit of the HMD performs a screen transition determination process based on the acquired head posture information (S56).
  • the display unit scrolls and displays the image (S57).
  • the central area of the image storage area IB is set as the display area, and the image in the display area is displayed on the display unit.
  • the display area is moved in the DR1 direction in the image storage area IB when a screen transition condition described later is satisfied.
  • a screen transition condition described later is satisfied.
  • the user US moves his / her neck in the DR2 direction, the DR3 direction, and the DR4 direction, or when using another display layout.
  • the sensor information acquired by the information acquisition unit of the HMD includes an azimuth d indicating a value of 0 ° to 360 ° and an elevation angle a indicating a value of 0 ° to 255 °.
  • the initial azimuth is di
  • the initial elevation angle is ai
  • the threshold for comparing with the difference between the initial azimuth di and the current azimuth d is ⁇ d
  • the threshold for comparing with the difference between the initial elevation angle ai and the current elevation angle a is ⁇ a.
  • the processing unit of the HMD determines whether or not the current screen transition determination process is an initial process or a process at the time of an initialization interrupt described later (S1).
  • the initial azimuth di is substituted for the current azimuth d
  • the initial elevation angle ai is substituted for the current elevation angle a (S2). .
  • the display layout is a square (S3).
  • the square display layout refers to a display layout having the same number of rows and columns as shown in FIG.
  • the vertical display layout refers to a display layout of a plurality of rows and one column.
  • the horizontal display layout refers to a display layout of one row and a plurality of columns.
  • the user wants to compare the image representing the facility detailed information displayed on the display unit with the material at hand, the user wants to continue displaying the specific display image while moving the head. There is a case.
  • the display image is switched in conjunction with the user's head posture.
  • the display processing loop (S54 to S57) and the information acquisition unit at the time of setting the second mode can be paused and resumed by interruption by the operation unit (S58).
  • the display processing loop is paused in the states of FIGS. 6A to 6C
  • the center image of the image storage area IB of FIG. 6C is displayed on the display section of the HMD. Even if the user faces the DR4 direction, the image displayed on the display unit does not change (the same applies to the DR1 to DR3 directions).
  • the azimuth and elevation angle at the start are stored, and whether or not scrolling is performed by determining whether or not the difference between the azimuth and elevation after the next time exceeds a threshold value. If the display processing loop is started when the user is not standing upright and the head is not horizontal / vertical with respect to the ground, a region that cannot be scrolled by the movement of the head is created. There is a problem of end.
  • an interruption is made to the display processing loop from the operation unit of the HMD, and the azimuth and elevation angle at the time of occurrence of the interruption are used as initial values (S59).
  • the HMD processing unit continues the display processing loop at the time of setting the second mode until the user inputs the end request of the second mode (request for transition to the first mode) via the operation unit.
  • the processing unit of the HMD ends the display processing loop (S61).
  • the information terminal is notified to change the control mode to the first mode (S62).
  • the detailed information image is an image representing information on individual facilities. Specifically, as the detailed information image regarding the restaurant, there are an external photograph image, an image representing access information, a map image, an image representing review information, and the like, which are stored in a third database as shown in FIG. And stored in the image storage area IB of the display buffer of the HMD as shown in FIG.
  • the user US in FIG. 8A is facing the front, and the detailed information image DIM2 (image representing access information) stored in the image storage area IB in FIG. 8C is the display image IIM.
  • the display image IIM To do.
  • the user US changes the head posture from the state of facing the front to the direction of the downward direction (DR1 direction)
  • it is set in the image storage area of FIG.
  • the display area to be moved is also moved, the area where the detailed information image DIM3 (map image) is stored is set as the display area, and the map image DIM3 can be displayed.
  • an appearance photograph image of a facility or the like is stored in the first row of the image storage area of the display buffer, an image representing access information is stored in the second row, and a map image is reviewed in the third row.
  • An image representing information is stored.
  • the images IM1 and IM6 are in the first image storage area AR1
  • the images IM4 and IM8 are in the first image storage area AR2
  • the images IM3 and IM5 are in the first image storage area AR2.
  • the images IM2 and IM7 can be stored in the first image storage area AR4.
  • the head-mounted display device 100 of this embodiment described above includes a communication unit 110 that communicates with the information terminal 200, and the information terminal 200 via the communication unit 110.
  • a display buffer 120 that stores image data received from the image storage area
  • an information acquisition unit 150 that acquires head posture information
  • a processing unit 130 that sets the display area in the image storage area of the display buffer 120.
  • a display unit 140 that displays an image of the display area as a display image.
  • the display area refers to an area specified as an area for storing an image to be displayed on the display unit 140 in the image storage area.
  • the display area is specified by the address of the image storage area.
  • the head posture information is information representing the user's head posture.
  • the head posture information is a value such as an elevation angle or a direction acquired by a sensor provided on the user's head.
  • control mode refers to a mode for determining a series of processing contents performed by the head-mounted display device and the information terminal.
  • the control mode in the present embodiment includes the first mode and the second mode. There is a mode.
  • the control mode may include a mode other than the first mode and the second mode.
  • the first mode (synchronous mode) of the control modes refers to a mode in which a display area is set in the image storage area while the head-mounted display device and the information terminal communicate with each other. For example, an example is shown in FIG.
  • the head-mounted display device and the information terminal communicate with each other at the start of processing.
  • This is a mode for setting a display area in the image storage area based on the above. For example, an example is shown in FIG.
  • processing for specifying an image to be displayed on the head-mounted display device can be performed in accordance with the set control mode.
  • the communication unit 110 may receive display layout data and image data from the information terminal 200 when the control mode is set to the second mode. Then, the display buffer 120 may store the image data in the image storage area set by the display layout data, and the processing unit 130 may set the display area in the image storage area based on the head posture information.
  • the display layout data refers to data indicating the display layout.
  • the display layout is information indicating the positional relationship of each image when the image stored in the image storage area of the display buffer is displayed on the display unit 140. Further, the display layout may be order information of each area partitioned by the same resolution as the HMD display unit 140 in the image storage area.
  • the display layout includes a 3 ⁇ 3 square (shown as a rectangle depending on the size of the image) shown in FIG. 6C, a horizontally long rectangle of 1 ⁇ 9 columns, and a 9 ⁇ 1 column. There are vertical rectangles. However, it is not limited to these.
  • the image data can be stored in the display buffer 120 in the display layout indicated by the display layout data received from the information terminal 200, and the head mounted display An image can be displayed on the display unit 140 of the apparatus 100.
  • the display layout of the display buffer 120 can be changed by the display layout data received from the information terminal 200.
  • the head-mounted display device 100 can set the display area in the image storage area of the display buffer 120 according to the user's head posture information.
  • the head-mounted display is compared with a method in which the head terminal information is once transmitted to the information terminal 200 and the information terminal 200 identifies an image to be displayed on the display unit 140 based on the notified head posture information. Communication opportunities between the device 100 and the information terminal 200 can be reduced, and the response speed can be improved. That is, since display control is performed inside the head-mounted display device 100 without communicating with the information terminal 200, the real-time property of scrolling is improved.
  • the processing unit 130 sets the first display area in the image storage area and the head posture is the second head posture.
  • the second display area may be set in the image storage area.
  • the display unit 140 displays the image of the first display area as a display image when the first display area is set, and the second display area when the second display area is set. You may display the image of a display area as a display image.
  • the first display area and the second display area are areas different from each other in the image storage area.
  • the first display area and the second display area are desirably adjacent to each other on the display layout, but the present invention is not limited to this.
  • the area for storing the image DIM2 is the first display area
  • the area for storing the image DIM1 is the second display area.
  • the first head posture is a head posture different from the second head posture.
  • the state where the user US is facing the front is the first head posture
  • the state where the user US is facing the downward direction (DR1 direction) is the second head posture. is there.
  • the processing unit 130 obtains a posture change amount based on the acquired head posture information, and when determining that the posture change amount is equal to or greater than a predetermined threshold, the processing unit 130 changes the display region from the first display region to the second display region. It may be moved to the display area.
  • the posture change amount is a difference between the reference head posture and the current head posture.
  • the reference head posture may be an initial posture.
  • the communication unit 110 transmits the head posture information to the information terminal 200, and a plurality of pieces corresponding to the transmitted head posture information and position information.
  • Image data may be received from the information terminal 200.
  • the display buffer 120 may store a plurality of image data in the image storage area set by the display layout data.
  • the position information refers to information indicating the position of the user, for example, information such as the latitude and longitude of the current position of the user.
  • the head-mounted display device stores a plurality of images representing information on facilities and the like in the image storage area of the display buffer 120 of the head-mounted display device, and does not communicate with the information terminal.
  • the display image can be changed according to the user's head posture.
  • the communication unit 110 may receive image data and a content ID associated with the image data.
  • the display buffer 120 may store the image data associated with each content ID in each area of the image storage area corresponding to the content ID.
  • the content ID is a number or a symbol used to determine the type of information represented by the image. Specific examples are shown in FIGS. 9A and 9B.
  • the same type of image data can be stored in the same position in the image storage area. Therefore, for example, even when the facilities to be displayed of the plurality of image data received from the information terminal are different, it is easy to understand in which direction the head should be swung to display the detailed information image to be referred to. It becomes possible.
  • the information terminal 200 includes a communication unit 210 that communicates with the head-mounted display device 100, a storage unit 220 that stores image data, and a process that performs control mode setting processing. Part 230 and a position detector 240 for detecting position information.
  • the storage unit 220 associates the category ID with the combination of the information in the first database in which the category ID and the image data are associated, the head posture information received from the head-mounted display device 100, and the position information. And information of the second database. Then, the communication unit 210 transmits the information in the first database to the head-mounted display device 100.
  • the processing unit 230 acquires a category ID associated with a combination of head posture information and position information from the second database. Thereafter, the communication unit 210 transmits the acquired category ID to the head-mounted display device 100.
  • the processing unit of the head-mounted display device specifies image data corresponding to the acquired category ID based on the first database, and the specified image data is stored in the image storage area of the display buffer 120. It is possible to set the area to be displayed as the display area.
  • the category ID refers to a unique number or symbol assigned to each type of facility such as a toilet, post office, restaurant, or station. For example, there is the one shown in FIG.
  • the first database refers to a set (database) of data (records) in which category IDs and image data information are associated.
  • the image data information associated with the category ID may be the image data itself, as long as it is information that can specify the image data such as the file name of the image data. For example, it is DB1 shown in FIG.
  • the second database is a set (database) of data (records) in which category IDs are associated with each combination of position information and head posture information.
  • DB2 shown in FIG.
  • the head-mounted display device since the head-mounted display device only needs to store the first database described above, the storage capacity of the head-mounted display device does not matter. In addition, once the head-mounted display device receives the first database, it is only necessary to transmit / receive head posture information and category ID between the head-mounted display device and the information terminal. Costs can be suppressed and the required real-time property can be easily satisfied.
  • the communication unit 210 sets the blank ID as the category ID. It may be transmitted to the wearable display device 100.
  • the blank ID refers to a category ID used when there is no data corresponding to a combination of predetermined head posture information and predetermined position information in the second database.
  • the blank ID may be any symbol or number that is not associated with an icon file (icon image) in the first database. For example, in the example of FIG. 10A, “255” or the like is used as the blank ID.
  • the storage unit 220 may store a third database in which a plurality of image data is associated with a combination of head posture information and position information. Then, when the control mode is set to the second mode, the processing unit 230 may acquire a plurality of image data associated with the combination of the head posture information and the position information from the third database. . Further, the communication unit 210 may transmit the acquired plurality of image data to the head-mounted display device 100.
  • the third database is a set (database) of data (records) in which a plurality of pieces of image data information are associated with each combination of position information and head posture information.
  • the plurality of pieces of image data information associated with the category ID may be the image data itself, and may be any information that can specify image data such as a file name of the image data. For example, it is DB3 shown in FIG. Further, common items may be combined with the second database described above to form one database.
  • the display buffer of the head-mounted display device can store a plurality of image data in the image storage area set by the display layout data.
  • the head-mounted display device can change the display image according to the user's head posture without performing communication with the information terminal.
  • the processing unit 230 changes from the first mode to the second mode, or from the second mode to the first mode, based on the user input information received from the head-mounted display device 100 via the communication unit 210.
  • the control mode may be switched.
  • the user input information refers to information input by the user via the operation unit 160.
  • the user when the user wants to refer to the detailed information such as the facility, the user changes the control mode to the second mode by the user input and wants to refer to the outline information of the surrounding facility because the user resumed the movement. It is possible to change to the first mode by user input.
  • the information terminal and the like of the present embodiment may be realized by a program.
  • a processor such as a CPU executes the program, thereby realizing the state estimation device and the like according to the present embodiment.
  • a program stored in the information storage medium is read, and a processor such as a CPU executes the read program.
  • the information storage medium (computer-readable medium) stores programs, data, and the like, and functions as an optical disk (DVD, CD, etc.), HDD (hard disk drive), or memory (card type). It can be realized by memory, ROM, etc.
  • a processor such as a CPU performs various processes according to the present embodiment based on a program (data) stored in the information storage medium.
  • the information storage medium includes a program for causing a computer (an apparatus including an operation unit, a processing unit, a storage unit, and an output unit) to function as each unit of the present embodiment (a program for causing the computer to execute processing of each unit). Is memorized.
  • 100 head-mounted display device 110 communication unit, 120 display buffer, 130 processing unit, 140 display unit, 150 information acquisition unit, 160 operation unit, 200 information terminal, 210 communication unit, 220 storage unit, 230 processing unit, 240 position detector, 550 GPS sensor, 551 acceleration sensor, 560 Direction sensor

Abstract

　頭部装着型表示装置１００は、情報端末２００と通信を行う通信部１１０と、通信部１１０を介して情報端末２００から受信した画像データを画像記憶領域に記憶する表示バッファ１２０と、頭部姿勢情報を取得する情報取得部１５０と、表示バッファ１２０の画像記憶領域に表示領域を設定する処理部１３０と、設定された表示領域の画像を表示画像として表示する表示部１４０と、を含む。制御モードが第１モードに設定された場合には、通信部１１０は、頭部姿勢情報を情報端末２００に送信する。制御モードが第２モードに設定された場合には、通信部１１０は、処理部１３０は、頭部姿勢情報に基づいて、表示バッファ１２０の画像記憶領域に表示領域を設定する。

Description

頭部装着型表示装置、情報端末、プログラム、情報記憶媒体、画像処理システム、頭部装着型表示装置の制御方法及び情報端末の制御方法
　本発明は、頭部装着型表示装置、情報端末、プログラム、情報記憶媒体、画像処理システム、頭部装着型表示装置の制御方法及び情報端末の制御方法等に関係する。
　近年、携帯電話やＰＤＡ（Personal Digital Assistant）等の携帯電子機器を用いて、タウン情報・マップ情報を提供するサービスが展開されている。具体的には、ナビゲーションサービスや店舗情報の提供サービス等が挙げられる。例えば、店舗情報提供サービスにおいては、ユーザの現在位置をＧＰＳ等の手段を用いて取得したり、ユーザに検索対象位置を入力させた上で、携帯電子機器の画面に表示された地図上に、レストラン等の施設の位置を表示したりする。
　しかし、地図を読むのが苦手なユーザもおり、地図上に施設位置を表示するだけの情報提供サービスは、場合によってはわかりにくいという問題があった。
　さらに、従来の情報提供サービスには、利用時にユーザの視点（視線方向）が頻繁に上下してしまうという問題点がある。例えば、このような情報提供サービスの画面を参照するためには、手で把持している携帯電子機器に目を落とす必要がある。そのため、移動中に利用しようとした場合（例えば表示画面を参照しつつ、表示された施設へ実際に移動するような場合）、ユーザは道路の安全確認等を行いつつ、携帯電子機器に視線を向けなければならない。これは、ユーザにとって非常に煩わしい。
　本来、ユーザの利便性を考えると、情報提供サービスの利用中も視線方向が変わらないことが望ましく、歩行中（ここでは歩行者向けサービスを想定している）であれば、進行方向に視線を向けていることが好ましい。ここで、ユーザの視点を変えずに情報を提供する手法として、ユーザの頭部に装着して用いる画像表示装置であるＨＭＤ（Head Mounted Display）を用いて、ユーザの視界内に表示画面を重畳する手法がある。特許文献１では、ユーザの頭部の動きに応じて、ＨＭＤにおいて表示される画像を制御する手法が開示されている。
特開平１０－３４１３８７号公報
　情報端末とＨＭＤ間で通信状態を維持せずにＨＭＤ単体で、情報提供サービスを行う場合には、ＨＭＤの表示バッファや記憶部に記憶できるデータ量に上限があるため、情報提供サービスを行うことができる地域が限られたり、店舗等の詳細な情報をユーザに提供できなかったりするという課題がある。
　一方で、情報端末とＨＭＤ間で通信状態を維持しつつ、情報端末とＨＭＤの両方を用いて情報提供サービスを行う場合には、以下のような課題がある。
　第１に、ＨＭＤと情報端末間で、センサデータを無線で常に送受信する必要があるため、消費電力が高くなる。
　第２に、前述した情報提供サービスを実現するシステムでは、ＨＭＤからセンサデータを受信した情報端末が、表示制御の信号をＨＭＤへ送信する。すなわち、ＨＭＤと情報端末間で双方向の通信が必要となる。そのため、頭の動きに合わせて画面をスクロールするような場合にリアルタイム性が損なわれる場合がある。
　本発明の幾つかの態様によれば、頭部装着型表示装置に表示する画像を特定するための処理を、設定された制御モードに従って行うことができる頭部装着型表示装置、情報端末、プログラム、情報記憶媒体、画像処理システム、頭部装着型表示装置の制御方法及び情報端末の制御方法等を提供することができる。
　また、本発明の幾つかの態様によれば、頭部装着型表示装置に表示する画像を特定するための処理を、設定された制御モードに従って行い、システム全体の消費電力を抑制し、要求されるリアルタイム性を満たすことができる頭部装着型表示装置、情報端末、プログラム、情報記憶媒体、画像処理システム、頭部装着型表示装置の制御方法及び情報端末の制御方法等を提供することができる。
　本発明の一態様は、情報端末と通信を行う通信部と、前記通信部を介して前記情報端末から受信した画像データを画像記憶領域に記憶する表示バッファと、頭部姿勢情報を取得する情報取得部と、前記表示バッファの前記画像記憶領域に表示領域を設定する処理部と、設定された前記表示領域の画像を表示画像として表示する表示部と、を含み、制御モードが第１モードに設定された場合には、前記通信部は、前記頭部姿勢情報を前記情報端末に送信し、前記制御モードが第２モードに設定された場合には、前記通信部は、前記頭部姿勢情報を前記情報端末に送信せず、前記処理部は、前記頭部姿勢情報に基づいて、前記表示バッファの前記画像記憶領域に前記表示領域を設定する頭部装着型表示装置に関係する。
　これにより、頭部装着型表示装置に表示する画像を特定するための処理を、設定された制御モードに従って行うことができる。
　また、本発明の一態様では、前記通信部は、前記制御モードが前記第２モードに設定されている場合には、前記情報端末から表示レイアウトデータと前記画像データとを受信し、前記表示バッファは、前記表示レイアウトデータにより設定された前記画像記憶領域に前記画像データを記憶し、前記処理部は、前記頭部姿勢情報に基づいて、前記画像記憶領域に前記表示領域を設定してもよい。
　これにより、制御モードが第２モードに設定されている場合に、情報端末から受信した表示レイアウトデータが示す表示レイアウトで、画像データを表示バッファに記憶することができ、頭部装着型表示装置の表示部に画像を表示すること等が可能となる。
　また、情報端末から受信する表示レイアウトデータによって、表示バッファの表示レイアウトを変更すること等が可能となる。
　また、本発明の一態様では、前記処理部は、前記頭部姿勢情報により表される頭部姿勢が第１の頭部姿勢である場合には、前記画像記憶領域に第１の表示領域を設定し、前記頭部姿勢が第２の頭部姿勢である場合には、前記画像記憶領域に第２の表示領域を設定し、前記表示部は、前記第１の表示領域が設定された場合には、前記第１の表示領域の画像を前記表示画像として表示し、前記第２の表示領域が設定された場合には、前記第２の表示領域の画像を前記表示画像として表示してもよい。
　これにより、頭部姿勢情報に応じて、画像記憶領域上の異なる領域に表示領域を設定すること等が可能になる。すなわち、ユーザの頭部の上下左右の動きに応じて、画像記憶領域上で表示領域をスクロールさせること等が可能となる。
　また、本発明の一態様では、前記処理部は、取得された前記頭部姿勢情報に基づいて姿勢変化量を求め、前記姿勢変化量が所定の閾値以上であると判断する場合に、前記表示領域を前記第１の表示領域から前記第２の表示領域に移動させてもよい。
　これにより、姿勢変化量と所定の閾値を比較することによって、表示領域を移動させるか否かを判定すること等が可能となる。
　また、本発明の一態様では、前記通信部は、前記制御モードが前記第２モードに設定されている場合には、前記頭部姿勢情報を前記情報端末に送信し、送信された前記頭部姿勢情報と位置情報とに対応する複数の画像データを、前記情報端末から受信し、前記表示バッファは、前記表示レイアウトデータにより設定された前記画像記憶領域に前記複数の画像データを記憶してもよい。
　これにより、例えば、施設等に関する情報を表す複数の画像を、頭部装着型表示装置の表示バッファの画像記憶領域に記憶し、情報端末と通信を行わずに、頭部装着型表示装置がユーザの頭部姿勢に応じて、表示画像を変えること等が可能になる。
　また、本発明の一態様では、前記通信部は、前記画像データと前記画像データに関連付けられたコンテンツＩＤとを受信し、前記表示バッファは、前記各コンテンツＩＤに関連付けられた前記画像データを、前記コンテンツＩＤに対応する前記画像記憶領域の各領域に記憶してもよい。
　これにより、同じ種類の内容を表す画像に同一のコンテンツＩＤを割り当てておけば、同じ種類の画像データを画像記憶領域の同じ位置に記憶すること等が可能になる。
　また、本発明の他の態様では、頭部装着型表示装置と通信を行う通信部と、画像データを記憶する記憶部と、制御モードの設定処理を行う処理部と、位置情報を検出する位置検出部と、を含み、前記記憶部は、カテゴリＩＤと前記画像データとが関連付けられた第１のデータベースの情報と、前記頭部装着型表示装置から受信した頭部姿勢情報と、前記位置情報との組み合わせに前記カテゴリＩＤが関連付けられた第２のデータベースの情報と、を記憶し、前記通信部は、前記第１のデータベースの情報を前記頭部装着型表示装置に送信し、前記処理部は、前記制御モードを第１モードに設定した場合には、前記頭部姿勢情報と前記位置情報との組み合わせに関連付けられた前記カテゴリＩＤを前記第２のデータベースから取得し、前記通信部は、取得した前記カテゴリＩＤを前記頭部装着型表示装置に送信する情報端末に関係する。
　これにより、頭部装着型表示装置の処理部は、取得されたカテゴリＩＤに対応する画像データを第１のデータベースに基づいて特定し、表示バッファの画像記憶領域において、特定した画像データが記憶される領域を表示領域に設定すること等が可能になる。
　また、本発明の他の態様では、前記通信部は、前記制御モードが前記第１モードに設定された際に、前記頭部姿勢情報と前記位置情報との組み合わせが前記第２のデータベースに存在しない場合には、前記カテゴリＩＤとしてブランクＩＤを前記頭部装着型表示装置に送信してもよい。
　これにより、頭部装着型表示装置の処理部は、ブランクＩＤを取得した場合には、画像記憶領域に表示領域を設定しないこと等が可能になる。
　また、本発明の他の態様では、前記記憶部は、前記頭部姿勢情報と前記位置情報との組み合わせに複数の画像データが関連付けられた第３のデータベースを記憶し、前記処理部は、前記制御モードを第２モードに設定した場合には、前記頭部姿勢情報と前記位置情報との組み合わせに関連付けられた前記複数の画像データを、前記第３のデータベースから取得し、前記通信部は、取得した前記複数の画像データを前記頭部装着型表示装置に送信してもよい。
　これにより、頭部装着型表示装置の表示バッファは、表示レイアウトデータにより設定された画像記憶領域に複数の画像データを記憶すること等が可能になる。
　また、本発明の他の態様では、前記処理部は、前記頭部装着型表示装置から前記通信部を介して受信されたユーザ入力情報に基づいて、前記第１モードから第２モードに、又は前記第２モードから前記第１モードに、前記制御モードを切り替えてもよい。
　これにより、例えば、ユーザが施設等の詳細情報を参照したいと考える場合に、ユーザ入力により制御モードを第２モードに変更し、ユーザが移動を再開したため周辺施設の概要情報を参照したいと考える場合にユーザ入力により第１モードに変更すること等が可能になる。
　また、本発明の他の態様では、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。
　また、本発明の他の態様では、頭部姿勢情報を取得し、画像データを記憶する画像記憶領域に表示領域を設定し、設定された前記表示領域の画像を表示する頭部装着型表示装置と、位置情報の検出処理と制御モードの設定処理を行い、前記頭部装着型表示装置と通信を行う情報端末と、を含み、前記情報端末は、カテゴリＩＤと画像データとが関連付けられた第１のデータベースの情報と、前記頭部姿勢情報と前記位置情報との組み合わせに前記カテゴリＩＤが関連付けられた第２のデータベースの情報とを記憶し、前記第１のデータベースを前記頭部装着型表示装置に送信し、前記情報端末が前記制御モードを第１モードに設定した場合には、前記頭部装着型表示装置は、前記頭部姿勢情報を前記情報端末に送信し、前記情報端末は、受信した前記頭部姿勢情報と前記位置情報との組み合わせに関連付けられた前記カテゴリＩＤを前記第２のデータベースから取得し、取得した前記カテゴリＩＤを前記頭部装着型表示装置に送信し、前記頭部装着型表示装置は、受信した前記カテゴリＩＤに関連付けられた前記画像データを、前記第１のデータベースから特定し、前記画像記憶領域のうち、特定した前記画像データが記憶されている領域を、前記表示領域として設定し、前記情報端末が前記制御モードを第２モードに設定した場合には、前記頭部装着型表示装置は、前記頭部姿勢情報を前記情報端末に送信せず、前記頭部姿勢情報に基づいて、前記画像記憶領域に前記表示領域を設定する画像処理システムに関係する。
　また、本発明の他の態様では、情報端末から画像データを受信し、受信した前記画像データを表示バッファの画像記憶領域に記憶し、ユーザの頭部姿勢情報を取得し、前記表示バッファの前記画像記憶領域に表示領域を設定し、設定された前記表示領域の画像を表示画像として表示し、制御モードが第１モードに設定された場合には、前記頭部姿勢情報を前記情報端末に送信し、前記制御モードが第２モードに設定された場合には、前記頭部姿勢情報を前記情報端末に送信せず、前記頭部姿勢情報に基づいて、前記表示バッファの前記画像記憶領域に前記表示領域を設定する頭部装着型表示装置の制御方法に関係する。
　また、本発明の他の態様では、頭部装着型表示装置からユーザの頭部姿勢情報を受信し、前記ユーザの位置情報を検出し、画像データを記憶するとともに、カテゴリＩＤと前記画像データとが関連付けられた第１のデータベースの情報と、前記頭部姿勢情報と前記位置情報との組み合わせに前記カテゴリＩＤが関連付けられた第２のデータベースの情報と、を記憶し、前記第１のデータベースの情報を前記頭部装着型表示装置に送信し、制御モードの設定処理を行い、前記制御モードを第１モードに設定した場合には、受信した前記頭部姿勢情報と検出した前記位置情報との組み合わせに関連付けられた前記カテゴリＩＤを前記第２のデータベースから取得し、取得した前記カテゴリＩＤを前記頭部装着型表示装置に送信する情報端末の制御方法に関係する。
図１（Ａ）、図１（Ｂ）は、本実施形態のシステム構成図。 図２（Ａ）、図２（Ｂ）は、制御モードの説明図。 図３は、第１モード設定時の処理の流れを説明するシーケンス図。 図４（Ａ）～図４（Ｃ）は、アイコン画像の表示例。 図５は、第２モード設定時の処理の流れを説明するシーケンス図。 図６（Ａ）～図６（Ｃ）は、表示レイアウト例。 図７は、姿勢変化量に基づき表示領域を移動させる一例を説明するフローチャート。 図８（Ａ）～図８（Ｃ）は、詳細情報を表す画像の表示例。 図９（Ａ）、図９（Ｂ）は、コンテンツＩＤに基づいて画像を配置設定する例。 図１０（Ａ）～図１０（Ｃ）は、データベースの一例。
　以下、本実施形態について説明する。まず、本実施形態の概要を説明し、次に本実施形態のシステム構成例について説明する。そして、本実施形態の処理の詳細についてシーケンス図と具体例を用いて詳細に説明し、最後に、本実施形態の手法について説明する。なお、以下に説明する本実施形態は、請求の範囲に記載された本発明の内容を不当に限定するものではない。また、本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
　１．概要
　近年、携帯電話やＰＤＡ（Personal Digital Assistant）等の携帯電子機器を用いて、タウン情報・マップ情報を提供するサービスが展開されている。具体的には、ナビゲーションサービスや店舗情報の提供サービス等が挙げられる。例えば、店舗情報提供サービスにおいては、ユーザの現在位置をＧＰＳ等の手段を用いて取得したり、ユーザに検索対象位置を入力させた上で、携帯電子機器の画面に表示された地図上に、レストラン等の施設の位置を表示したりする。
　しかし、地図を読むのが苦手なユーザもおり、地図上に施設位置を表示するだけの情報提供サービスは、場合によってはわかりにくいという問題があった。
　さらに、従来の情報提供サービスには、利用時にユーザの視点（視線方向）が頻繁に上下してしまうという問題点がある。例えば、このような情報提供サービスの画面を参照するためには、手で把持している携帯電子機器に目を落とす必要がある。そのため、移動中に利用しようとした場合（例えば表示画面を参照しつつ、表示された施設へ実際に移動するような場合）、ユーザは道路の安全確認等を行いつつ、携帯電子機器に視線を向けなければならない。これは、ユーザにとって非常に煩わしい。
　本来、ユーザの利便性を考えると、情報提供サービスの利用中も視線方向が変わらないことが望ましく、歩行中（ここでは歩行者向けサービスを想定している）であれば、進行方向に視線を向けていることが好ましい。ここで、ユーザの視点を変えずに情報を提供する手法として、ユーザの頭部に装着して用いる画像表示装置であるＨＭＤ（Head Mounted Display）を用いて、ユーザの視界内に表示画面を重畳する手法がある。特許文献１では、ユーザの頭部の動きに応じて、ＨＭＤにおいて表示される画像を制御する手法が開示されている。
　その一手法として、情報端末とＨＭＤ間で通信状態を維持せずにＨＭＤ単体で、情報提供サービスを行う手法がある。しかし、この場合には、ＨＭＤの表示バッファや記憶部に記憶できるデータ量に上限があるため、情報提供サービスを行うことができる地域が限られたり、店舗等の詳細な情報をユーザに提供できなかったりするという課題がある。
　一方で、情報端末とＨＭＤ間で通信状態を維持しつつ、情報端末とＨＭＤの両方を用いて情報提供サービスを行う場合には、以下のような課題がある。
　第１に、ＨＭＤと情報端末間で、センサデータを無線で常に送受信する必要があるため、消費電力が高くなる。
　第２に、前述した情報提供サービスを実現するシステムでは、ＨＭＤからセンサデータを受信した情報端末が、表示制御の信号をＨＭＤへ送信する。すなわち、ＨＭＤと情報端末間で双方向の通信が必要となる。そのため、頭の動きに合わせて画面をスクロールするような場合にリアルタイム性が損なわれる場合がある。
　そこで、本実施形態の頭部装着型表示装置（ＨＭＤ）及び情報端末等は、頭部装着型表示装置に表示する画像を特定するための処理を、設定された制御モードに従って行う。
　２．システム構成例
　まず図１（Ａ）に、ユーザ１０が本実施形態の頭部装着型表示装置（ＨＭＤ）と情報端末を利用している様子を示す。図１（Ａ）においてユーザ１０は、ＨＭＤ１００を頭部に装着しており、情報端末２００を所持している。さらにウェアラブルセンサとして種々のセンサを身につけている。具体的には、加速度センサ５５１や方位センサ５６０がＨＭＤ１００に設けられ、ＧＰＳセンサ５５０が情報端末２００に設けられる。
　ＧＰＳセンサ５５０は、ユーザの位置（場所）を検知するセンサである。なお、ＧＰＳセンサ５５０の代わりに携帯電話の位置情報サービスや周辺にある無線ＬＡＮの位置情報を利用してもよい。
　方位センサ５６０は、例えば地磁気センサ等であり、センサの向いている方位を角度（０°～３６０°）で計測する。地磁気センサは、例えば磁場の強さによって抵抗値やインピーダンス値が増減する素子等で構成され、三軸の地磁気情報を検知する。
　加速度センサ５５１は、例えば外力によって抵抗値が増減する素子等で構成され、三軸の加速度情報を検知する。
　また、地磁気センサや加速度センサ、ジャイロセンサの機能を併せ持つセンサを用いてもよい。さらに、地磁気情報や加速度情報から、磁北を基準とした偏角を算出し、出力するセンサを用いてもよい。
　次に、図１（Ｂ）に本実施形態の頭部装着型表示装置（ＨＭＤ）、情報端末及びこれらを含む画像処理システムの構成例を示す。
　頭部装着型表示装置１００は、通信部１１０と、表示バッファ１２０と、処理部１３０と、表示部１４０と、情報取得部１５０と、操作部１６０と、を含む。
　また、情報端末２００は、通信部２１０と、記憶部２２０と、処理部２３０と、位置検出部２４０と、を含む。情報端末２００は、例えば、ＰＤＡ、ノート型ＰＣなどの携帯情報端末（モバイルコンピュータ）である。なお、情報端末２００は、携帯電話、腕時計、或いはポータブルオーディオなどとして兼用される機器であってもよい。
　本実施形態のＨＭＤ及び画像生成システムは、図１（Ｂ）の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加したりするなどの種々の変形実施が可能である。なお、本実施形態の画像生成システムの一部の機能は、情報端末２００により実現されるが、例えば情報端末２００とは異なる電子機器により実現してもよい。例えば、本実施形態の画像生成システムの一部の機能は、情報端末２００もしくはＨＭＤ１００と通信により接続されたサーバにより実現されてもよい。
　次に各部の接続について説明する。ＨＭＤの通信部１１０と情報端末の通信部２１０は、例えば、ＷｉｆｉやＢｌｕｅｔｏｏｔｈ（登録商標）などの通信規格で互いに情報を送受信する。なお、通信部１１０及び通信部２１０は、有線により通信を行うものであってもよく、無線により通信を行うものであってもよい。
　そして、ＨＭＤの通信部１１０は、処理部１３０に接続されている。処理部１３０は、表示バッファ１２０と、情報取得部１５０と、操作部１６０と、に接続されている。表示バッファ１２０は、表示部１４０に接続されている。情報取得部１５０は、処理部１３０に接続されている。
　さらに、情報端末の通信部２１０は、処理部２３０に接続されている。処理部２３０は、通信部２１０と、記憶部２２０と、位置検出部２４０と、に接続されている。記憶部２２０は、処理部２３０に接続されている。位置検出部２４０は、処理部２３０に接続されている。
　次に各部で行われる処理について説明する。
　表示バッファ１２０は、表示部１４０に表示できる画像の解像度の２倍以上（その値を含む）の解像度を持つ画像を記憶できる画像記憶領域を持つ。表示バッファ１２０の画像記憶領域は、ＲＡＭ等のメモリやＨＤＤ（ハードディスクドライブ）などにより実現できる。
　処理部１３０は、ＨＭＤの各部を制御する。具体的には、処理部１３０は、後述する表示領域の設定処理を行ったり、ユーザ入力情報に応じて情報取得部にセンサ情報の取得の開始・停止を指示したりする。
　表示部１４０は、表示バッファ１２０の画像記憶領域に記憶された画像を表示する。表示部１４０は、例えば、ユーザの頭部の近傍に装着されると共に、大きさが瞳孔の大きさよりも小さくなるように設定され、いわゆるシースルービューアの表示部として機能する。
　情報取得部１５０は、センサ情報を取得して処理部１３０に通知する。情報取得部１５０は、センサ自体であってもよいし、センサからセンサ情報を取得する機能部であってもよい。
　操作部１６０は、ユーザからの入力情報を取得し、処理部１３０に通知する。操作部１６０は、例えばＨＭＤ１００に設けられるボタンやスイッチ等である。なお、操作部１６０は情報端末２００に設けられてもよい。
　記憶部２２０は、ＨＭＤの表示部１４０に表示する画像や、データベースを記憶したり、処理部２３０等のワーク領域となるもので、その機能はＲＡＭ等のメモリやＨＤＤなどにより実現できる。
　処理部２３０は、情報端末の各部を制御する。また、処理部２３０は、制御モードの設定処理を行う。なお、処理部１３０及び処理部２３０の機能は、各種プロセッサ（ＣＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムなどにより実現できる。
　位置検出部２４０は、ユーザの位置情報を取得して処理部２３０に通知する。位置検出部２４０は、ＧＰＳセンサ５５０等のセンサ自体であってもよいし、センサからセンサ情報を取得する機能部であってもよい。
　３．処理の詳細
　３．１　制御モードの概要
　初めに、制御モードの概要について図２（Ａ）と図２（Ｂ）を用いて説明する。まず、本実施形態における制御モードには、第１モードと第２モードとの２種類がある。
　制御モードが第１モードに設定されている場合の処理の様子を図２（Ａ）に示す。この場合には、頭部装着型表示装置（以下、ＨＭＤ）は情報端末に頭部姿勢情報等を送信し、情報端末は受信した頭部姿勢情報に基づいて、表示画像情報を特定する。そして、情報端末は、特定した表示画像情報をＨＭＤに送信する。すなわち、ＨＭＤと情報端末は、互いに通信を行いながら、表示画像を特定する。なお、表示画像情報は、表示画像そのものであってもよいし、本実施形態で用いるように特定の画像を指し示す情報であってもよい。これに関しては後述する。
　一方、制御モードが第２モードに設定されている場合の処理の様子を図２（Ｂ）に示す。この場合には、ＨＭＤと情報端末は、処理の開始時には互いに通信を行うが、その後は通信を切断する。そして、ＨＭＤが単独で、頭部姿勢情報に基づいて表示画像を特定する。
　以下で、第１モード設定時と第２モード設定時の処理について、具体的に説明する。
　３．２　第１モード設定時の処理の詳細
　ここでは、図３のシーケンス図を用いて、第１モード設定時の処理の詳細について説明する。また、本実施形態の画像処理システムを利用している様子を図４（Ａ）に示す。さらに、図４（Ａ）において、制御モードが第１モードに設定されている場合に、ＨＭＤに表示するアイコン画像の一例を図４（Ｂ）に、ＨＭＤの表示バッファの画像記憶領域の一例を図４（Ｃ）に示す。
　まず、図４（Ａ）に示す例では、ユーザＵＳの頭部方向がＤＲの方向であり、頭部方向ＤＲの先には郵便局がある。そして、ユーザＵＳの周辺には他にも踏切と、レストランと、トイレなどがある。このような場合にユーザＵＳが本実施形態のＨＭＤと情報端末を用いて、情報提供サービスを利用し始めたとする。
　すると、まず、情報端末の処理部は、記憶部からアイコン画像（画像データ又は第１モード用アイコン画像群）と、アイコン画像に関連付けられたカテゴリＩＤを読み出す（Ｓ３０）。
　ここで、アイコン画像の具体例として、図４（Ｂ）の画像ＩＩＭや、図４（Ｃ）の画像記憶領域ＩＢ内に記憶される各画像などがある。
　また、アイコン画像とカテゴリＩＤとが関連付けられたデータの具体例として、図１０（Ａ）に示す第１のデータベースＤＢ１がある。図１０（Ａ）の第１のデータベースＤＢ１は、例えば、トイレや郵便局、レストラン、駅などの施設の種類別に、固有のカテゴリＩＤが関連付けられている。そして、第１のデータベースＤＢ１は、そのカテゴリＩＤとアイコン画像のファイル名が関連付けられており、カテゴリＩＤを指定すれば対応するアイコン画像を特定することができる。例えば、カテゴリＩＤを２と指定した場合には、「レストラン」に関するアイコンファイル（restautrant.jpg）が示すアイコン画像が特定
される。
　次に、情報端末の処理部は、通信部を介して、これらのアイコン画像とカテゴリＩＤ（以下、第１のデータベースＤＢ１とする）とをＨＭＤの処理部に送信する（Ｓ３１）。そして、ＨＭＤの処理部は、第１のデータベースＤＢ１を受信し、これを記憶する（Ｓ３２）。なお、ステップＳ３２までに、本実施形態の情報端末は、第１のデータベースを全て送信しているが、第１のデータベースの一部のみを送信してもよいし、ＨＭＤがあらかじめ第１のデータベースを記憶していてもよい。
　以上の一連の処理が完了すると、情報端末の処理部は、第１モード用のループ処理の開始指示をＨＭＤの処理部に送信し（Ｓ３４）、第１モード用のループ処理を開始する（Ｓ３６）。
　一方、第１モード用のループ処理の開始指示を受信したＨＭＤの処理部は、情報取得部に頭部姿勢情報（方向）取得開始指示を行い（Ｓ３５）、情報取得部から方位や仰角などの頭部姿勢情報を取得する（Ｓ３７）。例えば、図４（Ａ）では、頭部姿勢情報のうちの方位情報は、ＤＲ方向を示す情報となる。
　また、情報端末の処理部は、ＨＭＤから頭部姿勢情報を受信するとともに、情報端末に設けられた位置検出部からユーザの位置情報を取得する（Ｓ３８）。位置情報は、ユーザの現在位置の緯度や経度等を表す情報である。
　ところで、情報端末の記憶部は、あらかじめ例えば図１０（Ｂ）に示した第２のデータベースを記憶しておく。第２のデータベースは、図１０（Ｂ）に示すように、位置情報（ここでは緯度及び経度）と頭部姿勢情報（ここでは方位及び仰角）との各組み合わせに、カテゴリＩＤが関連付けられたデータ（レコード）の集合である。
　そして、情報端末の処理部は、第２のデータベース内において、受信した頭部姿勢情報と取得した位置情報とに対応するデータ（レコード）が存在するか否かを判定し（Ｓ３９）、対応するデータが存在すると判定した場合には、そのデータのカテゴリＩＤを読み出して、ＨＭＤの処理部に通知する（Ｓ４０）。
　例えば、図４（Ａ）の場合に、ユーザＵＳの現在位置の緯度が３５．７２４７４１３８０１で、経度が１３９．３６７３４６５２５であり、ユーザＵＳの頭部姿勢の方位が１２４であり、仰角も１２７である場合には、図１０（Ｂ）に示す第２のデータベースＤＢ２からカテゴリＩＤは０であると特定でき、情報端末は特定したカテゴリＩＤ＝０をＨＭＤの処理部に送信する。
　一方、ＨＭＤの処理部は、第１のデータベースを用いて、受信したカテゴリＩＤに対応するアイコン画像を特定する。そして、画像記憶領域において、特定したアイコン画像が記憶されている領域を表示領域に設定し、アイコン画像を表示部に表示する（Ｓ４１）。
　例えば、前述した例において、ＨＭＤの処理部がカテゴリＩＤ＝０を受信した場合には、図１０（Ａ）に示す第１のデータベースＤＢ１の中からカテゴリＩＤ＝０のデータ（レコード）を検索し、検索したデータから「郵便局」を表すアイコンファイルを特定する。そして、図４（Ｃ）に示す画像記憶領域ＩＢのうち、特定したアイコンファイルが記憶されている領域を表示領域に設定し、図４（Ｂ）に示すように表示部にアイコン画像ＩＩＭを表示する。
　また、情報端末の処理部は、第２のデータベース内において、受信した頭部姿勢情報と取得した位置情報との組み合わせに対応するデータが存在しないと判定した場合には、ブランクＩＤ（空のカテゴリＩＤ）をＨＭＤの処理部に通知する（Ｓ４２）。ブランクＩＤには、第１のデータベースにおいてアイコンファイル（アイコン画像）と関連付けられていない任意の記号や数字を用いればよい。例えば、図１０（Ａ）の例では、ブランクＩＤとして「２５５」などを用いる。
　そして、ＨＭＤの処理部は、ブランクＩＤを受信した場合には、画像記憶領域に表示領域を設定せず、ブランク画像を表示部に表示する（Ｓ４３）。もしくは、表示部に画像を表示しない。
　ここで、ユーザが操作部を介して、詳細情報表示要求を行った場合には（Ｓ４４）、ＨＭＤの処理部は、第１モードのループ処理終了要求（もしくは第２モードへの遷移要求）を情報端末の処理部へ送信する（Ｓ４５）。
　第１モードのループ処理終了要求を受信した情報端末の処理部は、ループ処理を終了し、制御モードを第２モードに設定する（Ｓ４６）。
　３．３　第２モード設定時の処理の詳細
　ここでは、図５のシーケンス図を用いて、第２モード設定時の処理の詳細について説明する。
　前提として、情報端末の記憶部は、あらかじめ例えば図１０（Ｃ）に示した第３のデータベースを記憶しておく。第３のデータベースは、図１０（Ｃ）に示すように、位置情報（ここでは緯度及び経度）と頭部姿勢情報（ここでは方位及び仰角）との各組み合わせに、複数の画像ファイル名（詳細情報画像ファイル）が関連付けられたデータ（レコード）の集合である。
　まず、情報端末の処理部は、制御モードが第２モードに切り替わる直前のユーザの頭部姿勢情報と、位置情報との組み合わせに対応する画像データ（詳細情報画像）を第３のデータベースＤＢ３から読み込む（Ｓ５０）。なお、詳細情報画像の実用例については、後述する。
　次に、情報端末の処理部は、表示レイアウトデータを指定して、画像データ（詳細情報画像）とともにＨＭＤへ送信する（Ｓ５１）。そして、ＨＭＤの処理部は、受信した表示レイアウト情報が示す表示レイアウトの画像記憶領域に、受信した画像データを記憶させる。そして、ＨＭＤの処理部は、画像記憶領域に表示領域を設定し、表示部が画像を表示する（Ｓ５２）。
　ここで、表示レイアウトデータとは、後述するように表示レイアウトを指し示すデータのことである。
　例えば、表示レイアウトデータにより３行×３列の長方形の表示レイアウトを指定した場合の例を、図６（Ａ）～図６（Ｃ）を用いて説明する。図６（Ａ）にはＨＭＤを装着したユーザＵＳが首を振っている様子を、図６（Ｂ）には表示部に表示する画像ＩＩＭの一例を、図６（Ｃ）には表示バッファの画像記憶領域ＩＢと記憶される画像を示す。
　前述したように表示バッファの画像記憶領域ＩＢは、表示部が表示可能な画像の２倍以上（その値を含む）の領域（本例では９画面分）を持っており、受信した表示レイアウトデータにより設定された画像記憶領域ＩＢに、情報端末から受信した画像データを記憶する（図６（Ｃ））。そして、表示部には記憶した画像の一部（図６（Ｂ）のＩＩＭ）が表示される。
　また、他にも、表示レイアウトとして、１行×９列の横長の長方形や、９行×１列の縦長の長方形等を指定することも可能である。なお、ここでは表示レイアウトの例として３つの例を示したが、表示レイアウト上での画像の配置や、表示バッファの大きさは任意であり、これらの例に限定されるものではない。
　次に、情報端末の処理部が第２モードの処理を開始する指示（Ｓ５３）を送信し、ＨＭＤの処理部が第２モードの処理を開始すると（Ｓ５４）、ＨＭＤの情報取得部からＨＭＤの処理部へ方位および仰角などの頭部姿勢情報が送信される（Ｓ５５）。
　そして、ＨＭＤの処理部は取得した頭部姿勢情報に基づいて、画面遷移判定処理を行う（Ｓ５６）。画面遷移判定処理の結果、表示する画像をスクロールすると判定された場合には、表示部は画像をスクロールして表示する（Ｓ５７）。
　例えば図６（Ｃ）の中央の画像が図６（Ｂ）のように表示画像ＩＩＭとされている時に、図６（Ａ）のＤＲ１方向にユーザＵＳが首を動かした場合について説明する。
　まず、この場合には、画像記憶領域ＩＢの中央の領域が表示領域として設定されており、表示領域の画像が表示部に表示される。この状態で、ＤＲ１方向にユーザＵＳが首を動かした場合には、後述する画面遷移条件を満たした時に、画像記憶領域ＩＢにおいて表示領域をＤＲ１方向に移動させる。その結果、画像記憶領域ＩＢの中央の画像が表示部に表示されていた状態から、ＤＲ１方向にスクロールして画像を表示することが可能となる。ユーザＵＳが首をＤＲ２方向やＤＲ３方向、ＤＲ４方向に動かした場合や、他の表示レイアウトを用いる場合も同様である。
　ここで、画面遷移判定処理の詳細について、図７に示すフローチャートを用いて説明する。
　本実施形態において、ＨＭＤの情報取得部が取得するセンサ情報には、０°～３６０°の値を示す方位ｄと、０°から２５５°の値を示す仰角ａが含まれる。なお、方位ｄは、０°及び３６０°が北の周期境界条件であり、仰角ａは、ａ＝０°の時に真下を示し、ａ＝１２７°の時に水平を示し、ａ＝２５５°の時に真上を示す。さらに、初期方位をｄｉ、初期仰角をａｉ、初期方位ｄｉと現在の方位ｄの差分と比較する閾値をΔｄ、初期仰角ａｉと現在の仰角ａの差分と比較する閾値をΔａとする。
　まず、ＨＭＤの処理部は、今回の画面遷移判定処理が初回の処理又は後述する初期化割り込み時の処理であるか否かを判定する（Ｓ１）。
　画面遷移判定処理が初回の処理又は後述する初期化割り込み時の処理であると判定した場合には、現在の方位ｄに初期方位ｄｉを、現在の仰角ａに初期仰角ａｉを代入する（Ｓ２）。
　一方、画面遷移判定処理が初回の処理又は後述する初期化割り込み時の処理ではないと判定した場合には、表示レイアウトが正方形であるか否かを判定する（Ｓ３）。なお、正方形の表示レイアウトとは、図６（Ｃ）のように行と列の数が同じ表示レイアウトのことを指す。
　表示レイアウトが正方形であると判定した場合において、（ａｉ－ａ）＞Δａであると判定した場合には（Ｓ４）、上方向へスクロールし（Ｓ５）、（ａｉ－ａ）＞Δａではなく、（ａｉ－ａ）＜－Δａであると判定した場合には（Ｓ６）、下方向へスクロールする（Ｓ７）。
　さらに、（ａｉ－ａ）＜－Δａでもないと判定した場合に、（ｄｉ－ｄ）＞Δｄであると判断する場合には（Ｓ８）、右方向へスクロールし（Ｓ９）、（ｄｉ－ｄ）＜－Δｄであると判断する場合には（Ｓ１０）、左方向へスクロールする（Ｓ１１）。（ｄｉ－ｄ）＜－Δｄでもないと判定した場合には、画面遷移判定処理を終了する。
　一方、表示レイアウトが正方形ではないと判定した場合には、表示レイアウトが垂直か否かを判定する（Ｓ１２）。なお、垂直な表示レイアウトとは、複数の行と１列の表示レイアウトのことを指す。
　表示レイアウトが垂直であると判定した場合において、（ａｉ－ａ）＞Δａであると判定した場合には（Ｓ１３）、上方向へスクロールし（Ｓ１４）、（ａｉ－ａ）＞Δａではなく、（ａｉ－ａ）＜－Δａであると判定した場合には（Ｓ１５）、下方向へスクロールする（Ｓ１６）。（ａｉ－ａ）＜－Δａでもないと判定した場合には、画面遷移判定処理を終了する。
　そして、表示レイアウトが垂直ではないと判定した場合には、表示レイアウトは水平であると判定する。なお、水平な表示レイアウトとは、１行と複数の列の表示レイアウトのことを指す。
　表示レイアウトが水平であると判定した場合において、（ｄｉ－ｄ）＞Δｄであると判定した場合には（Ｓ１７）、右方向へスクロールし（Ｓ１８）、（ｄｉ－ｄ）＞Δｄではなく、（ｄｉ－ｄ）＜－Δｄであると判定した場合には（Ｓ１９）、左方向へスクロールする（Ｓ２０）。（ｄｉ－ｄ）＜－Δｄでもないと判定した場合には、画面遷移判定処理を終了する。
　これにより、頭部の上下左右の動きに応じて、画像記憶領域上で表示領域をスクロールさせることが可能となる。
　ここで、例えば、表示部に表示された施設詳細情報を表す画像と手元の資料とを、ユーザが見比べたい場合など、ユーザが頭部を動かしつつも、特定の表示画像の表示を継続させたい場合がある。しかし、前述した手法を用いた場合には、ユーザの頭部姿勢に連動して、表示画像が切り替わってしまう。
　そこで、本実施形態では、操作部による割り込みによって、第２モード設定時の表示処理ループ（Ｓ５４～Ｓ５７）及び情報取得部を一時停止および再開することができる（Ｓ５８）。例えば、図６（Ａ）～図６（Ｃ）の状態で、表示処理ループを一時停止した場合には、図６（Ｃ）の画像記憶領域ＩＢの中央の画像がＨＭＤの表示部に表示されており、例えユーザがＤＲ４方向を向いたとしても表示部に表示される画像は変わらない（ＤＲ１～ＤＲ３方向の場合も同様）。
　ここで、前述した画面遷移判定処理では、開始時の方位および仰角を保存し、次回以降の方位および仰角との差分が閾値を超えるか否かを判定することにより、スクロールをするか否かを判定しているため、ユーザが直立しておらず、頭部が地面に対して水平・垂直でない状態で表示処理ループが開始された場合には、頭の動きではスクロール不可能な領域ができてしまうという問題がある。
　そこで、本実施形態では、ＨＭＤの操作部から表示処理ループに対して割り込みを行い、その割り込み発生時点での方位と仰角を初期値として利用する（Ｓ５９）。
　そして、第２モードの終了要求（第１モードへの遷移要求）を、ユーザが操作部を介して入力するまで、ＨＭＤの処理部は第２モード設定時の表示処理ループを継続する。第２モードの終了要求が入力された場合には（Ｓ６０）、ＨＭＤの処理部は表示処理ループを終了する（Ｓ６１）。そして、制御モードを第１モードに変更することを情報端末へ通知する（Ｓ６２）。
　次に、詳細情報画像の実用例について、図８（Ａ）～図８（Ｃ）を用いて説明する。
　まず、詳細情報画像とは、個別の施設等に関する情報を表す画像のことをいう。具体的には、レストランに関する詳細情報画像としては、外観写真の画像やアクセス情報を表す画像、地図画像、レビュー情報を表す画像などがあり、これらを図１０（Ｃ）のような第３のデータベースから読み出し、図８（Ｃ）に示すように、ＨＭＤの表示バッファの画像記憶領域ＩＢに記憶する。
　そして、例えば図８（Ａ）のユーザＵＳが、正面を向いており、図８（Ｃ）の画像記憶領域ＩＢに記憶した詳細情報画像ＤＩＭ２（アクセス情報を表す画像）が表示画像ＩＩＭであるとする。この時に、前述したように、ユーザＵＳが、正面を向いている状態から下方向（ＤＲ１方向）を向いた状態に頭部姿勢を変更した時に、図８（Ｃ）の画像記憶領域上に設定する表示領域も移動させて、詳細情報画像ＤＩＭ３（地図画像）が記憶されている領域を表示領域に設定し、地図画像ＤＩＭ３を表示することができる。
　また、前述した例のように、ユーザが首を振って、表示画像を変更する場合には、表示バッファの画像記憶領域の同じ位置に、同じ種類の情報を示す画像を記憶した方がよい。
　例えば、表示バッファの画像記憶領域の１段目に施設等の外観写真の画像を記憶し、２段目にアクセス情報を表す画像を記憶し、３段目に地図画像を、４段目にレビュー情報を表す画像を記憶する。これによって、詳細情報画像の対象となる施設が異なる場合（例えばレストランＡとレストランＢ、もしくはレストランＡとスーパーマーケットＡなど）であっても、参照したい詳細情報画像を表示するには、どの方向に首を振ればよいか分かりやすくなる。
　そこで、本実施形態では、図９（Ａ）に示すように、各領域ＡＲ１～ＡＲ４にコンテンツＩＤが関連付けられた画像記憶領域ＩＢを有する表示バッファを用いる。さらに、図９（Ｂ）に示すように、詳細情報画像の種類毎に異なるコンテンツＩＤを関連付ける。例えば、施設等の外観写真の画像にはコンテンツＩＤ＝００１を、アクセス情報を表す画像にはコンテンツＩＤ＝００２を、地図画像にはコンテンツＩＤ＝００３を、レビュー情報を表す画像にはコンテンツＩＤ＝００４を、関連付ける。そして、詳細情報画像を、その詳細情報画像のコンテンツＩＤが関連付けられた画像記憶領域に記憶する。
　これにより、図９（Ｂ）に示す詳細情報画像のうち、画像ＩＭ１とＩＭ６は、第１の画像記憶領域ＡＲ１に、画像ＩＭ４とＩＭ８は、第１の画像記憶領域ＡＲ２に、画像ＩＭ３とＩＭ５は、第１の画像記憶領域ＡＲ３に、画像ＩＭ２とＩＭ７は、第１の画像記憶領域ＡＲ４に、記憶することができる。
　４．本実施形態の手法
　４．１　頭部装着型表示装置
　以上の本実施形態の頭部装着型表示装置１００は、情報端末２００と通信を行う通信部１１０と、通信部１１０を介して情報端末２００から受信した画像データを画像記憶領域に記憶する表示バッファ１２０と、頭部姿勢情報を取得する情報取得部１５０と、表示バッファ１２０の画像記憶領域に表示領域を設定する処理部１３０と、設定された表示領域の画像を表示画像として表示する表示部１４０と、を含む。制御モードが第１モードに設定された場合には、通信部１１０は、頭部姿勢情報を情報端末２００に送信する。一方、制御モードが第２モードに設定された場合には、通信部１１０は、頭部姿勢情報を情報端末２００に送信せず、処理部１３０は、頭部姿勢情報に基づいて、表示バッファ１２０の画像記憶領域に表示領域を設定する。
　ここで、表示領域とは、画像記憶領域において、表示部１４０に表示する画像を記憶する領域として特定される領域のことをいう。表示領域は、画像記憶領域のアドレスにより特定される。
　そして、頭部姿勢情報とは、ユーザの頭部姿勢を表す情報である。例えば、頭部姿勢情報は、ユーザの頭部に設けられたセンサにより取得される仰角や方位などの値のことである。
　また、ここで、制御モードとは、頭部装着型表示装置と情報端末とが行う一連の処理内容を決定付けるモードのことを言い、本実施形態における制御モードには、第１モードと第２モードとがある。ただし、制御モードには、第１モードと第２モード以外のモードがあってもよい。
　制御モードのうちの第１モード（同期モード）とは、頭部装着型表示装置と情報端末とが互いに通信を行いながら、画像記憶領域に表示領域を設定するモードのこと等をいう。例えば、図２（Ａ）にその一例を示す。
　一方、第２モード（非同期モード）とは、頭部装着型表示装置と情報端末とが処理の開始時には互いに通信を行うが、その後は、頭部装着型表示装置が単独で、頭部姿勢情報に基づいて画像記憶領域に表示領域を設定するモードのこと等をいう。例えば、図２（Ｂ）にその一例を示す。
　これにより、頭部装着型表示装置に表示する画像を特定するための処理を、設定された制御モードに従って行うことができる。
　また、通信部１１０は、制御モードが第２モードに設定されている場合には、情報端末２００から表示レイアウトデータと画像データとを受信してもよい。そして、表示バッファ１２０は、表示レイアウトデータにより設定された画像記憶領域に画像データを記憶し、処理部１３０は、頭部姿勢情報に基づいて、画像記憶領域に表示領域を設定してもよい。
　ここで、表示レイアウトデータとは、表示レイアウトを指し示すデータのことをいう。また、表示レイアウトとは、表示バッファの画像記憶領域に記憶される画像が表示部１４０に表示される際の、各画像の位置関係を示す情報のことをいう。また、表示レイアウトは、画像記憶領域において、ＨＭＤの表示部１４０と同じ解像度で区切られた各領域の順序情報であってもよい。例えば、表示レイアウトは、図６（Ｃ）に示す３行×３列の正方形（ただし、画像のサイズによっては長方形となる）や、１行×９列の横長の長方形、９行×１列の縦長の長方形などがある。ただし、これらに限定されない。
　これにより、制御モードが第２モードに設定されている場合に、情報端末２００から受信した表示レイアウトデータが示す表示レイアウトで、画像データを表示バッファ１２０に記憶することができ、頭部装着型表示装置１００の表示部１４０に画像を表示することが可能となる。
　また、情報端末２００から受信する表示レイアウトデータによって、表示バッファ１２０の表示レイアウトを変更することが可能となる。
　そして、頭部装着型表示装置１００が、ユーザの頭部姿勢情報に応じて表示バッファ１２０の画像記憶領域に表示領域を設定することが可能となる。
　さらに、頭部姿勢情報を一度情報端末２００に送信し、通知された頭部姿勢情報に基づいて、表示部１４０に表示する画像を情報端末２００が特定する手法に比べて、頭部装着型表示装置１００と情報端末２００間での通信機会を減らすことが可能となり、応答速度の向上を図ることが可能となる。すなわち、情報端末２００と通信をせずに、頭部装着型表示装置１００内部で表示制御を行うため、スクロールのリアルタイム性が向上する。
　また、処理部１３０は、頭部姿勢情報により表される頭部姿勢が第１の頭部姿勢である場合には、画像記憶領域に第１の表示領域を設定し、頭部姿勢が第２の頭部姿勢である場合には、画像記憶領域に第２の表示領域を設定してもよい。そして、表示部１４０は、第１の表示領域が設定された場合には、第１の表示領域の画像を表示画像として表示し、第２の表示領域が設定された場合には、第２の表示領域の画像を表示画像として表示してもよい。
　ここで、第１の表示領域と第２の表示領域は、画像記憶領域内の領域のうち、互いに異なる領域のことをいう。本例では、第１の表示領域と第２の表示領域は、表示レイアウト上で隣接していることが望ましいが、これに限定されない。例えば、図８（Ｂ）では、画像記憶領域ＩＢのうち、画像ＤＩＭ２を記憶する領域が第１の表示領域であり、画像ＤＩＭ１を記憶する領域が第２の表示領域である。
　また、第１の頭部姿勢は、第２の頭部姿勢と異なる頭部姿勢のこという。例えば、図８（Ａ）では、ユーザＵＳが正面を向いている状態が第１の頭部姿勢であり、ユーザＵＳが下方向（ＤＲ１方向）を向いている状態が第２の頭部姿勢である。
　これにより、頭部姿勢情報に応じて、画像記憶領域上の異なる領域に表示領域を設定すること等が可能になる。すなわち、ユーザの頭部の上下左右の動きに応じて、画像記憶領域上で表示領域をスクロールさせること等が可能となる。
　また、処理部１３０は、取得された頭部姿勢情報に基づいて姿勢変化量を求め、姿勢変化量が所定の閾値以上であると判断する場合に、表示領域を第１の表示領域から第２の表示領域に移動させてもよい。
　ここで、姿勢変化量とは、基準頭部姿勢と現在の頭部姿勢との差である。基準頭部姿勢は、初期姿勢のことであってもよい。例えば、図７の初期方位ｄ及び初期仰角ａのこという。
　これにより、姿勢変化量と所定の閾値を比較することによって、表示領域を移動させるか否かを判定すること等が可能となる。
　また、通信部１１０は、制御モードが第２モードに設定されている場合には、頭部姿勢情報を情報端末２００に送信し、送信された頭部姿勢情報と位置情報とに対応する複数の画像データを、情報端末２００から受信してもよい。そして、表示バッファ１２０は、表示レイアウトデータにより設定された画像記憶領域に複数の画像データを記憶してもよい。
　ここで、位置情報とは、ユーザの位置を表す情報のことをいい、例えば、ユーザの現在位置の緯度や経度などの情報のことをいう。
　これにより、例えば、施設等に関する情報を表す複数の画像を、頭部装着型表示装置の表示バッファ１２０の画像記憶領域に記憶し、情報端末と通信を行わずに、頭部装着型表示装置がユーザの頭部姿勢に応じて、表示画像を変えること等が可能になる。
　また、例えばユーザがある地点に立ち止まって、施設等の詳細情報を確認している間は、必ずしも情報端末と通信する必要はないため、このような場合に通信処理にかかる消費電力等を抑制すること等も可能になる。
　また、通信部１１０は、画像データと画像データに関連付けられたコンテンツＩＤとを受信してもよい。そして、表示バッファ１２０は、各コンテンツＩＤに関連付けられた画像データを、コンテンツＩＤに対応する画像記憶領域の各領域に記憶してもよい。
　ここで、コンテンツＩＤとは、画像が表す情報の種類を判別するために用いられる数字や記号等である。具体例を、図９（Ａ）及び（Ｂ）に示す。
　これにより、同じ種類の内容を表す画像に同一のコンテンツＩＤを割り当てておけば、同じ種類の画像データを画像記憶領域の同じ位置に記憶すること等が可能になる。よって、例えば、情報端末から受信した複数の画像データの表示対象となる施設が異なる場合であっても、参照したい詳細情報画像を表示するには、どの方向に首を振ればよいか分かりやすくすること等が可能になる。
　４．２　情報端末
　また、本実施形態の情報端末２００は、頭部装着型表示装置１００と通信を行う通信部２１０と、画像データを記憶する記憶部２２０と、制御モードの設定処理を行う処理部２３０と、位置情報を検出する位置検出部２４０と、を含む。記憶部２２０は、カテゴリＩＤと画像データとが関連付けられた第１のデータベースの情報と、頭部装着型表示装置１００から受信した頭部姿勢情報と、位置情報との組み合わせにカテゴリＩＤが関連付けられた第２のデータベースの情報と、を記憶する。そして、通信部２１０は、第１のデータベースの情報を頭部装着型表示装置１００に送信する。さらに、処理部２３０は、制御モードを第１モードに設定した場合には、頭部姿勢情報と位置情報との組み合わせに関連付けられたカテゴリＩＤを第２のデータベースから取得する。その後、通信部２１０は、取得したカテゴリＩＤを頭部装着型表示装置１００に送信する。
　これにより、頭部装着型表示装置の処理部は、取得されたカテゴリＩＤに対応する画像データを第１のデータベースに基づいて特定し、表示バッファ１２０の画像記憶領域において、特定した画像データが記憶される領域を表示領域に設定すること等が可能になる。
　ここで、カテゴリＩＤとは、例えば、トイレや郵便局、レストラン、駅などの施設の種類別に割り当てられる固有の数字や記号のことをいう。例えば、図１０（Ａ）に示すようなものがある。
　また、第１のデータベースとは、カテゴリＩＤと画像データ情報とが関連付けられたデータ（レコード）の集合（データベース）のことをいう。また、カテゴリＩＤに関連付けられる画像データ情報は、画像データそのものであってもよし、画像データのファイル名などの画像データを特定可能な情報であればよい。例えば、図１０（Ａ）に示すＤＢ１である。
　さらに、第２のデータベースとは、位置情報と頭部姿勢情報との各組み合わせに、カテゴリＩＤが関連付けられたデータ（レコード）の集合（データベース）である。例えば、図１０（Ｂ）に示すＤＢ２である。
　したがって、例えばユーザが移動している場合に、ユーザの現在位置と頭部姿勢に対応する画像を表示すること等が可能となる。頭部装着型表示装置は、前述した第１のデータベースを記憶するだけで良いため、頭部装着型表示装置の記憶容量が問題とならない。また、一度、頭部装着型表示装置が第１のデータベースを受信した後は、頭部装着型表示装置と情報端末間では、頭部姿勢情報とカテゴリＩＤとを送受信するだけですむため、通信コストも抑制すること等が可能となり、要求されるリアルタイム性を満たすことが容易になる。
　また、通信部２１０は、制御モードが第１モードに設定された際に、頭部姿勢情報と位置情報との組み合わせが第２のデータベースに存在しない場合には、カテゴリＩＤとしてブランクＩＤを頭部装着型表示装置１００に送信してもよい。
　ここで、ブランクＩＤとは、第２のデータベース内において、所定の頭部姿勢情報と所定の位置情報との組み合わせに対応するデータが存在しない場合に用いるカテゴリＩＤのことをいう。また、ブランクＩＤには、第１のデータベースにおいてアイコンファイル（アイコン画像）と関連付けられていない任意の記号や数字を用いればよい。例えば、図１０（Ａ）の例では、ブランクＩＤとして「２５５」などを用いる。
　これにより、頭部装着型表示装置の処理部は、ブランクＩＤを取得した場合には、画像記憶領域に表示領域を設定しないこと等が可能になる。
　また、記憶部２２０は、頭部姿勢情報と位置情報との組み合わせに複数の画像データが関連付けられた第３のデータベースを記憶してもよい。そして、処理部２３０は、制御モードを第２モードに設定した場合には、頭部姿勢情報と位置情報との組み合わせに関連付けられた複数の画像データを、第３のデータベースから取得してもよい。さらに、通信部２１０は、取得した複数の画像データを頭部装着型表示装置１００に送信してもよい。
　ここで、第３のデータベースとは、位置情報と頭部姿勢情報との各組み合わせに、複数の画像データ情報が関連付けられたデータ（レコード）の集合（データベース）である。また、カテゴリＩＤに関連付けられる複数の画像データ情報は、画像データそのものであってもよし、画像データのファイル名などの画像データを特定可能な情報であればよい。例えば、図１０（Ｃ）に示すＤＢ３である。また、前述した第２のデータベースと共通項をまとめて、一つのデータベースとしてもよい。
　これにより、頭部装着型表示装置の表示バッファは、表示レイアウトデータにより設定された画像記憶領域に複数の画像データを記憶すること等が可能になる。そして、例えば、情報端末と通信を行わずに、頭部装着型表示装置がユーザの頭部姿勢に応じて、表示画像を変えること等が可能になる。
　また、処理部２３０は、頭部装着型表示装置１００から通信部２１０を介して受信されたユーザ入力情報に基づいて、第１モードから第２モードに、又は第２モードから第１モードに、制御モードを切り替えてもよい。
　ここで、ユーザ入力情報とは、ユーザにより操作部１６０を介して入力される情報のことをいう。
　これにより、例えば、ユーザが施設等の詳細情報を参照したいと考える場合に、ユーザ入力により制御モードを第２モードに変更し、ユーザが移動を再開したため周辺施設の概要情報を参照したいと考える場合にユーザ入力により第１モードに変更すること等が可能になる。
　なお、本実施形態の情報端末等は、プログラムにより実現してもよい。この場合には、ＣＰＵ等のプロセッサがプログラムを実行することで、本実施形態の状態推定装置等が実現される。具体的には、情報記憶媒体に記憶されたプログラムが読み出され、読み出されたプログラムをＣＰＵ等のプロセッサが実行する。ここで、情報記憶媒体（コンピュータにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＤＶＤ、ＣＤ等）、ＨＤＤ（ハードディスクドライブ）、或いはメモリ（カード型メモリ、ＲＯＭ等）などにより実現できる。そして、ＣＰＵ等のプロセッサは、情報記憶媒体に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち、情報記憶媒体には、本実施形態の各部としてコンピュータ（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。
　以上のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また、頭部装着型表示装置、情報端末、プログラム、情報記憶媒体及び画像処理システムの構成、動作も本実施形態で説明したものに限定されず、種々の変形実施が可能である。
１００　頭部装着型表示装置、１１０　通信部、１２０　表示バッファ、
１３０　処理部、１４０　表示部、１５０　情報取得部、１６０　操作部、
２００　情報端末、２１０　通信部、２２０　記憶部、２３０　処理部、
２４０　位置検出部、５５０　ＧＰＳセンサ、５５１　加速度センサ、
５６０　方位センサ

Claims (15)

  1. 　情報端末と通信を行う通信部と、
    　前記通信部を介して前記情報端末から受信した画像データを画像記憶領域に記憶する表示バッファと、
    　頭部姿勢情報を取得する情報取得部と、
    　前記表示バッファの前記画像記憶領域に表示領域を設定する処理部と、
    　設定された前記表示領域の画像を表示画像として表示する表示部と、
    　を含み、
    　制御モードが第１モードに設定された場合には、
    　前記通信部は、
    　前記頭部姿勢情報を前記情報端末に送信し、
    　前記制御モードが第２モードに設定された場合には、
    　前記通信部は、
    　前記頭部姿勢情報を前記情報端末に送信せず、
    　前記処理部は、
    　前記頭部姿勢情報に基づいて、前記表示バッファの前記画像記憶領域に前記表示領域を設定することを特徴とする頭部装着型表示装置。
  2. 　請求項１において、
    　前記通信部は、
    　前記制御モードが前記第２モードに設定されている場合には、前記情報端末から表示レイアウトデータと前記画像データとを受信し、
    　前記表示バッファは、
    　前記表示レイアウトデータにより設定された前記画像記憶領域に前記画像データを記憶し、
    　前記処理部は、
    　前記頭部姿勢情報に基づいて、前記画像記憶領域に前記表示領域を設定することを特徴とする頭部装着型表示装置。
  3. 　請求項２において、
    　前記処理部は、
    　前記頭部姿勢情報により表される頭部姿勢が第１の頭部姿勢である場合には、前記画像記憶領域に第１の表示領域を設定し、
    　前記頭部姿勢が第２の頭部姿勢である場合には、前記画像記憶領域に第２の表示領域を設定し、
    　前記表示部は、
    　前記第１の表示領域が設定された場合には、前記第１の表示領域の画像を前記表示画像として表示し、
    　前記第２の表示領域が設定された場合には、前記第２の表示領域の画像を前記表示画像として表示することを特徴とする頭部装着型表示装置。
  4. 　請求項３において、
    　前記処理部は、
    　取得された前記頭部姿勢情報に基づいて姿勢変化量を求め、前記姿勢変化量が所定の閾値以上であると判断する場合に、前記表示領域を前記第１の表示領域から前記第２の表示領域に移動させることを特徴とする頭部装着型表示装置。
  5. 　請求項２乃至４のいずれかにおいて、
    　前記通信部は、
    　前記制御モードが前記第２モードに設定されている場合には、前記頭部姿勢情報を前記情報端末に送信し、送信された前記頭部姿勢情報と位置情報とに対応する複数の画像データを、前記情報端末から受信し、
    　前記表示バッファは、
    　前記表示レイアウトデータにより設定された前記画像記憶領域に前記複数の画像データを記憶することを特徴とする頭部装着型表示装置。
  6. 　請求項２乃至５のいずれかにおいて、
    　前記通信部は、
    　前記画像データと前記画像データに関連付けられたコンテンツＩＤとを受信し、
    　前記表示バッファは、
    　前記各コンテンツＩＤに関連付けられた前記画像データを、前記コンテンツＩＤに対応する前記画像記憶領域の各領域に記憶することを特徴とする頭部装着型表示装置。
  7. 　頭部装着型表示装置と通信を行う通信部と、
    　画像データを記憶する記憶部と、
    　制御モードの設定処理を行う処理部と、
    　位置情報を検出する位置検出部と、
    　を含み、
    　前記記憶部は、
    　カテゴリＩＤと前記画像データとが関連付けられた第１のデータベースの情報と、
    　前記頭部装着型表示装置から受信した頭部姿勢情報と、前記位置情報との組み合わせに前記カテゴリＩＤが関連付けられた第２のデータベースの情報と、を記憶し、
    　前記通信部は、
    　前記第１のデータベースの情報を前記頭部装着型表示装置に送信し、
    　前記処理部は、
    　前記制御モードを第１モードに設定した場合には、前記頭部姿勢情報と前記位置情報との組み合わせに関連付けられた前記カテゴリＩＤを前記第２のデータベースから取得し、
    　前記通信部は、
    　取得した前記カテゴリＩＤを前記頭部装着型表示装置に送信することを特徴とする情報端末。
  8. 　請求項７において、
    　前記通信部は、
    　前記制御モードが前記第１モードに設定された際に、前記頭部姿勢情報と前記位置情報との組み合わせが前記第２のデータベースに存在しない場合には、前記カテゴリＩＤとしてブランクＩＤを前記頭部装着型表示装置に送信することを特徴とする情報端末。
  9. 　請求項７又は８において、
    　前記記憶部は、
    　前記頭部姿勢情報と前記位置情報との組み合わせに複数の画像データが関連付けられた第３のデータベースを記憶し、
    　前記処理部は、
    　前記制御モードを第２モードに設定した場合には、前記頭部姿勢情報と前記位置情報との組み合わせに関連付けられた前記複数の画像データを、前記第３のデータベースから取得し、
    　前記通信部は、
    　取得した前記複数の画像データを前記頭部装着型表示装置に送信することを特徴とする情報端末。
  10. 　請求項７乃至９のいずれかにおいて、
    　前記処理部は、
    　前記頭部装着型表示装置から前記通信部を介して受信されたユーザ入力情報に基づいて、前記第１モードから第２モードに、又は前記第２モードから前記第１モードに、前記制御モードを切り替えることを特徴とする情報端末。
  11. 　頭部装着型表示装置と通信を行う通信部と、
    　画像データを記憶する記憶部と、
    　制御モードの設定処理を行う処理部と、
    　位置情報を検出する位置検出部として、
    　コンピュータを機能させ、
    　前記記憶部は、
    　カテゴリＩＤと前記画像データとが関連付けられた第１のデータベースの情報と、
    　前記頭部装着型表示装置から受信した頭部姿勢情報と、前記位置情報との組み合わせに前記カテゴリＩＤが関連付けられた第２のデータベースの情報と、を記憶し、
    　前記通信部は、
    　前記第１のデータベースの情報を前記頭部装着型表示装置に送信し、
    　前記処理部は、
    　前記制御モードを第１モードに設定した場合には、前記頭部姿勢情報と前記位置情報との組み合わせに関連付けられた前記カテゴリＩＤを前記第２のデータベースから取得し、
    　前記通信部は、
    　取得した前記カテゴリＩＤを前記頭部装着型表示装置に送信することを特徴とするプログラム。
  12. 　コンピュータ読み取り可能な情報記憶媒体であって、請求項１１に記載のプログラムを記憶したことを特徴とする情報記憶媒体。
  13. 　頭部姿勢情報を取得し、画像データを記憶する画像記憶領域に表示領域を設定し、設定された前記表示領域の画像を表示する頭部装着型表示装置と、
    　位置情報の検出処理と制御モードの設定処理を行い、前記頭部装着型表示装置と通信を行う情報端末と、
    　を含み、
    　前記情報端末は、
    　カテゴリＩＤと画像データとが関連付けられた第１のデータベースの情報と、前記頭部姿勢情報と前記位置情報との組み合わせに前記カテゴリＩＤが関連付けられた第２のデータベースの情報とを記憶し、前記第１のデータベースの情報を前記頭部装着型表示装置に送信し、
    　前記情報端末が前記制御モードを第１モードに設定した場合には、
    　前記頭部装着型表示装置は、
    　前記頭部姿勢情報を前記情報端末に送信し、
    　前記情報端末は、
    　受信した前記頭部姿勢情報と前記位置情報との組み合わせに関連付けられた前記カテゴリＩＤを前記第２のデータベースから取得し、取得した前記カテゴリＩＤを前記頭部装着型表示装置に送信し、
    　前記頭部装着型表示装置は、
    　受信した前記カテゴリＩＤに関連付けられた前記画像データを、前記第１のデータベースから特定し、前記画像記憶領域のうち、特定した前記画像データが記憶されている領域を、前記表示領域として設定し、
    　前記情報端末が前記制御モードを第２モードに設定した場合には、
    　前記頭部装着型表示装置は、
    　前記頭部姿勢情報を前記情報端末に送信せず、前記頭部姿勢情報に基づいて、前記画像記憶領域に前記表示領域を設定することを特徴とする画像処理システム。
  14. 　情報端末から画像データを受信し、
    　受信した前記画像データを表示バッファの画像記憶領域に記憶し、
    　ユーザの頭部姿勢情報を取得し、
    　前記表示バッファの前記画像記憶領域に表示領域を設定し、
    　設定された前記表示領域の画像を表示画像として表示し、
    　制御モードが第１モードに設定された場合には、前記頭部姿勢情報を前記情報端末に送信し、
    　前記制御モードが第２モードに設定された場合には、前記頭部姿勢情報を前記情報端末に送信せず、前記頭部姿勢情報に基づいて、前記表示バッファの前記画像記憶領域に前記表示領域を設定することを特徴とする頭部装着型表示装置の制御方法。
  15. 　頭部装着型表示装置からユーザの頭部姿勢情報を受信し、
    　前記ユーザの位置情報を検出し、
    　画像データを記憶するとともに、カテゴリＩＤと前記画像データとが関連付けられた第１のデータベースの情報と、前記頭部姿勢情報と前記位置情報との組み合わせに前記カテゴリＩＤが関連付けられた第２のデータベースの情報と、を記憶し、
    　前記第１のデータベースの情報を前記頭部装着型表示装置に送信し、
    　制御モードの設定処理を行い、
    　前記制御モードを第１モードに設定した場合には、受信した前記頭部姿勢情報と検出した前記位置情報との組み合わせに関連付けられた前記カテゴリＩＤを前記第２のデータベースから取得し、
    　取得した前記カテゴリＩＤを前記頭部装着型表示装置に送信することを特徴とする情報端末の制御方法。
PCT/JP2012/077283 2011-10-25 2012-10-23 頭部装着型表示装置、情報端末、プログラム、情報記憶媒体、画像処理システム、頭部装着型表示装置の制御方法及び情報端末の制御方法 WO2013061940A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201280052059.4A CN103891269B (zh) 2011-10-25 2012-10-23 头戴式显示装置、信息终端、图像处理系统、头戴式显示装置的控制方法及信息终端的控制方法
US14/262,031 US9746671B2 (en) 2011-10-25 2014-04-25 Head mounted display apparatus, information terminal, and methods and information storage devices for controlling head mounted display apparatus and information terminal

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011233915A JP5993127B2 (ja) 2011-10-25 2011-10-25 頭部装着型表示装置、情報端末、プログラム、情報記憶媒体、画像処理システム、頭部装着型表示装置の制御方法及び情報端末の制御方法
JP2011-233915 2011-10-25

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/262,031 Continuation US9746671B2 (en) 2011-10-25 2014-04-25 Head mounted display apparatus, information terminal, and methods and information storage devices for controlling head mounted display apparatus and information terminal

Publications (1)

Publication Number Publication Date
WO2013061940A1 true WO2013061940A1 (ja) 2013-05-02

Family

ID=48167770

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/077283 WO2013061940A1 (ja) 2011-10-25 2012-10-23 頭部装着型表示装置、情報端末、プログラム、情報記憶媒体、画像処理システム、頭部装着型表示装置の制御方法及び情報端末の制御方法

Country Status (4)

Country Link
US (1) US9746671B2 (ja)
JP (1) JP5993127B2 (ja)
CN (1) CN103891269B (ja)
WO (1) WO2013061940A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2966545A1 (en) * 2014-07-08 2016-01-13 LG Electronics Inc. Glasses-type terminal and method for controlling the same

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10585478B2 (en) * 2013-09-13 2020-03-10 Nod, Inc. Methods and systems for integrating one or more gestural controllers into a head mounted wearable display or other wearable devices
JP6642432B2 (ja) * 2014-07-31 2020-02-05 ソニー株式会社 情報処理装置及び情報処理方法、並びに画像表示システム
CN104267805A (zh) * 2014-09-15 2015-01-07 联想(北京)有限公司 一种信息处理方法及头戴式电子设备
KR101839441B1 (ko) * 2014-09-17 2018-03-16 (주)에프엑스기어 두드림에 의해 제어되는 헤드 마운트형 디스플레이 장치, 이의 제어 방법 및 이의 제어를 위한 컴퓨터 프로그램
KR20160033376A (ko) 2014-09-18 2016-03-28 (주)에프엑스기어 시선에 의해 제어되는 헤드 마운트형 디스플레이 장치, 이의 제어 방법 및 이의 제어를 위한 컴퓨터 프로그램
CN105572868B (zh) * 2014-10-13 2018-01-23 联想(北京)有限公司 显示设备和显示方法
JP6476781B2 (ja) * 2014-11-17 2019-03-06 セイコーエプソン株式会社 情報処理装置、情報処理装置を制御する方法、コンピュータープログラム
JP6540004B2 (ja) * 2014-12-08 2019-07-10 セイコーエプソン株式会社 表示装置、及び、表示装置の制御方法
US9542718B2 (en) * 2014-12-18 2017-01-10 Intel Corporation Head mounted display update buffer
KR102144515B1 (ko) * 2015-01-07 2020-08-14 삼성전자주식회사 마스터 기기, 슬레이브 기기 및 그 제어 방법
JP6424100B2 (ja) * 2015-01-29 2018-11-14 株式会社ゼンリンデータコム ナビゲーションシステム、ナビゲーション装置、グラス型デバイス及び装置間連携方法
US9747015B2 (en) 2015-02-12 2017-08-29 Qualcomm Incorporated Efficient display of content on wearable displays
US9734779B2 (en) * 2015-02-12 2017-08-15 Qualcomm Incorporated Efficient operation of wearable displays
US9965029B2 (en) * 2015-03-30 2018-05-08 Sony Corporation Information processing apparatus, information processing method, and program
KR102313485B1 (ko) * 2015-04-22 2021-10-15 삼성전자주식회사 가상현실 스트리밍 서비스를 위한 영상 데이터를 송수신하는 방법 및 장치
JP6439935B2 (ja) * 2015-05-07 2018-12-19 パナソニックＩｐマネジメント株式会社 表示制御方法、ヘッドマウントディスプレイ、およびプログラム
JP6596989B2 (ja) * 2015-07-02 2019-10-30 富士通株式会社 表示制御方法、表示制御プログラム、情報処理端末及びヘッドマウントディスプレイ
KR102413074B1 (ko) * 2015-09-21 2022-06-24 삼성전자주식회사 사용자 단말, 전자 장치 및 이들의 제어 방법
KR102478018B1 (ko) * 2016-01-13 2022-12-16 삼성전자주식회사 콘텐트 표시 방법 및 이를 수행하는 전자 장치
JP6711033B2 (ja) * 2016-03-08 2020-06-17 富士通株式会社 表示制御方法、通信装置、表示制御プログラムおよび表示制御装置
US10134190B2 (en) 2016-06-14 2018-11-20 Microsoft Technology Licensing, Llc User-height-based rendering system for augmented reality objects
JP2018036993A (ja) * 2016-09-02 2018-03-08 オリンパス株式会社 表示システム、携帯情報機器、ウエラブル型端末、情報表示方法およびプログラム
JP6737126B2 (ja) * 2016-10-21 2020-08-05 コニカミノルタ株式会社 連携システム、情報処理装置、連携方法および連携プログラム
TWI633338B (zh) * 2017-10-06 2018-08-21 宏碁股份有限公司 頭戴式顯示裝置、電子系統以及相關控制方法
JP6940702B2 (ja) * 2018-06-25 2021-09-29 マクセル株式会社 ヘッドマウントディスプレイ、ヘッドマウントディスプレイ連携システム及びその方法
US11544865B1 (en) 2019-02-15 2023-01-03 Apple Inc. Posture detection and correction
US11699271B2 (en) * 2021-05-19 2023-07-11 Snap Inc. Beacons for localization and content delivery to wearable devices

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08191419A (ja) * 1995-01-10 1996-07-23 Yamaha Corp 頭部装着型表示システム
JPH1118063A (ja) * 1997-06-19 1999-01-22 Toshiba Corp デジタル放送受信装置
JP2004102835A (ja) * 2002-09-11 2004-04-02 Univ Waseda 情報提供方法およびそのシステム、携帯型端末装置、頭部装着装置、並びにプログラム
JP2006033617A (ja) * 2004-07-20 2006-02-02 Olympus Corp 情報表示システム
JP2008078758A (ja) * 2006-09-19 2008-04-03 Nikon Corp 携帯型コンテンツデータ再生装置
JP2010200079A (ja) * 2009-02-26 2010-09-09 Yamaha Corp 撮影制御装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10341387A (ja) 1997-06-10 1998-12-22 Canon Inc 表示装置
JP2000029617A (ja) * 1998-07-08 2000-01-28 Olympus Optical Co Ltd 映像表示装置
JP4847192B2 (ja) * 2006-04-14 2011-12-28 キヤノン株式会社 画像処理システム、画像処理装置、撮像装置、及びそれらの制御方法
JP5228305B2 (ja) * 2006-09-08 2013-07-03 ソニー株式会社 表示装置、表示方法
CN101378431A (zh) * 2007-08-31 2009-03-04 鹏智科技(深圳)有限公司 图片显示装置及方法
US20160154239A9 (en) * 2010-02-03 2016-06-02 Hoyt Mac Layson, JR. Head Mounted Portable Wireless Display Device For Location Derived Messaging
JP5704833B2 (ja) * 2010-05-10 2015-04-22 オリンパス株式会社 操作入力装置およびマニピュレータシステム
US9217867B2 (en) * 2011-03-24 2015-12-22 Seiko Epson Corporation Head-mounted display device and control method for the head-mounted display device
US20120327116A1 (en) * 2011-06-23 2012-12-27 Microsoft Corporation Total field of view classification for head-mounted display
US9170648B2 (en) * 2012-04-03 2015-10-27 The Boeing Company System and method for virtual engineering
JP6186689B2 (ja) * 2012-09-26 2017-08-30 セイコーエプソン株式会社 映像表示システム
US8860634B2 (en) * 2012-10-11 2014-10-14 Sony Computer Entertainment Europe Limited Head mountable display
US20140268360A1 (en) * 2013-03-14 2014-09-18 Valve Corporation Head-mounted display
US9483117B2 (en) * 2013-04-08 2016-11-01 Nokia Technologies Oy Apparatus, method and computer program for controlling a near-eye display
US9256987B2 (en) * 2013-06-24 2016-02-09 Microsoft Technology Licensing, Llc Tracking head movement when wearing mobile device
US9230473B2 (en) * 2013-06-24 2016-01-05 Microsoft Technology Licensing, Llc Dual duty cycle OLED to enable dynamic control for reduced motion blur control with constant brightness in augmented reality experiences
US9563331B2 (en) * 2013-06-28 2017-02-07 Microsoft Technology Licensing, Llc Web-like hierarchical menu display configuration for a near-eye display
KR20150034558A (ko) * 2013-09-26 2015-04-03 엘지전자 주식회사 헤드 마운트 디스플레이 및 제어 방법
US10761566B2 (en) * 2013-09-27 2020-09-01 Beijing Lenovo Software Ltd. Electronic apparatus and method for processing information

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08191419A (ja) * 1995-01-10 1996-07-23 Yamaha Corp 頭部装着型表示システム
JPH1118063A (ja) * 1997-06-19 1999-01-22 Toshiba Corp デジタル放送受信装置
JP2004102835A (ja) * 2002-09-11 2004-04-02 Univ Waseda 情報提供方法およびそのシステム、携帯型端末装置、頭部装着装置、並びにプログラム
JP2006033617A (ja) * 2004-07-20 2006-02-02 Olympus Corp 情報表示システム
JP2008078758A (ja) * 2006-09-19 2008-04-03 Nikon Corp 携帯型コンテンツデータ再生装置
JP2010200079A (ja) * 2009-02-26 2010-09-09 Yamaha Corp 撮影制御装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2966545A1 (en) * 2014-07-08 2016-01-13 LG Electronics Inc. Glasses-type terminal and method for controlling the same
US10031337B2 (en) 2014-07-08 2018-07-24 Lg Electronics Inc. Glasses-type terminal and method for controlling the same

Also Published As

Publication number Publication date
US9746671B2 (en) 2017-08-29
CN103891269B (zh) 2017-08-25
JP5993127B2 (ja) 2016-09-14
US20140232620A1 (en) 2014-08-21
JP2013093706A (ja) 2013-05-16
CN103891269A (zh) 2014-06-25

Similar Documents

Publication Publication Date Title
JP5993127B2 (ja) 頭部装着型表示装置、情報端末、プログラム、情報記憶媒体、画像処理システム、頭部装着型表示装置の制御方法及び情報端末の制御方法
JP5829097B2 (ja) 頭部装着型表示装置、プログラム及び画像処理システム
US10817243B2 (en) Controlling a user interface based on change in output destination of an application
US20200242183A1 (en) Recommended content display method, device, and system
RU2417437C2 (ru) Отображение объектов сети на мобильных устройствах на основании геопозиции
JP5205557B2 (ja) 端末の角度に応じて互いに異なる映像情報を提供するための方法、端末およびコンピュータ読取可能な記録媒体
KR102325495B1 (ko) 관심 지점 정보를 푸싱하기 위한 방법 및 시스템
KR101679317B1 (ko) 두부 장착형 디스플레이용 사용자 인터페이스
US9658738B1 (en) Representation management on an electronic device
US8416309B2 (en) Camera-fitted information retrieval device
JP5658144B2 (ja) 視覚ナビゲーション方法、システム、およびコンピュータ可読記録媒体
US8301159B2 (en) Displaying network objects in mobile devices based on geolocation
US9454850B2 (en) Mobile communication terminal for providing augmented reality service and method of changing into augmented reality service screen
JP6885819B2 (ja) ナビゲーション装置およびナビゲーションシステム
CN110362762B (zh) 内容数据展示方法、装置、电子设备及存储介质
CN104321681A (zh) 使用透明显示装置的增强的信息递送
JP6030935B2 (ja) 情報処理プログラム、表示制御装置、表示システム及び表示方法
JP2005527031A (ja) インターラクション機会データの管理
JP2014021640A (ja) メッセージ管理装置、メッセージ管理方法およびプログラム
RU2628139C2 (ru) Способ и система для отображения объекта и способ и система для предоставления объекта
US20100039412A1 (en) Method and system for controlling operations of a display module in a portable terminal
JP2015222373A (ja) 地図情報表示装置及び地図情報表示方法
CN113051485A (zh) 群组搜索方法、装置、终端及存储介质
KR101899465B1 (ko) 위치 정보를 활용한 여행지 정보 제공 장치
JP2014048053A (ja) 携帯端末、施設検索方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12843676

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12843676

Country of ref document: EP

Kind code of ref document: A1