WO2020188655A1 - 複合現実表示装置および複合現実表示方法 - Google Patents

複合現実表示装置および複合現実表示方法 Download PDF

Info

Publication number
WO2020188655A1
WO2020188655A1 PCT/JP2019/010952 JP2019010952W WO2020188655A1 WO 2020188655 A1 WO2020188655 A1 WO 2020188655A1 JP 2019010952 W JP2019010952 W JP 2019010952W WO 2020188655 A1 WO2020188655 A1 WO 2020188655A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
image
user
mixed reality
display device
Prior art date
Application number
PCT/JP2019/010952
Other languages
English (en)
French (fr)
Inventor
恵 藏知
奥　万寿男
Original Assignee
マクセル株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by マクセル株式会社 filed Critical マクセル株式会社
Priority to PCT/JP2019/010952 priority Critical patent/WO2020188655A1/ja
Publication of WO2020188655A1 publication Critical patent/WO2020188655A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory

Definitions

  • the present invention relates to mixed reality (MR: Mixed Reality) display technology.
  • MR Mixed Reality
  • Patent Document 1 states that "an image display device used by being attached to an observer's head, an image forming unit that forms a virtual image as an image visible to the observer, and an image forming unit of the observer. It includes a line-of-sight detection unit that detects the position of the line of sight, and a control unit that controls the image forming unit based on the movement of the line of sight of the observer calculated from the position of the line of sight detected by the line-of-sight detection unit. The control unit is characterized in that the display position of the virtual image is changed when the movement of the line of sight is a movement approaching the virtual image (summary excerpt). ”The image display device is disclosed.
  • the present invention has been made in view of the above circumstances, and an object of the present invention is to provide an AR object display technique that reduces the burden on the user and improves usability and visibility.
  • the present invention is a mixed reality display device, and detects a change from a normal use state of a display image generation unit that generates a display image for displaying a virtual object on a display based on the line-of-sight direction of the user and a user.
  • the display change setting unit for setting the display change instruction for changing the display mode of the virtual object is provided, and the display image generation unit displays the virtual object while the display change instruction is set. It is characterized in that the display image is generated so that the aspect is changed.
  • the present invention is a mixed reality display method in which a display image for displaying a virtual object on a display is generated based on the line-of-sight direction of the user and displayed on the display, and the display mode of the virtual object is changed. It is determined whether or not the change instruction is set, and if it is set, the display image is generated so that the display mode of the virtual object is changed, and the display change instruction is the normal use state of the user. When a change from is detected, it is set.
  • (A) to (c) are explanatory views for explaining the outline of the first embodiment.
  • (A) and (b) are a hardware configuration diagram and an external view of the MR display device of the first embodiment, respectively. It is a block diagram of the MR display system of 1st Embodiment. It is a functional block diagram of the MR display device of 1st Embodiment.
  • (A) is an explanatory diagram for explaining the reference point / movement history database of the first embodiment, and (b) is an explanatory diagram for explaining the AR object database. It is explanatory drawing for demonstrating the display information database of 1st Embodiment.
  • (A) and (b) are explanatory views for explaining the AR setting user interface of the first embodiment.
  • (A) to (d) are explanatory views for explaining the mode of the change of the facial expression of the first embodiment.
  • (A) and (b) are explanatory views for explaining the display change of the AR object of 1st Embodiment.
  • It is a flowchart of AR object display control processing of 1st Embodiment. It is a flowchart of the moving data acquisition process of 1st Embodiment. It is a flowchart of the photographing object identification process of 1st Embodiment. It is a flowchart of AR object setting acceptance processing of 1st Embodiment. It is a flowchart of the display change setting process of 1st Embodiment. It is a flowchart of the display image generation processing of 1st Embodiment.
  • (A) to (e) are explanatory views for explaining the operation example of need to change the display of the modification of the first embodiment.
  • (A) to (e) are explanatory views for explaining the display change example of the modification of the first embodiment.
  • (A) and (b) are explanatory views for explaining the display change example of the modification of the 1st Embodiment. It is a flowchart of the display image generation processing of the modification of 1st Embodiment.
  • (A) and (b) are a hardware configuration diagram and an external view of the MR display device of the second embodiment, respectively. It is a functional block diagram of the MR display device of the 2nd Embodiment.
  • AR in a mixed reality (MR) display in which a virtual object (virtual object; AR (Augmented Reality) object) is three-dimensionally superimposed on a real object (real object) in real space and displayed. Controls the display of objects.
  • MR mixed reality
  • a head-mounted display device such as an HMD (Head Mounted Display) equipped with a transmissive display, which is worn by the user 300, is used for the mixed reality display. ..
  • HMD Head Mounted Display
  • the display device used in this embodiment will be referred to as a mixed reality display device (MR display device) 100.
  • MR display device mixed reality display device
  • the user 300 looks at the AR object 400 displayed on the display while looking at the real space of the background.
  • 301 is a line of sight
  • 500 is a real object in real space.
  • the AR object 400 when the AR object 400 is set in association with the real object 500, the AR object 400 is displayed at a position where it can be seen close to the associated real object 500.
  • the image of the AR object 400 is displayed by the user as shown in FIG. 1 (b). It is displayed as if it is in front of the real object 500 with respect to the direction of the line of sight 301 of the 300. In such a display, the AR object 400 shields part or all of the real object 500. Therefore, for the user 300, the AR object 400 makes it difficult to see the real object 500.
  • the user 300 when the user 300 wants to see the real object 500 rather than the AR object 400, the user 300 tends to behave differently from the normal use state (normal use state). For example, it is an action such as frowning, wrinkling between the eyebrows, thinning, changing the facial expression, moving the head to the left or right while keeping the line of sight. That is, the user 300 performs an operation indicating discomfort.
  • the MR display device 100 of the present embodiment detects the line of sight, facial expression, and movement of the user 300, determines the intention of the user 300, and when it is determined that the user 300 feels annoyed, the display state of the AR object 400 is displayed. Is changed automatically.
  • the display mode of the AR object 400 that shields the real object 500 is changed so that the real object 500 can be seen more easily.
  • FIG. 2A is a hardware configuration diagram of the MR display device 100 of the present embodiment
  • FIG. 2B is an external view.
  • the MR display device 100 includes a processing unit 110, an image camera 121, a distance measuring camera 122, a face camera 123, a display optical system (image projection unit) 141, and a transmission optical system 142.
  • the speaker 151, the microphone 152, the nose pad 116, the frame housings 119a, 119b and 119c, and the bus 106 are provided.
  • the user attaches the MR display device 100 to his / her face by using the frame housings 119a and 119b and the nose pad 116.
  • the image camera 121 is an image acquisition unit that acquires an image of the real space around the MR display device 100. In this embodiment, it is attached so as to photograph the front of the line of sight of the user 300.
  • the distance measuring camera 122 is a distance measuring unit that acquires the distance between the MR display device 100 and a real object (including a background such as a wall, ceiling, or floor) in the real space captured by the image captured by the image camera 121.
  • the distance measuring camera 122 may calculate the distance to a feature point such as the contour of a real object by a method like a stereo camera. Further, the distance may be measured by irradiating light rays two-dimensionally as in the TOF (Time of Flight) method.
  • the distance measuring camera 122 may be any as long as it can measure the distance to a real object corresponding to the image captured by the camera.
  • the face camera 123 mainly captures the face of the user 300 and detects the line of sight and facial expression. In this embodiment, in particular, an image of the face area of the user 300 including the eyes of the user 300 is acquired.
  • the display optical system (image projection unit) 141 projects a virtual object (AR object) onto the transmission optical system 142 and displays it.
  • the display optical system 141 includes a left display optical system 141a for projecting an image for confirming the AR object with the left eye, and a right display optical system 141b for projecting an image for confirming the AR object with the right eye.
  • the display optical system 141 independently projects the image for the left eye and the image for the right eye.
  • the display optical system 141 projects a pre-combined image for the left eye and an image for the right eye with one projector, and the shutter optical system displays the image for the left eye and the image for the right eye for each eye. It may be transparent. Further, an optical system using a holographic lens may be used.
  • the transmission optical system 142 displays an image and shows it to the user 300.
  • it includes a lens, a screen, and the like.
  • the user 300 can see the landscape and the real object in front through the transmission optical system 142.
  • the AR object projected from the display optical system 141 can be visually recognized as if it is at a predetermined position in the real space by the transmission optical system 142.
  • the transmission optical system 142 is also referred to as a transmission type display.
  • the processing unit 110 takes in the image of the real space taken by the image camera 121, the distance data of the real space acquired by the distance measuring camera 122, the information detected by the sensor group 131, and the like, and performs processing.
  • processing for example, an image projected by the display optical system 141 and a sound output from the speaker 151 are generated.
  • the processing unit 110 includes a CPU 101, a RAM 102, a video RAM 103, and a ROM 104. Further, the communication unit 105 and the sensor group 131 may be built in. Further, the ROM 104 may include a Program Flash ROM (FROM) for storing a program and a Data FROM for storing data.
  • FROM Program Flash ROM
  • the CPU 101 controls each part of the MR display device 100 by loading the program stored in the ROM 104 into the ROM 104 and executing the program. In addition, each function is realized. In addition, the image projected by the display optical system 141 and the sound output to the speaker 151 are generated.
  • the MR display device 100 of this embodiment is connected to the network 900 as shown in FIG.
  • the communication unit 105 connects the MR display device 100 to the external network 900.
  • the MR display device 100 is connected to the remote controller 910 and the server 920 via the network 900.
  • the server 920 on the network 900 may execute a part of the processing of the MR display device 100.
  • the remote controller 910 may accept the user operation and serve as an input unit of the user interface.
  • the input unit of the user interface may be an operation in which the touch panel is built in the processing unit 110 and the user 300 comes into contact with the touch panel. Any operation input by the user 300 may be transmitted to the CPU 101.
  • Program FROM and the Data FROM may be configured by separate memory media or may be configured by one memory medium. Further, two or more memory media may be used, or a non-volatile memory medium other than the Flash ROM may be used. Further, the Data FROM may place a part of the data on the server 920 on the network 900.
  • the processing unit 110, the image camera 121, the distance measuring camera 122, the face camera 123, the speaker 151, and the microphone 152 are arranged in the frame housings 119a, 119b, and 119c, for example, as shown in FIG. 2B.
  • the location of each device does not have to be as shown in FIG. 2 (b).
  • the sensor group 131 is a sensor such as a gyro, azimuth, position, and contact sensor.
  • the position sensor may be, for example, a GPS receiver or the like.
  • FIG. 4 is a functional block diagram of the MR display device 100.
  • the MR display device 100 of the present embodiment includes a control unit 210, a feature extraction unit 221, a distance calculation unit 222, a line-of-sight / facial expression detection unit 223, and a movement detection unit 224.
  • the control unit 210 includes a movement data update unit 212, a shooting object identification unit 213, an AR object setting reception unit 214, a display image generation unit 215, and a display change setting unit 216.
  • Each of these functions is realized by the CPU 101 loading the program stored in the ROM 104 into the RAM 102 and executing the program.
  • the ROM 104 further stores a reference point / movement history database (DB) 231, a display information database (DB) 232, and an AR object database (DB) 233 as data used for these processes.
  • DB reference point / movement history database
  • DB display information database
  • DB AR object database
  • the feature extraction unit 221 extracts feature points from the image acquired by the image camera 121.
  • the feature extraction unit 221 reads the image acquired by the image camera 121, performs feature analysis, extracts edges, and extracts the vertices and inflection points of the extracted edges as feature points.
  • the distance calculation unit 222 calculates the distance information from the MR display device 100 of the position of the designated point on the image in the real space from the image acquired by the distance measuring camera 122.
  • the line-of-sight / facial expression detection unit 223 detects the user 300's line-of-sight 301 direction and facial expression from the image acquired by the face camera 123.
  • the functions of both the line-of-sight direction detection unit and the facial expression detection unit are realized.
  • the line-of-sight detection and the facial expression recognition technique using the existing wearable device can be used.
  • the movement detection unit 224 calculates the position information and the direction information of the MR display device 100 based on the data acquired by the sensor group 131.
  • the movement detection unit 224 calculates the position information and the direction information using, for example, data obtained by a GPS receiver, an acceleration sensor, a gyro sensor, or the like.
  • the absolute coordinates and the angle with respect to the reference direction are calculated at the timing instructed to calculate.
  • the amount of displacement and the displacement angle from a predetermined reference position may be calculated.
  • the movement data update unit 212 acquires the current position information of the MR display device 100 and the like at predetermined time intervals, and registers the reference point / movement history DB 231. Generally, the entire MR space is wider than the shooting range of the image camera 121 of the MR display device 100.
  • the user 300 acquires an image while moving in the MR space, and joins the acquired images based on the position, height, and direction information of the MR display device 100 to generate a background image. In this way, since the current position of the MR display device 100 is constantly moving, the movement data update unit 212 acquires the current position information and grasps the relative positional relationship between the MR display device 100 and the real object 500. ..
  • the movement data update unit 212 detects the current position information including the height and the shooting direction of the MR display device 100, and stores the reference point / movement history database 231 as the position information and the direction information, respectively. sign up.
  • the position information and the direction information are obtained by the movement detection unit 224 based on the output of the sensor group 131.
  • each record registered in the reference point / movement history database 231 includes a time 231b and position and direction information 231c. Each record is registered in association with the position ID 231a in order to uniquely identify it.
  • Time 231b is the time when the data that is the basis for calculating the position information and the direction information is acquired.
  • the position and direction information 231c is the position information and the direction information of the MR display device 100 calculated by the movement detection unit 224.
  • the position information of the position and direction information 231c is represented by the difference from the position information of the reference point.
  • the direction information is represented by, for example, an angle formed with the normal direction at the reference point in the normal direction of the sensor surface (the front surface of the line of sight of the user 300) of the image camera 121.
  • the normal direction of the reference point shall be an angle formed with a predetermined reference direction. In the present embodiment, for example, it is represented by two angles, a horizontal azimuth angle and a vertical elevation angle.
  • (r1, ⁇ 1, ⁇ 1) (distance, horizontal angle, vertical angle).
  • ( ⁇ 1, ⁇ 1) indicates the shooting direction.
  • ( ⁇ 1, ⁇ 1) (horizontal angle, vertical angle).
  • (position, direction) ⁇ (0,0,0), (0,0) ⁇ is registered as the value of the reference point data (PBase), and the position information is displayed in the local coordinate system. Indicates the case of registration.
  • the position information of the reference point may be represented by, for example, an absolute coordinate system calculated using GPS data or the like.
  • the movement data update unit 212 uses the position information and direction information to be registered first as reference point data. After that, every time the position information and the direction information are obtained, the difference from the reference point data is registered in the position and direction information 231c in association with the acquisition time (time 231b).
  • the photographing object specifying unit 213 is a photographing object specifying unit that specifies an area of the real object 500 on the image to be processed as a photographing object.
  • feature extraction is performed on the image to be processed, the shape and arrangement area of the real object on the image are specified, and the object is registered in the display information database 232 as a photographed object.
  • the photographing object identification unit 213 associates the distance data calculated by the distance calculation unit 222 with each feature point extracted by the feature extraction unit 221, and shapes and arranges the real object 500 on the image. To identify. Furthermore, the type of the shooting object whose shape is specified is specified. The type is specified, for example, by evaluating the difference from the previous analysis result and categorizing a set of feature points having a significant difference in the evaluation result by an existing method.
  • the real object 500 is treated as photographed object data in the MR display device 100.
  • the wall of the room, the landscape in the distance, etc. are registered as the captured objects constituting the background.
  • FIG. 6 is a diagram showing an example of the display information database 232.
  • the information of the specified shooting object (shooting object information 232p) and the AR object associated with the shooting object are stored for each image, that is, for each position ID 232a. If there is, the information of the AR object (AR object information 232r) and the information are registered.
  • the shooting object information 232p As the shooting object information 232p, the name of the shooting object (Object232b) and the information for specifying the feature points constituting each shooting object are stored.
  • the information for identifying the feature point includes the feature point name 232c, the depth information of the placement position (Disstance 232d), and the direction information of the placement position (Direction 232e).
  • AR object information 232r the AR object specifications and the presence / absence of a change instruction are stored.
  • identification information of the AR object (ARID232f of the linked AR) and information indicating a display mode with respect to the display position of the photographed object are registered.
  • the information indicating the display mode includes, for example, an offset distance (Offset232g) from a feature point as a reference for display, a display size (size 232h), a rotation amount 232i, and information indicating display / non-display (non-display 232j).
  • Offset232g an offset distance from a feature point as a reference for display
  • a display size size 232h
  • rotation amount 232i information indicating display / non-display
  • Non-display 232j information indicating display / non-display
  • the AR object specification is registered by adding the amount of movement from the previous position ID 232a to the AR object 400 associated with each shooting object of the previous position ID 232a.
  • each of the above information is registered for each position ID 232a.
  • the value will be different depending on the movement of the MR display device 100. ..
  • the difference between these values is due to the movement of the MR display device 100.
  • the position ID 232a may register a photographing object corresponding to the real object 500 newly appearing in the real space.
  • the AR object setting reception unit 214 receives the setting of the AR object 400 to be displayed.
  • the user 300 sets the AR object 400 to be displayed at a desired timing.
  • the AR object 400 is set via the AR setting UI (user interface; User Interface).
  • the AR setting UI610 includes, for example, a setting menu 611, a submenu 612 such as an object list, and an edit menu 613.
  • the AR object setting reception unit 214 controls these displays according to the instruction of the user 300.
  • the AR object setting receiving unit 214 displays the setting menu 611 shown in FIG. 7A.
  • the real object 500 is selected, for example, by the cursor 630, the line of sight, or the like.
  • the position of the cursor 630 on the transmission optical system 142 is the position where the area corresponding to the real object 500 is displayed when the image is tentatively displayed on the transmission optical system 142. In the case, it is assumed that the real object 500 is selected.
  • the AR object setting reception unit 214 displays the submenu 612 of the object list which is a list of the AR objects 400 that can be set.
  • the configurable AR object 400 is held in, for example, the ROM 104. Alternatively, it may be obtained from the server 920.
  • the settable AR object 400 is registered in advance in the AR object database 233.
  • an example of the AR object database 233 is shown in FIG. 5 (b).
  • each record of the AR object database 233 includes an identification number (AR object ID 233a) uniquely assigned to the AR object 400 for each AR object, a name 233b, and image data 233c.
  • the image data 233c may be stored in another location. In this case, the image data 233c stores access information to the storage location of the image data.
  • the image data may be generated mainly by processing such as drawing by the CPU 101 in the MR display device 100, or may be in the form of executing another application and importing the image data generated by the application.
  • the AR object setting reception unit 214 registers the identification information (AR object ID 233a) of the selected AR object 400 in the display information database 232 as the ARID 232f of the associated AR in association with the associated object. To do.
  • the AR object setting receiving unit 214 further accepts the selection of other parameters (display specifications) such as the arrangement position, size, attitude, display / non-display of the AR object 400 by another submenu 612, and these Is registered as Offset 232g, size 232h, rotation amount 232i, and non-display 232j of the display information database 232.
  • display specifications such as the arrangement position, size, attitude, display / non-display of the AR object 400 by another submenu 612, and these Is registered as Offset 232g, size 232h, rotation amount 232i, and non-display 232j of the display information database 232.
  • the AR object setting reception unit 214 displays the edit menu 613.
  • the editing instruction is received, for example, by clicking on the AR object 400 to be edited.
  • the AR object setting reception unit 214 registers the instruction from the user 300 received via the edit menu 613 in the corresponding item of the AR object specification of the display information database 232. At this time, the latest position ID 232a at that time is registered in association with the nearest feature point.
  • the deletion instruction is received via the edit menu 613 or the like, the record of the corresponding AR object in the display information database 232 is deleted.
  • the AR object setting reception unit 214 registers the latest data as an AR object specification in the display information database 232 each time the AR object 400 is set and updated (edited).
  • the timing of setting and updating the AR object 400 may be performed without synchronizing with the shooting object specifying process by the shooting object specifying unit 213. Therefore, the update of the display information database 232, that is, the registration timing of the latest position ID 232a and the registration / update timing of the AR object specifications of the linked AR do not always match.
  • the AR object specification of the AR object 400 registered in the ARID 232f of the latest linked AR is registered.
  • the display change setting unit 216 interprets the operation of the user 300 and determines whether or not the display of the AR object 400 needs to be changed. Then, when it is determined that the display change is necessary, the display change instruction for instructing the display change is set in the record of the corresponding AR object in the display information database 232. In the present embodiment, the display change instruction is registered in the change 232k column of the corresponding AR object of the linked AR of the latest position ID 232a.
  • the display change mode when the display change instruction is set in the change 232k column is determined in advance.
  • the display change method is determined, for example, for each linked AR or for each shooting object. The specific mode of changing the display will be described later.
  • the operation of the user 300 that the display change setting unit 216 determines that the display change is necessary is, for example, a change in the facial expression of the user 300.
  • the display change setting unit 216 determines whether or not the facial expression of the user 300 has changed from the normal facial expression according to the output of the line-of-sight / facial expression detection unit 223.
  • a display change instruction is set in the display information database 232.
  • FIG. 8A is a standard facial expression (standard facial expression).
  • the viewpoint is where the lines of sight of the black eyes of both eyes intersect at one point. The selection by the line of sight assumes that the AR object 400 is recognized and selected when this viewpoint is on the AR object 400.
  • the line-of-sight / facial expression detection unit 223 detects the facial expression of the user 300 in a state such as before displaying the AR object 400, and holds it in the ROM 104 in advance as a standard facial expression. Then, each time the face camera 123 acquires a face image, the line-of-sight / facial expression detection unit 223 cuts out an image of the region near both eyes of the face image, compares it with a standard facial expression, and when the amount of change is equal to or greater than a predetermined value, the facial expression It is determined that there is a change in.
  • FIGS. 8 (b) to 8 (d) Examples of facial expressions when it is determined that there is a change in facial expression are shown in FIGS. 8 (b) to 8 (d).
  • FIG. 8B is a facial expression in which both eyes are detailed.
  • FIG. 8C shows a facial expression with wide open eyes.
  • FIG. 8D is a facial expression of a horizontal eye.
  • the display mode of the AR object 400 is changed. Therefore, information that can identify the facial expression (removal instruction facial expression) to be performed when the user 300 feels annoyed is stored in the ROM 104 or the like in advance, and when a facial expression having a high degree of matching with the removal instruction facial expression is detected, the display is changed.
  • the setting unit 216 may be configured to set the display change instruction in the display information database 232.
  • the display change setting unit 216 detects this release instruction from the outputs of the feature extraction unit 221 and the distance calculation unit 222 that analyze the outputs of the image camera 121 and the distance measuring camera 122, respectively.
  • the display change setting unit 216 cancels (deletes, deletes) the display change instruction of the record of the AR object to be instructed in the display information database 232.
  • the original display may be restored without any instruction from the user 300.
  • the display change setting unit 216 starts timing after outputting the display change instruction, and cancels (deletes or deletes) the display change instruction of the display information database 232 when a predetermined time elapses.
  • the display image generation unit 215 generates the display image of the AR object registered in the display information database 232 by the AR object setting reception unit 214.
  • a display image is generated using the AR object specifications of the image data 233c registered in the AR object database 233 and the latest position ID 232a registered in the display information database 232.
  • the generated video data is stored in the video RAM 103.
  • the display optical system (image projection unit) 141 reads out from the image RAM 103 and projects it onto the transmission optical system 142.
  • the display image generation unit 215 displays the AR object 400 so that the display mode of the AR object 400 is different from the normal display mode when the display change instruction is set by the display change setting unit 216 at the time of displaying the display image. Generate video. As a result, the display of the AR object 400 is changed.
  • FIG. 9A when the AR object 400 associated with the real object 500 is displayed in front of the real object 500, it is shown in FIG. 9B.
  • the AR object 400 is made transparent. That is, the parameters such as the display color of the AR object 400 are changed.
  • FIG. 10 is a processing flow of the AR object display control process. This process is performed every time the image camera 121 acquires an image after the MR display device 100 is activated.
  • the shooting object specifying unit 213 specifies the area of the shooting object in the acquired image and performs the shooting object specifying process to be registered in the display information database 232 (step S1102).
  • the specified shooting object area is stored in the display information database 232 in association with the position ID 231a (232a) generated in step S1101.
  • the display image generation unit 215 generates a display image of the AR object 400, performs a display image generation process for displaying (step S1103), and ends the process.
  • the display image generation unit 215 sets the AR object 400 specified by the ARID 232f of the associated AR registered in association with the latest position ID 232a of the display information database 232 as the display image according to the settings of this database.
  • the display change signal is set to the change 232k, the display image is generated so that the AR object 400 is displayed in the predetermined changed mode.
  • the control unit 210 repeats the AR object display control process every time the image camera 121 acquires an image. It may be started by the AR object display control process or the capture of the video (moving image) acquired by the image camera 121 at a predetermined time interval.
  • FIG. 11 is a processing flow of the moving data acquisition process of the present embodiment. This process is a process of newly registering the position and direction of the MR display device 100 detected by the sensor group 131 in the reference point / movement history database 231.
  • the movement data update unit 212 acquires position information and direction information from the movement detection unit 224 together with the acquisition time (step S1201).
  • the movement data update unit 212 registers the position information and the direction information acquired in step S1201 in the reference point / movement history database 231 as the reference point data (step). S1203), the process is terminated.
  • the movement data update unit 212 registers each of the position information and the direction information acquired in S1201 as reference point data in the reference point / movement history database 231. The difference between the position information and the direction information 231c and the position information and the direction information is calculated (step S1204).
  • the movement data update unit 212 registers the calculated result as position and direction information (step S1205), and ends the process.
  • the acquisition time is registered at time 231b.
  • the position ID 231a that is automatically and uniquely assigned is associated with the registration.
  • FIG. 12 is a processing flow of the photographing object identification process of the present embodiment.
  • the shooting object identification unit 213 causes the feature extraction unit 221 to extract feature points from the image acquired by the image camera 121 (step S1301).
  • the shooting object identification unit 213 obtains the distance data of each feature point by associating the distance data calculated by the distance calculation unit 222 with each feature point (step S1302).
  • the photographing object identification unit 213 already uses the distance data associated with each feature point in step S1302 and the distance 232d of each feature point registered in the display information database 232 in association with the previous position ID 232a.
  • the shooting object is specified by the evaluation according to the above method (step S1303).
  • the feature points constituting the shooting object are specified, and the attribute information of each shooting object, for example, the type and the like are specified.
  • the attribute information is stored in the ROM 104 or the like in advance in association with the distribution shape of the feature points, and the attribute information having a high degree of matching is extracted from the search.
  • the data used for specifying the attribute information may be stored in the server 920 or the like.
  • the shooting object specifying unit 213 uniquely assigns an object name 232b to each of the specified shooting objects, registers the object name in the display information database 232 (step S1304), and ends the process.
  • the object name 232b and the feature point group constituting the photographed object are registered for each photographed object.
  • the distance 232d and the direction 232e are registered.
  • the same object name 232b is assigned to the same shooting object as the shooting object registered in association with the previous position ID 232a. Also, for the specifications of the AR object 400 associated with each shooting object, the value to be registered by the above method is calculated and registered.
  • the AR object setting reception unit 214 first determines whether or not the target of the setting instruction operation is the real object 500 (step S1401). Here, the position and direction information of the MR display device 100 and the area of each photographing object are used for discrimination. The area of the shooting object is determined by the feature points constituting each shooting object held in the display information database 232.
  • the AR object setting reception unit 214 displays the setting menu 611 in the area where the setting instruction operation is performed (step S1402). This is because when the shooting object is selected, the user 300 wants to newly set the AR object 400 in association with the real object 500 corresponding to the shooting object.
  • the AR object setting reception unit 214 displays each submenu 612 according to the instruction from the user 300, and receives the display specifications of the newly set AR object 400 from the user 300 (step S1403).
  • steps S1402 and S1403 the photographed object to be linked, the feature point name 232c of the feature point to be linked, the ID of the AR object (ARID232f), and the display position (offset amount from the feature point to be linked) (Offset232g).
  • the display size (size 232h), the rotation amount 232i, and the display / non-display instruction (non-display 232j) are accepted.
  • the AR object setting reception unit 214 registers the received display specifications of the AR object 400 in the display information database 232 as AR object specifications (step S1404), and ends the process.
  • the AR object setting reception unit 214 determines whether or not the target of the setting instruction operation is the AR object 400 (step S1405).
  • the AR object setting reception unit 214 displays the edit menu 613 in the area where the setting instruction operation is performed (step S1406). Further, in the display information database 232, the AR object 400 whose setting instruction has been operated is specified (step S1407).
  • the specified AR object is called an operation target AR object.
  • the AR object 400 is specified based on the display position of the AR object 400.
  • the AR object setting receiving unit 214 receives the display specification change instruction (specification change) via the edit menu 613 (step S1408), the AR object specification of the operation target AR object in the display information database 232 has been accepted. The change is reflected (step S1409), and the process ends.
  • the AR object setting receiving unit 214 ends the process as it is.
  • FIG. 14 is a processing flow of the display change setting process of the present embodiment. This process is executed at predetermined time intervals while the AR object 400 is displayed.
  • the display change setting unit 216 determines whether or not there is an AR object in the line-of-sight 301 direction of the user 300 (step S1501). If not (S1501; No), the determination is continued as it is.
  • the data of the display information database 232 and the output of the line-of-sight / facial expression detection unit 223 are used for discrimination. That is, with reference to the display information database 232, it is determined whether or not there is an AR object 400 displayed in the intersection region between the line-of-sight 301 direction and the transmission optical system 142.
  • the AR object is specified (step S1502).
  • ARID232f which is the identification information of the specified AR object, is extracted.
  • the display change setting unit 216 determines whether or not the facial expression of the user 300 has changed from the standard facial expression (step S1503).
  • the display change setting unit 216 sets a display change instruction in the change 232k of the AR object ID (ARID232f) extracted in step S1502 (step S1504). On the other hand, if it is not determined that there is a change in facial expression, the process of S1504 is skipped.
  • the display change setting unit 216 determines whether or not the release instruction has been accepted (step S1505).
  • step S1505 When the release instruction is received (S1505; Yes), the display change setting unit 216 deletes the display change instruction of the change 232k of the AR object ID (ARID232f) (step S1506). On the other hand, if the release instruction is not accepted, the process of step S1506 is skipped.
  • the display change setting unit 216 repeats the above processing while at least one AR object 400 is displayed. Therefore, the display change setting unit 216 determines whether or not the AR object 400 is displayed (step S1507), and if it is determined that no AR object 400 is displayed (S1507; No), the process is performed. To finish. On the other hand, if at least one AR object is displayed (S1507; Yes), the process returns to step S1501.
  • FIG. 15 is a processing flow of the display image generation process of the present embodiment.
  • the display image generation unit 215 of the present embodiment generates a display image based on the latest information registered in the display information database 232.
  • the display information database 232 is constantly updated by the shooting object identification unit 213, the AR object setting reception unit 214, and the display change setting unit 216.
  • the number of shooting objects registered in the latest position ID 232a of the display information database 232 is K.
  • K is an integer greater than or equal to 1.
  • each photographed object is numbered sequentially in the order of registration in the display information database 232.
  • Each is called the kth shooting object.
  • the number of AR objects registered in association with the kth shooting object is Mk (Mk is an integer of 0 or more). Then, serial numbers are assigned in the order of registration in this database, and they are called mkth AR objects.
  • the display image generation unit 215 determines whether or not Mk is 0 (step S1602). When Mk is 0, it means that there is no AR object registered in association with the k-th photographed object of the latest position ID 232a in the display information database 232.
  • step S1603 when Mk is 1 or more (S1602; No), in order from the first (step S1603), the display data of the AR object 400 registered in association with the kth shooting object is generated.
  • the display image generation unit 215 extracts the specifications of the mkth AR object 400 from the display information database 232 (step S1604).
  • step S1605 it is determined whether or not the display / non-display (non-display 232j) setting of the specifications of the mkth AR object 400 is non-display. If it is hidden (S1605; Yes), the process proceeds to step S1611 described later.
  • the display image generation unit 215 considers the line-of-sight 301 direction of the user 300, the distance to the real object 500 corresponding to the photographed object to be linked, and the like, and the AR object 400 on the other hand, enlargement / reduction and rotation processing are performed (step S1606).
  • the line-of-sight 301 direction of the user 300 is detected by the line-of-sight / facial expression detection unit 223.
  • the display image generation unit 215 calculates the distance relationship with the real object 500 corresponding to the photographed object associated with the AR object 400 according to the information registered in the display information database 232 (step S1607).
  • the display image generation unit 215 determines the display mode of the AR object 400 according to the calculated distance relationship (step S1608).
  • the area in which the real object 500 is in front is hidden from the area of the AR object 400.
  • Perform the process of The process of hiding may be a process of increasing the transmittance.
  • the display image generation unit 215 determines whether or not a display change instruction is set for the AR object 400 currently to be processed (step S1609). Here, it is determined whether or not the display change instruction is set in the change 232k of the display information database 232.
  • the display image generation unit 215 performs a predetermined display change process on the AR object 400 (step S1610).
  • step S1611 it is determined whether or not the processing of all AR objects has been completed. If there is an unprocessed AR object, the process is repeated from step S1604 for the next AR object (step S1612).
  • step S1613 it is determined whether or not there are unprocessed shooting objects. If there is an unprocessed shooting object, the processing is repeated from step S1602 for the next shooting object (step S1614).
  • the MR display device 100 of the present embodiment generates a display image for displaying the AR object 400, which is a virtual object, on the display (transmission optical system 142) based on the line-of-sight direction of the user 300. It includes a generation unit 215 and a display change setting unit 216 that detects a change from the normal use state of the user 300 and sets a display change instruction for changing the display mode of the AR object 400 in the display information database 232. Then, the display image generation unit 215 changes the display mode of the AR object 400 to a predetermined mode and displays the AR object 400 while the display change instruction is set.
  • the display of the AR object 400 is changed so as not to interfere with the visual recognition of the real object 500. ..
  • Such a change in the display of the AR object 400 is performed when the user 300 detects an operation indicating discomfort. That is, the intention of the user 300 is taken from the change in the state of the user 300 and the display is changed without the intentional operation instruction by the user 300.
  • the display mode of the AR object 400 changes only by giving a facial expression that is normally shown. That is, the user 300 does not need to perform any special operation in order to change the obstructive display.
  • the present invention is not limited to this. If the AR object 400 is in a position that hinders the visibility of the real object 500 when viewed from the user 300, the present embodiment can be applied even when the AR object 400 is displayed in a position other than the position where the real object 500 can be seen in close proximity.
  • the display change setting unit 216 registers the display change instruction.
  • the operation of the user 300 for setting the display change instruction is not limited to this.
  • the AR object 400 In the direction of the user 300's line of sight 301, when the AR object 400 is displayed in front of the real object 500, it may be an operation that the real object 500 wants to see, or the AR object 400 feels annoying or uncomfortable. Just do it.
  • the user 300 is gazing at the position where the AR object 400 is displayed (the line of sight 301 is facing), but the line of sight moves left / right / up / down / diagonally.
  • the face is frowned, wrinkles are formed between the eyebrows, the size of the eyebrows and eyes is changed, and the MR display device 100 is moved.
  • the display change setting unit 216 detects the operation requiring display change. It is determined that it has been done. Then, the display change instruction is set.
  • Whether or not the viewpoint is fixed is determined by the output from the line-of-sight / facial expression detection unit 223. Further, the movement of the head is determined by the output of the movement detection unit 224.
  • a gyro sensor detects the vertical and horizontal rotational movements of the head of the user 300 wearing the MR display device 100 by a known method.
  • the rotation operation amount is calculated at an angle formed with respect to the reference direction with the front direction of the user 300 before the operation as the reference direction. When the calculated rotational movement amount exceeds the threshold value, it is determined that the movement movement of the head is detected.
  • the display change setting unit 216 detects the operation of changing the arrangement position of the mounted MR display device 100 by the user 300, the operation requiring the display change is detected. It may be determined and a display change instruction may be set.
  • the arrangement position change operation of the MR display device 100 is an operation in which the user 300 lifts, lowers, moves, etc. with his / her hand 303.
  • the display change setting unit 216 determines the arrangement position change operation of the MR display device 100 from the output of the movement detection unit 224. For example, in the sensor group 131, the presence or absence of the arrangement position change operation of the MR display device 100 is determined based on the output from the acceleration sensor, the output from the contact sensor, and the like.
  • the display change setting unit 216 may determine whether or not the operation requiring the display change has been performed by the change in the facial expression of the entire face other than the eyes. For example, as shown in FIGS. 16 (c) and 16 (d), facial expressions such as frowning and wrinkles between the eyebrows are detected.
  • the display change setting unit 216 may determine that the operation requiring the display change is detected. Good.
  • the operation requiring display change may be detected by voice.
  • a voice recognition unit 227 that recognizes the voice of the user 300 received by the microphone 152 is further provided.
  • the display change setting unit 216 determines that the operation requiring the display change has been detected.
  • the preset voice is, for example, a tongue-in-cheek, "that?", “Invisible", or the like.
  • the operation requiring the display change including the above-mentioned change in facial expression, may be learned by accumulating the operations determined to have been processed by correctly grasping the intention of the user 300, and the accuracy may be improved.
  • the threshold value for discriminating is set large in the initial state. Then, if the determination that the operation requires display change is in line with the intention of the user 300 (success), the threshold value is registered. On the other hand, in the case of unsuccessfulness, the threshold value is reduced by a predetermined amount and used for the next discrimination.
  • Success or failure is determined by, for example, the time until the subsequent reception of the cancellation instruction from the user 300. If the change in facial expression is not an operation that requires a display change, the user 300 immediately gives a release instruction when the display is changed because it is an unintended process.
  • the display change setting unit 216 determines that the judgment is unsuccessful. Then, the threshold value is changed. On the other hand, if the cancellation instruction is not received within the elapsed time, it is determined that the determination is successful. Then, the amount of change used at the time of discrimination is registered as the threshold value to be used next time.
  • the successful facial expression itself may be registered. Then, the display change setting unit 216 collates the registered facial expression with the facial expression of the user 300, and if the degree of similarity is equal to or higher than a predetermined value, determines that there is an operation requiring display change.
  • the MR display device 100 further includes a storage database that stores operations or facial expressions that require display changes.
  • the display change setting unit 216 changes the display of the AR object 400 every time the user 300 performs an operation different from the operation during normal use. Then, the success or failure is determined, and if unsuccessful, the operation is registered in the storage database together with a flag indicating unsuccessfulness. On the other hand, if it succeeds, the operation is registered in the storage database together with a flag indicating that the operation requires display change.
  • the display change setting unit 216 collates the detected operation with the accumulation database every time the user 300 performs an operation different from the normal operation, and if it is registered with the unsuccessful flag, sets the display change instruction. Do not do. On the other hand, if it is registered with the success flag, the display change instruction is set. If it is not registered, a display change instruction is set.
  • the display change setting unit 216 first refers to the storage database. Then, if the detected voice is not registered in the storage database or is registered with the success flag, the display change is set. On the other hand, if it is registered with the unsuccessful flag, the display change is not set.
  • the display change instruction when the display change instruction is registered, the display is changed to make the AR object 400 displayed so as to be visible in front of the real object 500 transparent.
  • the mode of display change is not limited to this.
  • the visibility of the AR object 400 may be reduced, and may include, for example, at least one process of moving the display position of the AR object, changing the display shape, and changing the display attribute.
  • the display position of the AR object 400 may be changed as if it were moved.
  • the user 300 is displayed so as to be visible at the back position of the real object 500 with respect to the direction of the line of sight 301.
  • the display image generation unit 215 generates the display image so that the area overlapping the real object 500 of the AR object 400 is not displayed.
  • the display specifications may be changed.
  • the display image generation unit 215 generates a display image so that the display brightness and the amount of projected light of the AR object 400 are reduced and the transmittance of the AR object 400 is increased.
  • the color of the AR object 400 may be adjusted to display monochrome, or the display color may be converted to a color having low visibility.
  • the display image generation unit 215 may generate a display image in which the display size of the AR object 400 is reduced.
  • the display position may also be moved to a position that can be seen in the vicinity of the real object 500.
  • the display of the AR object 400 may be moved.
  • the display image is generated so that the AR object 400 is displayed by giving a movement that seems to be turning in the vicinity of the real object 500.
  • the display image generation unit 215 maintains the display position of the AR object 400 and hides (cuts) the area overlapping the frontmost surface of the real object 500. Video may be generated.
  • the playback may be stopped.
  • an object 420 that accepts a playback start instruction may be displayed as a release instruction in the vicinity of the moving image content 410.
  • the focal position of the AR object 400 may be shifted from the transmission optical system 142.
  • the AR object 400 may be moved out of the line-of-sight area.
  • the AR object may be partially displayed (including a mesh-like or dot-like display).
  • a display image that not only reduces the visibility of the AR object 400 but also enhances the visibility of the real object may be generated.
  • a display image may be generated so that the pop-up image 430 explaining the real object 500 is displayed at a position close to the real object 500.
  • FIG. 18B when a plurality of AR objects 400 (401, 402, 403) are superimposed and displayed in the direction of the user 300's line of sight 301, the display order of the AR objects 400 is displayed for each display change instruction. May be changed to.
  • the display image generation unit 215 changes the display order to 402, 403, Generate the display image changed to 401. Further, when the display change instruction is registered, the display image in which the display order is changed to 403, 401, 402 is generated.
  • the AR object 400 is described by taking as an example the one registered in association with the real object 500.
  • the AR object 400 is not necessarily limited to the one associated with the real object 500.
  • the application may be a menu screen, an icon indicating an application, an alert such as a warning or notification, a pop-up menu, a window, an object called and placed by the application, or the like.
  • the window may be, for example, an email display, a call screen, a map, a screen of an application in use, or the like.
  • the objects called and arranged by the application include, for example, an object displayed when the furniture under consideration for purchase in the shopping application is arranged as an AR object in the own room.
  • the display position on the transmission optical system 142 is predetermined as in the AR setting UI 610 of the above embodiment.
  • the display position may be registered in association with the background, for example. Further, it may be registered with the coordinates of the mixed reality space.
  • a display position database for setting the display position on the transmission optical system 142 of each AR object is used instead of the display information database 232.
  • the record of this display position database is updated according to the setting and editing via the AR setting UI610.
  • the display change instruction and the release instruction are managed in this display position database.
  • the display image generation unit 215 accesses the display position database together with the display information database 232 at predetermined time intervals, and generates a display image based on the data registered in these databases.
  • the MR display device 100 displays the notification icon as an AR object 400. Then, when it is detected that the user 300 has visually recognized the notification icon, the body of the e-mail is displayed. Further, when it is detected that the line of sight of the user 300 is separated from the mail body, the displayed mail body is deleted.
  • the display change setting unit 216 detects that the line of sight of the user 300 is off while the mail body is displayed, the display change setting unit 216 registers the display change instruction.
  • FIG. 19 shows the flow of the display image generation process by the display image generation unit 215 in this case.
  • the processing when an email is received will be described as an example. This process is started when an email is received from the server 920.
  • the display image generation unit 215 generates a display image so that the notification icon is displayed as the AR object 400 (step S1701).
  • the notification icon is an icon for notifying the receipt of an email. As a result, the notification icon is displayed.
  • the display image generation unit 215 generates a display image so that the notification icon is displayed at a predetermined display position.
  • the display image generation unit 215 When the line-of-sight / facial expression detection unit 223 detects that the user 300 has visually recognized the displayed notification icon (step S1702), the display image generation unit 215 generates a display image so that the body of the mail is displayed (step S1702). S1703).
  • the display change setting unit 216 determines whether or not the line of sight of the user 300 is off (line of sight departure) at predetermined time intervals independently of the display image generation process. .. Then, when it is determined that the line of sight is out of sight, the display change setting unit 216 sets the display change instruction in the display position database, assuming that the line of sight is detected.
  • the display image generation unit 215 accesses the display position database, and confirms whether or not a display change instruction, that is, line-of-sight withdrawal is detected, at predetermined time intervals (step S1704). Then, when it is detected that the display change instruction is set, that is, when the line-of-sight departure is detected, the display of the mail body is erased (step S1705), and the process ends.
  • a display change instruction that is, line-of-sight withdrawal is detected
  • the image camera 121 receives an instruction from the user 300 and starts acquiring an image.
  • the image camera 121 may start acquiring an image when the MR display device 100 is activated.
  • the instruction from the user 300 may be a login operation by the user 300.
  • the identification information (user ID) of the user 300 and the password are associated and registered. These information may be the ROM 104 of the MR display device 100, or may be the storage device of an external device such as the server 920 connected via the network 900.
  • user-specific settings may be further registered in association with the user ID and the like.
  • Examples of the user-specific setting include settings related to display such as brightness, contrast, color scheme, font size, and menu display position that are easy for the user 300 to see.
  • the face camera 123 and the line-of-sight / facial expression detection unit 223 are used to call up the line-of-sight and facial expression data of the user detected in the past and use it for facial expression determination of display change processing.
  • icons such as the user's name and avatar may be displayed.
  • the AR object display control process is started when the image camera 121 acquires an image.
  • the trigger for starting the AR object display control process is not limited to this. For example, it may be performed at predetermined time intervals. For example, when the image camera 121 continues to shoot a moving image at 30 fps (frame per second), the captured image is captured at the timing when the AR object display control process is started.
  • the release instruction is a predetermined operation, but is not limited to this. For example, when a facial expression change is detected from the facial expression (standard facial expression) of FIG. 8 (a), a display change instruction is set, and then when a facial expression change is detected from the standard facial expression of FIG. 8 (a), a display change instruction is given. A toggle operation such as canceling may be performed.
  • the MR display device 100 includes an image camera 121 and a distance measuring camera 122, and obtains a distance between a surrounding image and a surrounding object.
  • a 3D camera is provided instead of these cameras.
  • the display system also includes an optical shutter and a flat display instead of the display optical system 141 and the transmission optical system 142. That is, in the present embodiment, the image acquired by the 3D camera and the AR object are superimposed and displayed on the display.
  • FIG. 20A is a hardware configuration diagram of the MR display device 100a of the present embodiment
  • FIG. 20B is an external view of the MR display device 100a.
  • the MR display device 100a includes a processing unit 110, a 3D camera 124, a face camera 123, an optical shutter 143, a flat display 144, a speaker 151, a microphone 152, and a nose pad 116. And the frame housings 119a, 119b and 119c. The configuration having the same name as the first embodiment will not be described here.
  • the 3D camera 124 includes a pair of left and right camera elements 124a and 124b.
  • the 3D camera 124 obtains a captured image having left-right parallax and parallax information by these camera elements 124a and 124b. From the parallax information, position information such as the distance of the real object 500 and the background in the captured image can be obtained.
  • the flat display 144 projects an image obtained by combining the captured image acquired by the pair of camera elements 124a and 124b and the image of the AR object 400 by the processing unit 110.
  • the optical shutter 143 controls the transmission and non-transmission of light by applying a voltage. Specifically, it is configured to be opaque when no voltage is applied and transparent when a voltage is applied. For example, it is realized by superimposing elements that transmit only linearly polarized light in a predetermined polarization direction when no voltage is applied so that the polarization directions are orthogonal to each other.
  • FIG. 21 is a functional block diagram of the MR display device 100a of the present embodiment.
  • the MR display device 100a basically has the same configuration as the MR display device 100 of the first embodiment.
  • the feature extraction unit 221 is not provided. Instead, it includes an object detection unit 225 and a shutter control unit 226. Further, the processing of the distance calculation unit 222 and the display image generation unit 215 is different.
  • the function of the MR display device 100a will be described with a focus on a configuration different from that of the first embodiment.
  • the object detection unit 225 extracts features from the captured images (element images) of the camera elements 124a and 124b, respectively. Then, the shooting object in the shot video is specified based on the extracted feature points.
  • the photographing object is an area corresponding to the real object 500 in the real space.
  • the shutter control unit 226 controls the operation of the optical shutter 143.
  • the application / non-application of voltage is controlled, and the transmission / non-transmission is controlled.
  • the distance calculation unit 222 of the present embodiment calculates the distance between the actual object and the background in the captured image by the parallax between the image of the left visual line obtained by the camera element 124a and the image of the right visual line obtained by the camera element 124b.
  • the display image generation unit 215 synthesizes the image acquired by the 3D camera 124 and the image of the AR object to generate the display image.
  • the method of generating the image of the AR object is the same as that of the first embodiment.
  • the image of the left visual line obtained by the camera element 124a and the image of the right visual line obtained by the camera element 124b are displayed in synchronization with the operation of the optical shutter 143 to reflect the depth and the like.
  • the first embodiment it is possible to provide an AR object display technology that suppresses the burden on the user 300, improves usability, and improves visibility, as in the first embodiment.
  • parallax information is obtained from images acquired by a pair of left and right cameras, and the distance is calculated, so that a distance camera is not required. Therefore, the above effect can be obtained with a simpler configuration.
  • an optical shutter 143 and a flat display 144 are used as the display system. Therefore, it is not limited to the head-mounted display device.
  • it may be a portable information display device such as a smartphone.
  • the optical shutter 143 and the flat display 144 may be used instead of the display optical system 141 and the transmission optical system 142.
  • the portable information display device can also be used in the first embodiment.
  • the display optical system 141 and the transmission optical system 142 may be used instead of the optical shutter 143 and the flat display 144.
  • each database may be set for each user 300.
  • information that identifies the user 300 is added to each database.
  • the present invention is not limited to the above-described embodiments and modifications, and includes various modifications.
  • the above-described embodiments and modifications have been described in detail in order to explain the present invention in an easy-to-understand manner, and are not necessarily limited to those having all the described configurations.
  • each of the above configurations, functions, processing units, processing means, etc. may be realized by hardware by designing a part or all of them by, for example, an integrated circuit. Further, each of the above configurations, functions, and the like may be realized by software by the processor interpreting and executing a program that realizes each function. Information such as programs, tables, and files that realize each function can be placed in a memory unit, a hard disk, a recording device such as an SSD (Solid State Drive), or a recording medium such as an IC card, SD card, or DVD. ..
  • SSD Solid State Drive
  • control lines and information lines indicate what is considered necessary for explanation, and not all control lines and information lines are necessarily shown on the product. In practice, it can be considered that almost all configurations are interconnected.
  • MR display device 100: MR display device, 100a: MR display device, 101: CPU, 102: RAM, 103: video RAM, 104: ROM, 105: communication unit, 110: processing unit, 116: nose pad, 119a: frame housing, 119b: Frame housing, 121: Image camera, 122: Distance measuring camera, 123: Face camera, 124: 3D camera, 124a: Camera element, 124b: Camera element, 131: Sensor group, 141: Display optical system, 141a: Left display optical system, 141b: Right display optical system, 142: Transmission optical system, 143: Optical shutter, 144: Stereo display, 151: Speaker, 152: Mike, 210: Control unit, 212: Movement data update unit, 213: Shooting object identification unit, 214: AR object setting reception unit, 215: Display image generation unit, 216: Display change setting unit, 221: Feature extraction unit, 222: Distance Calculation unit 223: Facial expression detection unit 224: Movement detection unit 225:

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

ユーザの負担を抑え、使い勝手と視認性とを向上させたＡＲオブジェクト表示技術を提供する。複合現実表示装置１００であって、ユーザ３００の視線３０１方向に基づいて、仮想物体４００をディスプレイに表示させる表示映像を生成する表示映像生成部２１５と、ユーザ３００の、通常使用状態からの変化を検出した場合、仮想物体４００の表示態様を変更する表示変更指示を設定する表示変更設定部２１６と、を備え、表示映像生成部２１５は、表示変更指示が設定されている間は、仮想物体の表示態様が変更されるよう表示映像を生成する。

Description

複合現実表示装置および複合現実表示方法
　本発明は、複合現実（ＭＲ：Ｍｉｘｅｄ　Ｒｅａｌｉｔｙ）表示技術に関する。
　ヘッドマウントディスプレイ（ＨＭＤ：Ｈｅａｄ　Ｍｏｕｎｔ　Ｄｉｓｐｌａｙ）等の頭部装着型表示装置において、使い勝手を向上させつつ視認性を向上させる技術がある。例えば、特許文献１には、「観察者の頭部に装着して使用される画像表示装置であって、前記観察者が視認可能な画像として虚像を形成する画像形成部と、前記観察者の視線の位置を検知する視線検知部と、前記視線検知部が検知した視線の位置から算出された前記観察者の視線の動きに基づいて、前記画像形成部を制御する制御部と、を備え、前記制御部は、前記視線の動きが前記虚像に近づく動きである場合に、前記虚像の表示位置を変更することを特徴とする（要約抜粋）」画像表示装置が開示されている。
特開２０１６－１４７６８号公報
　しかしながら特許文献１に開示の技術では、虚像（ＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）オブジェクト）の表示位置を変更させるために、ユーザは、ＡＲオブジェクトに近づくように視線を動かすという操作指示を行わなければならない。この操作指示は、視線で行うとはいえ、通常、自然に行われる動きとは異なる動作を強いるものである。表示を変更したいＡＲオブジェクトが複数ある場合、それぞれのオブジェクトに対して操作指示が要求され、ユーザへの負担が大きい。
　本発明は、上記事情に鑑みてなされたもので、ユーザの負担を抑え、使い勝手と視認性とを向上させたＡＲオブジェクト表示技術を提供することを目的とする。
　本発明は、複合現実表示装置であって、ユーザの視線方向に基づいて、仮想物体をディスプレイに表示させる表示映像を生成する表示映像生成部と、ユーザの、通常使用状態からの変化を検出した場合、前記仮想物体の表示態様を変更する表示変更指示を設定する表示変更設定部と、を備え、前記表示映像生成部は、前記表示変更指示が設定されている間は、前記仮想物体の表示態様が変更されるよう前記表示映像を生成することを特徴とする。
　また、本発明は、ユーザの視線方向に基づいて、仮想物体をディスプレイに表示させる表示映像を生成し、前記ディスプレイに表示させる複合現実表示方法であって、前記仮想物体の表示態様を変更する表示変更指示が設定されているか否かを判別し、設定されている場合、前記仮想物体の表示態様が変更されるよう前記表示映像を生成し、前記表示変更指示は、前記ユーザの、通常使用状態からの変化が検出された場合、設定されることを特徴とする。
　本発明によれば、ユーザの負担を抑え、使い勝手と視認性とを向上させたＡＲオブジェクト表示技術を提供できる。上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。
（ａ）～（ｃ）は、第一実施形態の概要を説明するための説明図である。 （ａ）および（ｂ）は、第一実施形態のＭＲ表示装置の、それぞれ、ハードウェア構成図および外観図である。 第一実施形態のＭＲ表示システムの構成図である。 第一実施形態のＭＲ表示装置の機能ブロック図である。 （ａ）は、第一実施形態の基準点・移動履歴データベースを、（ｂ）は、ＡＲオブジェクトデータベースを、それぞれ説明するための説明図である。 第一実施形態の表示情報データベースを説明するための説明図である。 （ａ）および（ｂ）は、第一実施形態のＡＲ設定ユーザインタフェースを説明するための説明図である。 （ａ）～（ｄ）は、第一実施形態の表情の変化の態様を説明するための説明図である。 （ａ）および（ｂ）は、第一実施形態のＡＲオブジェクトの表示変更を説明するための説明図である。 第一実施形態のＡＲオブジェクト表示制御処理のフローチャートである。 第一実施形態の移動データ取得処理のフローチャートである。 第一実施形態の撮影オブジェクト特定処理のフローチャートである。 第一実施形態のＡＲオブジェクト設定受付処理のフローチャートである。 第一実施形態の表示変更設定処理のフローチャートである。 第一実施形態の表示映像生成処理のフローチャートである。 （ａ）～（ｅ）は、第一実施形態の変形例の表示変更要の動作例を説明するための説明図である。 （ａ）～（ｅ）は、第一実施形態の変形例の表示変更例を説明するための説明図である。 （ａ）および（ｂ）は、第一実施形態の変形例の表示変更例を説明するための説明図である。 第一実施形態の変形例の表示映像生成処理のフローチャートである。 （ａ）および（ｂ）は、第二実施形態のＭＲ表示装置の、それぞれ、ハードウェア構成図および外観図である。 第二実施形態のＭＲ表示装置の機能ブロック図である。
　＜＜第一実施形態＞＞
　以下、本発明の第一実施形態を説明する。第一実施形態の説明に先立ち、本実施形態の概要を図１（ａ）～図１（ｃ）を用いて説明する。
　本実施形態では、仮想物体（仮想オブジェクト；ＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）オブジェクト）を実空間の現実の物体（現実物体）に立体的に重ねあわせて表示させる複合現実（ＭＲ；Ｍｉｘｅｄ　Ｒｅａｌｉｔｙ）表示における、ＡＲオブジェクトの表示制御を行う。
　本実施形態では、複合現実表示に、図１（ａ）に示すように、ユーザ３００が装着する、例えば、透過型のディスプレイを備えるＨＭＤ（Ｈｅａｄ　Ｍｏｕｎｔｅｄ　Ｄｉｓｐｌａｙ）等の頭部装着型表示装置を用いる。以下、本実施形態で用いる表示装置を、複合現実表示装置（ＭＲ表示装置）１００と呼ぶ。
　図１（ａ）に示すように、ユーザ３００は、背景の実空間を見ながら、ディスプレイに表示されるＡＲオブジェクト４００を見る。なお、本図において、３０１は、視線、５００は、実空間の現実物体である。
　例えば、ＡＲオブジェクト４００が現実物体５００に紐付けて設定される場合、ＡＲオブジェクト４００は、紐付けられた現実物体５００に近接して見える位置に表示される。このとき、設定されたＡＲオブジェクト４００の配置位置の奥行情報が、ＭＲ表示装置１００から現実物体５００までの距離より小さい場合、ＡＲオブジェクト４００の映像は、図１（ｂ）に示すように、ユーザ３００の視線３０１方向に関し、現実物体５００の手前にあるかのように表示される。このような表示では、ＡＲオブジェクト４００は、現実物体５００の一部または全部を遮蔽する。従って、ユーザ３００にとっては、ＡＲオブジェクト４００により現実物体５００が見にくくなる。
　ここで、ＡＲオブジェクト４００より現実物体５００の方を見たい場合、ユーザ３００は、通常の使用状態（通常使用状態）とは異なる動作をしがちである。例えば、顔をしかめる、眉間にしわを寄せる、細めにする、等表情を変えたり、視線はそのままで頭を左右に動かしたり等の動作である。つまり、ユーザ３００は、不快感を示す動作を行う。
　本実施形態のＭＲ表示装置１００では、ユーザ３００の視線や表情、動きを検出して、ユーザ３００の意図を判別し、ユーザ３００が煩わしいと感じていると判断した場合、ＡＲオブジェクト４００の表示状態を自動で変更する。ここでは、例えば、図１（ｃ）に示すように、現実物体５００を遮蔽しているＡＲオブジェクト４００の表示態様を、現実物体５００がより見易くなるよう変更する。
　以下、上記処理を実現する、本実施形態のＭＲ表示装置１００について説明する。
　［ハードウェア構成］
　まず、ＭＲ表示装置１００のハードウェア構成について説明する。図２（ａ）は、本実施形態のＭＲ表示装置１００のハードウェア構成図であり、図２（ｂ）は、外観図である。
　これらの図に示すように、ＭＲ表示装置１００は、処理部１１０と、画像カメラ１２１と、測距カメラ１２２と、顔カメラ１２３と、表示光学系（映像投影部）１４１と、透過光学系１４２と、スピーカ１５１と、マイク１５２と、ノーズパッド１１６と、フレーム筐体１１９ａ、１１９ｂおよび１１９ｃと、バス１０６と、を備える。
　ユーザは、フレーム筐体１１９ａおよび１１９ｂと、ノーズパッド１１６とにより、ＭＲ表示装置１００を、自身の顔部に装着する。
　画像カメラ１２１は、ＭＲ表示装置１００の周囲の現実空間の画像を取得する画像取得部である。本実施形態では、ユーザ３００の視線前方を撮影するように取り付けられる。
　測距カメラ１２２は、ＭＲ表示装置１００と、画像カメラ１２１の撮影映像が捉える現実空間の現実物体（壁や天井、床などの背景を含む）との距離を取得する測距部である。測距カメラ１２２は、現実物体の輪郭等の特徴点に対してステレオカメラのような方式で距離を算出するものでも良い。また、ＴＯＦ（Ｔｉｍｅ　ｏｆ　Ｆｌｉｇｈｔ）方式のように２次元的に光線を照射して距離を計測するものでもよい。測距カメラ１２２は、カメラ撮影映像に対応して、現実物体との距離を測定できるものであれば良い。
　顔カメラ１２３は、ユーザ３００の顔を主に撮影し、視線や表情を検出する。本実施形態では、特に、ユーザ３００の目を含む、ユーザ３００の顔領域の画像を取得する。
　表示光学系（映像投影部）１４１は、仮想物体（ＡＲオブジェクト）を透過光学系１４２に投射して表示する。表示光学系１４１は、ＡＲオブジェクトを左目で確認する映像を投射する左表示光学系１４１ａと、ＡＲオブジェクトを右目で確認する映像を投射する右表示光学系１４１ｂと、を備える。表示光学系１４１は、左目用の映像と右目用の映像とを、それぞれ、独立に投射する。
　なお、表示光学系１４１は、予め合成した左目用の映像と右目用の映像とを、ひとつのプロジェクタで投射し、シャッタ光学系で、左目用の映像と右目用の映像とをそれぞれの目に透過させるものであっても良い。さらには、ホログラフィックレンズを用いた光学系でも良い。
　透過光学系１４２は、映像を表示し、ユーザ３００に示す。例えば、レンズやスクリーン等を備える。ユーザ３００は前方の風景や現実物体を、透過光学系１４２を通して見ることができる。また、表示光学系１４１から投射されるＡＲオブジェクトを透過光学系１４２により、現実空間の所定の位置にあるように視認できる。以下、透過光学系１４２を、透過型ディスプレイとも呼ぶ。
　処理部１１０は、画像カメラ１２１で撮影した現実空間の映像、測距カメラ１２２で取得した現実空間の距離データ、センサ群１３１で検出した情報等を取り込み、処理を行う。処理により、例えば、表示光学系１４１で投射する映像や、スピーカ１５１から出力する音を生成する。
　処理部１１０は、ＣＰＵ１０１と、ＲＡＭ１０２と、映像ＲＡＭ１０３と、ＲＯＭ１０４と、を備える。また、通信部１０５およびセンサ群１３１を内蔵してもよい。また、ＲＯＭ１０４は、プログラムを格納するＰｒｏｇｒａｍ　Ｆｌａｓｈ　ＲＯＭ（ＦＲＯＭ）とデータを格納するＤａｔａ　ＦＲＯＭとを備えてもよい。
　ＣＰＵ１０１は、ＲＯＭ１０４に格納されたプログラムを、ＲＯＭ１０４にロードして実行することにより、ＭＲ表示装置１００の各部を制御する。また、各機能を実現する。また、表示光学系１４１で投射する映像やスピーカ１５１に出力する音を生成する。
　本実施形態のＭＲ表示装置１００は、図３に示すように、ネットワーク９００に接続される。通信部１０５は、ＭＲ表示装置１００を、外部のネットワーク９００に接続する。ネットワーク９００を介して、ＭＲ表示装置１００は、リモコン９１０およびサーバ９２０に接続される。ネットワーク９００上のサーバ９２０で、ＭＲ表示装置１００の処理の一部を実行してもよい。また、リモコン９１０でユーザ操作を受け付け、ユーザインタフェースの入力部としてもよい。
　なお、ユーザインタフェースの入力部としては、タッチパネルを処理部１１０に内蔵させて、ユーザ３００がタッチパネルに接触する操作であっても良い。ユーザ３００による操作入力がＣＰＵ１０１に伝えられるものであれば良い。
　なお、Ｐｒｏｇｒａｍ　ＦＲＯＭとＤａｔａ　ＦＲＯＭとは、別々のメモリ媒体で構成されても良いし、ひとつのメモリ媒体で構成されても良い。さらには２つ以上のメモリ媒体であっても良く、Ｆｌａｓｈ　ＲＯＭ以外の不揮発性のメモリ媒体であっても良い。またＤａｔａ　ＦＲＯＭは、そのデータの一部をネットワーク９００上にあるサーバ９２０に置いても良い。
　処理部１１０、画像カメラ１２１、測距カメラ１２２、顔カメラ１２３、スピーカ１５１、マイク１５２は、フレーム筐体１１９ａ、１１９ｂおよび１１９ｃに、例えば、図２（ｂ）に示すように、配置される。なお、各装置の配置場所は図２（ｂ）の通りでなくてもよい。
　センサ群１３１は、ジャイロ、方位、位置、接触センサ等のセンサである。位置センサとしては、例えば、ＧＰＳ受信機等であってもよい。
　図４は、ＭＲ表示装置１００の機能ブロック図である。本実施形態のＭＲ表示装置１００は、制御部２１０と、特徴抽出部２２１と、距離算出部２２２と、視線・表情検出部２２３と、移動検出部２２４と、を備える。また、制御部２１０は、移動データ更新部２１２と、撮影オブジェクト特定部２１３と、ＡＲオブジェクト設定受付部２１４と、表示映像生成部２１５と、表示変更設定部２１６と、を備える。
　これらの各機能は、ＲＯＭ１０４に保存されたプログラムを、ＣＰＵ１０１がＲＡＭ１０２にロードして実行することにより、実現される。
　また、ＲＯＭ１０４には、さらに、これらの処理に用いるデータとして、基準点・移動履歴データベース（ＤＢ）２３１と、表示情報データベース（ＤＢ）２３２と、ＡＲオブジェクトデータベース（ＤＢ）２３３とが格納される。
　特徴抽出部２２１は、画像カメラ１２１が取得した画像から特徴点を抽出する。特徴抽出部２２１は、画像カメラ１２１が取得した画像を読み込み、特徴解析を行い、例えば、エッジを抽出し、抽出したエッジの頂点や変曲点を、特徴点として抽出する。
　距離算出部２２２は、測距カメラ１２２が取得した画像から、画像上の指定された点の実空間における位置の、ＭＲ表示装置１００からの距離情報を算出する。
　視線・表情検出部２２３は、顔カメラ１２３が取得した画像から、ユーザ３００の視線３０１方向および表情を検出する。本実施形態では、視線方向検出部と表情検出部との両方の機能を実現する。視線方向の検出、表情の検出には、既存の装着型装置を用いた視線検出および表情認識技術を用いることができる。
　移動検出部２２４は、センサ群１３１が取得したデータに基づいて、ＭＲ表示装置１００の位置情報と方向情報とを算出する。移動検出部２２４は、位置情報と方向情報とを、例えば、ＧＰＳ受信機、加速度センサ、ジャイロセンサ等で得たデータを用いて算出する。本実施形態では、例えば、算出を指示されたタイミングで、絶対座標と基準方向に対する角度とを算出する。なお、予め定めた基準位置からの変位量、変位角を算出してもよい。
　移動データ更新部２１２は、所定の時間間隔でＭＲ表示装置１００の現在位置情報等を取得し、基準点・移動履歴ＤＢ２３１に登録する。一般に、ＭＲ空間全体は、ＭＲ表示装置１００の画像カメラ１２１の撮影範囲よりも広い。ユーザ３００は、ＭＲ空間を移動しながら映像を取得し、ＭＲ表示装置１００の位置、高さおよび方向情報を基に、取得した映像をつなぎあわせて背景画像を生成する。このように、ＭＲ表示装置１００の現在位置は、常に移動しているため、移動データ更新部２１２により、現在位置情報を取得し、ＭＲ表示装置１００と現実物体５００との相対位置関係を把握する。
　本実施形態では、移動データ更新部２１２は、ＭＲ表示装置１００の、高さを含む現在位置情報と、撮影方向を検出し、それぞれ、位置情報および方向情報として、基準点・移動履歴データベース２３１に登録する。位置情報および方向情報は、センサ群１３１の出力に基づいて、移動検出部２２４が算出することにより得る。
　ここで、生成される基準点・移動履歴データベース２３１に登録されるレコード例を、図５（ａ）に示す。本図に示すように、基準点・移動履歴データベース２３１に登録される各レコードは、時刻２３１ｂと位置および方向情報２３１ｃとを備える。各レコードは、一意に特定するため、位置ＩＤ２３１ａに対応づけて登録される。
　時刻２３１ｂは、位置情報および方向情報を算出する基となるデータを取得した時刻である。位置および方向情報２３１ｃは、移動検出部２２４が算出した、ＭＲ表示装置１００の位置情報と方向情報とである。
　位置および方向情報２３１ｃの、位置情報は、基準点の位置情報との差分で表す。また、方向情報は、例えば、画像カメラ１２１のセンサ面（ユーザ３００の視線前方面）の法線方向の基準点での法線方向と成す角度で表す。基準点の法線方向は、予め定めた基準方向と成す角度とする。本実施形態では、例えば、水平方向の方位角と、垂直方向の仰角との２つの角度で表す。例えば、本図において、（ｒ１，θ１，φ１）＝（距離、水平角度、垂直角度）である。（θθ１，φφ１）は撮影方向を示す。（θθ１，φφ１）＝（水平角度、垂直角度）である。
　なお、本図の例では、基準点データ（ＰＢａｓｅ）の値として、（位置、方向）＝｛（０，０，０）、（０，０）｝を登録し、ローカル座標系で位置情報を登録する場合を示す。基準点の位置情報は、例えば、ＧＰＳデータ等を用いて算出された絶対座標系で表されてもよい。
　移動データ更新部２１２は、最初に登録する位置情報および方向情報を基準点データとする。以降、位置情報および方向情報を得る毎に、取得時刻（時刻２３１ｂ）に対応づけて、基準点データとの差分を、位置および方向情報２３１ｃに登録する。
　撮影オブジェクト特定部２１３は、現実物体５００の、処理対象の画像上での領域を撮影オブジェクトとして特定する撮影物体特定部である。本実施形態では、処理対象の画像上で特徴抽出を行い、その画像上での現実物体の形状および配置領域を特定し、撮影オブジェクトとして、表示情報データベース２３２に登録する。
　本実施形態では、撮影オブジェクト特定部２１３は、特徴抽出部２２１が抽出した各特徴点に、距離算出部２２２が算出した距離データを対応付け、現実物体５００の、画像上での形状および配置領域を特定する。さらに、形状を特定した撮影オブジェクトの種別を特定する。種別は、例えば、前回の解析結果との差を評価し、評価結果において差が有意な特徴点の集合に対し、既存の手法でカテゴリ分類等を行うことにより特定される。
　現実物体５００は、ＭＲ表示装置１００の中では、撮影オブジェクトデータとして取り扱われる。撮影映像の中で、部屋の壁や遠方の風景等は、背景を構成する撮影オブジェクトとして登録される。
　ここで、特定結果が登録される表示情報データベース２３２について説明する。図６は、表示情報データベース２３２の一例を示す図である。
　本図に示すように、表示情報データベース２３２には、画像毎に、すなわち、位置ＩＤ２３２ａ毎に、特定した撮影オブジェクトの情報（撮影オブジェクト情報２３２ｐ）と、その撮影オブジェクトに紐付けられたＡＲオブジェクトが有る場合、そのＡＲオブジェクトの情報（ＡＲオブジェクト情報２３２ｒ）と、が登録される。
　撮影オブジェクト情報２３２ｐとして、それぞれ、撮影オブジェクトの名称（Ｏｂｊｅｃｔ２３２ｂ）と、各撮影オブジェクトを構成する特徴点を特定する情報とが格納される。特徴点を特定する情報は、特徴点名２３２ｃと、配置位置の奥行情報（Ｄｉｓｔａｎｃｅ２３２ｄ）と、配置位置の方向情報（Ｄｉｒｅｃｔｉｏｎ２３２ｅ）とを備える。
　また、ＡＲオブジェクト情報２３２ｒとして、ＡＲオブジェクト仕様と変更指示の有無とが格納される。ＡＲオブジェクト仕様としては、ＡＲオブジェクトの識別情報（紐付ＡＲのＡＲＩＤ２３２ｆ）と、撮影オブジェクトの表示位置に対する表示態様を示す情報と、が登録される。表示態様を示す情報は、例えば、表示の基準とする特徴点からのオフセット距離（Ｏｆｆｓｅｔ２３２ｇ）と、表示サイズ（サイズ２３２ｈ）と、回転量２３２ｉと、表示非表示示す情報（非表示２３２ｊ）とを備える。ＡＲオブジェクト情報２３２ｒは、さらに、変更指示の有無を登録する変更２３２ｋ欄を備える。ＡＲオブジェクト情報２３２ｒは、表示の基準とする特徴点に対応づけて登録される。ＡＲオブジェクトおよび変更２３２ｋについては、後述する。
　ＡＲオブジェクト仕様は、前回の位置ＩＤ２３２ａの各撮影オブジェクトに紐付けられたＡＲオブジェクト４００について、前回の位置ＩＤ２３２ａからの移動量を加味し、登録される。後述の表示映像生成部２１５は、このＡＲオブジェクト仕様に基づいて、表示映像中のＡＲオブジェクトの表示位置、表示態様を決定する。
　位置ＩＤ２３２ａ毎に上記各情報が登録される理由は、撮影オブジェクトに対応する現実物体５００が現実空間の中で移動していなくても、ＭＲ表示装置１００の移動によって、異なる値となるためである。これらの値の差異は、ＭＲ表示装置１００の移動に起因するものである。また、位置ＩＤ２３２ａによって、新たに現実空間に出現した現実物体５００に対応する撮影オブジェクトが登録される場合もある。
　ＡＲオブジェクト設定受付部２１４は、表示させたいＡＲオブジェクト４００の設定を受け付ける。本実施形態では、ユーザ３００は、所望のタイミングで、表示させるＡＲオブジェクト４００の設定を行う。ＡＲオブジェクト４００の設定は、ＡＲ設定ＵＩ（ユーザインタフェース；Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）を介して行う。
　ＡＲ設定ＵＩ６１０の一例を、図７（ａ）および図７（ｂ）を用いて説明する。ＡＲ設定ＵＩ６１０には、例えば、グラフィックＵＩが用いられる。ＡＲ設定ＵＩ６１０は、例えば、設定メニュー６１１と、オブジェクト一覧などのサブメニュー６１２と、編集メニュー６１３と、を備える。ＡＲオブジェクト設定受付部２１４は、ユーザ３００の指示に従って、これらの表示を制御する。
　例えば、現実物体５００に紐付けてＡＲオブジェクト４００を設定する場合の例で、ＡＲ設定ＵＩ６１０を介したＡＲオブジェクト４００の設定手法を説明する。
　ユーザ３００から紐付けたい対象の現実物体５００（紐付物体）の選択を受け付けると、ＡＲオブジェクト設定受付部２１４は、図７（ａ）に示す設定メニュー６１１を表示させる。
　なお、現実物体５００の選択は、例えば、カーソル６３０、視線等により行う。カーソル６３０で選択を行う場合、透過光学系１４２上で、カーソル６３０の位置が、透過光学系１４２上に画像を仮に表示させた場合の、現実物体５００に対応する領域が表示される位置である場合、その現実物体５００が選択されたものとする。
　ここで、設定メニュー６１１は、例えば、紐付物体の近傍に相当する領域あるいは、紐付物体に重ねて見える領域に表示させる。選択は、例えば、紐付物体に相当する領域に配置されたカーソル６３０に対するクリック操作等により受け付ける。
　そして、上記操作により新規にＡＲオブジェクト４００を設定する指示を受け付けると、ＡＲオブジェクト設定受付部２１４は、設定可能なＡＲオブジェクト４００の一覧であるオブジェクト一覧のサブメニュー６１２を表示させる。設定可能なＡＲオブジェクト４００は、例えば、ＲＯＭ１０４に保持される。あるいは、サーバ９２０から取得してもよい。
　設定可能なＡＲオブジェクト４００は、ＡＲオブジェクトデータベース２３３に予め登録される。ここで、ＡＲオブジェクトデータベース２３３の一例を、図５（ｂ）に示す。
　本図に示すように、ＡＲオブジェクトデータベース２３３の各レコードは、ＡＲオブジェクト毎にＡＲオブジェクト４００に一意に付与された識別番号（ＡＲオブジェクトＩＤ２３３ａ）と、名称２３３ｂと、イメージデータ２３３ｃと、を備える。なお、イメージデータ２３３ｃは、別の場所に保存されてもよい。この場合、イメージデータ２３３ｃには、イメージデータの保存場所へのアクセス情報が格納される。
　イメージデータは、ＭＲ表示装置１００内の主にＣＰＵ１０１で描画等の処理によって生成させる場合もあるし、別のアプリケーションを実行させ、アプリケーションが生成するイメージデータをインポートする形態であってもよい。
　ＡＲオブジェクト４００の選択を受け付けると、ＡＲオブジェクト設定受付部２１４は、選択されたＡＲオブジェクト４００の識別情報（ＡＲオブジェクトＩＤ２３３ａ）を、紐付物体に対応づけて紐付ＡＲのＡＲＩＤ２３２ｆとして表示情報データベース２３２に登録する。
　このとき、ＡＲオブジェクト設定受付部２１４は、さらに、他のサブメニュー６１２により、ＡＲオブジェクト４００の、配置位置、サイズ、姿勢、表示非表示等の他のパラメータ（表示仕様）の選択を受け付け、これらを、表示情報データベース２３２の、Ｏｆｆｓｅｔ２３２ｇと、サイズ２３２ｈと、回転量２３２ｉと、非表示２３２ｊとして登録する。
　また、既に表示されているＡＲオブジェクト４００の編集の指示を受け付けると、ＡＲオブジェクト設定受付部２１４は、編集メニュー６１３を表示させる。編集の指示は、例えば、編集対象のＡＲオブジェクト４００に対するクリック等により受け付ける。
　ＡＲオブジェクト設定受付部２１４は、編集メニュー６１３を介して受け付けたユーザ３００からの指示を、表示情報データベース２３２のＡＲオブジェクト仕様の該当項目に登録する。このとき、その時点の最新の位置ＩＤ２３２ａの、最寄りの特徴点に対応づけて登録する。なお、編集メニュー６１３等を介して削除の指示を受け付けた場合は、表示情報データベース２３２の該当するＡＲオブジェクトのレコードを削除する。
　このように、ＡＲオブジェクト設定受付部２１４は、ＡＲオブジェクト４００が、設定および更新（編集）される毎に、最新のデータを、表示情報データベース２３２にＡＲオブジェクト仕様として登録する。このＡＲオブジェクト４００の設定および更新のタイミングは、撮影オブジェクト特定部２１３による撮影オブジェクト特定処理とは同期することなく行われてよい。従って、表示情報データベース２３２の更新、すなわち、最新の位置ＩＤ２３２ａの登録タイミングと、紐付ＡＲのＡＲオブジェクト仕様の登録、更新のタイミングとは必ずしも一致しない。しかしながら、最新の位置ＩＤ２３２ａのレコードには、最新の紐付ＡＲのＡＲＩＤ２３２ｆに登録されるＡＲオブジェクト４００のＡＲオブジェクト仕様が登録される。
　表示変更設定部２１６は、ユーザ３００の動作を解釈し、ＡＲオブジェクト４００の表示変更の要否を判別する。そして、表示変更要と判別した場合、表示変更を指示する表示変更指示を表示情報データベース２３２の該当するＡＲオブジェクトのレコードに設定する。本実施形態では、最新の位置ＩＤ２３２ａの紐付ＡＲの、該当するＡＲオブジェクトの変更２３２ｋ欄に、表示変更指示を登録する。
　なお、変更２３２ｋ欄に表示変更指示が設定された場合の表示変更態様は、予め定めておく。表示変更手法は、例えば、紐付ＡＲごとに、あるいは、撮影オブジェクト毎に定められる。具体的な表示変更の態様は、後述する。
　また、表示変更設定部２１６が表示変更要と判断するユーザ３００の動作は、本実施形態では、例えば、ユーザ３００の表情の変化とする。表示変更設定部２１６は、視線・表情検出部２２３の出力に従って、ユーザ３００の表情に、通常の表情からの変化の有無を判別する。変化有り、と判別した場合、表示変更指示を表示情報データベース２３２に設定する。
　表示変更設定部２１６が表情の変化有り、と判別する例を、図８（ａ）～図８（ｄ）を用いて説明する。図８（ａ）が標準時の表情（標準表情）とする。両眼の黒目の視線が一点に交わるところに視点がある。なお、視線による選択は、この視点がＡＲオブジェクト４００にある時、ＡＲオブジェクト４００が認識され、選択されたとするものである。
　例えば、視線・表情検出部２２３は、ＡＲオブジェクト４００を表示させる前等の状態において、ユーザ３００の表情を検出し、標準表情として、予めＲＯＭ１０４に保持しておく。そして、視線・表情検出部２２３は、顔カメラ１２３が顔画像を取得する毎に、その顔画像の両眼近傍領域の画像を切り取り、標準表情と比較し、変化量が所定以上の場合、表情の変化有り、と判別する。
　表情の変化有り、と判別される場合の表情例を、図８（ｂ）～図８（ｄ）に示す。図８（ｂ）は、両眼を細目にした表情である。図８（ｃ）は、大きく眼を開いた表情である。また、図８（ｄ）は横目の表情である。
　なお、本実施形態では、ユーザ３００が、ＡＲオブジェクト４００が現実物体を遮蔽し、煩わしいと感じている場合、ＡＲオブジェクト４００の表示態様を変更する。従って、ユーザ３００が煩わしいと感じた際に行う表情（除去指示表情）を特定可能な情報を予めＲＯＭ１０４等に保持し、この除去指示表情との合致度が高い表情が検出された場合、表示変更設定部２１６は、表示変更指示を、表示情報データベース２３２に設定するよう構成してもよい。
　また、本実施形態では、表示変更後、ユーザ３００から所定の指示（解除指示）を受け付けた場合、元の表示に戻す。表示変更設定部２１６は、画像カメラ１２１および測距カメラ１２２の出力をそれぞれ解析する特徴抽出部２２１および距離算出部２２２の出力から、この解除指示を検出する。表示変更設定部２１６は、この解除指示を検出した場合、表示情報データベース２３２の、指示対象のＡＲオブジェクトのレコードの表示変更指示を解除（削除、消去）する。
　なお、表示変更後、所定の時間が経過した場合、ユーザ３００からの指示がなくても、元の表示に戻してもよい。この場合、表示変更設定部２１６は、表示変更指示を出力後、計時を開始し、所定の時間が経過した場合、表示情報データベース２３２の、表示変更指示を解除（削除、消去）する。
　表示映像生成部２１５は、ＡＲオブジェクト設定受付部２１４により、表示情報データベース２３２に登録されたＡＲオブジェクトの表示映像を生成する。本実施形態では、ＡＲオブジェクトデータベース２３３に登録されたイメージデータ２３３ｃおよび表示情報データベース２３２に登録された最新の位置ＩＤ２３２ａのＡＲオブジェクト仕様を用いて、表示映像を生成する。
　なお、生成された映像データは、映像ＲＡＭ１０３に格納される。表示光学系（映像投影部）１４１が映像ＲＡＭ１０３から読み出して、透過光学系１４２に投射する。
　また、表示映像生成部２１５は、表示映像生成時に、表示変更設定部２１６により表示変更指示が設定されている場合、ＡＲオブジェクト４００の表示態様が通常の表示態様とは異なるものとなるよう、表示映像を生成する。これにより、ＡＲオブジェクト４００の表示は変更される。
　このとき、表示映像生成部２１５により実現される表示変更の具体例を示す。本実施形態では、例えば、図９（ａ）に示すように、現実物体５００に紐付けられたＡＲオブジェクト４００が、その現実物体５００の手前に表示されている場合、図９（ｂ）に示すように、ＡＲオブジェクト４００を透明化する。すなわち、ＡＲオブジェクト４００の、表示色等のパラメータを変化させる。
　次に、本実施形態のＭＲ表示装置１００の各部による処理の流れを説明する。
　［ＡＲオブジェクト表示制御処理］
　まず、ＭＲ表示装置１００による、基本的なＡＲオブジェクト表示制御処理の流れを説明する。図１０は、ＡＲオブジェクト表示制御処理の処理フローである。本処理は、ＭＲ表示装置１００の起動後、画像カメラ１２１が画像を取得する毎に行われる。
　まず、移動データ更新部２１２が、現在の自装置（ＭＲ表示装置１００）の位置情報および方向情報を取得し、移動履歴データとして基準点・移動履歴ＤＢ２３１に登録する移動データ取得処理を行う（ステップＳ１１０１）。
　そして、次に、撮影オブジェクト特定部２１３は、取得した画像において撮影オブジェクトの領域を特定し、表示情報データベース２３２に登録する撮影オブジェクト特定処理を行う（ステップＳ１１０２）。なお、特定した撮影オブジェクト領域は、ステップＳ１１０１で生成した位置ＩＤ２３１ａ（２３２ａ）に対応づけて、表示情報データベース２３２に格納される。
　そして、表示映像生成部２１５は、ＡＲオブジェクト４００の表示映像を生成し、表示させる表示映像生成処理を行い（ステップＳ１１０３）、処理を終了する。表示映像生成部２１５は、表示情報データベース２３２の最新の位置ＩＤ２３２ａに対応づけて登録されている紐付ＡＲのＡＲＩＤ２３２ｆで特定されるＡＲオブジェクト４００を、このデータベースの設定に従って表示映像とする。このとき、表示変更信号が変更２３２ｋに設定されている場合は、予め定めた変更後の態様でＡＲオブジェクト４００が表示されるよう、表示映像を生成する。
　制御部２１０は、画像カメラ１２１が画像を取得する毎に、上記ＡＲオブジェクト表示制御処理を繰り返す。なお、ＡＲオブジェクト表示制御処理あるいは、所定の時間間隔で、画像カメラ１２１が取得した映像（動画）をキャプチャしたことを契機に、開始してもよい。
　次に、上記ステップＳ１１０１の、移動データ更新部２１２による移動データ取得処理の流れを説明する。図１１は、本実施形態の移動データ取得処理の処理フローである。本処理は、センサ群１３１で検出するＭＲ表示装置１００の位置および方向を、新たに基準点・移動履歴データベース２３１に登録する処理である。
　移動データ更新部２１２は、移動検出部２２４から位置情報および方向情報を、取得時刻とともに取得する（ステップＳ１２０１）。
　移動データ更新部２１２は、基準点・移動履歴データベース２３１を参照し、基準点データが登録されているか否かを判別する（ステップＳ１２０２）。
　基準点データが登録されてない場合（Ｓ１２０２；Ｎｏ）、移動データ更新部２１２は、ステップＳ１２０１で取得した位置情報および方向情報を、基準点データとして基準点・移動履歴データベース２３１に登録し（ステップＳ１２０３）、処理を終了する。
　一方、基準点データが登録されている場合（Ｓ１２０２；Ｙｅｓ）、移動データ更新部２１２は、Ｓ１２０１で取得した位置情報および方向情報それぞれについて、基準点・移動履歴データベース２３１に、基準点データとして登録される位置および方向情報２３１ｃの位置情報および方向情報との差分を算出する（ステップＳ１２０４）。
　そして、移動データ更新部２１２は、算出した結果を、位置および方向情報として登録し（ステップＳ１２０５）、処理を終了する。このとき、取得時刻を時刻２３１ｂに登録する。また、登録時は、自動的に一意に付与される位置ＩＤ２３１ａに対応づけて登録する。
　次に、上記ステップＳ１１０２の、撮影オブジェクト特定部２１３による撮影オブジェクト特定処理の流れを説明する。図１２は、本実施形態の撮影オブジェクト特定処理の処理フローである。
　撮影オブジェクト特定部２１３は、特徴抽出部２２１に、画像カメラ１２１が取得した画像から特徴点を抽出させる（ステップＳ１３０１）。
　次に、撮影オブジェクト特定部２１３は、距離算出部２２２が算出した距離データを各特徴点に対応づけることにより、各特徴点の距離データを得る（ステップＳ１３０２）。
　撮影オブジェクト特定部２１３は、各特徴点について、ステップＳ１３０２で対応づけた距離データと、前回の位置ＩＤ２３２ａに対応づけて表示情報データベース２３２に登録されている各特徴点の距離２３２ｄとを用いて既存の手法で評価を行い、撮影オブジェクトを特定する（ステップＳ１３０３）。ここでは、撮影オブジェクトを構成する特徴点を特定するとともに、各撮影オブジェクトの属性情報、例えば、種別等を特定する。属性情報の特定は、例えば、予め、特徴点の分布形状等に対応づけて、ＲＯＭ１０４等に保持しておき、その中から検索して合致度の高い属性情報を抽出する。属性情報の特定に用いるデータは、サーバ９２０等に保持しておいてもよい。
　そして、撮影オブジェクト特定部２１３は、特定した撮影オブジェクトそれぞれについて、一意にオブジェクト名２３２ｂを付与し、表示情報データベース２３２に登録し（ステップＳ１３０４）、処理を終了する。このとき、撮影オブジェクト毎に、オブジェクト名２３２ｂと、その撮影オブジェクトを構成する特徴点群を登録する。各特徴点については、距離２３２ｄと、方向２３２ｅとを登録する。
　また、登録時、前回の位置ＩＤ２３２ａに対応づけて登録されている撮影オブジェクトと同じ撮影オブジェクトについては、同じオブジェクト名２３２ｂを付与する。また、各撮影オブジェクトに紐付けられたＡＲオブジェクト４００の仕様についても、上記手法で登録する値を算出し、登録する。
　次に、ＡＲオブジェクト表示制御処理とは、独立に行われる、ＡＲオブジェクト設定受付部２１４によるＡＲオブジェクト設定受付処理の流れを説明する。図１３は、ＡＲオブジェクト設定受付処理の処理フローである。本処理は、ユーザ３００により、予め定めた操作（設定指示操作）がなされたことを契機に開始される。設定指示操作は、例えば、紐づける対象の現実物体５００に対応する画像上の領域の撮影オブジェクトの選択操作等である。
　ＡＲオブジェクト設定受付部２１４は、まず、設定指示操作の対象が現実物体５００であるか否かを判別する（ステップＳ１４０１）。ここでは、ＭＲ表示装置１００の位置および方向情報と、各撮影オブジェクトの領域とにより判別する。撮影オブジェクトの領域は、表示情報データベース２３２に保持される各撮影オブジェクトを構成する特徴点で定まる。
　設定指示操作の対象が撮影オブジェクトである場合（Ｓ１４０１；Ｙｅｓ）、ＡＲオブジェクト設定受付部２１４は、設定指示操作された領域に設定メニュー６１１を表示させる（ステップＳ１４０２）。撮影オブジェクトが選択された場合、ユーザ３００は、その撮影オブジェクトに対応する現実物体５００に紐付けて、新たにＡＲオブジェクト４００を設定したいと考えているためである。
　そして、ＡＲオブジェクト設定受付部２１４は、ユーザ３００からの指示に従って、各サブメニュー６１２を表示させ、ユーザ３００から、新たに設定するＡＲオブジェクト４００の表示仕様を受け付ける（ステップＳ１４０３）。ステップＳ１４０２、Ｓ１４０３により、紐付対象の撮影オブジェクトと、紐付対象の特徴点の特徴点名２３２ｃと、ＡＲオブジェクトのＩＤ（ＡＲＩＤ２３２ｆ）と、表示位置（紐付対象の特徴点からのオフセット量）（Ｏｆｆｓｅｔ２３２ｇ）と、表示サイズ（サイズ２３２ｈ）と、回転量２３２ｉと、表示非表示の指示（非表示２３２ｊ）と、を受け付ける。
　ＡＲオブジェクト設定受付部２１４は、受け付けたＡＲオブジェクト４００の表示仕様を、表示情報データベース２３２にＡＲオブジェクト仕様として登録し（ステップＳ１４０４）、処理を終了する。
　設定指示操作の対象が現実物体５００でない場合（Ｓ１４０１；Ｎｏ）、ＡＲオブジェクト設定受付部２１４は、設定指示操作の対象がＡＲオブジェクト４００であるか否かを判別する（ステップＳ１４０５）。
　設定指示操作の対象がＡＲオブジェクト４００である場合（Ｓ１４０５；Ｙｅｓ）、ＡＲオブジェクト設定受付部２１４は、設定指示操作された領域に編集メニュー６１３を表示させる（ステップＳ１４０６）。また、表示情報データベース２３２内で、設定指示操作されたＡＲオブジェクト４００を特定する（ステップＳ１４０７）。特定されたＡＲオブジェクトを操作対象ＡＲオブジェクトと呼ぶ。ＡＲオブジェクト４００の特定は、ＡＲオブジェクト４００の表示位置に基づいて行う。
　ＡＲオブジェクト設定受付部２１４は、編集メニュー６１３を介して表示仕様の変更指示（仕様変更）を受け付けると（ステップＳ１４０８）、表示情報データベース２３２の、操作対象ＡＲオブジェクトのＡＲオブジェクト仕様に、受け付けた仕様変更を反映させ（ステップＳ１４０９）、処理を終了する。
　設定指示操作の対象がＡＲオブジェクト４００でもない場合（Ｓ１４０５；Ｎｏ）、ＡＲオブジェクト設定受付部２１４は、そのまま処理を終了する。
　次に、ＡＲオブジェクト表示制御処理とは、独立に行われる、表示変更設定部２１６による表示変更設定処理の流れを説明する。図１４は、本実施形態の表示変更設定処理の処理フローである。本処理は、ＡＲオブジェクト４００が表示されている状態で、所定の時間間隔で実行される。
　表示変更設定部２１６は、ユーザ３００の視線３０１方向にＡＲオブジェクトがあるか否かを判別する（ステップＳ１５０１）。なければ（Ｓ１５０１；Ｎｏ）、そのまま判別を継続する。ここでは、表示情報データベース２３２のデータと、視線・表情検出部２２３による出力とを用いて、判別する。すなわち、表示情報データベース２３２を参照し、視線３０１方向と透過光学系１４２との交点領域に表示されるＡＲオブジェクト４００があるか否かを判別する。
　視線３０１方向にＡＲオブジェクトがる場合（Ｓ１５０１；Ｙｅｓ）、そのＡＲオブジェクトを特定する（ステップＳ１５０２）。ここでは、特定したＡＲオブジェクトの識別情報であるＡＲＩＤ２３２ｆを抽出する。
　表示変更設定部２１６は、ユーザ３００の表情が、標準表情から変化したか否かを判別する（ステップＳ１５０３）。
　表情の変化有り、と判別すると（Ｓ１５０３；Ｙｅｓ）、表示変更設定部２１６は、ステップＳ１５０２で抽出したＡＲオブジェクトのＩＤ（ＡＲＩＤ２３２ｆ）の変更２３２ｋに、表示変更指示を設定する（ステップＳ１５０４）。一方、表情変化有り、と判別されない場合は、Ｓ１５０４の処理をスキップする。
　次に、表示変更設定部２１６は、解除指示を受け付けたか否かを判別する（ステップＳ１５０５）。
　解除指示を受け付けた場合（Ｓ１５０５；Ｙｅｓ）、表示変更設定部２１６は、ＡＲオブジェクトＩＤ（ＡＲＩＤ２３２ｆ）の変更２３２ｋの表示変更指示を削除する（ステップＳ１５０６）。一方、解除指示を受け付けていない場合は、ステップＳ１５０６の処理をスキップする。
　表示変更設定部２１６は、以上の処理を、ＡＲオブジェクト４００が１つでも表示されている間、繰り返す。このため、表示変更設定部２１６は、ＡＲオブジェクト４００が表示されているか否かを判別し（ステップＳ１５０７）、ＡＲオブジェクト４００が１つも表示されていないと判別された場合（Ｓ１５０７；Ｎｏ）、処理を終了する。一方、１つでも、ＡＲオブジェクトが表示されている場合は（Ｓ１５０７；Ｙｅｓ）、ステップＳ１５０１へ戻る。
　次に、上記ステップＳ１１０３の表示映像生成処理の流れを説明する。図１５は、本実施形態の表示映像生成処理の処理フローである。本実施形態の表示映像生成部２１５は、表示情報データベース２３２に登録された最新の情報に基づいて、表示映像を生成する。上述のように、本実施形態では、撮影オブジェクト特定部２１３、ＡＲオブジェクト設定受付部２１４および表示変更設定部２１６により、表示情報データベース２３２は、常に更新される。
　なお、ここでは、説明のために、表示情報データベース２３２の、最新の位置ＩＤ２３２ａに登録される撮影オブジェクト数をＫとする。Ｋは１以上の整数である。そして、各撮影オブジェクトには、表示情報データベース２３２の登録順に連番を付す。それぞれ、ｋ番目の撮影オブジェクトと呼ぶ。
　さらに、ｋ番目の撮影オブジェクトに紐付けて登録されるＡＲオブジェクトの数をＭｋ（Ｍｋは０以上の整数）とする。そして、本データベースの登録順に連番を付し、ｍｋ番目のＡＲオブジェクトと呼ぶ。
　１番目の撮影オブジェクトから順に以下の処理を繰り返す（ステップＳ１６０１）。
　表示映像生成部２１５は、Ｍｋが０であるか否かを判別する（ステップＳ１６０２）。Ｍｋが０とは、表示情報データベース２３２の、最新の位置ＩＤ２３２ａのｋ番目の撮影オブジェクトに紐付けて登録されるＡＲオブジェクトがない、ということである。
　Ｍｋが０である場合（Ｓ１６０２；Ｙｅｓ）、後述するステップＳ１６１３へ移行する。
　一方、Ｍｋが１以上である場合（Ｓ１６０２；Ｎｏ）、１番目から順に（ステップＳ１６０３）、ｋ番目の撮影オブジェクトに紐付けて登録されるＡＲオブジェクト４００の表示データを生成する。
　まず、表示映像生成部２１５は、ｍｋ番目のＡＲオブジェクト４００の仕様を表示情報データベース２３２から抽出する（ステップＳ１６０４）。
　そして、ｍｋ番目のＡＲオブジェクト４００の仕様の、表示非表示（非表示２３２ｊ）の設定が、非表示であるか否かを判別する（ステップＳ１６０５）。非表示である場合（Ｓ１６０５；Ｙｅｓ），後述のステップＳ１６１１へ移行する。
　一方、非表示でない場合（Ｓ１６０５；Ｎｏ）、表示映像生成部２１５は、ユーザ３００の視線３０１方向、紐付け対象の撮影オブジェクトに対応する現実物体５００までの距離等を考慮して、ＡＲオブジェクト４００に対し、拡大縮小、回転処理を施す（ステップＳ１６０６）。なお、ユーザ３００の視線３０１方向は、視線・表情検出部２２３により、検出される。
　そして、表示映像生成部２１５は、表示情報データベース２３２に登録された情報に従って、ＡＲオブジェクト４００が紐付られた撮影オブジェクトに対応する現実物体５００との距離関係を算出する（ステップＳ１６０７）。
　次に、表示映像生成部２１５は、算出した距離関係に応じて、ＡＲオブジェクト４００の表示態様を決定する（ステップＳ１６０８）。ここでは、ユーザ３００の視線３０１方向について、表示させるＡＲオブジェクト４００の奥行位置より手前に現実物体５００がある設定の場合、ＡＲオブジェクト４００の領域のうち、現実物体５００が手前にある領域を非表示とする処理を行う。なお、非表示とする処理においては、透過率を上げる処理であってもよい。
　次に、表示映像生成部２１５は、現在の処理対象のＡＲオブジェクト４００に対して表示変更指示が設定されているか否かを判別する（ステップＳ１６０９）。ここでは、表示情報データベース２３２の変更２３２ｋに表示変更指示が設定されているか否かを判別する。
　表示変更指示が設定されている場合（Ｓ１６０９；Ｙｅｓ）、表示映像生成部２１５は、予め定めた表示変更処理をそのＡＲオブジェクト４００に施す（ステップＳ１６１０）。
　そして、処理対象の撮影オブジェクトについて、全てのＡＲオブジェクトの処理を終了したかを判別する（ステップＳ１６１１）。未処理のＡＲオブジェクトが有る場合は、次のＡＲオブジェクトについて（ステップＳ１６１２）、ステップＳ１６０４から処理を繰り返す。
　全てのＡＲオブジェクトについての処理を終了した場合、未処理の撮影オブジェクトがあるか否かを判別する（ステップＳ１６１３）。未処理の撮影オブジェクトが有る場合は、次の撮影オブジェクトについて（ステップＳ１６１４）、ステップＳ１６０２から処理を繰り返す。
　以上説明したように、本実施形態のＭＲ表示装置１００は、ユーザ３００の視線方向に基づいて、仮想物体であるＡＲオブジェクト４００をディスプレイ（透過光学系１４２）に表示させる表示映像を生成する表示映像生成部２１５と、ユーザ３００の、通常使用状態からの変化を検出し、ＡＲオブジェクト４００の表示態様を変更する表示変更指示を、表示情報データベース２３２に設定する表示変更設定部２１６と、を備える。そして、表示映像生成部２１５は、表示変更指示が設定されている間は、ＡＲオブジェクト４００の表示態様を予め定めた態様に変更して表示させる。
　このように、本実施形態によれば、ユーザ３００の視線方向において、ＡＲオブジェクト４００が現実物体５００を遮蔽する場合、ＡＲオブジェクト４００の表示を、現実物体５００の視認の邪魔にならない態様に変化させる。このようなＡＲオブジェクト４００の表示の変化を、ユーザ３００による不快感を示す動作を検出したことを契機に行う。すなわち、ユーザ３００による意図的な操作指示無しに、ユーザ３００の状態の変化からユーザ３００の意図を汲み取り、表示を変化させる。
　従って、ユーザ３００は、ＡＲオブジェクト４００の表示が邪魔だと感じた場合に、通常示す表情を浮かべるだけで、ＡＲオブジェクト４００の表示態様が変化する。すなわち、ユーザ３００は、邪魔な表示を変更するために、特段の操作を行う必要はない。このように、本実施形態によれば、ユーザ３００の負担を抑え、使い勝手を向上させつつ視認性を向上させるＡＲオブジェクト表示技術を提供できる。
　なお、上記実施形態では、ＡＲオブジェクト４００が現実物体５００に近接して見える位置に表示される場合を例にあげて説明したが、これに限定されない。ユーザ３００から見てＡＲオブジェクト４００が現実物体５００の視認を妨げる位置にあれば、近接して見える位置以外に表示される場合でも本実施形態は適用できる。
　＜変形例１＞
　上記実施形態では、ユーザ３００の表情に所定の変化が発生したことを検出した場合、表示変更設定部２１６は、表示変更指示を登録する。しかし、表示変更指示を設定するユーザ３００の動作は、これに限定されない。
　ユーザ３００の視線３０１方向において、現実物体５００の手前にＡＲオブジェクト４００が表示されている状態で、現実物体５００が見たい、ＡＲオブジェクト４００が煩わしい、不快、と感じていることがわかる動作であればよい。
　このような場合、ユーザ３００は、ＡＲオブジェクト４００が表示されている位置をユーザ３００は注視している（視線３０１方向が向いている）が、視線が左右／上下／斜めなどに動かしたりする。また、顔をしかめたり、眉間にしわをよせたり、眉や目のサイズを変化させたり、ＭＲ表示装置１００を動かしたりする。
　具体的には、例えば、図１６（ａ）に示すように、視点は固定したまま頭を左右に振るなどの動作が検出された場合、表示変更設定部２１６は、表示変更要の動作が検出されたと判別する。そして、表示変更指示を設定する。
　視点が固定されているか否かは、視線・表情検出部２２３からの出力により判別する。また、頭部の動きは、移動検出部２２４の出力により判別する。例えば、ジャイロセンサにより、公知の手法で、ＭＲ表示装置１００を装着するユーザ３００の頭部の上下方向および左右方向の回転動作を検出する。ここでは、例えば、動作前のユーザ３００の正面方向を基準方向として、基準方向に対して成す角度で回転動作量を算出する。算出した回転動作量が閾値を超えている場合、頭部の動き動作検出、と判別する。
　また、図１６（ｂ）に示すように、表示変更設定部２１６は、ユーザ３００による、装着しているＭＲ表示装置１００の配置位置変更動作を検出した場合、表示変更要の動作が検出されたと判別し、表示変更指示を設定してもよい。
　ＭＲ表示装置１００の配置位置変更動作は、ＭＲ表示装置１００が、ＨＭＤの場合、ユーザ３００が、その手３０３で持ち上げる、持ち下げる、動かす、等の動作である。
　表示変更設定部２１６は、ＭＲ表示装置１００の配置位置変更動作を、移動検出部２２４の出力により判別する。例えば、センサ群１３１のうち、加速度センサからの出力および接触センサからの出力等により、ＭＲ表示装置１００の配置位置変更動作の有無を判別する。
　さらに、表示変更設定部２１６は、目元以外の、顔全体の表情の変化により、表示変更要の動作がなされたか否かを判別してもよい。例えば、図１６（ｃ）および図１６（ｄ）に示すように、顔をしかめる、眉間にしわがよる、等の表情を検出した場合である。
　さらには、このような特定の表情が検出された場合に限定せず、標準表情と異なる表情が検出された場合、表示変更設定部２１６は、表示変更要の動作が検出されたと判別してもよい。
　また、音声により、表示変更要の動作を検出してもよい。この場合、図１６（ｅ）に示すように、マイク１５２で受信したユーザ３００の音声を認識する音声認識部２２７をさらに備える。音声認識部２２７が、音声コマンド以外の音声であって、予め設定された音声を受信した場合、表示変更設定部２１６は、表示変更要の動作を検出した、と判別する。予め設定された音声は、例えば、舌打ちや、「あれ？」、「見えない」等とする。
　＜変形例２＞
　上記表情の変化も含め、表示変更要の動作は、正しくユーザ３００の意図を汲みとって処理できたと判断される動作を蓄積することにより学習し、精度を向上させてもよい。
　例えば、上記実施形態のように、標準表情からの変化量で判別する場合、初期状態では、判別する閾値を大きく設定しておく。そして、表示変更要の動作との判断が、ユーザ３００の意図に沿うもの（成功）であった場合、その閾値を登録する。一方、不成功の場合、その閾値を、予め定めた量だけ小さくし、次回の判別に用いる。
　成功不成功は、例えば、その後のユーザ３００からの解除指示の受け付けまでの時間で判別する。ユーザ３００は、その表情の変化が、表示変更要の動作でない場合、表示が変更されると、それは意図にそぐわない処理であるため、すぐに解除指示を行う。
　表示変更後、予め定めた経過時間内に解除指示を受け付けた場合、表示変更設定部２１６は、判断不成功と判断する。そして、閾値を変化させる。一方、前記経過時間内に解除指示を受け付けない場合、判断成功と判断する。そして、判別の際に用いた変化量を次回用いる閾値として登録する。
　なお、この場合、成功した表情そのものを、登録してもよい。そして、表示変更設定部２１６は、その後は、登録した表情とユーザ３００の表情とを照合し、所定の類似度以上となった場合、表示変更要の動作有り、と判別する。
　蓄積するのは、表情に限らず、上記変形例の各動作であってもよい。この場合、例えば、ＭＲ表示装置１００は、さらに、表示変更要の動作または表情を蓄積する蓄積データベースを備える。
　例えば、表示変更設定部２１６は、ユーザ３００が、通常使用時の動作と異なる動作を行う毎に、ＡＲオブジェクト４００の表示を変更する。そして、その成否を判別し、不成功の場合は、当該動作を、不成功を示すフラグとともに、蓄積データベースに登録する。一方、成功した場合は、当該動作を、表示変更要の動作であることを示すフラグとともに、蓄積データベースに登録する。
　その後、表示変更設定部２１６は、ユーザ３００が通常時とは異なる動作を行うごとに、検出した動作を蓄積データベースと照合し、不成功のフラグとともに登録されている場合は、表示変更指示の設定は行わない。一方、成功のフラグとともに登録されている場合は、表示変更指示を設定する。また、登録されていない場合は、表示変更指示を設定する。
　例えば、ＡＲ表示不要動作として、音声を用いる場合、音声コマンド以外の音声を検出した場合、表示変更設定部２１６は、まず、蓄積データベースを参照する。そして、蓄積データベースに、検出した音声の登録がないか、あるいは、成功のフラグとともに登録されている場合は、表示変更を設定する。一方、不成功のフラグとともに登録されている場合は、表示変更を設定しない。
　このように構成することで、個々のユーザ３００固有の、不快等と思う動作を蓄積できる。そして、蓄積結果を用いて以降の判別を行うため、ユーザ３００毎に、精度よく表示変更を行うことができる。
　＜変形例３＞
　また、上記実施形態では、表示変更指示が登録されている場合、現実物体５００の手前に見えるように表示されるＡＲオブジェクト４００を透明化する表示変更を行う。しかし、表示変更の態様はこれに限定されない。ＡＲオブジェクト４００の視認性が低下すればよく、例えば、ＡＲオブジェクトの表示位置の移動、表示形状の変更および表示属性の変更の少なくとも１つの処理を含んでよい。
　例えば、図１７（ａ）に示すように、ＡＲオブジェクト４００の表示位置を移動させたかのように変更してもよい。ここでは、ユーザ３００の視線３０１方向に関して、現実物体５００の背面位置に見えるよう表示させる。このとき、上述の手法で、表示映像生成部２１５は、ＡＲオブジェクト４００の現実物体５００と重複する領域は表示させないよう表示映像を生成する。
　また、図１７（ｂ）に示すように、表示仕様を変更してもよい。例えば、表示映像生成部２１５は、ＡＲオブジェクト４００の表示輝度や投影光量を小さくし、ＡＲオブジェクト４００の透過率を上げて表示されるよう、表示映像を生成する。このとき、ＡＲオブジェクト４００の色調整を行い、モノクロ表示にしたり、表示色を視認性の低い色へ変換したりしてもよい。
　また、表示映像生成部２１５は、図１７（ｃ）に示すように、ＡＲオブジェクト４００の表示サイズを小さくした表示映像を生成してもよい。この場合、表示位置も、現実物体５００の近傍に見える位置に移動させてもよい。さらに、ＡＲオブジェクト４００の存在をわかりやすく示すために、ＡＲオブジェクト４００の表示に動きを与えてもよい。本図の例では、ＡＲオブジェクト４００が、現実物体５００の近傍で旋回しているかのように見える動きを与えて表示されるよう、表示映像を生成する。
　また、表示映像生成部２１５は、図１７（ｄ）に示すように、ＡＲオブジェクト４００の表示位置は維持し、現実物体５００の最も手前の面と重なる領域は非表示（カット）とするよう表示映像を生成してもよい。
　また、ＡＲオブジェクト４００が、動画コンテンツ４１０である場合、再生を停止させてもよい。この場合、図１７（ｅ）に示すように、動画コンテンツ４１０の近傍に、解除指示として、再生開始の指示を受け付けるオブジェクト４２０を表示させてもよい。
　さらに、ＡＲオブジェクト４００の焦点位置を透過光学系１４２上からずらしてもよい。ＡＲオブジェクト４００を、視線領域外に移動させてもよい。また、ＡＲオブジェクトを部分的な表示（メッシュ状やドット状の表示を含む。）にしてもよい。
　なお、ＡＲオブジェクト４００の視認性を低下させるだけでなく、現実物体の視認性を高めた表示映像を生成してもよい。例えば、図１８（ａ）に示すように、現実物体５００を説明するポップアップ映像４３０を、現実物体５００の近傍となる位置に表示させるよう表示映像を生成してもよい。
　また、図１８（ｂ）に示すように、ユーザ３００の視線３０１方向に、複数のＡＲオブジェクト４００（４０１、４０２、４０３）が重畳表示される場合、ＡＲオブジェクト４００の表示順を表示変更指示毎に変更してもよい。
　すなわち、ユーザ３００の視線３０１方向において、手前から４０１、４０２、４０３の順に表示されている状態で、表示変更指示が登録された場合、表示映像生成部２１５は、表示順を、４０２、４０３、４０１に変更した表示映像を生成する。さらに、表示変更指示が登録され他場合、表示順を、４０３、４０１、４０２に変更した表示映像を生成する。
　＜変形例４＞
　なお、上記実施形態では、ＡＲオブジェクト４００は、現実物体５００に紐付けて登録されるものを例にあげて説明している。しかし、ＡＲオブジェクト４００は、必ずしも、現実物体５００に紐付けされたものに限定されない。
　例えば、メニュー画面、アプリケーション等を示すアイコン、警告や通知等のアラート、ポップアップメニュー、ウィンドウ、アプリケーションで呼び出して配置したオブジェクト等であってもよい。ウィンドウは、例えば、メール表示、通話画面、地図、使用中のアプリケーションの画面等である。また、アプリケーションで呼び出して配置したオブジェクトには、例えば、買い物アプリケーションで購入を検討中の家具を、自分の部屋にＡＲオブジェクトとして配置する場合に表示されるオブジェクト等がある。
　これらのＡＲオブジェクトについては、上記実施形態のＡＲ設定ＵＩ６１０のように、透過光学系１４２上の表示位置を予め定めておく。表示位置は、例えば、背景に対応づけて登録されてもよい。また、複合現実空間の座標で登録されてもよい。
　なお、現実物体５００に紐付けされていない場合、表示情報データベース２３２の代わりに、各ＡＲオブジェクトの透過光学系１４２上の表示位置を設定する表示位置データベースを用いる。この表示位置データベースのレコードは、ＡＲ設定ＵＩ６１０を介しての設定、編集に従って、更新される。また、表示変更指示、解除指示は、この表示位置データベースにおいて管理される。表示映像生成部２１５は、所定の時間間隔で、表示情報データベース２３２とともに、表示位置データベースにもアクセスし、これらに登録されているデータに基づいて、表示映像を生成する。
　ここで、サーバ９２０からメール等を受信した際の、表示映像生成部２１５による表示映像生成処理の例を説明する。
　本変形例では、サーバ９２０からメールを受信すると、ＭＲ表示装置１００は、通知アイコンをＡＲオブジェクト４００として表示させる。そして、ユーザ３００が通知アイコンを視認したことを検出すると、メールの本文を表示させる。さらに、ユーザ３００の視線がメール本文から離れたことを検出すると、表示していたメール本文を消去する。
　本変形例では、ユーザ３００の視線が表示されているメールの本文から離れたことが検出された場合、メール本文の表示を消去する。従って、表示変更設定部２１６は、メール本文が表示されている状態で、ユーザ３００の視線が外れたことを検出すると、表示変更指示を登録する。
　この場合の表示映像生成部２１５による表示映像生成処理の流れを、図１９に示す。ここでは、メールを受信した場合の処理を例にあげて説明する。本処理は、サーバ９２０からメールを受信したことを契機に開始される。
　表示映像生成部２１５は、通知アイコンをＡＲオブジェクト４００として表示させるよう表示映像を生成する（ステップＳ１７０１）。通知アイコンは、メール受信を通知するアイコンである。これにより、通知アイコンが表示される。なお、表示映像生成部２１５は、予め定めた表示位置に通知アイコンが表示されるよう、表示映像を生成する。
　視線・表情検出部２２３が、ユーザ３００が表示された通知アイコンを視認したことを検出すると（ステップＳ１７０２）、表示映像生成部２１５は、メールの本文が表示されるよう表示映像を生成する（ステップＳ１７０３）。
　表示変更設定部２１６は、メール本文が表示されている状態で、表示映像生成処理とは独立して、ユーザ３００の視線が外れたか否か（視線離脱）の判別を、所定時間間隔で実行する。そして、視線が外れたと判別すると、視線離脱を検出したとして、表示変更設定部２１６は、表示変更指示を、表示位置データベースに設定する。
　表示映像生成部２１５は、表示位置データベースにアクセスし、表示変更指示、すなわち視線離脱が検出されたか否かを所定の時間間隔で確認する（ステップＳ１７０４）。そして、表示変更指示が設定されていることを検出すると、すなわち、視線離脱が検出されると、メール本文の表示を消去し（ステップＳ１７０５）、処理を終了する。
　なお、メールだけでなく、メッセージまたはアラートを受信した場合も同様の処理を行ってもよい。
　＜変形例５＞
　上記実施形態では、画像カメラ１２１は、ユーザ３００から指示を受け付け、画像の取得を開始する。しかしながら、画像カメラ１２１は、ＭＲ表示装置１００の起動とともに、画像の取得を開始してもよい。また、ユーザ３００からの指示は、ユーザ３００によるログイン操作であってもよい。
　なお、ログイン処理においては、例えば、ユーザ３００の識別情報（ユーザＩＤ）と、パスワードとを対応づけて登録する。これらの情報は、ＭＲ表示装置１００のＲＯＭ１０４であってもよいし、ネットワーク９００を介して接続されるサーバ９２０等の外部装置のストレージ装置であってもよい。
　このとき、さらに、ユーザ固有の設定を、ユーザＩＤ等に対応づけて登録してもよい。ユーザ固有の設定とは、例えば、そのユーザ３００にとって見やすい輝度、コントラスト、配色、フォントサイズ、メニューの表示位置などの表示に関する設定が挙げられる。その他に、顔カメラ１２３および視線・表情検出部２２３を使用して過去に検出した、そのユーザの視線や表情データを呼び出し、表示変更処理の表情判定等に使用する。また、ログイン後、ユーザの名前やアバターなどのアイコンを表示させてもよい。
　＜変形例６＞
　上記実施形態では、ＡＲオブジェクト表示制御処理は、画像カメラ１２１が画像を取得することを契機として開始する。しかしながら、ＡＲオブジェクト表示制御処理開始のトリガは、これに限定されない。例えば、所定の時間間隔で行ってもよい。例えば、画像カメラ１２１が、３０ｆｐｓ（ｆｒａｍｅ　ｐｅｒ　ｓｅｃｏｎｄ）の動画撮影を継続している場合、ＡＲオブジェクト表示制御処理を開始するタイミングで撮影映像をキャプチャする。
　＜変形例７＞
　解除指示は、予め定めた動作としているが、これに限定されない。例えば、図８（ａ）の表情（標準表情）から表情変化を検出した時、表示変更指示を設定し、次に、図８（ａ）の標準表情から表情変化を検出した時に表示変更指示を解除するといったトグル動作を行わせても良い。
　＜＜第二実施形態＞＞
　次に、本発明の第二実施形態について説明する。第一実施形態では、ＭＲ表示装置１００は、画像カメラ１２１と測距カメラ１２２とを備え、周囲の画像と周囲の物体までの距離を得ている。本実施形態では、これらのカメラの代わりに、３Ｄカメラを備える。
　また、本実施形態では、表示系については、また、表示光学系１４１および透過光学系１４２の代わりに、光学シャッタと、平面ディスプレイとを備える。すなわち、本実施形態では、３Ｄカメラで取得した映像とＡＲオブジェクトとをディスプレイに重畳表示させる。
　以下、本実施形態について、第一実施形態と異なる構成に主眼をおいて説明する。
　図２０（ａ）は、本実施形態のＭＲ表示装置１００ａのハードウェア構成図であり、図２０（ｂ）は、ＭＲ表示装置１００ａの外観図である。
　これらの図に示すように、ＭＲ表示装置１００ａは、処理部１１０と、３Ｄカメラ１２４と、顔カメラ１２３と、光学シャッタ１４３と、平面ディスプレイ１４４と、スピーカ１５１と、マイク１５２と、ノーズパッド１１６と、フレーム筐体１１９ａ、１１９ｂおよび１１９ｃと、を備える。なお、第一実施形態と同名の構成は、ここでは説明を省略する。
　３Ｄカメラ１２４は、図２０（ｂ）に示すように、左右一対のカメラ要素１２４ａと１２４ｂとを備える。３Ｄカメラ１２４は、これらのカメラ要素１２４ａおよび１２４ｂにより、左右視差のある撮影映像と視差情報とを得る。視差情報からは、撮影映像内の現実物体５００や背景の距離等の位置情報が得られる。
　平面ディスプレイ１４４は、一対のカメラ要素１２４ａおよび１２４ｂにより取得された撮影映像とＡＲオブジェクト４００との映像を処理部１１０で合成した映像を映し出す。
　光学シャッタ１４３は、電圧の印加により光の透過非透過を制御する。具体的には、電圧非印加時は、非透過と、電圧印加時は、透過となるよう構成される。例えば、電圧非印加時に所定の偏光方向の直線偏光のみを透過する素子を、偏光方向を相直交するよう重ねる等により実現される。
　図２１は、本実施形態のＭＲ表示装置１００ａの機能ブロック図である。ＭＲ表示装置１００ａは、基本的に第一実施形態のＭＲ表示装置１００と同様の構成を備える。ただし、特徴抽出部２２１は備えない。その代わりに、オブジェクト検出部２２５とシャッタ制御部２２６と、を備える。また、距離算出部２２２および表示映像生成部２１５の処理が異なる。
　以下、ＭＲ表示装置１００ａの機能について、第一実施形態と異なる構成に主眼をおいて説明する。
　オブジェクト検出部２２５は、カメラ要素１２４ａおよび１２４ｂそれぞれの撮影映像（要素画像）から特徴を抽出する。そして、抽出した特徴点に基づいて、撮影映像内の撮影オブジェクトを特定する。撮影オブジェクトは、実空間の現実物体５００に対応する領域である。
　シャッタ制御部２２６は、光学シャッタ１４３の動作を制御する。本実施形態では、例えば、電圧の印加非印加を制御し、透過非透過を制御する。
　本実施形態の距離算出部２２２は、カメラ要素１２４ａで得る左目視線の映像とカメラ要素１２４ｂで得る右目視線の映像との視差により、撮影映像内の現実物体や背景の距離を算出する。
　表示映像生成部２１５は、３Ｄカメラ１２４で取得した映像とＡＲオブジェクトの映像とを合成し、表示映像を生成する。ＡＲオブジェクトの映像の生成手法は、第一実施形態と同じである。
　なお、カメラ要素１２４ａで得る左目視線の映像とカメラ要素１２４ｂで得る右目視線の映像とは、光学シャッタ１４３の動作に同期させて、奥行き等を反映させた表示を行う。
　以上説明したように、本実施形態によれば、第一実施形態同様、ユーザ３００の負担を抑え、使い勝手を向上させつつ視認性を向上させるＡＲオブジェクト表示技術を提供できる。
　本実施形態では、左右一対のカメラで取得した画像から視差情報を得、距離を算出するため、距離カメラが不要である。従って、より簡易な構成で、上記効果を得ることができる。
　また、本実施形態によれば、表示系に光学シャッタ１４３と平面ディスプレイ１４４とを用いる。従って、頭部装着型の表示装置に限定されない。例えば、スマートフォン等、携帯型の情報表示装置であってもよい。
　なお、第一実施形態の各変形例は、本実施形態にも適用可能である。
　また、第一実施形態において、表示光学系１４１および透過光学系１４２の代わりに、光学シャッタ１４３と平面ディスプレイ１４４とを用いてもよい。この場合、第一実施形態においても、携帯型の情報表示装置を用いることができる。
　また、第二実施形態において、光学シャッタ１４３と平面ディスプレイ１４４との代わりに、表示光学系１４１および透過光学系１４２を用いてもよい。
　また、上記各実施形態および変形例において、各データベースは、ユーザ３００毎に設定されてもよい。この場合、各データベースに、ユーザ３００を特定する情報が付与される。
　本発明は上記した実施形態および変形例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態および変形例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態または変形例の構成の一部を他の実施形態や変形例の構成に置き換えることが可能である。また、ある実施形態または変形例の構成に他の実施形態または変形例の構成を加えることも可能である。さらに、各実施形態または変形例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
　また、上記の各構成、機能、処理部、処理手段等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ部や、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
　また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
　１００：ＭＲ表示装置、１００ａ：ＭＲ表示装置、１０１：ＣＰＵ、１０２：ＲＡＭ、１０３：映像ＲＡＭ、１０４：ＲＯＭ、１０５：通信部、１１０：処理部、１１６：ノーズパッド、１１９ａ：フレーム筐体、１１９ｂ：フレーム筐体、１２１：画像カメラ、１２２：測距カメラ、１２３：顔カメラ、１２４：３Ｄカメラ、１２４ａ：カメラ要素、１２４ｂ：カメラ要素、１３１：センサ群、１４１：表示光学系、１４１ａ：左表示光学系、１４１ｂ：右表示光学系、１４２：透過光学系、１４３：光学シャッタ、１４４：平面ディスプレイ、１５１：スピーカ、１５２：マイク、
　２１０：制御部、２１２：移動データ更新部、２１３：撮影オブジェクト特定部、２１４：ＡＲオブジェクト設定受付部、２１５：表示映像生成部、２１６：表示変更設定部、２２１：特徴抽出部、２２２：距離算出部、２２３：表情検出部、２２４：移動検出部、２２５：オブジェクト検出部、２２６：シャッタ制御部、２２７：音声認識部、
　２３１：基準点・移動履歴データベース、２３１ａ：位置ＩＤ、２３１ｂ：時刻、２３１ｃ：方向情報、
　２３２：表示情報データベース、２３２ａ：位置ＩＤ、２３２ｂ：オブジェクト名、２３２ｃ：特徴点名、２３２ｄ：距離、２３２ｅ：方向、２３２ｆ：ＡＲＩＤ、２３２ｈ：サイズ、２３２ｉ：回転量、２３２ｊ：非表示、２３２ｋ：変更、２３２ｐ：撮影オブジェクト情報、２３２ｒ：ＡＲオブジェクト情報、
　２３３：ＡＲオブジェクトデータベース、２３３ａ：ＡＲオブジェクトＩＤ、２３３ｂ：名称、２３３ｃ：イメージデータ、
　３００：ユーザ、３０１：視線、４００：ＡＲオブジェクト、４１０：動画コンテンツ、４２０：オブジェクト、４３０：ポップアップ映像、５００：現実物体、
　６１０：ＡＲ設定ＵＩ、６１１：設定メニュー、６１２：サブメニュー、６１３：編集メニュー、６３０：カーソル、
　９００：ネットワーク、９１０：リモコン、９２０：サーバ

Claims (13)

  1. 　ユーザの視線方向に基づいて、仮想物体をディスプレイに表示させる表示映像を生成する表示映像生成部と、
    　ユーザの、通常使用状態からの変化を検出した場合、前記仮想物体の表示態様を変更する表示変更指示を設定する表示変更設定部と、を備え、
    　前記表示映像生成部は、前記表示変更指示が設定されている間は、前記仮想物体の表示態様が変更されるよう前記表示映像を生成すること
    　を特徴とする複合現実表示装置。
  2. 　請求項１記載の複合現実表示装置であって、
    　前記表示変更設定部は、前記仮想物体の前記ユーザの視線方向において、前記仮想物体が実空間の物体である現実物体を遮蔽する場合、前記表示変更指示を設定すること
    　を特徴とする複合現実表示装置。
  3. 　請求項２記載の複合現実表示装置であって、
    　現実空間を撮影し、現実空間の画像を取得する画像取得部と、
    　当該複合現実表示装置と前記現実空間内の現実物体との距離を取得する測距部と、
    　前記現実空間の画像上で前記現実物体に対応する撮影物体の配置領域を特定する撮影物体特定部と、をさらに備え、
    　前記表示変更設定部は、前記仮想物体の配置位置の奥行情報と、前記ユーザの視線方向と、前記現実物体までの距離と、前記撮影物体の配置領域とに基づいて、前記仮想物体が前記現実物体を遮蔽するかを判別すること
    　を特徴とする複合現実表示装置。
  4. 　請求項１記載の複合現実表示装置であって、
    　前記ユーザの、前記通常使用状態からの変化は、当該ユーザの表情の変化であること
    　を特徴とする複合現実表示装置。
  5. 　請求項４記載の複合現実表示装置であって、
    　前記ユーザの両眼を含む顔領域の画像を取得する顔カメラと、
    　前記顔カメラで取得した顔画像から、前記ユーザの視線方向を検出する視線方向検出部と、をさらに備え、
    　前記表示変更設定部が前記表示態様を変更する前記仮想物体は、検出された前記視線方向と前記ディスプレイとの交点に表示される前記仮想物体であること
    　を特徴とする複合現実表示装置。
  6. 　請求項５記載の複合現実表示装置であって、
    　前記視線方向検出部は、さらに、前記顔画像から、前記表情の変化を検出すること
    　を特徴とする複合現実表示装置。
  7. 　請求項４記載の複合現実表示装置であって、
    　前記ユーザによる、予め定めた解除指示を検出するセンサ群をさらに備え、
    　前記表示変更設定部は、前記解除指示が検出された場合、前記表示変更指示の設定を解除すること
    　を特徴とする複合現実表示装置。
  8. 　請求項１記載の複合現実表示装置であって、
    　前記仮想物体の表示態様の変更は、前記仮想物体の表示位置の変更、表示形状の変更および表示属性の変更の少なくとも１つの処理を含むこと
    　を特徴とする複合現実表示装置。
  9. 　請求項１記載の複合現実表示装置であって、
    　前記ディスプレイは、透過型ディスプレイであること
    　を特徴とする複合現実表示装置。
  10. 　請求項３記載の複合現実表示装置であって、
    　前記画像取得部は、左右一対のカメラ要素を備え、当該カメラ要素それぞれで取得した要素画像から前記画像を得、
    　前記測距部は、前記要素画像それぞれから視差情報を得、前記視差情報に基づいて現実物体までの距離を算出すること
    　を特徴とする複合現実表示装置。
  11. 　ユーザの視線方向に基づいて、仮想物体をディスプレイに表示させる表示映像を生成し、前記ディスプレイに表示させる複合現実表示方法であって、
    　前記仮想物体の表示態様を変更する表示変更指示が設定されているか否かを判別し、設定されている場合、前記仮想物体の表示態様が変更されるよう前記表示映像を生成し、
    　前記表示変更指示は、前記ユーザの、通常使用状態からの変化が検出された場合、設定されること
    　を特徴とする複合現実表示方法。
  12. 　請求項１１記載の複合現実表示方法であって、
    　前記ユーザの、前記通常使用状態からの変化は、当該ユーザの表情の変化であること
    　を特徴とする複合現実表示方法。
  13. 　請求項１１記載の複合現実表示方法であって、
    　前記仮想物体の表示態様の変更は、前記仮想物体の表示位置の変更、表示形状の変更および表示属性の変更の少なくとも１つの処理を含むこと
    　を特徴とする複合現実表示方法。
PCT/JP2019/010952 2019-03-15 2019-03-15 複合現実表示装置および複合現実表示方法 WO2020188655A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/010952 WO2020188655A1 (ja) 2019-03-15 2019-03-15 複合現実表示装置および複合現実表示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/010952 WO2020188655A1 (ja) 2019-03-15 2019-03-15 複合現実表示装置および複合現実表示方法

Publications (1)

Publication Number Publication Date
WO2020188655A1 true WO2020188655A1 (ja) 2020-09-24

Family

ID=72519257

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/010952 WO2020188655A1 (ja) 2019-03-15 2019-03-15 複合現実表示装置および複合現実表示方法

Country Status (1)

Country Link
WO (1) WO2020188655A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005346468A (ja) * 2004-06-03 2005-12-15 Canon Inc 画像処理方法、画像処理装置
WO2012124250A1 (ja) * 2011-03-15 2012-09-20 パナソニック株式会社 オブジェクト制御装置、オブジェクト制御方法、オブジェクト制御プログラム、及び集積回路
WO2016203792A1 (ja) * 2015-06-15 2016-12-22 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP2017182500A (ja) * 2016-03-30 2017-10-05 富士通株式会社 入力装置、入力プログラム、及び入力方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005346468A (ja) * 2004-06-03 2005-12-15 Canon Inc 画像処理方法、画像処理装置
WO2012124250A1 (ja) * 2011-03-15 2012-09-20 パナソニック株式会社 オブジェクト制御装置、オブジェクト制御方法、オブジェクト制御プログラム、及び集積回路
WO2016203792A1 (ja) * 2015-06-15 2016-12-22 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP2017182500A (ja) * 2016-03-30 2017-10-05 富士通株式会社 入力装置、入力プログラム、及び入力方法

Similar Documents

Publication Publication Date Title
US11366516B2 (en) Visibility improvement method based on eye tracking, machine-readable storage medium and electronic device
US9857589B2 (en) Gesture registration device, gesture registration program, and gesture registration method
US10757335B2 (en) Mobile terminal
KR20170067058A (ko) 이동 단말기 및 그 제어방법
EP3086216B1 (en) Mobile terminal and controlling method thereof
CN111970456B (zh) 拍摄控制方法、装置、设备及存储介质
EP3617851B1 (en) Information processing device, information processing method, and recording medium
KR102159767B1 (ko) 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
EP3173848B1 (en) Head mounted display and control method thereof
CN110895433B (zh) 用于增强现实中用户交互的方法和装置
JP2022183213A (ja) ヘッドマウントディスプレイ
JPWO2017104089A1 (ja) ヘッドマウントディスプレイ連携表示システム、及び、表示装置とヘッドマウントディスプレイとを含むシステム、及び、その表示装置
JP2017207595A (ja) 仮想空間を提供する方法、プログラム及び記録媒体
WO2020188655A1 (ja) 複合現実表示装置および複合現実表示方法
KR102312601B1 (ko) 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
CN111736692B (zh) 显示方法、显示装置、存储介质与头戴式设备
KR101720607B1 (ko) 영상 촬영 장치 및 그 동작 방법
KR102135364B1 (ko) 이동 단말기 및 이의 제어방법
CN105320359B (zh) 电子白板系统、光点位置识别处理方法和装置
KR20210125465A (ko) 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
CN115867890A (zh) 信息处理系统和信息处理终端
JPWO2022003912A5 (ja)
CN117063146A (zh) 信息显示装置和方法
KR20150097291A (ko) 영상표시장치 및 그것의 제어방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19919816

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19919816

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP