WO2023037547A1 - 携帯情報端末及びオブジェクト表示方法 - Google Patents

携帯情報端末及びオブジェクト表示方法 Download PDF

Info

Publication number
WO2023037547A1
WO2023037547A1 PCT/JP2021/033548 JP2021033548W WO2023037547A1 WO 2023037547 A1 WO2023037547 A1 WO 2023037547A1 JP 2021033548 W JP2021033548 W JP 2021033548W WO 2023037547 A1 WO2023037547 A1 WO 2023037547A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
coordinate system
information terminal
area
local coordinate
Prior art date
Application number
PCT/JP2021/033548
Other languages
English (en)
French (fr)
Inventor
康宣 橋本
和彦 吉澤
治 川前
眞弓 中出
信夫 益岡
仁 秋山
英之 永田
Original Assignee
マクセル株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by マクセル株式会社 filed Critical マクセル株式会社
Priority to PCT/JP2021/033548 priority Critical patent/WO2023037547A1/ja
Priority to JP2023546714A priority patent/JPWO2023037547A1/ja
Priority to CN202180102073.XA priority patent/CN117897948A/zh
Publication of WO2023037547A1 publication Critical patent/WO2023037547A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/66—Transforming electric information into light information

Definitions

  • a mobile information terminal and an object display method which are particularly suitable for displaying virtual objects and are easy to use, and a virtual object display method are provided.
  • HMD head-mounted display
  • the world coordinate system is the coordinate system of the real world, and virtual objects placed in the world coordinate system become invisible when the user leaves that location. On the other hand, since it has the same area as the real world, a large number of virtual objects can be placed.
  • the local coordinate system is a coordinate system fixed to the HMD, and the positional relationship is also fixed with the display mounted on the HMD.
  • a virtual object arranged in the direction in which the display surface of the display exists when viewed from the user's viewpoint is displayed on the display. If a virtual object is placed in the local coordinate system within the direction range in which the display surface of the display exists, even if the user moves while wearing the HMD, the display is also fixed to the local coordinate system, so the virtual object is always displayed. , can be manipulated.
  • the number of arranged virtual objects is limited.
  • the conventional technology which has only two coordinate systems for arranging virtual objects, the world coordinate system and the local coordinate system, has the problem that it is not possible to arrange a large number of virtual objects that one wants to refer to frequently.
  • Patent Document 1 discloses that "a virtual object display device includes a display and a display control device that controls display of the display, and the display control , the coordinate origin follows the movement of the virtual object device, and the rotation of the virtual object display device rotates the effective visual field range of the display within the coordinate system.
  • a coordinate system calculation unit that defines the placement position of the coordinate system virtual object;
  • a display control unit that, when the inertial coordinate system virtual object is included in the effective visual field range of the display, displays the inertial coordinate system virtual object in the effective visual field range; (summary excerpt)” is proposed.
  • an inertial coordinate system is provided as a coordinate system for arranging a virtual object, thereby increasing options for object display methods and improving user convenience. can.
  • a portable information terminal for displaying a display object comprising a display and a processor for controlling display of the display, the processor as a coordinate system for displaying the display object, Using a local coordinate system fixed to the terminal and a non-local coordinate system not fixed to the portable information terminal, coordinates for displaying the display object are calculated, and the display object displayed in the local coordinate system is: When displaying an enlarged area display object which is a related object and requires an enlarged area display protruding from the display area of the display, the enlarged area display object is arranged in the non-local coordinate system.
  • FIG. 10 is a flowchart showing the flow of processing in FIG. 9;
  • FIG. 10 is a flowchart showing the flow of processing in FIG. 9;
  • FIG. 10 is a flowchart showing the flow of processing in FIG. 9;
  • FIG. 10 is a flowchart showing the flow of processing in FIG. 9;
  • FIG. 10 is a flowchart showing the evacuation display example.
  • FIG. 12 is a flowchart showing the flow of processing in FIG. 11;
  • 14 is a flowchart showing the flow of processing in FIG. 13;
  • 4A and 4B are diagrams showing an example of transparent display;
  • FIG. Explanatory drawing of the chest coordinate system ( XB , YB , ZB ).
  • Explanatory drawing of an inertial coordinate system ( XI , YI , ZI ).
  • Explanatory drawing of direction-fixed non-local coordinate system (X V , Y V , Z V ).
  • Explanatory drawing of the user interface which concerns on 3rd Embodiment.
  • an HMD head mounted display
  • portable information terminal a portable information terminal
  • FIG. 1 is a diagram showing an example of the external configuration of the HMD 1.
  • FIG. 1 is a diagram showing an example of the external configuration of the HMD 1.
  • the HMD 1 includes a display 103 including a display area 111 in a spectacle-shaped housing 10 .
  • the display 103 is, for example, a transmissive display 103.
  • a real image of the outside world is transmitted through the display area 111, and an image is displayed superimposed on the real image.
  • the housing 10 is mounted with a controller 100, an out-camera 109, a ranging sensor 115, sensors other than the ranging sensor 115 (described as a sensor group 110 in FIG. 1), and the like.
  • the distance measuring sensor 115 is illustrated separately from the sensor group 110, but since the distance measuring sensor 115 is also a type of sensor, the sensor group 110 includes the distance measuring sensor 115 in FIG. do.
  • the out-camera 109 has, for example, two cameras arranged on the left and right sides of the housing 10, and captures a range including the front of the HMD 1 to acquire an image.
  • the range including the front of the HMD 1 includes the visible area of the user wearing the HMD 1 .
  • the distance sensor 115 is a sensor that measures the distance between the HMD 1 and an object in the outside world.
  • the ranging sensor 115 may use a TOF (Time Of Flight) sensor, or may use a stereo camera or other methods.
  • TOF Time Of Flight
  • the sensor group 110 includes multiple sensors for detecting the position and orientation of the HMD 1 .
  • An audio input device 106 including a microphone, an audio output device 105 including a speaker and an earphone terminal, and the like are provided on the left and right sides of the housing 10 .
  • the HMD 1 may be attached with an operating device 20 such as a remote controller. In that case, the HMD 1 performs short-range wireless communication with the operation device 20, for example. By manually operating the operation device 20 , the user can input instructions regarding the functions of the HMD 1 and move the cursor on the display area 111 .
  • an operating device 20 such as a remote controller.
  • the HMD 1 performs short-range wireless communication with the operation device 20, for example.
  • the user can input instructions regarding the functions of the HMD 1 and move the cursor on the display area 111 .
  • the HMD 1 may communicate and cooperate with external devices (for example, smartphones, PCs, etc.). For example, the HMD 1 may receive image data of an AR (Augmented Reality) object from an application of an external device.
  • external devices for example, smartphones, PCs, etc.
  • the HMD 1 may receive image data of an AR (Augmented Reality) object from an application of an external device.
  • AR Augmented Reality
  • the HMD 1 may display the display object in the display area 111.
  • the HMD 1 generates a display object for guiding the user and displays it on the display area 111 .
  • the display object displayed in the display area 111 becomes an AR object arranged in an augmented reality space added to the real world that is viewed through the display area 111 .
  • FIG. 2 is a diagram showing a functional block configuration example of the HMD 1 in FIG.
  • the HMD 1 will be described as an example of the mobile information terminal, but other mobile information terminals such as the smart phone 5 (see FIGS. 19 and 20) and tablet terminals have the same configuration.
  • the HMD 1 includes a processor 101, a memory 102, a display 103, a wireless communication device 104, an audio output device 105 including speakers, an audio input device 106 including a microphone, an operation input unit 107, a battery 108, an out-camera 109, and a group of sensors 110. etc. These elements are interconnected through a bus or the like.
  • the processor 101 is composed of a CPU, GPU, etc., and constitutes the controller 100 of the HMD 1 .
  • the processor 101 executes processing according to the control program 31 and the application program 32 stored in the memory 102 to implement functions such as an OS, middleware, applications, and other functions.
  • the memory 102 is composed of ROM, RAM, etc., and stores various data and information handled by the processor 101 and the like.
  • the memory 102 also stores images acquired by the out-camera 109 and detection information as temporary information.
  • the out-camera 109 acquires an image by converting the light incident from the lens into an electrical signal with an imaging device.
  • the ranging sensor 115 calculates the distance to the object from the time it takes for the light emitted to the outside world to hit the object and return.
  • the sensor group 110 includes, for example, an acceleration sensor 111, a gyro sensor (angular velocity sensor) 112, a geomagnetic sensor 113, a GPS receiver 114, and a ranging sensor 115.
  • the sensor group 110 detects the position, orientation, motion, and other states of the HMD 1 using the detection information of these sensors.
  • HMD1 may be provided with not only this but an illuminance sensor, a proximity sensor, an atmospheric pressure sensor, etc.
  • the display 103 includes a display driving circuit and a display area 111, and displays a display object in the display area 111 based on the image data of the display information 34.
  • the display 103 is not limited to a transmissive display, and may be a non-transmissive display or the like.
  • the wireless communication device 104 includes communication processing circuits, antennas, etc. corresponding to various predetermined communication interfaces. Examples of communication interfaces include mobile networks, Wi-Fi (registered trademark), Bluetooth (registered trademark), infrared rays, and the like.
  • the wireless communication device 104 performs wireless communication processing and the like with other HMDs 1 and access points.
  • the wireless communication device 104 also performs short-range communication processing with the operation device 20 .
  • the voice input device 106 converts input voice from the microphone into voice data.
  • the voice input device 106 may have voice recognition capabilities.
  • the audio output device 105 outputs audio from a speaker or the like based on the audio data.
  • the voice output device 105 may have a voice synthesizing function.
  • the operation input unit 107 is a part that receives operation inputs to the HMD 1, such as power on/off and volume adjustment, and is composed of hardware buttons, touch sensors, and the like.
  • a battery 108 supplies power to each unit.
  • the processor 101 has a communication control unit 101A, a display control unit 101B, a data processing unit 101C, and a data acquisition unit 101D as configuration examples of functional blocks realized by processing.
  • the memory 102 stores a control program 31, an application program 32, setting information 33, display information 34, terminal position and orientation information 35, and the like.
  • the control program 31 is a program for realizing overall control of the HMD 1 including display control.
  • the application programs 32 are various programs used by users.
  • the setting information 33 includes system setting information and user setting information related to each function.
  • the display information 34 includes image data and position coordinate information for displaying display objects in the display area 111 .
  • the terminal position/attitude information 35 is information related to movement and attitude change of the HMD 1 for calculating the position and attitude of the mobile information terminal in the non-local coordinate system.
  • the communication control unit 101A controls communication processing using the wireless communication device 104 when communicating with another HMD 1 or the like.
  • the display control unit 101B uses the display information 34 to control the display of display objects and the like on the display area 111 of the display 103 .
  • the data processing unit 101C reads and writes the terminal position and orientation information 35, and performs calculations such as the position and orientation of the mobile information terminal in the non-local coordinate system.
  • the data acquisition unit 101D acquires detection data from various sensors such as the out-camera 109 and the sensor group 110, and generates terminal position and orientation information 35.
  • the portable information terminal 1 receives a user's display change instruction for a display object arranged in the local coordinate system, and the newly displayed display object requires a larger area than the display area in the local coordinate system.
  • the display object to be newly displayed is arranged in a non-local coordinate system and displayed.
  • “Local coordinate system” is a coordinate system fixed to the display area 111 of the display 103 of the HMD 1. It is a coordinate system that can be seen in front of the user wearing the HMD 1 as long as the display area 111 is placed in front of them wherever they turn their faces.
  • a “non-local coordinate system” is a coordinate system that is not fixed to the display area 111 of the display 103 .
  • a world coordinate system (X W , Y W , Z W ) fixed in real space.
  • the display area of the non-local coordinate system can be changed. That is, it is a coordinate system in which the visible part changes when the user of the HMD 1 turns his or her head.
  • Non-local coordinate systems include, in addition to the world coordinate system, a coordinate system fixed to the front of the user's body below the neck, and an inertial coordinate system whose front is the direction in which the neck is oriented on average. These will be described later.
  • “Expanded area display” is a display that requires an area larger than the display area 111 of the display 103. That is, “enlarged area display” is a display that requires an “enlarged area”, and the display object is not necessarily “enlarged”. Arranging the display object outside the display area 111 of the display 103 in the same size without “enlarging” is also referred to as “retraction” in the following description.
  • FIG. 3 is a flow chart showing the flow of simple enlarged display processing.
  • FIG. 4 is an explanatory diagram showing the transition of display modes in simple enlarged display.
  • the display change instruction is "simple enlargement display instruction" will be described as an example along the order of steps in FIG.
  • a simple enlarged display is a display mode in which a display object displayed in a local coordinate system is enlarged and displayed as an enlarged display object having the same contents as an enlarged display object arranged in a local coordinate system or a non-local coordinate system.
  • a coordinate system indicating the display position in the display area 111a of the HMD1 is a local coordinate system fixed to the HMD1.
  • the local coordinate system is a three-axis orthogonal coordinate system, in which the horizontal direction of the display area 111a is the YL axis, the height direction of the display area 111a is the ZL axis, and the depth direction perpendicular to the display area 111a is the XL axis.
  • the display position of the display area 111a can be represented by two-dimensional coordinates (Y L , Z L ) when restricted to a certain plane.
  • the display position is represented by three-dimensional coordinates (X L , Y L , Z L ), and the display area visible to the user is a pyramidal area with the user's viewpoint as the vertex.
  • the processor 101 waits for a user instruction while arranging the display object 300 in the local coordinate system ( XL , YL , ZL ) and displaying it in the display area 111a (S102). If there is no display change instruction from the user (S103: NO), it waits (S102).
  • the user issues a "simple enlargement display instruction" to display an enlarged display object related to the display object 300, and when the processor 101 receives the input of the simple enlargement display instruction (S103: Yes), the display object The size of an enlarged object 301 obtained by enlarging 300 is calculated, and it is determined whether display outside the display area 111a is necessary (S104).
  • the processor 101 determines that the enlarged object 301 cannot be displayed within the display area 111a and needs to be displayed outside the display area 111a (S104: Yes)
  • the enlarged object 301 is treated as an enlarged area display object in a non-local coordinate system (for example, world coordinate system) and displayed (S105).
  • a non-local coordinate system for example, world coordinate system
  • the processor 101 arranges the enlarged object 301 as an enlarged area display object in the non-local coordinate system.
  • “Placed in a non-local coordinate system” specifically means that the processor 101 calculates the coordinates of the enlarged object 301 in the non-local coordinate system and stores them in the display information 34 .
  • the terminal position/orientation information 35 and the display information 34 By using the terminal position/orientation information 35 and the display information 34 , when an enlarged area display object is included in the pyramidal direction position of the display area 111 of the HMD 1 , it is displayed on the display 103 of the HMD 1 .
  • the part protruding from the display area 111a cannot be visually recognized as it is. Therefore, when the direction of the HMD 1 is shifted in the upper right direction on the page of FIG. 4, the position within the non-local coordinate system changes from the display area 111a to the display area 111b. A larger portion of the magnified object 301 is displayed in the display area 111b.
  • the processor 101 waits for a user instruction while arranging the enlargement object 301 (enlargement area display object) in the non-local coordinate system (X W , Y W , Z W ) (S106).
  • the processor 101 When the processor 101 receives the input of the enlarged area display end instruction (S107: YES), it ends the enlarged area display (S108). “Ending the enlarged area display” means reducing the enlarged object 301 back to the size of the display object 300 and rearranging it in the local coordinate system. If there is no instruction from the user (S107: NO), it waits (S106).
  • the processor 101 determines that the magnified object can be displayed within the display area 111a (S104: NO), it displays the magnified object while it is arranged in the local coordinate system (S109).
  • the processor 101 waits for a user instruction while placing the enlarged object in the local coordinate system (X L , Y L , Z L ) (S110).
  • FIG. 5 is a flow chart showing the flow of processing for forced enlarged area display. Regardless of the size of the display object after enlargement, the enlarged area is forcibly displayed, and the enlarged display object is arranged in the non-local coordinate system. This is suitable for enlarging the display object and simultaneously looking at the display object in the frontal direction of the line of sight, that is, in the frontal direction of the face.
  • the flowchart for forced enlarged area display in FIG. 5 is basically the same as the flowchart in FIG. However, confirmation of the user instruction is changed to confirmation of whether or not it is a forced enlargement area instruction (S103a).
  • FIG. 6 is a diagram showing a modification of simple enlarged display.
  • a specified partial area 112 of the display area 111a may be subjected to enlarged display.
  • the plurality of display objects 302 and 303 within the partial area 112a are also simply enlarged.
  • a region in the image captured by the out-camera 109 may be cut out, and the cut out partial image portion may be enlarged.
  • Enlarged objects 304 and 305 obtained by enlarging the display objects 302 and 303 to be enlarged are both arranged in the non-local coordinate system as enlarged area display objects.
  • the processor 101 when the processor 101 accepts the specification of the partial area 112 and its "enlargement area display instruction" from the user as a "display change instruction” (S103), the processor 101 simply enlarges the entire partial area 112 as an enlarged object. 113 is generated. Enlarged objects 304 and 305 obtained by simply enlarging the display objects 302 and 303 are included therein. The processor 101 arranges and displays the enlargement object 113 as an enlargement area display object in a non-local coordinate system (for example, the world coordinate system) (S105).
  • a non-local coordinate system for example, the world coordinate system
  • “Large related display” is a display mode in which a display object is switched to another display object related to the display object, or a new related display object is displayed. At that time, if the related display object requires a display area larger than the display area, the enlarged area display is performed.
  • the related display will be described with reference to FIGS. 7 to 9.
  • FIG. 7, 8, and 9 are diagrams showing related display examples, taking menu display as an example.
  • the "selection instruction” is accepted as a "display change instruction” (S103: YES).
  • Processor 101 reads submenu 311 associated with menu object 310 from display information 34 . If it is determined that the submenu 311 cannot be displayed within the display area 111a and needs to be displayed outside the display area 111a (S104: Yes), the "display change instruction" is interpreted as the "enlarged area display instruction", and the submenu 311 are arranged in a non-local coordinate system (for example, the world coordinate system) and displayed (S105). In this case also, a “forced enlarged area display instruction” to forcibly arrange the submenu 311 in the non-local coordinate system regardless of the size of the submenu 311 may be accepted.
  • the submenu 311 is further arranged and displayed in a non-local coordinate system (for example, the world coordinate system) (S105), and a title indicating that the submenu 311 is arranged in the non-local coordinate system is displayed.
  • a non-local coordinate system for example, the world coordinate system
  • the processor 101 additionally executes processing for arranging the title object 312 on the local coordinate system in step S105.
  • the submenu 311 when the submenu 311 is placed on the non-local coordinate system, the submenu 311 protrudes from the display area 111a and becomes invisible depending on the orientation of the HMD1. Therefore, the title object 312 is placed in the local coordinate system to notify that the submenu 311 is placed in the non-local coordinate system.
  • FIG. 9 is an example of resolving the inconvenientness of placing the submenu 311 on the non-local coordinate system in the same way as in FIG.
  • the display area 111a shown in the upper part of FIG. 9 approximately the left half of the submenu 311 is displayed in the display area 111a.
  • the HMD 1 is turned to the left, only the left side of the submenu 311 is displayed, as in the display area 111b shown in the middle of FIG.
  • the partial area of the submenu 311 remaining in the display areas 111a and 111b is larger than the remaining area 313, the submenu position does not move.
  • the submenu 311 is not displayed at all. Therefore, in the display area 111c shown in the lower part of FIG. 9, a residual area 313 obtained by cutting out a part of the submenu 311 is arranged on the local coordinate system. This notifies that the submenu 311 is arranged in the non-local coordinate system.
  • FIG. 10A and 10B are flowcharts showing the flow of processing in FIG. In FIG. 9, descriptions of steps that overlap with those in FIG. 3 are omitted or the same step numbers are assigned.
  • the processor 101 arranges and displays the submenu 311 in a non-local coordinate system (eg, world coordinate system) (S105), and waits for user instructions (S106).
  • a non-local coordinate system eg, world coordinate system
  • S105 non-local coordinate system
  • S106 user instructions
  • the processor 101 receives the input of the enlarged area display end instruction (S107: YES)
  • S107: NO an image is obtained from the out-camera 109 and a sensor output from the sensor group 110 (S120), and the position and orientation of the non-local coordinate system of the display area 111a are calculated.
  • the display range in which the submenu 311 is displayed in the display area 111a and the size of the remaining area 313 are compared.
  • the size of the remaining area 313 that remains to be displayed in the display area 111a is determined in advance.
  • step S106 If the display range in the display area 111a of the submenu 311 is larger than the remaining area 313 (S121: NO), the process returns to step S106 and waits for the user's instruction.
  • the display range in the display area 111a of the submenu 311 is equal to or less than the residual area 313 (S121: YES)
  • the residual area 313 is cut out from the submenu 311, placed on the local coordinate system, and displayed.
  • the position of the submenu 311 at that time in the non-local coordinate system is stored (S122).
  • a display area 111b in FIG. 9 indicates the point in time when the residual area 313 is cut out.
  • the display area 111c shows a state in which the direction of the HMD 1 has changed more than the display area 111b, and only the remaining area 313 is displayed.
  • the processor 101 waits for a user instruction (S106), acquires the image of the out-camera 109 and the sensor output of the sensor group 110 (S123), and acquires the image of the out-camera 109 and the sensor output of the sensor group 110 (S123) until an instruction to end the display of the enlarged area is received (S107: NO). (S124).
  • the processor 101 determines that the display has returned (S124: YES)
  • the display of only the residual area 313 returns to the display of the submenu 311 (S125). In FIG. 9, it returns to the display of the display area 111a. After that, the process returns to step S105.
  • the processor 101 determines that the position or orientation of the HMD 1 has not returned to the display start position of the residual area 313 (S124: NO), it returns to step S106 while maintaining the display state of the display area 111c.
  • the minimum part is displayed around the display area. You can adjust the display position so that it remains in the part.
  • a large related display has been described above using the menu display as an example, but the large related display is not limited to the menu display.
  • it may be a display of a new object accompanying hierarchical transition within an application.
  • it may be a display of a new object accompanying activation of an application placed in the local coordinate system.
  • the coordinate system to be displayed may be specified in a management table or the like for each newly displayed object.
  • this specification may specifically specify a non-local coordinate system regardless of the size, and if the object is small, the local coordinate system May be specified.
  • the initial display position of the display object may be specified. When such a display coordinate system is designated, the designation is interpreted as a display change instruction or an enlarged area display instruction by the user, and processing is performed. Note that the contents of the management table may be changed by the user.
  • the same processing may be performed for display objects that are automatically displayed by an application or the like. That is, if a display object that is automatically displayed by an application or the like can be displayed within the display area of the local coordinate system, it may be arranged in the local coordinate system, and if it cannot be displayed, it may be arranged in the non-local coordinate system.
  • Display position limit 1 evacuation display
  • the display position may be shifted to a position that does not interfere with the viewing, and a “retreat display” may be performed.
  • a transmissive HMD has a display mode in which a display object is moved to a position where it does not interfere with visual recognition in order to visually recognize an object in the external world.
  • FIG. 11 is a diagram showing an example of the evacuation display.
  • the display object 320 when the display object 320 is arranged in the local coordinate system while the acquaintance's person 322 is being viewed as an external thing, the display object 320 overlaps the acquaintance's person 322 as shown in the upper part of FIG. Therefore, the processor 101 moves and displays the display object 320 so as not to cover the acquaintance person 322 . Due to the movement, the area required for displaying the display object 320 goes outside the display area 111a.
  • FIG. 12 is a flowchart showing the flow of processing in FIG.
  • processor 101 arranges and displays the display object 320 on the local coordinate system (S101), it is covered by an acquaintance person 322 (upper part of FIG. 11).
  • Processor 101 waits for a user instruction in this state (S102).
  • the “retreat instruction” becomes an "enlarged area display instruction” (S103: YES).
  • the processor 101 calculates the position in the non-local coordinate system where the acquaintance person 322 (evacuation target) can be seen in the display area 111a based on the image from the out-camera 109 (S130).
  • the processor 101 determines that it is necessary to display outside the display area (S131: YES), it is retracted from the retraction target and placed in the non-local coordinate system, and the enlarged area display object 321 is displayed (S132).
  • the processor 101 While the processor 101 is waiting for a user instruction (S106), when the user inputs a "saving cancellation instruction", the "saving cancellation instruction” becomes an "enlarged area display end instruction” (S107: YES).
  • the processor 101 changes the layout of the display object 320 from the non-local coordinate system to the local coordinate system, and ends the enlarged area display (S108). As a result, the display is restored as shown in the lower part of FIG.
  • the objects to be evacuated from the display objects are not limited to objects in the external world, and evacuating display may also be performed when the display objects in the display area 111a interfere with each other's visibility.
  • the “retreat instruction” and the “retreat cancellation instruction” have been described using a gesture motion as an input operation by the user and an example in which the processor 101 recognizes the gesture motion. obtain, calculate the positions of things in the external world that can be seen through the display area 111a, calculate the positions of other display objects, determine whether the display objects overlap the things in the external world or other display objects, A "saving instruction” and a “saving cancellation instruction” may be issued according to the determination result.
  • the processor 101 determines that display outside the display area is unnecessary (S131: NO)
  • the display object is displayed while being arranged in the local coordinate system (S109).
  • the processor 101 waits for a user instruction while arranging the display object in the local coordinate system (X L , Y L , Z L ) (S110).
  • FIG. 13 is a diagram showing another example of evacuation display.
  • the enlarged area display object 323 is displayed by avoiding an area (restricted area 400) where interference is likely to occur, such as an area in the front direction of the user's body, as a precaution.
  • This restricted area 400 is an area defined by a non-local coordinate system.
  • FIG. 14 is a flowchart showing the flow of processing in FIG.
  • the processor 101 judges that the restricted area 400 and the enlarged area display object 323 overlap (S140: YES), it retracts from the restricted area 400 and displays the enlarged area display object 323 (S141). After that, it waits for user instructions (S106).
  • the processor 101 determines that the restricted area 400 and the enlarged area display object 323 do not overlap (S140: NO), it arranges and displays the enlarged area display object 323 in the non-local coordinate system (S142). After that, it waits for user instructions (S106).
  • the position of the expansion center may be adjusted so that it does not spread in the front direction.
  • a predetermined inner region from the periphery of the display region 111a may be used as a reference, and the display region 111a may be set so as to expand in a direction away from the restricted region 400.
  • FIG. It should be noted that the area used for the display may be indicated in a less disturbing manner before the retraction display is performed, and the user may be allowed to select whether or not to perform the retraction display.
  • transparent display When switching to the enlarged area display, if other objects, including physical objects in the outside world, interfere with the visibility of other objects, "transparent display” may be performed to increase the transmittance of the displayed object in the obstructing portion.
  • FIG. 15 is a diagram showing an example of transparent display.
  • an area (restricted area 400) where interference is likely to occur such as an area in the front direction of the user's body, is provided as a precaution, and an area overlapping the restricted area 400 in the enlarged area display object 323 is displayed. Increase the transparency of the object.
  • the processor 101 in step S141 of FIG. the enlarged area display object 323 is displayed while the position of the non-local coordinate system remains unchanged.
  • the display object in the local coordinate system cannot be displayed in the local coordinate system, that is, in the display area 111 of the display 103 when the display object is enlarged, the display object is replaced in the non-local coordinate system as an enlarged area display object.
  • the enlarged area display object can be visually recognized only by changing the direction and position of the HMD 1, and usability is improved.
  • Non-local coordinate system A non-local coordinate system other than the world coordinate system may be used as long as the non-local coordinate system is fixed to the real space instead of the display area 111 of the HMD 1 . Which non-local coordinate system is to be used may be appropriately switched by a user instruction. Modified examples of the non-local coordinate system will be described below.
  • FIG. 16 is an explanatory diagram of the chest coordinate system (X B , Y B , Z B ).
  • the chest coordinate system is a coordinate system fixed to the chest of the user wearing the HMD 1. Since the display object can be arranged with the front direction of the chest as the center, it is possible to suitably widen the display object arrangement area to the extent that the neck does not need to be forced to turn even if the direction of the body changes.
  • the remote controller of the HMD 1 may be hung from the neck and the chest coordinate system may be fixed to the remote controller.
  • the HMD 1 may capture an image of the user's trunk, recognize the chest from the image, determine the distance to the chest, and fix it to the chest.
  • FIG. 17 is an explanatory diagram of the inertial coordinate system (X I , Y I , Z I ).
  • the inertial coordinate system is a coordinate system fixed to the average position and orientation of the head. Although it is similar to the chest coordinate system, the chest coordinate system does not move when it is fixed to the chest, whereas the inertial coordinate system is the direction in which the user's face is displaced from the front of the trunk, for example, for convenience of work. The difference is that the direction of the coordinate system is set following the orientation of the face, that is, the average orientation of the head.
  • the arrangement area of the display object is automatically positioned in the vicinity of the face in the front direction, thereby improving usability for the user.
  • FIG. 18 is an explanatory diagram of the direction-fixed non-local coordinate system (X V , Y V , Z V ).
  • a direction-fixed non-local coordinate system is a non-local coordinate system different from the world coordinate system, in which the vertical direction is aligned with the vertical direction in the real world.
  • the coordinate system is rotated so that the Z-axis direction is always aligned with the vertical direction (FIG. 18).
  • the coordinate origin which is the center of rotation, is set near the user.
  • the surface-fixed non-local coordinate system refers to the viewpoint position ( It is a coordinate system for portable information terminals in which the distance from the eyeball position changes.
  • the display object is arranged in the above non-local coordinate system, the size of the display object changes on the screen when the distance from the viewpoint position of the smartphone 5 and the user changes.
  • a non-local coordinate system consisting of a two-dimensional coordinate system that is an extension of the screen of the type display is used.
  • the position of the smartphone 5 in the non-local coordinate system is changed by the integrated amount of the component parallel to the screen of the smartphone 5 of the amount of movement in the appropriately set three-dimensional non-local coordinate system. change.
  • the axial direction of the surface-fixed non-local coordinate system is kept parallel to the axial direction of the local coordinate system of the smartphone 5 (FIG. 19).
  • a coordinate system that is an extended area of the screen of the smartphone 5 can be configured in a wide area in front of the user in a natural way for the user.
  • the X-axis and Y-axis of the surface-fixed non-local coordinate system are the X-axis and Y-axis of the local coordinate system of the smartphone 5, respectively. (see Figure 20).
  • one of multiple non-local coordinate systems may be selected and used in portable information terminals such as the HMD 1, smartphone 5, and tablet.
  • the coordinate system used for display may be indicated to the user by a mark or the like on the display screen of the portable information terminal.
  • the second embodiment is an embodiment in which an enlarged area display instruction and a coordinate system used for display are specified at the same time.
  • FIG. 21 is an explanatory diagram of the user interface according to the second embodiment.
  • a finger-spreading gesture is used to instruct enlargement/reduction, but the number of fingers used also serves as an operation for designating the type of non-local coordinate system in which the enlarged area display object 331 related to the display object 330 is arranged. For example, 3 fingers in the world coordinate system, 5 fingers in the chest coordinate system, and so on. Alternatively, a pinch-in operation using two fingers may be configured to convert to the local coordinate system. This makes it possible to control the arrangement coordinate system with a simple instruction operation.
  • FIG. 22 is an explanatory diagram of a user interface according to the third embodiment.
  • a display object based on the image of the fixed pin object 500 is prepared and associated with the non-local coordinate system.
  • the operation of pointing the fixed pin object 500 to the display object serves as both the operation of specifying the display object to be converted into the enlarged area display object and the operation of specifying the type of the non-local coordinate system to be placed.
  • Display objects that do not point to the fixed pin object 500 continue to be placed in the local coordinate system.
  • the action of pointing to a pin in the non-local coordinate system may be merely switching of the coordinate system and may not be an instruction to display the enlarged area. As a result, the coordinate system can be switched by an intuitive instruction operation.
  • the object may be enlarged by fixing the pinned position.
  • this embodiment when enlarging a display object displayed on the screen of a portable information terminal such as the HMD 1, the smartphone 5, or a tablet, or when displaying a related display object with a larger display area, By arranging from the local coordinate system to the non-local coordinate system, it is possible to improve usability even with a small display, leading to efficient use of resources. In addition, since power consumption can be saved by miniaturizing the display, this embodiment can be expected to contribute to achieving the goals of SDGs7.
  • the present invention is not limited to the above-described embodiments, and includes various modifications.
  • the above-described embodiments have been described in detail in order to explain the present invention in an easy-to-understand manner, and are not necessarily limited to those having all the configurations described.
  • part of the configuration of one embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of one embodiment.
  • each of the above configurations may be partially or wholly configured by hardware, or may be configured to be realized by executing a program on a processor.
  • control lines and information lines indicate those considered necessary for explanation, and not all control lines and information lines are necessarily indicated on the product. In practice, it may be considered that almost all configurations are interconnected.
  • HMD 5 Smartphone 10: Housing 12: Out-camera 13: Ranging sensor 14: Sensor group 18: Audio input device 19: Audio output device 20: Controller 31: Control program 32: Application program 33: Setting information 34: Display information 35: Terminal position and orientation information 100: Controller 101: Processor 101A: Communication control unit 101B: Display control unit 101C: Data processing unit 101D: Data acquisition unit 102: Memory 103: Display 104: Wireless communication device 107: Operation input unit 108: Batteries 111, 111a, 111b, 111c: Display areas 112, 112a: Partial area 113: Enlarged object 141: Acceleration sensor 143: Geomagnetic sensor 144: GPS receiver 300, 302, 303, 320, 330: Display objects 301, 304, 305: Enlarged object 310: Menu object 311: Submenu 312: Title object 313: Residual areas 321, 323, 331: Enlarged area display object 322: Person 400: Restricted area 500: Fixed pin object

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

携帯情報端末は、ディスプレイ、及び当該ディスプレイの表示制御を行うプロセッサを備え、プロセッサは、表示オブジェクトを表示する座標系として、携帯情報端末に固定された局所座標系と、少なくとも一つ以上の携帯情報端末に固定されない非局所座標系と、を用いて前記表示オブジェクトを表示する座標を計算し、局所座標系に表示されている表示オブジェクトに関連するオブジェクトであって、ディスプレイの表示領域からはみ出した拡大領域表示を要する拡大領域表示オブジェクトを表示する際、拡大領域表示オブジェクトを非局所座標系に配置する。

Description

携帯情報端末及びオブジェクト表示方法
　携帯情報端末及びオブジェクト表示方法であって、特に仮想オブジェクトの表示に適した使い勝手のよい携帯情報端末及び仮想オブジェクト表示方法を提供する。
　従来、ヘッドマウントディスプレイ（ＨＭＤ）に仮想オブジェクトを表示する技術がある。このような仮想オブジェクトの表示技術において用いられる座標系として、世界座標系と局所座標系とが知られている。
　世界座標系とは現実世界の座標系であり、世界座標系に配置した仮想オブジェクトは、ユーザがその場所から離れると、見えなくなる。反面、現実世界と同じ広さがあるので、大量の仮想オブジェクトを配置することができる。
　一方、局所座標系は、ＨＭＤに固定された座標系であり、ＨＭＤに搭載されたディスプレイとも位置関係が固定される。そしてユーザの視点から見て、ディスプレイの表示面が存在する方向に配置された仮想オブジェクトが、ディスプレイに表示される。ディスプレイの表示面が存在する方向範囲内の局所座標系に仮想オブジェクトを配置すれば、ＨＭＤを装着したままユーザが移動してもディスプレイも局所座標系に固定されているので常に仮想オブジェクトを表示させ、操作することができる。反面、上記方向範囲に配置した仮想オブジェクトしか表示できないので仮想オブジェクトの配置数に制限がある。
　このように、世界座標系及び局所座標系の２つしか仮想オブジェクト配置用の座標系を持たない従来技術では、頻繁に参照したい仮想オブジェクトを大量に配置できない、という課題があった。また、無理にディスプレイの表示面が存在する方向内に仮想オブジェクトを配置すると外界の視認性が低下する、という課題も生じていた。
　この課題を解決するための技術として、特許文献１では「仮想オブジェクト表示装置は、ディスプレイ、及び当該ディスプレイの表示制御を行う表示制御装置を備え、表示制御装置は、仮想オブジェクト表示装置の現実世界内での移動と回転を検出し、仮想オブジェクト装置の移動に対して座標原点が追従し、仮想オブジェクト表示装置の回転によってディスプレイの有効視野範囲が座標系内で回転する慣性座標系を用いて、慣性座標系仮想オブジェクトの配置位置を定義する座標系計算部と、ディスプレイの有効視野範囲に慣性座標系仮想オブジェクトが含まれると、当該有効視野範囲に慣性座標系仮想オブジェクトを表示する表示制御部と、を含む。（要約抜粋）」ことが提案されている。
国際公開第２０２０／１５７９５５号
　特許文献１では、仮想オブジェクトを配置する座標系として、局所座標系と世界座標系の他に、慣性座標系を設けて、オブジェクトの表示方法の選択肢を増やし、ユーザの利便性を向上させることができる。
　しかし局所座標系に配置した仮想オブジェクトに関し、大きな表示面積を必要とする関連した仮想オブジェクトを表示する際に配置座標系に対する考慮がない、より詳しくは、局所座標系に配置した仮想オブジェクトの大きさを変更した場合、例えばディスプレイをスクロールするといった更なるアクションを行ってディスプレイの表示領域を変更しない限りはディスプレイからはみ出した仮想オブジェクトを視認することはできないという課題があった。
　本発明は、上記実情に鑑みてなされたものであり、局所座標系及び局所座標系とは異なる他の座標系を併用して表示オブジェクトを表示する際のユーザ利便性を更に向上させることを目的とする。
　上記課題を解決するために、本発明は、請求の範囲に記載の構成を備える。その一例を挙げるならば、表示オブジェクトを表示する携帯情報端末であって、ディスプレイ、及び当該ディスプレイの表示制御を行うプロセッサを備え、前記プロセッサは、前記表示オブジェクトを表示する座標系として、前記携帯情報端末に固定された局所座標系と、前記携帯情報端末に固定されない非局所座標系と、を用いて前記表示オブジェクトを表示する座標を計算し、前記局所座標系に表示されている前記表示オブジェクトに関連するオブジェクトであって、前記ディスプレイの表示領域からはみ出した拡大領域表示を要する拡大領域表示オブジェクトを表示する際、前記拡大領域表示オブジェクトを前記非局所座標系に配置する、ことを特徴とする。
　本発明によれば、局所座標系及び局所座標系とは異なる他の座標系を併用して表示オブジェクトを表示する際のユーザ利便性を更に向上させることができる。上述した以外の目的、構成、効果については以下の実施形態において明らかにされる。
ＨＭＤの外観構成例を示す図。 ＨＭＤの機能ブロック構成例を示す図。 単純拡大表示の処理の流れを示すフローチャート。 単純拡大表示における表示態様の遷移を示す説明図。 強制拡大領域表示の処理の流れを示すフローチャート。 単純拡大表示の変形例を示す図。 大型関連表示例を示す図。 大型関連表示例を示す図。 大型関連表示例を示す図。 図９の処理の流れを示すフローチャート。 図９の処理の流れを示すフローチャート。 退避表示例を示す図。 図１１の処理の流れを示すフローチャート。 退避表示の別例を示す図。 図１３の処理の流れを示すフローチャート。 透過表示の例を示す図。 胸部座標系（ＸＢ、ＹＢ、ＺＢ）の説明図。 慣性座標系（ＸＩ、ＹＩ、ＺＩ）の説明図。 方向固定非局所座標系（ＸＶ、ＹＶ、ＺＶ）の説明図。 面固定非局所座標系（ＸＰ、ＹＰ）の説明図。 面固定非局所座標系（ＸＰ、ＹＰ）の説明図。 第２実施形態に係るユーザインタフェースの説明図。 第３実施形態に係るユーザインタフェースの説明図。
　以下、本発明の実施形態について図面を用いて説明する。全図を通じて同一の構成、処理には同一の符号を付し、重複説明を省略する。
＜ハードウェア構成＞
　以下の実施形態では、携帯情報端末としてＨＭＤ（ヘッドマウントディスプレイ）を用いて説明する。
　図１は、ＨＭＤ１の外観構成例を示す図である。
　図１において、ＨＭＤ１は、眼鏡状の筐体１０に、表示領域１１１を含むディスプレイ１０３を備える。このディスプレイ１０３は、例えば透過型のディスプレイ１０３であり、表示領域１１１には外界の実像が透過され、その実像上に画像が重畳表示される。筐体１０には、コントローラ１００、アウトカメラ１０９、測距センサ１１５、また測距センサ１１５を除く他のセンサ（図１ではセンサ群１１０と記載する）等が実装されている。なお、図１では測距センサ１１５をセンサ群１１０とは別に図示するが、測距センサ１１５もセンサの一種であるので、後述する図２においてはセンサ群１１０に測距センサ１１５を含んで図示する。
　アウトカメラ１０９は、例えば筐体１０の左右両側に配置された２つのカメラを有し、ＨＭＤ１の前方を含む範囲を撮影して画像を取得する。ＨＭＤ１の前方を含む範囲には、ＨＭＤ１を装着したユーザの視認領域が含まれる。
　測距センサ１１５は、ＨＭＤ１と外界の物体との距離を測定するセンサである。測距センサ１１５は、ＴＯＦ（Ｔｉｍｅ　Ｏｆ　Ｆｌｉｇｈｔ）方式のセンサを用いてもよいし、ステレオカメラや他の方式を用いてもよい。
　センサ群１１０は、ＨＭＤ１の位置及び向きの状態を検出するためのセンサを複数含む。筐体１０の左右には、マイクを含む音声入力装置１０６、スピーカやイヤホン端子を含む音声出力装置１０５等を備える。
　ＨＭＤ１には、リモートコントローラ等の操作器２０が付属していてもよい。その場合、ＨＭＤ１は、その操作器２０との間で例えば近距離無線通信を行う。ユーザは、手で操作器２０を操作することで、ＨＭＤ１の機能に関する指示入力や表示領域１１１でのカーソル移動等ができる。
　ＨＭＤ１は、外部機器（例えばスマートフォンやＰＣ等）と通信して連携を行ってもよい。例えば、ＨＭＤ１は、外部機器のアプリケーションからＡＲ（拡張現実：Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）オブジェクトの画像データを受信してもよい。
　ＨＭＤ１は、表示オブジェクトを表示領域１１１に表示させてもよい。例えば、ＨＭＤ１は、ユーザを誘導するための表示オブジェクトを生成し、表示領域１１１に表示する。ユーザから見ると、表示領域１１１に表示された表示オブジェクトは、表示領域１１１を透過して視認される現実世界に対して付加された拡張現実空間に配置されるＡＲオブジェクトとなる。
　図２は、図１のＨＭＤ１の機能ブロック構成例を示す図である。本実施形態では、携帯情報端末の例としてＨＭＤ１を例に挙げて説明するが、スマートフォン５（図１９、図２０参照）やタブレット端末など他の携帯情報端末も同様の構成である。
　ＨＭＤ１は、プロセッサ１０１、メモリ１０２、ディスプレイ１０３、無線通信器１０４、スピーカ等を含む音声出力装置１０５、マイクを含む音声入力装置１０６、操作入力部１０７、バッテリ１０８、アウトカメラ１０９、及びセンサ群１１０等を備える。これらの要素はバス等を通じて相互に接続されている。
　プロセッサ１０１は、ＣＰＵ、ＧＰＵ等で構成され、ＨＭＤ１のコントローラ１００を構成する。プロセッサ１０１は、メモリ１０２に格納された制御プログラム３１やアプリケーションプログラム３２に従った処理を実行することにより、ＯＳ、ミドルウェア、アプリケーション等の機能や他の機能を実現する。
　メモリ１０２は、ＲＯＭ、ＲＡＭ等で構成され、プロセッサ１０１等が扱う各種のデータや情報を記憶する。メモリ１０２には、一時的な情報として、アウトカメラ１０９、によって取得された画像や検出情報等も格納される。
　アウトカメラ１０９は、レンズから入射した光を撮像素子で電気信号に変換して画像を取得する。
　測距センサ１１５は、例えばＴＯＦ（Ｔｉｍｅ　Ｏｆ　Ｆｌｉｇｈｔ）センサを用いる場合、外界に出射した光が物体に当たって戻ってくるまでの時間から、その物体までの距離を計算する。
　センサ群１１０は、例えば、加速度センサ１１１、ジャイロセンサ（角速度センサ）１１２、地磁気センサ１１３、ＧＰＳ受信器１１４、測距センサ１１５を含む。センサ群１１０は、これらのセンサの検出情報を用いて、ＨＭＤ１の位置、向き、動き等の状態を検出する。ＨＭＤ１は、これに限らず、照度センサ、近接センサ、気圧センサ等を備えてもよい。
　ディスプレイ１０３は、表示駆動回路や表示領域１１１を含み、表示情報３４の画像データに基づいて、表示領域１１１に表示オブジェクトを表示する。なお、ディスプレイ１０３は、透過型ディスプレイに限らず、非透過型ディスプレイ等としてもよい。
　無線通信器１０４は、所定の各種の通信インタフェースに対応する通信処理回路やアンテナ等を含む。通信インタフェースの例は、モバイル網、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、赤外線等が挙げられる。無線通信器１０４は、他のＨＭＤ１やアクセスポイントとの間での無線通信処理等を行う。無線通信器１０４は、操作器２０との近距離通信処理も行う。
　音声入力装置１０６は、マイクからの入力音声を音声データに変換する。音声入力装置１０６は、音声認識機能を備えてもよい。
　音声出力装置１０５は、音声データに基づいてスピーカ等から音声を出力する。音声出力装置１０５は、音声合成機能を備えてもよい。
　操作入力部１０７は、ＨＭＤ１に対する操作入力、例えば電源オンまたはオフや音量調整等を受け付ける部分であり、ハードウェアボタンやタッチセンサ等で構成される。
　バッテリ１０８は、各部に電力を供給する。
　プロセッサ１０１は、処理によって実現される機能ブロックの構成例として、通信制御部１０１Ａ、表示制御部１０１Ｂ、データ処理部１０１Ｃ、及びデータ取得部１０１Ｄを有する。
　メモリ１０２には、制御プログラム３１、アプリケーションプログラム３２、設定情報３３、表示情報３４、端末位置姿勢情報３５等が格納されている。
　制御プログラム３１は、表示制御を含めＨＭＤ１全体の制御を実現するためのプログラムである。
　アプリケーションプログラム３２は、ユーザが利用する各種プログラムである。
　設定情報３３は、各機能に係わるシステム設定情報やユーザ設定情報を含む。
　表示情報３４は、表示オブジェクトを表示領域１１１に表示するための画像データや位置座標情報を含む。
　端末位置姿勢情報３５は、非局所座標系における携帯情報端末の位置及び姿勢を計算するための、ＨＭＤ１の移動、姿勢変化に係る情報である。
　通信制御部１０１Ａは、他のＨＭＤ１との通信の際等に、無線通信器１０４を用いた通信処理を制御する。
　表示制御部１０１Ｂは、表示情報３４を用いて、ディスプレイ１０３の表示領域１１１への表示オブジェクト等の表示を制御する。
　データ処理部１０１Ｃは、端末位置姿勢情報３５を読み書きし、非局所座標系における携帯情報端末の位置及び姿勢の計算等を行う。
　データ取得部１０１Ｄは、アウトカメラ１０９及びセンサ群１１０等の各種のセンサから各検出データを取得し、端末位置姿勢情報３５を生成する。
＜第１実施形態＞
　第１実施形態は、携帯情報端末１が、局所座標系に配置した表示オブジェクトに対するユーザの表示変更指示を受け、新たに表示する表示オブジェクトが局所座標系の表示領域よりも大きな領域を必要とした場合に、その新たに表示する表示オブジェクトを非局所座標系に配置して表示する実施形態である。
　第１実施形態の説明に先立ち、本実施形態の説明で用いる用語について説明する。
　「局所座標系」とは、ＨＭＤ１のディスプレイ１０３の表示領域１１１に固定された座標系である。ＨＭＤ１を装着したユーザは、どこに顔をむけても表示領域１１１が眼前に配置されている限り、目の前に見える座標系である。
　「非局所座標系」とは、ディスプレイ１０３の表示領域１１１に固定されていない座標系である。例えば実空間に固定されている世界座標系（ＸＷ、ＹＷ、ＺＷ）である。ＨＭＤ１の向きや位置を変更することにより、非局所座標系の表示領域を変更することができる。すなわち、ＨＭＤ１のユーザが首を回すと見えるところが変わる座標系である。非局所座標系として、世界座標系の他、ユーザの首から下の体の正面に固定された座標系や、首が平均的に向いている方向を正面とする慣性座標系がある。これらについては後述する。
　「拡大領域表示」とは、ディスプレイ１０３の表示領域１１１よりも大きな領域を必要とする表示のことである。すなわち、「拡大領域表示」とは、「拡大領域」を必要とする表示であり、必ず表示オブジェクトが「拡大」しているわけではない。表示オブジェクトが「拡大」することなく、同サイズでディスプレイの１０３の表示領域１１１外へ配置することを以下の説明では「退避」ともいう。
　図３、図４を参照して第１実施形態について説明する。図３は、単純拡大表示の処理の流れを示すフローチャートである。図４は、単純拡大表示における表示態様の遷移を示す説明図である。以下、図３のステップ順に沿って表示変更指示が「単純拡大表示指示」である場合を例に挙げて説明する。
（単純拡大表示）
　単純拡大表示とは、局所座標系に表示されている表示オブジェクトを拡大し、同内容の拡大表示オブジェクトとして局所座標系または非局所座標系に配置して表示する表示態様である。
　ＨＭＤ１のプロセッサ１０１は、初期状態では図４上段に示すように、表示領域１１１ａに表示オブジェクト３００を表示させる（Ｓ１０１）。ＨＭＤ１の表示領域１１１ａ内における表示位置を示す座標系は、ＨＭＤ１に固定された局所座標系である。局所座標系は、３軸直交座標系であり、表示領域１１１ａの左右方向をＹＬ軸、表示領域１１１ａの高さ方向をＺＬ軸、表示領域１１１ａに垂直な奥行方向をＸＬ軸とする。表示領域１１１ａの表示位置は、ある平面に制限する場合は、２次元座標（ＹＬ,ＺＬ）で表せる。局所座標系に対して表示オブジェクトを３次元的に配置することも可能である。この場合、表示位置は３次元座標（ＸＬ,ＹＬ,ＺＬ）で表され、ユーザが視認できる表示領域は、ユーザ視点を頂点とする角錐状の領域となる。
　プロセッサ１０１は、局所座標系（ＸＬ、ＹＬ、ＺＬ）に表示オブジェクト３００を配置して表示領域１１１ａに表示している状態で、ユーザ指示を待受ける（Ｓ１０２）。ユーザの表示変更指示がなければ（Ｓ１０３：ＮＯ）、待機する（Ｓ１０２）。
　ユーザが、表示変更指示として、表示オブジェクト３００に関連した拡大表示オブジェクトを表示する指示「単純拡大表示指示」を行い、プロセッサ１０１が単純拡大表示指示の入力を受け付けると（Ｓ１０３：Ｙｅｓ）、表示オブジェクト３００を拡大した拡大オブジェクト３０１の大きさを算出し、表示領域１１１ａ外への表示が必要かを判断する（Ｓ１０４）。
　プロセッサ１０１は、拡大オブジェクト３０１が表示領域１１１ａ内に表示しきれず、表示領域１１１ａ外への表示が必要と判断すると（Ｓ１０４：Ｙｅｓ）、拡大オブジェクト３０１を拡大領域表示オブジェクトとして非局所座標系（例えば世界座標系）に配置して表示する（Ｓ１０５）。図４の例では、表示オブジェクト３００を単純拡大表示した拡大オブジェクト３０１は、表示領域１１１ａからはみ出さなければ表示ができない。そこで、プロセッサ１０１は、拡大オブジェクト３０１を拡大領域表示オブジェクトとして非局所座標系に配置する。「非局所座標系に配置」するとは、具体的にはプロセッサ１０１は、拡大オブジェクト３０１の非局所座標系における座標を計算し、表示情報３４に記憶する。端末位置姿勢情報３５と表示情報３４とを用いることで、ＨＭＤ１の表示領域１１１の角錐状の方向位置に拡大領域表示オブジェクトが含まれると、ＨＭＤ１のディスプレイ１０３に表示する。
　図４下段に示すように、非局所座標系に配置された拡大オブジェクト３０１のうち、表示領域１１１ａからはみだした部分はそのままでは視認できない。そこで、ＨＭＤ１の方向を図４における紙面右上方向にずらすと、表示領域１１１ａから表示領域１１１ｂへと非局所座標系内の位置が変化する。表示領域１１１ｂでは、拡大オブジェクト３０１のより大きな部分が表示される。
　プロセッサ１０１は、非局所座標系（ＸＷ、ＹＷ、ＺＷ）に拡大オブジェクト３０１（拡大領域表示オブジェクト）を配置した状態で、ユーザ指示を待受ける（Ｓ１０６）。
　プロセッサ１０１は、拡大領域表示終了指示の入力を受け付けると（Ｓ１０７：ＹＥＳ）、拡大領域表示を終了する（Ｓ１０８）。「拡大領域表示を終了する」とは、拡大オブジェクト３０１を縮小して表示オブジェクト３００のサイズに戻して局所座標系に配置し直すことを意味する。ユーザの指示がなければ（Ｓ１０７：ＮＯ）、待機する（Ｓ１０６）。
　一方、プロセッサ１０１は、拡大オブジェクトが表示領域１１１ａ内に表示できると判断すると（Ｓ１０４：ＮＯ）、拡大オブジェクトを局所座標系に配置したまま表示する（Ｓ１０９）。
　プロセッサ１０１は、局所座標系（ＸＬ、ＹＬ、ＺＬ）に拡大オブジェクトを配置した状態で、ユーザ指示を待受ける（Ｓ１１０）。
　表示オブジェクト３００の表示終了指示の入力を受け付けると（Ｓ１１１：ＹＥＳ）、表示を終了する（Ｓ１１２）。表示終了指示がなければ（Ｓ１１１：ＮＯ）、ユーザの指示を待受ける（Ｓ１１０）。
（強制拡大領域表示）
　単純拡大表示の変形例である強制拡大領域表示について説明する。図５は、強制拡大領域表示の処理の流れを示すフローチャートである。拡大後の表示オブジェクトの大きさに関わらず、強制的に拡大領域表示とし、非局所座標系に拡大表示オブジェクトを配置する。表示オブジェクトを大きくすると同時に、視線の正面方向、すなわち顔の正面方向で、表示オブジェクトをじっくり見たい場合に好適である。
　図５の強制拡大領域表示の場合のフローチャートは、拡大領域表示にしない分岐がない以外は、図３のフローチャートと基本的に同じである。但し、ユーザ指示の確認が、強制拡大領域指示であるかどうかの確認に変わる（Ｓ１０３ａ）。
（単純拡大表示の別例）
　図６は、単純拡大表示の変形例を示す図である。
　単純拡大の変形例として、図６上段に示すように表示領域１１１ａの指定した部分領域１１２を拡大表示の対象としてもよい。
　図６では、指定した部分領域１１２が単純拡大される結果、部分領域１１２ａ内にある複数の表示オブジェクト３０２、３０３も単純拡大される。アウトカメラ１０９が撮像した画像内の領域を切り出して、その切り出した部分画像部分を拡大してもよい。拡大対象となった表示オブジェクト３０２、３０３を拡大した拡大オブジェクト３０４、３０５は、両方とも拡大領域表示オブジェクトとして非局所座標系に配置される。
　図６の例では、プロセッサ１０１が部分領域１１２の指定とその「拡大領域表示指示」を「表示変更指示」としてユーザから受け付けると（Ｓ１０３）、プロセッサ１０１が部分領域１１２全体を単純拡大した拡大オブジェクト１１３を生成する。その中に表示オブジェクト３０２，３０３の其々を単純拡大した拡大オブジェクト３０４、３０５が含まれる。プロセッサ１０１は、拡大オブジェクト１１３を拡大領域表示オブジェクトとして非局所座標系（例えば世界座標系）に配置して表示する（Ｓ１０５）。
　拡大領域表示になるものとして、図５、図６に示す単純拡大表示の他、以下のものがある。
（大型関連表示）
　「大型関連表示」とは、表示オブジェクトに関連した別の表示オブジェクトに切替える、あるいは関連する新たな表示オブジェクトを表示する表示形態である。その際、関連表示オブジェクトが、表示領域を越える大きな表示領域を必要とする場合、拡大領域表示となる。図７から図９を参照して関連表示について説明する。図７、図８、図９の各図は、メニュー表示を例として関連表示例を示す図である。
　図７の例では、局所座標系に配置されたメニューオブジェクト３１０の一項目をユーザが選択指示を行うと、「選択指示」を「表示変更指示」として受付ける（Ｓ１０３：ＹＥＳ）。プロセッサ１０１は、メニューオブジェクト３１０に関連付けられたサブメニュー３１１を表示情報３４から読み出す。サブメニュー３１１が表示領域１１１ａ内に表示しきれず、表示領域１１１ａ外への表示が必要と判断すると（Ｓ１０４：Ｙｅｓ）、「表示変更指示」を「拡大領域表示指示」と解釈し、サブメニュー３１１を非局所座標系（例えば世界座標系）に配置して表示する（Ｓ１０５）。この場合も、サブメニュー３１１の大きさに関わらず強制的に非局所座標系に配置する「強制拡大領域表示指示」を受付けてもよい。
　図８の例では、更に、サブメニュー３１１を非局所座標系（例えば世界座標系）に配置して表示する（Ｓ１０５）と共に、サブメニュー３１１を非局所座標系に配置していることを示すタイトルオブジェクト３１２を局所座標系に配置する。すなわち、ステップＳ１０５においてタイトルオブジェクト３１２を局所座標系に配置する処理をプロセッサ１０１が追加して実行する。
　これにより、サブメニュー３１１を非局所座標系に配置すると、ＨＭＤ１の向きによってはサブメニュー３１１が表示領域１１１ａからはみ出して見えなくなる。そこでタイトルオブジェクト３１２を局所座標系に配置して、サブメニュー３１１が非局所座標系に配置されていうことを通知する。
　図９は、図８と同様にサブメニュー３１１を非局所座標系に配置すると、ＨＭＤ１の向きによってはサブメニュー３１１が表示領域１１１ａからはみ出して見えなくなる使い勝手の悪さを解消する例である。図９上段に示す表示領域１１１ａでは、サブメニュー３１１のおおよそ左半分が表示領域１１１ａに表示されている。ＨＭＤ１を左に向けると、図９中段に示す表示領域１１１ｂのように、サブメニュー３１１の左半分よりも更に左端側のみが表示される。図９上段及び図９中段に図示したように表示領域１１１ａ、１１１ｂに残っているサブメニュー３１１の部分領域が残留領域３１３の大きさ以上の場合は、サブメニュー位置は動かない。更に、ＨＭＤ１を左に向けると、サブメニュー３１１が全く表示されなくなる。そこで、図９下段に示す表示領域１１１ｃでは、サブメニュー３１１の一部を切り出した残留領域３１３を局所座標系に配置する。これにより、サブメニュー３１１が非局所座標系に配置していること通知する。
　図１０Ａ及び図１０Ｂは、図９の処理の流れを示すフローチャートである。なお、図９では、図３と重複するステップについては記載を省略または同一のステップ番号を付している。
　プロセッサ１０１は、サブメニュー３１１を非局所座標系（例えば世界座標系）に配置して表示し（Ｓ１０５）、ユーザの指示を待受ける（Ｓ１０６）。プロセッサ１０１は、拡大領域表示終了指示の入力を受け付けると（Ｓ１０７：ＹＥＳ）、拡大領域表示を終了する（Ｓ１０８）。ユーザの指示がなければ（Ｓ１０７：ＮＯ）、アウトカメラ１０９から画像を、及びセンサ群１１０からセンサ出力を取得し（Ｓ１２０）、表示領域１１１ａの非局所座標系の位置と向きとを演算する。そして、表示領域１１１ａにおいてサブメニュー３１１が表示されている表示範囲と残留領域３１３の大きさとを比較する。表示領域１１１ａに表示を残す残留領域３１３の大きさは予め決めておく。
　サブメニュー３１１の表示領域１１１ａ内の表示範囲が残留領域３１３より大きければ（Ｓ１２１：ＮＯ）、ステップＳ１０６へ戻り、ユーザの指示を待つ。
　サブメニュー３１１の表示領域１１１ａ内の表示範囲が残留領域３１３以下であれば（Ｓ１２１：ＹＥＳ）、サブメニュー３１１から残留領域３１３を切り出して局所座標系に配置、表示する。また、そのときのサブメニュー３１１の非局所座標系の位置を記憶しておく（Ｓ１２２）。図９の表示領域１１１ｂは残留領域３１３が切り出す時点を示す。表示領域１１１ｃは、表示領域１１１ｂよりも更にＨＭＤ１の向きが変わり、残留領域３１３だけが表示された状態を示す。
　プロセッサ１０１は、ユーザ指示を待ち受け（Ｓ１０６）、拡大領域表示終了指示を受領するまでは（Ｓ１０７：ＮＯ）、アウトカメラ１０９の画像及びセンサ群１１０のセンサ出力を取得し（Ｓ１２３）、残留領域３１３の表示開始位置までＨＭＤ１の位置又は向きが復帰したかを監視する（Ｓ１２４）。
　プロセッサ１０１は、復帰したと判断すると（Ｓ１２４：ＹＥＳ）、残留領域３１３のみの表示から、サブメニュー３１１表示に復帰させる（Ｓ１２５）。図９では、表示領域１１１ａの表示に戻る。その後、ステップＳ１０５へ戻る。
　プロセッサ１０１は、残留領域３１３の表示開始位置までＨＭＤ１の位置又は向きが復帰していないと判断すると（Ｓ１２４：ＮＯ）、表示領域１１１ｃの表示状態を維持したまま、ステップＳ１０６へ戻る。
　拡大領域表示終了指示があれば（Ｓ１０７：ＹＥＳ）、拡大領域表示終了、即ちサブメニュー３１１の表示を終了する（Ｓ１０８）。
　残留領域３１３を用いた拡大領域表示を行うことで、メニュー等、表示領域から完全に消えては困るオブジェクトの場合、ＨＭＤ１の位置や向きを変更しても、最低限の部分は表示領域の周辺部に残るよう、表示位置を調節することができる。
　以上、メニュー表示を例に、大型関連表示の例を説明したが、大型関連表示はメニュー表示に限らない。例えば、アプリ内における階層遷移に伴う新しいオブジェクトの表示であってもよい。あるいはまた、局所座標系内に配置されているアプリの起動に伴う新しいオブジェクトの表示であってもよい。
　さらに、新たに表示されるオブジェクト毎に、表示する座標系を管理テーブル等で指定しておいても構わない。この指定は、表示オブジェクトの大きさに従う、という指定の他、大きさに関わらず、具体的に、非局所座標系を指定してもよいし、大きさが小さいオブジェクトの場合、局所座標系を指定してもよい。またさらに、表示オブジェクトの初期の表示位置を指定してもよい。このような表示座標系の指定がある場合、その指定をユーザによる表示変更指示、あるいは拡大領域表示指示と解釈して処理を行う。なお、管理テーブルの内容は、ユーザが変更できるようにしてもよい。
　また、ユーザの表示変更指示により新しい表示オブジェクトを表示する場合の他、アプリ等で自動的に表示を行う表示オブジェクトに対しても同じ処理を行ってもよい。すなわち、アプリ等で自動的に表示を行う表示オブジェクトが局所座標系の表示領域内で表示できる場合は局所座標系に配置し、表示できない場合は非局所座標系に配置してもよい。
（表示位置制限１：退避表示）
　拡大領域表示に切替える際、外界の実体物を含めて他のオブジェクト視認妨害となる際は、妨害とならない位置に表示位置をずらす「退避表示」を行ってもよい。透過型ＨＭＤでは外界の事物を視認するために、表示オブジェクトが妨害になる場合に視認妨害にならない位置に表示オブジェクトを移動させる表示形態である。図１１は、退避表示例を示す図である。
　図１１の例では、外界の事物として知り合いの人物３２２を視認中に表示オブジェクト３２０を局所座標系に配置すると、図１１上段のように知り合いの人物３２２に表示オブジェクト３２０が重なる。そこでプロセッサ１０１は、表示オブジェクト３２０を知り合いの人物３２２に被らないように移動して表示する。移動により、表示オブジェクト３２０の表示に要する領域が表示領域１１１ａの外に出てしまうので、表示オブジェクト３２０を拡大領域表示オブジェクト３２１として非局所座標系に配置する。
　図１２は、図１１の処理の流れを示すフローチャートである。
　プロセッサ１０１が、表示オブジェクト３２０を局所座標系に配置して表示すると（Ｓ１０１）、知り合いの人物３２２に被った状態となる（図１１上段）。プロセッサ１０１は、この状態でユーザ指示を待受ける（Ｓ１０２）。ユーザが表示変更指示として「退避指示」を入力すると、「退避指示」が「拡大領域表示指示」となる（Ｓ１０３：ＹＥＳ）。
　プロセッサ１０１は、アウトカメラ１０９からの画像を基に表示領域１１１ａにおいて知り合いの人物３２２（退避対象）が見える非局所座標系における位置を算出する（Ｓ１３０）。
　プロセッサ１０１が、表示領域外への表示が必要と判断すると（Ｓ１３１：ＹＥＳ）、退避対象から退避させて非局所座標系に配置し、拡大領域表示オブジェクト３２１を表示する（Ｓ１３２）。
　プロセッサ１０１が、ユーザ指示待ち受けをしている状態で（Ｓ１０６）、ユーザが「退避解除指示」を入力すると、「退避解除指示」が「拡大領域表示終了指示」となる（Ｓ１０７：ＹＥＳ）。プロセッサ１０１は、表示オブジェクト３２０を非局所座標系から局所座標系に配置を変えて拡大領域表示を終了する（Ｓ１０８）。その結果、図１１の下段に示すように表示が復元する。
　表示オブジェクトを退避させる対象は、外界の事物だけでなく、表示領域１１１ａ内の表示オブジェクト同士で視認妨害になる場合も同様に退避表示を行ってもよい。
　上記「退避指示」及び「退避解除指示」は、ユーザによる入力操作としてジェスチャー動作を用い、プロセッサ１０１がジェスチャー動作を認識する例に挙げて説明したが、ＨＭＤ１のプロセッサ１０１がアウトカメラ１０９から画像を取得し、表示領域１１１ａ内に透過して見える外界の事物の位置を算出したり、他の表示オブジェクトの位置を算出し、外界の事物や他の表示オブジェクトに表示オブジェクトが重なるかを判断し、その判断結果に応じて「退避指示」「退避解除指示」を行ってもよい。
　一方、プロセッサ１０１が、表示領域外への表示が不要と判断すると（Ｓ１３１：ＮＯ）、表示オブジェクトを局所座標系に配置したまま表示する（Ｓ１０９）。
　プロセッサ１０１は、局所座標系（ＸＬ、ＹＬ、ＺＬ）に表示オブジェクトを配置した状態で、ユーザ指示を待受ける（Ｓ１１０）。
　表示オブジェクト３００の表示終了指示の入力を受け付けると（Ｓ１１１：ＹＥＳ）、表示を終了する（Ｓ１１２）。表示終了指示がなければ（Ｓ１１１：ＮＯ）、ユーザの指示を待受ける（Ｓ１１０）。
　図１３は、退避表示の別例を示す図である。図１３の例では、予防的にユーザの身体の正面方向の領域等、妨害が発生しやすい領域（制限領域４００）を避けて拡大領域表示オブジェクト３２３を表示する。この制限領域４００は非局所座標系で定義される領域である。
　図１４は、図１３の処理の流れを示すフローチャートである。
　ユーザが表示変更指示として「退避指示」を入力すると、「退避指示」が「拡大領域表示指示」となる（Ｓ１０３：ＹＥＳ）。
　プロセッサ１０１は、制限領域４００と拡大領域表示オブジェクト３２３とが重なると判断すると（Ｓ１４０：ＹＥＳ）、制限領域４００から退避させて拡大領域表示オブジェクト３２３を表示する（Ｓ１４１）。その後ユーザ指示の待受けを行う（Ｓ１０６）。
　プロセッサ１０１は、制限領域４００と拡大領域表示オブジェクト３２３とが重ならないと判断すると（Ｓ１４０：ＮＯ）、拡大領域表示オブジェクト３２３を非局所座標系に配置して表示する（Ｓ１４２）。その後ユーザ指示の待受けを行う（Ｓ１０６）。
　単純拡大の場合、正面方向に広がらないように、拡大中心の位置を調整してもよい。例えば表示領域１１１ａの周辺から予め定めた内側領域を基準とし、それよりも制限領域４００から離れる方向に拡大するように設定してもよい。なお、事前に退避表示を行う前に、表示に使用されるエリアを妨害が少ない方法で示し、退避表示を行うかどうかをユーザに選択させてもよい。
（透過表示）
　拡大領域表示に切替える際、外界の実体物を含めて他のオブジェクト視認妨害となる際は、妨害となる部分の表示オブジェクトの透過率を上げる「透過表示」を行ってもよい。
　図１５は、透過表示の例を示す図である。図１５の例では、予防的にユーザの身体の正面方向の領域等、妨害が発生しやすい領域（制限領域４００）を設けておき、拡大領域表示オブジェクト３２３において制限領域４００と重なる領域は、表示オブジェクトの透過率を上げる。
　図１５の例では、プロセッサ１０１が図１４のステップＳ１４１で制限領域４００から退避させて非局所座標系に拡大領域表示オブジェクトを表示する処理に代えて、制限領域４００に重なる部分の透過率をあげて非局所座標系の位置はそのままに拡大領域表示オブジェクト３２３を表示する。
(元の表示オブジェクトの処理)
　拡大領域表示をする前の表示オブジェクトに対する拡大領域表示後の処理についてもいくつかの方法がある。大きくは非表示とするか、表示したままとするか、に分けられる。表示したままにする場合も、そのまま表示する、表示位置をずらす、アイコン化して縮小表示にする、色の薄い表示とする、等適当な方法を選択可能である。
　第１実施形態によれば、局所座標系の表示オブジェクトを拡大すると局所座標系、即ちディスプレイ１０３の表示領域１１１に表示しきれない場合に、拡大領域表示オブジェクトとして非局所座標系に配置しかえることで、ＨＭＤ１の向きや位置を変えだけで拡大領域表示オブジェクトが視認でき、使い勝手が向上する。
　更に拡大オブジェクトの表示に必要な表示領域の大きさ、妨害回避等で制限を受ける表示位置の制約等から、局所座標系への配置では拡大オブジェクトの全体が見えなくなる場合は、非局所座標系に配置して拡大領域表示とし、拡大オブジェクトが局所座標系に納まる場合はそのまま局所座標系で表示することで、できるだけ局所座標系に表示し、ユーザの利便性を向上させることができる。
＜非局所座標系＞
　非局所座標系は、ＨＭＤ１の表示領域１１１ではなく実空間に固定されていれば世界座標系以外とは異なる非局所座標系を用いてもよい。どの非局所座標系を用いるかは、適宜ユーザ指示により切替えてもよい。以下、非局所座標系の変形例について説明する。
（胸部座標系）
　図１６は、胸部座標系（ＸＢ、ＹＢ、ＺＢ）の説明図である。
　胸部座標系とは、ＨＭＤ１を装着したユーザの胸部に固定した座標系である。胸部の正面方向を中心として表示オブジェクトを配置できるので、体の向きが変わっても、首を無理に回さなくてもすむ範囲で、表示オブジェクトの配置領域を好適に広げることができる。
　固定方法として、ＨＭＤ１のリモートコントローラを首から下げて、そのリモートコントローラに胸部座標系を固定してもよい。また、ＨＭＤ１でユーザの体幹を撮像し、胸部を画像から認識し、胸部までの距離を求めて胸部に固定してもよい。
（慣性座標系）
　図１７は、慣性座標系（ＸＩ、ＹＩ、ＺＩ）の説明図である。
　慣性座標系とは、頭部の平均的な位置及び向きに固定して設定する座標系である。胸部座標系に似ているが、胸部座標系は、胸部に固定されると動かないのに対し、慣性座標系は、例えば作業の都合で、ユーザの顔の向きが体幹正面からずれた方向を向く時に、顔の向き、すなわち頭部の平均的な向きに追随して座標系の方向が設定される点で異なる。慣性座標系に表示オブジェクトを配置すると、自動的に表示オブジェクトの配置領域が顔の正面方向近傍に位置するので、ユーザにとっての使い勝手が向上する。
（方向固定非局所座標系）
　図１８は、方向固定非局所座標系（ＸＶ、ＹＶ、ＺＶ）の説明図である。
　方向固定非局所座標系とは、世界座標系とは異なる非局所座標系において、鉛直方向は、実世界の鉛直方向に合わせたものである。例えば、Ｚ軸方向を常に鉛直方向に合わせるように座標系を回転させる（図１８）。なお、回転中心とする座標原点は、ユーザ近傍に設定する。これにより、例えばＨＭＤ１の場合、表示されたオブジェクトの鉛直方向が保たれていた方が自然に感じる効果がある。
（面固定非局所座標系）
　図１９、図２０は、面固定非局所座標系（ＸＰ、ＹＰ）の説明図である。
　面固定非局所座標系（ＸＰ、ＹＰ）とは、携帯情報端末としてスマートフォン５やタブレットなど、ユーザの身体に装着しない携帯情報端末を用いた場合に、携帯情報端末とユーザの視点位置（眼球位置）との距離が変わる携帯情報端末用の座標系である。上記の非局所座標系に表示オブジェクトを配置した場合、スマートフォン５とユーザの視点位置から距離が変わる場合、画面上で表示オブジェクトの大きさが変わってしまうので、スマートフォン５やタブレットに搭載された平面型ディスプレイの画面を延長した２次元座標系からなる非局所座標系を用いる。
　具体的には、スマートフォン５において、適宜設定された３次元の非局所座標系内での移動量の、スマートフォン５の画面と平行になる成分の積算量だけスマートフォン５の非局所座標系における位置を変更する。このとき、面固定非局所座標系の軸方向は、スマートフォン５の局所座標系の軸方向と平行に保つ（図１９）。これにより、ユーザにとって自然な形で、ユーザ正面の広い領域に、スマートフォン５の画面の延長領域となる座標系を構成することができる。
　なお、実空間で、スマートフォン５の縦横がスマートフォン５の筐体に対して入れ替わっても、面固定非局所座標系のＸ軸、Ｙ軸は、それぞれスマートフォン５の局所座標系のＸ軸、Ｙ軸に平行にする（図２０参照）。
　ＨＭＤ１やスマートフォン５、タブレットなどの携帯情報端末において、局所座標系の他、複数の非局所座標系のいずれかを選択して用いてもよい。
　また、携帯情報端末の表示画面に、表示に使用している座標系をマーク等でユーザに分かるようにしてもよい。
＜第２実施形態＞
　第２実施形態は、拡大領域表示指示と表示に用いる座標系の指定とを同時に行う実施形態である。
　図２１は、第２実施形態に係るユーザインタフェースの説明図である。
　指を広げるジェスチャー動作で拡大縮小指示を行うが、使う指の本数は表示オブジェクト３３０に関連する拡大領域表示オブジェクト３３１を配置する非局所座標系の種類の指定操作を兼ねる。例えば、３本指は世界座標系、５本指は胸部座標系、等である。また、２本指を使ってピンチイン操作をすると局所座標系に変換するように構成してもよい。これにより、簡単な指示動作で、配置座標系の制御が可能となる。
＜第３実施形態＞
　図２２は、第３実施形態に係るユーザインタフェースの説明図である。
　固定ピンオブジェクト５００をイメージした表示オブジェクトを用意し、非局所座標系と対応付ける。その固定ピンオブジェクト５００を表示オブジェクトに指す操作は、拡大領域表示オブジェクトに変換する表示オブジェクトの指定操作と、配置先となる非局所座標系の種類の指定操作とを兼ねる。固定ピンオブジェクト５００を指さない（ピン止めしない）表示オブジェクトは、局所座標系に配置し続ける。ピンを抜いたら局所座標系に切替える。また、非局所座標系のピンを指す動作が、座標系の切替だけで、拡大領域表示指示となっていなくてもよい。これにより、直観的な指示動作で座標系の切替えを行うことができる。
　更に、単純拡大指示の場合、ピンを刺した位置を固定してオブジェクトの拡大を行うこととしてもよい。
　本実施形態によれば、ＨＭＤ１、スマートフォン５、タブレットなどの携帯情報端末の画面に表示した表示オブジェクトを拡大したり、関連するより表示領域が大きくなる表示オブジェクトを表示する際に、必要に応じて局所座標系から非局所座標系に配置することで、小型のディスプレイでも使い勝手を向上させることができるので資源の効率化につながる。また、ディスプレイの小型化により消費電力を節約できることから、本実施形態は、ＳＤＧｓ７の目標達成への貢献が期待できる。
　なお、本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
　また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
１　　　　：ＨＭＤ
５　　　　：スマートフォン
１０　　　：筐体
１２　　　：アウトカメラ
１３　　　：測距センサ
１４　　　：センサ群
１８　　　：音声入力装置
１９　　　：音声出力装置
２０　　　：操作器
３１　　　：制御プログラム
３２　　　：アプリケーションプログラム
３３　　　：設定情報
３４　　　：表示情報
３５　　　：端末位置姿勢情報
１００　　：コントローラ
１０１　　：プロセッサ
１０１Ａ　：通信制御部
１０１Ｂ　：表示制御部
１０１Ｃ　：データ処理部
１０１Ｄ　：データ取得部
１０２　　：メモリ
１０３　　：ディスプレイ
１０４　　：無線通信器
１０７　　：操作入力部
１０８　　：バッテリ
１１１、１１１ａ、１１１ｂ、１１１ｃ　　：表示領域
１１２、１１２ａ　　：部分領域
１１３　　：拡大オブジェクト
１４１　　：加速度センサ
１４３　　：地磁気センサ
１４４　　：ＧＰＳ受信器
３００、３０２、３０３、３２０、３３０　　：表示オブジェクト
３０１、３０４、３０５　　：拡大オブジェクト
３１０　　：メニューオブジェクト
３１１　　：サブメニュー
３１２　　：タイトルオブジェクト
３１３　　：残留領域
３２１、３２３、３３１　　：拡大領域表示オブジェクト
３２２　　：人物
４００　　：制限領域
５００　　：固定ピンオブジェクト
 

Claims (18)

  1. 　表示オブジェクトを表示する携帯情報端末であって、
    　ディスプレイ、及び当該ディスプレイの表示制御を行うプロセッサを備え、
    　前記プロセッサは、
    　前記表示オブジェクトを表示する座標系として、前記携帯情報端末に固定された局所座標系と、前記携帯情報端末に固定されない非局所座標系と、を用いて前記表示オブジェクトを表示する座標を計算し、
    　前記局所座標系に表示されている前記表示オブジェクトに関連するオブジェクトであって、前記ディスプレイの表示領域からはみ出した拡大領域表示を要する拡大領域表示オブジェクトを表示する際、前記拡大領域表示オブジェクトを前記非局所座標系に配置する、
    　ことを特徴とする携帯情報端末。
  2. 　請求項１に記載の携帯情報端末であって、
    　前記プロセッサは、
    　　前記ディスプレイの表示領域に前記表示オブジェクトに関連するオブジェクトの全てが表示できる場合は前記局所座標系に配置したまま前記表示領域に表示し、
    　　前記表示オブジェクトに関連するオブジェクトが前記表示領域からはみ出す場合にのみ、前記表示オブジェクトに関連するオブジェクトを前記拡大領域表示オブジェクトとして前記非局所座標系に配置する、
    　ことを特徴とする携帯情報端末。
  3. 　請求項１に記載の携帯情報端末であって、
    　前記表示オブジェクトに関連するオブジェクトは、前記表示オブジェクトを単純拡大した拡大オブジェクトである、
    　ことを特徴とする携帯情報端末。
  4. 　請求項１に記載の携帯情報端末であって、
    　前記表示オブジェクトに関連するオブジェクトは、前記ディスプレイの表示領域の部分領域を単純拡大した拡大オブジェクトである、
    　ことを特徴とする携帯情報端末。
  5. 　請求項１に記載の携帯情報端末であって、
    　前記表示オブジェクトは、メニューを表示したメニューオブジェクトであり、
    　前記表示オブジェクトに関連するオブジェクトは、前記メニューオブジェクトの一項目についての詳細を表したサブメニューである、
    　ことを特徴とする携帯情報端末。
  6. 　請求項５に記載の携帯情報端末であって、
    　前記プロセッサは、
    　前記サブメニューを表示する際に、当該サブメニューの内容を示すタイトルオブジェクトを前記局所座標系に配置して、前記ディスプレイの表示領域に表示する、
    　ことを特徴とする携帯情報端末。
  7. 　請求項５に記載の携帯情報端末であって、
    　前記プロセッサは、
    　前記ディスプレイの表示領域における前記サブメニューの表示範囲が、前記サブメニューの一部を切り出して生成される残留領域の大きさ以下であれば、前記残留領域を前記局所座標系に配置して前記ディスプレイの表示領域に表示し、
    　前記ディスプレイの表示領域に含まれる前記サブメニューの表示範囲が、前記残留領域より大きければ、前記残留領域を生成せずに前記サブメニューを前記非局所座標系に配置する、
    　ことを特徴とする携帯情報端末。
  8. 　請求項１に記載の携帯情報端末であって、
    　前記携帯情報端末のユーザの視認領域を撮像するカメラを更に備え、
    　前記ディスプレイは、透過型ディスプレイであり、
    　前記プロセッサは、
    　前記カメラの画像に基づいて、前記カメラの画像に撮像された外界の実体物に前記表示オブジェクトが重なると判断すると、前記ディスプレイの表示領域のうち前記外界の実体物が透過して視認できる領域から前記表示オブジェクトを退避させ、前記表示オブジェクトを前記拡大領域表示オブジェクトとして前記非局所座標系に配置し、
    　前記カメラの画像に前記外界の実体物が撮像されなくなると、前記拡大領域表示オブジェクトを前記表示オブジェクトとして前記局所座標系に再配置する、
    　ことを特徴とする携帯情報端末。
  9. 　請求項１に記載の携帯情報端末であって、
    　前記携帯情報端末のユーザの視認領域を撮像するカメラを更に備え、
    　前記ディスプレイは、透過型ディスプレイであり、
    　前記プロセッサは、
    　前記ディスプレイの表示領域のうち、前記表示オブジェクトを表示させない制限領域を設け、前記表示オブジェクトを前記制限領域から退避させると前記表示領域からはみ出す場合に、前記表示オブジェクトを前記拡大領域表示オブジェクトとして前記非局所座標系に配置する、
    　ことを特徴とする携帯情報端末。
  10. 　請求項１に記載の携帯情報端末であって、
    　前記携帯情報端末のユーザの視認領域を撮像するカメラを更に備え、
    　前記ディスプレイは、透過型ディスプレイであり、
    　前記プロセッサは、
    　前記ディスプレイの表示領域のうち、前記表示オブジェクトを表示させない制限領域を設け、前記拡大領域表示オブジェクトのうち前記制限領域に重なる部分は、当該部分の透過率をあげて前記非局所座標系に配置する、
    　ことを特徴とする携帯情報端末。
  11. 　請求項１に記載の携帯情報端末であって、
    　前記非局所座標系は、前記携帯情報端末のユーザの胸部に固定された座標系からなる胸部座標系である、
    　ことを特徴とする携帯情報端末。
  12. 　請求項１に記載の携帯情報端末であって、
    　前記非局所座標系は、前記携帯情報端末のユーザの頭部の平均的な位置及び向きに固定して設定する慣性座標系である、
    　ことを特徴とする携帯情報端末。
  13. 　請求項１に記載の携帯情報端末であって、
    　前記非局所座標系は、世界座標系とは異なる前記非局所座標系であって、当該非局所座標系の鉛直方向を、実世界の鉛直方向に一致させた方向固定非局所座標系である、
    　ことを特徴とする携帯情報端末。
  14. 　請求項１に記載の携帯情報端末であって、
    　前記携帯情報端末は、スマートフォン又はタブレット端末であって、
    　前記非局所座標系は、前記スマートフォン又は前記タブレット端末に搭載された平面型ディスプレイの画面を延長した２次元座標系からなる面固定非局所座標系である、
    　ことを特徴とする携帯情報端末。
  15. 　請求項１に記載の携帯情報端末であって、
    　カメラを更に備え、
    　前記プロセッサは、
    　前記カメラの画像に基づいて、ユーザの手を用いたジェスチャー動作を認識して入力操作を受け付け、
    　前記ユーザの手の指の本数及び前記ユーザの手の動きを用いて、前記非局所座標系の種類の指定操作及び前記表示オブジェクトを前記拡大領域表示オブジェクトに変換、又は前記拡大領域表示オブジェクトから前記表示オブジェクトに再変換する前記入力操作を受け付ける、
    　ことを特徴とする携帯情報端末。
  16. 　請求項１に記載の携帯情報端末であって、
    　前記プロセッサは、
    　前記ディスプレイの表示領域に表示された前記表示オブジェクトの指定及び当該表示オブジェクトを配置する前記非局所座標系の種類の指定を、前記表示オブジェクトに固定ピンオブジェクトを指す操作により受け付け、
    　前記固定ピンオブジェクトが指された前記表示オブジェクトを前記拡大領域表示オブジェクトに変換し、前記指定された種類の前記非局所座標系に配置する、
    　ことを特徴とする携帯情報端末。
  17. 　請求項１に記載の携帯情報端末であって、
    　前記プロセッサは、
    　前記表示オブジェクトに関連するオブジェクトを強制的に非局所座標系に配置するユーザ指示を受付ける、
    　ことを特徴とする携帯情報端末。
  18. 　携帯情報端末に搭載されたディスプレイに表示オブジェクトを表示するオブジェクト表示方法であって、
    　前記携帯情報端末に搭載されたプロセッサが、
    　前記表示オブジェクトを表示する座標系として、前記携帯情報端末に固定された局所座標系と、前記携帯情報端末に固定されない非局所座標系と、を用いて前記表示オブジェクトを表示する座標を計算するステップと、
    　前記局所座標系に表示されている前記表示オブジェクトに関連するオブジェクトであって、前記ディスプレイの表示領域からはみ出した拡大領域表示を要する拡大領域表示オブジェクトを表示する際、前記拡大領域表示オブジェクトを前記非局所座標系に配置するステップと、を実行する、
    　ことを特徴とするオブジェクト表示方法。
     
PCT/JP2021/033548 2021-09-13 2021-09-13 携帯情報端末及びオブジェクト表示方法 WO2023037547A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2021/033548 WO2023037547A1 (ja) 2021-09-13 2021-09-13 携帯情報端末及びオブジェクト表示方法
JP2023546714A JPWO2023037547A1 (ja) 2021-09-13 2021-09-13
CN202180102073.XA CN117897948A (zh) 2021-09-13 2021-09-13 便携信息终端以及目标显示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/033548 WO2023037547A1 (ja) 2021-09-13 2021-09-13 携帯情報端末及びオブジェクト表示方法

Publications (1)

Publication Number Publication Date
WO2023037547A1 true WO2023037547A1 (ja) 2023-03-16

Family

ID=85506244

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/033548 WO2023037547A1 (ja) 2021-09-13 2021-09-13 携帯情報端末及びオブジェクト表示方法

Country Status (3)

Country Link
JP (1) JPWO2023037547A1 (ja)
CN (1) CN117897948A (ja)
WO (1) WO2023037547A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016203792A1 (ja) * 2015-06-15 2016-12-22 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
WO2020255384A1 (ja) * 2019-06-21 2020-12-24 マクセル株式会社 ヘッドマウントディスプレイ装置
WO2021020068A1 (ja) * 2019-07-26 2021-02-04 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016203792A1 (ja) * 2015-06-15 2016-12-22 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
WO2020255384A1 (ja) * 2019-06-21 2020-12-24 マクセル株式会社 ヘッドマウントディスプレイ装置
WO2021020068A1 (ja) * 2019-07-26 2021-02-04 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム

Also Published As

Publication number Publication date
JPWO2023037547A1 (ja) 2023-03-16
CN117897948A (zh) 2024-04-16

Similar Documents

Publication Publication Date Title
CN110488977B (zh) 虚拟现实显示方法、装置、系统及存储介质
US10466794B2 (en) Gesture recognition areas and sub-areas for interaction with real and virtual objects within augmented reality
JP6260613B2 (ja) ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイ、ヘッドマウントディスプレイ制御プログラム、画像表示方法及び画像表示装置
US10001857B2 (en) Display apparatus and method of controlling display apparatus
US9500867B2 (en) Head-tracking based selection technique for head mounted displays (HMD)
US20150220142A1 (en) Head-Tracking Based Technique for Moving On-Screen Objects on Head Mounted Displays (HMD)
JP7441600B2 (ja) 空間位置指示システム
JP7259045B2 (ja) 視角回転の方法、装置及びコンピュータプログラム
CN110743168B (zh) 虚拟场景中的虚拟对象控制方法、计算机设备及存储介质
CN110941375B (zh) 对图像进行局部放大的方法、装置及存储介质
JP2024016238A (ja) 画像生成方法及びコンピュータ並びに画像生成プログラム
CN108351736B (zh) 可穿戴显示器、图像显示装置和图像显示系统
JP7078234B2 (ja) 拡張現実空間に配置される３ｄオブジェクトを生成する方法
US11893153B2 (en) Head mounted display apparatus
WO2023037547A1 (ja) 携帯情報端末及びオブジェクト表示方法
JP7194752B2 (ja) 表示端末、表示制御システムおよび表示制御方法
JP7155242B2 (ja) 携帯情報端末
WO2022199597A1 (zh) Vr/ar设备截取图像的方法、装置及系统
CN114115544B (zh) 人机交互方法、三维显示设备及存储介质
KR102312601B1 (ko) 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
US20230376110A1 (en) Mapping a Computer-Generated Trackpad to a Content Manipulation Region
WO2022269753A1 (ja) 情報処理システム、情報処理装置及び画像表示装置
US11934735B2 (en) Apparatus and method for providing contents related to augmented reality service between electronic device and wearable electronic device
WO2022208797A1 (ja) 情報表示装置および方法
WO2022172335A1 (ja) 仮想ガイド表示装置、仮想ガイド表示システム、及び仮想ガイド表示方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21956842

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023546714

Country of ref document: JP