WO2012074090A1 - 画像表示装置および画像表示方法 - Google Patents

画像表示装置および画像表示方法 Download PDF

Info

Publication number
WO2012074090A1
WO2012074090A1 PCT/JP2011/077913 JP2011077913W WO2012074090A1 WO 2012074090 A1 WO2012074090 A1 WO 2012074090A1 JP 2011077913 W JP2011077913 W JP 2011077913W WO 2012074090 A1 WO2012074090 A1 WO 2012074090A1
Authority
WO
WIPO (PCT)
Prior art keywords
sub
display
image
area
observer
Prior art date
Application number
PCT/JP2011/077913
Other languages
English (en)
French (fr)
Inventor
知裕 佐藤
美和 中西
Original Assignee
ブラザー工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ブラザー工業株式会社 filed Critical ブラザー工業株式会社
Publication of WO2012074090A1 publication Critical patent/WO2012074090A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT

Definitions

  • the present disclosure relates to a technique for displaying an image by projecting image light onto an observer's eye.
  • the present invention relates to an improvement in technology for improving comfort that an observer feels from an image when the observer visually recognizes the image.
  • a direct-view image display device that displays an image by projecting image light representing an image to be displayed onto the eyes of an observer is already known (see, for example, Patent Document 1). According to this image display device, an observer can directly observe an image without using a screen on which the image is projected.
  • a direct-view image display device When a direct-view image display device is classified according to an image light forming method, it is classified into a spatial modulation type and a scanning type.
  • the spatial modulation type direct-view image display device is configured such that, for example, the image light forming unit includes a liquid crystal element and a light source that operate according to an image signal, or an organic EL.
  • the scanning direct-view image display device includes, for example, a light source that emits light having an intensity corresponding to an image signal and light that forms image light by scanning incident light from the light source. And a scanning unit.
  • Direct-view image display devices are classified into see-through type and immersive type according to the display image observation method.
  • see-through type an observer can observe the actual outside world superimposed on a display image by the image display device.
  • immersive type the incident light from the actual outside world is blocked, and the observer can observe only the display image.
  • Direct-view image display devices are classified into a head-mount type and a look-in type depending on the installation method.
  • the image display device is mounted on the observer's head and moves integrally with the head.
  • Peep-type image display devices are installed independently from the observer and are typified by electronic viewfinders for imaging devices such as digital still cameras and digital video camcorders. , A wall, a table, etc.) and the like are classified as those in which an image display device is installed on a stationary member.
  • the direct-view type image display device projects a single-eye type in which image light representing an image is projected onto one eye of the observer and displays the image to the observer depending on the number of eyes used by the observer, It is classified into a binocular system in which each image is projected onto the eyes and displayed on the observer.
  • Patent Document 1 when a display image includes a character, the character is desired to be displayed in an easy-to-read manner.
  • Patent Document 1 the reason why the displayed characters are difficult to read is the MTF (Modulation Transfer Function) characteristics of the image display device, that is, the position where the characters are displayed in the image display area of the image display device. It states that the image quality changes depending on whether it is located at the center or the periphery of the display area. Patent Document 1 further describes an image display area of characters to be displayed in order to solve the problem of displaying characters in an easy-to-read manner, that is, improving the comfort that the observer feels from the display image. And changing the position of the character and its character size so that the MTF characteristics are compensated.
  • MTF Modulation Transfer Function
  • the present inventors conducted experiments with the details described later using an image display device, and the comfort that the observer feels from the display image when observing the display image is I noticed that it also depends on the characteristics. That is, the comfort felt from the display image depends not only on the display characteristics of the display device but also on the human perceptual characteristics.
  • the inventors of the present invention due to human perceptual characteristics, depending on the position where the display object is displayed in the image display area, It was also noticed that the comfort (for example, ease of viewing) felt by the observer observing the same display object is different. I realized that even though the image quality of the display object itself is the same, the comfort felt by the observer differs depending on the position of the display object.
  • the present disclosure is a technique for displaying an image by projecting image light onto the eye of the observer, and the observer can view the display image from the display image when the observer visually recognizes the display image.
  • An object of the present invention is to provide a device that can easily improve the feeling of comfort.
  • One aspect of the present disclosure is an image display device that displays an image by projecting image light representing an image including one or a plurality of display objects onto an eye of the observer, the center of the observer's body
  • each display object with the same subjective evaluation value of visual comfort felt by the viewer as the viewer visually recognizes each displayed display object is displayed in another subarea.
  • a sub-area selection unit that selects a higher one as a display sub-area, and an image light generation unit that generates the image light so that each display object is displayed in the selected display sub-area
  • An image display device including a.
  • the “image display area observed from the observer side so as to be positioned in front of the position deviated from the center line of the observer's body toward the left eye side or the right eye side of the observer” is, for example,
  • the image display device is the one-eye type described above
  • the image display device is positioned in front of one eye of the observer.
  • the image display device is the above-described binocular type, Although it is not located in front of the left eye or right eye, it is located in front of a position biased toward the left eye side or right eye side of the observer from the center line of the observer's body.
  • the display subarea may be variably selected so that the display subarea is selected.
  • the sub-area selection unit may select, as the display sub-area, the one close to the observer's nose with respect to the center position of the image display area among the plurality of sub-areas.
  • the plurality of sub-areas form a matrix of 3 rows and 3 columns by dividing the image display area into three vertically and horizontally, whereby the number of the plurality of sub-areas is nine.
  • the position of each sub-area is an integer i representing a row number (i is from 1 to 3), increasing from the upper side to the lower side, and an integer j representing a column number (j is from 1 to 3)
  • the following is expressed as (i, j) using the one that increases from the side closer to the observer's nose to the side closer to the one eye of the observer's both ears.
  • the sub-area selection unit is a predetermined one of a plurality of sub-areas (1, 2), (2, 1), (2, 2), (3, 1) and (3, 2). May be selected as the display sub-area.
  • each sub-area is defined using the notation (i, j), but this definition is only a definition for convenience of explanation. If an image display device uses a different notation method, for example, the numbers 1, 2, 3, 4, 5, 6, 7, 8, and 9 as illustrated later in the column of the embodiment, When implemented in a manner that defines the location of an area, it should not be construed that the image display device departs from the scope of the present invention solely because of the difference in notation.
  • the sub-area selection unit may select a predetermined one of the plurality of sub-areas (2, 2) and (3, 2) as the display sub-area.
  • the sub-area selection unit may select the sub-area (3, 2) as the display sub-area.
  • the image display device displays the image by projecting the image light onto one eye of an observer, and the image display area is disposed in front of the one eye, and the image display
  • the apparatus further includes an identification unit that identifies whether the one eye is an observer's left eye or right eye, and the sub-area selection unit displays the display sub-area with respect to the image display area.
  • the relative positions of the sub-areas are different from each other with respect to the center line of the observer's body between the case where the one eye is identified as the left eye and the case where the one eye is identified as the right eye. You may choose to change to be symmetric.
  • Another aspect of the present disclosure is an image display method for displaying the image by projecting image light representing an image including one or more display objects onto the eye of the observer, the method comprising: Each display among a plurality of sub-areas obtained by dividing the image display area observed from the observer side so as to be positioned in front of the position deviated from the center line toward the left eye side or the right eye side of the observer When an object is displayed, each display object having the same subjective evaluation value of the visual comfort felt by the viewer as the viewer visually recognizes each displayed object is displayed in another sub-area.
  • a sub-area selection step of selecting a higher one as a display sub-area, and an image light that generates the image light so that each display object is displayed in the selected display sub-area An image display method including the formation step.
  • Yet another aspect of the present disclosure is a program executed by a computer of an image display device that displays an image light that represents an image including one or more display objects by projecting the image light onto an observer's eye.
  • a plurality of divided image display areas that are observed from the viewer's side so as to be positioned in front of a position biased toward the left eye side or right eye side of the viewer's body from the center line of the viewer's body
  • each display object has the same subjective evaluation value of visual comfort that the viewer feels as the viewer visually recognizes the displayed display object.
  • the inventors of the present invention based on the observer's body centerline, the observer's left eye or the right eye side of the observer
  • the viewer feels that the displayed display object is visually recognized by the observer
  • comfortable level the subjective evaluation value of comfortable comfort
  • the fact that there is a display position with a high degree of comfort and a display position with a low degree of comfort, that is, the property that the degree of comfort depends on the display position of the display object has been found.
  • a plurality of sub-divisions in which an image display area located in front of a position biased toward the left eye side or the right eye side of the observer from the center line of the observer's body is divided.
  • those having higher comfort levels than the other sub-areas are selected as display sub-areas, and the image light is generated and displayed so that each display object is displayed in the selected display sub-area. Is formed.
  • FIG. 1 is a plan view illustrating an appearance of a see-through type head mounted display device (hereinafter, abbreviated as “HMD”) according to an embodiment of the present disclosure.
  • FIG. It is a systematic diagram which shows the internal structure of HMD shown in FIG. It is a functional block diagram which shows the control unit shown in FIG. In order to acquire a display mode of an information item that enables the user to properly view the information item when the user observes the information item as an object displayed by the HMD shown in FIG. It is a figure which shows the display result of the information item used in the experiment which the present inventors conducted. It is a figure which shows the display result of five types of external field patterns used in order to simulate the image of an actual external field in the said experiment.
  • the graph which is a certain experimental result in the said experiment Comprising: The type of the font size of an information item and the relationship between a test subject's feeling during observation of an information item.
  • the graph which is another experimental result in the said experiment Comprising: Each position where the said information item is displayed in the image display area of HMD, and the relationship between the comfort level which a test subject feels while observing an information item.
  • the graph which is another experimental result in the said experiment, Comprising: The type of the external field pattern and the relationship between the comfort level which a test subject feels while observing an information item. 10 is a graph showing still another experimental result of the experiment, the relationship between the type of external pattern, the number / arrangement of information items, and the degree of comfort that the subject feels while observing the information items.
  • 4 is a flowchart conceptually showing a sub-area selection program stored in a program ROM shown in FIG.
  • 4 is a flowchart conceptually showing a mode response program stored in a program ROM shown in FIG. 3.
  • FIG. 4 is a flowchart conceptually showing a color classification number determination program stored in a program ROM shown in FIG. 3.
  • segmentation display by step S125 and S126 shown in FIG. 4 is a flowchart conceptually showing an external world response program stored in a program ROM shown in FIG. 3. It is a flowchart which represents the image display method according to this embodiment which displays an image using HMD shown in FIG. 1 temporally and conceptually.
  • the projection unit 12 has a projection unit 12 that projects image light representing an image onto the eyes of an observer.
  • the projection unit 12 is attached to the head of the observer by the head mount device 14 while the observer is wearing spectacles (not shown).
  • the head mount device 14 includes a frame 16 and an attachment device 18.
  • the frame 16 is attached to the observer's head in a state where the observer is wearing eyeglasses (not shown) and is put on both ears of the observer.
  • the projection unit 12 is mounted on a part of the frame 16 via an attachment device 18.
  • FIG. 1 shows the projection unit 12 in a plan view.
  • the projection unit 12 is monocular, and projects image light representing an image onto one eye of the observer to display the image to the observer.
  • the projection unit 12 is of a retinal scanning type, and projects the light flux from the light source onto the observer's retina and scans the projected light flux on the retina so that the observer observes the image as a virtual image. Make it possible.
  • the projection unit 12 is a see-through type, and allows the observer to observe the display image superimposed on the actual outside world.
  • the projection unit 12 is a monocular type, a retinal scanning type, and a see-through type in the present embodiment, but can be changed as appropriate.
  • the projection unit 12 may be binocular.
  • the projection unit 12 spatially modulates the light from the surface light source for each pixel using a spatial modulation element such as an LCD (liquid crystal display), and projects the modulated light onto the retina of the observer. May be.
  • the projection unit 12 may be an immersive type that cannot observe the actual outside world in parallel with the observation of the display image.
  • this embodiment is an example of the case where the present disclosure is applied to a head-mounted image display apparatus.
  • the present disclosure can be applied to a look-in type image display apparatus or a fixed setting type image display apparatus.
  • a control unit 20 is connected to the projection unit 12 via a cable 22 as shown in FIGS.
  • the cable 22 includes a control line that supplies a control signal, a power line that supplies electric power, and an optical fiber 82 (described in detail later) that transmits light. While the projection unit 12 is mounted on the observer's head, the control unit 20 is mounted on a portion of the observer other than the head (for example, the waist).
  • control unit 20 includes a light source unit 24 that generates and emits linear image light (for example, RGB color laser beam).
  • the configuration of the light source unit 24 will be described in detail later.
  • the control unit 20 further includes a signal processing circuit 25 mainly composed of a computer.
  • the signal processing circuit 25 includes a CPU (Central Processing Unit) 26 as a processor, a program ROM (Read Only Memory) 27 and a flash ROM 28 as nonvolatile memories, A RAM (Radom Access Memory) 29 as a volatile memory, an operation unit (for example, key, button, touch panel) 30, an input / output interface (indicated simply as “I / F” in FIG. 3) 31, An external input / output terminal 32 and a bus 33 for connecting these components to each other are provided.
  • a CPU Central Processing Unit
  • program ROM Read Only Memory
  • flash ROM 28 nonvolatile memories
  • a RAM (Radom Access Memory) 29 as a volatile memory
  • an operation unit for example, key, button, touch panel
  • I / F input / output interface
  • External equipment such as a personal computer is connected to the external input / output terminal 32.
  • a video signal is input to the signal processing circuit 25 from the external device via the external input / output terminal 32.
  • the video signal represents display content (for example, still image content or moving image content) to be reproduced by the projection unit 12.
  • the input display content is stored in the flash ROM 28.
  • the projection unit 12 is connected to the external input / output terminal 32 as described in detail later.
  • the HMD 10 has a camera (for example, a CCD (Charge-Coupled Device) camera) 23 mounted on the upper surface (or other position) of the frame 16 shown in FIG.
  • the camera 23 photographs the actual outside world that the observer observes together with the display image (display content).
  • the camera 23 is also connected to the external input / output terminal 32 so that the signal processing circuit 25 captures a signal representing the imaging result of the camera 23.
  • the signal processing circuit 25 In order to intensity-modulate the image light for each component light (RGB), the signal processing circuit 25 generates an R luminance signal representing the luminance of the red (R) laser beam (component image light) from the input video signal, and green (G) A G luminance signal representing the luminance of the laser beam (component image light) and a B luminance signal representing the luminance of the blue (B) laser beam (component image light) are generated.
  • the signal processing circuit 25 also generates a horizontal synchronization signal and a vertical synchronization signal that are used as a reference for horizontal scanning and vertical scanning described later.
  • the light source unit 24 includes three lasers 34, 36, 38, three collimator lenses 40, 42, 44, three dichroic mirrors 50, 52, 54, and a coupling optical system 56.
  • the three lasers 34, 36, and 38 are an R laser 34 that generates a red laser beam, a G laser 36 that generates a green laser beam, and a B laser 38 that generates a blue laser beam.
  • any of the lasers 34, 36, and 38 can be configured as, for example, a semiconductor laser or a solid-state laser.
  • the semiconductor laser can modulate the intensity by itself, the solid-state laser cannot. Therefore, when each of the lasers 34, 36, and 38 is configured as a solid-state laser, the intensity modulator is used. It is necessary to add.
  • the three collimator lenses 40, 42, and 44 are lenses that collimate the three color laser beams emitted from the three lasers 34, 36, and 38, respectively.
  • the three dichroic mirrors 50, 52, and 54 are wavelength selective to the three color laser beams in order to combine the three color laser beams emitted from the three collimator lenses 40, 42, and 44 with each other. Reflect and transmit.
  • dichroic mirror 50 is selected as the representative dichroic mirror.
  • the laser beam combined in the dichroic mirror 50 is incident on the combining optical system 56 as a combined laser beam (combined image light) and is condensed.
  • the three lasers 34, 36, and 38 are electrically connected to the signal processing circuit 25 via three laser drivers 70, 72, and 74, respectively.
  • the signal processing circuit 25 modulates the intensity of the laser beam emitted from each laser 34, 36, 38 via the corresponding laser driver 70, 72, 74 based on the R luminance signal, G luminance signal, and B luminance signal. To do.
  • a laser beam (combined image light; hereinafter simply referred to as “laser beam”) emitted from the coupling optical system 56 is collimated in the projection unit 12 via an optical fiber 82 as an optical transmission medium. It is transmitted to the lens 84. The laser beam collimated and emitted from the collimator lens 84 enters the scanning unit 88 in the projection unit 12.
  • the projection unit 12 includes a scanning unit 88, and the scanning unit 88 includes a horizontal scanning device 90 and a vertical scanning device 92.
  • the horizontal scanning device 90 includes a resonance type deflection element 96 and a horizontal scanning drive circuit 98.
  • the deflecting element 96 has a deflecting surface (for example, a reflecting surface) 94 that deflects the incident laser beam and is reciprocally swung to scan the deflected light in the horizontal direction.
  • the horizontal scanning drive circuit 98 drives the deflection element 96 based on the horizontal synchronization signal supplied from the signal processing circuit 25.
  • the vertical scanning device 92 includes a non-resonant deflection element 102 and a vertical scanning drive circuit 104.
  • the deflecting element 102 has a deflecting surface (for example, reflecting surface) 100 that deflects an incident laser beam and is reciprocally swung to scan the deflected light in the vertical direction.
  • the vertical scanning drive circuit 104 forcibly drives the deflection element 102 with a sawtooth drive signal based on the vertical synchronization signal supplied from the signal processing circuit 25.
  • the laser beam emitted from the horizontal scanning device 90 is incident on the vertical scanning device 92 through the first relay optical system 106 and converged thereby.
  • the laser beam scanned by the scanning unit 88 is emitted from the emission port of the projection unit 12 after being converged by the second relay optical system 108. As shown in FIG. 1, a half mirror 112 is attached to the housing 110 of the projection unit 12.
  • the laser beam emitted from the projection unit 12 is incident on the half mirror 112 as shown in FIGS.
  • the incident laser beam is reflected by the half mirror 112, passes through the pupil 122 in the eyeball 120 of one eye of the observer, and finally enters the retina 124.
  • the laser beam incident on the retina 124 is scanned on the retina 124.
  • the laser beam is converted into planar image light.
  • the observer can observe the two-dimensional image as a virtual image. Not only the image light reflected by the half mirror 112 but also light from the external environment (external light) is transmitted through the half mirror 112 and incident on one eye of the observer. As a result, the observer can observe the actual outside world in parallel with the observation of the image displayed by the image light.
  • the HMD 10 displays display content (for example, video content and image content) in a rectangular image display area based on a video signal input from the outside.
  • the display content includes at least one display object.
  • An example of each display object is an information item composed of a plurality of characters (including numbers, symbols, and icons) having a unique meaning, but is not limited thereto, and may be composed of an image, for example.
  • the information item does not have unique attributes (for example, the thickness, color, position, etc. of the displayed line), and the attributes can be arbitrarily edited on the user side.
  • the information item is, for example, text data. In other words, as long as the content of the text of this type of information item is the same, even if the unique attribute is changed, the information amount of the information item does not deteriorate.
  • the HMD 10 so that the attribute of the information item, that is, the display condition is optimized, in order to improve the visibility of the displayed information item, that is, the visibility.
  • the degree of visibility of an information item is not always determined only by the attribute of the information item.
  • the observer can visually recognize the displayed information item while being superimposed on the outside world.
  • the degree of visibility of the displayed information item may change depending on the attribute of the image of the outside world.
  • HMD10 HMD10 was mounted on the head of each subject.
  • the HMD 10 was attached to the head of each subject so as to cover the non-dominant eyes (in this case, all the observers were left eyes) of both eyes of each subject.
  • information items (each of the six attributes has a plurality of variations, and as a combination thereof, the display mode of the information items also has a plurality of variations) are displayed in a display mode that changes sequentially. It was displayed.
  • a keyboard for the subject to input the experiment result As described later, the subject copies the information displayed on the HMD 10 for each task and whether the display mode is comfortable or not. Subjective evaluation results were entered on the keyboard. The former information is used to calculate the percentage of correct answers that indicate the degree to which the subject correctly recognized the information item, while the latter information is the number of all subjects who were subjectively evaluated as comfortable. Used to calculate subject comfort as a percentage of
  • Font size (item size)
  • the font size variations for displaying information items are 18 points, 26 points, 34 points, 42 points, and 50 points.
  • each sub-area forms a 3 ⁇ 3 matrix.
  • the position of each sub-area is an integer i representing a row number (i is 1 or more and 3 or less), and increases from the upper side to the lower side, and an integer j (j is 1 or more and 3 or less) representing a column number. ), And is expressed as (i, j) using the one that increases from the side closer to the observer's nose to the side closer to the one eye of the observer's both ears. .
  • subarea (1,1) is represented as subarea A
  • subarea (1,2) is represented as subarea B
  • subarea (1,3) is denoted as subarea C
  • subarea (2,1) is denoted as subarea D
  • subarea (2,2) is denoted as subarea E
  • subarea (2,3) is denoted as subarea F
  • Subarea (3, 1) is represented as subarea G
  • subarea (3, 2) is represented as subarea H
  • subarea (3, 3) is represented as subarea I.
  • Font color A plurality of variations of colors for displaying information items are 14 colors that cover all colors that can be perceived by humans.
  • the image displayed on the large monitor has the following five patterns in order to reproduce the actual outside world mainly from the viewpoint of color saturation.
  • -External pattern A Black overall-External pattern B: White overall-External pattern C: Monochrome mosaic pattern-External pattern D: Mosaic pattern colored in black and white and other two colors-External pattern E: Colored in full color Mosaic pattern
  • color saturation means an index representing the number of different colors (hereinafter simply referred to as “external color number”) used for an external image (external visual field range). That is, a low color saturation means that the number of external colors is small. On the other hand, a high color saturation means that the number of external colors is large. “Color saturation” can also be interpreted as a term meaning at least one of hue and saturation.
  • each subject inputs the display contents that each subject can visually recognize using the keyboard at hand. As a result, the accuracy of recognition was measured.
  • each subject determines whether or not the display mode is comfortable as a subjective evaluation of each subject with respect to the display mode of the information item (for example, easy to see or natural Or whether it is impossible to move the eyeball).
  • VAS Visual Analogue Scale
  • Stage 1 Optimization of Font Size and Display Position
  • Each subject has 135 cases with a combination of 3 background colors, 5 font sizes and 9 display positions.
  • the task was executed every time.
  • other attributes design elements
  • Second stage Optimization of background color and display color
  • Each subject performs the above task for each case in 210 cases that are a combination of 5 types of external patterns, 3 types of background colors, and 14 types of display colors. Executed.
  • the font size and the display position are fixed to the variations evaluated to be optimal in the experimental results of the first stage, and any other attribute (design element) is selected from any variation. Fixed to. There were 10 subjects in total.
  • the information items shown in FIG. 4 are simultaneously placed in the three sub-areas A, B, and C arranged horizontally in the uppermost row. Is displayed.
  • information items are simultaneously displayed in the three sub-areas D, E, and F arranged side by side in the center column.
  • the information items are simultaneously displayed in the three sub-areas G, H, and I arranged side by side in the bottom row.
  • the font size and the display position are fixed to the variations evaluated to be optimum in the experimental results of the first stage, and the external pattern, background color and display color are set in the second stage. It was fixed to the variation evaluated as the optimum in the experimental results.
  • FIG. 6A shows the comfort level of the subject with respect to the font size.
  • the comfort level is the percentage of cases in which each subject subjectively evaluated that they were comfortable among all cases tested.
  • the comfort level is 80% or more. Therefore, in consideration, it is desirable that the optimum range of the font size is a range of 34 points or more.
  • the comfort level is relatively examined among the nine display positions. It was as follows when comfort level was arranged in descending order.
  • Subarea H Sub area (3, 2) located at the bottom of the center row
  • Sub-area E sub-area located in the center of the center row (2, 2)
  • Sub-area D sub-area (2, 1) located in the center of the rows closest to the nose
  • sub-area G sub-area (3, 1) located at the bottom of the rows closest to the nose
  • subarea B the top subarea (1, 2) in the center row
  • Sub-area A sub-area (1, 1) located at the top of the rows closest to the nose
  • sub-area F sub-area (2, 3) located at the center of the rows closest to the left ear
  • Sub-area I the sub-area (3, 3) located at the bottom of the row closest to the nose
  • Sub-area C the sub-area (1, 3) located at the top of the row closest to the left ear
  • the higher the priority of the information item to be displayed the higher priority the information item is displayed in the sub-area with higher comfort level. Is important to be.
  • a high priority of an information item means, for example, that the content of the information item is important for the worker who should refer to the information item, or the information item is frequently referred to by the worker. It's okay. Therefore, the order of the subareas related to the comfort level described above corresponds to the order of the subareas related to the priority in which the information items are displayed.
  • the characteristics shown in FIG. 6B are obtained when the subject observes an image with the left eye.
  • the nine sub-areas relate to the center line of the subject's body (for example, a vertical line passing through the subject's nose).
  • the center line of the subject's body for example, a vertical line passing through the subject's nose.
  • the same HMD 10 when the same HMD 10 is rotated in the horizontal plane or moved in the horizontal direction to switch the eye for observing the image between the left eye and the right eye, the same information item is used.
  • the nine sub areas are moved symmetrically in the vertical direction with respect to the center line.
  • the nine sub areas are moved symmetrically in the left-right direction with respect to the center line.
  • FIG. 7A shows the comfort level of the subject with respect to the combination of the type of external pattern and the type of background color. As shown in FIG. 7A, the highest comfort level was obtained when the background color was BB (all black) for any type of external pattern. Thus, for consideration, the optimum background color is BB. The optimal background color does not depend on the type of external pattern.
  • An item color can be expressed by a combination of brightness and absolute luminance.
  • the background color is BB (all black)
  • the comfort level of the subject is analyzed (experimental results are not shown).
  • the optimum range of item colors depended on the type of external pattern. Specifically, when the external pattern is A (all black), the optimum range of the item color is that the absolute luminance is 0.04 or more and the brightness is 35 or more.
  • the optimum luminance of the item color is an absolute luminance of 0.16 or more and a brightness of 70 or more.
  • a subject's subjective evaluation value was high about red, green, and yellow, for example. Thus, for consideration, it is desirable to select an item color to be used to display an information item within this range.
  • FIG. 7B shows the correct answer rate of the subject with respect to the combination of the type of external pattern and the number of items / arrangement type.
  • the correct answer rate was the highest when the number of items / arrangement was AL, regardless of the type of external pattern.
  • the correct answer rate is the external patterns D and E with relatively complex images and high color saturation. There was also a tendency to increase compared to other types of external patterns. Therefore, to consider, basically, it is desirable to adopt a display mode called AL that displays an information item without switching the display of the information item in order to improve the correct answer rate.
  • FIG. 7C shows the comfort level of the subject with respect to the combination of the type of external pattern and the type of item color classification.
  • the comfort level is lower than the other display modes in the display mode (when displaying 9 colors) of all nine information items regardless of the type of the external pattern. It was.
  • the external pattern is A, B, or C (when the number of colors of the external environment is 2 or less)
  • the comfort level is higher than that of other display modes for the display mode that unifies the colors of the nine information items. it was high.
  • the external pattern is D or E (when the number of colors in the external world is 3 or more, the external image is relatively complex, and the color saturation is high)
  • the comfort level is nine.
  • the display mode for color-coding information items in three colors was higher than other display modes.
  • the comfort level is higher than the other display modes for the display mode in which nine information items are color-coded in three colors. Therefore, for consideration, it is desirable to color the display image with three colors.
  • the display image is displayed in one color. Is desirable.
  • the external pattern is D or E (when the color saturation is high), it is desirable to display the display image in three colors. That is, it is desirable to change the number of colors used by the display image according to the external pattern.
  • the comfort level is the highest value. Whether the number of colors used simultaneously is smaller than 3 (for example, 1) or larger than 3 (for example, 9), the comfort level is lower than the maximum value.
  • the HMD 10 stores at least one information item (for example, information for assisting or supporting the work of a worker as a user) in the nine sub-areas in the image display area based on a video signal input from the outside. The selected one is displayed.
  • the HMD 10 determines the above-described six attributes (design elements) when displaying each information item as follows based on the above-described experimental results.
  • Font size (item size)
  • the font size for displaying the information item is a predetermined point of 34 points or more.
  • the position where the information item is displayed is the importance of the information item (whether the information item is important to the user,
  • the frequency is selected according to the frequency of reference by the user.
  • the sub-area selection program is stored in the program ROM 27 in order to individually determine the display position of the information item.
  • the position of the subarea (display subarea) where the information item is to be displayed depends on the importance of the information item, and whether the user's eyes observing the information item are the left eye or the right eye That is, it also depends on whether it is the left eye observation mode or the right eye observation mode.
  • the background color of the information item is BB (full black).
  • Font color (item color)
  • the color for displaying each information item is at least one color selected from the aforementioned 14 colors.
  • Color coding number of information item The color coding number of at least one information item to be displayed is when the color saturation of the outside world is a predetermined value or less (when the outside world pattern is A, B or C, for example, When the number of colors in the outside world is 2 or less), it is determined as 1. On the other hand, when the color saturation of the outside world is higher than the predetermined value (when the outside world pattern is D or E, that is, for example, when the number of colors of the outside world is 3 or more), the number is determined as 3. In other words, the number of colors of information items depends on the color saturation of the outside world. Further, when the color saturation of the outside world is higher than the predetermined value, even if the number of information items displayed simultaneously is 4 or more, the total number of colors used for displaying the information items is 3 Maintained.
  • the program ROM 27 stores a color classification number determination program.
  • the number of colors of information items depends on the color saturation of the outside world observed by the user together with the information items.
  • the color saturation of the outside world is automatically detected using the imaging result of the camera 23.
  • the user operates the operation unit 30 to input the color saturation of the outside world. Also good.
  • FIG. 8 conceptually shows the sub-area selection program in a flowchart.
  • the sub area selection program is read from the program ROM 27 and executed by the CPU 26 as necessary.
  • step S1 it is determined whether or not the user is in the left eye observation mode in which the user observes the display image on the HMD 10 with the left eye.
  • the determination in step S1 is performed by the user operating the operation unit 30 and directly inputting information for specifying the position of the eye to be used (the type of observation mode).
  • the HMD 10 automatically detects the orientation of the HMD 10 with respect to the absolute space, so that the eye covered by the HMD 10 is the left eye or the right eye. This is done by estimating.
  • the orientation of the HMD 10 is automatically detected, the orientation of the HMD 10 with respect to gravitational acceleration (that is, the vertical direction) is measured using an acceleration sensor, a weight, a pendulum, or the like mounted on the HMD 10.
  • step S1 the determination in step S1 is YES, and in step S2, the left-eye map shown in FIG. 9A is selected.
  • step S1 the determination in step S1 is NO, and in step S3, the right-eye map shown in FIG. 9A is selected.
  • the left-eye map is on the two-dimensional coordinate system of the sub-area number u and the left-eye observation image display area of each sub-area u.
  • the right-eye map is a two-dimensional coordinate system of the number u of each sub-area and the image display area for right-eye observation of each sub-area when the user observes the display image by the HMD 10 with the right eye.
  • the two-dimensional array of sub-areas on the left-eye map and the two-dimensional array of sub-areas on the right-eye map are shown in FIG. 9A as geometrically related to each other. Assuming superimposing each on the eyes, the vertical plane passing through the nose has a mirror image relationship (a symmetrical relationship).
  • FIG. 9B also shows the relationship between the alphabet notation (AI) of the subarea, the position u (1-9), and the above-described two-dimensional coordinates (i, j).
  • the two-dimensional coordinates (i, j) are defined by a coordinate system CS1 having the sub-area A as the origin (1, 1) in each map.
  • the two-dimensional coordinate position v (v1, v2) on the image display area is defined by a coordinate system CS2 having the origin at the lower left corner of the image display area.
  • the two-dimensional coordinates (i, j) are in a symmetrical relationship between the left-eye observation mode and the right-eye observation mode, whereas the two-dimensional coordinate position v (v1, v2) is the left-eye observation mode. And the right-eye observation mode are translated in the horizontal direction.
  • the HMD 10 displays an image, since the coordinate system CS2 is used, conversion from the coordinate system CS1 to CS2 is necessary. For this reason, the above-described two functions gL and gR are selectively used. .
  • step S4 it is determined in step S4 whether or not a new information item has been input based on the video signal input from the outside. If a new information item has been input, the determination in step S4 becomes YES, and in step S5, the importance (for example, indicated by “X” representing a unique number) of the current information item (for example, is described below). The importance of the content of the information item X and the frequency of reference frequency (Y) of the information item X by the user are determined.
  • the importance level Y corresponding to the current information item X is derived using the function f (X).
  • the number of importance levels Y is the same as the number of sub-areas described above, and specifically, nine levels from 8 to 0 are prepared.
  • the importance level Y is defined to mean that the greater the number, the higher the importance level of the corresponding information item X.
  • step S6 among the nine sub-areas (AI), the information item X to be displayed this time, that is, the sub-area Z is determined.
  • the sub-area Z is determined, if the current time is the left-eye observation mode, the position of the sub-area Z on the two-dimensional coordinate system is determined using the left-eye map. Is the right-eye observation mode, the position of the sub-area Z on the two-dimensional coordinate system is determined using the right-eye map.
  • FIG. 9B shows the characteristics of the function F (Y) in a table.
  • the sub-area Z corresponding to the current information item X is derived using the importance Y corresponding to the current information item X as a parameter.
  • the same number of subareas Z as the number of subareas described above are prepared. Specifically, nine subareas Z from A to I are prepared.
  • the subarea Z is “H”.
  • the subarea Z is “C”, which is the left of the nine subareas described above in the left-eye observation mode.
  • the ear / right-eye observation mode the uppermost row in the center row closest to the right ear is represented.
  • step S7 it is determined whether or not the current information item X can be displayed in the determined subarea Z.
  • a predetermined number of information items for example, one information item
  • the current information item X cannot be displayed in the current sub-area Z.
  • the flash ROM 28 stores the information item currently displayed in association with the subarea in which the information item is displayed. This step S7 is executed using this information.
  • step S8 If it is determined in step S7 that the current information item X can be displayed in the current sub-area Z, in step S8, the function gL (u) is used in the left-eye observation mode, and the function is displayed in the right-eye observation mode.
  • the current position u of the sub-area Z is converted to the coordinate position v of the image display area of the HMD 10.
  • step S9 based on the converted coordinate position v, the current information item X is arranged in the current sub-area Z. Thereafter, the process proceeds to step S10.
  • step S7 if it is determined in step S7 that the current information item X cannot be displayed in the current sub-area Z, the current information item X can be displayed in step S11. In order to search for another sub-area that is associated with an importance level lower than the current value of importance Y (this time, the initial value is this time), the current value of importance Y of information item X is 1 Only subtracted.
  • step S12 whether or not the importance Y thus subtracted is lower than “0”, that is, even if the importance Y is subtracted to “0”, the current information item X is displayed. It is determined whether or not a sub-area that is capable of being found has been found (a predetermined number of information items have already been displayed in all the sub-areas). If it is assumed that the importance level Y is “0” or more this time, the determination in step S12 is YES, and the process returns to step S6 to display the current information item X based on the new importance level Y. Possible subareas are searched.
  • step S12 determines whether the updated importance Y is smaller than “0”
  • step S13 a predetermined condition is selected from the nine sub-areas described above.
  • One subarea that is satisfied that is, in the present embodiment, the subarea having the lowest importance Y, that is, the subarea having the importance Y of “0” is selected. Further, the display content of the selected subarea is made blank. That is, all the information items displayed in the subarea are deleted.
  • step S15 the information item X of this time is arranged in the selected sub-area (the sub-area where the importance level Y is “0”). Thereafter, the process proceeds to step S10.
  • step S10 the contents are updated as necessary for each of all the information items arranged in the image display area. That is, the contents of the flash ROM 28 are updated so that the correspondence between the information items and the sub-areas reflects the latest state, and the contents of the information items reflect the latest contents. Then, it returns to step S4.
  • the user when the user turns on the power of the HMD 10 and then designates the image observation mode of the HMD 10 through the operation unit 30, the user selects the HMD 10. It is assumed that the user does not change the image observation mode of the HMD 10 until the power is turned off.
  • FIG. 10 shows a mode response that allows the user to change the image observation mode of the HMD 10 as many times as necessary through the operation unit 30 while the HMD 10 is powered on.
  • the program is conceptually represented by a flowchart. This mode response program is additionally executed instead of replacing the subarea selection program.
  • step S31 it is determined whether or not the user has input the current image observation mode via the operation unit 30. If there is an input, it is determined in step S32 whether or not the input image observation mode is the left eye observation mode. If the current mode is the left-eye observation mode, the left-eye map (function gL (u)) is selected in step S33, whereas if the current mode is the right-eye observation mode, in step S34. The right eye map (function gR (u)) is selected.
  • step S35 the number u for sequentially specifying all the sub-areas is set to “1”.
  • step S36 the position u of the current sub-area is converted into the coordinate position v of the image display area of the HMD 10 using the selected function.
  • step S37 at least one information item to be displayed in the current sub-area is displayed at the position represented by the converted coordinate position v.
  • step S38 it is determined whether or not the current value of u is equal to or greater than the total number of all sub areas (this time, “9”). If the current value of u is equal to or greater than the total number uto, the process returns to step S31. However, if the current value of u is smaller than the total number uto, u is incremented by 1 in step S39, and then step S36. Return to.
  • FIG. 11 conceptually shows the color classification number determination program in a flowchart.
  • the color classification number determination program is read from the program ROM 27 and executed by the CPU 26 as necessary.
  • step S101 the HMD 10 is a flag fmc indicating whether or not an image is displayed in multicolor (multiple colors) instead of monochrome, and “0” indicates monochrome.
  • the display mode is set, and “1” indicating the multi-color display mode is set to “1”. This is based on the premise that the HMD 10 is in the default mode of the multi-color display mode.
  • step S102 it is determined whether or not a new information item has been input based on the video signal input from the outside. If a new information item (current information item) is input, the determination in step S102 is YES, and in step S103, the color saturation of the actual outside world that the user is currently observing (the number of colors used by the image of the actual outside world). ) ⁇ is obtained.
  • the external color saturation ⁇ is acquired based on the imaging result of the camera 23 without requiring user intervention.
  • color saturation has been described as a term that can mean at least one of hue and saturation.
  • external color The degree ⁇ is used as a term meaning saturation. That is, “color saturation” is a superordinate concept of “saturation ⁇ ” in the present embodiment.
  • the saturation ⁇ is a physical quantity that is 0 for an achromatic color (white, black, and gray) and is the maximum for a pure color. Saturation ⁇ is saturation, and is expressed in a range from 0% to 100%.
  • the saturation ⁇ of the HSV color space is detected from the RGB values (including the luminance value R of the red light component, the luminance value G of the green light component, and the luminance value B of the blue light component) of the RGB color space.
  • the maximum value and the minimum value of the R value, the G value, and the B value of each pixel in the imaging area of the camera 23 are acquired from the imaging result of the camera 23, and the acquired maximum value and minimum value are acquired.
  • the saturation ⁇ is detected as a value obtained by dividing the difference by the maximum value.
  • the saturation ⁇ may be different for each pixel, in one example, in order to obtain one representative saturation ⁇ for the imaging area of the camera 23, the imaging area is divided into a plurality of blocks. For each block, one individual saturation (for example, an average value or median value) that represents the block is detected, and one value (for example, the maximum value) that represents a plurality of individual saturations for the blocks. Is detected as one overall saturation representing the imaging area.
  • CMOS sensor or another light receiving element can be used.
  • step S104 it is determined whether or not the acquired saturation ⁇ is equal to or less than a threshold value.
  • the threshold value is set to 20%.
  • a saturation ⁇ of 20% or less means that the external pattern is A, B or C (for example, the number of colors used by the external world is 2 or less), while the saturation ⁇ is 20
  • Higher than% means that the external pattern is D or E (for example, the number of colors used by the external environment is 3 or less). Therefore, in this step S104, it is determined whether or not the external pattern is A, B or C. Based on the above experimental results, when the saturation ⁇ is equal to or less than the threshold value, it is desirable to display all information items including the current information item in one color.
  • step S104 determines whether or not the saturation ⁇ is equal to or less than the threshold value. If it is assumed that the flag fmc is “1” this time (however, if the current execution is the first time after turning on the power, the flag fmc is “1”), the determination in step S105 is YES, and the step The process proceeds to S106.
  • all information items are displayed in one color.
  • existing item if there is no existing information item (hereinafter simply referred to as “existing item”), it means only the current information item, while if there is an existing item, the existing item And the information item this time.
  • One display color common to all information items is selected in advance, and is, for example, a color with a high subjective evaluation value of the user, for example, one of red, green, and yellow.
  • step S107 the flag fmc is set to “0”, thereby recording that the display mode of the HMD 10 has shifted from the multi-color display mode to the monochrome display mode.
  • step S108 the contents of all information items are updated. Data of all information items is stored in the flash ROM 28.
  • step S105 determines whether the flag fmc is “1” has been described above.
  • step S105 determines whether the flag fmc is “0” has been referred to as the flag fmc.
  • steps S106 and S107 are skipped. Thereby, the monochrome display mode in which all information items are displayed in one color is continued. Also in this case, the process proceeds to step S108.
  • step S104 determines whether the saturation ⁇ is equal to or less than the threshold value.
  • the saturation ⁇ is larger than the threshold value, that is, because the external pattern is D or E, all information items are displayed in three colors. If this is desirable, the determination in step S104 is NO. In this case, subsequently, the number N of existing items is acquired in step S109. Since the data of the existing item is stored in the flash ROM 28, this step S109 is executed by referring to the contents of the flash ROM 28.
  • step S110 it is determined whether the number N of existing items is 2 or less. If it is assumed that the number is 2 or less this time, the determination is YES, and it is determined whether or not the number N of existing items is 0 in step S111. This time, assuming that the number N of existing items is 0 (there is no existing item), the determination in step S111 is YES, and the process proceeds to step S112.
  • one sub-area where the current information item should be displayed is divided into three.
  • one corresponding subarea for example, subarea H
  • step S113 three different colors are designated for the three divided areas.
  • red, green, and yellow are designated for the three divided areas, respectively.
  • a divided display (a kind of multi-color display) for displaying the current information item in three colors is performed.
  • step S114 the flag fmc is set to “1”. Subsequently, the process proceeds to step S108.
  • step S111 determines whether the existing item number N is 1. . If it is assumed that the current time is 1 (one existing item exists), the determination in step S115 is YES, and the process proceeds to step S116.
  • step S116 it is determined whether or not the flag fmc is “1”. This time, there is only one existing item, and in this state, assuming that the flag fmc is “1”, that one existing item is divided and displayed by executing step S113 described above. It will be. In this case, the determination in step S116 is YES, and in step S119, the current information item is displayed in one color in the same color as any of the existing display colors (this time, the three colors described above). As a result, the total number of colors used by all information items does not need to exceed three. Thereafter, the process proceeds to step S114.
  • step S116 determines whether one existing item is displayed in monochrome.
  • step S117 one subarea in which one existing item is displayed is divided into three as in step S112.
  • step S118 as in step S113, different colors are designated for the three divided areas generated by the three divisions.
  • divided display a kind of multi-color display
  • step S119 whereby the total number of colors used by all information items does not need to exceed 3.
  • step S114 the process proceeds to step S114.
  • step S115 the determination in step S115 is NO.
  • step S120 it is determined whether or not the flag fmc is “1”.
  • step S120 determines whether the existing flag fmc is “1” or not. If the existing flag fmc is “1”, the determination in step S120 is YES, and in step S121, the division display for the existing item is canceled. Subsequently, in step S122, different colors (for example, red and green) are designated for the two existing items.
  • step S123 the current information item is displayed in one color (for example, yellow) different from the two colors (existing display colors) specified for the two existing items. Subsequently, the process proceeds to step S114.
  • one color for example, yellow
  • step S120 determines whether the flag fmc is “0” or not.
  • steps S122 and S123 are executed in the same manner as described above.
  • step S110 determines whether or not the flag fmc is “1”.
  • step S119 the current information item is displayed in one color in the same color as any one of the existing display colors (the above-mentioned three colors) (for example, red).
  • the total number of colors used by the four information items does not need to exceed three. Subsequently, the process proceeds to step S114.
  • step S125 the image display area is divided into three in order to display the three existing items in different colors from each other in a total of three colors.
  • the image display area is divided into three in the horizontal direction (each divided into three divided areas extending in the vertical direction).
  • step S126 three different colors are designated for the three divided areas.
  • red, green, and yellow are designated for the three divided areas, respectively.
  • multi-color display is performed in which each of the three information items is displayed in one color and in all three colors. Thereafter, the process proceeds to step S119.
  • step S110 determines whether or not the flag fmc is “1”. This time, assuming that there are four existing items and the flag fmc is “1”, the four existing items are displayed in one color and a total of three colors. In this case, after that, the process proceeds to step S119, and the current information item is displayed in the same color as one of the existing display colors (the aforementioned three colors) (for example, red). As a result, the total number of colors used by the five information items (the combination of the four existing items and the current information item) does not exceed three. Subsequently, the process proceeds to step S114.
  • step S125 the image display area is divided into three to display the four information items in three colors.
  • step S126 three different colors are designated for the three divided areas.
  • multi-color display is performed in which each of the four information items is displayed in one color and in all three colors. Thereafter, the process proceeds to step S119.
  • the color classification number determination program is executed in accordance with the case where the existing item number N is 4, and therefore, a duplicate description is omitted.
  • each information item (an example of the “display object”) is displayed in a single color, and the total number of colors used for displaying all the information items is 2 or more. Even when the number of information items simultaneously present in the display image exceeds the same number as the upper limit value, the upper limit value (3 in the present embodiment) is preset. It is maintained at the value.
  • the color classification number determination program shown in FIG. 11 uses the input of a new information item as a trigger, and switches the display mode of the information item between one color display and three color display based on the external saturation ⁇ at that time. . Therefore, in the period between the input timing of a certain information item and the input timing of the next information item, even if the saturation ⁇ of the outside world changes, the change of the information item is reflected. The display mode does not change. This is because it is not designed so that the number of color classifications can be changed using a change in saturation ⁇ as a trigger.
  • FIG. 13 shows an external response program that changes the display mode of information items (this time, the number of colors) in response to changes in the saturation ⁇ of the external environment after the latest information item is input. It is conceptually represented in the flowchart. This external response program is additionally executed instead of replacing the color classification number determination program.
  • step S151 it is waited for a predetermined time (for example, 10 seconds) to elapse.
  • the length of the predetermined time means the length of a period in which the camera 23 intermittently captures the outside world and acquires the saturation ⁇ using the imaging result. If the predetermined time has elapsed, since a new information item has been input in step S152, whether the color classification number using the saturation ⁇ of the outside world is being determined in the color classification number determination program. It is determined whether or not. If it is assumed that it is in the middle of this time, steps S153 to S157 are skipped and the process returns to step S151.
  • step S153 the camera 23 uses the current external environment. Is imaged. Subsequently, in step S154, the saturation ⁇ is acquired based on the imaging result.
  • step S155 it is determined whether or not the acquired saturation ⁇ is equal to or less than the threshold value th. If the saturation ⁇ is equal to or less than the threshold value th, all information items are displayed in one color in step S156. Thereafter, the process returns to step S151. On the other hand, this time, assuming that the saturation ⁇ is larger than the threshold value th, in step S157, all the information items are 3 by the same algorithm as that used in the color classification number program. Displayed in color. Also in this case, the process returns to step S151.
  • FIG. 14 shows the image display method according to the present embodiment in which an image is displayed using the HMD 10 with time and conceptually represented in a flowchart.
  • step S201 a new information item is input.
  • step S202 among the nine sub-areas, the input information item to be displayed is the human perceptual characteristic and the left-eye observation mode or the right-eye observation mode. Is selected on the basis of the distinction.
  • This step S202 is executed by the CPU 26 executing the subarea selection program shown in FIG. 8 while referring to the flash ROM 28.
  • step S203 by using the camera 23, the color saturation of the outside world observed by the observer is acquired together with the information item.
  • step S204 based on the acquired color saturation, the number of colors to be used for displaying all the information items, that is, whether to display one color or display in three colors is determined. .
  • step S205 the component laser beams emitted from the lasers 34, 36, and 38, and the combined optical system are reflected so that the position of the selected sub-area and the determined number of colors are reflected.
  • a combined laser beam generated by combining at 56 is generated.
  • the generated combined laser beam is scanned two-dimensionally by the horizontal scanning device 90 and the vertical scanning device 92 of the scanning unit 88.
  • the scanned combined laser beam is final image light (the combined laser beam is also image light).
  • step S206 the generated image light is reflected by the half mirror 112, passes through the pupil 122, and is eventually projected onto the retina 124, whereby all information items are displayed on the image display area.
  • the An observer who is a user observes all the displayed information items superimposed on the actual outside world located in front of the left or right eye of the observer.
  • the sub-area Z in which each information item is displayed is variably determined according to the importance Y of each information item to be displayed.
  • one or a plurality of information items is a single fixed display of one of the nine sub-areas that is pre-selected as the comfort level being sufficiently high or a plurality of sub-areas adjacent to each other.
  • the present invention can be implemented in such a manner that each information item is displayed in the display area.
  • such a display area is defined as a sub-area H that is one sub-area having the maximum comfort level, or one block having the sub-area H (for example, four sub-areas D and E). , G, and H). That is, it is not essential to implement the present invention that the display position of each information item is variably determined according to the importance of each information item to be displayed.
  • the part for executing step S1 shown in FIG. It can be considered that it constitutes an example of the “identification unit” in the section 5), and the portion of the signal processing circuit 25 that executes steps S2, S3, S8 and S14 shown in FIG. It can be considered that it constitutes an example of a part of the “sub-area selection unit” in the same section.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Video Image Reproduction Devices For Color Tv Systems (AREA)

Abstract

　観察者の身体の中心線から観察者の左眼の側または右眼の側に偏った位置の前方に位置するように観察される画像表示エリアが分割された複数のサブエリアのうち、各表示オブジェクトが表示されると、その表示される各表示オブジェクトを観察者が視認することによって観察者が感じる視覚的な快適さの主観評価値が、同じ各表示オブジェクトが他のサブエリアに表示される場合より高いものを表示サブエリアとして選択し（Ｓ２０２）、各表示オブジェクトが、前記選択された表示サブエリアに表示されるように、前記画像光を生成する（Ｓ２０５）。

Description

画像表示装置および画像表示方法
　本開示は、画像光を観察者の眼に投影することにより、画像を表示する技術に関する。特に、画像を観察者が視認する際に、観察者が画像から感じる快適性を向上させる技術の改良に関する。
　表示すべき画像を表す画像光を観察者の眼に投影することにより、画像を表示する直視型の画像表示装置が既に知られている（例えば、特許文献１参照。）。この画像表示装置によれば、観察者は、画像が投影されるスクリーンを媒介にすることなく、画像を直接的に観察することができる。
　直視型の画像表示装置を、画像光形成方式によって分類すると、空間変調型と、走査型とに分類される。空間変調型の直視型画像表示装置は、例えば、画像光形成部が、画像信号に応じて作動する液晶素子及び光源、又は、有機ＥＬを含むように構成される。走査型の直視型画像表示装置は、例えば、画像光形成部が、画像信号に応じた強度を有する光を出射する光源と、その光源からの入射光を走査することによって画像光を形成する光走査部とを含むように構成される。
　直視型の画像表示装置は、表示画像の観察方式によって、シースルー型と没入型とに分類される。シースルー型では、観察者が、画像表示装置による表示画像に重ねて、現実外界を観察することが可能になる。没入型では、現実外界からの入射光を遮断し、観察者が、表示画像のみを観察することが可能になる。
　直視型の画像表示装置は、設置方式によって、ヘッドマウント型と覗き込み型とに分類される。ヘッドマウント型では、画像表示装置が観察者の頭部に装着されてその頭部と一体的に移動する。覗き込み型の画像表示装置は、観察者から独立して設置され、デジタルスチルカメラやデジタルビデオカムコーダなどの撮像装置用の電子ビューファイダに代表されるものと、固定設置型、すなわち、固着物（フロア、壁、テーブル等）等、静止部材に画像表示装置が設置されるものとに分類される。
　直視型の画像表示装置は、観察者が使用する眼の数によって、画像を表す画像光を観察者の片眼に投影して前記画像を観察者に表示する片眼式と、観察者の両眼にそれぞれ投影して前記画像を観察者に表示する両眼式とに分類される。
　いずれのバリエーションにおいても、直視型の画像表示装置を用いて画像を表示する用途においては、その画像表示装置による表示画像を観察者が視認する際に観察者が表示画像から感じる快適性を向上させたいという課題がある。この課題の一例が、特許文献１に開示されており、具体的には、表示画像が文字を含む場合に、その文字を読み易い態様で表示したいという課題である。
特開２００７－１４２５４２号公報
　特許文献１は、表示される文字が読み難い原因が、当該画像表示装置のＭＴＦ(Modulation Transfer Function)特性、すなわち、当該画像表示装置の画像表示エリアのうち、文字が表示される位置が、画像表示エリアの中央に位置するのか、周辺に位置するのかによって、画質が変化してしまうという特性にあると述べている。特許文献１は、さらに、文字を読み易い態様で表示したいという課題、すなわち、観察者が表示画像から感じる快適性を向上させたいという課題を解決するために、表示される文字の、画像表示エリア内の位置およびその文字サイズを、ＭＴＦ特性が補償されるように変更することを開示している。
　これに対し、本発明者らは、画像表示装置を用いて後に詳述する内容で実験を行うことにより、表示画像を観察する際に観察者がその表示画像から感じる快適性が、人間の知覚特性にも依存することに気が付いた。すなわち、表示画像から感じる快適性は、表示装置の表示特性のみならず、人間の知覚特性にも依存する。
　さらに、本発明者らは、表示画像が表示オブジェクト（例えば、後述の情報アイテム）を含む場合に、人間の知覚特性が原因で、画像表示エリアのうち、その表示オブジェクトが表示される位置によって、同じ表示オブジェクトを観察する観察者が感じる快適性（例えば、見易さ）が異なることにも気が付いた。表示オブジェト自体の画質が同じでも、その表示オブジェクトの位置により、観察者が感じる快適性が異なることに気が付いたのである。
　このような知見に基づき、本開示は、画像光を観察者の眼に投影することにより、画像を表示する技術であって、その表示画像を観察者が視認する際に観察者が表示画像から感じる快適性を向上させることが容易なものを提供することを課題としてなされたものである。
本開示の１側面は、１つまたは複数の表示オブジェクトを含む画像を表す画像光を観察者の眼に投影することにより、前記画像を表示する画像表示装置であって、観察者の身体の中心線から観察者の左眼の側または右眼の側に偏った位置の前方に位置するように観察者の側から観察される画像表示エリアが分割された複数のサブエリアのうち、各表示オブジェクトが表示されると、その表示される各表示オブジェクトを観察者が視認することによって観察者が感じる視覚的な快適さの主観評価値が、同じ各表示オブジェクトが他のサブエリアに表示される場合より高いものを表示サブエリアとして選択するサブエリア選択部と、各表示オブジェクトが、前記選択された表示サブエリアに表示されるように、前記画像光を生成する画像光生成部とを含む画像表示装置である。
　ここで、「観察者の身体の中心線から観察者の左眼の側または右眼の側に偏った位置の前方に位置するように観察者の側から観察される画像表示エリア」は、例えば、当該画像表示装置が、前述の片眼式である場合には、観察者の片眼の前方に位置する一方、当該画像表示装置が、前述の両眼式である場合には、観察者の左眼または右眼の正面に位置するわけではないが、観察者の身体の中心線から観察者の左眼の側または右眼の側に偏った位置の前方に位置する。
　また、「サブエリア選択部」は、例えば、常に同じサブエリアを表示サブエリアとして固定的に選択したり、表示すべき表示オブジェクトの重要度に応じ、その重要度が高いほど高い快適度を有する表示サブエリアが選択されるように、表示サブエリアを可変に選択してもよい。
　また、前記サブエリア選択部は、前記複数のサブエリアのうち、前記画像表示エリアの中央位置に対し、観察者の鼻に近いものを前記表示サブエリアとして選択してもよい。
また、前記複数のサブエリアは、前記画像表示エリアが縦横にそれぞれ３分割されることにより、３行３列のマトリクスを成し、それにより、前記複数のサブエリアの数は、９つであり、各サブエリアの位置は、行番号を表す整数ｉ（ｉは１以上３以下）であって、上側から下側に向かって増加するものと、列番号を表す整数ｊ（ｊは１以上３以下）であって、観察者の鼻に近い側から、観察者の両耳のうち片眼に近いものに近い側に向かって増加するものとを用いて、（ｉ,ｊ）として表現されており、前記サブエリア選択部は、複数のサブエリア（１，２）、（２，１）、（２，２）、（３，１）および（３，２）のうち、予め定められた１つを、前記表示サブエリアとして選択してもよい。
　本項においては、各サブエリアの位置が、（ｉ，ｊ）という表記方法を用いて定義されているが、この定義は、説明の便宜上の定義にすぎない。仮に、ある画像表示装置が、別の表記方法、例えば、後に実施形態の欄において例示するように、１，２，３，４，５，６，７，８および９という数字を用いて各サブエリアの位置を定義する態様で実施される場合に、その表記方法の違いのみを理由に、その画像表示装置が本発明の範囲から逸脱すると解釈すべきではない。
　また、前記サブエリア選択部は、複数のサブエリア（２，２）および（３，２）のうち、予め定められた１つを、前記表示サブエリアとして選択してもよい。
　また、前記サブエリア選択部は、サブエリア（３，２）を、前記表示サブエリアとして選択してもよい。
　また、前記画像表示装置は、前記画像光を観察者の片眼に投影することにより、前記画像を表示するものであり、前記画像表示エリアは、前記片眼の前方に配置され、当該画像表示装置は、さらに、前記片眼が観察者の左眼であるか右眼であるかを識別する識別部を含み、前記サブエリア選択部は、前記表示サブエリアを、前記画像表示エリアに対する前記表示サブエリアの相対的な位置が、前記識別部によって前記片眼が左眼であると識別された場合と右眼であると識別された場合との間で、観察者の身体の中心線に関して互いに対称であるように変化するように、選択してもよい。
　本開示の他の側面は、１つまたは複数の表示オブジェクトを含む画像を表す画像光を観察者の眼に投影することにより、前記画像を表示する画像表示方法であって、観察者の身体の中心線から観察者の左眼の側または右眼の側に偏った位置の前方に位置するように観察者の側から観察される画像表示エリアが分割された複数のサブエリアのうち、各表示オブジェクトが表示されると、その表示される各表示オブジェクトを観察者が視認することによって観察者が感じる視覚的な快適さの主観評価値が、同じ各表示オブジェクトが他のサブエリアに表示される場合より高いものを表示サブエリアとして選択するサブエリア選択工程と、各表示オブジェクトが、前記選択された表示サブエリアに表示されるように、前記画像光を生成する画像光生成工程とを含む画像表示方法である。
本開示のさらに他の側面は、１つまたは複数の表示オブジェクトを含む画像を表す画像光を観察者の眼に投影することにより、前記画像を表示する画像表示装置のコンピュータによって実行されるプログラムであって、観察者の身体の中心線から観察者の左眼の側または右眼の側に偏った位置の前方に位置するように観察者の側から観察される画像表示エリアが分割された複数のサブエリアのうち、各表示オブジェクトが表示されると、その表示される各表示オブジェクトを観察者が視認することによって観察者が感じる視覚的な快適さの主観評価値が、同じ各表示オブジェクトが他のサブエリアに表示される場合より高いものを表示サブエリアとして選択するサブエリア選択工程と、各表示オブジェクトが、前記選択された表示サブエリアに表示されるように、前記画像光を生成する画像光生成工程と、を備える、前記コンピュータによって実行されるプログラムである。
　本発明者らは、その研究（後に詳述する）により、観察者の身体の中心線から観察者の左眼の側または右眼の側に偏った位置の前方に位置するように観察者の側から観察される画像表示エリアを有する形式の画像表示装置が、表示オブジェクトを前記画像表示エリアに表示する場合に、その表示される表示オブジェクトを観察者が視認することによって観察者が感じる視覚的な快適さの主観評価値（以下、「快適度」という。）が、前記画像表示エリア全域において一様に分布するのではなく、表示オブジェクトの表示位置によって異なるという事実を見出した。前記画像表示エリアにおいて、快適度が高い表示位置もあれば、快適度が低い表示位置もあるという事実、すなわち、快適度が、表示オブジェクトの表示位置に依存するという性質を見出したのである。
　この知見に基づき、本開示によれば、観察者の身体の中心線から観察者の左眼の側または右眼の側に偏った位置の前方に位置する画像表示エリアが分割された複数のサブエリアのうち、快適度が他のサブエリアより高いものが表示サブエリアとして選択され、各表示オブジェクトが、前記選択された表示サブエリアに表示されるように、前記画像光が生成されて表示画像が形成される。
　したがって、本開示によれば、表示画像を観察者が視認する際に観察者がその表示画像から感じる快適性を向上させることが容易となる。
本開示の一実施形態に従うシースルー型ヘッドマウントディスプレイ装置（以下、「ＨＭＤ」と略称する。）の外観を示す平面図である。 図１に示すＨＭＤの内部構成を示す系統図である。 図２に示す制御ユニットを示す機能ブロック図である。 図１に示すＨＭＤが表示するオブジェクトとしての情報アイテムをユーザが現実外界に重ねて観察する際にユーザが前記情報アイテムを適正に視認することを可能にする情報アイテムの表示態様を取得するために本発明者らが行った実験において用いた情報アイテムの表示結果を示す図である。 前記実験において現実外界の像を模擬するために用いられた５種類の外界パターンの表示結果を示す図である。 前記実験におけるある実験結果であって、情報アイテムのフォントサイズの種類と被験者が情報アイテムの観察中に感じる快適度との関係を表すグラフ。 前記実験における別の実験結果であって、前記情報アイテムがＨＭＤの画像表示エリア内に表示される各位置と被験者が情報アイテムの観察中に感じる快適度との関係を表すグラフ。 前記実験におけるさらに別の実験結果であって、外界パターンの種類と被験者が情報アイテムの観察中に感じる快適度との関係を表すグラフ。 前記実験におけるさらに別の実験結果であって、外界パターンの種類と情報アイテムの個数／配置の種類と被験者が情報アイテムの観察中に感じる快適度との関係を表すグラフ。 外界パターンの種類と情報アイテムの色分け数と被験者が情報アイテムの観察中に感じる快適度との関係を表すグラフ。 図３に示すプログラムＲＯＭに記憶されているサブエリア選択プログラムを概念的に表すフローチャートである。 図８に示すステップＳ２における左眼用マップ及び右目用マップの内容を、ＨＭＤの表示空間に幾何学的に関連付けて示す図。 左眼用マップ及び右目用マップにおけるサブエリアのアルファベット表記（Ａ－Ｉ）と、位置ｕ（１－９）と、前述の２次元座標（ｉ，ｊ）との関係を示す図。 図３に示すプログラムＲＯＭに記憶されているモード応答プログラムを概念的に表すフローチャートである。 図３に示すプログラムＲＯＭに記憶されている色分け数決定プログラムを概念的に表すフローチャートである。 図１１に示すステップＳ１１２およびＳ１１３による分割表示の一例を説明するための図。 図１１に示すステップＳ１２５およびＳ１２６による分割表示の一例を説明するための図。 図３に示すプログラムＲＯＭに記憶されている外界応答プログラムを概念的に表すフローチャートである。 本実施形態に従う画像表示方法であって図１に示すＨＭＤを用いて画像を表示するものを経時的にかつ概念的に表すフローチャートである。
　図１に示されるＨＭＤ１０は、画像を表す画像光を観察者の眼に投影する投影ユニット１２を有している。その投影ユニット１２は、ヘッドマウント装置１４により、観察者が眼鏡（図示しない）を装着している状態で、観察者の頭部に装着される。
　ヘッドマウント装置１４は、フレーム１６と、アタッチメント装置１８とを備えている。フレーム１６は、観察者が眼鏡（図示しない）を装着している状態で、かつ、観察者の両耳にかけられる状態で観察者の頭部に装着される。このフレーム１６の一部に、アタッチメント装置１８を介して投影ユニット１２が搭載される。
　次に、図１ないし図３を参照することにより、投影ユニット１２およびその投影ユニット１２を制御するための制御ユニット２０を説明する。
　まず、投影ユニット１２の概略を説明する。図１には、この投影ユニット１２が平面図で示されている。この投影ユニット１２は、単眼式であり、画像を表す画像光を観察者の片眼に投影して前記画像を観察者に表示する。さらに、投影ユニット１２は、網膜走査型であり、光源からの光束を観察者の網膜上に投影するとともに、その投影した光束を網膜上において走査することにより、観察者が画像を虚像として観察することを可能にする。さらに、投影ユニット１２は、シースルー型であり、表示画像を観察者が現実外界に重ねて観察することを可能にする。
　なお付言するに、本実施形態においては、投影ユニット１２が単眼式、網膜走査型およびシースルー型であるが、適宜変更が可能である。たとえば、投影ユニット１２は、両眼式でもよい。また、投影ユニット１２は、面光源からの光をＬＣＤ（液晶ディスプレイ）等の空間変調素子を用いて、各画素ごとに空間的に変調し、その変調された光を観察者の網膜に投影してもよい。さらに、投影ユニット１２は、表示画像の観察と並行して現実外界を観察することができない没入型でもよい。
　さらに付言するに、本実施形態は、本開示をヘッドマウント型の画像表示装置に適用した場合の一例である。しかし、本開示は、覗き込み型の画像表示装置に適用することも、固定設定型の画像表示装置に適用することも可能である。
　次に、制御ユニット２０を説明する。投影ユニット１２に制御ユニット２０が、図１および図２に示すように、ケーブル２２を介して接続されている。ケーブル２２は、制御信号を供給する制御ラインと、電力を供給するパワーラインと、光を伝送する光ファイバ８２（後に詳述する）とを含んでいる。投影ユニット１２が観察者の頭部に装着されるのに対し、制御ユニット２０は、観察者のうち、頭部以外の部分（例えば、腰）に装着される。
　図２に示すように、制御ユニット２０は、線状の画像光（例えば、ＲＧＢカラーレーザビーム）を発生させて出射する光源部２４を備えている。その光源部２４の構成は、後に詳述する。この制御ユニット２０は、さらに、コンピュータを主体とする信号処理回路２５を備えている。
　信号処理回路２５は、図３に機能ブロック図で概念的に表すように、プロセッサとしてのＣＰＵ(Central Processing Unit)２６と、不揮発性メモリとしてのプログラムＲＯＭ(Read Only Memory)２７およびフラッシュＲＯＭ２８と、揮発性メモリとしてのＲＡＭ(Radom Access Memory)２９と、操作部（例えば、キー、ボタン、タッチパネル）３０と、入出力インタフェース（図３においては、単に「Ｉ／Ｆ」で表す。）３１と、外部入出力端子３２と、それら構成要素を互いに接続するバス３３とを備えている。
　外部入出力端子３２には、パーソナルコンピュータ等、外部機器（図示しない）が接続される。その外部機器から、外部入出力端子３２を介して、映像信号が信号処理回路２５に入力される。映像信号は、投影ユニット１２によって再生されるべき表示コンテンツ（例えば、静止画像コンテンツまたは動画像コンテンツ）を表す。その入力された表示コンテンツはフラッシュＲＯＭ２８に保存される。
　外部入出力端子３２には、後に詳述するように、投影ユニット１２が接続されている。このＨＭＤ１０は、図１に示すフレーム１６の上面（または他の位置）にカメラ（例えば、ＣＣＤ(Charge-Coupled Device)カメラ）２３を搭載している。そのカメラ２３は、観察者が、表示画像（表示コンテンツ）と共に観察する現実外界を撮影する。そのカメラ２３の撮像結果を表す信号を信号処理回路２５が取り込むために、カメラ２３も、外部入出力端子３２に接続されている。
　信号処理回路２５は、画像光を成分光（ＲＧＢ）ごとに強度変調するために、入力された映像信号から、赤色（Ｒ）レーザビーム（成分画像光）の輝度を表すＲ輝度信号と、緑色（Ｇ）レーザビーム（成分画像光）の輝度を表すＧ輝度信号と、青色（Ｂ）レーザビーム（成分画像光）の輝度を表すＢ輝度信号とを生成する。信号処理回路２５は、さらに、後述の水平走査および垂直走査の基準となる水平同期信号および垂直同期信号も生成する。
　次に、図２を参照することにより、光源部２４を詳細に説明する。光源部２４は、３個のレーザ３４，３６，３８と、３個のコリメータレンズ４０，４２，４４と、３個のダイクロイックミラー５０，５２，５４と、結合光学系５６とを備えている。
　３個のレーザ３４，３６，３８は、赤色レーザビームを発生させるＲレーザ３４と、緑色レーザビームを発生させるＧレーザ３６と、青色レーザビームを発生させるＢレーザ３８とである。
　いずれのレーザ３４，３６，３８も、例えば、半導体レーザとして構成したり、固体レーザとして構成することが可能である。ただし、半導体レーザは、それ自体で強度変調が可能であるのに対し、固体レーザはそれが不可能であるため、各レーザ３４，３６，３８を固体レーザとして構成する場合には、強度変調器を追加することが必要である。
　３個のコリメータレンズ４０，４２，４４は、３個のレーザ３４，３６，３８から出射した３色のレーザビームをそれぞれコリメートするレンズである。３個のダイクロイックミラー５０，５２，５４は、それら３個のコリメータレンズ４０，４２，４４から出射した３色のレーザビームを互いに結合するために、それら３色のレーザビームに対して波長選択的に反射および透過を行う。
　それら３色のレーザビームは、ダイクロイックミラー５０，５２，５４を代表する１個の代表ダイクロイックミラーにおいて互いに結合される。本実施形態においては、その代表ダイクロイックミラーとしてダイクロイックミラー５０が選定されている。このダイクロイックミラー５０において結合されたレーザビームは、合成レーザビーム（合成画像光）として結合光学系５６に入射して集光される。
　図２に示すように、３個のレーザ３４，３６，３８はそれぞれ、３個のレーザドライバ７０，７２，７４を経て信号処理回路２５に電気的に接続されている。その信号処理回路２５は、Ｒ輝度信号、Ｇ輝度信号およびＢ輝度信号に基づき、各レーザ３４，３６，３８から出射するレーザビームの強度を、対応するレーザドライバ７０，７２，７４を介して変調する。
　図２に示すように、結合光学系５６から出射したレーザビーム（合成画像光。以下、単に「レーザビーム」という。）は、光伝送媒体としての光ファイバ８２を介して、投影ユニット１２におけるコリメータレンズ８４に伝送される。そのコリメータレンズ８４においてコリメートされて出射したレーザビームは、投影ユニット１２における走査部８８に入射する。
　次に、図２を参照することにより、投影ユニット１２を説明する。その投影ユニット１２は、走査部８８を有しており、その走査部８８は、水平走査装置９０と垂直走査装置９２とを含んでいる。
　水平走査装置９０は、共振型の偏向素子９６と、水平走査駆動回路９８とを備えている。偏向素子９６は、入射したレーザビームを偏向するとともに、その偏向光を水平方向に走査するために往復揺動させられる偏向面（例えば、反射面）９４を有する。水平走査駆動回路９８は、信号処理回路２５から供給された水平同期信号に基づき、偏向素子９６を駆動する。
　同様に、垂直走査装置９２は、非共振型の偏向素子１０２と、垂直走査駆動回路１０４とを備えている。偏向素子１０２は、入射したレーザビームを偏向するとともに、その偏向光を上下方向に走査するために往復揺動させられる偏向面（例えば、反射面）１００を有する。垂直走査駆動回路１０４は、信号処理回路２５から供給された垂直同期信号に基づく鋸波形状の駆動信号により、偏向素子１０２を強制駆動する。
　図２に示すように、水平走査装置９０から出射したレーザビームは、第１リレー光学系１０６を介して、かつ、それによって収束させられた後に、垂直走査装置９２に入射する。
　走査部８８によって走査されたレーザビームは、第２リレー光学系１０８を介して、かつ、それによって収束させられた後に、投影ユニット１２の出射口から出射する。図１に示すように、投影ユニット１２のハウジング１１０にハーフミラー１１２が装着されている。
　投影ユニット１２から出射したレーザビームは、図１および図２に示すように、ハーフミラー１１２に入射する。その入射したレーザビームは、ハーフミラー１１２において反射した後、観察者の片眼の眼球１２０内の瞳孔１２２を通過し、最終的に網膜１２４に入射する。
　網膜１２４に入射したレーザビームは、その網膜１２４上において走査され、その結果、レーザビームが、面状の画像光に変換される。それにより、観察者が２次元画像を虚像として観察することが可能となる。観察者の片眼には、ハーフミラー１１２において反射した画像光のみならず、現実外界からの光（外光）がハーフミラー１１２を透過して入射する。その結果、観察者は、画像光によって表示される画像の観察と並行して現実外界を観察することが可能となる。
　このＨＭＤ１０は、外部から入力された映像信号に基づき、表示コンテンツ（例えば、映像コンテンツ、画像コンテンツ）を矩形状の画像表示エリア内に表示する。表示コンテンツは、少なくとも一つの表示オブジェクトを含んでいる。各表示オブジェクトの一例は、それ自体固有の意味を有する複数の文字（数字、記号、アイコンを含む）から成る情報アイテムであるが、それに限定されることなく、例えば、画像から成るものでもよい。
　情報アイテムは、鑑賞用の映像コンテンツとは異なり、固有の属性（例えば、表示される線の太さ、色、位置など）を有せず、その属性をユーザサイドで任意に編集可能である。情報アイテムは、例えば、テキストデータである。すなわち、この種の情報アイテムは、テキストの内容が同一である限り、固有の属性を変更しても、情報アイテムの情報量が劣化せずに済む。
　よって、表示される情報アイテムの見易さ、すなわち、視認性を向上させるために、情報アイテムの属性すなわち表示条件が最適化されるようにこのＨＭＤ１０を設計し、作動させることが重要である。
　しかし、情報アイテムの視認性の程度は、その情報アイテムの属性のみによって決まるとは限らない。このＨＭＤ１０では、観察者が、表示されている情報アイテムを、外界に重ねて視認することが可能である。この場合には、外界の像の属性により、表示される情報アイテムの視認性の程度が変化する可能性がある。
　このような事情を背景として、本発明者らは、情報アイテムの属性の最適化のために、このＨＭＤ１０の試作品を用いて、実験を行い、その結果を踏まえて、このＨＭＤ１０の最終版を設計することにした。以下、本発明者らが行った実験の内容および結果ならびにこの実験結果に対する考察を詳細に説明する。
１．　実験の目的
　作業者が現実外界中の作業対象物を観察しつつ、必要に応じて、ＨＭＤ１０の画像表示エリア内の作業補助情報（情報アイテム）を参照する場面を模擬する。
２．　実験環境
（１）大型モニタ
　４２インチの画面を有する大型モニタにより、外界（表示パターンは、５種類のバリエーションを有する）を模擬した。
（２）被験者の観察位置
　複数人の被験者が、交互に入れ替わるように、大型モニタから７５ｃｍ離れた位置に着座して観察を行った。
（３）ＨＭＤ１０
　各被験者の頭部にＨＭＤ１０が装着された。各被験者の両眼のうち非優位眼（今回は、観察者全員が左眼）を覆うように、ＨＭＤ１０が各被験者の頭部に装着された。ＨＭＤ１０の画像表示エリア上に、情報アイテム（６つの属性はそれぞれ、複数のバリエーションを有し、それらの組合せとして、情報アイテムの表示態様も、複数のバリエーションを有する）が、順次変化する表示態様で表示された。
（４）被験者が実験結果を入力するためのキーボード
　被験者は、後述のように、各タスクごとに、ＨＭＤ１０上に表示されている情報を写し取ることと、その表示態様が快適であるか否かという主観評価の結果を、キーボードに入力した。前者の情報は、被験者が情報アイテムを正確に認識した程度を表す正答率を計算するために使用され、一方、後者の情報は、快適であると主観評価した被験者の数の、被験者全員の数に対するパーセントとして被験者の快適度を計算するために使用される。
３．　情報アイテムの構成
３．１　情報アイテムの表示態様
　図４に示すように、今回対象とする情報アイテムは、複数の文字（数字、記号、下線および枠線を含む）から構成されている。
３．２　情報アイテムの６つの属性（主なデザイン要素）
（１）フォントサイズ（アイテムサイズ）
　情報アイテムを表示するフォントサイズの複数のバリエーションは、１８ポイント、２６ポイント、３４ポイント、４２ポイントおよび５０ポイントである。
（２）情報アイテムの表示位置
　ＨＭＤ１０の画像表示エリア（画面）のうち、情報アイテムが表示される位置のバリエーションは、画像表示エリアを縦横に３つずつ、全部で９つに等分割した場合の９つのサブエリア（図６Ｂ参照）の位置である。
　それら９つのサブエリアは、３行３列のマトリクスを成す。各サブエリアの位置は、行番号を表す整数ｉ（ｉは１以上３以下）であって、上側から下側に向かって増加するものと、列番号を表す整数ｊ（ｊは１以上３以下）であって、観察者の鼻に近い側から、観察者の両耳のうち前記片眼に近いものに近い側に向かって増加するものとを用いて、（ｉ,ｊ）として表現される。
　本実施形態においては、図６Ｂに示すように、サブエリア（１，１）がサブエリアＡとして表記され、サブエリア（１，２）がサブエリアＢとして表記され、サブエリア（１，３）がサブエリアＣとして表記され、サブエリア（２，１）がサブエリアＤとして表記され、サブエリア（２，２）がサブエリアＥとして表記され、サブエリア（２，３）がサブエリアＦとして表記され、サブエリア（３，１）がサブエリアＧとして表記され、サブエリア（３，２）がサブエリアＨとして表記され、サブエリア（３，３）がサブエリアＩとして表記されている。
（３）情報アイテムの背景色（画像表示エリアの地色）
　情報アイテムの背景色の複数のバリエーションは、次のとおりである。
ＢＢ：背景全体が黒である状態（全黒）
ＷＷ：背景全体が白である状態（全白）
ＢＷ：背景全体のうち、その情報アイテムの周辺のみが白である状態
（４）フォントの色（アイテムの色）
　情報アイテムを表示する色の複数のバリエーションは、人間が知覚し得る全色を離散的にカバーする１４色である。
（５）アイテム個数／配置
　同じ情報アイテムが表示される個数および配置の複数のバリエーションは、次のとおりである。
ＡＬ：９つの表示位置（サブエリア）のすべてに情報アイテムが表示される状態
ＨＬ：１行ごとに、３つずつ（３つの表示位置に）情報アイテムが表示される状態
ＶＬ：１列ごとに、３つずつ（３つの表示位置に）情報アイテムが表示される状態
（６）アイテムの色分け数
　９つの表示位置（サブエリア）のすべてに表示される９つの情報アイテムの色分け数の複数のバリエーションは、次のとおりである。
・９つの情報アイテムの色がすべて同じである状態
・９つの情報アイテムの色がすべて異なる状態
・３つの情報アイテムごとに、色が異なる状態
４．　外界の表示態様
　図５に示すように、大型モニタ上に表示される画像は、現実外界を、主に、色彩度の観点で再現すべく、下記の５種類のパターンを有する。
・外界パターンＡ：全体が黒
・外界パターンＢ：全体が白
・外界パターンＣ：白黒のモザイク模様
・外界パターンＤ：白黒と他の２色で着色されたモザイク模様
・外界パターンＥ：フルカラーで着色されたモザイク模様
　ここで、「色彩度」は、外界の像（外界視野範囲）に使用される、互いに異なる色の数（以下、単に「外界色数」という。）を表す指標を意味する。即ち、色彩度が低いことは、外界色数が少ないことを意味する。一方、色彩度が高いことは、外界色数が多いことを意味する。また、「色彩度」は、色相と彩度とのうちの少なくとも一方を意味する用語であると解釈することも可能である。
５．　実験の内容
５．１　被験者が実行する１回のタスク
（１）大型モニタの画面上に外界が模擬されている状態で、その画面上に、任意のアルファベットが、ランダムな位置に、かつ、ランダムなタイミングで出現すると、その出現を認識した時点で、各被験者は、手元にあるキーボードのエンターキーを押す。そうすると、ＨＭＤ１０の画像表示エリア上に、情報アイテムが、順次変化する複数の表示態様のうち今回選択されたもので表示された。
（２）各被験者は、情報アイテムが表示されると、各被験者が視認できた表示内容を手元のキーボードを用いて入力した。これにより、認識の正確さを実測した。
（３）各被験者は、さらに、情報アイテムが表示されるごとに、情報アイテムの表示態
様に対する各被験者の主観評価として、その表示態様が快適であるか否か（例えば、見易いか、見方が自然であるか、眼球の動きに無理はないか）を判断した。
（４）各被験者は、１回のタスクを終えるごとに、タスクの快適さをＶＡＳ(Visual Analogue scale)法によって主観評価した。ＶＡＳ法は、人間が受けた刺激の強さ度合いを感覚的に数値化する手法の一例である。
５．２　実験のプロセス
（１）第１段階：フォントサイズおよび表示位置の最適化
　各被験者は、背景色３種類、フォントサイズ５種類および表示位置９種類を組み合わせてなる１３５のケースにつき、各ケースごとに、前記タスクを実行した。この第１段階においては、他の属性（デザイン要素）については、いずれかのバリエーションに固定した。被験者は、全部で１２名であった。
（２）第２段階：背景色および表示色の最適化
　各被験者は、外界パターン５種類、背景色３種類および表示色１４種類を組み合わせてなる２１０のケースにつき、各ケースごとに、前記タスクを実行した。この第２段階においては、フォントサイズおよび表示位置については、第１段階の実験結果において最適であると評価されたバリエーションに固定し、また、他の属性（デザイン要素）については、いずれかのバリエーションに固定した。被験者は、全部で１０名であった。
（３）第３段階：アイテム個数／配置および色分け数の最適化
　各被験者は、前記９つのサブエリアにそれぞれ表示される９つの情報アイテムすべての入力を１回のタスクとして、外界パターン５種類、アイテム個数／配置４種類（ＡＬ、ＳＧ、ＨＬおよびＶＬ）および色分け数３種類を組み合わせてなる６０のケースにつき、各ケースごとに、前記タスクを実行した。アイテム個数／配置のバリエーションの種類が、ＳＧ、ＨＬおよびＶＬである場合には、表示される情報アイテムを切り換えるために、各被験者によるキー操作を必要とした。被験者は、全部で１１名であった。
　例えば、アイテム個数／配置のバリエーションの種類がＨＬである場合には、まず、図４に示す情報アイテムが、最も上の列において横に並んだ３つのサブエリアＡ，ＢおよびＣにそれぞれ一斉に表示される。次に、被験者がキー操作を行うと、情報アイテムが、中央の列において横に並んだ３つのサブエリアＤ，ＥおよびＦにそれぞれ一斉に表示される。さらに、被験者がキー操作を行うと、情報アイテムが、最も下の列において横に並んだ３つのサブエリアＧ，ＨおよびＩにそれぞれ一斉に表示される。
　この第３段階においては、フォントサイズおよび表示位置については、第１段階の実験結果において最適であると評価されたバリエーションに固定し、また、外界パターン、背景色および表示色については、第２段階の実験結果において最適であると評価されたバリエーションに固定した。
６．　実験結果
６．１　第１段階の実験の結果
（１）フォントサイズの最適範囲
　図６Ａに、フォントサイズに対する被験者の快適度を示す。快適度は、実験されたすべてのケースのうち、各被験者が快適であると主観評価したケースの割合をパーセントで表示したものである。図６Ａに示すように、フォントサイズが３４ポイント以上であると、快適度が８０％以上であった。よって、考察するに、フォントサイズの最適範囲は、３４ポイント以上のポイントの範囲とすることが望ましい。
（２）表示位置の最適範囲
　図６Ｂに、フォントサイズが３４ポイントである場合につき、情報アイテムの表示位置（９つの位置）と、各位置に表示された情報アイテムに対する被験者の快適度との関係が、表示位置に幾何学的に関連付けて示されている。図示しないが、表示位置の如何を問わず、被験者の正答率は６０％以上であった。このことから、いずれの表示位置も最適であると結論付けても妥当であるかもしれない。
　しかし、図６Ｂに示す主観評価値である快適度に着目し、かつ、快適度を９つの表示位置の間において相対的に検討する。快適度を高い順に並べると、次のとおりであった。
１．サブエリアＨ（中央列のうち、最も下に位置するサブエリア（３，２））
２．サブエリアＥ（中央列のうち、中央に位置するサブエリア（２，２））
３．サブエリアＤ（鼻に最も近い列のうち、中央に位置するサブエリア（２，１））、サブエリアＧ（鼻に最も近い列のうち、最も下に位置するサブエリア（３，１））ならびにサブエリアＢ（中央列のうち、最も上に位置するサブエリア（１，２））
４．サブエリアＡ（鼻に最も近い列のうち、最も上に位置するサブエリア（１，１））、サブエリアＦ（左耳に最も近い列のうち、中央に位置するサブエリア（２，３））、サブエリアＩ（鼻に最も近い列のうち、最も下に位置するサブエリア（３，３））
５．サブエリアＣ（左耳に最も近い列のうち、最も上に位置するサブエリア（１，３））
　よって、考察するに、表示すべき情報アイテムの優先度が高いほど、該当する情報アイテムを、快適度が高いサブエリアに優先的に表示することが、情報アイテムの内容が正確に作業者に認識されるようにするために重要である。情報アイテムの優先度が高いとは、例えば、情報アイテムの内容が、その情報アイテムを参照すべき作業者にとって重要である、又は、情報アイテムが作業者によって参照される頻度が高いことを意味してよい。したがって、上述の、快適度に関するサブエリアの順序は、情報アイテムが表示される優先度に関するサブエリアの順序に対応する。
　図６Ｂに示す特性は、被験者が左眼で画像を観察した場合のものである。一方、被験者が右眼で画像を観察する場合には、図９Ａに示すように、９つのサブエリアが、被験者の身体の中心線（例えば、被験者の鼻を通過する垂直線）に関し、左眼用の９つのサブエリアに対して対称であるように割り当てられる。
　したがって、同じＨＭＤ１０を水平面内で回転させたり、水平方向に移動させたりして、観察者の両眼のうち画像を観察する眼を左眼と右眼との間で切り換える場合、同じ情報アイテムでありながら、その表示位置（９つのサブエリアのうち、情報アイテムが表示されるものの位置）の、ＨＭＤ１０に対する相対位置を変化させることが必要となる場合がある。例えば、同じＨＭＤ１０を水平面内で回転させた場合には、９つのサブエリアが、前記中心線に関して、上下方向に対称移動される。また、同じＨＭＤ１０を水平方向に移動させた場合には、９つのサブエリアが、前記中心線に関して、左右方向に対称移動される。
６．２　第２段階の実験の結果
（１）背景色の最適範囲
　図７Ａに、外界パターンの種類と背景色の種類の組合せに対する被験者の快適度を示す。図７Ａに示すように、いずれの種類の外界パターンについても、背景色がＢＢ（全黒）であるときに、最高の快適度が得られた。よって、考察するに、最適な背景色は、ＢＢである。最適な背景色は、外界パターンの種類に依存しない。
（２）アイテム色の最適範囲
　アイテム色は、明度と絶対輝度との組合せによって表現できる。背景色がＢＢ（全黒）である場合につき、被験者の快適度が分析される（実験結果は図示されない）。分析の結果、アイテム色の最適範囲は、外界パターンの種類に依存した。具体的には、外界パターンがＡ（全黒）であるときには、絶対輝度が０．０４以上、かつ、明度が３５以上がアイテム色の最適範囲であった。これに対し、外界パターンが他の状態であるときには、絶対輝度が０．１６以上、かつ、明度が７０以上がアイテム色の最適範囲であった。また、アイテム色としては、例えば、赤、緑および黄につき、被験者の主観評価値が高かった。よって、考察するに、この範囲内で、情報アイテムを表示するために使用すべきアイテム色を選択することが望ましい。
６．３　第３段階の実験の結果
（１）アイテム個数／配置の最適範囲
　図７Ｂに、外界パターンの種類とアイテム個数／配置の種類の組合せに対する被験者の正答率を示す。図７Ｂに示すように、外界パターンの種類の如何を問わず、アイテム個数／配置がＡＬという表示態様である場合には、正答率が最高であった。また、９つの情報アイテムを一斉にではなく、部分的に表示するＨＬまたはＶＬという表示態様につき、正答率が、画像が相対的に複雑で、色彩度が高い外界パターンＤおよびＥである場合において、他の種類の外界パターンである場合より、増加する傾向も見られた。よって、考察するに、基本的には、情報アイテムの表示を切り換えることなく情報アイテムを表示するＡＬという表示態様を採用することが、正答率を向上させるために望ましい。
（２）アイテム色分け数の最適範囲
　図７Ｃに、外界パターンの種類とアイテム色分け数の種類との組合せに対する被験者の快適度を示す。図７Ｃに示すように、快適度は、外界パターンの種類の如何を問わず、９つの情報アイテムの色をすべて異ならせる表示態様（９色で表示する場合）については、他の表示態様より低かった。　また、外界パターンがＡ，ＢまたはＣである場合（外界の色数が２以下である場合）には、快適度は、９つの情報アイテムの色を統一する表示態様につき、他の表示態様より高かった。また、外界パターンがＤまたはＥである場合（外界の色数が３以上である場合であり、外界の画像が相対的に複雑で、色彩度が高い場合）には、快適度は、９つの情報アイテムを３色で色分けする表示態様につき、他の表示態様より高かった。また、外界パターンの種類の如何を問わず、全般的には、快適度は、９つの情報アイテムを３色で色分けする表示態様につき、他の表示態様より高かった。よって、考察するに、表示画像を３色で色分けすることが望ましい。しかし、表示画像が使用する色の数を減らすことが必要である場合には、外界パターンがＡ，ＢまたはＣであるとき（色彩度が低いとき）には、表示画像を一色で表示することが望ましい。一方、外界パターンがＤまたはＥであるとき（色彩度が高いとき）には、表示画像を３色で表示することが望ましい。即ち、外界パターンに応じて、表示画像が使用する色数を変化させることが望ましい。
　また、図７Ｃに示すグラフから容易に推論できるように、画像表示のために同時に使用する色の合計数である色数が３個であるときが、快適度が最高値を示す。同時に使用する色数が３より小さい場合（例えば、１である場合）でも、３より大きい場合（例えば、９である場合）でも、快適度が、その最高値より低い値を示す。
　ＨＭＤ１０は、外部から入力された映像信号に基づき、前記画像表示エリアに、少なくとも一つの情報アイテム（例えば、ユーザである作業者の作業を補助ないしは支援するための情報）を、前記９つのサブエリアのうち、選択されたものに表示する。ＨＭＤ１０は、各情報アイテムを表示する際の前述の６つの属性（デザイン要素）を、前述の実験結果を踏まえて、次のように決定する。
（１）　フォントサイズ（アイテムサイズ）
　情報アイテムを表示するフォントサイズは、３４ポイント以上の所定のポイントである。
（２）　情報アイテムの表示位置
　前述の９つのサブエリアのうち、情報アイテムが表示される位置は、その情報アイテムの重要度（情報アイテムの内容がユーザにとって重要であるか否か、情報アイテムがユーザによって参照される頻度の高さなど）に応じて選択される。
　このようにして情報アイテムの表示位置を個別に決定するために、プログラムＲＯＭ２７に、サブエリア選択プログラムが格納されている。情報アイテムが表示されるべきサブエリア（表示サブエリア）の位置は、その情報アイテムの重要度に依存し、さらに、その情報アイテムを観察するユーザの眼が左眼であるか右眼であるか、すなわち、左眼観察モードであるか右眼観察モードであるかにも依存する。
（３）　情報アイテムの背景色（画像表示エリアの地色）
　情報アイテムの背景色は、ＢＢ（全黒）である。
（４）　フォントの色（アイテムの色）
　各情報アイテムを表示する色は、前述の１４色から選択された少なくとも一色である。
（５）　アイテム個数／配置
　同じ情報アイテムは、前記画像表示エリア内に１つのみ、前述のようにして選択された１つのサブエリアに表示される。ただし、異なる複数の情報アイテムが、前記画像表示エリア内に一斉に、かつ、互いに異なるサブエリアに表示されることがある。
（６）　情報アイテムの色分け数
　表示される少なくとも一つの情報アイテムの色分け数は、前記外界の色彩度が所定値以下である場合（外界パターンがＡ、ＢまたはＣである場合、すなわち、例えば、外界の色数が２以下である場合）には、１つと決定される。一方、前記外界の色彩度が前記所定値より高い場合（外界パターンがＤまたはＥである場合、すなわち、例えば、外界の色数が３以上である場合）には、３つと決定される。即ち、情報アイテムの色分け数が、外界の色彩度に依存するのである。また、前記外界の色彩度が前記所定値より高い場合に、同時に表示される情報アイテムの数が４以上であっても、それら情報アイテムの表示のために使用される色の合計数は、３に維持される。
　このようにして情報アイテムの色分け数を決定するために、プログラムＲＯＭ２７に、色分け数決定プログラムが格納されている。情報アイテムの色分け数は、その情報アイテムと一緒にユーザが観察する外界の色彩度に依存する。本実施形態においては、外界の色彩度が、カメラ２３の撮像結果を用いて自動的に検出されるが、例えば、ユーザが操作部３０を操作して、外界の色彩度を入力するようにしてもよい。
　図８には、前記サブエリア選択プログラムがフローチャートで概念的に表されている。このサブエリア選択プログラムは、必要に応じ、ＣＰＵ２６により、プログラムＲＯＭ２７から読み出されて実行される。
　ユーザにより、ＨＭＤ１０の電源が投入されると、このサブエリア選択プログラムの実行が開始される。このサブエリア選択プログラムが実行されると、まず、ステップＳ１において、ユーザが左眼でＨＭＤ１０上の表示画像を観察している左眼観察モードであるか否かが判定される。
　このステップＳ１の判定は、一例においては、ユーザが操作部３０を操作して、使用する眼の位置（観察モードの種類）を特定する情報を直接入力することによって行われる。また、別の例においては、ＨＭＤ１０が自動的に、このＨＭＤ１０の、絶対空間に対する向きを検出することにより、両眼のうち、ＨＭＤ１０によって覆われているものが左眼であるか右眼であるかを推定することによって行われる。ＨＭＤ１０の向きの自動的に検出する一例においては、ＨＭＤ１０に搭載された加速度センサ、重錘、振り子などを用いて、ＨＭＤ１０の、重力加速度（すなわち、鉛直方向）に対する向きが測定される。
　今回は、ユーザが左眼でＨＭＤ１０を観察する左眼観察モードであると仮定すると、ステップＳ１の判定がＹＥＳとなり、ステップＳ２において、図９Ａに示す左眼用マップが選択される。これに対し、今回は、ユーザが右眼でＨＭＤ１０を観察する右眼観察モードであると仮定すると、ステップＳ１の判定がＮＯとなり、ステップＳ３において、図９Ａに示す右眼用マップが選択される。
　左眼用マップは、ＨＭＤ１０による表示画像をユーザが左眼で観察する場合に、各サブエリアの番号ｕと、各サブエリアｕの、左眼観察用の画像表示エリアの２次元座標系上の位置ｖとの関係(ｖ＝ｇＬ（ｕ）；ｇＬ（ｕ）は、左眼観察モード用の関数）を規定する。同様に、右眼用マップは、ＨＭＤ１０による表示画像をユーザが右眼で観察する場合に、各サブエリアの番号ｕと、各サブエリアの、右眼観察用の画像表示エリアの２次元座標系上の位置ｖとの関係(ｖ＝ｇＲ（ｕ）；ｇＲ（ｕ）は、右眼観察モード用の関数）を規
定する。
　左眼用マップ上のサブエリアの２次元配列と、右眼用マップ上のサブエリアの２次元配列とは、図９Ａに幾何学的に互いに関連付けて示すように、それらマップを観察者の両眼にそれぞれ重ね合わせることを想定した場合に、鼻を通過する垂直面に関し、ミラーイメージの関係（左右対称の関係）にある。
　図９Ｂには、サブエリアのアルファベット表記（Ａ－Ｉ）と、位置ｕ（１－９）と、前述の２次元座標（ｉ，ｊ）との関係も示されている。２次元座標（ｉ，ｊ）は、各マップにおいて、サブエリアＡを原点（１，１）とする座標系ＣＳ１によって定義される。これに対し、前記画像表示エリア上の２次元座標位置ｖ（ｖ１，ｖ２）は、その画像表示エリアの左下の角部を原点とする座標系ＣＳ２によって定義される。
　２次元座標（ｉ，ｊ）は、左眼観察モードと右眼観察モードとの間で、左右対称の関係にあるのに対し、２次元座標位置ｖ（ｖ１，ｖ２）は、左眼観察モードと右眼観察モードとの間で、水平方向に平行移動した関係にある。ＨＭＤ１０が画像を表示する際には、座標系ＣＳ２が使用されるため、座標系ＣＳ１からＣＳ２への変換が必要であり、そのために、前述の２つの関数ｇＬとｇＲが選択的に使用される。
　いずれのマップが選択された場合にも、その後、ステップＳ４において、外部から入力された映像信号に基づき、新たな情報アイテムが入力されたか否かが判定される。新しい情報アイテムが入力されたならば、ステップＳ４の判定がＹＥＳとなり、ステップＳ５において、今回の情報アイテム（以下、固有の番号を表す「Ｘ」を付して表記する。）の重要度（例えば、情報アイテムＸの内容の重要性や、この情報アイテムＸの、ユーザによる参照頻度の高さ）Ｙが決定される。
　具体的には、情報アイテムＸと重要度Ｙとの関係が、関数ｆを用いて、Ｙ＝ｆ（Ｘ）として定義されるとともに、その関数ｆ（Ｘ）がフラッシュＲＯＭ２８に予め記憶されている。今回の情報アイテムＸに対応する重要度Ｙは、関数ｆ（Ｘ）を用いて導出される。重要度Ｙは、前述のサブエリアの数と同数、用意されており、具体的には、８から０まで、９つ用意されている。重要度Ｙは、数字が大きいほど、対応する情報アイテムＸの重要度が高いことを意味するように定義されている。
　続いて、ステップＳ６において、前記９つのサブエリア（Ａ－Ｉ）のうち、今回の情報アイテムＸが表示されるべきもの、すなわち、サブエリアＺが決定される。サブエリアＺが決定されると、今回が左眼観察モードである場合には、前記左眼用マップを用いて、サブエリアＺの、前記２次元座標系上の位置が決定され、一方、今回が右眼観察モードである場合には、前記右眼用マップを用いて、サブエリアＺの、前記２次元座標系上の位置が決定される。
　具体的には、重要度ＹとサブエリアＺとの関係が、関数Ｆを用いて、Ｚ＝Ｆ（Ｙ）として定義されるとともに、その関数Ｆ（Ｙ）がフラッシュＲＯＭ２８に予め記憶されている。図９Ｂには、関数Ｆ（Ｙ）の特性が表で表されている。今回の情報アイテムＸに対応するサブエリアＺは、今回の情報アイテムＸに対応する重要度Ｙを媒介変数として用いて導出される。サブエリアＺは、前述のサブエリアの数と同数、用意されており、具体的には、ＡからＩまで、９つ用意されている。
　例えば、今回の情報アイテムＸの重要度Ｙが、最高レベルすなわち「８」であるとすると、サブエリアＺは、「Ｈ」となり、これは、前述の９つのサブエリアのうち、中央列のうち、最も下に位置するものを表す。これに対し、今回の情報アイテムＹが、最低レベルすなわち「０」であるとすると、サブエリアＺは、「Ｃ」となり、これは、前述の９つのサブエリアのうち、左眼観察モード時には左耳、右眼観察モード時には右耳に最も近い央列のうち、最も上に位置するものを表す。
　その後、ステップＳ７において、今回の情報アイテムＸを、前記決定されたサブエリアＺに表示することが可能であるか否かが判定される。本実施形態においては、一つのサブエリアには、所定数の情報アイテム（例えば、１つの情報アイテム）のみが表示されるようになっている。そのため、今回のサブエリアＺと同じ位置に既に、所定数の別の情報アイテムが存在する場合には、今回の情報アイテムＸを今回のサブエリアＺに表示することができない。フラッシュＲＯＭ２８には、現に表示されている情報アイテムが、その情報アイテムが表示されているサブエリアに関連付けて記憶されている。この情報を利用し、このステップＳ７が実行される。
　ステップＳ７において、今回の情報アイテムＸを今回のサブエリアＺに表示することが可能であると判定されると、ステップＳ８において、左眼観察モード時には関数ｇＬ（ｕ）、右眼観察モード時には関数ｇＲ（ｕ）を用いて、今回のサブエリアＺの位置ｕが、ＨＭＤ１０の前記画像表示エリアの座標位置ｖに変換される。続いて、ステップＳ９において、その変換された座標位置ｖに基づき、今回の情報アイテムＸが今回のサブエリアＺに配置される。その後、ステップＳ１０に移行する。
　これに対し、ステップＳ７において、今回の情報アイテムＸを今回のサブエリアＺに表示することが不可能であると判定されると、ステップＳ１１において、今回の情報アイテムＸを表示することが可能な別のサブエリアであって、重要度Ｙの今回値（今回は、初期値）より低い重要度に対応づけられるものを検索するために、今回の情報アイテムＸの重要度Ｙの今回値が１だけ減算される。
　その後、ステップＳ１２において、そのようにして減算された重要度Ｙが「０」より低いか否か、すなわち、重要度Ｙを「０」まで減算しても、今回の情報アイテムＸを表示することが可能なサブエリアが見つからなかった（すべてのサブエリアにそれぞれ、所定数の情報アイテムが既に表示されている）か否かが判定される。今回は、重要度Ｙが「０」以上であると仮定すると、ステップＳ１２の判定がＹＥＳとなり、ステップＳ６に戻り、新たな重要度Ｙのもとに、今回の情報アイテムＸを表示することが可能なサブエリアが検索される。
　これに対し、今回は、更新された重要度Ｙが「０」より小さいと仮定すると、ステップＳ１２の判定がＹＥＳとなり、ステップＳ１３において、前述の９つのサブエリアのうち、予め定められた条件を満たす一つのサブエリア、すなわち、本実施形態においては、重要度Ｙが最も低いサブエリア、すなわち、重要度Ｙが「０」であるサブエリアが、選択される。さらに、その選択されたサブエリアの表示内容が空白にされる。すなわち、そのサブエリアに表示されていた情報アイテムがすべて削除されるのである。
　その後、ステップＳ１４において、ステップＳ８と同様にして、今回のサブエリアＺ（＝０）の位置ｕが、ＨＭＤ１０の前記画像表示エリアの座標位置ｖに変換される。続いて、ステップＳ１５において、選択されて空白にされたサブエリア（重要度Ｙが「０」であるサブエリア）に、今回の情報アイテムＸが配置される。その後、ステップＳ１０に移行する。
　いずれの場合にも、ステップＳ１０においては、前記画像表示エリアに配置されているすべての情報アイテムのそれぞれにつき、必要に応じ、内容が更新される。すなわち、フラッシュＲＯＭ２８の内容が、情報アイテムとサブエリアとの対応関係が最新の状態を反映するとともに、情報アイテムの内容が最新の内容を反映するように、更新されるのである。その後、ステップＳ４に戻る。
　なお付言するに、図８に示すサブエリア選択プログラムにおいては、ユーザがＨＭＤ１０の電源を投入し、その後、ユーザが、操作部３０を介して、ＨＭＤ１０の画像観察モードを指定すると、ユーザがＨＭＤ１０の電源を切断するまで、ユーザがＨＭＤ１０の画像観察モードを変化させないことを前提としている。
　これに対し、図１０には、ＨＭＤ１０の電源オン中に、ユーザが、操作部３０を介して、ＨＭＤ１０の画像観察モードを、必要に応じ、何度でも、変更することを可能にするモード応答プログラムがフローチャートで概念的に表されている。このモード応答プログラムは、前記サブエリア選択プログラムを置換するのではなく、追加的に実行される。
　このモード応答プログラムにおいては、まず、ステップＳ３１において、ユーザが操作部３０を介して、今回の画像観察モードを入力したか否かが判定される。その入力があった場合には、ステップＳ３２において、その入力された画像観察モードが左眼観察モードであるか否かが判定される。今回のモードが、左眼観察モードである場合には、ステップＳ３３において、左眼用マップ（関数ｇＬ（ｕ））が選択され、一方、右眼観察モードである場合には、ステップＳ３４において、右眼用マップ（関数ｇＲ（ｕ））が選択される。
　いずれの場合にも、その後、ステップＳ３５において、すべてのサブエリアを順次特定するための番号ｕが「１」にセットされる。続いて、ステップＳ３６において、前記選択された関数を用いて、今回のサブエリアの位置ｕが、ＨＭＤ１０の前記画像表示エリアの座標位置ｖに変換される。その後、ステップＳ３７において、その変換された座標位置ｖによって表される位置に、今回のサブエリアに表示されるべき少なくとも一つの情報アイテムが表示される。
　続いて、ステップＳ３８において、ｕの今回値が、すべてのサブエリアの合計数ｕｔｏｔ（今回は、「９」）以上であるか否かが判定される。ｕの今回値が合計数ｕｔｏｔ以上である場合には、ステップＳ３１に戻るが、ｕの今回値が合計数ｕｔｏｔより小さい場合には、ステップＳ３９において、ｕが１だけインクリメントされ、その後、ステップＳ３６に戻る。
　図１１には、前記色分け数決定プログラムがフローチャートで概念的に表されている。この色分け数決定プログラムは、必要に応じ、ＣＰＵ２６により、プログラムＲＯＭ２７から読み出されて実行される。
　ユーザにより、ＨＭＤ１０の電源が投入されると、この色分け数決定プログラムの実行が開始される。この色分け数決定プログラムが実行されると、まず、ステップＳ１０１において、ＨＭＤ１０が画像をモノクロではなくマルチカラー（複数色）で表示しているか否かを示すフラグｆｍｃであって、「０」でモノクロ表示モードを示し、「１」でマルチカラー表示モードを示すものが「１」にセットされる。これは、ＨＭＤ１０がマルチカラー表示モードをデフォールトモードにしていることを前提にしている。
　ステップＳ１０２において、外部から入力された映像信号に基づき、新たな情報アイテムが入力されたか否かが判定される。新しい情報アイテム（今回の情報アイテム）が入力されたならば、ステップＳ１０２の判定がＹＥＳとなり、ステップＳ１０３において、ユーザが現在観察している現実外界の色彩度（現実外界の像が用いる色の数）αが取得される。
　本実施形態においては、カメラ２３の撮像結果に基づき、ユーザの介入を必要とすることなく、外界色彩度αが取得される。前述の「発明の概要」の欄においては、「色彩度」なる用語が、色相と彩度とのうちの少なくとも一方を意味し得る用語であると説明したが、本実施形態においては、外界色彩度αは、彩度を意味する用語として使用する。すなわち、「色彩度」は、本実施形態における「彩度α」の上位概念である。
　彩度αは、無彩色（白、黒およびグレー）について０となり、純色について最大となる物理量である。彩度αは、飽和度(Saturation)であり、０％から１００％までの範囲で表現される。
　一例においては、ＲＧＢ色空間のＲＧＢ値（赤色光成分の輝度値Ｒ、緑色光成分の輝度値Ｇおよび青色光成分の輝度値Ｂを含む）からＨＳＶ色空間の彩度αが検出される。この場合、カメラ２３の撮像結果から、カメラ２３の撮像エリア内の各画素のＲ値、Ｇ値およびＢ値のうちの最大値と最小値とが取得され、それら取得された最大値と最小値との差をその最大値で割算した値として彩度αが検出される。
　ただし、彩度αは、画素ごとに異なる可能性があるため、一例においては、カメラ２３の撮像エリアについて１つの代表的な彩度αを取得するために、その撮像エリアが複数のブロックに分割され、各ブロックごとに、それを代表する１つの個別彩度（例えば、平均値や中央値）が検出され、それらブロックについての複数の個別彩度を代表する１つの値（例えば、最大値）が、撮像エリアを代表する１つの全体彩度として検出される。
　また、彩度αを検出するために、カメラ２３を用いることは不可欠ではなく、例えば、ＣＭＯＳセンサを用いたり、他の受光素子を用いることが可能である。
　続いて、ステップＳ１０４において、その取得された彩度αがしきい値以下であるか否かが判定される。本実施形態においては、前記しきい値は、２０％に設定されている。彩度αが２０％以下であることは、外界パターンがＡ，ＢまたはＣであること（例えば、外界が用いる色の数が２以下であること）を意味し、一方、彩度αが２０％より高いことは、外界パターンがＤまたはＥであること（例えば、外界が用いる色の数が３以下であること）を意味する。したがって、このステップＳ１０４は、外界パターンがＡ，ＢまたはＣであるか否かの判定を行っている。前述の実験結果に基づき、彩度αが前記しきい値以下である場合は、今回の情報アイテムを含むすべての情報アイテムを一色で表示することが望ましい。
　今回は、彩度αが前記しきい値以下であると仮定すると、ステップＳ１０４の判定がＹＥＳとなり、ステップＳ１０５において、フラグｆｍｃが「１」であるか否かが判定される。今回は、フラグｆｍｃが「１」であると仮定すると（ただし、今回の実行が電源投入後の初回であれば、フラグｆｍｃは「１」である。）、ステップＳ１０５の判定がＹＥＳとなり、ステップＳ１０６に移行する。
　このステップＳ１０６においては、すべての情報アイテムが一色で表示される。すべての情報アイテムは、既存の情報アイテム（以下、単に「既存アイテム」という。）が存在しない場合には、今回の情報アイテムのみを意味し、一方、既存アイテムが存在する場合には、既存アイテムと今回の情報アイテムとの組合せを意味する。すべての情報アイテムに共通の１つの表示色は、予め選択されており、例えば、ユーザの主観評価値が高い色であり、例えば、赤、緑および黄のうちのいずれかである。
　その後、ステップＳ１０７において、フラグｆｍｃが「０」にセットされ、それにより、ＨＭＤ１０の表示モードがマルチカラー表示モードからモノクロ表示モードに移行したことが記録される。続いて、ステップＳ１０８において、すべての情報アイテムの内容が更新される。すべての情報アイテムのデータは、フラッシュＲＯＭ２８に記憶されている。
　以上、フラグｆｍｃが「１」である場合を説明したが、「０」である場合には、ステップＳ１０５の判定がＮＯとなり、ステップＳ１０６およびＳ１０７がスキップされる。これにより、すべての情報アイテムが一色で表示されるモノクロ表示モードが継続される。この場合にも、その後、ステップＳ１０８に移行する。
　以上、彩度αが前記しきい値以下である場合を説明したが、そのしきい値より大きい場合、すなわち、外界パターンがＤまたはＥであるために、すべての情報アイテムを３色で表示することが望ましい場合には、ステップＳ１０４の判定がＮＯとなる。この場合には、続いて、ステップＳ１０９において、既存アイテムの数Ｎが取得される。既存アイテムのデータは、フラッシュＲＯＭ２８に記憶されているため、このステップＳ１０９は、フラッシュＲＯＭ２８の内容を参照することによって実行される。
　その後、ステップＳ１１０において、既存アイテム数Ｎが２以下であるか否かが判定される。今回は、２以下であると仮定すると、その判定がＹＥＳとなり、ステップＳ１１１において、既存アイテム数Ｎが０であるか否かが判定される。今回は、既存アイテム数Ｎが０である（既存アイテムが存在しない）と仮定すると、このステップＳ１１１の判定がＹＥＳとなり、ステップＳ１１２に移行する。
　このステップＳ１１２においては、今回の情報アイテムを３色で表示するために、今回の情報アイテムが表示されるべき１つのサブエリアが３分割される。一例においては、図１２Ａに示すように、該当する１つのサブエリア（例えば、サブエリアＨ）が、垂直方向に３分割される（各々が水平方向に延びる３つの分割エリアに分割される）。
　続いて、ステップＳ１１３において、それら３つの分割エリアに、互いに異なる３色がそれぞれ指定される。一例においては、図１２Ａに示すように、３つの分割エリアにそれぞれ、赤色、緑色および黄色が指定される。これにより、今回の情報アイテムにつき、それを３色で表示する分割表示（マルチカラー表示の一種）が行われる。
　その後、ステップＳ１１４において、フラグｆｍｃが「１」にセットされる。続いて、ステップＳ１０８に移行する。
　以上、既存アイテム数Ｎが０である場合を説明したが、０ではない場合には、ステップＳ１１１の判定がＮＯとなり、ステップＳ１１５において、既存アイテム数Ｎが１であるか否かが判定される。今回は、１である（１つの既存アイテムが存在する）と仮定すると、このステップＳ１１５の判定がＹＥＳとなり、ステップＳ１１６に移行する。
　このステップＳ１１６においては、フラグｆｍｃが「１」であるか否かが判定される。今回は、既存アイテムが１つのみ存在しており、この状態で、フラグｆｍｃが「１」であると仮定すると、その１つの既存アイテムは、前述のステップＳ１１３の実行により、分割表示されていることになる。この場合には、ステップＳ１１６の判定がＹＥＳとなり、ステップＳ１１９において、既存の表示色（今回は、前述の３色）のうちのいずれかと同じ色で、今回の情報アイテムが一色で表示される。これにより、すべての情報アイテムが用いる色の合計数が３を超えずに済む。その後、ステップＳ１１４に移行する。
　これに対し、フラグｆｍｃが「０」であると仮定すると、１つの既存アイテムがモノクロ表示されていることになる。この場合、ステップＳ１１６の判定がＮＯとなり、ステップＳ１１７において、１つの既存アイテムが表示されている１つのサブエリアが、ステップＳ１１２と同様にして、３分割される。
　続いて、ステップＳ１１８において、ステップＳ１１３と同様にして、その３分割によって発生した３つの分割エリアに別々の色が指定される。これにより、１つの既存アイテムにつき、それを３色で表示する分割表示（マルチカラー表示の一種）が行われる。その後、ステップＳ１１９に移行し、これにより、すべての情報アイテムが用いる色の合計数が３を超えずに済む。その後、ステップＳ１１４に移行する。
　以上、既存アイテム数Ｎが１である場合を説明したが、１ではない場合、すなわち、今回の文脈においては、２である場合には、ステップＳ１１５の判定がＮＯとなる。続いて、ステップＳ１２０において、フラグｆｍｃが「１」であるか否かが判定される。
　今回は、既存アイテムが２つ存在しており、この状態で、既存フラグｆｍｃが「１」であると仮定すると、それら２つの既存アイテムのうちの一方は、前述の分割表示が行われていることになる。一方、今回は、すべての情報アイテム（２つの既存アイテムと今回の情報アイテムとの組合せ）の数は、３つであるから、各情報アイテムをそれぞれ、互いに異なる色で、一色で表示しても、すべての情報アイテムが用いる色の合計数は、３となる。よって、いずれかの既存アイテムについての分割表示は不要である。
　既存フラグｆｍｃが「１」である場合には、ステップＳ１２０の判定がＹＥＳとなり、ステップＳ１２１において、既存アイテムについての分割表示が解除される。続いて、ステップＳ１２２において、２つの既存アイテムについて別々の色（例えば、赤色と緑色）が指定される。
　その後、ステップＳ１２３において、２つの既存アイテムについて指定された２色（既存の表示色）とは異なる一色（例えば、黄色）で、今回の情報アイテムが表示される。続いて、ステップＳ１１４に移行する。
　これに対し、今回は、フラグｆｍｃが「０」であると仮定すると、２つの既存アイテムが、同じ色で、一色で表示されていることになる。この場合、ステップＳ１２０の判定がＮＯとなり、ステップＳ１２１がスキップされた後、ステップＳ１２２およびＳ１２３が、前述の場合と同様に実行される。
　以上、既存アイテム数Ｎが０である場合、１である場合、および２である場合をそれぞれ説明したが、既存アイテム数Ｎが３である場合には、ステップＳ１１０の判定がＮＯとなる。続いて、ステップＳ１２４において、フラグｆｍｃが「１」であるか否かが判定される。
　今回は、既存アイテムが３つ存在する状態で、フラグｆｍｃが「１」であると仮定すると、それら３つの既存アイテムは、それぞれ一色で、かつ、合計３色で表示されている。この場合には、その後、ステップＳ１１９に移行し、既存の表示色（前述の３色）のうちのいずれか（例えば、赤色）と同じ色で、今回の情報アイテムが一色で表示される。これにより、４つの情報アイテム（３つの既存アイテムと、今回の情報アイテムとの組合せ）が用いる色の合計数が３を超えずに済む。続いて、ステップＳ１１４に移行する。
　これに対し、今回は、フラグｆｍｃが「０」であると仮定すると、３つの既存アイテムが、同じ色で、一色で表示されていることになる。この場合には、その後、ステップＳ１２５において、それら３つの既存アイテムをそれぞれ、互いに異なる色で、合計３色で表示するために、前記画像表示エリアが３分割される。一例においては、図１２Ｂに示すように、画像表示エリアが、水平方向に３分割される（各々が垂直方向に延びる３つの分割エリアに分割される）。
　続いて、ステップＳ１２６において、それら３つの分割エリアに、互いに異なる３色がそれぞれ指定される。一例においては、図１２Ｂに示すように、３つの分割エリアにそれぞれ、赤色、緑色および黄色が指定される。これにより、３つの情報アイテムにつき、それぞれを一色で、かつ、全部で３色で表示するマルチカラー表示が行われる。その後、ステップＳ１１９に移行する。
　既存アイテム数Ｎが４である場合には、ステップＳ１１０の判定がＮＯとなる。続いて、ステップＳ１２４において、フラグｆｍｃが「１」であるか否かが判定される。今回は、既存アイテムが４つ存在する状態で、フラグｆｍｃが「１」であると仮定すると、それら４つの既存アイテムは、それぞれ一色で、かつ、合計３色で表示されている。この場合には、その後、ステップＳ１１９に移行し、既存の表示色（前述の３色）のうちのいずれか（例えば、赤色）と同じ色で、今回の情報アイテムが表示される。これにより、５つの情報アイテム（４つの既存アイテムと、今回の情報アイテムとの組合せ）が用いる色の合計数が３を超えずに済む。続いて、ステップＳ１１４に移行する。
　これに対し、今回は、フラグｆｍｃが「０」であると仮定すると、４つの既存アイテムが、同じ色で、表示されていることになる。この場合には、その後、ステップＳ１２５において、それら４つの情報アイテムを３色で表示するために、前記画像表示エリアが３分割される。続いて、ステップＳ１２６において、それら３つの分割エリアに、互いに異なる３色がそれぞれ指定される。これにより、４つの情報アイテムにつき、それぞれを一色で、かつ、全部で３色で表示するマルチカラー表示が行われる。その後、ステップＳ１１９に移行する。
　既存アイテム数Ｎが５以上である場合には、既存アイテム数Ｎが４である場合に準じてこの色分け数決定プログラムが実行されるため、重複した説明を省略する。
　すなわち、本実施形態においては、各情報アイテム（前記「表示オブジェクト」の一例）が、単色で表示され、すべての情報アイテムの表示に使用される色の合計数である色数には、２以上である上限値（本実施形態においては、３）が予め設定されており、表示画像中に同時に存在する情報アイテムの数が前記上限値と同じ数を超えた場合でも、前記色数が前記上限値に維持されるのである。
　なお付言するに、図１１に示す色分け数決定プログラムは、新しい情報アイテムの入力をトリガとして、そのときの外界の彩度αに基づき、情報アイテムの表示態様を一色表示と３色表示とに切り換える。そのため、ある回の情報アイテムの入力タイミングと、次回の情報アイテムの入力タイミングとの間の期間においては、たとえ外界の彩度αが変化しても、その変化が反映されるように情報アイテムの表示態様が変化することはない。彩度αの変化をトリガとして色分け数が変化させられるようには設計されていないからである。
　これに対し、図１３には、最新の情報アイテムの入力後に、外界の彩度αが変化すると、それに応答して、情報アイテムの表示態様（今回は、色分け数）を変化させる外界応答プログラムがフローチャートで概念的に表されている。この外界応答プログラムは、前記色分け数決定プログラムを置換するのではなく、追加的に実行される。
　この外界応答プログラムにおいては、まず、ステップＳ１５１において、所定時間（例えば、１０秒）が経過するのが待たれる。ここに、所定時間の長さは、カメラ２３が外界を間欠的に撮像するとともにその撮像結果を用いて彩度αを取得する周期の長さを意味する。所定時間が経過したならば、ステップＳ１５２において、新しい情報アイテムの入力があったため、前記色分け数決定プログラムにおいて、外界の彩度αを用いた色分け数の決定が行われている最中であるか否かが判定される。今回は、その最中であると仮定すると、ステップＳ１５３ないしＳ１５７がスキップされて、ステップＳ１５１に戻る。
　これに対し、今回は、前記色分け数決定プログラムにおいて、外界の彩度αを用いた色分け数の決定が行われている最中ではないと仮定すると、ステップＳ１５３において、カメラ２３により、現在の外界が撮像される。続いて、ステップＳ１５４において、その撮像結果に基づき、彩度αが取得される。
　その後、ステップＳ１５５において、その取得された彩度αが前記しきい値ｔｈ以下であるか否かが判定される。その彩度αがしきい値ｔｈ以下である場合には、ステップＳ１５６において、すべての情報アイテムが一色で表示される。その後、ステップＳ１５１に戻る。これに対し、今回は、彩度αがしきい値ｔｈより大きいと仮定すると、ステップＳ１５７において、すべての情報アイテムが、前記色分け数プログラムで採用されているアルゴリズムと基本的に同じアルゴリズムにより、３色で表示される。この場合にも、ステップＳ１５１に戻る。
　図１４には、本実施形態に従う画像表示方法であってＨＭＤ１０を用いて画像を表示するものがフローチャートで経時的にかつ概念的に表されている。
　まず、ステップＳ２０１において、新たしい情報アイテムが入力される。次に、ステップＳ２０２において、前記９つのサブエリアのうち、その入力された情報アイテムが表示されるべきものが、前述の人間の知覚特性と、左眼観察モードであるか右眼観察モードであるかの区別とに基づき、選択される。このステップＳ２０２は、図８に示すサブエリア選択プログラムが、フラッシュＲＯＭ２８を参照しつつＣＰＵ２６によって実行されることによって実行される。
　続いて、ステップＳ２０３において、カメラ２３を用いることにより、前記情報アイテムと共に観察者が観察する外界の色彩度が取得される。その後、ステップＳ２０４において、その取得された色彩度に基づき、すべての情報アイテムを表示するために使用すべき色の数、すなわち、一色表示するのか、３色でマルチカラー表示するのかが決定される。それらステップＳ２０３およびＳ２０４は、図１１に示す色分け数決定プログラムが、フラッシュＲＯＭ２８を参照しつつＣＰＵ２６によって実行されることによって実行される。
　続いて、ステップＳ２０５において、前記選択されたサブエリアの位置、および、前記決定された色数が反映されるように、各レーザ３４，３６，３８から出射する成分レーザビーム、ひいては、結合光学系５６において合波されて生成される合成レーザビームが生成される。その生成された合成レーザビームは、走査部８８の水平走査装置９０および垂直走査装置９２によって２次元的に走査される。その走査された合成レーザビームが、最終的な画像光（前記合成レーザビームも、画像光である。）である。
　その後、ステップＳ２０６において、その生成された画像光がハーフミラー１１２において反射して瞳孔１２２を通過し、やがて網膜１２４上に投影され、それにより、すべての情報アイテムが前記画像表示エリア上に表示される。ユーザである観察者は、その表示されたすべての情報アイテムを、観察者の左眼または右眼の前方に位置する現実外界に重ねて観察することになる。
　なお付言するに、本実施形態においては、表示すべき各情報アイテムの重要度Ｙに応じて、各情報アイテムが表示されるサブエリアＺが可変に決定される。しかし、１つまたは複数の情報アイテムが、前記９つのサブエリアのうち、前記快適度が十分に高いとして予め選択された一つのサブエリアまたは互いに隣接した複数のサブエリアを、固定の１つの表示エリアとして、その表示エリアに、各情報アイテムが表示される態様で本発明を実施することが可能である。
　この態様においては、そのような表示エリアを、最大の快適度を有する１つのサブエリアであるサブエリアＨとして定義したり、サブエリアＨを有する１つのブロック（例えば、４つのサブエリアＤ，Ｅ，ＧおよびＨの集合体より成るブロック）として定義することが可能である。すなわち、表示すべき各情報アイテムの重要度に応じて、各情報アイテムの表示位置を可変に決定することは、本発明を実施するために不可欠ではない。
　以上の説明から明らかなように、本実施形態においては、説明の便宜上、信号処理回路２５のうち、図８に示すステップＳ１を実行する部分と、操作部３０とが互いに共同して、前記（５）項における「識別部」の一例を構成していると考えることが可能であり、また、信号処理回路２５のうち、図８に示すステップＳ２、Ｓ３、Ｓ８およびＳ１４を実行する部分が、同項における「サブエリア選択部」の一部の一例を構成していると考えることが可能である。
　以上、本開示の一実施形態を図面に基づいて詳細に説明したが、これは例示であり、当業者の知識に基づいて種々の変形、改良を施した他の形態で本開示を実施することが可能である。

Claims (8)

  1. 　１つまたは複数の表示オブジェクトを含む画像を表す画像光を観察者の眼に投影することにより、前記画像を表示する画像表示装置であって、
    　観察者の身体の中心線から観察者の左眼の側または右眼の側に偏った位置の前方に位置するように観察者の側から観察される画像表示エリアが分割された複数のサブエリアのうち、各表示オブジェクトが表示されると、その表示される各表示オブジェクトを観察者が視認することによって観察者が感じる視覚的な快適さの主観評価値が、同じ各表示オブジェクトが他のサブエリアに表示される場合より高いものを表示サブエリアとして選択するサブエリア選択部と、
    　各表示オブジェクトが、前記選択された表示サブエリアに表示されるように、前記画像光を生成する画像光生成部と
    　を含む画像表示装置。
  2. 　前記サブエリア選択部は、前記複数のサブエリアのうち、前記画像表示エリアの中央位置に対し、観察者の鼻に近いものを前記表示サブエリアとして選択する請求項１に記載の画像表示装置。
  3. 　前記複数のサブエリアは、前記画像表示エリアが縦横にそれぞれ３分割されることにより、３行３列のマトリクスを成し、それにより、前記複数のサブエリアの数は、９つであり、
    　各サブエリアの位置は、行番号を表す整数ｉ（ｉは１以上３以下）であって、上側から下側に向かって増加するものと、列番号を表す整数ｊ（ｊは１以上３以下）であって、観察者の鼻に近い側から、観察者の両耳のうち片眼に近いものに近い側に向かって増加するものとを用いて、（ｉ,ｊ）として表現されており、
    　前記サブエリア選択部は、複数のサブエリア（１，２）、（２，１）、（２，２）、（３，１）および（３，２）のうち、予め定められた１つを、前記表示サブエリアとして選択する請求項２に記載の画像表示装置。
  4. 　前記サブエリア選択部は、複数のサブエリア（２，２）および（３，２）のうち、予め定められた１つを、前記表示サブエリアとして選択する請求項３に記載の画像表示装置。
  5. 　前記サブエリア選択部は、サブエリア（３，２）を、前記表示サブエリアとして選択する請求項４に記載の画像表示装置。
  6. 　前記画像表示装置は、前記画像光を観察者の片眼に投影することにより、前記画像を表示するものであり、
    　前記画像表示エリアは、前記片眼の前方に配置され、
    　当該画像表示装置は、さらに、前記片眼が観察者の左眼であるか右眼であるかを識別する識別部を含み、
    　前記サブエリア選択部は、前記表示サブエリアを、前記画像表示エリアに対する前記表示サブエリアの相対的な位置が、前記識別部によって前記片眼が左眼であると識別された場合と右眼であると識別された場合との間で、観察者の身体の中心線に関して互いに対称であるように変化するように、選択する請求項１ないし５のいずれかに記載の画像表示装置。
  7. 　１つまたは複数の表示オブジェクトを含む画像を表す画像光を観察者の眼に投影することにより、前記画像を表示する画像表示方法であって、
    　観察者の身体の中心線から観察者の左眼の側または右眼の側に偏った位置の前方に位置するように観察者の側から観察される画像表示エリアが分割された複数のサブエリアのうち、各表示オブジェクトが表示されると、その表示される各表示オブジェクトを観察者が視認することによって観察者が感じる視覚的な快適さの主観評価値が、同じ各表示オブジェクトが他のサブエリアに表示される場合より高いものを表示サブエリアとして選択するサブエリア選択工程と、
    　各表示オブジェクトが、前記選択された表示サブエリアに表示されるように、前記画像光を生成する画像光生成工程と
    　を含む画像表示方法。
  8. 　１つまたは複数の表示オブジェクトを含む画像を表す画像光を観察者の眼に投影することにより、前記画像を表示する画像表示装置のコンピュータによって実行されるプログラムであって、
    　観察者の身体の中心線から観察者の左眼の側または右眼の側に偏った位置の前方に位置するように観察者の側から観察される画像表示エリアが分割された複数のサブエリアのうち、各表示オブジェクトが表示されると、その表示される各表示オブジェクトを観察者が視認することによって観察者が感じる視覚的な快適さの主観評価値が、同じ各表示オブジェクトが他のサブエリアに表示される場合より高いものを表示サブエリアとして選択するサブエリア選択工程と、
    　各表示オブジェクトが、前記選択された表示サブエリアに表示されるように、前記画像光を生成する画像光生成工程と、
    を備える、前記コンピュータによって実行されるプログラム。
PCT/JP2011/077913 2010-12-03 2011-12-02 画像表示装置および画像表示方法 WO2012074090A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-269892 2010-12-03
JP2010269892A JP5418480B2 (ja) 2010-12-03 2010-12-03 画像表示装置および画像表示方法

Publications (1)

Publication Number Publication Date
WO2012074090A1 true WO2012074090A1 (ja) 2012-06-07

Family

ID=46172012

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/077913 WO2012074090A1 (ja) 2010-12-03 2011-12-02 画像表示装置および画像表示方法

Country Status (2)

Country Link
JP (1) JP5418480B2 (ja)
WO (1) WO2012074090A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6020009B2 (ja) * 2012-09-28 2016-11-02 ブラザー工業株式会社 ヘッドマウントディスプレイ、それを作動させる方法およびプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05108036A (ja) * 1991-10-18 1993-04-30 Sony Corp 表示装置
JP2007142542A (ja) * 2005-11-15 2007-06-07 Konica Minolta Photo Imaging Inc 映像表示装置
JP2010237522A (ja) * 2009-03-31 2010-10-21 Brother Ind Ltd 画像提示システム及びこの画像提示システムに用いられるヘッドマウントディスプレイ

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05108036A (ja) * 1991-10-18 1993-04-30 Sony Corp 表示装置
JP2007142542A (ja) * 2005-11-15 2007-06-07 Konica Minolta Photo Imaging Inc 映像表示装置
JP2010237522A (ja) * 2009-03-31 2010-10-21 Brother Ind Ltd 画像提示システム及びこの画像提示システムに用いられるヘッドマウントディスプレイ

Also Published As

Publication number Publication date
JP2012118421A (ja) 2012-06-21
JP5418480B2 (ja) 2014-02-19

Similar Documents

Publication Publication Date Title
WO2012074091A1 (ja) シースルー型画像表示装置およびシースルー型画像表示方法
US8657444B2 (en) Visual function testing device
JP5136442B2 (ja) ヘッドマウントディスプレイ
JP6923959B2 (ja) 網膜走査型表示部を用いた画像表示装置およびその方法
US8061845B2 (en) Image display system and image display method
US20180090052A1 (en) Non-Uniform Resolution, Large Field-of-View Headworn Display
JP5881732B2 (ja) 画像処理装置、立体画像表示装置、画像処理方法および画像処理プログラム
TW201730627A (zh) 用於檢測顯示器所產生的光場缺陷之光學計量系統
US20170264891A1 (en) Display apparatus, display apparatus driving method, and electronic instrument
CN109409251A (zh) 虚拟和增强现实系统和方法
JP2015526187A (ja) 視覚補助プロジェクタ
CN108702500A (zh) 显示装置、驱动显示装置的方法以及电子设备
EP3460785A1 (en) Multiple layer projector for a head-mounted display
US10679589B2 (en) Image processing system, image processing apparatus, and program for generating anamorphic image data
JP2013161035A (ja) 映像表示装置
JP5909849B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP5418480B2 (ja) 画像表示装置および画像表示方法
US10578871B2 (en) Retinal scan display device for correcting distortion of and inverting image
JPH06215092A (ja) 表示装置
JP7133163B2 (ja) 網膜走査型画像投影装置、網膜走査型画像投影方法、網膜走査型画像投影システム
EP2549760A2 (en) Method for improving three-dimensional display quality
WO2023136072A1 (ja) キャリブレーション装置、表示装置、キャリブレーション方法、および画像表示方法
US20240323333A1 (en) Display device and a method of driving the same
KR101082915B1 (ko) 레이저를 이용한 입체 영상 디스플레이 방법 및 이를 이용한 디스플레이 장치
JP2021110784A (ja) 画像表示装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11844491

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11844491

Country of ref document: EP

Kind code of ref document: A1