WO2010098275A1 - ヘッドマウントディスプレイ - Google Patents

ヘッドマウントディスプレイ Download PDF

Info

Publication number
WO2010098275A1
WO2010098275A1 PCT/JP2010/052608 JP2010052608W WO2010098275A1 WO 2010098275 A1 WO2010098275 A1 WO 2010098275A1 JP 2010052608 W JP2010052608 W JP 2010052608W WO 2010098275 A1 WO2010098275 A1 WO 2010098275A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
real
imaging
user
displayed
Prior art date
Application number
PCT/JP2010/052608
Other languages
English (en)
French (fr)
Inventor
康輔 森
Original Assignee
ブラザー工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ブラザー工業株式会社 filed Critical ブラザー工業株式会社
Publication of WO2010098275A1 publication Critical patent/WO2010098275A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Definitions

  • the present invention relates to a head mounted display that displays a real image showing a real product or a related image related to the real product.
  • HMD head mounted display
  • Patent Document 1 a head mounted display
  • Patent Document 1 a head mounted display (hereinafter, referred to as HMD) that displays an actual image showing an actual object or a related image related to the actual object.
  • HMD head mounted display
  • the HMD described in Patent Document 1 when a user wearing the HMD directs his / her line of sight toward a specific real object, an actual image showing the real object is displayed.
  • the HMD determines that the user is interested in the actual object when the user visually recognizes the actual image for a certain period of time.
  • the HMD also displays a related image related to the actual object. In this way, the HMD reflects the user's interest in the display image.
  • the HMD described in Patent Document 1 has a problem in that related images are displayed even when the user does not desire, and the user feels troublesome.
  • the HMD described in Patent Document 1 has a problem in that related images are displayed even when the user does not desire, and the user feels troublesome.
  • a head-mounted display is a head-mounted display that is mounted on a user's head and includes a display unit that displays an image in the user's eyes, and the head-mounted display of the user wearing the head-mounted display
  • the real image in the field of view is imaged as a real image, and an imaging unit that allows the user to set an imaging condition when imaging the real image, and a related image that is an image related to the real image captured by the imaging unit.
  • Related image storage means for storing corresponding to the real object, selection means for selecting one of the real image and the related image based on the imaging condition, and the real image is selected by the selection means.
  • the actual image is displayed on the display means, and when the related image is selected, it is stored in the related image storage means.
  • a display control means for displaying the associated images associated with the real captured by the imaging unit on the display unit.
  • the user can set the imaging conditions. An actual image or a related image is selected based on the set imaging condition. The selected image is displayed on the head mounted display. Therefore, the user can easily switch between the real image and the related image based on the user's intention.
  • the head mounted display includes an actual object specifying unit that specifies an actual object included in an actual image captured by the imaging unit, and the display control unit is configured to store the related image stored in the related image storage unit.
  • the related image associated with the real object specified by the real object specifying means may be displayed.
  • the HMD can specify which real image is an image showing an actual object included in the captured image captured by the imaging unit.
  • the display control means can display a related image corresponding to an actual object included in the photographed image among the related images stored in the related image storage means.
  • the related image storage means of the head mounted display stores an internal image corresponding to a position where the user sees the actual object as the related image, corresponding to each position, and the actual specifying means specifies The position where the real object is imaged is also specified, and the display control means, when displaying the related image, in the position specified by the real object specifying means among the internal images stored in the related image storage means.
  • the corresponding internal image may be displayed on the display means. The user can visually recognize the actual internal image.
  • the internal image corresponds to the position of the user viewing the real object. Therefore, the user can grasp the inside of the real thing from multiple directions.
  • the imaging unit of the head mounted display can set an imaging magnification as the imaging condition, and the selection unit selects the real image when the imaging magnification is equal to or less than a predetermined threshold, and the imaging magnification is The related image may be selected when it is larger than the predetermined threshold.
  • the user determines an actual image or a related image as an image to be displayed on the HMD by setting the imaging magnification. The user can easily switch the image to be displayed on the HMD. Generally, the user intuitively sets a larger imaging magnification for an actual object that is interested, that is, an actual object for which a related image is to be displayed.
  • the selection means selects the actual image when the imaging magnification is smaller than a predetermined value.
  • the selection unit selects a related image when the imaging magnification is equal to or greater than a predetermined value. As a result, the user can easily determine an image to be displayed on the HMD.
  • identification information for identifying itself is attached to a real object imaged by the imaging means, and the real identification means is based on the identification information included in the real image,
  • the real thing imaged by the imaging means may be specified.
  • the HMD identifies the real object based on the identification information.
  • the HMD can reliably identify the actual object imaged by the imaging means.
  • FIG. 3 is a conceptual diagram of a table 301 stored in a storage device 300.
  • FIG. It is the flowchart which showed the process which the control part 110 performs. It is a figure which shows the real image 404 displayed on HMD1. It is a figure which shows the real image 404 displayed on HMD1. It is a figure which shows the internal image 403a1 displayed on HMD1. It is a figure which shows the internal image 403a2 displayed on HMD1. It is a figure for demonstrating the method of determining in which position the user 50 is with respect to the motor vehicle 401.
  • the HMD 1 and the storage device 300 are connected via a network 200.
  • the HMD 1 is worn by the user 50.
  • the user 50 visually recognizes automobiles 401a, 401b, and 401c (hereinafter collectively referred to as “automobile 401”).
  • the automobiles 401a, 401b, and 401c have different vehicle types.
  • a barcode 402 (identification information) is attached to the front and side surfaces of the automobile 401. Specifically, a barcode 402a1 is attached to the front surface of the automobile 401a. A barcode 402a2 is attached to the side surface of the automobile 401a. A barcode 402b1 is attached to the front surface of the automobile 401b. A barcode 402b2 is attached to the side surface of the automobile 401b.
  • a barcode 402c1 is attached to the front surface of the automobile 401c.
  • a barcode 402c2 is attached to the side surface of the automobile 401c. Unique barcodes are also attached to the front and side surfaces of other automobiles not shown.
  • the barcodes 402a1 to 402c2 are information for specifying the automobiles 401a to 401c.
  • the barcodes 402a1 to 402c2 are also information for specifying an imaging position when an image is captured by the CCD sensor 2 described later. That is, the barcodes 402a1 to 402c2 are also information for specifying whether the user 50 is at a position for imaging the front surface of the automobile 401 or a position for imaging the side surface.
  • the HMD 1 includes an optical scanning unit 10.
  • the optical scanning unit 10 includes an image light generation unit 20, a collimating optical system 61, a horizontal scanning unit 70, a vertical scanning unit 80, and relay optical systems 75 and 90.
  • the optical scanning unit 10 converts various kinds of information stored inside or outside into image light.
  • the light scanning unit 10 guides and scans the image light generated based on the image signal to the eye E of the user 50.
  • the user 50 turns on the power of the HMD 1 with the HMD 1 mounted on the head of the user 50.
  • the optical scanning unit 10 starts operating.
  • the image light is scanned in the two-dimensional direction on the retina of the user 50 by the operation of the optical scanning unit 10.
  • the HMD 1 can cause the user 50 to visually recognize an image corresponding to the information.
  • the HMD 1 is configured so that the user 50 cannot visually recognize the outside world.
  • the image light generation unit 20 generates signals and the like that are elements for combining images.
  • the image light generation unit 20 reads the image signal supplied from the control unit 110 for each dot clock.
  • the image light generation unit 20 generates a laser beam (image light) whose intensity is modulated according to the read video signal and emits the laser beam to the optical fiber 100.
  • the image light generation unit 20 includes a signal processing circuit 21, a light source unit 30, a light combining unit 40, and a coupling optical system 47.
  • the signal processing circuit 21 receives an image signal supplied from an external device such as a personal computer (not shown) via the interface 104 and the control unit 110. Based on the received image signal, the signal processing circuit 21 generates blue (B), green (G), and red (R) image signals for each dot clock.
  • the signal processing circuit 21 outputs the generated image signals to the light source unit 30 via the signal lines 22a to 22c.
  • the signal processing circuit 21 outputs a horizontal drive signal used in the horizontal scanning unit 70 to the horizontal scanning unit 70 via the signal line 23.
  • the signal processing circuit 21 outputs a vertical drive signal used in the vertical scanning unit 80 to the vertical scanning unit 80 via the signal line 24.
  • the light source unit 30 receives the three image signals (B, G, R) output from the signal processing circuit 21 via the signal lines 22a to 22c.
  • the light source unit 30 is an image light output unit that outputs blue, green, and red image light according to the received image signal.
  • the light source unit 30 includes a B laser 34, a B laser driver 31, a G laser 35, a G laser driver 32, an R laser 36, and an R laser driver 33.
  • the B laser 34 generates blue image light.
  • the B laser driver 31 drives the B laser 34.
  • the G laser 35 generates green image light.
  • the G laser driver 32 drives the G laser 35.
  • the R laser 36 generates red image light.
  • the R laser driver 33 drives the R laser 36.
  • the lasers 34 to 36 for example, a semiconductor laser or a solid-state laser with a harmonic generation mechanism can be used.
  • a semiconductor laser intensity modulation of image light can be performed by directly modulating the drive current.
  • an external modulator is provided for each of the lasers 34-36. The external modulator performs intensity modulation of the image light.
  • the light combining unit 40 combines the image light output from the lasers 34 to 36 into one image light to generate arbitrary image light.
  • the light combining unit 40 includes collimating optical systems 41 to 43 and dichroic mirrors 44 to 46.
  • the collimating optical systems 41 to 43 collimate the image light emitted from the lasers 34 to 36 of the light source unit 30 into parallel light.
  • the dichroic mirrors 44 to 46 synthesize collimated image light. In the dichroic mirrors 44 to 46, each image light is selectively reflected and transmitted with respect to the wavelength.
  • the coupling optical system 47 guides the combined image light to the optical fiber 100.
  • the blue image light emitted from the B laser 34 is collimated by the collimating optical system 41.
  • the collimated blue image light is incident on the dichroic mirror 44.
  • the green image light emitted from the G laser 35 enters the dichroic mirror 45 through the collimating optical system 42.
  • the red image light emitted from the R laser 36 enters the dichroic mirror 46 through the collimating optical system 43.
  • the image light of the three primary colors incident on the dichroic mirrors 44 to 46 is reflected or transmitted in a wavelength selective manner and reaches the coupling optical system 47.
  • the image light is collected by the coupling optical system 47 and output to the optical fiber 100.
  • the collimating optical system 61, the horizontal scanning unit 70, the vertical scanning unit 80, and the relay optical systems 75 and 90 are provided between the image light generation unit 20 and the eye E of the user 50.
  • the collimating optical system 61 converts the image light emitted from the optical fiber 100 into parallel light.
  • the horizontal scanning unit 70 and the vertical scanning unit 80 make the image light emitted from the optical fiber 100 projectable as an image.
  • the horizontal scanning unit 70 and the vertical scanning unit 80 scan the image light in the horizontal direction and the vertical direction to obtain scanned image light.
  • the horizontal scanning unit 70 reciprocally scans the image light that has been collimated by the collimating optical system 61 in the horizontal direction (first direction).
  • the horizontal scanning unit 70 functions as a first light scanning unit.
  • the vertical scanning unit 80 reciprocates and scans the image light scanned in the horizontal direction in the horizontal scanning unit 70 in the vertical direction (second direction substantially orthogonal to the first direction).
  • the vertical scanning unit 80 functions as a second light scanning unit.
  • the relay optical system 75 is provided between the horizontal scanning unit 70 and the vertical scanning unit 80.
  • the relay optical system 90 emits image light scanned (two-dimensionally scanned) in the horizontal direction and the vertical direction to the pupil Ea.
  • the horizontal scanning unit 70 includes a resonant deflection element 71, a horizontal scanning control circuit 72, and a horizontal scanning angle detection circuit 73.
  • the resonant deflection element 71 has a reflection surface for scanning image light in the horizontal direction.
  • the horizontal scanning control circuit 72 resonates the resonance type deflection element 71.
  • the horizontal scanning control circuit 72 is a driving signal generation circuit that generates a driving signal for swinging the reflection surface of the resonance type deflection element 71.
  • the horizontal scanning angle detection circuit 73 detects a swing state such as a swing range and a swing frequency of the reflection surface of the resonant deflection element 71 based on the displacement signal output from the resonant deflection element 71.
  • the horizontal scanning angle detection circuit 73 outputs a signal indicating the detected oscillation state of the resonance type deflection element 71 to the control unit 110.
  • the vertical scanning unit 80 includes a deflection element 81, a vertical scanning control circuit 82, and a vertical scanning angle detection circuit 83.
  • the deflection element 81 scans the image light in the vertical direction.
  • the vertical scanning control circuit 82 drives the deflection element 81.
  • the vertical scanning angle detection circuit 83 detects a rocking state such as a rocking range and a rocking frequency of the reflecting surface by the vertical scanning control circuit 82.
  • the vertical scanning angle detection circuit 83 outputs a signal indicating the detected swing state of the deflection element 81 to the control unit 110.
  • the horizontal scanning control circuit 72 is driven based on a horizontal drive signal received from the signal processing circuit 21 via the signal line 23.
  • the vertical scanning control circuit 82 is driven based on a vertical drive signal received from the signal processing circuit 21 via the signal line 24.
  • the relay optical system 75 relays image light between the horizontal scanning unit 70 and the vertical scanning unit 80.
  • the relay optical system 75 causes the image light scanned in the horizontal direction by the resonance type deflection element 71 to enter the reflection surface of the deflection element 81.
  • the image light incident on the deflection element 81 is scanned in the vertical direction. Scanned image light scanned two-dimensionally is emitted from the vertical scanning unit 80 to the relay optical system 90.
  • the relay optical system 90 has lens systems 91 and 94.
  • the lens systems 91 and 94 have a positive refractive power.
  • the scanning image light for display emitted from the vertical scanning unit 80 is converted to be substantially parallel to the center line of the image light by the lens system 91.
  • the scanned image light is converted by the lens system 94 so that the center line of the image light converges on the pupil Ea of the user 50.
  • the image light emitted from the optical fiber 100 is scanned in the horizontal direction by the horizontal scanning unit 70. Thereafter, the image light is scanned in the vertical direction by the vertical scanning unit 80.
  • the arrangement of the horizontal scanning unit 70 and the vertical scanning unit 80 may be interchanged. The image light may be scanned in the horizontal direction by the horizontal scanning unit 70 after being scanned in the vertical direction by the vertical scanning unit 80.
  • the HMD 1 includes a control unit 110.
  • the controller 110 controls the overall operation of the HMD 1.
  • the control unit 110 supplies an image signal to the optical scanning unit 10 and scans the image light two-dimensionally. As a result, the HMD 1 displays an image and allows the user to visually recognize an image corresponding to the image signal.
  • the control unit 110 controls the operation of the signal processing circuit 21.
  • the controller 110 adjusts the horizontal drive signal and the vertical drive signal.
  • the horizontal scanning unit 70 and the vertical scanning unit 80 change the scanning angle of the image light to form an image to be displayed.
  • the control unit 110 detects a scanning angle based on detection signals from the horizontal scanning angle detection circuit 73 and the vertical scanning angle detection circuit 83. The scanning angle is fed back to the horizontal drive signal via the signal processing circuit 21. The scanning angle is fed back to the vertical drive signal via the signal processing circuit 21.
  • the control unit 110 includes a CPU 101, a flash memory 102, and a RAM 103.
  • the flash memory 102 is a nonvolatile memory.
  • the CPU 101, the flash memory 102, and the RAM 103 are each connected to a data communication bus.
  • the CPU 101, the flash memory 102, and the RAM 103 perform transmission / reception of various information via a data communication bus.
  • the HMD 1 includes a power switch SW of the HMD 1, a CCD sensor 2, a brightness sensor 8, an LED 3, an operation switch 7, a communication control circuit 9, an imaging magnification setting unit 11, and an interface 104.
  • the control unit 110 is connected to the power switch SW of the HMD 1, the CCD sensor 2, the luminance sensor 8, the LED 3, the operation switch 7, the communication control circuit 9, the imaging magnification setting unit 11, and the interface 104.
  • the CPU 101 executes various information processing programs stored in the flash memory 102. As a result, the CPU 101 operates various circuits (not shown) constituting the HMD 1.
  • the CPU 101 is an arithmetic processing device that executes various functions included in the HMD 1.
  • the flash memory 102 stores various information processing programs executed by the CPU 101.
  • Examples of the information processing program include an information processing program for operating the image light generation unit 20, the horizontal scanning unit 70, the vertical scanning unit 80, and the like. By this program, image display control is executed in the HMD 1.
  • the CCD sensor 2 is an image pickup unit that picks up an image of the automobile 401 in the visual field direction of the user 50.
  • the luminance sensor 8 detects the brightness of the outside world.
  • the LED 3 illuminates the imaging range of the CCD sensor 2.
  • the LED 3 illuminates the imaging range of the CCD sensor 2 when the brightness of the outside world detected by the brightness sensor 8 falls below a predetermined brightness.
  • the operation switch 7 can be operated by the user 50.
  • the communication control circuit 9 controls communication with other devices.
  • the imaging magnification setting unit 11 sets the imaging magnification by the CCD sensor 2.
  • the interface 104 can be connected to an external device such as a personal computer.
  • the user 50 can set the imaging magnification via the imaging magnification setting unit 11.
  • the imaging magnification set via the imaging magnification setting unit 11 is set within a predetermined zoom range when performing digital zoom. As an example, it is 1 to 5 times. When an electric zoom lens (not shown) is provided in the CCD sensor 2 and optical zoom is performed, the magnification of the electric zoom lens may be set. For example, it is 1 to 3 times.
  • the imaging magnification set via the imaging magnification setting unit 11 is stored in the flash memory 102.
  • the HMD 1 includes a closing member (not shown). The blocking member closes around the eyes of the user 50 so that the user 50 cannot visually recognize the outside world.
  • the storage device 300 will be described with reference to FIGS.
  • the storage device 300 corresponds to the “related image storage unit” of the present invention.
  • a table 301 is stored in the storage device 300.
  • the table 301 includes related images.
  • the related image is an image related to each automobile 401 that may be captured by the CCD sensor 2.
  • the table 301 includes an automobile classification field 302, an imaging position field 303, a barcode storage field 304, and a related image storage field 305.
  • the automobile classification column 302 information indicating each automobile 401a, 401b, 401c is stored.
  • the imaging position column 303 information indicating from which direction the automobile 401 is imaged is stored.
  • the barcode storage column 304 numbers indicating the barcodes 402a1, 402a2, 402b1, 402b2, 402c1, and 402c2 previously attached to the respective automobiles 401 are stored.
  • Japanese JIS standard, European EAN standard, or American UPC standard is applied, a 13-digit or 8-digit number is stored.
  • the bar code storage field 304 only needs to store a numerical value corresponding to the bar code to be used.
  • An image of the barcode itself may be stored. Both bar codes and numerical values may be stored.
  • internal images 403a1, 403a2, 403b1, 403b2, 403c1, 403c2,... are stored as related images.
  • Internal images 403a1 to 403c2 show the insides of the automobiles 401a, 401b, and 401c corresponding to the barcodes 402a1 to 402c2. Specifically, an internal image 403a1 of the automobile 401a when the automobile 401a is viewed from the front is associated with the barcode 402a1. An internal image 403a2 of the automobile 401a when the automobile 401a is viewed from the side is associated with the barcode 402a2.
  • An internal image 403b1 of the automobile 401b when the automobile 401b is viewed from the front is associated with the barcode 402b1.
  • An internal image 403b2 of the automobile 401b when the automobile 401b is viewed from the side is associated with the barcode 402b2.
  • An internal image 403c1 of the automobile 401c when the automobile 401c is viewed from the front is associated with the barcode 402c1.
  • An internal image 403c2 of the automobile 401c when the automobile 401c is viewed from the side is associated with the barcode 402c2.
  • the processing executed by the control unit 110 will be described with reference to the flowchart of FIG. This process is started by the control unit 110 when the start button included in the operation switch 7 is operated by the user 50.
  • the control unit 110 letting the user 50 visually recognize an image corresponding to information by scanning the image light in a two-dimensional direction on the retina of the user 50 is referred to as “display”.
  • the vehicle 401 within the field of view of the user 50 is imaged by the CCD sensor 2 under the control of the control unit 110 (S11).
  • a real image 404 (see FIGS. 5 and 6) is acquired.
  • the barcode 402 is extracted from the actual image 404 (S12).
  • a known image recognition method is used as the extraction method.
  • From the actual image 404 an image of a portion indicating the characteristic of the barcode is cut out. Processing such as noise removal is performed.
  • the image of the barcode 402 is converted into a numerical value (S12). It is specified which numerical value of the converted result matches the barcode 402a1, 402a2, 402b1, 402b2, 402c1, 402c2,...
  • S13 the barcode storage column 304 of the table 301 stored in the storage device 300.
  • the imaging magnification set by the user 50 via the imaging magnification setting unit 11 is greater than a predetermined threshold magnification (for example, 2 times)? It is determined whether or not (S14).
  • a predetermined threshold magnification for example, 2 times
  • S14 the imaging magnification is equal to or less than the threshold magnification (S14: NO)
  • the real image 404 captured in S11 is displayed (S17).
  • the actual image 404 is displayed with a size corresponding to the imaging magnification (S17). Since the user 50 cannot visually recognize the outside world, the user 50 cannot directly visually recognize the automobile 401. However, the automobile 401 can be recognized by visually recognizing the real image 404.
  • the internal image 403 stored in the storage device 300 is displayed in association with the barcode 402 specified in S13 (S15).
  • An internal image is displayed with a size corresponding to the imaging magnification (S15).
  • S13 the barcode 402a1
  • FIG. 7 an internal image 403a1 of the automobile 401a when the automobile 401a is viewed from the front is displayed.
  • the barcode 402a2 is specified in S13, as shown in FIG. 8
  • an internal image 403a2 of the automobile 401a when the automobile 401a is viewed from the horizontal direction is displayed.
  • the user 50 can recognize the inside of the automobile 401 by visually recognizing the internal image 403. If the barcode is not specified in the determination process of S13 (S13: NO), a real image is displayed (S17).
  • the automobile 401 is imaged by the CCD sensor 2 and the real image 404 is acquired.
  • the car 401 indicated by the real image 404 is specified by the barcode 402.
  • a real image 404 is displayed.
  • an internal image 403 corresponding to the real image 404 is displayed.
  • the user 50 can set the imaging magnification. Based on the imaging magnification set by the user 50, the real image 404 or the internal image 403 is displayed on the HMD1. Accordingly, the user 50 can easily switch between the real image 404 and the internal image 403 based on the intention of the user 50.
  • the user 50 can visually recognize the internal image 403 of the automobile 401.
  • the internal image 403 corresponds to the position where the user 50 views the automobile 401. Therefore, the user 50 can grasp the inside of the automobile 401 from multiple directions.
  • the HMD 1 determines the image to be displayed as the real image 404 or the internal image 403 according to the imaging magnification. Therefore, the user 50 can easily switch the image to be displayed. In general, it is considered that the user 50 intuitively sets a larger imaging magnification for the car 401 that is interested, that is, the car 401 that wants to display the internal image 403. Therefore, the HMD 1 displays the real image 404 when the imaging magnification is smaller than the predetermined value. The HMD 1 displays the internal image 403 when the imaging magnification is greater than or equal to a predetermined value. The user 50 can easily execute an operation for determining which image to display.
  • the HMD 1 specifies the automobile 401 based on the barcode (identification information).
  • the HMD 1 can reliably identify the automobile 401 imaged by the CCD sensor 2.
  • the barcode 402 is used when specifying the automobile 401 and the imaging position.
  • Other identification information such as a QR code (registered trademark) or an IC tag may be attached to the automobile 401.
  • the automobile 401 and the imaging position may be specified based on the identification information.
  • the imaging positions were limited to two, the front and side of the automobile 401. Many more imaging positions, such as backward and diagonally forward, may be employed.
  • An internal image 403 when viewed from multiple directions may be displayed. In this case, an internal image 403 corresponding to each direction needs to be prepared.
  • the position of the user 50 with respect to the automobile 401 may be determined based on the size and inclination of the barcode 402 included in the real image 404, for example.
  • the barcode when the user is positioned in front of the barcode 402 attached to the automobile 401, the barcode is photographed without distortion.
  • the barcode When the user is at an oblique position with respect to the barcode 402 attached to the automobile 401, the barcode is photographed in a distorted state.
  • the HMD 1 can determine the positional relationship of the user 50 with respect to the automobile 401 (see FIG. 9).
  • the position of each car 401 is stored in advance.
  • the position of the user 50 is detected by the GPS receiver. Based on the position of the automobile 401 and the position of the user 50, the position of the user 50 with respect to the automobile 401 may be determined.
  • light emitters are attached to the four corners of the automobile 401.
  • the relative position between the light emitters is specified. Based on the specified relative position, the position of the user 50 relative to the automobile 401 may be determined.
  • the internal image 403 showing the inside of the automobile 401 is used as the related image.
  • the content of the related image is not limited as long as it is an image related to the automobile 401.
  • it may be a three-dimensional CAD line of the automobile 401, a model name, an image showing fuel consumption, or the like.
  • the imaging target is the automobile 401, but another real object may be the imaging target.
  • the real image 404 and the internal image 403 are switched based on the imaging magnification.
  • the real image 404 and the internal image 403 may be switched based on other imaging conditions.
  • the switching may be performed based on the distance between the user 50 and the car 401 to be imaged.
  • the distance may be determined based on the size of the ratio of the image corresponding to the automobile 401 to the entire area of the real image 404. Further, the distance may be determined by the size of the barcode 402 and the focus adjustment.
  • optical zoom and digital zoom may be used in combination. Specifically, when changing the magnification within the range of 1 to 3 times, only the optical zoom is used. When changing the magnification within the range of 3 to 15 times, the optical zoom (3 times) and the digital zoom (1 to 5 times) (The value obtained by multiplying the optical zoom magnification and the digital zoom magnification is the combined magnification.) Further, when the threshold value in S14 of FIG. 4 is set to 3 times and only the optical zoom is used (1 to 3 times), a real image is displayed (S17), and the optical zoom and the digital zoom are used together (3 ( ⁇ 15 times), an internal image may be displayed (S15). The threshold may be applied only to the digital zoom magnification (1 to 5 times).
  • the storage device 300 is provided separately from the HMD 1.
  • the storage device 300 may be configured with a flash memory or the like.
  • the flash memory may be integrated with the HMD 1.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Studio Devices (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)

Abstract

ＣＣＤセンサによって、ヘッドマウントディスプレイの使用者の視野方向が撮影される（Ｓ１１）。撮像された画像から、バーコードが抽出される（Ｓ１２）。バーコードから、自動車が特定される（Ｓ１３）。撮像倍率が閾値倍率以下の場合には（Ｓ１４：ＮＯ）、実物画像が表示される（Ｓ１７）。撮像倍率が閾値倍率より大きい場合には（Ｓ１４：ＹＥＳ）、実物画像に対応した内部画像が表示される（Ｓ１５）。撮像倍率は、使用者が設定可能である。撮像倍率に基づいて、実物画像又は内部画像がヘッドマウントディスプレイに表示される。

Description

ヘッドマウントディスプレイ
　本発明は、実物を示した実物画像、若しくは実物に関連した関連画像を表示するヘッドマウントディスプレイに関する。
　従来、実物を示した実物画像、若しくは実物に関連した関連画像を表示するヘッドマウントディスプレイ（Ｈｅａｄ　Ｍｏｕｎｔｅｄ　Ｄｉｓｐｌａｙ：以下ＨＭＤ）が提案されている（例えば、特許文献１参照。）。特許文献１に記載のＨＭＤは、ＨＭＤを装着した使用者が、特定の実物の方向に視線を向けた場合には、その実物を示した実物画像を表示する。ＨＭＤは、使用者が一定時間以上実物画像を視認した場合には、使用者がその実物に興味を示していると判断する。この場合、ＨＭＤは、その実物に関連する関連画像も表示する。このようにしてＨＭＤは、使用者の興味を表示画像に反映させている。
特開２００５－３８００８号公報
　しかしながら、一定時間以上、使用者が同じ実物画像を見ている場合でも、常に使用者がその実物画像で示される実物に興味を示しているとは限らない。使用者は、何も考えずに一点を見ている場合もある。この場合、特許文献１に記載のＨＭＤでは、使用者が所望しない場合にも関連画像が表示されてしまい、使用者が煩わしく感じるという問題点があった。また、使用者の視線方向に実物が複数有る場合、使用者が見ている実物を選択することができない。このため使用者は、所望の関連画像を見ることができないという問題点があった。
　本発明は、実物を示した実物画像、若しくは実物に関連した関連画像を表示するＨＭＤにおいて、実物画像と関連画像とを使用者の意思に基づいて簡易に切り替えることができるＨＭＤを提供することを目的とする。
　本発明に係るヘッドマウントディスプレイは、使用者の頭部に装着され、当該使用者の目に画像を表示する表示手段を備えたヘッドマウントディスプレイであって、当該ヘッドマウントディスプレイを装着する使用者の視野にある実物を実物画像として撮像するとともに、前記実物を撮像する場合の撮像条件を前記使用者が設定可能な撮像手段と、当該撮像手段によって撮像される実物に関連した画像である関連画像を、前記実物に対応させて記憶する関連画像記憶手段と、前記撮像条件に基づいて、前記実物画像と前記関連画像のいずれか一方を選択する選択手段と、当該選択手段によって前記実物画像が選択された場合には、前記実物画像を前記表示手段に表示し、前記関連画像が選択された場合には、前記関連画像記憶手段に記憶されている前記関連画像のうち、前記撮像手段によって撮像される実物に対応づけられている関連画像を前記表示手段に表示する表示制御手段とを備えている。
　本発明に係るヘッドマウントディスプレイによれば、撮像条件は使用者が設定可能である。設定された撮像条件に基づいて、実物画像又は関連画像が選択される。選択された画像は、ヘッドマウントディスプレイに表示される。したがって使用者は、実物画像と関連画像とを使用者の意思に基づいて簡易に切り替えることができる。
　前記ヘッドマウントディスプレイは、前記撮像手段によって撮像された実物画像に含まれている実物を特定する実物特定手段を備え、前記表示制御手段は、前記関連画像記憶手段に記憶されている前記関連画像のうち、当該実物特定手段によって特定された前記実物に対応づけられている前記関連画像を表示してもよい。
　ＨＭＤは、撮像手段によって撮像された撮像画像に含まれている実物を示した画像が、どの実物を示した画像なのかを特定できる。表示制御手段は、前記関連画像記憶手段に記憶されている関連画像のうち、撮影画像に含まれている実物に対応した関連画像を表示できる。
　前記ヘッドマウントディスプレイの前記関連画像記憶手段は、前記関連画像として、前記使用者がその実物を見る位置に対応した内部画像を、各位置に対応させて記憶し、前記実物特定手段は、特定した実物を撮像した位置も特定し、前記表示制御手段は、前記関連画像を表示する場合には、前記関連画像記憶手段に記憶されている前記内部画像のうち前記実物特定手段によって特定された位置に対応した前記内部画像を前記表示手段に表示してもよい。
　使用者は、実物の内部画像を視認できる。内部画像は、実物を見る使用者の位置に対応している。したがって、使用者は、実物の内部を多方向から把握できる。
　前記ヘッドマウントディスプレイの前記撮像手段は、前記撮像条件として、撮像倍率を設定可能であり、前記選択手段は、前記撮像倍率が所定の閾値以下の場合に前記実物画像を選択し、前記撮像倍率が前記所定の閾値より大きい場合に前記関連画像を選択してもよい。
　使用者は、撮像倍率を設定することによって、実物画像又は関連画像をＨＭＤに表示させる画像として決定する。使用者は、ＨＭＤに表示させる画像を容易に切り替えることができる。一般的に使用者は、興味がある実物、すなわち関連画像を表示させたい実物ほど、直感的に撮像倍率を大きく設定する。選択手段は、撮像倍率が所定値より小さい場合に実物画像を選択する。選択手段は、撮像倍率が所定値以上の場合に関連画像を選択する。結果、使用者は、ＨＭＤに表示させる画像を容易に決定できる。
　前記ヘッドマウントディスプレイでは、前記撮像手段によって撮像される実物には、自身を識別する識別情報が付されており、前記実物特定手段は、前記実物画像に含まれている前記識別情報に基づいて、前記撮像手段が撮像した実物を特定してもよい。
　ＨＭＤは、識別情報に基づいて実物を特定する。ＨＭＤは、撮像手段が撮像した実物を確実に特定できる。
ＨＭＤ１が適用されるＨＭＤシステム５の概略構成を示した図である。 ＨＭＤ１の電気的及び光学的構成を示す説明図である。 記憶装置３００に記憶されているテーブル３０１の概念図である。 制御部１１０が実行する処理を示したフローチャートである。 ＨＭＤ１に表示された実物画像４０４を示す図である。 ＨＭＤ１に表示された実物画像４０４を示す図である。 ＨＭＤ１に表示された内部画像４０３ａ１を示す図である。 ＨＭＤ１に表示された内部画像４０３ａ２を示す図である。 使用者５０が自動車４０１に対してどの位置に居るのかを判定する方法を説明するための図である。
　以下、本発明に係るＨＭＤの実施形態について、図面を参照して説明する。図１に示すように、ＨＭＤシステム５では、ＨＭＤ１と記憶装置３００とがネットワーク２００を介して接続されている。ＨＭＤ１は使用者５０によって装着される。
　使用者５０は、一例として、自動車４０１ａ、４０１ｂ、４０１ｃ（以下、総称して「自動車４０１」ともいう）を視認する。自動車４０１ａ、４０１ｂ、４０１ｃは、それぞれ車種が異なっている。自動車４０１の前面と側面とに、バーコード４０２（識別情報）が付されている。詳細には、自動車４０１ａの前面にバーコード４０２ａ１が付されている。自動車４０１ａの側面にバーコード４０２ａ２が付されている。自動車４０１ｂの前面にバーコード４０２ｂ１が付されている。自動車４０１ｂの側面にバーコード４０２ｂ２が付されている。自動車４０１ｃの前面にバーコード４０２ｃ１が付されている。自動車４０１ｃの側面にバーコード４０２ｃ２が付されている。図示外の他の自動車の前面と側面にも、固有のバーコードが付されている。バーコード４０２ａ１～４０２ｃ２は、自動車４０１ａ～４０１ｃを特定する情報である。バーコード４０２ａ１～４０２ｃ２は、後述するＣＣＤセンサ２にて撮像された場合の撮像位置を特定する情報でもある。すなわち、バーコード４０２ａ１～４０２ｃ２は、使用者５０が自動車４０１の前面を撮像する位置に居るのか、又は側面を撮像する位置に居るのかを特定する情報でもある。
　ＨＭＤ１の構造について、図１及び図２を参照して説明する。図１及び図２に示すように、ＨＭＤ１は、光走査部１０を備えている。光走査部１０は、画像光生成部２０、コリメート光学系６１、水平走査部７０、垂直走査部８０、及びリレー光学系７５、９０を備えている。
　光走査部１０は、内部又は外部に記憶されている各種情報を画像光に変換する。光走査部１０は、画像信号に基づいて生成した画像光を、使用者５０の眼Ｅに導いて走査する。ＨＭＤ１が使用者５０の頭部に装着された状態で、使用者５０はＨＭＤ１の電源を入れる。光走査部１０は動作を開始する。光走査部１０の動作により、画像光は使用者５０の網膜上で２次元方向に走査される。これによってＨＭＤ１は、情報に対応する画像を使用者５０に視認させることができる。ＨＭＤ１は、使用者５０が外界を視認できないように構成されている。
　画像光生成部２０は、画像を合成するための要素となる各信号等を発生する。画像光生成部２０は、制御部１１０から供給される画像信号をドットクロック毎に読み出す。画像光生成部２０は、読み出した映像信号に応じて強度変調されたレーザビーム（画像光）を生成し、光ファイバ１００に出射する。
　画像光生成部２０は、信号処理回路２１、光源部３０、光合成部４０、及び結合光学系４７を備えている。信号処理回路２１は、パーソナルコンピュータ（図示略）等の外部装置から供給される画像信号を、インターフェース１０４と制御部１１０とを介して受信する。信号処理回路２１は、受信した画像信号に基づいて、青（Ｂ）、緑（Ｇ）、赤（Ｒ）の各画像信号をドットクロック毎に生成する。信号処理回路２１は、生成した各画像信号を、信号線２２ａ～２２ｃを介して光源部３０へ出力する。信号処理回路２１は、水平走査部７０で使用される水平駆動信号を、信号線２３を介して水平走査部７０へ出力する。信号処理回路２１は、垂直走査部８０で使用される垂直駆動信号を、信号線２４を介して垂直走査部８０へ出力する。
　光源部３０は、信号処理回路２１から出力された３つの画像信号（Ｂ，Ｇ，Ｒ）を、信号線２２ａ～２２ｃを介して受信する。光源部３０は、受信した画像信号に応じた青、緑、赤の画像光を出力する画像光出力部である。光源部３０は、Ｂレーザ３４、Ｂレーザドライバ３１、Ｇレーザ３５、Ｇレーザドライバ３２、Ｒレーザ３６、及びＲレーザドライバ３３を備えている。Ｂレーザ３４は、青色の画像光を発生させる。Ｂレーザドライバ３１は、Ｂレーザ３４を駆動する。Ｇレーザ３５は、緑色の画像光を発生させる。Ｇレーザドライバ３２は、Ｇレーザ３５を駆動する。Ｒレーザ３６は、赤色の画像光を発生させる。Ｒレーザドライバ３３は、Ｒレーザ３６を駆動する。レーザ３４～３６としては、例えば、半導体レーザや高調波発生機構付き固体レーザを使用できる。半導体レーザを用いる場合、駆動電流を直接変調して、画像光の強度変調を行うことができる。固体レーザを用いる場合、レーザ３４～３６それぞれに外部変調器を設ける。外部変調器は、画像光の強度変調を行う。
　光合成部４０は、レーザ３４～３６から出力された画像光を、１つの画像光に結合して任意の画像光を生成する。光合成部４０は、コリメート光学系４１～４３、及びダイクロイックミラー４４～４６を備えている。コリメート光学系４１～４３は、光源部３０のレーザ３４～３６から出射した画像光を、平行光にコリメートする。ダイクロイックミラー４４～４６は、コリメートされた画像光を合成する。ダイクロイックミラー４４～４６では、各画像光が波長に関して選択的に反射・透過される。結合光学系４７は、合成された画像光を光ファイバ１００に導く。
　具体的には、Ｂレーザ３４から出射した青色画像光は、コリメート光学系４１によって平行光化される。平行化された青色画像光は、ダイクロイックミラー４４に入射する。Ｇレーザ３５から出射した緑色画像光は、コリメート光学系４２を経てダイクロイックミラー４５に入射する。Ｒレーザ３６から出射した赤色画像光は、コリメート光学系４３を経てダイクロイックミラー４６に入射する。
　ダイクロイックミラー４４～４６に入射した３原色の画像光は、波長選択的に反射または透過して結合光学系４７に達する。画像光は、結合光学系４７において集光され、光ファイバ１００へ出力される。
　コリメート光学系６１、水平走査部７０、垂直走査部８０、及びリレー光学系７５、９０は、画像光生成部２０と使用者５０の眼Ｅとの間に設けられる。コリメート光学系６１は、光ファイバ１００から出射された画像光を平行光とする。水平走査部７０及び垂直走査部８０は、光ファイバ１００から出射された画像光を画像として投影可能な状態にする。水平走査部７０及び垂直走査部８０は、画像光を水平方向と垂直方向に走査して走査画像光とする。水平走査部７０は、コリメート光学系６１において平行光化された画像光を、水平方向（第１方向）に往復走査する。水平走査部７０は、第１光走査部として機能する。垂直走査部８０は、水平走査部７０において水平方向に走査された画像光を、垂直方向（第１方向と略直交する第２方向）に往復走査する。垂直走査部８０は、第２光走査部として機能する。リレー光学系７５は、水平走査部７０と垂直走査部８０との間に設けられている。リレー光学系９０は、水平方向と垂直方向に走査（２次元的に走査）された画像光を、瞳孔Ｅａへ出射する。
　水平走査部７０は、共振型偏向素子７１、水平走査制御回路７２、及び水平走査角検出回路７３を備えている。共振型偏向素子７１は、画像光を水平方向に走査するための反射面を有する。水平走査制御回路７２は、共振型偏向素子７１を共振させる。水平走査制御回路７２は、共振型偏向素子７１の反射面を揺動させる駆動信号を発生する駆動信号発生回路である。水平走査角検出回路７３は、共振型偏向素子７１から出力される変位信号に基づいて、共振型偏向素子７１の反射面の揺動範囲及び揺動周波数等の揺動状態を検出する。
　水平走査角検出回路７３は、検出した共振型偏向素子７１の揺動状態を示す信号を、制御部１１０へ出力する。
　垂直走査部８０は、偏向素子８１、垂直走査制御回路８２、及び垂直走査角検出回路８３を備えている。偏向素子８１は、画像光を垂直方向に走査する。垂直走査制御回路８２は、偏向素子８１を駆動する。垂直走査角検出回路８３は、垂直走査制御回路８２による反射面の揺動範囲及び揺動周波数等の揺動状態を検出する。垂直走査角検出回路８３は、検出した偏向素子８１の揺動状態を示す信号を、制御部１１０へ出力する。
　水平走査制御回路７２は、信号線２３を介して信号処理回路２１から受信する水平駆動信号に基づいて駆動する。垂直走査制御回路８２は、信号線２４を介して信号処理回路２１から受信する垂直駆動信号に基づいて駆動する。
　リレー光学系７５は、水平走査部７０と垂直走査部８０との間で画像光を中継する。リレー光学系７５は、共振型偏向素子７１によって水平方向に走査された画像光を、偏向素子８１の反射面に入射させる。偏向素子８１に入射した画像光は、垂直方向に走査される。２次元的に走査された走査画像光は、垂直走査部８０からリレー光学系９０へ出射される。
　リレー光学系９０は、レンズ系９１、９４を有している。レンズ系９１、９４は、正の屈折力を持つ。垂直走査部８０から出射された表示用の走査画像光は、レンズ系９１によって、画像光の中心線に対して略平行に変換される。走査画像光は、レンズ系９４によって、画像光の中心線が使用者５０の瞳孔Ｅａに収束するように変換される。
　本実施形態においては、光ファイバ１００から出射した画像光は、水平走査部７０によって水平方向に走査される。その後、画像光は、垂直走査部８０によって垂直方向に走査される。本発明は、水平走査部７０と垂直走査部８０との配置を入れ替えてもよい。画像光が垂直走査部８０によって垂直方向に走査された後、水平走査部７０によって水平方向に走査されても良い。
　ＨＭＤ１は、制御部１１０を備えている。制御部１１０は、ＨＭＤ１全体の動作を統括制御する。制御部１１０は、光走査部１０に対して画像信号を供給し、画像光を２次元的に走査させる。これによってＨＭＤ１は画像を表示し、画像信号に応じた画像を使用者に視認させることができる。
　制御部１１０は、信号処理回路２１の動作を制御する。制御部１１０は、水平駆動信号と垂直駆動信号とを調整する。これによって水平走査部７０と垂直走査部８０とは、画像光の走査角を変更させ、表示する画像を形成させる。
　制御部１１０は、水平走査角検出回路７３および垂直走査角検出回路８３からの検出信号によって、走査角度を検出する。走査角度は、信号処理回路２１を介して水平駆動信号にフィードバックされる。走査角度は、信号処理回路２１を介して垂直駆動信号にフィードバックされる。
　制御部１１０は、ＣＰＵ１０１と、フラッシュメモリ１０２と、ＲＡＭ１０３とを備えている。フラッシュメモリ１０２は、不揮発性メモリである。ＣＰＵ１０１、フラッシュメモリ１０２、及びＲＡＭ１０３は、データ通信用のバスにそれぞれ接続している。ＣＰＵ１０１、フラッシュメモリ１０２、及びＲＡＭ１０３は、データ通信用のバスを介して各種情報の送受信を行う。
　ＨＭＤ１は、ＨＭＤ１の電源スイッチＳＷ、ＣＣＤセンサ２、輝度センサ８、ＬＥＤ３、操作スイッチ７、通信制御回路９、撮像倍率設定部１１、及びインターフェース１０４を備えている。制御部１１０は、ＨＭＤ１の電源スイッチＳＷ、ＣＣＤセンサ２、輝度センサ８、ＬＥＤ３、操作スイッチ７、通信制御回路９、撮像倍率設定部１１、及びインターフェース１０４と接続している。
　ＣＰＵ１０１は、フラッシュメモリ１０２に記憶されている各種情報処理プログラムを実行する。これによりＣＰＵ１０１は、ＨＭＤ１を構成する図示しない各種回路を動作させる。ＣＰＵ１０１は、ＨＭＤ１が備える各種機能を実行させる演算処理装置である。
　フラッシュメモリ１０２は、ＣＰＵ１０１により実行される各種情報処理プログラムを記憶している。情報処理プログラムとして、画像光生成部２０、水平走査部７０、垂直走査部８０等を動作させるための情報処理プログラム等が挙げられる。該プログラムによって、ＨＭＤ１では画像の表示制御が実行される。
　ＣＣＤセンサ２は、使用者５０の視野方向にある自動車４０１を撮像する撮像手段である。輝度センサ８は、外界の明るさを検出する。ＬＥＤ３は、ＣＣＤセンサ２の撮像範囲を照らす。ＬＥＤ３は、輝度センサ８により検出される外界の明るさが所定の明るさを下回った場合に、ＣＣＤセンサ２の撮像範囲を照らす。操作スイッチ７は、使用者５０によって操作可能である。通信制御回路９は、他の装置との通信を制御する。撮像倍率設定部１１は、ＣＣＤセンサ２による撮像倍率を設定する。インターフェース１０４は、パーソナルコンピュータ等の外部装置と接続可能である。使用者５０は、撮像倍率設定部１１を介して撮像倍率を設定できる。撮像倍率設定部１１を介して設定される撮像倍率は、デジタルズームを行う場合には、予め決められているズームの範囲で設定される。一例として、１倍～５倍等である。ＣＣＤセンサ２に図示外の電動ズームレンズを設けて、光学的ズームを行う場合は、電動ズームレンズの倍率を設定しても良い。例えば、１倍～３倍等である。撮像倍率設定部１１を介して設定された撮像倍率は、フラッシュメモリ１０２に記憶される。
　ＨＭＤ１は、閉塞部材（図示略）を備えている。閉塞部材は、使用者５０が外界を視認できないようにするために、使用者５０の目の周りを閉塞する。　
　図１及び図３を参照して、記憶装置３００について説明する。記憶装置３００は、本発明の「関連画像記憶手段」に相当する。記憶装置３００には、テーブル３０１が記憶されている。テーブル３０１には、関連画像が含まれている。関連画像は、ＣＣＤセンサ２によって撮像される可能性がある各自動車４０１に関連した画像である。図３に示すように、テーブル３０１は、自動車区分欄３０２、撮像位置欄３０３、バーコード記憶欄３０４及び関連画像記憶欄３０５から構成される。
　自動車区分欄３０２には、各自動車４０１ａ，４０１ｂ，４０１ｃを示した情報が記憶されている。撮像位置欄３０３には、自動車４０１をどの方向から撮像したのかを示した情報が記憶されている。バーコード記憶欄３０４には、各自動車４０１に予め付されているバーコード４０２ａ１，４０２ａ２，４０２ｂ１，４０２ｂ２，４０２ｃ１，４０２ｃ２を示す数字が各々記憶されている。一例として、日本のＪＩＳ規格、ヨーロッパのＥＡＮ規格、又はアメリカのＵＰＣ規格の何れかが適用されている場合には、１３桁又は８桁の数字が記憶される。現在、世界で使用されているバーコードの種類は、約１００種類と多い。このため、バーコード記憶欄３０４には、使用するバーコードに対応した数値が記憶されていれば良い。尚、バーコードそのものの画像が記憶されてもよい。バーコードと数値の両方が記憶されても良い。関連画像記憶欄３０５には、内部画像４０３ａ１，４０３ａ２，４０３ｂ１，４０３ｂ２，４０３ｃ１，４０３ｃ２・・・が関連画像として記憶されている。内部画像４０３ａ１～４０３ｃ２は、各バーコード４０２ａ１～４０２ｃ２に対応した自動車４０１ａ，４０１ｂ，４０１ｃの内部を示している。詳細には、自動車４０１ａを前方から視認したときの自動車４０１ａの内部画像４０３ａ１が、バーコード４０２ａ１に対応付けられている。自動車４０１ａを側方から視認したときの自動車４０１ａの内部画像４０３ａ２が、バーコード４０２ａ２に対応付けられている。自動車４０１ｂを前方から視認したときの自動車４０１ｂの内部画像４０３ｂ１が、バーコード４０２ｂ１に対応付けられている。自動車４０１ｂを側方から視認したときの自動車４０１ｂの内部画像４０３ｂ２が、バーコード４０２ｂ２に対応付けられている。自動車４０１ｃを前方から視認したときの自動車４０１ｃの内部画像４０３ｃ１が、バーコード４０２ｃ１に対応付けられている。自動車４０１ｃを側方から視認したときの自動車４０１ｃの内部画像４０３ｃ２が、バーコード４０２ｃ２に対応付けられている。説明を省略するが、他の自動車４０１の内部画像４０３も、バーコード４０２に対応付けられている。
　制御部１１０が実行する処理について、図４のフローチャートを参照して説明する。この処理は、使用者５０によって操作スイッチ７に含まれている開始ボタンが操作された場合に、制御部１１０によって開始される。以下、画像光を使用者５０の網膜上で２次元方向に走査させることにより、情報に対応する画像を使用者５０に視認させることを、「表示」と言う。
　制御部１１０の制御により、使用者５０の視野内にある自動車４０１がＣＣＤセンサ２によって撮像される（Ｓ１１）。撮像の結果、実物画像４０４（図５及び図６参照）が取得される。実物画像４０４からバーコード４０２が抽出される（Ｓ１２）。抽出方法として、周知の画像認識方法が使用される。実物画像４０４から、バーコードの特徴を示す部分の画像が切り出される。ノイズ除去等の処理が行われる。バーコード４０２の画像が数値に変換される（Ｓ１２）。変換された結果の数値が、記憶装置３００に記憶されているテーブル３０１のバーコード記憶欄３０４のバーコード４０２ａ１、４０２ａ２、４０２ｂ１、４０２ｂ２、４０２ｃ１、４０２ｃ２・・・のどれに一致するかが特定される（Ｓ１３）。
　一致するバーコードがテーブル３０１に有った場合には（Ｓ１３：ＹＥＳ）、使用者５０が撮像倍率設定部１１を介して設定した撮像倍率が、所定の閾値倍率（例えば２倍）より大きいか否かが判断される（Ｓ１４）。撮像倍率が閾値倍率以下の場合には（Ｓ１４：ＮＯ）、図５や図６に示すように、Ｓ１１にて撮像された実物画像４０４が表示される（Ｓ１７）。撮像倍率に応じた大きさで、実物画像４０４が表示される（Ｓ１７）。使用者５０は、外界を視認することができないので、自動車４０１を直接視認することはできない。しかしながら、実物画像４０４を視認することで自動車４０１を認識できる。
　撮像倍率が閾値倍率より大きい場合には（Ｓ１４：ＹＥＳ）、Ｓ１３にて特定されたバーコード４０２に対応付けて記憶装置３００に記憶されている内部画像４０３が表示される（Ｓ１５）。撮像倍率に応じた大きさで、内部画像が表示される（Ｓ１５）。例えば、Ｓ１３にてバーコード４０２ａ１が特定された場合には、図７に示すように、自動車４０１ａを前方から視認した場合の自動車４０１ａの内部画像４０３ａ１が表示される。Ｓ１３にてバーコード４０２ａ２が特定された場合には、図８に示すように、自動車４０１ａを横方向から視認した場合の自動車４０１ａの内部画像４０３ａ２が表示される。使用者５０は、内部画像４０３を視認することで、自動車４０１の内部を認識できる。Ｓ１３の判断処理で、バーコードが特定されない場合には（Ｓ１３：ＮＯ）、実物画像が表示される（Ｓ１７）。
　図４のフローチャートで示す処理を終了するか否かが判断される（Ｓ１６）。使用者５０によって操作スイッチ７に含まれている終了ボタンが操作されたか否かで、処理を終了するか否かが判断される。終了ボタンが操作された場合には（Ｓ１６：ＹＥＳ）、図４のフローチャートで示す処理は終了される。終了ボタンが操作されていない場合には（Ｓ１６：ＮＯ）、Ｓ１１の処理に戻る。したがって、使用者５０が撮像倍率を切り替えることによって、表示される画像は、自動車４０１の内部画像４０３と実物画像４０４とに切り替わる（Ｓ１１～Ｓ１７）。使用者５０の視線が移動して、ＣＣＤセンサ２によって他の自動車４０１が撮像された場合には（Ｓ１１）、他の自動車４０１に付されているバーコード４０２が抽出される（Ｓ１２）。バーコード４０２が特定される（Ｓ１２）。他の自動車４０１を示した実物画像４０４若しくは内部画像４０３が表示される（Ｓ１１～Ｓ１７）。
　以上説明したように、本実施形態のＨＭＤ１によれば、ＣＣＤセンサ２によって自動車４０１が撮像され、実物画像４０４が取得される。実物画像４０４で示される自動車４０１が、バーコード４０２にて特定される。撮像倍率が所定値より小さい場合には、実物画像４０４が表示される。撮像倍率が所定値以上の場合には、実物画像４０４に対応した内部画像４０３が表示される。
　撮像倍率は、使用者５０が設定可能である。使用者５０が設定した撮像倍率に基づいて、実物画像４０４又は内部画像４０３がＨＭＤ１に表示される。したがって使用者５０は、実物画像４０４と内部画像４０３とを、使用者５０の意思に基づいて簡易に切り替えることができる。
　ＨＭＤ１によれば、使用者５０は、自動車４０１の内部画像４０３を視認できる。内部画像４０３は、使用者５０が自動車４０１を見る位置に対応している。したがって、使用者５０は、自動車４０１の内部を多方向から把握できる。
　ＨＭＤ１は、撮像倍率に応じて、表示させる画像を実物画像４０４又は内部画像４０３に決定する。従って、使用者５０は表示させる画像を容易に切り替えることができる。一般的に使用者５０は、興味がある自動車４０１、すなわち、内部画像４０３を表示させたい自動車４０１ほど、直感的に撮像倍率を大きく設定すると考えられる。そこで、撮像倍率が所定値より小さい場合に、ＨＭＤ１は実物画像４０４を表示する。撮像倍率が所定値以上の場合に、ＨＭＤ１は内部画像４０３を表示する。使用者５０は、どちらの画像を表示させるか決定するための操作を容易に実行できる。
　ＨＭＤ１は、バーコード（識別情報）に基づいて自動車４０１を特定している。ＨＭＤ１は、確実にＣＣＤセンサ２が撮像した自動車４０１を特定できる。
　本発明に係るＨＭＤ１は、上記実施形態に限定されるわけではなく、その趣旨を逸脱しない範囲において種々変形しても良い。上記実施形態では、自動車４０１及び撮像位置を特定する場合にバーコード４０２が用いられていた。ＱＲコード（登録商標）やＩＣタグなどの他の識別情報が、自動車４０１に付されてもよい。識別情報に基づいて、自動車４０１及び撮像位置が特定されても良い。
　撮像位置は、自動車４０１の前方と側方の２つに限られていた。後方や斜め前方等、さらに多くの撮像位置が採用されてもよい。多方向から見た場合の内部画像４０３が表示されても良い。この場合、各方向に対応する内部画像４０３が用意される必要がある。自動車４０１に対する使用者５０の位置は、例えば、実物画像４０４に含まれているバーコード４０２の大きさや傾きに基づいて判定されてもよい。
　図９に示すように、自動車４０１に貼り付けられたバーコード４０２に対して、使用者が正面に位置している場合には、バーコードは、歪みなく撮影される。自動車４０１に貼り付けられたバーコード４０２に対して、使用者が斜めの位置にいる場合には、バーコードは、歪んだ状態で撮影される。歪みを検出することによって、ＨＭＤ１は、自動車４０１に対する使用者５０の位置関係を判別できる（図９参照）。
　例えば、各自動車４０１の位置が予め記憶される。使用者５０の位置が、ＧＰＳ受信機によって検出される。自動車４０１の位置と使用者５０の位置とに基づいて、自動車４０１に対する使用者５０の位置が判定されても良い。特許公報３４２２３８３号に記載されているように、自動車４０１の四隅に発光体が付される。実物画像４０４のうち、各発光体間の相対位置が特定される。特定された相対位置に基づいて、自動車４０１に対する使用者５０の位置が判定されても良い。
　上記実施形態では、自動車４０１の内部を示した内部画像４０３を関連画像としていた。関連画像は、自動車４０１に関連する画像であるならばその内容は問われない。例えば、自動車４０１の３次元ＣＡＤ線、車種名、燃費を示した画像等であってもよい。上記実施形態では、撮像対象は自動車４０１とされていたが、他の実物が撮像対象であってもかまわない。
　上記実施形態では、撮像倍率に基づいて、実物画像４０４と内部画像４０３とが切り替えられていた。他の撮像条件に基づいて実物画像４０４と内部画像４０３とが切り替えられても良い。例えば、使用者５０と、撮像される自動車４０１との距離等に基づいて切り替えられてもよい。この場合、例えば実物画像４０４の全領域に対する自動車４０１に相当する画像の割合の大小で距離が判定されてもよい。また、バーコード４０２の大きさ、フォーカス調整で距離が判定されても良い。
　設定される撮像倍率に基づいて倍率を変更する場合、光学的ズームとデジタルズームを併用してもよい。具体的には、１～３倍の範囲で倍率を変更する場合は光学ズームのみ使用し、３～１５倍の範囲で倍率を変更する場合は光学ズーム（３倍）とデジタルズーム（１～５倍）とを使用する（光学ズームの倍率と、デジタルズームの倍率とを乗算した値が、併用時の倍率となる。）。また、図４のＳ１４における閾値を３倍とし、光学ズームのみ使用されている状態（１～３倍）では、実物画像が表示され（Ｓ１７）、光学ズームとデジタルズームが併用されている状態（３～１５倍）では、内部画像が表示される（Ｓ１５）ようにしてもよい。また、デジタルズームの倍率（１～５倍）にのみ閾値を適用してもよい。
　上記の実施の形態では、記憶装置３００は、ＨＭＤ１と別に設けられていた。記憶装置３００はフラッシュメモリ等で構成されてもよい。該フラッシュメモリはＨＭＤ１と一体化されても良い。
　　　１　ヘッドマウントディスプレイ
　　　２　ＣＣＤセンサ
　　　５　ヘッドマウントディスプレイシステム
　　１１　撮像倍率設定部
　１１０　制御部
　３００　記憶装置
　４０１　自動車
　４０２　バーコード
　４０３　内部画像
　４０４　実物画像
　Ｓ１３　実物特定手段
　Ｓ１４　選択手段

Claims (5)

  1. 　使用者の頭部に装着され、当該使用者の目に画像を表示する表示手段を備えたヘッドマウントディスプレイであって、
    　当該ヘッドマウントディスプレイを装着する使用者の視野にある実物を実物画像として撮像するとともに、前記実物を撮像する場合の撮像条件を前記使用者が設定可能な撮像手段と、
    　当該撮像手段によって撮像される実物に関連した画像である関連画像を、前記実物に対応させて記憶する関連画像記憶手段と、
    　前記撮像条件に基づいて、前記実物画像と前記関連画像のいずれか一方を選択する選択手段と、
    　当該選択手段によって前記実物画像が選択された場合には、前記実物画像を前記表示手段に表示し、前記関連画像が選択された場合には、前記実物に対応して前記関連画像記憶手段に記憶されている前記関連画像を前記表示手段に表示する表示制御手段と
    を備えたことを特徴とするヘッドマウントディスプレイ。
  2. 　前記撮像手段によって撮像された実物画像に含まれている実物を特定する実物特定手段を備え、
    　前記表示制御手段は、
    　前記関連画像記憶手段に記憶されている前記関連画像のうち、当該実物特定手段によって特定された前記実物に対応づけられている前記関連画像を表示することを特徴とする請求項１に記載のヘッドマウントディスプレイ。
  3. 　前記関連画像記憶手段は、
    　前記関連画像として、前記使用者がその実物を見る位置に対応した内部画像を、各位置に対応させて記憶し、
    　前記実物特定手段は、
    　特定した実物を撮像した位置も特定し、
    　前記表示制御手段は、
    　前記関連画像を表示する場合には、前記関連画像記憶手段に記憶されている前記内部画像のうち前記実物特定手段によって特定された位置に対応した前記内部画像を前記表示手段に表示することを特徴とする請求項２に記載のヘッドマウントディスプレイ。
  4. 　前記撮像手段は、
    　前記撮像条件として、撮像倍率を設定可能であり、
    　前記選択手段は、
    　前記撮像倍率が所定の閾値以下の場合に前記実物画像を選択し、前記撮像倍率が前記所定の閾値より大きい場合に前記関連画像を選択することを特徴とする請求項１乃至３の何れかに記載のヘッドマウントディスプレイ。
  5. 　前記撮像手段によって撮像される実物には、自身を識別する識別情報が付されており、
    　前記実物特定手段は、
    　前記実物画像に含まれている前記識別情報に基づいて、前記撮像手段が撮像した実物を特定することを特徴とする請求項１乃至４の何れかに記載のヘッドマウントディスプレイ。
PCT/JP2010/052608 2009-02-27 2010-02-22 ヘッドマウントディスプレイ WO2010098275A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-045260 2009-02-27
JP2009045260A JP2010200209A (ja) 2009-02-27 2009-02-27 ヘッドマウントディスプレイ

Publications (1)

Publication Number Publication Date
WO2010098275A1 true WO2010098275A1 (ja) 2010-09-02

Family

ID=42665482

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/052608 WO2010098275A1 (ja) 2009-02-27 2010-02-22 ヘッドマウントディスプレイ

Country Status (2)

Country Link
JP (1) JP2010200209A (ja)
WO (1) WO2010098275A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2530769A (en) * 2014-10-01 2016-04-06 Asda Stores Ltd System and method for monitoring display unit compliance

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5423716B2 (ja) * 2011-03-30 2014-02-19 ブラザー工業株式会社 ヘッドマウントディスプレイ

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08202436A (ja) * 1995-01-30 1996-08-09 Fuji Electric Co Ltd 監視制御方式
JPH11142784A (ja) * 1997-11-04 1999-05-28 Shimadzu Corp 位置検出機能付きヘッドマウントディスプレイ

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005038008A (ja) * 2003-07-15 2005-02-10 Canon Inc 画像処理方法、画像処理装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08202436A (ja) * 1995-01-30 1996-08-09 Fuji Electric Co Ltd 監視制御方式
JPH11142784A (ja) * 1997-11-04 1999-05-28 Shimadzu Corp 位置検出機能付きヘッドマウントディスプレイ

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2530769A (en) * 2014-10-01 2016-04-06 Asda Stores Ltd System and method for monitoring display unit compliance
GB2530769B (en) * 2014-10-01 2017-05-17 Asda Stores Ltd System and method for monitoring display unit compliance
US10360613B2 (en) 2014-10-01 2019-07-23 Walmart Apollo, Llc System and method for monitoring display unit compliance

Also Published As

Publication number Publication date
JP2010200209A (ja) 2010-09-09

Similar Documents

Publication Publication Date Title
JP5104679B2 (ja) ヘッドマウントディスプレイ
JP5293025B2 (ja) ヘッドマウントディスプレイ
JP5195537B2 (ja) ヘッドマウントディスプレイ
JP5423716B2 (ja) ヘッドマウントディスプレイ
US8514148B2 (en) Head mount display
WO2010071110A1 (ja) ヘッドマウントディスプレイ
US20110316763A1 (en) Head-mounted display apparatus, image control method and image control program
WO2011111201A1 (ja) 画像位置調整装置
EP2107414A1 (en) Head mount display and head mount display system
US20110128364A1 (en) Head mounted display apparatus and image sharing system using the same
US10502962B2 (en) Projection type display device and projection control method
JP5012781B2 (ja) ヘッドマウントディスプレイ
JP2010139575A (ja) シースルー型ヘッドマウント表示装置
JP2010139901A (ja) ヘッドマウントディスプレイ
JP2011066549A (ja) ヘッドマウントディスプレイ
JP2010067154A (ja) ヘッドマウントディスプレイ、情報閲覧システム及び管理サーバ
WO2010098275A1 (ja) ヘッドマウントディスプレイ
JP5251813B2 (ja) 作業支援システム、ヘッドマウントディスプレイ及びプログラム
JP5223835B2 (ja) ヘッドマウントディスプレイ
JP5109952B2 (ja) ヘッドマウントディスプレイ
JP5163535B2 (ja) ヘッドマウントディスプレイ
JP2011065392A (ja) ヘッドマウントディスプレイ
JP5012780B2 (ja) ヘッドマウントディスプレイ
JP2011070093A (ja) ヘッドマウントディスプレイ
JP5163534B2 (ja) ヘッドマウントディスプレイ

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10746156

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10746156

Country of ref document: EP

Kind code of ref document: A1