WO2010098275A1 - ヘッドマウントディスプレイ - Google Patents

ヘッドマウントディスプレイ Download PDF

Info

Publication number
WO2010098275A1
WO2010098275A1 PCT/JP2010/052608 JP2010052608W WO2010098275A1 WO 2010098275 A1 WO2010098275 A1 WO 2010098275A1 JP 2010052608 W JP2010052608 W JP 2010052608W WO 2010098275 A1 WO2010098275 A1 WO 2010098275A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
real
imaging
user
displayed
Prior art date
Application number
PCT/JP2010/052608
Other languages
English (en)
French (fr)
Inventor
康輔 森
Original Assignee
ブラザー工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ブラザー工業株式会社 filed Critical ブラザー工業株式会社
Publication of WO2010098275A1 publication Critical patent/WO2010098275A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Definitions

  • the present invention relates to a head mounted display that displays a real image showing a real product or a related image related to the real product.
  • HMD head mounted display
  • Patent Document 1 a head mounted display
  • Patent Document 1 a head mounted display (hereinafter, referred to as HMD) that displays an actual image showing an actual object or a related image related to the actual object.
  • HMD head mounted display
  • the HMD described in Patent Document 1 when a user wearing the HMD directs his / her line of sight toward a specific real object, an actual image showing the real object is displayed.
  • the HMD determines that the user is interested in the actual object when the user visually recognizes the actual image for a certain period of time.
  • the HMD also displays a related image related to the actual object. In this way, the HMD reflects the user's interest in the display image.
  • the HMD described in Patent Document 1 has a problem in that related images are displayed even when the user does not desire, and the user feels troublesome.
  • the HMD described in Patent Document 1 has a problem in that related images are displayed even when the user does not desire, and the user feels troublesome.
  • a head-mounted display is a head-mounted display that is mounted on a user's head and includes a display unit that displays an image in the user's eyes, and the head-mounted display of the user wearing the head-mounted display
  • the real image in the field of view is imaged as a real image, and an imaging unit that allows the user to set an imaging condition when imaging the real image, and a related image that is an image related to the real image captured by the imaging unit.
  • Related image storage means for storing corresponding to the real object, selection means for selecting one of the real image and the related image based on the imaging condition, and the real image is selected by the selection means.
  • the actual image is displayed on the display means, and when the related image is selected, it is stored in the related image storage means.
  • a display control means for displaying the associated images associated with the real captured by the imaging unit on the display unit.
  • the user can set the imaging conditions. An actual image or a related image is selected based on the set imaging condition. The selected image is displayed on the head mounted display. Therefore, the user can easily switch between the real image and the related image based on the user's intention.
  • the head mounted display includes an actual object specifying unit that specifies an actual object included in an actual image captured by the imaging unit, and the display control unit is configured to store the related image stored in the related image storage unit.
  • the related image associated with the real object specified by the real object specifying means may be displayed.
  • the HMD can specify which real image is an image showing an actual object included in the captured image captured by the imaging unit.
  • the display control means can display a related image corresponding to an actual object included in the photographed image among the related images stored in the related image storage means.
  • the related image storage means of the head mounted display stores an internal image corresponding to a position where the user sees the actual object as the related image, corresponding to each position, and the actual specifying means specifies The position where the real object is imaged is also specified, and the display control means, when displaying the related image, in the position specified by the real object specifying means among the internal images stored in the related image storage means.
  • the corresponding internal image may be displayed on the display means. The user can visually recognize the actual internal image.
  • the internal image corresponds to the position of the user viewing the real object. Therefore, the user can grasp the inside of the real thing from multiple directions.
  • the imaging unit of the head mounted display can set an imaging magnification as the imaging condition, and the selection unit selects the real image when the imaging magnification is equal to or less than a predetermined threshold, and the imaging magnification is The related image may be selected when it is larger than the predetermined threshold.
  • the user determines an actual image or a related image as an image to be displayed on the HMD by setting the imaging magnification. The user can easily switch the image to be displayed on the HMD. Generally, the user intuitively sets a larger imaging magnification for an actual object that is interested, that is, an actual object for which a related image is to be displayed.
  • the selection means selects the actual image when the imaging magnification is smaller than a predetermined value.
  • the selection unit selects a related image when the imaging magnification is equal to or greater than a predetermined value. As a result, the user can easily determine an image to be displayed on the HMD.
  • identification information for identifying itself is attached to a real object imaged by the imaging means, and the real identification means is based on the identification information included in the real image,
  • the real thing imaged by the imaging means may be specified.
  • the HMD identifies the real object based on the identification information.
  • the HMD can reliably identify the actual object imaged by the imaging means.
  • FIG. 3 is a conceptual diagram of a table 301 stored in a storage device 300.
  • FIG. It is the flowchart which showed the process which the control part 110 performs. It is a figure which shows the real image 404 displayed on HMD1. It is a figure which shows the real image 404 displayed on HMD1. It is a figure which shows the internal image 403a1 displayed on HMD1. It is a figure which shows the internal image 403a2 displayed on HMD1. It is a figure for demonstrating the method of determining in which position the user 50 is with respect to the motor vehicle 401.
  • the HMD 1 and the storage device 300 are connected via a network 200.
  • the HMD 1 is worn by the user 50.
  • the user 50 visually recognizes automobiles 401a, 401b, and 401c (hereinafter collectively referred to as “automobile 401”).
  • the automobiles 401a, 401b, and 401c have different vehicle types.
  • a barcode 402 (identification information) is attached to the front and side surfaces of the automobile 401. Specifically, a barcode 402a1 is attached to the front surface of the automobile 401a. A barcode 402a2 is attached to the side surface of the automobile 401a. A barcode 402b1 is attached to the front surface of the automobile 401b. A barcode 402b2 is attached to the side surface of the automobile 401b.
  • a barcode 402c1 is attached to the front surface of the automobile 401c.
  • a barcode 402c2 is attached to the side surface of the automobile 401c. Unique barcodes are also attached to the front and side surfaces of other automobiles not shown.
  • the barcodes 402a1 to 402c2 are information for specifying the automobiles 401a to 401c.
  • the barcodes 402a1 to 402c2 are also information for specifying an imaging position when an image is captured by the CCD sensor 2 described later. That is, the barcodes 402a1 to 402c2 are also information for specifying whether the user 50 is at a position for imaging the front surface of the automobile 401 or a position for imaging the side surface.
  • the HMD 1 includes an optical scanning unit 10.
  • the optical scanning unit 10 includes an image light generation unit 20, a collimating optical system 61, a horizontal scanning unit 70, a vertical scanning unit 80, and relay optical systems 75 and 90.
  • the optical scanning unit 10 converts various kinds of information stored inside or outside into image light.
  • the light scanning unit 10 guides and scans the image light generated based on the image signal to the eye E of the user 50.
  • the user 50 turns on the power of the HMD 1 with the HMD 1 mounted on the head of the user 50.
  • the optical scanning unit 10 starts operating.
  • the image light is scanned in the two-dimensional direction on the retina of the user 50 by the operation of the optical scanning unit 10.
  • the HMD 1 can cause the user 50 to visually recognize an image corresponding to the information.
  • the HMD 1 is configured so that the user 50 cannot visually recognize the outside world.
  • the image light generation unit 20 generates signals and the like that are elements for combining images.
  • the image light generation unit 20 reads the image signal supplied from the control unit 110 for each dot clock.
  • the image light generation unit 20 generates a laser beam (image light) whose intensity is modulated according to the read video signal and emits the laser beam to the optical fiber 100.
  • the image light generation unit 20 includes a signal processing circuit 21, a light source unit 30, a light combining unit 40, and a coupling optical system 47.
  • the signal processing circuit 21 receives an image signal supplied from an external device such as a personal computer (not shown) via the interface 104 and the control unit 110. Based on the received image signal, the signal processing circuit 21 generates blue (B), green (G), and red (R) image signals for each dot clock.
  • the signal processing circuit 21 outputs the generated image signals to the light source unit 30 via the signal lines 22a to 22c.
  • the signal processing circuit 21 outputs a horizontal drive signal used in the horizontal scanning unit 70 to the horizontal scanning unit 70 via the signal line 23.
  • the signal processing circuit 21 outputs a vertical drive signal used in the vertical scanning unit 80 to the vertical scanning unit 80 via the signal line 24.
  • the light source unit 30 receives the three image signals (B, G, R) output from the signal processing circuit 21 via the signal lines 22a to 22c.
  • the light source unit 30 is an image light output unit that outputs blue, green, and red image light according to the received image signal.
  • the light source unit 30 includes a B laser 34, a B laser driver 31, a G laser 35, a G laser driver 32, an R laser 36, and an R laser driver 33.
  • the B laser 34 generates blue image light.
  • the B laser driver 31 drives the B laser 34.
  • the G laser 35 generates green image light.
  • the G laser driver 32 drives the G laser 35.
  • the R laser 36 generates red image light.
  • the R laser driver 33 drives the R laser 36.
  • the lasers 34 to 36 for example, a semiconductor laser or a solid-state laser with a harmonic generation mechanism can be used.
  • a semiconductor laser intensity modulation of image light can be performed by directly modulating the drive current.
  • an external modulator is provided for each of the lasers 34-36. The external modulator performs intensity modulation of the image light.
  • the light combining unit 40 combines the image light output from the lasers 34 to 36 into one image light to generate arbitrary image light.
  • the light combining unit 40 includes collimating optical systems 41 to 43 and dichroic mirrors 44 to 46.
  • the collimating optical systems 41 to 43 collimate the image light emitted from the lasers 34 to 36 of the light source unit 30 into parallel light.
  • the dichroic mirrors 44 to 46 synthesize collimated image light. In the dichroic mirrors 44 to 46, each image light is selectively reflected and transmitted with respect to the wavelength.
  • the coupling optical system 47 guides the combined image light to the optical fiber 100.
  • the blue image light emitted from the B laser 34 is collimated by the collimating optical system 41.
  • the collimated blue image light is incident on the dichroic mirror 44.
  • the green image light emitted from the G laser 35 enters the dichroic mirror 45 through the collimating optical system 42.
  • the red image light emitted from the R laser 36 enters the dichroic mirror 46 through the collimating optical system 43.
  • the image light of the three primary colors incident on the dichroic mirrors 44 to 46 is reflected or transmitted in a wavelength selective manner and reaches the coupling optical system 47.
  • the image light is collected by the coupling optical system 47 and output to the optical fiber 100.
  • the collimating optical system 61, the horizontal scanning unit 70, the vertical scanning unit 80, and the relay optical systems 75 and 90 are provided between the image light generation unit 20 and the eye E of the user 50.
  • the collimating optical system 61 converts the image light emitted from the optical fiber 100 into parallel light.
  • the horizontal scanning unit 70 and the vertical scanning unit 80 make the image light emitted from the optical fiber 100 projectable as an image.
  • the horizontal scanning unit 70 and the vertical scanning unit 80 scan the image light in the horizontal direction and the vertical direction to obtain scanned image light.
  • the horizontal scanning unit 70 reciprocally scans the image light that has been collimated by the collimating optical system 61 in the horizontal direction (first direction).
  • the horizontal scanning unit 70 functions as a first light scanning unit.
  • the vertical scanning unit 80 reciprocates and scans the image light scanned in the horizontal direction in the horizontal scanning unit 70 in the vertical direction (second direction substantially orthogonal to the first direction).
  • the vertical scanning unit 80 functions as a second light scanning unit.
  • the relay optical system 75 is provided between the horizontal scanning unit 70 and the vertical scanning unit 80.
  • the relay optical system 90 emits image light scanned (two-dimensionally scanned) in the horizontal direction and the vertical direction to the pupil Ea.
  • the horizontal scanning unit 70 includes a resonant deflection element 71, a horizontal scanning control circuit 72, and a horizontal scanning angle detection circuit 73.
  • the resonant deflection element 71 has a reflection surface for scanning image light in the horizontal direction.
  • the horizontal scanning control circuit 72 resonates the resonance type deflection element 71.
  • the horizontal scanning control circuit 72 is a driving signal generation circuit that generates a driving signal for swinging the reflection surface of the resonance type deflection element 71.
  • the horizontal scanning angle detection circuit 73 detects a swing state such as a swing range and a swing frequency of the reflection surface of the resonant deflection element 71 based on the displacement signal output from the resonant deflection element 71.
  • the horizontal scanning angle detection circuit 73 outputs a signal indicating the detected oscillation state of the resonance type deflection element 71 to the control unit 110.
  • the vertical scanning unit 80 includes a deflection element 81, a vertical scanning control circuit 82, and a vertical scanning angle detection circuit 83.
  • the deflection element 81 scans the image light in the vertical direction.
  • the vertical scanning control circuit 82 drives the deflection element 81.
  • the vertical scanning angle detection circuit 83 detects a rocking state such as a rocking range and a rocking frequency of the reflecting surface by the vertical scanning control circuit 82.
  • the vertical scanning angle detection circuit 83 outputs a signal indicating the detected swing state of the deflection element 81 to the control unit 110.
  • the horizontal scanning control circuit 72 is driven based on a horizontal drive signal received from the signal processing circuit 21 via the signal line 23.
  • the vertical scanning control circuit 82 is driven based on a vertical drive signal received from the signal processing circuit 21 via the signal line 24.
  • the relay optical system 75 relays image light between the horizontal scanning unit 70 and the vertical scanning unit 80.
  • the relay optical system 75 causes the image light scanned in the horizontal direction by the resonance type deflection element 71 to enter the reflection surface of the deflection element 81.
  • the image light incident on the deflection element 81 is scanned in the vertical direction. Scanned image light scanned two-dimensionally is emitted from the vertical scanning unit 80 to the relay optical system 90.
  • the relay optical system 90 has lens systems 91 and 94.
  • the lens systems 91 and 94 have a positive refractive power.
  • the scanning image light for display emitted from the vertical scanning unit 80 is converted to be substantially parallel to the center line of the image light by the lens system 91.
  • the scanned image light is converted by the lens system 94 so that the center line of the image light converges on the pupil Ea of the user 50.
  • the image light emitted from the optical fiber 100 is scanned in the horizontal direction by the horizontal scanning unit 70. Thereafter, the image light is scanned in the vertical direction by the vertical scanning unit 80.
  • the arrangement of the horizontal scanning unit 70 and the vertical scanning unit 80 may be interchanged. The image light may be scanned in the horizontal direction by the horizontal scanning unit 70 after being scanned in the vertical direction by the vertical scanning unit 80.
  • the HMD 1 includes a control unit 110.
  • the controller 110 controls the overall operation of the HMD 1.
  • the control unit 110 supplies an image signal to the optical scanning unit 10 and scans the image light two-dimensionally. As a result, the HMD 1 displays an image and allows the user to visually recognize an image corresponding to the image signal.
  • the control unit 110 controls the operation of the signal processing circuit 21.
  • the controller 110 adjusts the horizontal drive signal and the vertical drive signal.
  • the horizontal scanning unit 70 and the vertical scanning unit 80 change the scanning angle of the image light to form an image to be displayed.
  • the control unit 110 detects a scanning angle based on detection signals from the horizontal scanning angle detection circuit 73 and the vertical scanning angle detection circuit 83. The scanning angle is fed back to the horizontal drive signal via the signal processing circuit 21. The scanning angle is fed back to the vertical drive signal via the signal processing circuit 21.
  • the control unit 110 includes a CPU 101, a flash memory 102, and a RAM 103.
  • the flash memory 102 is a nonvolatile memory.
  • the CPU 101, the flash memory 102, and the RAM 103 are each connected to a data communication bus.
  • the CPU 101, the flash memory 102, and the RAM 103 perform transmission / reception of various information via a data communication bus.
  • the HMD 1 includes a power switch SW of the HMD 1, a CCD sensor 2, a brightness sensor 8, an LED 3, an operation switch 7, a communication control circuit 9, an imaging magnification setting unit 11, and an interface 104.
  • the control unit 110 is connected to the power switch SW of the HMD 1, the CCD sensor 2, the luminance sensor 8, the LED 3, the operation switch 7, the communication control circuit 9, the imaging magnification setting unit 11, and the interface 104.
  • the CPU 101 executes various information processing programs stored in the flash memory 102. As a result, the CPU 101 operates various circuits (not shown) constituting the HMD 1.
  • the CPU 101 is an arithmetic processing device that executes various functions included in the HMD 1.
  • the flash memory 102 stores various information processing programs executed by the CPU 101.
  • Examples of the information processing program include an information processing program for operating the image light generation unit 20, the horizontal scanning unit 70, the vertical scanning unit 80, and the like. By this program, image display control is executed in the HMD 1.
  • the CCD sensor 2 is an image pickup unit that picks up an image of the automobile 401 in the visual field direction of the user 50.
  • the luminance sensor 8 detects the brightness of the outside world.
  • the LED 3 illuminates the imaging range of the CCD sensor 2.
  • the LED 3 illuminates the imaging range of the CCD sensor 2 when the brightness of the outside world detected by the brightness sensor 8 falls below a predetermined brightness.
  • the operation switch 7 can be operated by the user 50.
  • the communication control circuit 9 controls communication with other devices.
  • the imaging magnification setting unit 11 sets the imaging magnification by the CCD sensor 2.
  • the interface 104 can be connected to an external device such as a personal computer.
  • the user 50 can set the imaging magnification via the imaging magnification setting unit 11.
  • the imaging magnification set via the imaging magnification setting unit 11 is set within a predetermined zoom range when performing digital zoom. As an example, it is 1 to 5 times. When an electric zoom lens (not shown) is provided in the CCD sensor 2 and optical zoom is performed, the magnification of the electric zoom lens may be set. For example, it is 1 to 3 times.
  • the imaging magnification set via the imaging magnification setting unit 11 is stored in the flash memory 102.
  • the HMD 1 includes a closing member (not shown). The blocking member closes around the eyes of the user 50 so that the user 50 cannot visually recognize the outside world.
  • the storage device 300 will be described with reference to FIGS.
  • the storage device 300 corresponds to the “related image storage unit” of the present invention.
  • a table 301 is stored in the storage device 300.
  • the table 301 includes related images.
  • the related image is an image related to each automobile 401 that may be captured by the CCD sensor 2.
  • the table 301 includes an automobile classification field 302, an imaging position field 303, a barcode storage field 304, and a related image storage field 305.
  • the automobile classification column 302 information indicating each automobile 401a, 401b, 401c is stored.
  • the imaging position column 303 information indicating from which direction the automobile 401 is imaged is stored.
  • the barcode storage column 304 numbers indicating the barcodes 402a1, 402a2, 402b1, 402b2, 402c1, and 402c2 previously attached to the respective automobiles 401 are stored.
  • Japanese JIS standard, European EAN standard, or American UPC standard is applied, a 13-digit or 8-digit number is stored.
  • the bar code storage field 304 only needs to store a numerical value corresponding to the bar code to be used.
  • An image of the barcode itself may be stored. Both bar codes and numerical values may be stored.
  • internal images 403a1, 403a2, 403b1, 403b2, 403c1, 403c2,... are stored as related images.
  • Internal images 403a1 to 403c2 show the insides of the automobiles 401a, 401b, and 401c corresponding to the barcodes 402a1 to 402c2. Specifically, an internal image 403a1 of the automobile 401a when the automobile 401a is viewed from the front is associated with the barcode 402a1. An internal image 403a2 of the automobile 401a when the automobile 401a is viewed from the side is associated with the barcode 402a2.
  • An internal image 403b1 of the automobile 401b when the automobile 401b is viewed from the front is associated with the barcode 402b1.
  • An internal image 403b2 of the automobile 401b when the automobile 401b is viewed from the side is associated with the barcode 402b2.
  • An internal image 403c1 of the automobile 401c when the automobile 401c is viewed from the front is associated with the barcode 402c1.
  • An internal image 403c2 of the automobile 401c when the automobile 401c is viewed from the side is associated with the barcode 402c2.
  • the processing executed by the control unit 110 will be described with reference to the flowchart of FIG. This process is started by the control unit 110 when the start button included in the operation switch 7 is operated by the user 50.
  • the control unit 110 letting the user 50 visually recognize an image corresponding to information by scanning the image light in a two-dimensional direction on the retina of the user 50 is referred to as “display”.
  • the vehicle 401 within the field of view of the user 50 is imaged by the CCD sensor 2 under the control of the control unit 110 (S11).
  • a real image 404 (see FIGS. 5 and 6) is acquired.
  • the barcode 402 is extracted from the actual image 404 (S12).
  • a known image recognition method is used as the extraction method.
  • From the actual image 404 an image of a portion indicating the characteristic of the barcode is cut out. Processing such as noise removal is performed.
  • the image of the barcode 402 is converted into a numerical value (S12). It is specified which numerical value of the converted result matches the barcode 402a1, 402a2, 402b1, 402b2, 402c1, 402c2,...
  • S13 the barcode storage column 304 of the table 301 stored in the storage device 300.
  • the imaging magnification set by the user 50 via the imaging magnification setting unit 11 is greater than a predetermined threshold magnification (for example, 2 times)? It is determined whether or not (S14).
  • a predetermined threshold magnification for example, 2 times
  • S14 the imaging magnification is equal to or less than the threshold magnification (S14: NO)
  • the real image 404 captured in S11 is displayed (S17).
  • the actual image 404 is displayed with a size corresponding to the imaging magnification (S17). Since the user 50 cannot visually recognize the outside world, the user 50 cannot directly visually recognize the automobile 401. However, the automobile 401 can be recognized by visually recognizing the real image 404.
  • the internal image 403 stored in the storage device 300 is displayed in association with the barcode 402 specified in S13 (S15).
  • An internal image is displayed with a size corresponding to the imaging magnification (S15).
  • S13 the barcode 402a1
  • FIG. 7 an internal image 403a1 of the automobile 401a when the automobile 401a is viewed from the front is displayed.
  • the barcode 402a2 is specified in S13, as shown in FIG. 8
  • an internal image 403a2 of the automobile 401a when the automobile 401a is viewed from the horizontal direction is displayed.
  • the user 50 can recognize the inside of the automobile 401 by visually recognizing the internal image 403. If the barcode is not specified in the determination process of S13 (S13: NO), a real image is displayed (S17).
  • the automobile 401 is imaged by the CCD sensor 2 and the real image 404 is acquired.
  • the car 401 indicated by the real image 404 is specified by the barcode 402.
  • a real image 404 is displayed.
  • an internal image 403 corresponding to the real image 404 is displayed.
  • the user 50 can set the imaging magnification. Based on the imaging magnification set by the user 50, the real image 404 or the internal image 403 is displayed on the HMD1. Accordingly, the user 50 can easily switch between the real image 404 and the internal image 403 based on the intention of the user 50.
  • the user 50 can visually recognize the internal image 403 of the automobile 401.
  • the internal image 403 corresponds to the position where the user 50 views the automobile 401. Therefore, the user 50 can grasp the inside of the automobile 401 from multiple directions.
  • the HMD 1 determines the image to be displayed as the real image 404 or the internal image 403 according to the imaging magnification. Therefore, the user 50 can easily switch the image to be displayed. In general, it is considered that the user 50 intuitively sets a larger imaging magnification for the car 401 that is interested, that is, the car 401 that wants to display the internal image 403. Therefore, the HMD 1 displays the real image 404 when the imaging magnification is smaller than the predetermined value. The HMD 1 displays the internal image 403 when the imaging magnification is greater than or equal to a predetermined value. The user 50 can easily execute an operation for determining which image to display.
  • the HMD 1 specifies the automobile 401 based on the barcode (identification information).
  • the HMD 1 can reliably identify the automobile 401 imaged by the CCD sensor 2.
  • the barcode 402 is used when specifying the automobile 401 and the imaging position.
  • Other identification information such as a QR code (registered trademark) or an IC tag may be attached to the automobile 401.
  • the automobile 401 and the imaging position may be specified based on the identification information.
  • the imaging positions were limited to two, the front and side of the automobile 401. Many more imaging positions, such as backward and diagonally forward, may be employed.
  • An internal image 403 when viewed from multiple directions may be displayed. In this case, an internal image 403 corresponding to each direction needs to be prepared.
  • the position of the user 50 with respect to the automobile 401 may be determined based on the size and inclination of the barcode 402 included in the real image 404, for example.
  • the barcode when the user is positioned in front of the barcode 402 attached to the automobile 401, the barcode is photographed without distortion.
  • the barcode When the user is at an oblique position with respect to the barcode 402 attached to the automobile 401, the barcode is photographed in a distorted state.
  • the HMD 1 can determine the positional relationship of the user 50 with respect to the automobile 401 (see FIG. 9).
  • the position of each car 401 is stored in advance.
  • the position of the user 50 is detected by the GPS receiver. Based on the position of the automobile 401 and the position of the user 50, the position of the user 50 with respect to the automobile 401 may be determined.
  • light emitters are attached to the four corners of the automobile 401.
  • the relative position between the light emitters is specified. Based on the specified relative position, the position of the user 50 relative to the automobile 401 may be determined.
  • the internal image 403 showing the inside of the automobile 401 is used as the related image.
  • the content of the related image is not limited as long as it is an image related to the automobile 401.
  • it may be a three-dimensional CAD line of the automobile 401, a model name, an image showing fuel consumption, or the like.
  • the imaging target is the automobile 401, but another real object may be the imaging target.
  • the real image 404 and the internal image 403 are switched based on the imaging magnification.
  • the real image 404 and the internal image 403 may be switched based on other imaging conditions.
  • the switching may be performed based on the distance between the user 50 and the car 401 to be imaged.
  • the distance may be determined based on the size of the ratio of the image corresponding to the automobile 401 to the entire area of the real image 404. Further, the distance may be determined by the size of the barcode 402 and the focus adjustment.
  • optical zoom and digital zoom may be used in combination. Specifically, when changing the magnification within the range of 1 to 3 times, only the optical zoom is used. When changing the magnification within the range of 3 to 15 times, the optical zoom (3 times) and the digital zoom (1 to 5 times) (The value obtained by multiplying the optical zoom magnification and the digital zoom magnification is the combined magnification.) Further, when the threshold value in S14 of FIG. 4 is set to 3 times and only the optical zoom is used (1 to 3 times), a real image is displayed (S17), and the optical zoom and the digital zoom are used together (3 ( ⁇ 15 times), an internal image may be displayed (S15). The threshold may be applied only to the digital zoom magnification (1 to 5 times).
  • the storage device 300 is provided separately from the HMD 1.
  • the storage device 300 may be configured with a flash memory or the like.
  • the flash memory may be integrated with the HMD 1.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Studio Devices (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)

Abstract

CCDセンサによって、ヘッドマウントディスプレイの使用者の視野方向が撮影される(S11)。撮像された画像から、バーコードが抽出される(S12)。バーコードから、自動車が特定される(S13)。撮像倍率が閾値倍率以下の場合には(S14:NO)、実物画像が表示される(S17)。撮像倍率が閾値倍率より大きい場合には(S14:YES)、実物画像に対応した内部画像が表示される(S15)。撮像倍率は、使用者が設定可能である。撮像倍率に基づいて、実物画像又は内部画像がヘッドマウントディスプレイに表示される。

Description

ヘッドマウントディスプレイ
 本発明は、実物を示した実物画像、若しくは実物に関連した関連画像を表示するヘッドマウントディスプレイに関する。
 従来、実物を示した実物画像、若しくは実物に関連した関連画像を表示するヘッドマウントディスプレイ(Head Mounted Display:以下HMD)が提案されている(例えば、特許文献1参照。)。特許文献1に記載のHMDは、HMDを装着した使用者が、特定の実物の方向に視線を向けた場合には、その実物を示した実物画像を表示する。HMDは、使用者が一定時間以上実物画像を視認した場合には、使用者がその実物に興味を示していると判断する。この場合、HMDは、その実物に関連する関連画像も表示する。このようにしてHMDは、使用者の興味を表示画像に反映させている。
特開2005-38008号公報
 しかしながら、一定時間以上、使用者が同じ実物画像を見ている場合でも、常に使用者がその実物画像で示される実物に興味を示しているとは限らない。使用者は、何も考えずに一点を見ている場合もある。この場合、特許文献1に記載のHMDでは、使用者が所望しない場合にも関連画像が表示されてしまい、使用者が煩わしく感じるという問題点があった。また、使用者の視線方向に実物が複数有る場合、使用者が見ている実物を選択することができない。このため使用者は、所望の関連画像を見ることができないという問題点があった。
 本発明は、実物を示した実物画像、若しくは実物に関連した関連画像を表示するHMDにおいて、実物画像と関連画像とを使用者の意思に基づいて簡易に切り替えることができるHMDを提供することを目的とする。
 本発明に係るヘッドマウントディスプレイは、使用者の頭部に装着され、当該使用者の目に画像を表示する表示手段を備えたヘッドマウントディスプレイであって、当該ヘッドマウントディスプレイを装着する使用者の視野にある実物を実物画像として撮像するとともに、前記実物を撮像する場合の撮像条件を前記使用者が設定可能な撮像手段と、当該撮像手段によって撮像される実物に関連した画像である関連画像を、前記実物に対応させて記憶する関連画像記憶手段と、前記撮像条件に基づいて、前記実物画像と前記関連画像のいずれか一方を選択する選択手段と、当該選択手段によって前記実物画像が選択された場合には、前記実物画像を前記表示手段に表示し、前記関連画像が選択された場合には、前記関連画像記憶手段に記憶されている前記関連画像のうち、前記撮像手段によって撮像される実物に対応づけられている関連画像を前記表示手段に表示する表示制御手段とを備えている。
 本発明に係るヘッドマウントディスプレイによれば、撮像条件は使用者が設定可能である。設定された撮像条件に基づいて、実物画像又は関連画像が選択される。選択された画像は、ヘッドマウントディスプレイに表示される。したがって使用者は、実物画像と関連画像とを使用者の意思に基づいて簡易に切り替えることができる。
 前記ヘッドマウントディスプレイは、前記撮像手段によって撮像された実物画像に含まれている実物を特定する実物特定手段を備え、前記表示制御手段は、前記関連画像記憶手段に記憶されている前記関連画像のうち、当該実物特定手段によって特定された前記実物に対応づけられている前記関連画像を表示してもよい。
 HMDは、撮像手段によって撮像された撮像画像に含まれている実物を示した画像が、どの実物を示した画像なのかを特定できる。表示制御手段は、前記関連画像記憶手段に記憶されている関連画像のうち、撮影画像に含まれている実物に対応した関連画像を表示できる。
 前記ヘッドマウントディスプレイの前記関連画像記憶手段は、前記関連画像として、前記使用者がその実物を見る位置に対応した内部画像を、各位置に対応させて記憶し、前記実物特定手段は、特定した実物を撮像した位置も特定し、前記表示制御手段は、前記関連画像を表示する場合には、前記関連画像記憶手段に記憶されている前記内部画像のうち前記実物特定手段によって特定された位置に対応した前記内部画像を前記表示手段に表示してもよい。
 使用者は、実物の内部画像を視認できる。内部画像は、実物を見る使用者の位置に対応している。したがって、使用者は、実物の内部を多方向から把握できる。
 前記ヘッドマウントディスプレイの前記撮像手段は、前記撮像条件として、撮像倍率を設定可能であり、前記選択手段は、前記撮像倍率が所定の閾値以下の場合に前記実物画像を選択し、前記撮像倍率が前記所定の閾値より大きい場合に前記関連画像を選択してもよい。
 使用者は、撮像倍率を設定することによって、実物画像又は関連画像をHMDに表示させる画像として決定する。使用者は、HMDに表示させる画像を容易に切り替えることができる。一般的に使用者は、興味がある実物、すなわち関連画像を表示させたい実物ほど、直感的に撮像倍率を大きく設定する。選択手段は、撮像倍率が所定値より小さい場合に実物画像を選択する。選択手段は、撮像倍率が所定値以上の場合に関連画像を選択する。結果、使用者は、HMDに表示させる画像を容易に決定できる。
 前記ヘッドマウントディスプレイでは、前記撮像手段によって撮像される実物には、自身を識別する識別情報が付されており、前記実物特定手段は、前記実物画像に含まれている前記識別情報に基づいて、前記撮像手段が撮像した実物を特定してもよい。
 HMDは、識別情報に基づいて実物を特定する。HMDは、撮像手段が撮像した実物を確実に特定できる。
HMD1が適用されるHMDシステム5の概略構成を示した図である。 HMD1の電気的及び光学的構成を示す説明図である。 記憶装置300に記憶されているテーブル301の概念図である。 制御部110が実行する処理を示したフローチャートである。 HMD1に表示された実物画像404を示す図である。 HMD1に表示された実物画像404を示す図である。 HMD1に表示された内部画像403a1を示す図である。 HMD1に表示された内部画像403a2を示す図である。 使用者50が自動車401に対してどの位置に居るのかを判定する方法を説明するための図である。
 以下、本発明に係るHMDの実施形態について、図面を参照して説明する。図1に示すように、HMDシステム5では、HMD1と記憶装置300とがネットワーク200を介して接続されている。HMD1は使用者50によって装着される。
 使用者50は、一例として、自動車401a、401b、401c(以下、総称して「自動車401」ともいう)を視認する。自動車401a、401b、401cは、それぞれ車種が異なっている。自動車401の前面と側面とに、バーコード402(識別情報)が付されている。詳細には、自動車401aの前面にバーコード402a1が付されている。自動車401aの側面にバーコード402a2が付されている。自動車401bの前面にバーコード402b1が付されている。自動車401bの側面にバーコード402b2が付されている。自動車401cの前面にバーコード402c1が付されている。自動車401cの側面にバーコード402c2が付されている。図示外の他の自動車の前面と側面にも、固有のバーコードが付されている。バーコード402a1~402c2は、自動車401a~401cを特定する情報である。バーコード402a1~402c2は、後述するCCDセンサ2にて撮像された場合の撮像位置を特定する情報でもある。すなわち、バーコード402a1~402c2は、使用者50が自動車401の前面を撮像する位置に居るのか、又は側面を撮像する位置に居るのかを特定する情報でもある。
 HMD1の構造について、図1及び図2を参照して説明する。図1及び図2に示すように、HMD1は、光走査部10を備えている。光走査部10は、画像光生成部20、コリメート光学系61、水平走査部70、垂直走査部80、及びリレー光学系75、90を備えている。
 光走査部10は、内部又は外部に記憶されている各種情報を画像光に変換する。光走査部10は、画像信号に基づいて生成した画像光を、使用者50の眼Eに導いて走査する。HMD1が使用者50の頭部に装着された状態で、使用者50はHMD1の電源を入れる。光走査部10は動作を開始する。光走査部10の動作により、画像光は使用者50の網膜上で2次元方向に走査される。これによってHMD1は、情報に対応する画像を使用者50に視認させることができる。HMD1は、使用者50が外界を視認できないように構成されている。
 画像光生成部20は、画像を合成するための要素となる各信号等を発生する。画像光生成部20は、制御部110から供給される画像信号をドットクロック毎に読み出す。画像光生成部20は、読み出した映像信号に応じて強度変調されたレーザビーム(画像光)を生成し、光ファイバ100に出射する。
 画像光生成部20は、信号処理回路21、光源部30、光合成部40、及び結合光学系47を備えている。信号処理回路21は、パーソナルコンピュータ(図示略)等の外部装置から供給される画像信号を、インターフェース104と制御部110とを介して受信する。信号処理回路21は、受信した画像信号に基づいて、青(B)、緑(G)、赤(R)の各画像信号をドットクロック毎に生成する。信号処理回路21は、生成した各画像信号を、信号線22a~22cを介して光源部30へ出力する。信号処理回路21は、水平走査部70で使用される水平駆動信号を、信号線23を介して水平走査部70へ出力する。信号処理回路21は、垂直走査部80で使用される垂直駆動信号を、信号線24を介して垂直走査部80へ出力する。
 光源部30は、信号処理回路21から出力された3つの画像信号(B,G,R)を、信号線22a~22cを介して受信する。光源部30は、受信した画像信号に応じた青、緑、赤の画像光を出力する画像光出力部である。光源部30は、Bレーザ34、Bレーザドライバ31、Gレーザ35、Gレーザドライバ32、Rレーザ36、及びRレーザドライバ33を備えている。Bレーザ34は、青色の画像光を発生させる。Bレーザドライバ31は、Bレーザ34を駆動する。Gレーザ35は、緑色の画像光を発生させる。Gレーザドライバ32は、Gレーザ35を駆動する。Rレーザ36は、赤色の画像光を発生させる。Rレーザドライバ33は、Rレーザ36を駆動する。レーザ34~36としては、例えば、半導体レーザや高調波発生機構付き固体レーザを使用できる。半導体レーザを用いる場合、駆動電流を直接変調して、画像光の強度変調を行うことができる。固体レーザを用いる場合、レーザ34~36それぞれに外部変調器を設ける。外部変調器は、画像光の強度変調を行う。
 光合成部40は、レーザ34~36から出力された画像光を、1つの画像光に結合して任意の画像光を生成する。光合成部40は、コリメート光学系41~43、及びダイクロイックミラー44~46を備えている。コリメート光学系41~43は、光源部30のレーザ34~36から出射した画像光を、平行光にコリメートする。ダイクロイックミラー44~46は、コリメートされた画像光を合成する。ダイクロイックミラー44~46では、各画像光が波長に関して選択的に反射・透過される。結合光学系47は、合成された画像光を光ファイバ100に導く。
 具体的には、Bレーザ34から出射した青色画像光は、コリメート光学系41によって平行光化される。平行化された青色画像光は、ダイクロイックミラー44に入射する。Gレーザ35から出射した緑色画像光は、コリメート光学系42を経てダイクロイックミラー45に入射する。Rレーザ36から出射した赤色画像光は、コリメート光学系43を経てダイクロイックミラー46に入射する。
 ダイクロイックミラー44~46に入射した3原色の画像光は、波長選択的に反射または透過して結合光学系47に達する。画像光は、結合光学系47において集光され、光ファイバ100へ出力される。
 コリメート光学系61、水平走査部70、垂直走査部80、及びリレー光学系75、90は、画像光生成部20と使用者50の眼Eとの間に設けられる。コリメート光学系61は、光ファイバ100から出射された画像光を平行光とする。水平走査部70及び垂直走査部80は、光ファイバ100から出射された画像光を画像として投影可能な状態にする。水平走査部70及び垂直走査部80は、画像光を水平方向と垂直方向に走査して走査画像光とする。水平走査部70は、コリメート光学系61において平行光化された画像光を、水平方向(第1方向)に往復走査する。水平走査部70は、第1光走査部として機能する。垂直走査部80は、水平走査部70において水平方向に走査された画像光を、垂直方向(第1方向と略直交する第2方向)に往復走査する。垂直走査部80は、第2光走査部として機能する。リレー光学系75は、水平走査部70と垂直走査部80との間に設けられている。リレー光学系90は、水平方向と垂直方向に走査(2次元的に走査)された画像光を、瞳孔Eaへ出射する。
 水平走査部70は、共振型偏向素子71、水平走査制御回路72、及び水平走査角検出回路73を備えている。共振型偏向素子71は、画像光を水平方向に走査するための反射面を有する。水平走査制御回路72は、共振型偏向素子71を共振させる。水平走査制御回路72は、共振型偏向素子71の反射面を揺動させる駆動信号を発生する駆動信号発生回路である。水平走査角検出回路73は、共振型偏向素子71から出力される変位信号に基づいて、共振型偏向素子71の反射面の揺動範囲及び揺動周波数等の揺動状態を検出する。
 水平走査角検出回路73は、検出した共振型偏向素子71の揺動状態を示す信号を、制御部110へ出力する。
 垂直走査部80は、偏向素子81、垂直走査制御回路82、及び垂直走査角検出回路83を備えている。偏向素子81は、画像光を垂直方向に走査する。垂直走査制御回路82は、偏向素子81を駆動する。垂直走査角検出回路83は、垂直走査制御回路82による反射面の揺動範囲及び揺動周波数等の揺動状態を検出する。垂直走査角検出回路83は、検出した偏向素子81の揺動状態を示す信号を、制御部110へ出力する。
 水平走査制御回路72は、信号線23を介して信号処理回路21から受信する水平駆動信号に基づいて駆動する。垂直走査制御回路82は、信号線24を介して信号処理回路21から受信する垂直駆動信号に基づいて駆動する。
 リレー光学系75は、水平走査部70と垂直走査部80との間で画像光を中継する。リレー光学系75は、共振型偏向素子71によって水平方向に走査された画像光を、偏向素子81の反射面に入射させる。偏向素子81に入射した画像光は、垂直方向に走査される。2次元的に走査された走査画像光は、垂直走査部80からリレー光学系90へ出射される。
 リレー光学系90は、レンズ系91、94を有している。レンズ系91、94は、正の屈折力を持つ。垂直走査部80から出射された表示用の走査画像光は、レンズ系91によって、画像光の中心線に対して略平行に変換される。走査画像光は、レンズ系94によって、画像光の中心線が使用者50の瞳孔Eaに収束するように変換される。
 本実施形態においては、光ファイバ100から出射した画像光は、水平走査部70によって水平方向に走査される。その後、画像光は、垂直走査部80によって垂直方向に走査される。本発明は、水平走査部70と垂直走査部80との配置を入れ替えてもよい。画像光が垂直走査部80によって垂直方向に走査された後、水平走査部70によって水平方向に走査されても良い。
 HMD1は、制御部110を備えている。制御部110は、HMD1全体の動作を統括制御する。制御部110は、光走査部10に対して画像信号を供給し、画像光を2次元的に走査させる。これによってHMD1は画像を表示し、画像信号に応じた画像を使用者に視認させることができる。
 制御部110は、信号処理回路21の動作を制御する。制御部110は、水平駆動信号と垂直駆動信号とを調整する。これによって水平走査部70と垂直走査部80とは、画像光の走査角を変更させ、表示する画像を形成させる。
 制御部110は、水平走査角検出回路73および垂直走査角検出回路83からの検出信号によって、走査角度を検出する。走査角度は、信号処理回路21を介して水平駆動信号にフィードバックされる。走査角度は、信号処理回路21を介して垂直駆動信号にフィードバックされる。
 制御部110は、CPU101と、フラッシュメモリ102と、RAM103とを備えている。フラッシュメモリ102は、不揮発性メモリである。CPU101、フラッシュメモリ102、及びRAM103は、データ通信用のバスにそれぞれ接続している。CPU101、フラッシュメモリ102、及びRAM103は、データ通信用のバスを介して各種情報の送受信を行う。
 HMD1は、HMD1の電源スイッチSW、CCDセンサ2、輝度センサ8、LED3、操作スイッチ7、通信制御回路9、撮像倍率設定部11、及びインターフェース104を備えている。制御部110は、HMD1の電源スイッチSW、CCDセンサ2、輝度センサ8、LED3、操作スイッチ7、通信制御回路9、撮像倍率設定部11、及びインターフェース104と接続している。
 CPU101は、フラッシュメモリ102に記憶されている各種情報処理プログラムを実行する。これによりCPU101は、HMD1を構成する図示しない各種回路を動作させる。CPU101は、HMD1が備える各種機能を実行させる演算処理装置である。
 フラッシュメモリ102は、CPU101により実行される各種情報処理プログラムを記憶している。情報処理プログラムとして、画像光生成部20、水平走査部70、垂直走査部80等を動作させるための情報処理プログラム等が挙げられる。該プログラムによって、HMD1では画像の表示制御が実行される。
 CCDセンサ2は、使用者50の視野方向にある自動車401を撮像する撮像手段である。輝度センサ8は、外界の明るさを検出する。LED3は、CCDセンサ2の撮像範囲を照らす。LED3は、輝度センサ8により検出される外界の明るさが所定の明るさを下回った場合に、CCDセンサ2の撮像範囲を照らす。操作スイッチ7は、使用者50によって操作可能である。通信制御回路9は、他の装置との通信を制御する。撮像倍率設定部11は、CCDセンサ2による撮像倍率を設定する。インターフェース104は、パーソナルコンピュータ等の外部装置と接続可能である。使用者50は、撮像倍率設定部11を介して撮像倍率を設定できる。撮像倍率設定部11を介して設定される撮像倍率は、デジタルズームを行う場合には、予め決められているズームの範囲で設定される。一例として、1倍~5倍等である。CCDセンサ2に図示外の電動ズームレンズを設けて、光学的ズームを行う場合は、電動ズームレンズの倍率を設定しても良い。例えば、1倍~3倍等である。撮像倍率設定部11を介して設定された撮像倍率は、フラッシュメモリ102に記憶される。
 HMD1は、閉塞部材(図示略)を備えている。閉塞部材は、使用者50が外界を視認できないようにするために、使用者50の目の周りを閉塞する。 
 図1及び図3を参照して、記憶装置300について説明する。記憶装置300は、本発明の「関連画像記憶手段」に相当する。記憶装置300には、テーブル301が記憶されている。テーブル301には、関連画像が含まれている。関連画像は、CCDセンサ2によって撮像される可能性がある各自動車401に関連した画像である。図3に示すように、テーブル301は、自動車区分欄302、撮像位置欄303、バーコード記憶欄304及び関連画像記憶欄305から構成される。
 自動車区分欄302には、各自動車401a,401b,401cを示した情報が記憶されている。撮像位置欄303には、自動車401をどの方向から撮像したのかを示した情報が記憶されている。バーコード記憶欄304には、各自動車401に予め付されているバーコード402a1,402a2,402b1,402b2,402c1,402c2を示す数字が各々記憶されている。一例として、日本のJIS規格、ヨーロッパのEAN規格、又はアメリカのUPC規格の何れかが適用されている場合には、13桁又は8桁の数字が記憶される。現在、世界で使用されているバーコードの種類は、約100種類と多い。このため、バーコード記憶欄304には、使用するバーコードに対応した数値が記憶されていれば良い。尚、バーコードそのものの画像が記憶されてもよい。バーコードと数値の両方が記憶されても良い。関連画像記憶欄305には、内部画像403a1,403a2,403b1,403b2,403c1,403c2・・・が関連画像として記憶されている。内部画像403a1~403c2は、各バーコード402a1~402c2に対応した自動車401a,401b,401cの内部を示している。詳細には、自動車401aを前方から視認したときの自動車401aの内部画像403a1が、バーコード402a1に対応付けられている。自動車401aを側方から視認したときの自動車401aの内部画像403a2が、バーコード402a2に対応付けられている。自動車401bを前方から視認したときの自動車401bの内部画像403b1が、バーコード402b1に対応付けられている。自動車401bを側方から視認したときの自動車401bの内部画像403b2が、バーコード402b2に対応付けられている。自動車401cを前方から視認したときの自動車401cの内部画像403c1が、バーコード402c1に対応付けられている。自動車401cを側方から視認したときの自動車401cの内部画像403c2が、バーコード402c2に対応付けられている。説明を省略するが、他の自動車401の内部画像403も、バーコード402に対応付けられている。
 制御部110が実行する処理について、図4のフローチャートを参照して説明する。この処理は、使用者50によって操作スイッチ7に含まれている開始ボタンが操作された場合に、制御部110によって開始される。以下、画像光を使用者50の網膜上で2次元方向に走査させることにより、情報に対応する画像を使用者50に視認させることを、「表示」と言う。
 制御部110の制御により、使用者50の視野内にある自動車401がCCDセンサ2によって撮像される(S11)。撮像の結果、実物画像404(図5及び図6参照)が取得される。実物画像404からバーコード402が抽出される(S12)。抽出方法として、周知の画像認識方法が使用される。実物画像404から、バーコードの特徴を示す部分の画像が切り出される。ノイズ除去等の処理が行われる。バーコード402の画像が数値に変換される(S12)。変換された結果の数値が、記憶装置300に記憶されているテーブル301のバーコード記憶欄304のバーコード402a1、402a2、402b1、402b2、402c1、402c2・・・のどれに一致するかが特定される(S13)。
 一致するバーコードがテーブル301に有った場合には(S13:YES)、使用者50が撮像倍率設定部11を介して設定した撮像倍率が、所定の閾値倍率(例えば2倍)より大きいか否かが判断される(S14)。撮像倍率が閾値倍率以下の場合には(S14:NO)、図5や図6に示すように、S11にて撮像された実物画像404が表示される(S17)。撮像倍率に応じた大きさで、実物画像404が表示される(S17)。使用者50は、外界を視認することができないので、自動車401を直接視認することはできない。しかしながら、実物画像404を視認することで自動車401を認識できる。
 撮像倍率が閾値倍率より大きい場合には(S14:YES)、S13にて特定されたバーコード402に対応付けて記憶装置300に記憶されている内部画像403が表示される(S15)。撮像倍率に応じた大きさで、内部画像が表示される(S15)。例えば、S13にてバーコード402a1が特定された場合には、図7に示すように、自動車401aを前方から視認した場合の自動車401aの内部画像403a1が表示される。S13にてバーコード402a2が特定された場合には、図8に示すように、自動車401aを横方向から視認した場合の自動車401aの内部画像403a2が表示される。使用者50は、内部画像403を視認することで、自動車401の内部を認識できる。S13の判断処理で、バーコードが特定されない場合には(S13:NO)、実物画像が表示される(S17)。
 図4のフローチャートで示す処理を終了するか否かが判断される(S16)。使用者50によって操作スイッチ7に含まれている終了ボタンが操作されたか否かで、処理を終了するか否かが判断される。終了ボタンが操作された場合には(S16:YES)、図4のフローチャートで示す処理は終了される。終了ボタンが操作されていない場合には(S16:NO)、S11の処理に戻る。したがって、使用者50が撮像倍率を切り替えることによって、表示される画像は、自動車401の内部画像403と実物画像404とに切り替わる(S11~S17)。使用者50の視線が移動して、CCDセンサ2によって他の自動車401が撮像された場合には(S11)、他の自動車401に付されているバーコード402が抽出される(S12)。バーコード402が特定される(S12)。他の自動車401を示した実物画像404若しくは内部画像403が表示される(S11~S17)。
 以上説明したように、本実施形態のHMD1によれば、CCDセンサ2によって自動車401が撮像され、実物画像404が取得される。実物画像404で示される自動車401が、バーコード402にて特定される。撮像倍率が所定値より小さい場合には、実物画像404が表示される。撮像倍率が所定値以上の場合には、実物画像404に対応した内部画像403が表示される。
 撮像倍率は、使用者50が設定可能である。使用者50が設定した撮像倍率に基づいて、実物画像404又は内部画像403がHMD1に表示される。したがって使用者50は、実物画像404と内部画像403とを、使用者50の意思に基づいて簡易に切り替えることができる。
 HMD1によれば、使用者50は、自動車401の内部画像403を視認できる。内部画像403は、使用者50が自動車401を見る位置に対応している。したがって、使用者50は、自動車401の内部を多方向から把握できる。
 HMD1は、撮像倍率に応じて、表示させる画像を実物画像404又は内部画像403に決定する。従って、使用者50は表示させる画像を容易に切り替えることができる。一般的に使用者50は、興味がある自動車401、すなわち、内部画像403を表示させたい自動車401ほど、直感的に撮像倍率を大きく設定すると考えられる。そこで、撮像倍率が所定値より小さい場合に、HMD1は実物画像404を表示する。撮像倍率が所定値以上の場合に、HMD1は内部画像403を表示する。使用者50は、どちらの画像を表示させるか決定するための操作を容易に実行できる。
 HMD1は、バーコード(識別情報)に基づいて自動車401を特定している。HMD1は、確実にCCDセンサ2が撮像した自動車401を特定できる。
 本発明に係るHMD1は、上記実施形態に限定されるわけではなく、その趣旨を逸脱しない範囲において種々変形しても良い。上記実施形態では、自動車401及び撮像位置を特定する場合にバーコード402が用いられていた。QRコード(登録商標)やICタグなどの他の識別情報が、自動車401に付されてもよい。識別情報に基づいて、自動車401及び撮像位置が特定されても良い。
 撮像位置は、自動車401の前方と側方の2つに限られていた。後方や斜め前方等、さらに多くの撮像位置が採用されてもよい。多方向から見た場合の内部画像403が表示されても良い。この場合、各方向に対応する内部画像403が用意される必要がある。自動車401に対する使用者50の位置は、例えば、実物画像404に含まれているバーコード402の大きさや傾きに基づいて判定されてもよい。
 図9に示すように、自動車401に貼り付けられたバーコード402に対して、使用者が正面に位置している場合には、バーコードは、歪みなく撮影される。自動車401に貼り付けられたバーコード402に対して、使用者が斜めの位置にいる場合には、バーコードは、歪んだ状態で撮影される。歪みを検出することによって、HMD1は、自動車401に対する使用者50の位置関係を判別できる(図9参照)。
 例えば、各自動車401の位置が予め記憶される。使用者50の位置が、GPS受信機によって検出される。自動車401の位置と使用者50の位置とに基づいて、自動車401に対する使用者50の位置が判定されても良い。特許公報3422383号に記載されているように、自動車401の四隅に発光体が付される。実物画像404のうち、各発光体間の相対位置が特定される。特定された相対位置に基づいて、自動車401に対する使用者50の位置が判定されても良い。
 上記実施形態では、自動車401の内部を示した内部画像403を関連画像としていた。関連画像は、自動車401に関連する画像であるならばその内容は問われない。例えば、自動車401の3次元CAD線、車種名、燃費を示した画像等であってもよい。上記実施形態では、撮像対象は自動車401とされていたが、他の実物が撮像対象であってもかまわない。
 上記実施形態では、撮像倍率に基づいて、実物画像404と内部画像403とが切り替えられていた。他の撮像条件に基づいて実物画像404と内部画像403とが切り替えられても良い。例えば、使用者50と、撮像される自動車401との距離等に基づいて切り替えられてもよい。この場合、例えば実物画像404の全領域に対する自動車401に相当する画像の割合の大小で距離が判定されてもよい。また、バーコード402の大きさ、フォーカス調整で距離が判定されても良い。
 設定される撮像倍率に基づいて倍率を変更する場合、光学的ズームとデジタルズームを併用してもよい。具体的には、1~3倍の範囲で倍率を変更する場合は光学ズームのみ使用し、3~15倍の範囲で倍率を変更する場合は光学ズーム(3倍)とデジタルズーム(1~5倍)とを使用する(光学ズームの倍率と、デジタルズームの倍率とを乗算した値が、併用時の倍率となる。)。また、図4のS14における閾値を3倍とし、光学ズームのみ使用されている状態(1~3倍)では、実物画像が表示され(S17)、光学ズームとデジタルズームが併用されている状態(3~15倍)では、内部画像が表示される(S15)ようにしてもよい。また、デジタルズームの倍率(1~5倍)にのみ閾値を適用してもよい。
 上記の実施の形態では、記憶装置300は、HMD1と別に設けられていた。記憶装置300はフラッシュメモリ等で構成されてもよい。該フラッシュメモリはHMD1と一体化されても良い。
   1 ヘッドマウントディスプレイ
   2 CCDセンサ
   5 ヘッドマウントディスプレイシステム
  11 撮像倍率設定部
 110 制御部
 300 記憶装置
 401 自動車
 402 バーコード
 403 内部画像
 404 実物画像
 S13 実物特定手段
 S14 選択手段

Claims (5)

  1.  使用者の頭部に装着され、当該使用者の目に画像を表示する表示手段を備えたヘッドマウントディスプレイであって、
     当該ヘッドマウントディスプレイを装着する使用者の視野にある実物を実物画像として撮像するとともに、前記実物を撮像する場合の撮像条件を前記使用者が設定可能な撮像手段と、
     当該撮像手段によって撮像される実物に関連した画像である関連画像を、前記実物に対応させて記憶する関連画像記憶手段と、
     前記撮像条件に基づいて、前記実物画像と前記関連画像のいずれか一方を選択する選択手段と、
     当該選択手段によって前記実物画像が選択された場合には、前記実物画像を前記表示手段に表示し、前記関連画像が選択された場合には、前記実物に対応して前記関連画像記憶手段に記憶されている前記関連画像を前記表示手段に表示する表示制御手段と
    を備えたことを特徴とするヘッドマウントディスプレイ。
  2.  前記撮像手段によって撮像された実物画像に含まれている実物を特定する実物特定手段を備え、
     前記表示制御手段は、
     前記関連画像記憶手段に記憶されている前記関連画像のうち、当該実物特定手段によって特定された前記実物に対応づけられている前記関連画像を表示することを特徴とする請求項1に記載のヘッドマウントディスプレイ。
  3.  前記関連画像記憶手段は、
     前記関連画像として、前記使用者がその実物を見る位置に対応した内部画像を、各位置に対応させて記憶し、
     前記実物特定手段は、
     特定した実物を撮像した位置も特定し、
     前記表示制御手段は、
     前記関連画像を表示する場合には、前記関連画像記憶手段に記憶されている前記内部画像のうち前記実物特定手段によって特定された位置に対応した前記内部画像を前記表示手段に表示することを特徴とする請求項2に記載のヘッドマウントディスプレイ。
  4.  前記撮像手段は、
     前記撮像条件として、撮像倍率を設定可能であり、
     前記選択手段は、
     前記撮像倍率が所定の閾値以下の場合に前記実物画像を選択し、前記撮像倍率が前記所定の閾値より大きい場合に前記関連画像を選択することを特徴とする請求項1乃至3の何れかに記載のヘッドマウントディスプレイ。
  5.  前記撮像手段によって撮像される実物には、自身を識別する識別情報が付されており、
     前記実物特定手段は、
     前記実物画像に含まれている前記識別情報に基づいて、前記撮像手段が撮像した実物を特定することを特徴とする請求項1乃至4の何れかに記載のヘッドマウントディスプレイ。
PCT/JP2010/052608 2009-02-27 2010-02-22 ヘッドマウントディスプレイ WO2010098275A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009045260A JP2010200209A (ja) 2009-02-27 2009-02-27 ヘッドマウントディスプレイ
JP2009-045260 2009-02-27

Publications (1)

Publication Number Publication Date
WO2010098275A1 true WO2010098275A1 (ja) 2010-09-02

Family

ID=42665482

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/052608 WO2010098275A1 (ja) 2009-02-27 2010-02-22 ヘッドマウントディスプレイ

Country Status (2)

Country Link
JP (1) JP2010200209A (ja)
WO (1) WO2010098275A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2530769A (en) * 2014-10-01 2016-04-06 Asda Stores Ltd System and method for monitoring display unit compliance

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5423716B2 (ja) * 2011-03-30 2014-02-19 ブラザー工業株式会社 ヘッドマウントディスプレイ

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08202436A (ja) * 1995-01-30 1996-08-09 Fuji Electric Co Ltd 監視制御方式
JPH11142784A (ja) * 1997-11-04 1999-05-28 Shimadzu Corp 位置検出機能付きヘッドマウントディスプレイ

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005038008A (ja) * 2003-07-15 2005-02-10 Canon Inc 画像処理方法、画像処理装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08202436A (ja) * 1995-01-30 1996-08-09 Fuji Electric Co Ltd 監視制御方式
JPH11142784A (ja) * 1997-11-04 1999-05-28 Shimadzu Corp 位置検出機能付きヘッドマウントディスプレイ

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2530769A (en) * 2014-10-01 2016-04-06 Asda Stores Ltd System and method for monitoring display unit compliance
GB2530769B (en) * 2014-10-01 2017-05-17 Asda Stores Ltd System and method for monitoring display unit compliance
US10360613B2 (en) 2014-10-01 2019-07-23 Walmart Apollo, Llc System and method for monitoring display unit compliance

Also Published As

Publication number Publication date
JP2010200209A (ja) 2010-09-09

Similar Documents

Publication Publication Date Title
JP5104679B2 (ja) ヘッドマウントディスプレイ
JP5293025B2 (ja) ヘッドマウントディスプレイ
JP5195537B2 (ja) ヘッドマウントディスプレイ
JP5423716B2 (ja) ヘッドマウントディスプレイ
US8514148B2 (en) Head mount display
WO2010071110A1 (ja) ヘッドマウントディスプレイ
US20110316763A1 (en) Head-mounted display apparatus, image control method and image control program
WO2011111201A1 (ja) 画像位置調整装置
EP2107414A1 (en) Head mount display and head mount display system
US10502962B2 (en) Projection type display device and projection control method
JP5012781B2 (ja) ヘッドマウントディスプレイ
JP2010139575A (ja) シースルー型ヘッドマウント表示装置
JP2010139901A (ja) ヘッドマウントディスプレイ
JP2011066549A (ja) ヘッドマウントディスプレイ
JP2010067154A (ja) ヘッドマウントディスプレイ、情報閲覧システム及び管理サーバ
WO2010098275A1 (ja) ヘッドマウントディスプレイ
JP5251813B2 (ja) 作業支援システム、ヘッドマウントディスプレイ及びプログラム
JP5223835B2 (ja) ヘッドマウントディスプレイ
JP5109952B2 (ja) ヘッドマウントディスプレイ
JP5163535B2 (ja) ヘッドマウントディスプレイ
JP5012780B2 (ja) ヘッドマウントディスプレイ
JP2011070093A (ja) ヘッドマウントディスプレイ
JP5375481B2 (ja) ヘッドマウントディスプレイ
JP5163534B2 (ja) ヘッドマウントディスプレイ
JP2010134152A (ja) ヘッドマウントディスプレイ

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10746156

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10746156

Country of ref document: EP

Kind code of ref document: A1