WO2013021458A1 - 複合現実感装置 - Google Patents

複合現実感装置 Download PDF

Info

Publication number
WO2013021458A1
WO2013021458A1 PCT/JP2011/068136 JP2011068136W WO2013021458A1 WO 2013021458 A1 WO2013021458 A1 WO 2013021458A1 JP 2011068136 W JP2011068136 W JP 2011068136W WO 2013021458 A1 WO2013021458 A1 WO 2013021458A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
calibration
pressure distribution
calibration data
data
Prior art date
Application number
PCT/JP2011/068136
Other languages
English (en)
French (fr)
Inventor
明 後藤田
Original Assignee
パイオニア株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パイオニア株式会社 filed Critical パイオニア株式会社
Priority to JP2013527778A priority Critical patent/JP5707497B2/ja
Priority to PCT/JP2011/068136 priority patent/WO2013021458A1/ja
Priority to US14/236,767 priority patent/US20140176609A1/en
Publication of WO2013021458A1 publication Critical patent/WO2013021458A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Definitions

  • the present invention relates to the technical field of an optical transmission type mixed reality apparatus, for example.
  • MR mixed reality
  • CG Computer Graphics
  • AR augmented reality
  • the video transmission type mixed reality apparatus synthesizes CG with an image of a real environment photographed by a camera attached to a head-mounted display (HMD: Head Mount Display), and then converts the CG-synthesized image into an HMD. indicate.
  • the optical transmission type mixed reality apparatus detects a specific position (for example, a marker position) of the real environment based on an image photographed by a camera attached to the HMD, for example, so that the detected specific position can be seen.
  • a specific position for example, a marker position
  • Non-Patent Document 1 discloses a technique related to calibration of the display position of information in the HMD for an optical transmission type mixed reality apparatus.
  • Patent Document 1 discloses a technique for detecting whether or not an HMD is mounted and switching the power supply of the HMD to ON / OFF.
  • the present invention has been made in view of, for example, the conventional problems described above, and an object of the present invention is to provide a mixed reality device that can suitably realize mixed reality, for example.
  • the mixed reality apparatus of the present invention should be attached to the mounting part to be mounted on the user's head, specific position detecting means for detecting a specific position of the real environment, and the real environment.
  • a head-mounted display having a display unit for displaying additional information, a mounting state detection unit for detecting a mounting state of the mounting unit, and conversion from the coordinate system of the specific position detection unit to the coordinate system of the display unit
  • Update processing means for performing calibration data update processing for the above-described attachment state detected by the attachment state detection means.
  • the 1 which shows schematic structure of the mixed reality apparatus which concerns on 1st Example.
  • the 2 which shows schematic structure of the mixed reality apparatus which concerns on 1st Example.
  • It is a block diagram which shows the structure of the mixed reality apparatus which concerns on 1st Example.
  • It is a block diagram which shows the structure of the DB control part which concerns on 1st Example.
  • It is a block diagram which shows the structure of the calibration part which concerns on 1st Example.
  • the structure of the conversion matrix calculation part which concerns on 1st Example.
  • the rendering part which concerns on 1st Example.
  • the mixed reality apparatus of the present invention should be attached to the mounting part to be mounted on the user's head, specific position detecting means for detecting a specific position of the real environment, and the real environment.
  • a head-mounted display having a display unit for displaying additional information, a mounting state detection unit for detecting a mounting state of the mounting unit, and conversion from the coordinate system of the specific position detection unit to the coordinate system of the display unit
  • Update processing means for performing an update process of calibration data in accordance with the mounting state detected by the mounting state detection means.
  • the mixed reality apparatus of the present invention is used in a state where a head mounted display (more specifically, a wearing part thereof) is worn on a user's head, and displays additional information on a transparent display part.
  • This is an optical transmission type mixed reality device that realizes mixed reality. That is, according to the mixed reality apparatus of the present invention, at the time of operation, the specific position detection unit detects the specific position of the real environment (that is, the position and orientation (direction) where the marker is arranged in the real environment, for example), or the specific shape. A specific position and posture (direction) such as a position where the part exists is detected.
  • the specific position detection unit includes, for example, an imaging unit such as a camera, and detects the specific position based on an image of a real environment photographed by the imaging unit.
  • the specific position detection unit may include, for example, a magnetic sensor, an ultrasonic sensor, a gyroscope, an acceleration sensor, an angular velocity sensor, a GPS (Global Positioning System), a wireless communication device, or the like instead of or in addition to the imaging unit. Good.
  • additional information such as CG and characters is displayed at a position corresponding to the detected specific position on the display unit. As a result, it is possible to realize a mixed reality as if the additional information that does not exist in the real environment exists in the real environment.
  • the update processing means for performing the update processing of the calibration data for performing the conversion from the coordinate system of the specific position detecting means to the coordinate system of the display unit according to the mounting state detected by the mounting state detecting means.
  • the display position that should correspond to the specific position differs in order to realize mixed reality. . For this reason, if no measures are taken, it may become difficult to achieve mixed reality when the mounting state of the mounting portion changes.
  • the update processing means updates the calibration data in accordance with the mounting state detected by the mounting state detection means.
  • the wearing state detection means includes, for example, a pressure distribution sensor that is provided in a mounting portion of the head mounted display and detects the pressure distribution applied from the user's head, and the pressure distribution detected by the pressure distribution sensor. The wearing state is detected based on the above.
  • the “calibration data update process” is a process related to calibration data update, for example, a process of updating calibration data based on calibration data stored in a database (ie, an automatic update process of calibration data). ) And a process for notifying the user that the calibration data should be updated (that is, a process for prompting recalibration).
  • the calibration data update process (calibration data automatic update process or recalibration prompting process) As a result, mixed reality can be suitably realized.
  • mixed reality can be suitably realized.
  • the wearing state detecting means includes a pressure distribution sensor that is provided in the wearing portion and detects a distribution of pressure applied from the head, and the pressure distribution sensor The wearing state is detected based on the detected pressure distribution.
  • the wearing state detection means has a camera or a distance sensor attached inward (that is, toward the user side) to the head mounted display, for example, and is measured by an image or distance sensor photographed by this camera. The wearing state may be detected based on the measured distance.
  • the wearing state detecting means further includes a movement detecting means for detecting a movement of the wearing portion, and the distribution of the pressure detected by the pressure distribution sensor and the movement. The wearing state is detected based on the movement detected by the detecting means.
  • the mounting state detection means detects, for example, the movement of the mounting portion (for example, the speed or acceleration at which the mounting portion moves or the distance moved) by the movement detection means.
  • the head mounted display when the head mounted display is accelerating, a force is applied, so the pressure distribution is different from that at rest. For this reason, when the head mounted display is accelerating, it may be erroneously detected that the wearing state has changed.
  • the mounting state is detected based on the pressure distribution detected by the pressure distribution sensor and the motion detected by the motion detection means, it is possible to prevent erroneous detection of the mounting state.
  • the wearing state detecting means increases the threshold value that is a criterion for determining that the wearing state has changed.
  • the wearing state detecting means increases the threshold value that is a criterion for determining that the wearing state has changed.
  • the acceleration detected by the motion detection unit is equal to or higher than a predetermined acceleration
  • the mounting state detection by the mounting state detection unit may not be performed correctly.
  • the detection may be stopped and the calibration data update process may not be performed.
  • the apparatus further comprises calibration data storage means for storing the calibration data, and the update processing means uses the calibration data stored in the calibration data storage means as the update processing. Based on this, the calibration data is updated.
  • the calibration data is updated based on the calibration data stored in the calibration data storage means, the work performed by the user to update the calibration data can be reduced, which is very convenient in practice. .
  • the update processing means performs a process of notifying the user that the calibration data should be updated as the update process.
  • the user can know that the calibration data should be updated. Therefore, the mixed reality can be more suitably realized by updating the calibration data in accordance with the user's instruction.
  • 1 and 2 are external views showing a schematic configuration of the mixed reality apparatus according to the present embodiment.
  • the mixed reality apparatus 1 is an optically transmissive mixed reality apparatus, and includes a head mounted display 100 (hereinafter, “HMD100”) including a mounting unit 110, an imaging unit 120, and a display unit 130. As appropriate).
  • the user uses the mixed reality apparatus 1 with the HMD 100 attached.
  • the mixed reality apparatus 1 realizes mixed reality by causing the display unit 130 to display CG as an example of the “additional information” according to the present invention so as to correspond to the position of the marker provided in the real environment.
  • the HMD 100 is an example of a “head mounted display” according to the present invention.
  • the mounting unit 110 is a member (glass frame-shaped member) configured to be mounted on the user's head, and configured to be able to sandwich the user's head from both the left and right sides.
  • the mounting portion 110 is an example of the “mounting portion” according to the present invention.
  • the imaging unit 120 includes a camera, and images a real environment in front of the user with the user wearing the HMD 100.
  • the imaging unit 120 is provided between the two display units 130 arranged side by side.
  • the imaging unit 120 constitutes an example of a “specific position detection unit” according to the present invention, together with a marker detection unit 231 described later.
  • the position of the marker is detected based on the image captured by the imaging unit 120.
  • the imaging unit 120 including the camera, a magnetic sensor, an ultrasonic sensor, a gyroscope, and an acceleration sensor are used.
  • the marker position may be detected by an angular velocity sensor, a GPS, a wireless communication device, or the like.
  • the display unit 130 is a display device having optical transparency, and one display unit 130 is provided corresponding to each of the left and right eyes of the user. The user feels as if a CG that does not exist in the real environment exists in the real environment by looking at the CG displayed on the display unit 130 while viewing the real environment through the display unit 130. be able to.
  • the display unit 130 is an example of the “display unit” according to the present invention. Since the display unit 130 is provided integrally with the mounting unit 110, even if the mounting state of the mounting unit 110 changes, the positional relationship between the display unit 130 and the mounting unit 110 does not change.
  • the pressure distribution sensor 140 is provided in the part of the present embodiment that is in contact with the user of the mounting unit 110.
  • the pressure distribution sensor 140 is a sensor that detects the distribution of pressure applied to the mounting unit 110 from the user's head, and outputs the detected value to the DB control unit 210 described later with reference to FIG.
  • the pressure distribution sensor 140 constitutes the “wearing state detection unit” according to the present invention.
  • the distribution of pressure applied to the mounting unit 110 from the user's head varies depending on the mounting state of the mounting unit 110. Therefore, the detection value of the pressure distribution sensor 140 corresponds to the mounting state of the mounting unit 110.
  • FIG. 3 is a block diagram showing the configuration of the mixed reality apparatus 1.
  • the mixed reality apparatus 1 includes a button 150, a DB (database) control unit 210, in addition to the imaging unit 120, the display unit 130, and the pressure distribution sensor 140 described above with reference to FIGS. 1 and 2. , A calibration unit 220, a transformation matrix calculation unit 230, a rendering unit 240, and a selector (SEL) 250.
  • the button 150 is a button as a user interface (UI) for calibration, and is displayed on the display unit 130 by the user when calibration processing for calibrating the display position of the CG on the display unit 130 is performed.
  • a matching signal indicating that the proofreading image (for example, a cross-shaped image) and the marker in the real environment appear to match is output.
  • the coincidence signal output from the button 150 is input to the calibration unit 220 described later.
  • the user uses the button 150 to inform the calibration unit 220 of that fact. Inform.
  • FIG. 4 is a block diagram showing the configuration of the DB control unit 210.
  • the DB control unit 210 includes a pressure distribution database 211, a calibration data database 212, a pressure distribution comparison unit 213, and a DB write control unit (DB write control unit) 214.
  • the pressure distribution database 211 is a database that stores the detected value (detected pressure) detected by the pressure distribution sensor 140 in association with the state number (state No.). Detection value and state No. of the pressure distribution sensor 140 Is written into the pressure distribution database 211 by the DB write controller 214 described later.
  • the pressure distribution database 211 stores the detected values and state numbers. Are stored separately for each user. That is, data stored in the pressure distribution database 211 is managed for each user. The same applies to the calibration data database 212 described later.
  • the current detection value of the pressure distribution sensor 140 is appropriately referred to as a detection value Pa.
  • the calibration data database 212 is an example of the “calibration data storage unit” according to the present invention, and the calibration data calculated by the calibration unit 220 is stored in the state No. Is a database stored in association with each other.
  • the calibration data database 211 includes calibration data and a state No. Are stored separately for each user.
  • the calibration data calculated by the calibration unit 220 is referred to as calibration data Ma.
  • the pressure distribution comparison unit 213 compares the detection value Pa of the current pressure distribution sensor 140 with the detection value stored in the pressure distribution database 211, and determines whether or not they match. When there is a detection value that matches the detection value Pa of the current pressure distribution sensor 140 among the detection values stored in the pressure distribution database 211, the pressure distribution comparison unit 213 responds to the matching detection value.
  • the pressure distribution comparison unit 213 starts the calibration process when there is no detection value that matches the detection value Pa of the current pressure distribution sensor 140 among the detection values stored in the pressure distribution database 211.
  • a calibration start trigger indicating the power is output to the calibration unit 220. Further, the pressure distribution comparison unit 213 outputs the current detection value Pa of the pressure distribution sensor 140 to the DB write control unit 214.
  • the pressure distribution comparison unit 213 calculates a value Q using the following equation (1), and based on this value Q, the current detected value of the pressure distribution sensor 140 and the detection stored in the pressure distribution database 211. It is determined whether or not the values match.
  • x i is a detected value of the current pressure distribution sensor 140
  • y i is a detected value stored in the pressure distribution database 211.
  • the pressure distribution comparison unit 213 determines that the detected value of the current pressure distribution sensor 140 matches the detected value stored in the pressure distribution database 211 when the value Q is equal to or less than a predetermined threshold value.
  • the value Q corresponds to the distance between the current detected value of the pressure distribution sensor 140 and the detected value stored in the pressure distribution database 211.
  • the detected value of the current pressure distribution sensor 140 matches the detected value stored in the pressure distribution database 211 .
  • the correlation between the detected value of the current pressure distribution sensor 140 and the detected value stored in the pressure distribution database 211 pressure It may be determined whether or not they match based on a correlation coefficient indicating the similarity of distribution). In this case, even when the detected value of the current pressure distribution sensor 140 and the detected value stored in the pressure distribution database 211 are different, it is determined that they match, and the mounting state of the mounting unit 110 is the same.
  • the detection value of the pressure distribution sensor 140 may be encoded (or quantized). In this case, by determining whether or not the detection value of the current pressure distribution sensor 140 matches the detection value stored in the pressure distribution database 211 based on the encoded detection value, The speed of the determination process can be increased.
  • the DB write control unit 214 When the calculation end signal is input from the calibration unit 220, the DB write control unit 214 writes the current detection value Pa of the pressure distribution sensor 140 into the pressure distribution database 211 and calibrates the calibration data Ma calculated by the calibration unit 220. Write to the data database 212. At this time, the DB write control unit 214 sets the detection value Pa and the calibration data Ma to the state No. Are written in the pressure distribution database 211 and the calibration data database 212, respectively.
  • the state No. Is added to the pressure distribution database 211, and the calibration data Ma calculated by the calibration unit 220 when the detection value of the pressure distribution sensor 140 is the detection value Pa (in other words, the detection value of the pressure distribution sensor 140).
  • the calibration data Ma) determined by performing the calibration process when the detected value Pa is the detected value Pa is the state number. Is added to the calibration data database 212 (in other words, in association with the detected value Pa).
  • FIG. 5 is a block diagram showing the configuration of the calibration unit 220.
  • the calibration unit 220 calculates calibration data by performing calibration processing when a calibration start trigger is input from the DB control unit 210 (more specifically, the pressure distribution comparison unit 213). To do.
  • the calibration unit 220 includes a calibration control unit 221, a calibration coordinate generation unit 222, a calibration display generation unit 223, a calibration marker position detection unit 224, a data storage unit 225, and a calibration data calculation unit 226. is doing.
  • the calibration control unit 221 controls the calibration process. Specifically, the calibration control unit 221 controls the operations of the calibration coordinate generation unit 222, the calibration marker position detection unit 224, and the calibration data calculation unit 226.
  • the calibration control unit 221 starts calibration processing when a calibration start trigger is input from the DB control unit 210. For example, when a calibration start trigger is input from the DB control unit 210, the calibration control unit 221 outputs a display update signal to the calibration coordinate generation unit 222 according to the coincidence signal from the button 150 and also generates a data addition trigger. The data is output to the data storage unit 225.
  • the calibration control unit 221 outputs a calculation trigger to the calibration data calculation unit 226 and also outputs a mode switching signal to the selector 250 when the coincidence signal from the button 150 is input a predetermined number of times.
  • the calibration data calculation unit 226 calculates calibration data Ma when a calculation trigger is input.
  • the selector 250 performs mode switching for switching data output to the display unit 130 between calibration image data and display data.
  • the user sets the calibration plate provided with the calibration marker so that the calibration marker matches the calibration image (for example, a cross-shaped image) displayed on the display unit 130.
  • a match signal is output by the button 150.
  • the calibration plate may be moved, or the HMD 100 may be moved.
  • the calibration processing is not particularly limited, and for example, calibration may be performed so that a two-dimensional object such as a quadrangle in the real environment matches a two-dimensional display such as a quadrangle in the display unit 130. Then, the three-dimensional object in the real environment and the two-dimensional display on the display unit 130 may be calibrated.
  • the calibration plate on which the calibration marker is provided is fixed and the position, size, orientation, etc. of the calibration image displayed on the display unit 130 are changed, and the calibration marker and the calibration image are changed. This may be done by detecting a match.
  • the calibration coordinate generation unit 222 When the display update signal is input from the calibration control unit 221, the calibration coordinate generation unit 222 generates coordinates (Xd, Yd) for displaying the calibration image on the display unit 130. The calibration coordinate generation unit 222 outputs the generated coordinates (Xd, Yd) to the calibration display generation unit 223 and the data storage unit 225.
  • the calibration display generation unit 223 includes image data (hereinafter referred to as “calibration image data”) of a calibration image (for example, a cross-shaped image) to be displayed at the coordinates (Xd, Yd) generated by the calibration coordinate generation unit 222. (Referred to as appropriate).
  • the calibration display generation unit 223 generates and outputs the calibration image data to the selector 250 (see FIG. 3).
  • the calibration marker position detection unit 224 detects the position of the calibration marker from the image captured by the imaging unit 120. Specifically, the calibration marker position detection unit 224 identifies coordinates (Xc, Yc, Zc) indicating the position of the calibration marker based on the image data input from the imaging unit 120, and the identified coordinates. (Xc, Yc, Zc) is output to the data storage unit 225.
  • the data storage unit 225 receives the coordinates (Xd, Yd) input from the calibration coordinate generation unit 222 and the calibration marker position detection unit 224 when a data addition trigger is input from the calibration control unit 221. Coordinates (Xc, Yc, Zc) are stored in association with each other.
  • the data storage unit 225 includes coordinates (Xd, Yd) that are marker position coordinates based on the coordinate system of the display unit 130 and coordinates (Xc, Yd) that are marker position coordinates based on the coordinate system of the imaging unit 120. A data list in which Yc, Zc) is associated is generated and held.
  • the calibration data calculation unit 226 calculates calibration data based on the coordinates (Xd, Yd) and coordinates (Xc, Yc, Zc) stored in the data storage unit 225. Ma is calculated.
  • the calibration data Ma is data for calibrating the relationship between the coordinate system of the imaging unit 120 and the coordinate system of the display unit 130.
  • a rendering unit 240 (more specifically, an imaging to display conversion unit 243) described later with reference to FIG. 7 displays display data (CG data) from the coordinate system of the imaging unit 120 based on the calibration data Ma. Conversion into 130 coordinate systems (coordinate conversion and projection conversion).
  • the calibration data calculation unit 226 finishes calculating the calibration data Ma, the calibration data calculation unit 226 outputs a calculation end signal indicating that to the calibration control unit 221.
  • FIG. 6 is a block diagram illustrating a configuration of the transformation matrix calculation unit 230.
  • the transformation matrix calculation unit 230 includes a marker detection unit 231 and an Rmc calculation unit 232.
  • the marker detection unit 231 detects the position and size of the marker in the image captured by the imaging unit 120.
  • the Rmc calculation unit 232 calculates a conversion matrix Rmc for converting from the marker coordinate system to the coordinate system of the imaging unit 120 based on the position and size of the marker detected by the marker detection unit 231.
  • the Rmc calculation unit 232 outputs the calculated transformation matrix Rmc to the rendering unit 240.
  • the CG is displayed on the display unit 130 so as to follow the marker.
  • FIG. 7 is a block diagram showing a configuration of the rendering unit 240.
  • the rendering unit 240 performs rendering on the CG to be displayed on the display unit 130.
  • the rendering unit 240 includes a CG data storage unit 241, a marker to imaging coordinate conversion unit 242, and an imaging to display conversion unit 243.
  • the CG data storage unit 241 is a storage unit in which CG data (CG data) to be displayed on the display unit 130 is stored.
  • the CG data storage unit 241 stores CG data in the marker coordinate system.
  • the CG data stored in the CG data storage unit 241 is three-dimensional (3D) data.
  • the CG data stored in the CG data storage unit 241 is appropriately referred to as “marker coordinate system data”.
  • the marker to imaging coordinate conversion unit 242 transfers the CG data stored in the CG data storage unit 241 from the marker coordinate system to the coordinate system of the imaging unit 120 based on the conversion matrix Rmc input from the conversion matrix calculation unit 230. Convert.
  • the CG data based on the coordinate system of the imaging unit 120 after being converted by the marker to imaging coordinate conversion unit 242 is appropriately referred to as “imaging coordinate system data”.
  • the imaging to display conversion unit 243 converts the imaging coordinate system data input from the marker to imaging coordinate conversion unit 242 into display data based on the calibration data Mx input from the calibration data database 212 (coordinate conversion and projection conversion). ).
  • the display data is two-dimensional (2D) data based on the coordinate system of the display unit 120.
  • the imaging to display conversion unit 243 outputs the display data to the selector 250 (see FIG. 3).
  • the selector 250 selectively outputs the calibration image data input from the calibration unit 220 and the display data input from the rendering unit 240 to the display unit 130.
  • the selector 250 outputs calibration image data to the display unit 130 when calibration processing is performed, and outputs display data to the display unit 130 when CG is to be displayed on the display unit 130.
  • the display unit 130 displays a calibration image (for example, a cross-shaped image) based on the calibration image data, and displays CG based on the display data.
  • FIG. 8 is a flowchart showing the operation flow of the mixed reality apparatus 1.
  • step S10 an image of the real environment is acquired by the imaging unit 120 (step S10). That is, the mixed reality apparatus 1 acquires an image of the real environment by photographing the real environment with the imaging unit 120.
  • the marker is detected by the conversion matrix calculation unit 230, and the conversion matrix Rmc is calculated (step S20). That is, the marker detection unit 231 of the transformation matrix calculation unit 230 detects the position, orientation (direction), and size of the marker provided in the real environment based on the real environment image acquired by the imaging unit 120. Based on the detected position, orientation (direction), and size of the marker, the Rmc calculation unit 232 of the conversion matrix calculation unit 230 calculates the conversion matrix Rmc.
  • step S30 pressure distribution interlocking calibration processing is performed.
  • FIG. 9 is a flowchart showing the flow of the pressure distribution interlocking calibration process.
  • the detected value Pa of the current pressure distribution sensor 140 is acquired by the pressure distribution comparison unit 213 (see FIG. 4) (step S310).
  • the pressure distribution comparison unit 213 compares the acquired detection value Pa with the detection value Px of the pressure distribution sensor 140 when the calibration data Mx currently in use is calculated (step S320).
  • the pressure distribution comparison unit 213 determines whether or not the detection value Pa of the current pressure distribution sensor 140 matches the detection value Px of the pressure distribution sensor 140 when the calibration data Mx currently in use is calculated. Determination is made (step S330).
  • step S330 If it is determined that the detected value Pa and the detected value Px match (step S330: Yes), the calibration data Mx and the detected value Px are held (step S375).
  • the mounting state of the HMD 100 (more specifically, the mounting unit 110) is almost or not the time when the calibration data Mx is calculated and the present. Since the positional relationship between the user's eyes and the display unit 130 has changed little or not at all, the imaging is performed by the imaging to display conversion unit 243 (see FIG. 7) based on the calibration data Mx currently in use. By converting coordinate system data into display data, mixed reality can be suitably realized.
  • step S330 If it is determined that the detection value Pa and the detection value Px do not match (step S330: No), the current detection value Pa of the pressure distribution sensor 140 and the detection value Pni stored in the pressure distribution database 211 Are compared by the pressure distribution comparison unit 213 (step S340).
  • the pressure distribution comparison unit 213 determines whether or not the detected value Pa of the current pressure distribution sensor 140 matches the detected value Pni stored in the pressure distribution database 211 (step S350). In other words, the pressure distribution comparison unit 213 determines whether there is a detection value Pni that matches the detection value Pa of the current pressure distribution sensor 140 among the detection values Pni stored in the pressure distribution database 211. .
  • step S350 If it is determined that the detected value Pa and the detected value Pni match (step S350: Yes), the calibration data Mx currently in use is changed to the calibration data Mni corresponding to the detected value Pni, and the detected value Px is changed to the detection value Pni.
  • the calibration data Mni is calibration data calculated by the calibration unit 220 when the detection value of the pressure distribution sensor 140 is the detection value Pni, and the same state No. as the detection value Pni. And stored in the calibration data database 212.
  • the mounting state of the HMD 100 (more specifically, the mounting portion 110) is almost or completely the same as when the calibration data Mni was calculated and the current one.
  • the imaging coordinate system data is converted into display data by the imaging to display conversion unit 243 (see FIG. 7) based on the calibration data Mni. By doing so, mixed reality can be suitably realized.
  • step S350: No When it is determined that the detected value Pa and the detected value Pni do not match (step S350: No), calibration processing is performed and calibration data Ma is acquired (step S360). That is, in this case (step S350: No), calibration processing is performed by the calibration unit 220, and new calibration data Ma is calculated.
  • the calibration data Ma is added to the calibration data database 212, and the detected value Pa is added to the pressure distribution database 211 (step S370). That is, the calibration data Ma newly calculated by the calibration data calculation unit 226 (see FIG. 5) of the calibration unit 220 is input to the DB write control unit 214 of the DB control unit 210, and the DB write control unit 214 sets the calibration data database. 212 is written.
  • the detected value Pa of the current pressure distribution sensor 140 is written into the pressure distribution database 211 by the DB write control unit 214. That is, in this embodiment, when the detected value that matches the detected value Pa of the current pressure distribution sensor 140 is not stored in the pressure distribution database 211, new calibration data Ma is obtained by performing a new calibration process. And the detected value Pa and the calibration data Ma are added to the pressure distribution database 211 and the calibration data database 212, respectively.
  • the calibration data Mx currently in use is changed to new calibration data Ma corresponding to the detection value Pa of the current pressure distribution sensor 140, and the detection value Px is changed to the detection value Pa (step S380). ).
  • the calibration data is maintained as it is.
  • the calibration data is changed to the calibration data Mni corresponding to the detected value Pni.
  • the detected value Pa of the current pressure distribution sensor 140 does not match the detected value Px corresponding to the calibration data Mx currently in use, and the detected value of the current pressure distribution sensor 140 is stored in the pressure distribution database 211.
  • new calibration data Ma is calculated by performing a new calibration process, and the detected value Pa Fine calibration data Ma are added to the pressure distribution database 211 and calibration data database 212, respectively.
  • a drawing process for generating CG display data to be displayed on the display unit 130 is performed (step S40).
  • the marker coordinate system data stored in the CG data storage unit 241 is converted into imaging coordinate system data by the marker to imaging coordinate conversion unit 242 based on the conversion matrix Rmc.
  • the imaging coordinate system data is converted into display data by the imaging to display conversion unit 243 based on the calibration data Mx.
  • the display data generated in this way is input to the display unit 130 via the selector 250 (see FIG. 3).
  • step S50 CG based on the display data is displayed on the display unit 130 (step S50).
  • step S60 it is determined whether or not to end the display of the CG on the display unit 130 (step S60).
  • step S60 If it is determined to end (step S60: Yes), the CG display is ended.
  • step S60 If it is determined not to end (step S60: No), the process according to step S10 is performed again.
  • step S30 the pressure distribution interlocking calibration processing
  • the calibration data Mx is set to the detected value Pni.
  • the corresponding calibration data Mni is changed (step S385). Therefore, the imaging coordinate system data can be converted into display data based on the calibration data Mni suitable for the current mounting state of the HMD 100 by the imaging to display conversion unit 243 without performing a new calibration process. Therefore, it is possible to eliminate the time required for the calibration process and the work of the user, and it is possible to suitably realize the mixed reality.
  • the detected value Pa of the current pressure distribution sensor 140 does not coincide with the detected value Px corresponding to the calibration data Mx currently in use, and the pressure distribution database 211 indicates the current value. If there is no detected value that matches the detected value Pa of the pressure distribution sensor 140, new calibration data Ma is calculated by performing a new calibration process, and the detected value Pa and the calibration data Ma are respectively set to pressure. They are added to the distribution database 211 and the calibration data database 212 (steps S360, S370, and S380). Therefore, it can be detected that the current mounting state of the HMD 100 is different from the mounting state of the HMD 100 when the calibration data Mx currently in use is calculated, and a new calibration process can be performed reliably.
  • Step S360 that is, the calibration process
  • a process for notifying the user that the calibration data should be updated may be performed.
  • the user can know that the calibration data should be updated. Therefore, the mixed reality can be suitably realized by performing the calibration process according to the user's instruction and updating the calibration data.
  • a motion detection unit that includes an acceleration sensor or a gyro sensor and detects the movement of the mounting unit 110 may be provided.
  • the threshold value of the pressure used as a reference for determining that the mounting state of the mounting unit 100 has changed may be increased. Thereby, it is possible to prevent erroneous detection of a change in the detected value of the pressure distribution sensor 140 (that is, the detected pressure distribution) caused by the acceleration motion as a change in the mounting state of the mounting unit 100.
  • the mounting state of the mounting unit 110 may not be detected correctly.
  • the calibration data update process may not be performed.
  • FIG. 10 is a diagram for explaining calibration in the mixed reality apparatus 1.
  • the position of the user's eye 910 and the position of the imaging unit 120 are different from each other.
  • the images shown in the user's eyes 910 are different from each other.
  • an image P1 see FIG. 10 (b)
  • the marker 700 is located on the left side of the image
  • the image P3 see FIG. 10C
  • the marker 700 is located on the right side of the image.
  • the marker 700 is provided on the object 1100 in the real environment.
  • the position of the marker 700 is detected, and the CG 600 is combined with the detected position in the image P1, thereby the image P2 in which the positions of the CG 600 and the marker 700 match. Can be generated.
  • an optically transmissive mixed reality device needs to be calibrated according to the difference between the position of the user's eye 910 and the position of the imaging unit 120. If calibration is not performed, the position and orientation (direction) of the marker 700 and the CG 600 may be shifted when the CG 600 is displayed on the display unit 130 as in the image P4 in FIG. .
  • the positions of the CG 600 and the marker 700 as shown in an image P5 in FIG. The posture (direction) can be matched.
  • the mounting state of the HMD 100 is detected based on the detection value of the pressure distribution sensor 140, and the calibration data is determined according to the detected mounting state. Since the update is performed, mixed reality can be suitably realized.
  • the present invention is not limited to the above-described embodiments, and can be appropriately changed without departing from the gist or concept of the invention that can be read from the claims and the entire specification, and a mixed reality apparatus with such changes Is also included in the technical scope of the present invention.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

　複合現実感装置は、使用者の頭部に装着される装着部（１１０）と、現実環境の特定位置を検出する特定位置検出手段（１２０、２３１）と、現実環境に付加すべき付加情報を表示する表示部（１３０）とを有するヘッドマウントディスプレイ（１００）と、装着部の装着状態を検出する装着状態検出手段（１４０）と、特定位置検出手段の座標系から表示部の座標系への変換を行うための校正データの更新処理を、装着状態検出手段によって検出された装着状態に応じて行う更新処理手段（２１０、２２０）と、を備える。

Description

複合現実感装置
　本発明は、例えば光学透過式の複合現実感装置の技術分野に関する。
　現実環境に、例えばＣＧ（Computer Graphics）や文字等の情報を付加提示する複合現実感（ＭＲ：Mixed Reality）装置が知られている（例えば非特許文献１参照）。なお、複合現実感は、現実環境のもつ情報を増幅するという意味で、拡張現実感（ＡＲ：Augment Reality）と呼ばれる場合もある。
　複合現実感装置には、ビデオ透過式（ビデオシースルー型）と光学透過式（光学シースルー型）とがある。ビデオ透過式の複合現実感装置は、例えば、ヘッドマウントディスプレイ（ＨＭＤ：Head Mount Display）に取り付けられたカメラで撮影した現実環境の画像にＣＧを合成した後、ＣＧが合成された画像をＨＭＤに表示する。他方、光学透過式の複合現実感装置は、例えば、ＨＭＤに取り付けられたカメラで撮影した画像に基づいて現実環境の特定位置（例えばマーカー位置）を検出し、この検出した特定位置に見えるようにＣＧをＨＭＤに表示することで、現実環境にＣＧを合成する（例えば非特許文献１参照）。
　例えば非特許文献１には、光学透過式の複合現実感装置について、ＨＭＤにおける情報の表示位置の校正（キャリブレーション）に関する技術が開示されている。
　なお、例えば特許文献１には、ＨＭＤの装着の有無を検出し、ＨＭＤの電源のオン（ＯＮ）／オフ（ＯＦＦ）を切り換える技術が開示されている。
特開２０００－２７８７１３号公報
「マーカ追跡に基づく拡張現実感システムとそのキャリブレーション」　加藤　博一，Mark Billinghurst，浅野　浩一，橘　啓八郎　バーチャルリアリティ学会論文誌　Vol.4（1999），pp.607-616
　前述したような光学透過式の複合現実感装置では、ＨＭＤの装着状態が変化すると、現実環境の特定位置とＨＭＤにおける情報の表示位置との関係がずれてしまうおそれがあるという技術的問題点がある。このため、ＨＭＤの装着状態が変化すると、複合現実感を好適に実現することができなくなってしまうおそれがある。
　本発明は、例えば前述した従来の問題点に鑑みなされたものであり、例えば複合現実感を好適に実現可能な複合現実感装置を提供することを課題とする。
　本発明の複合現実感装置は上記課題を解決するために、使用者の頭部に装着される装着部と、現実環境の特定位置を検出する特定位置検出手段と、前記現実環境に付加すべき付加情報を表示する表示部とを有するヘッドマウントディスプレイと、前記装着部の装着状態を検出する装着状態検出手段と、前記特定位置検出手段の座標系から前記表示部の座標系への変換を行うための校正データの更新処理を、前記装着状態検出手段によって検出された装着状態に応じて行う更新処理手段とを備える。
　本発明の作用及び他の利得は次に説明する実施形態から明らかにされる。
第１実施例に係る複合現実感装置の概略構成を示す外観図（その１）である。 第１実施例に係る複合現実感装置の概略構成を示す外観図（その２）である。 第１実施例に係る複合現実感装置の構成を示すブロック図である。 第１実施例に係るＤＢ制御部の構成を示すブロック図である。 第１実施例に係る校正部の構成を示すブロック図である。 第１実施例に係る変換行列算出部の構成を示すブロック図である。 第１実施例に係るレンダリング部の構成を示すブロック図である。 第１実施例に係る複合現実感装置の動作の流れを示すフローチャートである。 第１実施例に係る圧力分布連動校正処理の流れを示すフローチャートである。 光透過式の複合現実感装置における校正を説明するための図である。
　本発明の複合現実感装置は上記課題を解決するために、使用者の頭部に装着される装着部と、現実環境の特定位置を検出する特定位置検出手段と、前記現実環境に付加すべき付加情報を表示する表示部とを有するヘッドマウントディスプレイと、前記装着部の装着状態を検出する装着状態検出手段と、前記特定位置検出手段の座標系から前記表示部の座標系への変換を行うための校正データの更新処理を、前記装着状態検出手段によって検出された装着状態に応じて行う更新処理手段と、を備える。
　本発明の複合現実感装置は、ヘッドマウントディスプレイ（より具体的には、その装着部）が使用者の頭部に装着された状態で使用され、透過性を有する表示部に付加情報を表示することにより複合現実感を実現する光学透過式の複合現実感装置である。即ち、本発明の複合現実感装置によれば、その動作時には、特定位置検出手段によって現実環境の特定位置（即ち、現実環境における例えばマーカが配置された位置と姿勢（方向）や、特定形状の部分が存在する位置などの特定の位置と姿勢（方向））が検出される。特定位置検出手段は、例えば、カメラ等の撮像手段を含んでおり、撮像手段によって撮影された現実環境の画像に基づいて特定位置を検出する。なお、特定位置検出手段は、例えば、撮像手段に代えて或いは加えて、磁気センサー、超音波センサー、ジャイロ、加速度センサー、角速度センサー、ＧＰＳ（Global Positioning System）、無線通信装置等を含んでいてもよい。特定位置検出手段によって特定位置が特定されると、表示部における、検出された特定位置に応じた位置に例えばＣＧや文字等の付加情報が表示される。これにより、現実環境には存在しない付加情報が、現実環境にあたかも存在しているかのような複合現実感を実現することができる。
　本発明では特に、特定位置検出手段の座標系から表示部の座標系への変換を行うための校正データの更新処理を、装着状態検出手段によって検出された装着状態に応じて行う更新処理手段を備える。
　ここで、例えば、装着部の装着状態が変化して、使用者の眼と表示部との位置関係が変化すると、複合現実感を実現するために特定位置に対応させるべき表示位置が異なってしまう。このため、何らの対策も施さなければ、装着部の装着状態が変化すると、複合現実感を実現することが困難になってしまうおそれがある。
　しかるに本発明では特に、前述したように、更新処理手段は、装着状態検出手段によって検出された装着状態に応じて校正データの更新処理を行う。装着状態検出手段は、例えば、ヘッドマウントディスプレイの装着部に設けられ、使用者の頭部から加えられる圧力の分布を検出する圧力分布センサーを有し、この圧力分布センサーによって検出された圧力の分布に基づいて装着状態を検出する。本発明に係る「校正データの更新処理」とは、校正データの更新に関する処理であり、例えば、データベースに蓄積された校正データに基づいて校正データを更新する処理（即ち、校正データの自動更新処理）や、使用者に校正データを更新すべき旨を知らせる処理（即ち、再校正の促し処理）などを含む。
　よって、例えば、装着部の装着状態が変化して、使用者の眼と表示部との位置関係が変化しても、校正データの更新処理（校正データの自動更新処理や再校正の促し処理）が行われることにより、複合現実感を好適に実現可能となる。
　以上説明したように、本発明の複合現実感装置によれば、複合現実感を好適に実現することができる。
　本発明の複合現実感装置の一態様では、前記装着状態検出手段は、前記装着部に設けられ、前記頭部から加えられる圧力の分布を検出する圧力分布センサーを有し、前記圧力分布センサーによって検出された圧力の分布に基づいて前記装着状態を検出する。
　この態様によれば、圧力分布センサーによって検出される圧力の分布に基づいて、ヘッドマウントディスプレイの装着部の装着状態を高精度に検出でき、校正データの更新処理を適時に行うことができる。よって、複合現実感をより好適に実現することができる。
　なお、装着状態検出手段は、例えば、ヘッドマウントディスプレイに内向きに（即ち、使用者側に向かって）取り付けられたカメラ或いは距離センサを有し、このカメラによって撮影された映像或いは距離センサによって測定された距離に基づいて装着状態を検出してもよい。
　本発明の複合現実感装置の他の態様では、前記装着状態検出手段は、前記装着部の動きを検出する動き検出手段を更に有し、前記圧力分布センサーによって検出された圧力の分布及び前記動き検出手段によって検出された動きに基づいて、前記装着状態を検出する。
　この態様によれば、装着状態検出手段は、例えば、装着部の動き（例えば、装着部が動く速度や加速度或いは動く距離）を動き検出手段によって検出する。
　ここで、例えば、ヘッドマウントディスプレイが加速度運動をしている時は力がかかるため、圧力の分布が静止時とは異なる。このため、ヘッドマウントディスプレイが加速度運動をしている時には、装着状態が変化したと誤検出されてしまうおそれがある。
　しかるに、この態様によれば、圧力分布センサーによって検出された圧力の分布及び動き検出手段によって検出された動きに基づいて、装着状態を検出するので、装着状態の誤検出を防ぐことができる。
　例えば、動き検出手段によって検出される加速度が大きいときには、装着状態検出手段は、装着状態が変化したと判定する基準となる閾値を高くする。これにより、加速運動により生じる圧力分布センサーの検出値（即ち、検出される圧力分布）の変動を、装着状態の変化であると誤検出することを防ぐことができる。
　或いは、例えば、動き検出手段によって検出される加速度が、所定の加速度以上である場合には、装着状態検出手段による装着状態の検出が正しく行えないおそれがあるので、装着状態検出手段による装着状態の検出を止め、校正データの更新処理を行わないようにしてもよい。
　本発明の複合現実感装置の他の態様では、前記校正データを蓄積する校正データ蓄積手段を更に備え、前記更新処理手段は、前記更新処理として、前記校正データ蓄積手段に蓄積された校正データに基づいて前記校正データを更新する処理を行う。
　この態様によれば、校正データ蓄積手段に蓄積された校正データに基づいて校正データが更新されるので、校正データを更新するために使用者が行う作業を低減できるので、実践上大変便利である。
　本発明の複合現実感装置の他の態様では、前記更新処理手段は、前記更新処理として、前記使用者に前記校正データを更新すべき旨を知らせる処理を行う。
　この態様によれば、校正データを更新すべきことを使用者が知ることができる。よって、使用者の指示に応じて校正データが更新されることで、複合現実感をより好適に実現することができる。
　以下、本発明の実施例について図を参照しつつ説明する。
　＜第１実施例＞
　第１実施例に係る複合現実感装置について、図１から図９を参照して説明する。
　まず、本実施例に係る複合現実感装置の概略構成について、図１及び図２を参照して説明する。
　図１及び図２は、本実施例に係る複合現実感装置の概略構成を示す外観図である。
　図１において、本実施例に係る複合現実感装置１は、光学透過式の複合現実感装置であり、装着部１１０、撮像部１２０及び表示部１３０を有するヘッドマウントディスプレイ１００（以下、「ＨＭＤ１００」と適宜称する。）を備えている。使用者は、ＨＭＤ１００を装着した状態で複合現実感装置１を使用する。複合現実感装置１は、現実環境に設けられたマーカの位置に対応するように表示部１３０に、本発明に係る「付加情報」の一例としてのＣＧを表示させることで、複合現実感を実現する。なお、ＨＭＤ１００は、本発明に係る「ヘッドマウントディスプレイ」の一例である。
　装着部１１０は、使用者の頭部に装着可能に構成された部材（眼鏡フレーム状の部材）であり、使用者の頭部を左右両側から挟むことが可能に構成されている。なお、装着部１１０は、本発明に係る「装着部」の一例である。
　撮像部１２０は、カメラを含んでなり、使用者がＨＭＤ１００を装着した状態で使用者の前方の現実環境を撮影する。撮像部１２０は、左右に並んだ２つの表示部１３０の間に設けられている。なお、撮像部１２０は、後述するマーカ検出部２３１とともに、本発明に係る「特定位置検出手段」の一例を構成する。また、本実施例では、撮像部１２０によって撮影される画像に基づいて、マーカの位置を検出するが、カメラを含んでなる撮像部１２０に代えて、磁気センサー、超音波センサー、ジャイロ、加速度センサー、角速度センサー、ＧＰＳ、無線通信装置等によりマーカの位置を検出してもよい。
　表示部１３０は、光透過性を有する表示装置であり、使用者の左右の眼にそれぞれ対応して１つずつ設けられている。使用者は、表示部１３０を介して現実環境を見るとともに、表示部１３０に表示されるＣＧを見ることで、現実環境には存在しないＣＧが、現実環境にあたかも存在しているかのように感じることができる。なお、表示部１３０は、本発明に係る「表示部」の一例である。表示部１３０は、装着部１１０と一体的に設けられているので、装着部１１０の装着状態が変化しても、表示部１３０と装着部１１０との間の位置関係は変化しない。
　図２において、本実施例では特に、装着部１１０の使用者に接する部分に、圧力分布センサー１４０が設けられている。圧力分布センサー１４０は、使用者の頭部から装着部１１０に加えられる圧力の分布を検出するセンサーであり、検出した値を、図３を参照して後述するＤＢ制御部２１０に出力する。なお、圧力分布センサー１４０は、本発明に係る「装着状態検出手段」を構成する。使用者の頭部から装着部１１０に加えられる圧力の分布は、装着部１１０の装着状態によって異なる。よって、圧力分布センサー１４０の検出値は、装着部１１０の装着状態に相当する。
　次に、複合現実感装置１のより詳細な構成について、図３から図７を参照して説明する。
　図３は、複合現実感装置１の構成を示すブロック図である。
　図３において、複合現実感装置１は、図１及び図２を参照して前述した撮像部１２０、表示部１３０及び圧力分布センサー１４０に加えて、ボタン１５０と、ＤＢ（データベース）制御部２１０と、校正部２２０と、変換行列算出部２３０と、レンダリング部２４０と、セレクタ（ＳＥＬ）２５０とを備えている。
　ボタン１５０は、校正用のユーザーインターフェース（ＵＩ：User Interface）としてのボタンであり、表示部１３０におけるＣＧの表示位置を校正するための校正処理が行われる際、使用者が、表示部１３０に表示された校正用画像（例えば十字状の画像）と、現実環境のマーカとが一致して見える旨を示す一致信号を出力する。ボタン１５０から出力された一致信号は、後述する校正部２２０に入力される。なお、校正処理では、使用者は、表示部１３０に表示される校正用画像の位置と、現実環境のマーカの位置とが一致したときに、ボタン１５０を利用してその旨を校正部２２０に知らせる。
　図４は、ＤＢ制御部２１０の構成を示すブロック図である。
　図４において、ＤＢ制御部２１０は、圧力分布データベース２１１と、校正データデータベース２１２と、圧力分布比較部２１３と、ＤＢ書き込み制御部（ＤＢ ｗｒｉｔｅ 制御部）２１４とを有している。
　圧力分布データベース２１１は、圧力分布センサー１４０によって検出された検出値（検出圧力）を状態番号（状態Ｎｏ．）に対応付けて記憶するデータベースである。圧力分布センサー１４０の検出値及び状態Ｎｏ．は、後述するＤＢ書き込み制御部２１４によって圧力分布データベース２１１に書き込まれる。圧力分布データベース２１１は、検出値及び状態Ｎｏ．を、使用者毎に区別して記憶する。即ち、圧力分布データベース２１１に記憶されるデータは、使用者毎に管理される。この点については、後述する校正データデータベース２１２についても同様である。このように圧力分布データベース２１１及び校正データベース２１１に記憶されるデータを使用者毎に管理することにより、使用者毎に適した校正処理を行うことが可能となる。なお、本実施例では、現在の圧力分布センサー１４０の検出値を検出値Ｐａと適宜称する。
　校正データデータベース２１２は、本発明に係る「校正データ蓄積手段」の一例であり、校正部２２０によって算出された校正データを状態Ｎｏ．に対応付けて記憶するデータベースである。校正データデータベース２１１は、校正データ及び状態Ｎｏ．を、使用者毎に区別して記憶する。校正部２２０によって算出された校正データ及び状態Ｎｏ．は、後述するＤＢ書き込み制御部２１４によって校正データデータベース２１２に書き込まれる。なお、本実施例では、校正部２２０によって算出された校正データを校正データＭａと称する。
　圧力分布比較部２１３は、現在の圧力分布センサー１４０の検出値Ｐａと、圧力分布データベース２１１に記憶されている検出値とを比較し、これらが一致するか否かを判定する。圧力分布比較部２１３は、圧力分布データベース２１１に記憶されている検出値のなかに、現在の圧力分布センサー１４０の検出値Ｐａに一致する検出値がある場合には、その一致した検出値に対応付けられている状態Ｎｏ．を校正データデータベース２１２に出力する。また、圧力分布比較部２１３は、圧力分布データベース２１１に記憶されている検出値のなかに、現在の圧力分布センサー１４０の検出値Ｐａに一致する検出値がない場合には、校正処理を開始すべき旨を示す校正開始トリガを校正部２２０に出力する。また、圧力分布比較部２１３は、現在の圧力分布センサー１４０の検出値ＰａをＤＢ書き込み制御部２１４に出力する。
　圧力分布比較部２１３は、以下の式（１）を用いて値Ｑを算出し、この値Ｑに基づいて、現在の圧力分布センサー１４０の検出値と、圧力分布データベース２１１に記憶されている検出値とが一致しているか否かを判定する。式（１）において、ｘｉは、現在の圧力分布センサー１４０の検出値であり、ｙｉは、圧力分布データベース２１１に記憶されている検出値である。
Figure JPOXMLDOC01-appb-M000001
　圧力分布比較部２１３は、値Ｑが所定の閾値以下である場合、現在の圧力分布センサー１４０の検出値と、圧力分布データベース２１１に記憶されている検出値とが一致していると判定する。なお、値Ｑは、現在の圧力分布センサー１４０の検出値と、圧力分布データベース２１１に記憶されている検出値との間の距離に相当する。
　なお、本実施例では、値Ｑに基づいて、現在の圧力分布センサー１４０の検出値と、圧力分布データベース２１１に記憶されている検出値とが一致しているか否かを判定する例を挙げたが、一致するか否かの判定方法は、特に限定されるものではなく、例えば、現在の圧力分布センサー１４０の検出値と、圧力分布データベース２１１に記憶されている検出値との相関性（圧力分布の類似性）を示す相関係数に基づいて一致するか否かを判定してもよい。この場合、現在の圧力分布センサー１４０の検出値と、圧力分布データベース２１１に記憶されている検出値との絶対値が異なるときにも、これらが一致すると判定し、装着部１１０の装着状態が同じであると判定することができる。また、圧力分布センサー１４０の検出値をコード化（或いは量子化）してもよい。この場合には、コード化された検出値に基づいて、現在の圧力分布センサー１４０の検出値と、圧力分布データベース２１１に記憶されている検出値とが一致するか否かを判定することで、該判定処理の高速化を図ることができる。
　ＤＢ書き込み制御部２１４は、校正部２２０から演算終了信号が入力されたら、現在の圧力分布センサー１４０の検出値Ｐａを圧力分布データベース２１１に書き込むとともに、校正部２２０によって算出された校正データＭａを校正データデータベース２１２に書き込む。この際、ＤＢ書き込み制御部２１４は、検出値Ｐａ及び校正データＭａを、状態Ｎｏ．と対応付けて、それぞれ圧力分布データベース２１１及び校正データデータベース２１２に書き込む。
　即ち、本実施例では、現在の圧力分布センサー１４０の検出値Ｐａが圧力分布データベース２１１に記憶されていない場合には、状態Ｎｏ．が付されて圧力分布データベース２１１に追加されるとともに、圧力分布センサー１４０の検出値が検出値Ｐａであるときに校正部２２０によって算出された校正データＭａ（言い換えれば、圧力分布センサー１４０の検出値が検出値Ｐａであるときに校正処理が行われることで決定された校正データＭａ）が、状態Ｎｏ．に対応付けて（言い換えれば検出値Ｐａに対応付けて）校正データデータベース２１２に追加される。
　図５は、校正部２２０の構成を示すブロック図である。
　図５において、校正部２２０は、前述したＤＢ制御部２１０（より具体的には、圧力分布比較部２１３）から校正開始トリガが入力された場合に、校正処理を行うことにより、校正データを算出する。校正部２２０は、校正制御部２２１と、校正用座標生成部２２２と、校正用表示生成部２２３と、校正用マーカ位置検出部２２４と、データ蓄積部２２５と、校正データ算出部２２６とを有している。
　校正制御部２２１は、校正処理を制御する。具体的には、校正制御部２２１は、校正用座標生成部２２２、校正用マーカ位置検出部２２４及び校正データ算出部２２６の動作を制御する。校正制御部２２１は、ＤＢ制御部２１０から校正開始トリガが入力されると校正処理を開始する。例えば、校正制御部２２１は、ＤＢ制御部２１０から校正開始トリガが入力されと、ボタン１５０からの一致信号に応じて、表示更新信号を校正用座標生成部２２２に出力するとともに、データ追加トリガをデータ蓄積部２２５に出力する。校正制御部２２１は、ボタン１５０からの一致信号が既定回数入力された場合に、演算トリガを校正データ算出部２２６に出力するとともに、モード切替信号をセレクタ２５０に出力する。後述するように、校正データ算出部２２６は、演算トリガが入力されると、校正データＭａを算出する。また、セレクタ２５０は、モード切替信号が入力されると、表示部１３０に出力するデータを校正用画像データと表示データとで切り替えるモード切替を行う。ここで、校正処理では、使用者が、校正用のマーカが設けられた校正板を、校正用のマーカが、表示部１３０に表示された校正用画像（例えば十字状の画像）に一致するように移動させ、一致したときにボタン１５０によって一致信号を出力させる。なお、校正処理では、校正板を動かしてもよいし、ＨＭＤ１００を動かしてもよい。また、校正処理は、特に限定されるものではなく、例えば、現実環境における四角形等の２次元形状の物体と、表示部１３０における四角形等の２次元表示とが一致するように校正してもよいし、現実環境における３次元物体と、表示部１３０における２次元表示とが一致するように校正してもよい。また、校正処理は、校正用のマーカが設けられた校正板を固定するとともに、表示部１３０に表示させる校正用画像の位置、サイズ、姿勢などを変更して、校正用のマーカと校正用画像との一致を検出することで行ってもよい。
　校正用座標生成部２２２は、校正制御部２２１から表示更新信号が入力された場合に、表示部１３０における校正用画像を表示すべき座標（Ｘｄ、Ｙｄ）を生成する。校正用座標生成部２２２は、生成した座標（Ｘｄ，Ｙｄ）を校正用表示生成部２２３及びデータ蓄積部２２５に出力する。
　校正用表示生成部２２３は、校正用座標生成部２２２が生成した座標（Ｘｄ、Ｙｄ）に表示すべき校正用画像（例えば十字状の画像）の画像データ（以下、「校正用画像データ」と適宜称する）を生成する。校正用表示生成部２２３は、生成して校正用画像データをセレクタ２５０（図３参照）に出力する。
　校正用マーカ位置検出部２２４は、撮像部１２０によって撮像された画像から校正用のマーカの位置を検出する。具体的には、校正用マーカ位置検出部２２４は、撮像部１２０から入力される画像データに基づいて、校正用のマーカの位置を示す座標（Ｘｃ、Ｙｃ、Ｚｃ）を特定し、特定した座標（Ｘｃ、Ｙｃ、Ｚｃ）をデータ蓄積部２２５に出力する。
　データ蓄積部２２５は、校正制御部２２１からデータ追加トリガが入力されたときに、校正用座標生成部２２２から入力される座標（Ｘｄ、Ｙｄ）と、校正用マーカ位置検出部２２４から入力される座標（Ｘｃ、Ｙｃ、Ｚｃ）とを対応付けて記憶する。データ蓄積部２２５は、表示部１３０の座標系を基準としたマーカの位置座標である座標（Ｘｄ、Ｙｄ）と、撮像部１２０の座標系を基準としたマーカの位置座標である座標（Ｘｃ、Ｙｃ、Ｚｃ）とを対応付けたデータリストを生成して保持する。
　校正データ算出部２２６は、校正制御部２２１から演算トリガが入力されると、データ蓄積部２２５に格納されている座標（Ｘｄ、Ｙｄ）及び座標（Ｘｃ、Ｙｃ、Ｚｃ）に基づいて、校正データＭａを算出する。ここで、校正データＭａは、撮像部１２０の座標系と表示部１３０の座標系との関係を校正するためのデータである。図７を参照して後述するレンダリング部２４０（より具体的には、撮像ｔｏ表示変換部２４３）は、校正データＭａに基づいて、表示データ（ＣＧデータ）を撮像部１２０の座標系から表示部１３０の座標系に変換する（座標変換及び投影変換）。校正データ算出部２２６は、校正データＭａを算出し終えると、その旨を示す演算終了信号を校正制御部２２１に出力する。
　図６は、変換行列算出部２３０の構成を示すブロック図である。
　図６において、変換行列算出部２３０は、マーカ検出部２３１と、Ｒｍｃ算出部２３２とを有している。
　マーカ検出部２３１は、撮像部１２０によって撮像された画像中のマーカの位置及びサイズを検出する。
　Ｒｍｃ算出部２３２は、マーカ検出部２３１によって検出されたマーカの位置及びサイズに基づいて、マーカの座標系から撮像部１２０の座標系へ変換する変換行列Ｒｍｃを算出する。Ｒｍｃ算出部２３２は、算出した変換行列Ｒｍｃをレンダリング部２４０に出力する。変換行列Ｒｍｃが更新されることで、マーカに追従するようにＣＧが表示部１３０に表示される。
　図７は、レンダリング部２４０の構成を示すブロック図である。
　図７において、レンダリング部２４０は、表示部１３０に表示すべきＣＧについてのレンダリングを行う。レンダリング部２４０は、ＣＧデータ格納部２４１と、マーカｔｏ撮像座標変換部２４２と、撮像ｔｏ表示変換部２４３とを有している。
　ＣＧデータ格納部２４１は、表示部１３０に表示すべきＣＧのデータ（ＣＧデータ）が格納された記憶手段である。ＣＧデータ格納部２４１にはＣＧデータがマーカの座標系で格納されている。なお、ＣＧデータ格納部２４１に格納されているＣＧデータは、３次元（３Ｄ）データである。以下では、ＣＧデータ格納部２４１に格納されているＣＧデータを、「マーカ座標系データ」と適宜称する。
　マーカｔｏ撮像座標変換部２４２は、変換行列算出部２３０から入力される変換行列Ｒｍｃに基づいて、ＣＧデータ格納部２４１に格納されているＣＧデータをマーカの座標系から撮像部１２０の座標系へ変換する。以下では、マーカｔｏ撮像座標変換部２４２によって変換された後の撮像部１２０の座標系を基準とするＣＧデータを、「撮像座標系データ」と適宜称する。
　撮像ｔｏ表示変換部２４３は、校正データデータベース２１２から入力される校正データＭｘに基づいて、マーカｔｏ撮像座標変換部２４２から入力される撮像座標系データを表示データに変換する（座標変換及び投影変換）。なお、表示データは、表示部１２０の座標系を基準とする２次元（２Ｄ）データである。撮像ｔｏ表示変換部２４３は、表示データをセレクタ２５０（図３参照）に出力する。
　図３において、セレクタ２５０は、校正部２２０から入力される校正用画像データと、レンダリング部２４０から入力される表示データとを選択的に表示部１３０に出力する。セレクタ２５０は、校正処理が行われるときには、校正用画像データを表示部１３０に出力し、表示部１３０にＣＧが表示されるべきときには、表示データを表示部１３０に出力する。なお、表示部１３０は、校正用画像データに基づいて校正用画像（例えば十字状の画像）を表示し、表示データに基づいてＣＧを表示する。
　次に、複合現実感装置１の動作について、図８及び図９を参照して説明する。
　図８は、複合現実感装置１の動作の流れを示すフローチャートである。
　図８において、まず、撮像部１２０によって現実環境の画像が取得される（ステップＳ１０）。即ち、複合現実感装置１は、撮像部１２０によって現実環境を撮影することにより、現実環境の画像を取得する。
　次に、変換行列算出部２３０によって、マーカが検出され、変換行列Ｒｍｃが算出される（ステップＳ２０）。即ち、変換行列算出部２３０のマーカ検出部２３１が、撮像部１２０によって取得された現実環境の画像に基づいて、現実環境に設けられたマーカの位置、姿勢（方向）及びサイズを検出し、この検出されたマーカの位置、姿勢（方向）及びサイズに基づいて、変換行列算出部２３０のＲｍｃ算出部２３２が変換行列Ｒｍｃを算出する。
　次に、圧力分布連動校正処理が行われる（ステップＳ３０）。
　図９は、圧力分布連動校正処理の流れを示すフローチャートである。
　図９において、圧力分布連動校正処理では、まず、現在の圧力分布センサー１４０（図２及び図３参照）の検出値Ｐａが圧力分布比較部２１３（図４参照）によって取得される（ステップＳ３１０）。
　次に、取得された検出値Ｐａと、現在使用中の校正データＭｘが算出されたときの圧力分布センサー１４０の検出値Ｐｘとが圧力分布比較部２１３によって比較される（ステップＳ３２０）。
　次に、現在の圧力分布センサー１４０の検出値Ｐａと、現在使用中の校正データＭｘが算出されたときの圧力分布センサー１４０の検出値Ｐｘとが一致するか否かが圧力分布比較部２１３によって判定される（ステップＳ３３０）。
　検出値Ｐａと検出値Ｐｘとが一致すると判定された場合には（ステップＳ３３０：Ｙｅｓ）、校正データＭｘ及び検出値Ｐｘが保持される（ステップＳ３７５）。ここで、検出値Ｐａと検出値Ｐｘとが一致する場合には、ＨＭＤ１００（より具体的には、その装着部１１０）の装着状態は、校正データＭｘが算出されたときと現在とでほとんど或いは全く同じであり、使用者の眼と表示部１３０との位置関係はほとんど或いは全く変化していないので、現在使用中の校正データＭｘに基づいて撮像ｔｏ表示変換部２４３（図７参照）によって撮像座標系データを表示データに変換することで、複合現実感を好適に実現することができる。
　検出値Ｐａと検出値Ｐｘとが一致しないと判定された場合には（ステップＳ３３０：Ｎｏ）、現在の圧力分布センサー１４０の検出値Ｐａと、圧力分布データベース２１１に記憶されている検出値Ｐｎｉとが圧力分布比較部２１３によって比較される（ステップＳ３４０）。
　次に、現在の圧力分布センサー１４０の検出値Ｐａと、圧力分布データベース２１１に記憶されている検出値Ｐｎｉとが一致するか否かが圧力分布比較部２１３によって判定される（ステップＳ３５０）。言い換えれば、圧力分布比較部２１３は、圧力分布データベース２１１に記憶されている検出値Ｐｎｉのなかに、現在の圧力分布センサー１４０の検出値Ｐａと一致する検出値Ｐｎｉがあるか否かを判定する。
　検出値Ｐａと検出値Ｐｎｉとが一致すると判定された場合には（ステップＳ３５０：Ｙｅｓ）、現在使用中の校正データＭｘが、検出値Ｐｎｉに対応する校正データＭｎｉに変更されるとともに、検出値Ｐｘが検出値Ｐｎｉに変更される。ここで、校正データＭｎｉは、圧力分布センサー１４０の検出値が検出値Ｐｎｉであるときに校正部２２０によって算出された校正データであり、検出値Ｐｎｉと同じ状態Ｎｏ．に対応付けられて校正データデータベース２１２に記憶されている。検出値Ｐａと検出値Ｐｎｉとが一致する場合には、ＨＭＤ１００（より具体的には、その装着部１１０）の装着状態は、校正データＭｎｉが算出されたときと現在とでほとんど或いは全く同じであり、使用者の眼と表示部１３０との位置関係はほとんど或いは全く同じであるので、校正データＭｎｉに基づいて撮像ｔｏ表示変換部２４３（図７参照）によって撮像座標系データを表示データに変換することで、複合現実感を好適に実現することができる。
　検出値Ｐａと検出値Ｐｎｉとが一致しないと判定された場合には（ステップＳ３５０：Ｎｏ）、校正処理が行われ、校正データＭａが取得される（ステップＳ３６０）。即ち、この場合（ステップＳ３５０：Ｎｏ）、校正部２２０によって校正処理が行われ、新たな校正データＭａが算出される。
　次に、校正データＭａが校正データデータベース２１２に追加されるとともに、検出値Ｐａが圧力分布データベース２１１に追加される（ステップＳ３７０）。即ち、校正部２２０の校正データ算出部２２６（図５参照）によって新たに算出された校正データＭａは、ＤＢ制御部２１０のＤＢ書き込み制御部２１４に入力され、ＤＢ書き込み制御部２１４によって校正データデータベース２１２に書き込まれる。この際、現在の圧力分布センサー１４０の検出値ＰａがＤＢ書き込み制御部２１４によって圧力分布データベース２１１に書き込まれる。即ち、本実施例では、現在の圧力分布センサー１４０の検出値Ｐａに一致する検出値が圧力分布データベース２１１に記憶されていない場合には、新たに校正処理が行われることにより新たな校正データＭａが算出されるとともに、検出値Ｐａ及び校正データＭａがそれぞれ圧力分布データベース２１１及び校正データデータベース２１２に追加される。
　次に、現在使用中の校正データＭｘが、現在の圧力分布センサー１４０の検出値Ｐａに対応する新たな校正データＭａに変更されるとともに、検出値Ｐｘが検出値Ｐａに変更される（ステップＳ３８０）。
　このように、圧力分布連動校正処理では、（i）現在の圧力分布センサー１４０の検出値Ｐａが現在使用中の校正データＭｘに対応する検出値Ｐｘに一致する場合には、校正データはそのまま維持され、（ii）現在の圧力分布センサー１４０の検出値Ｐａが圧力分布データベース２１１に記憶されている検出値Ｐｎｉに一致する場合には、校正データは、検出値Ｐｎｉに対応する校正データＭｎｉに変更され、（iii）現在の圧力分布センサー１４０の検出値Ｐａが現在使用中の校正データＭｘに対応する検出値Ｐｘに一致せず、かつ、圧力分布データベース２１１に現在の圧力分布センサー１４０の検出値Ｐａに一致する検出値が無い場合には、新たに校正処理が行われることにより新たな校正データＭａが算出されるとともに、検出値Ｐａ及び校正データＭａがそれぞれ圧力分布データベース２１１及び校正データデータベース２１２に追加される。
　図８において、圧力分布連動校正処理の後には、表示部１３０に表示すべきＣＧの表示データを生成する描画処理が行われる（ステップＳ４０）。描画処理では、まず、ＣＧデータ格納部２４１に格納されているマーカ座標系データが、マーカｔｏ撮像座標変換部２４２によって変換行列Ｒｍｃに基づいて撮像座標系データに変換される。次に、撮像座標系データが、撮像ｔｏ表示変換部２４３によって校正データＭｘに基づいて表示データに変換される。このように生成された表示データは、セレクタ２５０（図３参照）を介して表示部１３０に入力される。
　次に、表示データに基づくＣＧが表示部１３０に表示される（ステップＳ５０）。
　次に、表示部１３０におけるＣＧの表示を終了するか否かが判定される（ステップＳ６０）。
　終了すると判定された場合には（ステップＳ６０：Ｙｅｓ）、ＣＧの表示が終了される。
　終了しないと判定された場合には（ステップＳ６０：Ｎｏ）、再びステップＳ１０に係る処理が行われる。
　なお、本実施例では、ステップＳ１０からＳ６０までの処理が連続して行われる例を挙げているが、圧力分布連動校正処理（ステップＳ３０）は、他の処理と並行して行われてもよい。
　本実施例では特に、前述したように、現在の圧力分布センサー１４０の検出値Ｐａが圧力分布データベース２１１に記憶されている検出値Ｐｎｉに一致する場合には、校正データＭｘを、検出値Ｐｎｉに対応する校正データＭｎｉに変更する（ステップＳ３８５）。よって、新たに校正処理を行うことなく、撮像ｔｏ表示変換部２４３によって、現在のＨＭＤ１００の装着状態に適した校正データＭｎｉに基づいて撮像座標系データを表示データに変換することができる。したがって、校正処理に必要な時間や使用者の作業を無くすことができるとともに、複合現実感を好適に実現することができる。
　更に、本実施例では特に、前述したように、現在の圧力分布センサー１４０の検出値Ｐａが現在使用中の校正データＭｘに対応する検出値Ｐｘに一致せず、かつ、圧力分布データベース２１１に現在の圧力分布センサー１４０の検出値Ｐａに一致する検出値が無い場合には、新たに校正処理が行われることにより新たな校正データＭａが算出されるとともに、検出値Ｐａ及び校正データＭａがそれぞれ圧力分布データベース２１１及び校正データデータベース２１２に追加される（ステップＳ３６０、Ｓ３７０及びＳ３８０）。よって、現在のＨＭＤ１００の装着状態が、現在使用中の校正データＭｘが算出されたときのＨＭＤ１００の装着状態と異なっていることを検出でき、新たな校正処理を確実に行うことができる。したがって、新たな校正処理によって適切な校正データＭａを算出できるので、複合現実感を好適に実現することができる。更に、検出値Ｐａ及び校正データＭａがそれぞれ圧力分布データベース２１１及び校正データデータベース２１２に追加されるので、その後、圧力分布センサー１４０の検出値が検出値Ｐａに一致した場合には、この検出値Ｐａに対応する校正データＭａに基づいて撮像ｔｏ表示変換部２４３によって撮像座標系データを表示データに変換されることにより、校正処理を行うことなく、複合現実感を好適に実現することができる。
　なお、一変形例として、図９において、検出値Ｐａと検出値Ｐｎｉとが一致しないと判定された場合には（ステップＳ３５０：Ｎｏ）、ステップＳ３６０に係る処理（即ち、校正処理）に代えて、使用者に校正データを更新すべき旨を知らせる処理を行ってもよい。この場合には、校正データを更新すべきことを使用者が知ることができる。よって、使用者の指示に応じて校正処理が行われ、校正データが更新されることで、複合現実感を好適に実現することができる。
　また、他の変形例として、圧力分布センサー１４０に加えて、加速度センサーあるいはジャイロセンサーを含んでなる、装着部１１０の動きを検出する動き検出手段を設けてもよい。例えば、動き検出手段によって検出される加速度が大きいときには、装着部１００の装着状態が変化したと判定する基準となる圧力の閾値を高くしてもよい。これにより、加速運動により生じる圧力分布センサー１４０の検出値（即ち、検出される圧力分布）の変動を、装着部１００の装着状態の変化であると誤検出することを防ぐことができる。
　或いは、例えば、動き検出手段によって検出される加速度が、所定の加速度以上である場合には、装着部１１０の装着状態の検出が正しく行えないおそれがあるので、装着部１１０の装着状態の検出を止め、校正データの更新処理を行わないようにしてもよい。
　次に、光学透過式の複合現実感装置である複合現実感装置１における校正について図１０を参照して説明を加える。
　図１０は、複合現実感装置１における校正を説明するための図である。
　図１０（ａ）において、撮像部１２０及び表示部１３０を有するヘッドマウントディスプレイ１００では、使用者の眼９１０の位置と撮像部１２０の位置とが互いに異なるため、撮像部１２０によって取得される画像と、使用者の眼９１０に映る画像とは互いに異なる。例えば、使用者の眼９１０と、撮像部１２０と、現実環境に設けられたマーカ７００とが図１０（ａ）に示すような位置関係にある場合、撮像部１２０によって取得される画像Ｐ１（図１０（ｂ）参照）では、マーカ７００は当該画像における左側に位置し、使用者の眼９１０に映る画像Ｐ３（図１０（ｃ）参照）では、マーカ７００は当該画像における右側に位置することになる。なお、マーカ７００は、現実環境の物体１１００に設けられている。
　ここで、撮像部１２０によって取得される画像Ｐ１に基づいて、マーカ７００の位置を検出し、画像Ｐ１における検出した位置にＣＧ６００を合成することで、ＣＧ６００とマーカ７００との位置が一致した画像Ｐ２を生成することができる。複合現実感装置１のように、光学透過式の複合現実感装置では、使用者の眼９１０の位置と撮像部１２０の位置との差異に応じて、校正を行う必要がある。校正が行われない場合、図１０（ｃ）の画像Ｐ４のように、表示部１３０にＣＧ６００を表示させたときに、マーカ７００とＣＧ６００との位置と姿勢（方向）がずれてしまうおそれがある。しかるに、校正（本実施例では、校正データに基づく撮像座標系データの表示データへの変換）が行われることにより、図１０（ｃ）の画像Ｐ５のように、ＣＧ６００とマーカ７００との位置と姿勢（方向）を一致させることができる。
　以上説明したように、本実施例に係る複合現実感装置１によれば、圧力分布センサー１４０の検出値に基づいて、ＨＭＤ１００の装着状態を検出し、検出された装着状態に応じて校正データの更新を行うので、複合現実感を好適に実現することができる。
　本発明は、前述した実施例に限られるものではなく、請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う複合現実感装置もまた本発明の技術的範囲に含まれるものである。
　１　複合現実感装置
　１００　ヘッドマウントディスプレイ（ＨＭＤ）
　１１０　装着部
　１２０　撮像部
　１３０　表示部
　１４０　圧力分布センサー
　１５０　ボタン
　２１０　ＤＢ制御部
　２１１　圧力分布データベース
　２１２　校正データデータベース
　２１３　圧力分布比較部
　２１４　ＤＢ書き込み制御部
　２２０　校正部
　２２１　校正制御部
　２２２　校正用座標生成部
　２２３　校正用表示生成部
　２２４　校正用マーカ位置検出部
　２２５　データ蓄積部
　２２６　校正データ算出部
　２３０　変換行列算出部
　２４０　レンダリング部
　２５０　セレクタ

Claims (5)

  1. 　使用者の頭部に装着される装着部と、現実環境の特定位置を検出する特定位置検出手段と、前記現実環境に付加すべき付加情報を表示する表示部とを有するヘッドマウントディスプレイと、
    　前記装着部の装着状態を検出する装着状態検出手段と、
    　前記特定位置検出手段の座標系から前記表示部の座標系への変換を行うための校正データの更新処理を、前記装着状態検出手段によって検出された装着状態に応じて行う更新処理手段と、
    　を備えたことを特徴とする複合現実感装置。
  2. 　前記装着状態検出手段は、前記装着部に設けられ、前記頭部から加えられる圧力の分布を検出する圧力分布センサーを有し、前記圧力分布センサーによって検出された圧力の分布に基づいて前記装着状態を検出することを特徴とする請求項１に記載の複合現実感装置。
  3. 　前記装着状態検出手段は、前記装着部の動きを検出する動き検出手段を更に有し、前記圧力分布センサーによって検出された圧力の分布及び前記動き検出手段によって検出された動きに基づいて、前記装着状態を検出することを特徴とする請求項２に記載の複合現実感装置。
  4. 　前記校正データを蓄積する校正データ蓄積手段を更に備え、
    　前記更新処理手段は、前記更新処理として、前記校正データ蓄積手段に蓄積された校正データに基づいて前記校正データを更新する処理を行う
    　ことを特徴とする請求項１に記載の複合現実感装置。
  5. 　前記更新処理手段は、前記更新処理として、前記使用者に前記校正データを更新すべき旨を知らせる処理を行うことを特徴とする請求項１に記載の複合現実感装置。
PCT/JP2011/068136 2011-08-09 2011-08-09 複合現実感装置 WO2013021458A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013527778A JP5707497B2 (ja) 2011-08-09 2011-08-09 複合現実感装置
PCT/JP2011/068136 WO2013021458A1 (ja) 2011-08-09 2011-08-09 複合現実感装置
US14/236,767 US20140176609A1 (en) 2011-08-09 2011-08-09 Mixed reality apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2011/068136 WO2013021458A1 (ja) 2011-08-09 2011-08-09 複合現実感装置

Publications (1)

Publication Number Publication Date
WO2013021458A1 true WO2013021458A1 (ja) 2013-02-14

Family

ID=47668010

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/068136 WO2013021458A1 (ja) 2011-08-09 2011-08-09 複合現実感装置

Country Status (3)

Country Link
US (1) US20140176609A1 (ja)
JP (1) JP5707497B2 (ja)
WO (1) WO2013021458A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014183554A (ja) * 2013-03-21 2014-09-29 Ntt Docomo Inc 表示装置
GB2512404A (en) * 2013-03-25 2014-10-01 Sony Comp Entertainment Europe Display
JP2016009912A (ja) * 2014-06-23 2016-01-18 富士通株式会社 キャリブレーション装置、キャリブレーション方法、表示制御装置および表示制御方法
JP2016110489A (ja) * 2014-12-09 2016-06-20 コニカミノルタ株式会社 表示装置、表示装置のキャリブレーション方法、およびキャリブレーションプログラム
JP2021508109A (ja) * 2017-12-19 2021-02-25 テレフオンアクチーボラゲット エルエム エリクソン（パブル） 頭部装着型ディスプレイデバイスおよびその方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5821464B2 (ja) * 2011-09-22 2015-11-24 セイコーエプソン株式会社 頭部装着型表示装置
TWI571827B (zh) * 2012-11-13 2017-02-21 財團法人資訊工業策進會 決定３ｄ物件影像在３ｄ環境影像中深度的電子裝置及其方法
US9904053B2 (en) * 2014-12-25 2018-02-27 Seiko Epson Corporation Display device, and method of controlling display device
JP6565310B2 (ja) * 2015-05-08 2019-08-28 セイコーエプソン株式会社 表示装置、表示装置の制御方法、及び、プログラム
US10902680B2 (en) * 2018-04-03 2021-01-26 Saeed Eslami Augmented reality application system and method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002228442A (ja) * 2000-11-30 2002-08-14 Mixed Reality Systems Laboratory Inc 位置姿勢の決定方法及び装置並びに記憶媒体
JP2008146109A (ja) * 2006-12-05 2008-06-26 Canon Inc 画像処理方法、画像処理装置
JP2011002753A (ja) * 2009-06-22 2011-01-06 Sony Corp 頭部装着型ディスプレイ、及び、頭部装着型ディスプレイにおける画像表示方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0651901A (ja) * 1992-06-29 1994-02-25 Nri & Ncc Co Ltd 視線認識によるコミュニケーション装置
US20040219978A1 (en) * 2002-10-09 2004-11-04 Namco Ltd. Image generation method, program, and information storage medium
JP4532856B2 (ja) * 2003-07-08 2010-08-25 キヤノン株式会社 位置姿勢計測方法及び装置
US7778118B2 (en) * 2007-08-28 2010-08-17 Garmin Ltd. Watch device having touch-bezel user interface
KR100974900B1 (ko) * 2008-11-04 2010-08-09 한국전자통신연구원 동적 임계값을 이용한 마커 인식 장치 및 방법
US20110012896A1 (en) * 2009-06-22 2011-01-20 Ji Maengsob Image display apparatus, 3d glasses, and method for operating the image display apparatus
WO2011097564A1 (en) * 2010-02-05 2011-08-11 Kopin Corporation Touch sensor for controlling eyewear
US8982156B2 (en) * 2010-06-10 2015-03-17 Sartorius Stedim Biotech Gmbh Assembling method, operating method, augmented reality system and computer program product

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002228442A (ja) * 2000-11-30 2002-08-14 Mixed Reality Systems Laboratory Inc 位置姿勢の決定方法及び装置並びに記憶媒体
JP2008146109A (ja) * 2006-12-05 2008-06-26 Canon Inc 画像処理方法、画像処理装置
JP2011002753A (ja) * 2009-06-22 2011-01-06 Sony Corp 頭部装着型ディスプレイ、及び、頭部装着型ディスプレイにおける画像表示方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014183554A (ja) * 2013-03-21 2014-09-29 Ntt Docomo Inc 表示装置
GB2512404A (en) * 2013-03-25 2014-10-01 Sony Comp Entertainment Europe Display
GB2514466A (en) * 2013-03-25 2014-11-26 Sony Comp Entertainment Europe Display
GB2514466B (en) * 2013-03-25 2017-11-29 Sony Interactive Entertainment Europe Ltd Display
US10054796B2 (en) 2013-03-25 2018-08-21 Sony Interactive Entertainment Europe Limited Display
JP2016009912A (ja) * 2014-06-23 2016-01-18 富士通株式会社 キャリブレーション装置、キャリブレーション方法、表示制御装置および表示制御方法
JP2016110489A (ja) * 2014-12-09 2016-06-20 コニカミノルタ株式会社 表示装置、表示装置のキャリブレーション方法、およびキャリブレーションプログラム
JP2021508109A (ja) * 2017-12-19 2021-02-25 テレフオンアクチーボラゲット エルエム エリクソン（パブル） 頭部装着型ディスプレイデバイスおよびその方法
JP7012163B2 (ja) 2017-12-19 2022-01-27 テレフオンアクチーボラゲット エルエム エリクソン（パブル） 頭部装着型ディスプレイデバイスおよびその方法
US11380018B2 (en) 2017-12-19 2022-07-05 Telefonaktiebolaget Lm Ericsson (Publ) Head-mounted display device and method thereof
US11935267B2 (en) 2017-12-19 2024-03-19 Telefonaktiebolaget Lm Ericsson (Publ) Head-mounted display device and method thereof

Also Published As

Publication number Publication date
JP5707497B2 (ja) 2015-04-30
US20140176609A1 (en) 2014-06-26
JPWO2013021458A1 (ja) 2015-03-05

Similar Documents

Publication Publication Date Title
JP5707497B2 (ja) 複合現実感装置
KR102517876B1 (ko) 증강 현실 데이터를 레코딩하기 위한 기술
EP3469457B1 (en) Modular extension of inertial controller for six dof mixed reality input
JP5923603B2 (ja) 表示装置、ヘッドマウントディスプレイ、校正方法及び校正プログラム、並びに記録媒体
JP5844880B2 (ja) ヘッドマウントディスプレイ、校正方法及び校正プログラム、並びに記録媒体
JP4137078B2 (ja) 複合現実感情報生成装置および方法
EP3334148A1 (en) Ocular video stabilization
JP6491574B2 (ja) Ａｒ情報表示装置
US10304253B2 (en) Computer program, object tracking method, and display device
JP2014170374A (ja) 光学式シースルー型ｈｍｄを用いたａｒシステム
WO2014175324A1 (ja) ワーク加工作業支援システムおよびワーク加工方法
CN114761909A (zh) 针对头戴式显示器的内容稳定
JP4847195B2 (ja) 画像からの色情報の取得方法
JP2018067115A (ja) プログラム、追跡方法、追跡装置
KR20140122126A (ko) 투명 디스플레이를 이용한 증강현실 구현 장치 및 그 방법
US11024040B2 (en) Dynamic object tracking
JP2007233971A (ja) 画像合成方法及び装置
JP2014106642A (ja) 光学式シースルー型ｈｍｄを用いたａｒシステム
EP4416684A1 (en) Smooth and jump-free rapid target acquisition
KR101900475B1 (ko) 증강현실 객체의 정합을 위한 캘리브레이션 방법 및 이를 수행하기 위한 헤드 마운트 디스플레이
US20220300120A1 (en) Information processing apparatus, and control method
JP6266580B2 (ja) ヘッドマウントディスプレイ、校正方法及び校正プログラム、並びに記録媒体
JP2018156239A (ja) 操作支援装置
JP2006318094A (ja) 情報処理方法、情報処理装置
JP2021009557A (ja) 情報処理装置、情報処理方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11870787

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013527778

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 14236767

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 11870787

Country of ref document: EP

Kind code of ref document: A1