JP6266580B2 - Head mounted display, calibration method and calibration program, and recording medium - Google Patents
Head mounted display, calibration method and calibration program, and recording medium Download PDFInfo
- Publication number
- JP6266580B2 JP6266580B2 JP2015226418A JP2015226418A JP6266580B2 JP 6266580 B2 JP6266580 B2 JP 6266580B2 JP 2015226418 A JP2015226418 A JP 2015226418A JP 2015226418 A JP2015226418 A JP 2015226418A JP 6266580 B2 JP6266580 B2 JP 6266580B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- coordinate system
- display device
- user
- calibration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Controls And Circuits For Display Device (AREA)
Description
本発明は、ヘッドマウントディスプレイの技術分野に関する。 The present invention relates to the technical field of head mounted displays.
従来から、ヘッドマウントディスプレイなどを用いて、現実空間に対して仮想の画像を重ね合わせて表示するAR(Augmented Reality)に関する技術が提案されている。また、このようなARに関して、現実空間と仮想空間との間の位置姿勢合わせ(校正)を行う技術が提案されている。例えば、特許文献1には、ユーザの姿勢と、位置および姿勢を計測するセンサの値とを用いて、校正を行う技術が開示されている。具体的には、当該技術では、ユーザに表示とマーカとが一致するような姿勢を取らせることで、校正を行っている。このようなマーカを用いて校正を行う技術は、これ以外にも、例えば特許文献2及び非特許文献1乃至3に開示されている。更に、例えば特許文献3には、ディスプレイの表示と風景とが一致するように、ユーザがボタンを操作してディスプレイの表示を変換することで校正を行う技術が開示されている。
Conventionally, a technique related to AR (Augmented Reality) in which a virtual image is superimposed and displayed on a real space using a head mounted display or the like has been proposed. In addition, with regard to such AR, a technique for performing position / orientation alignment (calibration) between the real space and the virtual space has been proposed. For example,
しかしながら、上記の特許文献1乃至3および非特許文献1乃至3に記載された技術では、校正を行う場合に、現実空間と仮想空間との位置関係を調整するための所定の作業をユーザに課していたため、ユーザにとって手間であった。
However, with the techniques described in
本発明が解決しようとする課題は上記のようなものが例として挙げられる。本発明は、容易に校正を行うことが可能なヘッドマウントディスプレイ、校正方法及び校正プログラム、並びに記録媒体を提供することを課題とする。 Examples of the problem to be solved by the present invention are as described above. It is an object of the present invention to provide a head mounted display, a calibration method, a calibration program, and a recording medium that can be easily calibrated.
請求項1に記載の発明は、撮影手段及び光学透過可能な画像表示デバイスを有するヘッドマウントディスプレイであって、前記撮影手段で規定される座標系を前記撮影手段で撮影されたユーザの鏡像の撮影画像に基づく前記ユーザの眼球の実像における中心位置で規定される第1座標系へ変換するためのパラメータと、前記第1座標系を前記画像表示デバイスで規定される座標系へ変換するためのパラメータとを含む座標変換パラメータを、前記撮影手段で規定される座標系において推定された前記ユーザの眼球の実像における中心位置並びに前記撮影手段で規定される座標系において推定された前記画像表示デバイスの実像の位置及び方向に基づいて算出し、当該座標変換パラメータを用いることで前記画像表示デバイスを介して観察される対象と前記撮影手段の撮影画像に基づく情報との前記ユーザの視界における位置関係を調整するための校正を行う校正手段を備える。
The invention according to
請求項9に記載の発明は、撮影手段及び光学透過可能な画像表示デバイスを有し、前記撮影手段の撮影画像に基づく情報を前記画像表示デバイス上で視認させるヘッドマウントディスプレイによって実行される校正方法であって、前記撮影手段で規定される座標系を前記撮影手段で撮影されたユーザの鏡像の撮影画像に基づく前記ユーザの眼球の実像における中心位置で規定される第1座標系へ変換するためのパラメータと、前記第1座標系を前記画像表示デバイスで規定される座標系へ変換するためのパラメータとを含む座標変換パラメータを、前記撮影手段で規定される座標系において推定された前記ユーザの眼球の実像における中心位置並びに前記撮影手段で規定される座標系において推定された前記画像表示デバイスの実像の位置及び方向に基づいて算出し、当該座標変換パラメータを用いることで前記画像表示デバイスを介して観察される対象と前記撮影手段の撮影画像に基づく情報との前記ユーザの視界における位置関係を調整するための校正を行う校正工程を備える。
According to a ninth aspect of the present invention, there is provided a calibration method executed by a head-mounted display having an imaging unit and an optically transmissive image display device, wherein information based on a captured image of the imaging unit is visually recognized on the image display device. In order to convert the coordinate system defined by the imaging unit to the first coordinate system defined by the center position in the real image of the user's eyeball based on the captured image of the mirror image of the user captured by the imaging unit. And a coordinate conversion parameter including a parameter for converting the first coordinate system into a coordinate system defined by the image display device, the user's estimated in the coordinate system defined by the photographing means The center position in the real image of the eyeball and the position of the real image of the image display device estimated in the coordinate system defined by the photographing means Calculated on the basis of the direction, for adjusting the positional relationship in the user's view of the coordinate conversion parameters based on the photographed image of the object and the imaging means to be observed through the image display device by using information A calibration process for performing calibration is provided.
請求項10に記載の発明は、撮影手段及び光学透過可能な画像表示デバイスを有し、前記撮影手段の撮影画像に基づく情報を前記画像表示デバイス上で視認させると共に、コンピュータを備えるヘッドマウントディスプレイによって実行される校正プログラムであって、前記撮影手段で規定される座標系を前記撮影手段で撮影されたユーザの鏡像の撮影画像に基づく前記ユーザの眼球の実像における中心位置で規定される第1座標系へ変換するためのパラメータと、前記第1座標系を前記画像表示デバイスで規定される座標系へ変換するためのパラメータとを含む座標変換パラメータを、前記撮影手段で規定される座標系において推定された前記ユーザの眼球の実像における中心位置並びに前記撮影手段で規定される座標系において推定された前記画像表示デバイスの実像の位置及び方向に基づいて算出し、当該座標変換パラメータを用いることで前記画像表示デバイスを介して観察される対象と前記撮影手段の撮影画像に基づく情報との前記ユーザの視界における位置関係を調整するための校正を行う校正手段として前記コンピュータを機能させる。 According to a tenth aspect of the present invention, there is provided a head-mounted display having a photographing unit and an optically transmissive image display device, allowing information based on a photographed image of the photographing unit to be visually recognized on the image display device, and including a computer. A calibration program to be executed, wherein a first coordinate defined by a center position in a real image of the user's eyeball based on a photographed image of a mirror image of the user photographed by the photographing means in a coordinate system defined by the photographing means A coordinate conversion parameter including a parameter for converting to a system and a parameter for converting the first coordinate system to a coordinate system defined by the image display device is estimated in the coordinate system defined by the photographing means. Estimated in the coordinate system defined by the center position in the real image of the user's eyeball and the photographing means. The image display is calculated based on the position and orientation of the real image of the device, the user of the information based on the captured image of the subject and the imaging means to be observed through the image display device by using the coordinate transformation parameters The computer is caused to function as calibration means for performing calibration for adjusting the positional relationship in the field of view.
本発明の1つの観点では、撮影手段及び光学透過可能な画像表示デバイスを有し、前記撮影手段の撮影画像に基づく情報を前記画像表示デバイス上で視認させるヘッドマウントディスプレイは、前記撮影手段によって撮影された、前記ヘッドマウントディスプレイを装着したユーザの鏡像の撮影画像に基づいて、前記画像表示デバイスを介して観察される観察対象と前記情報との前記ユーザの視界における位置関係を調整するための校正を行う校正手段を備える。 In one aspect of the present invention, a head-mounted display that includes a photographing unit and an optically transmissive image display device, and that causes information based on a photographed image of the photographing unit to be visually recognized on the image display device is photographed by the photographing unit. Calibration for adjusting the positional relationship in the user's field of view between the observation object observed through the image display device and the information based on the captured image of the mirror image of the user wearing the head mounted display Calibration means for performing
上記のヘッドマウントディスプレイは、撮影手段及び光学透過可能な画像表示デバイスを有し、撮影手段の撮影画像に基づく情報(提示情報)を画像表示デバイス上でユーザに視認させる。校正手段は、撮影手段によって撮影された、ヘッドマウントディスプレイを装着したユーザの鏡像の撮影画像に基づいて、画像表示デバイスを介して観察される観察対象と提示情報とのユーザの視界における位置関係を調整する。これにより、ユーザが鏡などに向き合うことで自動的に校正が行われるため、前述した先行技術文献に記載された技術と比較して、校正時におけるユーザの手間を少なくすることができる。 The above-described head mounted display includes an imaging unit and an optically transmissive image display device, and allows a user to visually recognize information (presentation information) based on a captured image of the imaging unit on the image display device. The calibration unit is configured to determine the positional relationship in the user's field of view between the observation target observed through the image display device and the presentation information based on the captured image of the mirror image of the user wearing the head mounted display, which is captured by the imaging unit. adjust. As a result, the calibration is automatically performed when the user faces the mirror or the like, so that it is possible to reduce the user's trouble at the time of calibration as compared with the technique described in the prior art document described above.
上記のヘッドマウントディスプレイの一態様では、前記校正手段は、前記鏡像の撮影画像に含まれる前記撮影手段及び前記ユーザの眼球の位置関係に基づいて、前記校正を行うことができる。この態様によれば、簡便な処理にて校正を行うことができる。 In one aspect of the head mounted display, the calibration unit can perform the calibration based on a positional relationship between the imaging unit and the user's eyeball included in the mirror image. According to this aspect, calibration can be performed by simple processing.
上記のヘッドマウントディスプレイの他の一態様では、前記校正手段は、前記鏡像の撮影画像に含まれる前記撮影手段、前記画像表示デバイス及び前記ユーザの眼球の位置関係に基づいて、前記校正を行うことができる。この態様によれば、撮影手段と画像表示デバイスとの位置関係が固定されていない場合であっても、精度良く校正を行うことができる。 In another aspect of the head-mounted display, the calibration unit performs the calibration based on a positional relationship between the imaging unit, the image display device, and the user's eyeball included in the captured image of the mirror image. Can do. According to this aspect, even when the positional relationship between the photographing unit and the image display device is not fixed, calibration can be performed with high accuracy.
上記のヘッドマウントディスプレイにおいて好適には、前記撮影手段には、マーカが付加されており、前記校正手段は、前記鏡像の撮影画像に含まれる、前記撮影手段に付加された前記マーカに基づいて、前記校正を行うことができる。 Preferably, in the above-described head mounted display, a marker is added to the photographing unit, and the calibration unit is included in the captured image of the mirror image based on the marker added to the photographing unit, The calibration can be performed.
また好適には、前記鏡像を形成する鏡には、マーカが付加されており、前記校正手段は、前記鏡像の撮影画像に含まれる、前記鏡に付加された前記マーカに基づいて、前記校正を行うことができる。なお、本明細書では、「鏡」には、純粋な意味での鏡だけでなく、所定以上の反射率を有するもの(例えばガラスなど)も含まれるものとする。 Preferably, a marker is added to the mirror forming the mirror image, and the calibration means performs the calibration based on the marker added to the mirror included in the captured image of the mirror image. It can be carried out. In the present specification, the “mirror” includes not only a mirror in a pure sense but also a mirror having a reflectance higher than a predetermined value (for example, glass).
また好適には、前記画像表示デバイスには、マーカが付加されており、前記校正手段は、前記鏡像の撮影画像に含まれる、前記画像表示デバイスに付加された前記マーカに基づいて、前記校正を行うことができる。 Preferably, a marker is added to the image display device, and the calibration unit performs the calibration based on the marker added to the image display device, which is included in the captured image of the mirror image. It can be carried out.
上記のヘッドマウントディスプレイの他の一態様では、前記校正手段は、前記鏡像の撮影画像に基づいて、前記撮影手段にて規定される座標系から前記画像表示デバイスにて規定される座標系へ座標変換するために用いられる座標変換パラメータを求めることで、前記校正を行う。この態様では、校正手段は、ヘッドマウントディスプレイの校正として、撮影手段にて規定される座標系から画像表示デバイスにて規定される座標系への変換を決定する。 In another aspect of the above head-mounted display, the calibration unit coordinates coordinates from a coordinate system defined by the imaging unit to a coordinate system defined by the image display device based on the captured image of the mirror image. The calibration is performed by obtaining a coordinate conversion parameter used for conversion. In this aspect, the calibration unit determines conversion from the coordinate system defined by the imaging unit to the coordinate system defined by the image display device as calibration of the head mounted display.
上記のヘッドマウントディスプレイの他の一態様では、前記校正手段によって求められた前記座標変換パラメータを用いて前記座標変換を行うことで、前記情報を前記画像表示デバイス上に表示させる制御を行う表示制御手段を更に備える。これにより、画像表示デバイスを透過したユーザの観察像に重畳される画像表示デバイス上の情報表示位置を、撮影画像とこれに基づく情報の位置関係に適切に一致させることができる。 In another aspect of the above head-mounted display, display control for performing control to display the information on the image display device by performing the coordinate conversion using the coordinate conversion parameter obtained by the calibration unit. Means are further provided. Thereby, the information display position on the image display device superimposed on the user's observation image that has passed through the image display device can be appropriately matched with the positional relationship between the captured image and the information based thereon.
上記のヘッドマウントディスプレイにおいて好適には、前記校正手段は、前記鏡像の撮影画像から、前記撮影手段の鏡像における光学中心位置及び光軸方向を推定する第1推定手段と、前記鏡像の撮影画像から、前記ユーザの眼球の鏡像における中心位置を推定する第2推定手段と、前記第1推定手段によって推定された前記光学中心位置及び前記光軸方向に基づいて、前記鏡像を生成した鏡平面を推定する第3推定手段と、前記第3推定手段によって推定された前記鏡平面、及び前記第2推定手段によって推定された前記中心位置に基づいて、前記ユーザの眼球の実像における中心位置を推定する第4推定手段と、前記第4推定手段によって推定された前記中心位置に基づいて、前記撮影手段にて規定される座標系の座標を、前記ユーザの眼球にて規定される座標系の座標へ変換するための第1パラメータを、前記座標変換パラメータの1つとして求める第1パラメータ算出手段と、前記第4推定手段によって推定された前記中心位置に基づいて、前記ユーザの眼球にて規定される座標系の座標を前記画像表示デバイスに投影するための第2パラメータを、前記座標変換パラメータの1つとして求める第2パラメータ算出手段と、前記第4推定手段によって推定された前記中心位置に基づいて、前記ユーザの眼球にて規定される座標系の座標を、前記情報を前記画像表示デバイス上に表示させるために前記ヘッドマウントディスプレイにて規定される座標系の座標へ変換するための第3パラメータを、前記座標変換パラメータの1つとして求める第3パラメータ算出手段と、を備える。これにより、座標変換パラメータを適切に求めることができる。なお、「実像」は、鏡像の生成元となった像を意味するものとする。 Preferably, in the above head mounted display, the calibration means is based on a first estimation means for estimating an optical center position and an optical axis direction in the mirror image of the photographing means from the photographed image of the mirror image, and from the photographed image of the mirror image. A second estimation unit that estimates a center position in a mirror image of the user's eyeball; and a mirror plane that generates the mirror image is estimated based on the optical center position and the optical axis direction estimated by the first estimation unit. A center position in the real image of the user's eyeball is estimated based on the third estimation means, the mirror plane estimated by the third estimation means, and the center position estimated by the second estimation means. 4 estimation means, and based on the center position estimated by the fourth estimation means, the coordinates of the coordinate system defined by the imaging means are determined by the user. Based on the first parameter calculating means for obtaining a first parameter for converting into coordinates of a coordinate system defined by a sphere as one of the coordinate conversion parameters, and the center position estimated by the fourth estimating means. A second parameter calculating means for obtaining, as one of the coordinate conversion parameters, a second parameter for projecting a coordinate of a coordinate system defined by the user's eyeball onto the image display device; Based on the center position estimated by the means, the coordinates of the coordinate system defined by the user's eyeball, the coordinates defined by the head-mounted display for displaying the information on the image display device And third parameter calculation means for obtaining a third parameter for conversion to system coordinates as one of the coordinate conversion parameters. That. Thereby, a coordinate conversion parameter can be calculated | required appropriately. Note that “real image” means an image that is a generation source of a mirror image.
また、上記のヘッドマウントディスプレイにおいて好適には、前記校正手段は、前記鏡像の撮影画像から、前記画像表示デバイスの鏡像における位置及び方向を推定する第5推定手段と、前記第3推定手段によって推定された前記鏡平面、及び前記第5推定手段によって推定された前記位置及び前記方向に基づいて、前記画像表示デバイスの実像における位置及び方向を推定する第6推定手段と、を更に備え、前記第2パラメータ算出手段は、前記第4推定手段によって推定された前記中心位置、及び前記第6推定手段によって推定された前記位置及び前記方向に基づいて、前記第2パラメータを求め、前記第3パラメータ算出手段は、前記第4推定手段によって推定された前記中心位置、及び前記第6推定手段によって推定された前記位置及び前記方向に基づいて、前記第3パラメータを求める。この場合、前記画像表示デバイスの位置及び方向を推定し、当該位置及び当該方向に基づいて座標変換パラメータを求める。これにより、精度良く座標変換パラメータを求めることができる。 Preferably, in the above head mounted display, the calibration means is estimated by a fifth estimation means for estimating a position and a direction in the mirror image of the image display device from the captured image of the mirror image, and the third estimation means. And 6th estimating means for estimating the position and direction in the real image of the image display device based on the mirror plane and the position and direction estimated by the fifth estimating means, The two-parameter calculating unit obtains the second parameter based on the center position estimated by the fourth estimating unit and the position and the direction estimated by the sixth estimating unit, and calculates the third parameter. The means includes the center position estimated by the fourth estimation means and the position estimated by the sixth estimation means. Based on the fine said direction, determining the third parameter. In this case, the position and direction of the image display device are estimated, and coordinate conversion parameters are obtained based on the position and the direction. Thereby, the coordinate conversion parameter can be obtained with high accuracy.
上記のヘッドマウントディスプレイにおいて好適には、前記ユーザの眼球の中心位置は、瞳孔中心位置又は光学中心位置が用いられる。瞳孔中心位置を採用した場合には、撮影画像から容易に眼球の位置を求めることができる。光学中心位置を採用した場合には、精度良く座標変換パラメータを求めることができる。 In the above head mounted display, preferably, the center position of the user's eyeball is a pupil center position or an optical center position. When the pupil center position is employed, the position of the eyeball can be easily obtained from the captured image. When the optical center position is adopted, the coordinate conversion parameter can be obtained with high accuracy.
好適な例では、前記撮影手段として、ステレオカメラを用いることができる。
また、好適な例では、前記鏡像の撮影画像として、前記ユーザと鏡とが概ね正対した状態にて撮影された画像を用いることができる。
In a preferred example, a stereo camera can be used as the photographing means.
In a preferred example, an image taken in a state where the user and the mirror are generally facing each other can be used as the captured image of the mirror image.
本発明の他の観点では、撮影手段及び光学透過可能な画像表示デバイスを有し、前記撮影手段の撮影画像に基づく情報を前記画像表示デバイス上で視認させるヘッドマウントディスプレイによって実行される校正方法は、前記撮影手段によって撮影された、前記ヘッドマウントディスプレイを装着したユーザの鏡像の撮影画像に基づいて、前記画像表示デバイスを介して観察される観察対象と前記情報との前記ユーザの視界における位置関係を調整するための校正を行う校正工程を備える。 In another aspect of the present invention, there is provided a calibration method executed by a head-mounted display having an imaging unit and an optically transmissive image display device, and causing information based on a captured image of the imaging unit to be visually recognized on the image display device. The positional relationship in the user's field of view between the observation object and the information observed through the image display device based on the captured image of the mirror image of the user wearing the head-mounted display, which is imaged by the imaging means A calibration process for performing calibration to adjust the.
本発明の更に他の観点では、撮影手段及び光学透過可能な画像表示デバイスを有し、前記撮影手段の撮影画像に基づく情報を前記画像表示デバイス上で視認させると共に、コンピュータを備えるヘッドマウントディスプレイによって実行される校正プログラムは、前記撮影手段によって撮影された、前記ヘッドマウントディスプレイを装着したユーザの鏡像の撮影画像に基づいて、前記画像表示デバイスを介して観察される観察対象と前記情報との前記ユーザの視界における位置関係を調整するための校正を行う校正手段、として前記コンピュータを機能させる。 According to still another aspect of the present invention, there is provided a head-mounted display having a photographing unit and an optically transmissive image display device, allowing information based on a photographed image of the photographing unit to be visually recognized on the image display device, and including a computer. The calibration program to be executed is based on the captured image of the mirror image of the user wearing the head-mounted display, which is captured by the imaging unit, and the observation target and the information that are observed through the image display device. The computer is caused to function as calibration means for performing calibration for adjusting the positional relationship in the user's field of view.
なお、上記の校正プログラムは、記録媒体に記録した状態で好適に取り扱うことができる。 The above calibration program can be suitably handled in a state where it is recorded on a recording medium.
以下、図面を参照して本発明の好適な実施例について説明する。
[装置構成]
まず、本実施例に係るヘッドマウントディスプレイ(以下、適宜「HMD」と表記する。)の構成について説明する。
Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings.
[Device configuration]
First, the configuration of the head mounted display (hereinafter referred to as “HMD” where appropriate) according to the present embodiment will be described.
図1は、本実施例に係るHMD1の概略構成を示すブロック図である。図1に示すように、HMD1は、主に、制御部11と、カメラ12と、光学透過可能な画像表示デバイス13とを有する。HMD1は、例えば眼鏡型に構成されており、ユーザの頭部に装着可能に構成されている。また、HMD1は、画像表示デバイス13を用いることで、外界に存在する対象物(例えば、現実空間における人物や物体、物品、景色等)のユーザによる視認を可能とし、対象物の像(現実の像)に対して仮想の画像を重ね合わせて表示させることで、AR(拡張現実)を実現する。
FIG. 1 is a block diagram illustrating a schematic configuration of the
カメラ(撮影手段)12は、HMD1の前方を撮影し、撮影画像を生成する。カメラ12は、内部パラメータが既知のピンホールカメラ、あるいはレンズ歪みが補正されかつ内部パラメータが既知のカメラである。
The camera (photographing means) 12 photographs the front of the
画像表示デバイス13は、撮影画像に応じた情報(以下、「提示情報」と呼ぶ。)を対象物の像とオーバーラップしてユーザに視認せしめる。
The
制御部11は、図示しないCPUやRAMやROMなどを有し、HMD1の全体的な制御を行う。具体的には、制御部11は、カメラ12から撮影画像を取得し、提示情報を画像表示デバイス13上でユーザに視認させるための制御を行う。この場合、制御部11は、撮影画像を解析することで、提示すべき提示情報を決定すると共に、提示情報を提示する提示位置を決定し、当該提示情報を当該提示位置に表示させる制御を行う。
The control unit 11 includes a CPU, a RAM, a ROM, and the like (not shown) and performs overall control of the
なお、制御部11は、本発明における「校正手段」及び「表示制御手段」の一例に相当する。具体的には、制御部11は、「第1推定手段」、「第2推定手段」、「第3推定手段」、「第4推定手段」、「第5推定手段」、「第6推定手段」、「第1パラメータ算出手段」、「第2パラメータ算出手段」、「第3パラメータ算出手段」として機能する。これらの詳細については後述する。 The control unit 11 corresponds to an example of “calibration means” and “display control means” in the present invention. Specifically, the control unit 11 includes “first estimation unit”, “second estimation unit”, “third estimation unit”, “fourth estimation unit”, “fifth estimation unit”, “sixth estimation unit”. "," First parameter calculation means "," second parameter calculation means ", and" third parameter calculation means ". Details of these will be described later.
図2は、本実施例に係るHMD1の全体構成を概略的に示した図である。図2に示すように、HMD1は、眼鏡型に構成されており、カメラ12及び画像表示デバイス13がフレーム14に固定されている。なお、図2では、制御部11の図示を省略している。また、図2では、左目用の画像表示デバイス13のみを示し、右目用の画像表示デバイス13の図示を省略している。なお、両目に対して画像表示デバイス13を適用することに限定はされず、片目のみに画像表示デバイス13を適用することとしても良い。つまり、片目のみに画像を表示させることとしても良い。
FIG. 2 is a diagram schematically illustrating the overall configuration of the
また、図2に示すように、カメラ12及び画像表示デバイス13には、それぞれ、マーカ12a及びマーカ13aが付加されている。これらのマーカ12a、13aは、後述する校正方法にて用いられる。マーカ12a、13aの大きさや形状は、制御部11が把握しているものとする。加えて、カメラ12の光学中心(optical center)とマーカ12aとの位置関係、及び画像表示デバイス13とマーカ13aとの位置関係についても、制御部11が把握しているものとする。
As shown in FIG. 2, a
なお、図2に示すようにマーカ12a、13aを4つ設けることに限定はされず、また、図2に示すような位置にマーカ12a、13aを設けることに限定はされない。更に、HMD1を眼鏡型に構成することに限定はされず、ヘルメットのようなもので構成しても良い。
In addition, as shown in FIG. 2, it is not limited to providing the four
図3は、本実施例に係る画像表示デバイスの概略構成を示す側面図である。LCD13bに表示された画像は、レンズ13cとハーフミラー13dを用いてユーザの眼から距離hの位置に虚像40(以下、「仮想スクリーン」あるいは単に「スクリーン」と表記することがある。)を結ぶ。レンズ13cによって虚像40に歪みが生じる可能性があるが、制御部11によって画像を補正する。画像表示デバイス13と仮想スクリーン40の位置関係は、制御部11が把握しているものとする。本実施例の画像表示デバイスは特に制限されるわけではない。光学ガラスやプラスチック材料等からなる導光板を有していてもよい。また、LCDではなく例えばOELD等を用いてもよい。また、ハーフミラーではなくホログラム光学素子等を用いてもよい。また、レンズは2枚以上用いてもよく、レンズを用いなくてもよい。
FIG. 3 is a side view illustrating a schematic configuration of the image display device according to the present embodiment. The image displayed on the
[校正方法の概要]
次に、本実施例に係る校正方法の概要について説明する。
上記したように、制御部11は、現実空間に提示情報を提示するAR(拡張現実)を実現するに当たり、カメラ12の撮影画像を解析し、それに基づいて提示情報及び提示位置を決定して、画像表示デバイス13に表示し、ユーザは仮想スクリーン40を視認する。ところで、ユーザが実際に見ている風景とカメラ12の撮影画像とでは、視点(どこから見ているか)や、視角(画角)や、視軸が異なる傾向にある。そのため、カメラ12の撮影画像を解析して決定した提示位置に提示情報を表示した場合に、ユーザが見ている現実空間の中でずれた位置に提示情報が表示されてしまう可能性がある。
[Outline of calibration method]
Next, an outline of the calibration method according to the present embodiment will be described.
As described above, when realizing the AR (augmented reality) for presenting the presentation information in the real space, the control unit 11 analyzes the captured image of the
図4は、提示情報がずれた位置に表示されてしまうといった問題点を説明するための図を示している。図4(a)は、HMD1を装着したユーザが実際に視認する像の一例を示している。具体的には、図4(a)は、ユーザの視野の適切な位置に提示情報(施設A、施設Bといった文字や、建物を囲んだ丸や、引き出し線など)が表示された場合の例を示している。図4(b)は、カメラ12の撮影画像の一例を示している。具体的には、図4(b)は、カメラ12の撮影画像が、ユーザが実際に見ている風景とずれている場合の例を示している。図4(c)は、HMD1を装着したユーザが視認する像の他の例を示している。具体的には、図4(c)は、図4(b)に示したような撮影画像を解析して決定した提示位置に提示情報を表示させた場合の例を示している。これより、ユーザの視野の適切な位置に提示情報が表示されていないことがわかる。つまり、提示情報を表示すべき位置からずれた位置に、提示情報が表示されていることがわかる。
FIG. 4 is a diagram for explaining the problem that the presentation information is displayed at a shifted position. FIG. 4A shows an example of an image actually viewed by a user wearing the
本実施例では、このような提示情報がずれた位置に表示されてしまうといった問題を解消するべく、HMD1についての校正を行う。ここで、「校正」とは、カメラ12にて規定される座標系(カメラ座標系)から、仮想スクリーン40にて規定される座標系(スクリーン座標系)への変換を決定することに相当する。具体的には、本実施例では、HMD1を装着したユーザの鏡像をカメラ12によって撮影し、その撮影画像に基づいて、画像表示デバイス13を介して観察される観察対象と提示情報とのユーザの視界における位置関係を調整する。
In the present embodiment, the
図5は、本実施例に係る校正方法の概要を説明するための図を示す。本実施例では、校正を行う場合に、HMD1とともに、図5(a)に示すような鏡30を用いる。そして、図5(b)に示すように、鏡30に形成された、HMD1を装着したユーザの鏡像を、カメラ12によって撮影する。このような撮影を行う場合、鏡30は、反射面がユーザのほうを向き、ユーザの顔面と概ね正対し、ユーザの頭部が映るように配置されるものとする。なお、鏡30は、特殊なものを用いる必要はなく、手鏡などの身近にあるものを用いても良い。
FIG. 5 is a diagram for explaining the outline of the calibration method according to the present embodiment. In this embodiment, when performing calibration, a
制御部11は、HMD1を装着したユーザの鏡像の撮影画像に基づいて、カメラ12、画像表示デバイス13及び目20の位置関係を推定する。具体的には、制御部11は、撮影画像から、カメラ12に付加されたマーカ12aを検出することで、カメラ12の光学中心位置及び光軸方向を推定する。この場合、制御部11は、マーカ12aの大きさや形状、及びカメラ12の光学中心とマーカ12aとの位置関係に基づいて、カメラ12の光学中心位置及び光軸方向を推定する。また、制御部11は、撮影画像から、画像表示デバイス13に付加されたマーカ13aを検出することで、画像表示デバイス13の位置及び方向を推定する。この場合、制御部11は、マーカ13aの大きさや形状、及び画像表示デバイス13とマーカ13aとの位置関係に基づいて、画像表示デバイス13の位置及び方向を推定する。
The control unit 11 estimates the positional relationship between the
更に、制御部11は、撮影画像から、ユーザの目20の黒目の部分を検出することで(黒目の大きさは既知であるものとする)、目20の3次元位置を推定する。この場合、制御部11は、目20の位置として、瞳孔中心位置を推定する。なお、瞳孔中心位置は眼球運動によって変化するため、撮影を行う際には、視軸(見ている方向)が鏡30に概ね正対するようにユーザに注目させ、さらに校正中はユーザに眼球運動を行わせないようにする。
Further, the control unit 11 estimates the three-dimensional position of the
制御部11は、このように撮影画像から推定された、カメラ12の光学中心位置及び光軸方向、画像表示デバイス13の位置及び方向、及び瞳孔中心位置に基づいて、HMD1についての校正を行う。具体的には、制御部11は、当該校正として、カメラ座標系からスクリーン座標系へ座標変換する過程で必要なパラメータ(座標変換パラメータ)を求める処理を行う。座標変換パラメータの算出方法については、詳細は後述する。
The controller 11 calibrates the
[座標系の定義]
次に、図6を参照して、本実施例で用いる座標系について説明する。図6に示すように、本実施例では、カメラ座標系、目座標系、画像表示デバイス座標系及びスクリーン座標系を用いる。なお、このような座標系は、制御部11が撮影画像に基づいて画像表示デバイス13に提示情報を表示させるに当たって、カメラ座標系からスクリーン座標系へ座標変換するために用いられる。
[Definition of coordinate system]
Next, a coordinate system used in the present embodiment will be described with reference to FIG. As shown in FIG. 6, in this embodiment, a camera coordinate system, an eye coordinate system, an image display device coordinate system, and a screen coordinate system are used. Such a coordinate system is used for the coordinate conversion from the camera coordinate system to the screen coordinate system when the control unit 11 displays the presentation information on the
カメラ座標系は、カメラ12の光学中心を原点Ocとする3次元座標系である。カメラ座標系は、カメラ12の光軸をZc軸とし、撮影画像のx軸及びy軸にそれぞれ平行な方向をXc軸及びYc軸とする。目座標系は、HMD1のユーザの視覚に対応するものであり、ユーザの瞳孔中心を原点Oeとする3次元座標系である。目座標系は、鏡30が存在する平面(以下、「鏡平面」と呼ぶ。)の法線方向をZe軸とし、カメラ座標系のXc軸及びYc軸にそれぞれ平行な方向をXe軸及びYe軸とする。
The camera coordinate system is a three-dimensional coordinate system for the optical center of the
スクリーン座標系は、仮想スクリーン40の画像座標である。画像表示デバイス座標系は、提示情報を仮想スクリーン40上に表示させるために制御部11にて規定される座標系であり、仮想スクリーン40を投影面とする3次元座標系である。画像表示デバイス座標系は、Zh軸が仮想スクリーン40の中心と交わり、スクリーン座標系のx軸及びy軸にそれぞれ平行な方向をXh軸及びYh軸とする。
The screen coordinate system is image coordinates of the
[座標変換方法]
次に、本実施例に係る座標変換方法について説明する。ここで、座標変換の概要について簡単に説明する。まず、制御部11は、カメラ12の撮影画像を解析し、提示情報を提示する座標(以下、「提示座標」と呼ぶ。)を求める。次に、制御部11は、カメラ座標系での提示座標を目座標系へ変換し、変換後の座標を仮想スクリーン40に投影した投影座標を求める。次に、制御部11は、投影座標を画像表示デバイス座標系に変換し、変換後の座標をスクリーン座標系へ透視投影する。
[Coordinate conversion method]
Next, a coordinate conversion method according to the present embodiment will be described. Here, an outline of coordinate transformation will be briefly described. First, the control unit 11 analyzes a captured image of the
図7は、本実施例に係る座標変換方法を示すフローチャートである。このフローは、HMD1の制御部11によって繰り返し実行される。
FIG. 7 is a flowchart illustrating the coordinate conversion method according to the present embodiment. This flow is repeatedly executed by the control unit 11 of the
まず、ステップS101では、制御部11は、カメラ12の撮影画像を解析し、その解析結果に基づいて、提示すべき提示情報と、提示情報を提示する提示座標Lc(カメラ座標系で規定されるものとする)とを決定する。具体的には、制御部11は、撮影画像に対して、ARマーカ認識や特定物体認識などの手法を用いて、提示情報を提示すべき対象物体を検出し、対象物体の位置及び姿勢を算出することで、提示情報についての提示座標Lcを決める。そして、処理はステップS102に進む。
First, in step S101, the control unit 11 analyzes a captured image of the
ステップS102では、制御部11は、以下の式(1)を用いて、カメラ座標系での提示座標Lcを、目座標系での座標Leに変換する。 In step S102, the control unit 11 uses the following equation (1), the presentation coordinates L c of the camera coordinate system are converted into coordinates L e of the eye coordinate system.
ステップS103では、制御部11は、目座標系での座標Leを、仮想スクリーン40に投影した投影座標Me(目座標系で規定されるものとする)を算出する。図8は、座標Leと投影座標Meとの関係を示している。図8から分かるように、投影座標Meを求めるということは、仮想スクリーン40の平面と直線OeLeとの交点を求めることと同義である。目座標系で規定される、仮想スクリーン40の平面における単位法線ベクトルを「ne」とし、仮想スクリーン40の平面と目座標系の原点Oeとの距離を「h」とすると、制御部11は、以下の式(2)及び(3)を用いて、座標Leから投影座標Meへ変換する。なお、平面と直線との交点の求め方は、公知の手法を用いることができる。
In step S < b > 103, the control unit 11 calculates a projected coordinate M e (which is defined in the eye coordinate system) obtained by projecting the coordinate Le in the eye coordinate system onto the
ステップS104では、制御部11は、以下の式(4)を用いて、目座標系での投影座標Meを、画像表示デバイス座標系での座標Mhに変換する。 In step S104, the control unit 11 uses the following equation (4), the projected coordinates M e of the eye coordinate system into a coordinate M h in the image display device coordinate system.
ステップS105では、制御部11は、以下の式(5)を用いて、画像表示デバイス座標系での座標Mhを、スクリーン座標系での座標mhに透視投影する。 In step S <b> 105, the control unit 11 perspectively projects the coordinate M h in the image display device coordinate system to the coordinate m h in the screen coordinate system using the following equation (5).
なお、上記では、仮想スクリーン40の平面が目の視線に対して傾いている(つまり目座標系のZe軸と画像表示デバイス座標系のZh軸とが平行でない)ことを前提とした、座標変換の例を示した。他の例では、目の視線と仮想スクリーン40の平面とが直交している(つまり目座標系のZe軸と画像表示デバイス座標系のZh軸とが平行である)ことを前提として、座標変換を行うことができる。この場合には、目座標系からスクリーン座標系へ直接に透視投影を行うことができる。つまり、上記のステップS104の処理を行わなくて良い。
In the above, on the assumption that the plane of the
[座標変換パラメータの算出方法]
次に、本実施例における座標変換パラメータの算出方法について説明する。本実施例では、HMD1の校正として、座標変換パラメータの算出を行う。前述したように、座標変換パラメータは、回転行列R1、R2、並進ベクトルt1、t2、仮想スクリーン40の平面の単位法線ベクトルne、及び、仮想スクリーン40の平面と目座標系の原点Oeとの距離hである。「R1」及び「t1」は、カメラ座標系から目座標系に変換するためのパラメータであり、以下では、これらをまとめて「第1パラメータ」と呼ぶ。「ne」及び「h」は、目座標系での座標を仮想スクリーン40の平面に投影するためのパラメータであり、以下では、これらをまとめて「第2パラメータ」と呼ぶ。「R2」及び「t2」は、目座標系から画像表示デバイス座標系に変換するためのパラメータであり、以下では、これらをまとめて「第3パラメータ」と呼ぶ。
[Calculation method of coordinate transformation parameters]
Next, a method for calculating coordinate conversion parameters in the present embodiment will be described. In this embodiment, the coordinate conversion parameter is calculated as the calibration of the
ここで、座標変換パラメータの算出方法の概要について簡単に説明する。まず、制御部11は、カメラ12によって撮影された、HMD1を装着したユーザの鏡像の撮影画像を取得する。次に、制御部11は、撮影画像から、カメラ12に付加されたマーカ12a(以下、適宜「カメラマーカ」と呼ぶ。)と、ユーザの目20と、画像表示デバイス13に付加されたマーカ13a(以下、適宜「スクリーンマーカ」と呼ぶ。)とを検出し、カメラ12、目20及び画像表示デバイス13のそれぞれについて、カメラ座標系での鏡像の位置及び方向を推定する。次に、制御部11は、カメラ12の鏡像の位置及び方向に基づいて鏡平面を推定し、目20及び画像表示デバイス13のそれぞれについて、カメラ座標系での実像(鏡像の生成元となった像を意味する。以下同様とする。)の位置及び方向を推定する。制御部11は画像表示デバイス13と仮想スクリーン40の位置関係を把握しており、カメラ座標系での仮想スクリーン40の位置及び方向を推定する。以上の推定により、カメラ12、目20及び仮想スクリーン40の位置・方向関係がわかるため、制御部11は、そのような位置・方向関係に基づいて、座標変換パラメータ(具体的には、第1パラメータR1、t1、第2パラメータne、h、及び第3パラメータR2、t2)を求める。
Here, an outline of a method for calculating the coordinate conversion parameter will be briefly described. First, the control unit 11 acquires a captured image of a mirror image of a user wearing the
図9は、本実施例に係る座標変換パラメータの算出方法を示すフローチャートである。このフローは、HMD1の制御部11によって実行される。例えば、当該フローは、HMD1がユーザに装着された際に実行される。
FIG. 9 is a flowchart illustrating a method for calculating coordinate conversion parameters according to the present embodiment. This flow is executed by the control unit 11 of the
まず、ステップS201では、制御部11は、カメラ12によって撮影された、HMD1を装着したユーザの鏡像の撮影画像を取得する。例えば、制御部11は、HMD1を装着した状態を鏡30に映し、この状態をカメラ12で撮影すべき旨を、ユーザに対して報知することで、撮影画像を取得する。この後、処理はステップS202、S203及びS204に進む。
First, in step S <b> 201, the control unit 11 acquires a captured image of a mirror image of a user wearing the
ステップS202では、制御部11は、撮影画像から、カメラマーカの画像上の位置を検出する。ステップS203では、制御部11は、撮影画像から、ユーザの目20の画像上の位置を検出する。ステップS204では、制御部11は、撮影画像から、スクリーンマーカの画像上の位置を検出する。以上のステップS202、S203及びS204の後、処理はステップS205、S206及びS207に進む。
In step S202, the control unit 11 detects the position of the camera marker on the image from the captured image. In step S203, the control unit 11 detects the position of the user's
ステップS205では、制御部11は、ステップS202で検出された位置で画像解析を行い、カメラマーカの位置及び姿勢を利用して、カメラ座標系でのカメラ12の鏡像の光学中心位置及び光軸方向を推定する。この後、処理はステップS208に進む。ステップS206では、制御部11は、ステップS203で検出された位置で画像解析を行い、目20の位置及び大きさを利用して、カメラ座標系での目20の鏡像の瞳孔中心位置を推定する。ステップS207では、制御部11は、ステップS204で検出された位置で画像解析を行い、スクリーンマーカの位置及び姿勢を利用して、カメラ座標系での画像表示デバイス13の鏡像の位置及び方向を推定する。
In step S205, the control unit 11 performs image analysis at the position detected in step S202, and uses the position and orientation of the camera marker, and the optical center position and optical axis direction of the mirror image of the
ステップS208では、制御部11は、ステップS205で推定されたカメラ12の鏡像の光学中心位置及び光軸方向に基づいて、鏡平面を推定する。具体的には、制御部11は、カメラ座標系での鏡平面の単位法線ベクトル及び原点Ocとの距離を推定する。鏡平面は、カメラ12の鏡像の光学中心位置と原点Ocの中点で交わる。また、鏡平面の法線は、カメラ12の鏡像の光軸方向をZc軸方向に1/2倍回転させた方向である。以上のステップS208の後、処理はステップS209及びS210に進む。
In step S208, the control unit 11 estimates the mirror plane based on the optical center position and optical axis direction of the mirror image of the
ステップS209では、制御部11は、カメラ座標系での目20の実像の瞳孔中心位置を推定する。具体的には、制御部11は、ステップS206で推定された目20の鏡像の瞳孔中心位置を、ステップS208で推定された鏡平面で折り返すことで、目20の実像の瞳孔中心位置を推定する。ステップS210では、制御部11は、カメラ座標系での仮想スクリーン40の中心位置及び方向を推定する。具体的には、制御部11は、ステップS207で推定された画像表示デバイス13の鏡像の位置及び方向を、ステップS208で推定された鏡平面で折り返すことで、画像表示デバイス13の実像の位置及び方向を推定し、制御部11が把握している画像表示デバイス13と仮想スクリーン40の位置関係を利用して、仮想スクリーン40のカメラ座標系での中心位置及び方向を推定する。以上により、カメラ座標系のもとで、カメラ12、目20及び仮想スクリーン40の位置関係及び方向関係が判明する。ステップS209、S210の後、処理はステップS211、S212及びS213に進む。
In step S209, the control unit 11 estimates the pupil center position of the real image of the
ステップS211では、制御部11は、ステップS209で推定された目20の実像の瞳孔中心位置に基づいて、カメラ座標系から目座標系に変換するための第1パラメータR1、t1(回転行列R1、並進ベクトルt1)を求める。ステップS212では、制御部11は、ステップS209で推定された目20の実像の瞳孔中心位置と、ステップS210で推定された仮想スクリーン40の中心位置及び方向とに基づいて、目座標系での座標を仮想スクリーン40に投影するための第2パラメータne、h(目座標系での仮想スクリーン40の平面の単位法線ベクトルne、仮想スクリーン40の平面と目座標系の原点Oeとの距離h)を求める。ステップS213では、制御部11は、ステップS209で推定された目20の実像の瞳孔中心位置と、ステップS210で推定された仮想スクリーン40の中心位置及び方向とに基づいて、目座標系から画像表示デバイス座標系に変換するための第3パラメータR2、t2(回転行列R2、並進ベクトルt2)を求める。以上のステップS211、S212及びS213の後、処理は終了する。
In step S211, the control unit 11 uses the first parameters R 1 and t 1 (rotation matrix) for converting from the camera coordinate system to the eye coordinate system based on the pupil center position of the real image of the
この後、制御部11は、上記のように求められた座標変換パラメータを用いて座標変換を行うことで、提示情報を画像表示デバイス13に表示させる制御を行う。
Then, the control part 11 performs control which displays presentation information on the
[本実施例の作用効果]
以上説明した本実施例によれば、HMD1の校正を容易に行うことができる。具体的には、本実施例では、ユーザが鏡30に向き合うことで自動的に校正が行われるため、前述した先行技術文献に記載された技術と比較して、校正時におけるユーザの手間を少なくすることができる。また、このような校正は、ユーザの身近にある鏡30(手鏡など)を利用して実現できるので、本実施例によれば、校正用の特殊なもの(例えば校正用のマーカ)を携帯したり、使用環境に埋め込んだりする必要はない。
[Effects of this embodiment]
According to the present embodiment described above, the
[変形例]
以下で、上記した実施例の変形例を提示する。下記の変形例は、任意に組み合わせて実施することができる。
[Modification]
Below, the modification of an above-described Example is presented. The following modifications can be implemented in any combination.
(変形例1)
上記したカメラ12として、ステレオカメラを用いても良い。カメラ12としてステレオカメラを用いた場合、位置及び方向についての推定精度を向上させることができる。また、ステレオカメラを用いると、マーカ12a、13aの大きさが未知であっても、撮影画像から3次元位置を推定することができる。そのため、マーカ12a、13aの大きさを制御部11に予め把握させておく必要はない。
(Modification 1)
A stereo camera may be used as the
(変形例2)
上記では、撮影画像からカメラ12及び画像表示デバイス13の位置及び方向を推定するに当たって、マーカ12a、13aを用いる実施例を示したが、このようなマーカ12a、13aを用いなくても良い。他の例では、マーカ12a、13aを用いずに、カメラ12の形状の特徴及び画像表示デバイス13の形状の特徴を用いて、カメラ12及び画像表示デバイス13の位置及び方向を推定することができる。
(Modification 2)
In the above description, the
(変形例3)
上記では、ユーザの目20の位置として瞳孔中心位置を用いる実施例を示したが、瞳孔中心位置の代わりに、目20の光学中心位置を用いても良い。瞳孔中心位置と光学中心位置との関係を予め計測しておけば、撮影画像から目20の光学中心位置を推定することができる。このような光学中心位置を用いた場合には、瞳孔中心位置を用いた場合より、精度良く座標変換パラメータを求めることができる。
(Modification 3)
In the above embodiment, the pupil center position is used as the position of the user's
(変形例4)
上記では、画像表示デバイス13の位置及び方向を推定して、当該位置及び当該方向に基づいて座標変換パラメータを求める実施例を示した。他の例では、画像表示デバイス13の位置及び方向を推定せずに、座標変換パラメータを求めることができる。カメラ12と画像表示デバイス13との位置関係が固定されている場合(例えばフレーム14で、これらが適切に固定されている場合)には、画像表示デバイス13の位置及び方向が一義的に決まるため、仮想スクリーン40の位置及び方向を推定しなくても良い。この場合には、図9に示したステップS204、S207、S210の処理を行わなくて良い。つまり、スクリーンマーカの検出、画像表示デバイス13の鏡像の位置及び方向の推定、仮想スクリーン40の中心位置及び方向の推定を行わなくて良い。
(Modification 4)
In the above, the embodiment has been described in which the position and direction of the
(変形例5)
鏡像の撮影画像を得るために鏡30を用いることに限定はされない。鏡30の代わりに、所定以上の反射率を有するもの(例えばガラスなど)を用いて、鏡像の撮影画像を得ても良い。
(Modification 5)
The use of the
(変形例6)
上記では、鏡平面を推定するために、カメラ12の鏡像の光学中心位置及び光軸方向を推定する実施例を示したが、鏡にマーカを付加させ、それを撮影することで鏡平面を推定してもよい。この場合には、図9に示したステップS202、S205、S208の処理は行わなくてよい。
(Modification 6)
In the above, in order to estimate the mirror plane, the optical center position and the optical axis direction of the mirror image of the
(変形例7)
上記では、光学透過可能な画像表示デバイスとして、LCD13b、レンズ13c、ハーフミラー13dを用いる形態を示した。他の例では、透明有機ELや透明LCDを用いた透明ディスプレイや、例えば曇りガラスのような半透明の板上にLCDプロジェクターで投影するものでもよい。
(Modification 7)
In the above description, the
1 ヘッドマウントディスプレイ(HMD)
11 制御部
12 カメラ
12a、13a マーカ
13 画像表示デバイス
13b LCD
13c レンズ
13d ハーフミラー
14 フレーム
1 Head mounted display (HMD)
DESCRIPTION OF SYMBOLS 11
Claims (10)
前記撮影手段で規定される座標系を前記撮影手段で撮影されたユーザの鏡像の撮影画像に基づく前記ユーザの眼球の実像における中心位置で規定される第1座標系へ変換するためのパラメータと、前記第1座標系を前記画像表示デバイスで規定される座標系へ変換するためのパラメータとを含む座標変換パラメータを、前記撮影手段で規定される座標系において推定された前記ユーザの眼球の実像における中心位置並びに前記撮影手段で規定される座標系において推定された前記画像表示デバイスの実像の位置及び方向に基づいて算出し、当該座標変換パラメータを用いることで前記画像表示デバイスを介して観察される対象と前記撮影手段の撮影画像に基づく情報との前記ユーザの視界における位置関係を調整するための校正を行う校正手段を備えるヘッドマウントディスプレイ。 A head-mounted display having an imaging means and an optically transmissive image display device,
A parameter for converting the coordinate system defined by the imaging unit to a first coordinate system defined by the center position in the real image of the user's eyeball based on the captured image of the mirror image of the user captured by the imaging unit; A coordinate conversion parameter including a parameter for converting the first coordinate system to a coordinate system defined by the image display device in a real image of the user's eyeball estimated in the coordinate system defined by the imaging unit; Calculated based on the center position and the position and direction of the real image of the image display device estimated in the coordinate system defined by the photographing means, and is observed through the image display device by using the coordinate conversion parameter A calibrator performing calibration for adjusting the positional relationship between the object and the information based on the photographed image of the photographing means in the user's field of view. Head-mounted display comprising a.
前記ユーザの眼球の実像における中心位置に基づいて、前記第1座標系の座標を、前記情報を前記画像表示デバイス上に表示させるために前記ヘッドマウントディスプレイにて規定される座標系の座標へ変換するためのパラメータを求めるパラメータ算出手段、
を更に備えることを特徴とする請求項1に記載のヘッドマウントディスプレイ。 The calibration means includes
Based on the center position in the real image of the user's eyeball, the coordinates of the first coordinate system are converted into the coordinates of the coordinate system defined by the head mounted display in order to display the information on the image display device. Parameter calculating means for obtaining parameters for
The head mounted display according to claim 1, further comprising:
前記鏡像の撮影画像から、前記ユーザの眼球の実像における中心位置を推定する第1推定手段と、
前記鏡像の撮影画像から、前記撮影手段の鏡像における光学中心位置及び光軸方向を推定する第2推定手段と、
前記鏡像の撮影画像から、前記ユーザの眼球の鏡像における中心位置を推定する第3推定手段と、
前記第2推定手段によって推定された前記光学中心位置及び前記光軸方向に基づいて、前記鏡像を生成した鏡平面を推定する第4推定手段と、を更に備え、
前記第1推定手段は、前記第4推定手段によって推定された前記鏡平面、及び前記第3推定手段によって推定された前記ユーザの眼球の鏡像における中心位置に基づいて、前記ユーザの眼球の実像における中心位置を推定することを特徴とする請求項1または2に記載のヘッドマウントディスプレイ。 The calibration means includes
First estimation means for estimating a center position in a real image of the user's eyeball from the captured image of the mirror image;
Second estimation means for estimating an optical center position and an optical axis direction in a mirror image of the imaging means from the captured image of the mirror image;
Third estimation means for estimating a center position in a mirror image of the user's eyeball from the captured image of the mirror image;
Fourth estimation means for estimating a mirror plane that has generated the mirror image based on the optical center position and the optical axis direction estimated by the second estimation means;
The first estimation unit is configured to detect the real image of the user's eyeball based on the mirror plane estimated by the fourth estimation unit and the center position in the mirror image of the user's eyeball estimated by the third estimation unit. The head mounted display according to claim 1, wherein a center position is estimated.
前記校正手段は、前記鏡像の撮影画像に含まれる、前記撮影手段に付加された前記マーカに基づいて、前記校正を行うことを特徴とする請求項1または2に記載のヘッドマウントディスプレイ。 A marker is added to the photographing means,
The head mounted display according to claim 1, wherein the calibration unit performs the calibration based on the marker added to the imaging unit included in the captured image of the mirror image.
前記校正手段は、前記鏡像の撮影画像に含まれる、前記画像表示デバイスに付加された前記マーカに基づいて、前記校正を行うことを特徴とする請求項1または2に記載のヘッドマウントディスプレイ。 A marker is added to the image display device,
The head mounted display according to claim 1, wherein the calibration unit performs the calibration based on the marker added to the image display device included in the captured image of the mirror image.
前記鏡像の撮影画像から、鏡像における前記画像表示デバイスの位置及び方向を推定する第5推定手段と、
前記第4推定手段によって推定された前記鏡平面、及び前記第5推定手段によって推定された前記位置及び前記方向に基づいて、実像における前記画像表示デバイスの位置及び方向を推定する第6推定手段と、を更に備え、
前記校正手段は、前記第1推定手段によって推定された前記中心位置、及び前記第6推定手段によって推定された前記位置及び前記方向に基づいて、前記第1座標系を光学透過可能な画像表示デバイスにて規定される座標系へ変換するパラメータを求め、
前記校正手段は、前記第1推定手段によって推定された前記中心位置、及び前記第6推定手段によって推定された前記位置及び前記方向に基づいて、前記第1座標系の座標を、前記情報を前記画像表示デバイス上に表示させるために前記ヘッドマウントディスプレイにて規定される座標系の座標へ変換するためのパラメータを求めることを特徴とする請求項3に記載のヘッドマウントディスプレイ。 The calibration means includes
Fifth estimation means for estimating the position and direction of the image display device in the mirror image from the captured image of the mirror image;
Sixth estimation means for estimating a position and a direction of the image display device in a real image based on the mirror plane estimated by the fourth estimation means and the position and the direction estimated by the fifth estimation means; Further comprising
The calibration means is an image display device capable of optically transmitting the first coordinate system based on the center position estimated by the first estimation means and the position and direction estimated by the sixth estimation means. Find the parameters to convert to the coordinate system specified in
The calibration means is configured to obtain the coordinates of the first coordinate system based on the center position estimated by the first estimation means, and the position and the direction estimated by the sixth estimation means, and the information. 4. The head-mounted display according to claim 3, wherein a parameter for converting the coordinates into a coordinate system defined by the head-mounted display for display on an image display device is obtained.
前記撮影手段で規定される座標系を前記撮影手段で撮影されたユーザの鏡像の撮影画像に基づく前記ユーザの眼球の実像における中心位置で規定される第1座標系へ変換するためのパラメータと、前記第1座標系を前記画像表示デバイスで規定される座標系へ変換するためのパラメータとを含む座標変換パラメータを、前記撮影手段で規定される座標系において推定された前記ユーザの眼球の実像における中心位置並びに前記撮影手段で規定される座標系において推定された前記画像表示デバイスの実像の位置及び方向に基づいて算出し、当該座標変換パラメータを用いることで前記画像表示デバイスを介して観察される対象と前記撮影手段の撮影画像に基づく情報との前記ユーザの視界における位置関係を調整するための校正を行う校正工程を備えることを特徴とする校正方法。 A calibration method executed by a head-mounted display that has an imaging unit and an optically transmissive image display device, and visually recognizes information based on a captured image of the imaging unit on the image display device,
A parameter for converting the coordinate system defined by the imaging unit to a first coordinate system defined by the center position in the real image of the user's eyeball based on the captured image of the mirror image of the user captured by the imaging unit; A coordinate conversion parameter including a parameter for converting the first coordinate system to a coordinate system defined by the image display device in a real image of the user's eyeball estimated in the coordinate system defined by the imaging unit; Calculated based on the center position and the position and direction of the real image of the image display device estimated in the coordinate system defined by the photographing means, and is observed through the image display device by using the coordinate conversion parameter A calibrator that performs calibration to adjust the positional relationship in the field of view of the user between the object and the information based on the photographed image of the photographing means Calibration method characterized in that it comprises a.
前記撮影手段で規定される座標系を前記撮影手段で撮影されたユーザの鏡像の撮影画像に基づく前記ユーザの眼球の実像における中心位置で規定される第1座標系へ変換するためのパラメータと、前記第1座標系を前記画像表示デバイスで規定される座標系へ変換するためのパラメータとを含む座標変換パラメータを、前記撮影手段で規定される座標系において推定された前記ユーザの眼球の実像における中心位置並びに前記撮影手段で規定される座標系において推定された前記画像表示デバイスの実像の位置及び方向に基づいて算出し、当該座標変換パラメータを用いることで前記画像表示デバイスを介して観察される対象と前記撮影手段の撮影画像に基づく情報との前記ユーザの視界における位置関係を調整するための校正を行う校正手段として前記コンピュータを機能させることを特徴とする校正プログラム。 A calibration program executed by a head-mounted display including a photographing unit and an optically transmissive image display device, causing information based on a photographed image of the photographing unit to be visually recognized on the image display device, and including a computer;
A parameter for converting the coordinate system defined by the imaging unit to a first coordinate system defined by the center position in the real image of the user's eyeball based on the captured image of the mirror image of the user captured by the imaging unit; A coordinate conversion parameter including a parameter for converting the first coordinate system to a coordinate system defined by the image display device in a real image of the user's eyeball estimated in the coordinate system defined by the imaging unit; Calculated based on the center position and the position and direction of the real image of the image display device estimated in the coordinate system defined by the photographing means, and is observed through the image display device by using the coordinate conversion parameter A calibrator performing calibration for adjusting the positional relationship between the object and the information based on the photographed image of the photographing means in the user's field of view. Calibration program for causing the computer to function as a.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015226418A JP6266580B2 (en) | 2015-11-19 | 2015-11-19 | Head mounted display, calibration method and calibration program, and recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015226418A JP6266580B2 (en) | 2015-11-19 | 2015-11-19 | Head mounted display, calibration method and calibration program, and recording medium |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014501911A Division JP5844880B2 (en) | 2012-03-01 | 2012-03-01 | Head mounted display, calibration method and calibration program, and recording medium |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017137300A Division JP2017215597A (en) | 2017-07-13 | 2017-07-13 | Information display method and information display device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016057634A JP2016057634A (en) | 2016-04-21 |
JP6266580B2 true JP6266580B2 (en) | 2018-01-24 |
Family
ID=55758348
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015226418A Active JP6266580B2 (en) | 2015-11-19 | 2015-11-19 | Head mounted display, calibration method and calibration program, and recording medium |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6266580B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6866646B2 (en) * | 2017-01-16 | 2021-04-28 | オムロン株式会社 | Sensor support system, terminal, sensor and sensor support method |
US11042034B2 (en) * | 2018-12-27 | 2021-06-22 | Facebook Technologies, Llc | Head mounted display calibration using portable docking station with calibration target |
CN114979613A (en) * | 2021-02-25 | 2022-08-30 | 吴松阳 | Stereoscopic image display method and portable device for displaying stereoscopic image |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004233201A (en) * | 2003-01-30 | 2004-08-19 | Canon Inc | Position attitude measuring method |
JP5067850B2 (en) * | 2007-08-02 | 2012-11-07 | キヤノン株式会社 | System, head-mounted display device, and control method thereof |
JP4681629B2 (en) * | 2008-05-21 | 2011-05-11 | 日本電信電話株式会社 | Display device calibration method and apparatus |
JP2010243972A (en) * | 2009-04-10 | 2010-10-28 | Konica Minolta Opto Inc | Video display device and head-mounted display |
JP5402293B2 (en) * | 2009-06-22 | 2014-01-29 | ソニー株式会社 | Head-mounted display and image display method in head-mounted display |
WO2013128612A1 (en) * | 2012-03-01 | 2013-09-06 | パイオニア株式会社 | Head mounted display, calibration method, calibration program, and recording medium |
-
2015
- 2015-11-19 JP JP2015226418A patent/JP6266580B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016057634A (en) | 2016-04-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5844880B2 (en) | Head mounted display, calibration method and calibration program, and recording medium | |
JP5923603B2 (en) | Display device, head mounted display, calibration method, calibration program, and recording medium | |
US10269139B2 (en) | Computer program, head-mounted display device, and calibration method | |
TWI591378B (en) | Calibration method of ost hmd of ar system and non-transient computer readable media | |
TWI496108B (en) | AR image processing apparatus and method | |
JP6008397B2 (en) | AR system using optical see-through HMD | |
WO2016115873A1 (en) | Binocular ar head-mounted display device and information display method therefor | |
US11134238B2 (en) | Goggle type display device, eye gaze detection method, and eye gaze detection system | |
JP2023511066A (en) | Deformation Compensation in Head-Mounted Display Systems | |
US11436742B2 (en) | Systems and methods for reducing a search area for identifying correspondences between images | |
JP2018067115A (en) | Program, tracking method and tracking device | |
US20210398306A1 (en) | Dense depth computations aided by sparse feature matching | |
US11012677B1 (en) | Systems and methods for correcting rolling shutter artifacts | |
JP6509101B2 (en) | Image display apparatus, program and method for displaying an object on a spectacle-like optical see-through type binocular display | |
US12020448B2 (en) | Systems and methods for updating continuous image alignment of separate cameras | |
JP6266580B2 (en) | Head mounted display, calibration method and calibration program, and recording medium | |
EP4158447A1 (en) | Systems and methods for providing mixed-reality experiences under low light conditions | |
WO2021237952A1 (en) | Augmented reality display system and method | |
JP2017215597A (en) | Information display method and information display device | |
US11450014B2 (en) | Systems and methods for continuous image alignment of separate cameras | |
JP2008070319A (en) | Object measurement device and method | |
WO2013179425A1 (en) | Display device, head-mounted display, calibration method, calibration program, and recording medium | |
US11516452B2 (en) | Systems and methods for temporal corrections for parallax reprojection | |
JP6529160B2 (en) | AR information display device | |
WO2024004338A1 (en) | Head-mounted display device, state determination device, method for controlling head-mounted display device, method for controlling state determination device, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160926 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161101 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170606 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170713 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171205 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6266580 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |