JP6932501B2

JP6932501B2 - 画像表示装置

Info

Publication number: JP6932501B2
Application number: JP2016249172A
Authority: JP
Inventors: 嵩鳥居
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2016-12-22
Filing date: 2016-12-22
Publication date: 2021-09-08
Anticipated expiration: 2036-12-22
Also published as: JP2018107499A

Description

本発明は、ユーザーに対して画像を表示する画像表示装置に関する。

現実世界と仮想世界とをリアルタイムに融合させる技術として、複合現実（ＭＲ（ＭｉｘｅｄＲｅａｌｉｔｙ））技術や拡張現実（ＡＲ（ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ）技術が知られている。これらの技術は、現実世界とコンピュータによって作られる仮想世界を繋ぎ目なく融合する技術である。この技術により、ユーザーは現実世界に仮想の物体が存在するかのような体験をするといった事が可能となるため、各種分野への応用が期待されている。

ユーザーがＭＲ（以下、複合現実技術や拡張現実技術を総称してＭＲと記す）を体感するための装置の一つとして、透過型ＨＭＤ（ＨｅａｄＭｏｕｎｔｅｄＤｉｓｐｌａｙ）がある。透過型とは、ユーザーが現実世界を視認できることを意味している。透過型ＨＭＤは、「光学透過型ＨＭＤ」と「ビデオ透過型ＨＭＤ」に分類できる。光学透過型ＨＭＤでは、ユーザーの肉眼で現実世界を視認させ、表示系を用いてＣＧ（ＣｏｍｐｕｔｅｒＧｒａｐｈｉｃｓ）などから成る仮想世界を部分的に視認させる。一方で、ビデオ透過型ＨＭＤでは、ユーザーの視界を遮断する代わりに、撮像系で現実世界を撮影する。撮像系が取得した画像に仮想世界を重畳した合成画像を、表示系を用いてユーザーに視認させる。つまり、撮像系が観察者の眼の役割を果たしている。

現実世界と仮想世界を繋ぎ目なく融合させるには、ユーザーの眼に対して、表示系と撮像系を含む光学系を理想状態で配置させる必要がある。ただし、現実問題として、若干のずれが生じ得る。

特許文献１には、表示系を含む両眼用ＨＭＤであって、表示系のずれを左右の画像の相対調整で低減する技術が開示されている。

ＵＳ７５１１６８４

特許文献１には、表示系のずれを吸収することが開示されているが、ビデオ透過型ＨＭＤが有する撮像系のずれについては開示されていない。ビデオ透過型ＨＭＤでは、カメラがユーザーの眼の役割を果たすため、左右で相対調整をすると、ユーザーの眼とカメラとの違いから、ユーザーは違和感を覚える可能性があった。具体的には、ユーザーの肉眼で視認する現実世界とビデオ透過型ＨＭＤで視認する現実世界にずれが生じ得る可能性があった。

本発明は、上記課題を鑑みてなされたものであり、ユーザーに対して画像を表示する画像表示装置であって、表示される撮像画像の中心の軸とユーザーの視軸とが一致するようにし、ユーザーに違和感を覚えさせないようにすることを目的とする。

上記課題を解決するために、本発明に係る画像表示装置は、ユーザーに対して画像を表示する画像表示装置であって、撮像素子と撮像光学系とを有し、現実世界を撮像して撮像画像を取得する撮像部と、前記ユーザーの眼の前に配置され、表示素子を有し、前記撮像画像に基づいて表示画像を表示する表示部と、前記撮像画像において前記表示画像として表示させる領域と、該領域の前記表示部における表示位置とを制御する制御手段とを有し、前記制御手段は、前記撮像部が中心位置と水平線とを含むチャートを撮像してチャート撮像画像を取得し、前記表示部が当該チャート撮像画像に基づいてチャート表示画像を表示する際に、ユーザーの指示に基づき、前記チャートの中心位置が前記チャート表示画像の中心と一致し、前記チャートの水平線が前記チャート表示画像において水平となるように、前記チャート撮像画像において前記チャート表示画像として表示させる領域と、該領域の前記表示部における表示位置とを制御することを特徴とする。

本発明によれば、ユーザーに対して画像を表示する画像表示装置であって、表示される撮像画像の中心の軸とユーザーの視軸とが一致するようにし、ユーザーに違和感を覚えさせないようにすることが出来る。

画像提示装置の機能ブロック図画像表示装置の側面の断面図画像表示装置の側面の断面図現実世界とユーザーの眼との位置関係を示す図現実世界とユーザーの眼と画像表示装置との位置関係を示す図撮像系が取得する現実画像を示す図表示系がユーザーに提示する観察画像を示す図画像表示装置で視認する現実世界を示す図総画素領域と出力画素領域の説明図有効領域の説明図回転調整の説明図現実世界と撮像部の位置関係を示す図撮像部の取得画像を示す図現実世界と撮像部と画像表示装置の理想的な位置関係を示す図撮像部の取得画像を示す図現実世界と撮像部と画像表示装置の現実的な位置関係を示す図撮像部の取得画像を示す図

本発明の画像表示装置の例として、ビデオ透過型ＨＭＤ（以下、単にＨＭＤと記す）を示す。尚、以下では、ビデオ透過型ＨＭＤについて示すが、本発明は、ビデオ透過型ＨＭＤに限定されるものではない。

（第一の実施形態）
図１は第一の実施形態のＨＭＤ１００を用いてユーザー９００がＭＲを体感するまでの流れを示したブロック図である。ＨＭＤ１００は、撮像素子３０１と、撮像光学系３０２と、表示素子４０１と、表示光学系４０２と、画像生成手段２０１と、画像合成手段２０２と、画像制御手段２０３とを有している。撮像素子３０１と表示素子４０１とは、ユーザー９００の左右眼用に一対設けられている。

現実の世界に存在する物体９０１を含む現実の風景は、撮像光学系３０２により光学像として撮像素子３０１に結像される。撮像素子３０１は、撮像光学系３０２により結像された現実の光学像を電気信号に変換して、撮像画像を取得する。撮像素子３０１が変換した電気信号には、所定の信号処理が施され、画像データとして現実画像５０１が得られる。撮像素子３０１には、例えばＣＣＤやＣＭＯＳが適用できるが、これらに限られない。

画像生成手段２０１は、ＣＧなどで形成された仮想画像５０２の画像データを生成する。そして、画像合成手段２０２は、現実画像５０１と仮想画像５０２とを重畳し、合成画像５０３を作成する。画像生成手段２０１と、画像合成手段２０２とは必ずしもＨＭＤ１００の構成に含まれている必要はなく、別個のハードウェアにより実現される構成であってもよい。また、画像生成手段２０１と、画像合成手段２０２とは、ソフトウェアにより実現される構成であってもよい。

表示素子４０１は、合成画像５０３を表示部に表示する。表示素子４０１には、例えばＬＣＤやＥＬパネルなどが適用できるが、これらに限られない。表示光学系４０２は、表示素子４０１からの光束をユーザー９００の眼に導き、表示素子４０１の拡大虚像をユーザー９００に提示する。ユーザー９００はこの拡大虚像を観察することで、ＭＲを体験することになる。つまり、ユーザー９００がＭＲで体感している現実世界は、ユーザー９００が肉眼で見ている現実世界とは異なり、撮像素子３０１が取得した現実世界を、表示素子４０１と表示光学系４０２を介して体感していることになる。

画像制御手段２０３は、撮像素子３０１が取得する現実画像５０１と、表示素子４０１が表示する合成画像５０３の画像信号を制御する。具体的な方法については後述する。

次に、図２と図３を用いて、本実施形態の基本的な構成とＨＭＤ１００の視軸について説明する。図２と図３は、ＨＭＤ１００の垂直断面の要部概略図である。

ＨＭＤ１００は、一部不図示の保持部６００によってユーザー９００の眼の前方に配置される。保持部６００は、ＨＭＤ１００をユーザー９００の眼の前方に保持できればよい。つまり、撮像系３００と表示系４００を保持する不図示のフレームと、外装と、不図示のユーザー９００の頭部を含む身体のいずれかの部位に接触する装着部が、一体化・分割・一部省略されていてもよく、具体的な構成は限定されない。

表示光学系４０２の形態は、ユーザー９００の視界を遮断するために、非透過型である必要があるが、ハーフミラー４０３と凹面ミラー４０４の組み合わせに限定されるものではない。表示光学系４０２は、ユーザー９００に拡大虚像を提示するものであればよく、具体的な構成は限定されない。

撮像系３００の配置は、図３に示したように、物理的にユーザー９００の眼の前方でなくてもよい。撮像光学系３０２の光軸上、またはその延長線上がユーザー９００の眼の近傍であれば良い。したがって、平面ミラー３０３によって撮像光学系３０２の光路が折りたたまれた同様の構成においても本実施形態の構成となり得る。

ここで、ＨＭＤ１００の視軸について説明する。図４は、現実世界に存在する物体９０１とユーザー９００の眼の位置関係を示している。図５は、図４に加えて、理想状態とは異なるＨＭＤ１００が一部不図示の保持部６００によってユーザー９００の眼の前方に保持されたときの位置関係を示している。このとき、撮像系３００が取得する現実画像５０１は図６のようになる。十字線は、現実画像５０１の水平／垂直方向の中心線であり、現実画像５０１の中心と、現実画像５０１における物体９０１の位置がずれている状態を表している。続いて、表示素子４０１に十字線を表示させた際にユーザー９００が観察する表示系４００を介した観察画像５０４を図７に示す。十字太線は、図４で示した現実世界に存在する物体９０１をユーザー９００が注視したときの視方向である。十字太線は、前記視方向に対して表示素子４０２の点灯領域の中心がずれている状態を表している。この二つのずれを加算したのがＨＭＤ１００の視軸である。

図８は、表示素子４０１に図６で示した現実画像５０１を表示させた際にユーザー９００が観察する表示系４００を介した観察画像５０４である。観察画像５０４における物体９０１を実線で、現実世界における物体９０１を点線で表している。つまり、ユーザー９００の視軸に対して、ＨＭＤ１００の視軸が右斜め上方にずれていることを意味している。画像制御手段２０３は、このＨＭＤ１００の視軸を、ユーザー９００の視軸と一致させる。この際に、画像制御手段２０３は、ＨＭＤ１００の視軸とユーザー９００の視軸とのずれを検知し、制御に反映させる。

画像制御手段２０３の具体的な方法を説明する。図９は、撮像素子３０１と、表示素子４０１の総画素領域７０１と、出力画素領域７０２と、非出力画素領域７０３を表している。図９のように、総画素領域中心７０１Ｃと、出力画素領域中心７０２Ｃとをずらすように画像信号を制御することで、撮像系３００が取得する現実画像５０１の中心と、表示素子４０１の点灯領域中心をずらすことができる。つまり、ＨＭＤ１００の視軸を制御できることを意味する。

図１０は、撮像素子３０１と、表示素子４０１の総画素領域７０１と、出力画素領域７０２と、非出力画素領域７０３と、有効領域７０４を表している。有効領域７０４について説明する。

撮像素子３０１における有効領域７０４とは、表示素子４０１に表示させる領域のことである。つまり、現実画像５０１としては、出力画素領域７０２の画角を撮りこむが、有効領域７０４の画角のみ切り出して、表示素子４０１に表示させる。このように、総画素領域中心７０１Ｃと有効領域中心７０４Ｃとをずらすように画像信号を制御することで、撮像系３００が取得する見かけの現実画像５０１の中心をずらすことができる。つまり、ＨＭＤ１００の視軸を制御することができる。

表示素子４０１における有効領域７０４とは、出力画素領域７０２を特定の色でマスクし、有効領域７０４内に合成画像５０３を点灯させる。マスク色は黒でもよいが、他の色でも良い。このように、総画素領域中心７０１Ｃと有効領域中心７０４Ｃとをずらすように画像信号を制御することで、表示素子４０１の見かけの点灯領域中心をずらすことができる。つまり、ＨＭＤ１００の視軸を制御することができる。

以上説明したように、画像制御手段２０３は、ＨＭＤ１００の視軸とユーザー９００の眼の視軸を一致させるように、撮像素子３０１と表示素子４０１の出力画素領域７０２や有効領域７０４に関する画像信号を制御し、記憶する。具体的には、撮像素子３０１と表示素子４０１の一方または両方の総画素領域７０１内の任意の位置で出力画素領域７０２を設定する設定値を記憶する。撮像素子３０１と表示素子４０１の一方または両方の出力画素領域７０２内の任意の位置と領域の一方または両方で有効領域７０４を設定する設定値を記憶する。

上記の構成であれば、ユーザー９００の中心視野近傍に関して、ユーザー９００の眼で視認される現実世界と、ＨＭＤ１００によってユーザー９００に提示する現実世界とのずれを低減できる。よって、片眼用であっても、両眼用であっても、より違和感なくユーザー９００がＭＲを体感することができる。

また、ユーザー９００の眼球運動によって観察される周辺視野においても、同様の効果が得られた方が望ましい。そのため、撮像系３００と、表示系４００と、画像制御手段２０３は以下の構成であった方が望ましい。

撮像系３００の画角と表示系４００の画角を略一致させた方が良い。撮像系３００の画角は、撮像素子３０１と撮像光学系３０２によって決まる。表示系３００の画角は、表示素子４０１と表示光学系４０２によって決まる。ただし、画像制御手段２０３によって、有効領域７０４を設定している場合は、有効領域７０４が、撮像系３００の画角あるいは表示系４００の画角に相当する。つまり、撮像素子３０１と撮像光学系３０２によって決まる撮像系３００の画角が６０ｄｅｇである。表示素子４０１と表示光学系４０２によって決まる表示系３００の画角が４０ｄｅｇであっても、撮像素子３０１の有効領域７０４を４０ｄｅｇとなるように設定すれば、撮像系３００の画角が４０ｄｅｇ、表示系４００の画角が４０ｄｅｇで一致する。

画像制御手段２０３は、図１１に示すように、出力画素領域７０２に対して有効領域７０４を回転させても良い。また、画像制御手段２０３は、撮像光学系３０２と表示光学系４０２の歪を補正した方が望ましい。

上記の構成であれば、ユーザー９００の周辺視野においても、ユーザー９００の眼で視認される現実世界と、ＨＭＤ１００によってユーザー９００に提示する現実世界とのずれを低減できる。片眼用であっても、両眼用であっても、より違和感なくユーザー９００がＭＲを体感することができる。

（第二の実施形態）
第二の実施形態は、ＨＭＤ１０１の視軸とユーザー９００の視軸を一致させる調整方法に関する。なお、第一の実施形態と共通の構成については、第一の実施形態と同じ符号を付し、説明は省略する。

図１２は、現実世界に存在する較正を行うためのチャート９０２と、表示系４００によってユーザー９００の眼に提示される拡大虚像を撮像する撮像部８００との位置関係を示している。撮像部８００は、現実世界に存在するチャート９０２を撮像する。このとき、撮像部８００の光軸を、調整時の基準となるユーザー９００の眼の視軸と一致させるように撮像部８００を配置する。撮像部８００の光軸は、光学系の歪の影響を考慮すると中心光軸である方が望ましい。基準となるユーザー９００の眼の視軸は任意の角度でよい。

図１３は、撮像部８００の取得画像５０５である。本実施形態では、チャート９０２の十字線の交点と取得画像５０５の中心とが一致し、かつチャート９０２の十字チャートの水平線が、取得画像５０５において水平になることを基準とする。図１３に示したように、取得画像５０５が前記基準と一致していることから、撮像部８００の中心光軸を、基準となるユーザー９００の眼の視軸として定めることができたことを意味する。

図１４は、図１２に加えて、理想的な状態のＨＭＤ１０１を理想的な状態で配置したときの位置関係を示している。ＨＭＤ１０１は、一部不示図の保持部６０１によって、撮像部８００の前方に配置される。保持部６０１は、撮像系３００と表示系４００を保持する不図示のフレームと、外装と、撮像部８００あるいは不図示の撮像部８００の保持部に接触する結合部とが、一体化・分割・一部省略されていてもよく、具体的な構成は限定されない。

図１５は、撮像部８００の取得画像５０５である。取得画像５０５は、撮像系３００が取得した現実画像５０１を表示素子４０１表示させ、表示光学系４０２が形成する拡大虚像である。チャート９０２の十字線の交点と取得画像５０５の中心とが一致し、かつチャート９０２の十字線の水平線が、取得画像５０５において水平になっていることがわかる。つまり、理想的な状態では、撮像部８００の取得画像５０５における現実世界が、ＨＭＤ１０１有無で変化しないことを意味している。したがって、ユーザー９００の眼で視認される現実世界と、ＨＭＤ１０１によってユーザー９００に提示する現実世界とのずれがないため、違和感なくユーザー９００がＭＲを体感することができる。

しかしながら、現実は理想と異なり、部品のバラつきが生じ得る。そのため、ＨＭＤ１０１は、図１６に示すように、理想とは異なる状態で撮像部８００の前方に保持される。このときの撮像部８００の取得画像５０５を図１７に示す。図１７は、図１５と同様、撮像系３００が取得した現実画像５０１を表示素子４０１表示させ、表示光学系４０２が形成する拡大虚像である。図１７では、チャート９０２の十字線の交点と取得画像５０５の中心とが不一致であり、かつチャート９０２の十字線の水平線が、取得画像５０５において水平になっていないことがわかる。つまり、ＨＭＤ１０１の視軸とユーザー９００の眼の視軸との不一致量を検知できていることがわかる。

前記不一致量をなくすように、画像制御手段２０３を用いて、図１７の状態から図１５の状態になるように各画像信号を制御する。そして、不一致量を限りなくゼロにした状態の各画像信号を記憶させる。尚、上記調整は、ユーザー９００の指示に基づき行っても良い。その場合、ユーザー９００の指示を受ける不図示の指示手段を更に有することになる。

以上、本発明の実施形態について説明したが、本発明はこれらの実施形態に限定されるものではない。本発明は、本発明の実施形態の組み合わせは当然のこと、本発明の要点の範囲内で様々な変形および変更が可能である。

１００、１０１ＨＭＤ
２０１画像生成手段
２０２画像合成手段
２０３画像制御手段
３００撮像系
３０１撮像素子
３０２撮像光学系
３０３平面ミラー
４００表示系
４０１表示素子
４０２表示光学系
４０３ハーフミラー

Claims

ユーザーに対して画像を表示する画像表示装置であって、
撮像素子と撮像光学系とを有し、現実世界を撮像して撮像画像を取得する撮像部と、
前記ユーザーの眼の前に配置され、表示素子を有し、前記撮像画像に基づいて表示画像を表示する表示部と、
前記撮像画像において前記表示画像として表示させる領域と、該領域の前記表示部における表示位置とを制御する制御手段とを有し、
前記制御手段は、前記撮像部が中心位置と水平線とを含むチャートを撮像してチャート撮像画像を取得し、前記表示部が当該チャート撮像画像に基づいてチャート表示画像を表示する際に、ユーザーの指示に基づき、前記チャートの中心位置が前記チャート表示画像の中心と一致し、前記チャートの水平線が前記チャート表示画像において水平となるように、前記チャート撮像画像において前記チャート表示画像として表示させる領域と、該領域の前記表示部における表示位置とを制御することを特徴とする画像表示装置。
前記制御手段は、前記表示部に、前記チャート表示画像が表示されている状態で、当該チャート表示画像として表示させる領域と、該領域の前記表示部における表示位置とを制御することを特徴とする請求項１に記載の画像表示装置。
前記撮像部と前記表示部は、前記画像表示装置に固定されたものであって、
前記制御手段は、前記撮像部と前記表示部との少なくとも一つに係る画像信号を制御することで、前記チャートの中心位置が前記チャート表示画像の中心と一致し、前記チャートの水平線が前記チャート表示画像において水平となるように制御することを特徴とする請求項１または２に記載の画像表示装置。
前記撮像部で撮像された前記撮像画像に仮想画像を重畳した合成画像を生成する生成手段を更に有し、前記表示部は、前記合成画像を表示するものであって、
前記制御手段は、前記合成画像の画像信号を制御することで、前記チャートの中心位置が前記チャート表示画像の中心と一致し、前記チャートの水平線が前記チャート表示画像において水平となるように制御することを特徴とすることを特徴とする請求項３に記載の画像表示装置。
前記制御手段は、前記撮像部の画角と前記表示部の画角とを一致させることを特徴とする請求項１乃至４のいずれか１項に記載の画像表示装置。
前記制御手段は、前記撮像素子と前記表示素子との少なくとも一方の総画素領域の内に任意の出力画素領域を設定することを特徴とする請求項１乃至５のいずれか１項に記載の画像表示装置。
前記制御手段は、前記撮像素子と前記表示素子との少なくとも一方の出力画素領域の内に任意の有効領域を設定することを特徴とする請求項６に記載の画像表示装置。
前記撮像素子における有効領域は、前記撮像部の有効となる画角であることを特徴とする請求項７に記載の画像表示装置。
前記有効領域は、前記表示部の有効となる画角であることを特徴とする請求項７に記載の画像表示装置。
前記表示部および前記撮像部は、それぞれ一対の表示部および撮像部を有することを特徴とする請求項１乃至９のいずれか１項に記載の画像表示装置。
前記画像表示装置は、ＨＭＤであることを特徴とする請求項１乃至１０のいずれか１項に記載の画像表示装置。