WO2019098198A1

WO2019098198A1 - 画像生成装置、ヘッドマウントディスプレイ、画像生成システム、画像生成方法、およびプログラム

Info

Publication number: WO2019098198A1
Application number: PCT/JP2018/042003
Authority: WO
Inventors: 良徳大橋
Original assignee: 株式会社ソニー・インタラクティブエンタテインメント
Priority date: 2017-11-20
Filing date: 2018-11-13
Publication date: 2019-05-23
Also published as: US20210191124A1; JP2019095916A; US11204502B2; JP6978289B2

Abstract

レンダリング部２３２は、仮想空間のオブジェクトをレンダリングしてコンピュータグラフィックス画像を生成する。ポストプロセス部２３６は、コンピュータグラフィックス画像にポストプロセスを施す。送受信部２８２は、現実空間の撮影画像に重畳するためにポストプロセスが施されたコンピュータグラフィックス画像を奥行き情報とともにヘッドマウントディスプレイ１００に送信する。

Description

画像生成装置、ヘッドマウントディスプレイ、画像生成システム、画像生成方法、およびプログラム

　この発明は、画像生成装置、ヘッドマウントディスプレイ、画像生成システム、および画像生成方法に関する。

　ゲーム機に接続されたヘッドマウントディスプレイを頭部に装着して、ヘッドマウントディスプレイに表示された画面を見ながら、コントローラなどを操作してゲームプレイすることが行われている。ヘッドマウントディスプレイを装着すると、ヘッドマウントディスプレイに表示される映像以外はユーザは見ないため、映像世界への没入感が高まり、ゲームのエンタテインメント性を一層高める効果がある。また、ヘッドマウントディスプレイに仮想現実（ＶＲ(Virtual Reality)）の映像を表示させ、ヘッドマウントディスプレイを装着したユーザが頭部を回転させると、３６０度見渡せる全周囲の仮想空間が表示されるようにすると、さらに映像への没入感が高まり、ゲームなどのアプリケーションの操作性も向上する。

　また、非透過型ヘッドマウントディスプレイを装着したユーザは外界を直接見ることができなくなるが、ヘッドマウントディスプレイに搭載されたカメラによって外界の映像を撮影してディスプレイパネルに表示することのできるビデオ透過（ビデオシースルー）型ヘッドマウントディスプレイもある。ビデオ透過型ヘッドマウントディスプレイでは、カメラで撮影される外界の映像にコンピュータグラフィックス（ＣＧ(Computer Graphics)）によって生成された仮想世界のオブジェクトを重畳させることで拡張現実（ＡＲ(Augmented Reality)）の映像を生成して表示することもできる。拡張現実の映像は、現実世界から切り離された仮想現実とは違って、現実世界が仮想オブジェクトで拡張されたものであり、ユーザは現実世界とのつながりを意識しつつ、仮想世界を体験することができる。

　拡張現実の映像をヘッドマウントディスプレイに表示する場合、ヘッドマウントディスプレイに搭載されたカメラではユーザの頭部の動きに連動して高フレームレートで外界の映像が取り込まれるのに対して、重畳される仮想世界はレンダリングに時間がかかるため、仮想世界のフレームレートはカメラに比べると低い。そのため、カメラの高フレームレートに合わせて拡張現実の映像を生成することができず、ユーザは拡張現実の映像に微妙な遅れを感じ、現実世界とのつながり感を失うことになる。

　本発明はこうした課題に鑑みてなされたものであり、その目的は、拡張現実の映像の品質を向上させることのできる画像生成装置、ヘッドマウントディスプレイ、画像生成システム、および画像生成方法を提供することにある。

　上記課題を解決するために、本発明のある態様の画像生成装置は、仮想空間のオブジェクトをレンダリングしてコンピュータグラフィックス画像を生成するレンダリング部と、ヘッドマウントディスプレイから提供される現実空間の撮影画像の奥行き情報にもとづいてアルファ付きコンピュータグラフィックス画像を生成するアルファ付き画像生成部と、前記アルファ付きコンピュータグラフィックス画像を新たな視点位置または視線方向に合うように変換するリプロジェクション部と、リプロジェクション処理が施された前記アルファ付きコンピュータグラフィックス画像を前記ヘッドマウントディスプレイに送信する送信部とを含む。

　本発明の別の態様は、ヘッドマウントディスプレイである。このヘッドマウントディスプレイは、現実空間の撮影画像を新たな視点位置または視線方向に合うように変換するリプロジェクション部と、アルファ付きコンピュータグラフィックス画像を受信する受信部と、リプロジェクション処理が施された前記現実空間の撮影画像に前記アルファ付きコンピュータグラフィックス画像を重畳して拡張現実画像を生成する重畳部とを含む。

　本発明のさらに別の態様は、画像生成システムである。この画像生成システムは、ヘッドマウントディスプレイと画像生成装置を含む画像生成システムであって、前記画像生成装置は、仮想空間のオブジェクトをレンダリングしてコンピュータグラフィックス画像を生成するレンダリング部と、前記ヘッドマウントディスプレイから提供される現実空間の撮影画像の奥行き情報にもとづいてアルファ付きコンピュータグラフィックス画像を生成するアルファ付き画像生成部と、前記アルファ付きコンピュータグラフィックス画像を新たな視点位置または視線方向に合うように変換する第１のリプロジェクション部と、リプロジェクション処理が施された前記アルファ付きコンピュータグラフィックス画像を前記ヘッドマウントディスプレイに送信する送信部とを含む。前記ヘッドマウントディスプレイは、前記現実空間の撮影画像を新たな視点位置または視線方向に合うように変換する第２のリプロジェクション部と、前記画像生成装置からアルファ付きコンピュータグラフィックス画像を受信する受信部と、リプロジェクション処理が施された現実空間の撮影画像に前記アルファ付きコンピュータグラフィックス画像を重畳して拡張現実画像を生成する重畳部とを含む。

　本発明のさらに別の態様は、画像生成方法である。この方法は、仮想空間のオブジェクトをレンダリングしてコンピュータグラフィックス画像を生成するレンダリングステップと、ヘッドマウントディスプレイから提供される現実空間の撮影画像の奥行き情報にもとづいてアルファ付きコンピュータグラフィックス画像を生成するアルファ付き画像生成ステップと、前記アルファ付きコンピュータグラフィックス画像を新たな視点位置または視線方向に合うように変換するリプロジェクションステップと、リプロジェクション処理が施された前記アルファ付きコンピュータグラフィックス画像を前記ヘッドマウントディスプレイに送信する送信ステップとを含む。

　本発明のさらに別の態様は、画像生成装置である。この装置は、仮想空間のオブジェクトをレンダリングしてコンピュータグラフィックス画像を生成するレンダリング部と、現実空間の撮影画像に重畳するために前記コンピュータグラフィックス画像を奥行き情報とともにヘッドマウントディスプレイに送信する送信部とを含む。

　本発明のさらに別の態様は、ヘッドマウントディスプレイである。このヘッドマウントディスプレイは、現実空間の撮影画像を新たな視点位置または視線方向に合うように変換する第１のリプロジェクション部と、奥行き情報付きのコンピュータグラフィックス画像を受信する受信部と、コンピュータグラフィックス画像を新たな視点位置または視線方向に合うように変換する第２のリプロジェクション部と、リプロジェクション処理が施された前記現実空間の撮影画像にリプロジェクション処理が施された前記奥行き情報付きのコンピュータグラフィックス画像を画素単位で奥行き情報を参照して重畳することにより拡張現実画像を生成する重畳部とを含む。

　本発明のさらに別の態様は、画像生成システムである。この画像生成システムは、ヘッドマウントディスプレイと画像生成装置を含む画像生成システムであって、前記画像生成装置は、仮想空間のオブジェクトをレンダリングしてコンピュータグラフィックス画像を生成するレンダリング部と、現実空間の撮影画像に重畳するために前記コンピュータグラフィックス画像を奥行き情報とともに前記ヘッドマウントディスプレイに送信する送信部とを含む。前記ヘッドマウントディスプレイは、現実空間の撮影画像を新たな視点位置または視線方向に合うように変換する第１のリプロジェクション部と、前記画像生成装置から奥行き情報付きのコンピュータグラフィックス画像を受信する受信部と、前記コンピュータグラフィックス画像を新たな視点位置または視線方向に合うように変換する第２のリプロジェクション部と、リプロジェクション処理が施された前記現実空間の撮影画像にリプロジェクション処理が施された前記奥行き情報付きのコンピュータグラフィックス画像を画素単位で奥行き情報を参照して重畳することにより拡張現実画像を生成する重畳部とを含む。

　本発明のさらに別の態様は、画像生成方法である。この方法は、現実空間の撮影画像を新たな視点位置または視線方向に合うように変換する第１のリプロジェクションステップと、奥行き情報付きのコンピュータグラフィックス画像を受信する受信ステップと、前記コンピュータグラフィックス画像を新たな視点位置または視線方向に合うように変換する第２のリプロジェクションステップと、リプロジェクション処理が施された前記現実空間の撮影画像にリプロジェクション処理が施された前記奥行き情報付きのコンピュータグラフィックス画像を画素単位で奥行き情報を参照して重畳することにより拡張現実画像を生成する重畳ステップとを含む。

　なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。

　本発明によれば、拡張現実の映像の品質を向上させることができる。

ヘッドマウントディスプレイの外観図である。本実施の形態に係る画像生成システムの構成図である。前提技術に係るヘッドマウントディスプレイの機能構成図である。前提技術に係る画像生成装置の機能構成図である。カメラ画像にＣＧ画像を重畳して拡張現実画像を生成するための前提技術に係る画像生成システムの構成を説明する図である。第１の実施の形態に係るヘッドマウントディスプレイの機能構成図である。第１の実施の形態に係る画像生成装置の機能構成図である。カメラ画像にＣＧ画像を重畳して拡張現実画像を生成するための第１の実施の形態に係る画像生成システムの構成を説明する図である。第２の実施の形態に係る画像生成装置の機能構成図である。カメラ画像にＣＧ画像を重畳して拡張現実画像を生成するための第２の実施の形態に係る画像生成システムの構成を説明する図である。カメラ画像にＣＧ画像を重畳して拡張現実画像を生成するための第２の実施の形態に係る画像生成システムの構成の変形例を説明する図である。

　図１は、ヘッドマウントディスプレイ１００の外観図である。ヘッドマウントディスプレイ１００は、ユーザの頭部に装着してディスプレイに表示される静止画や動画などを鑑賞し、ヘッドホンから出力される音声や音楽などを聴くための表示装置である。

　ヘッドマウントディスプレイ１００に内蔵または外付けされたジャイロセンサや加速度センサなどによりヘッドマウントディスプレイ１００を装着したユーザの頭部の位置情報と頭部の回転角や傾きなどの姿勢（orientation）情報を計測することができる。

　ヘッドマウントディスプレイ１００にはカメラユニットが搭載されており、ユーザがヘッドマウントディスプレイ１００を装着している間、外界を撮影することができる。

　ヘッドマウントディスプレイ１００は、「ウェアラブルディスプレイ」の一例である。ここでは、ヘッドマウントディスプレイ１００に表示される画像の生成方法を説明するが、本実施の形態の画像生成方法は、狭義のヘッドマウントディスプレイ１００に限らず、めがね、めがね型ディスプレイ、めがね型カメラ、ヘッドフォン、ヘッドセット（マイクつきヘッドフォン）、イヤホン、イヤリング、耳かけカメラ、帽子、カメラつき帽子、ヘアバンドなどを装着した場合にも適用することができる。

　図２は、本実施の形態に係る画像生成システムの構成図である。ヘッドマウントディスプレイ１００は、一例として、映像・音声をデジタル信号で伝送する通信インタフェースの標準規格であるＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）などのインタフェース３００で画像生成装置２００に接続される。

　画像生成装置２００は、ヘッドマウントディスプレイ１００の現在の位置・姿勢情報から、映像の生成から表示までの遅延を考慮してヘッドマウントディスプレイ１００の位置・姿勢情報を予測し、ヘッドマウントディスプレイ１００の予測位置・姿勢情報を前提としてヘッドマウントディスプレイ１００に表示されるべき画像を描画し、ヘッドマウントディスプレイ１００に伝送する。

　画像生成装置２００の一例はゲーム機である。画像生成装置２００は、さらにネットワークを介してサーバに接続されてもよい。その場合、サーバは、複数のユーザがネットワークを介して参加できるゲームなどのオンラインアプリケーションを画像生成装置２００に提供してもよい。ヘッドマウントディスプレイ１００は、画像生成装置２００の代わりに、コンピュータや携帯端末に接続されてもよい。

　図３～図５を参照して、本実施の形態の前提技術を説明する。

　図３は、前提技術に係るヘッドマウントディスプレイ１００の機能構成図である。

　制御部１０は、画像信号、センサ信号などの信号や、命令やデータを処理して出力するメインプロセッサである。入力インタフェース２０は、ユーザからの操作信号や設定信号を受け付け、制御部１０に供給する。出力インタフェース３０は、制御部１０から画像信号を受け取り、ディスプレイパネル３２に表示する。

　通信制御部４０は、ネットワークアダプタ４２またはアンテナ４４を介して、有線または無線通信により、制御部１０から入力されるデータを外部に送信する。通信制御部４０は、また、ネットワークアダプタ４２またはアンテナ４４を介して、有線または無線通信により、外部からデータを受信し、制御部１０に出力する。

　記憶部５０は、制御部１０が処理するデータやパラメータ、操作信号などを一時的に記憶する。

　姿勢センサ６４は、ヘッドマウントディスプレイ１００の位置情報と、ヘッドマウントディスプレイ１００の回転角や傾きなどの姿勢情報を検出する。姿勢センサ６４は、ジャイロセンサ、加速度センサ、角加速度センサなどを適宜組み合わせて実現される。３軸地磁気センサ、３軸加速度センサおよび３軸ジャイロ（角速度）センサの少なくとも１つ以上を組み合わせたモーションセンサを用いて、ユーザの頭部の前後、左右、上下の動きを検出してもよい。

　外部入出力端子インタフェース７０は、ＵＳＢ（Universal Serial Bus）コントローラなどの周辺機器を接続するためのインタフェースである。外部メモリ７２は、フラッシュメモリなどの外部メモリである。

　カメラユニット８０は、レンズ、イメージセンサ、測距センサなど撮影に必要な構成を含み、撮影された外界の映像と奥行き情報を制御部１０に供給する。制御部１０は、カメラユニット８０のフォーカスやズームなどを制御する。

　ＨＤＭＩ送受信部９０は、ＨＤＭＩにしたがって映像・音声のデジタル信号を画像生成装置２００との間で送受信する。ＨＤＭＩ送受信部９０は、カメラユニット８０により撮影された外界の映像と奥行き情報を制御部１０から受け取り、ＨＤＭＩ伝送路で画像生成装置２００に送信する。ＨＤＭＩ送受信部９０は、画像生成装置２００により生成された画像をＨＤＭＩ伝送路で画像生成装置２００から受信し、制御部１０に供給する。

　制御部１０は、画像やテキストデータを出力インタフェース３０に供給してディスプレイパネル３２に表示させたり、通信制御部４０に供給して外部に送信させることができる。

　姿勢センサ６４が検出したヘッドマウントディスプレイ１００の現在の位置・姿勢情報は、通信制御部４０または外部入出力端子インタフェース７０を介して画像生成装置２００に通知される。あるいは、ＨＤＭＩ送受信部９０がヘッドマウントディスプレイ１００の現在の位置・姿勢情報を画像生成装置２００に送信してもよい。

　図４は、前提技術に係る画像生成装置２００の機能構成図である。同図は機能に着目したブロック図を描いており、これらの機能ブロックはハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現することができる。

　画像生成装置２００の少なくとも一部の機能をヘッドマウントディスプレイ１００に実装してもよい。あるいは、画像生成装置２００の少なくとも一部の機能を、ネットワークを介して画像生成装置２００に接続されたサーバに実装してもよい。

　位置・姿勢取得部２１０は、ヘッドマウントディスプレイ１００の現在の位置・姿勢情報をヘッドマウントディスプレイ１００から取得する。

　視点・視線設定部２２０は、位置・姿勢取得部２１０により取得されたヘッドマウントディスプレイ１００の位置・姿勢情報を用いて、ユーザの視点位置および視線方向を設定する。

　ＨＤＭＩ送受信部２８０は、ヘッドマウントディスプレイ１００からカメラユニット８０により撮影された現実空間の映像を受信し、画像信号処理部２５０に供給する。

　画像信号処理部２５０は、ヘッドマウントディスプレイ１００のカメラユニット８０により撮影されたＲａｗ画像に対してＲＧＢ変換（デモザイク処理）、ホワイトバランス、色補正、ノイズリダクションなどの画像信号処理（ＩＳＰ(Image Signal Processing)）を施し、さらにカメラユニット８０の光学系による歪みなどを取り除く歪み補正処理を施す。画像信号処理部２５０は画像信号処理および歪み補正処理が施されたＲＧＢ画像を画像生成部２３０に供給する。

　画像生成部２３０は、画像記憶部２６０からコンピュータグラフィックスの生成に必要なデータを読み出し、仮想空間のオブジェクトをレンダリングしてＣＧ画像を生成し、画像信号処理部２５０から提供される現実空間のカメラ画像に重畳することで拡張現実画像を生成し、画像記憶部２６０に出力する。

　画像生成部２３０は、レンダリング部２３２と、ＡＲ重畳部２３４と、ポストプロセス部２３６と、リプロジェクション部２４０と、歪み処理部２４２とを含む。

　レンダリング部２３２は、視点・視線設定部２２０によって設定されたユーザの視点位置および視線方向にしたがって、ヘッドマウントディスプレイ１００を装着したユーザの視点位置から視線方向に見える仮想空間のオブジェクトをレンダリングし、ＡＲ重畳部２３４に与える。

　ＡＲ重畳部２３４は、画像信号処理部２５０から供給されるカメラ画像にレンダリング部２３２により生成されたＣＧ画像を重畳することで拡張現実画像を生成し、ポストプロセス部２３６に与える。

　ポストプロセス部２３６は、拡張現実画像に対して、被写界深度調整、トーンマッピング、アンチエイリアシングなどのポストプロセスを施し、現実空間の画像に仮想オブジェクトが重畳された拡張現実画像が自然で滑らかに見えるように後処理する。

　リプロジェクション部２４０は、位置・姿勢取得部２１０からヘッドマウントディスプレイ１００の最新の位置・姿勢情報を受け取り、ポストプロセスが施された拡張現実画像に対してリプロジェクション処理を施し、ヘッドマウントディスプレイ１００の最新の視点位置・視線方向から見える画像に変換する。

　ここで、リプロジェクションについて説明する。ヘッドマウントディスプレイ１００にヘッドトラッキング機能をもたせて、ユーザの頭部の動きと連動して視点や視線方向を変えて仮想現実の映像を生成した場合、仮想現実の映像の生成から表示までに遅延があるため、映像生成時に前提としたユーザの頭部の向きと、映像をヘッドマウントディスプレイ１００に表示した時点でのユーザの頭部の向きとの間でずれが発生し、ユーザは酔ったような感覚（「ＶＲ酔い（Virtual Reality Sickness）」などと呼ばれる）に陥ることがある。

　このように、ヘッドマウントディスプレイ１００の動きを検知し、ＣＰＵが描画コマンドを発行し、ＧＰＵ（Graphics Processing Unit）がレンダリングを実行し、描画された画像がヘッドマウントディスプレイ１００に出力されるまでには時間がかかる。描画がたとえば６０ｆｐｓ（フレーム／秒）のフレームレートで行われており、ヘッドマウントディスプレイ１００の動きを検知してから画像を出力するまでに１フレーム分の遅れが生じるとする。これはフレームレート６０ｆｐｓのもとでは、１６．６７ミリ秒ほどであり、人間がずれを感知するには十分な時間である。

　そこで、「タイムワープ」または「リプロジェクション」と呼ばれる処理を行い、レンダリングした画像をヘッドマウントディスプレイ１００の最新の位置と姿勢に合わせて補正することで人間がずれを感知しにくいようにする。

　歪み処理部２４２は、リプロジェクション処理が施された拡張現実画像に対してヘッドマウントディスプレイ１００の光学系で生じる歪みに合わせて画像を変形（distortion）させて歪ませる処理を施し、画像記憶部２６０に記憶する。

　ＨＤＭＩ送受信部２８０は、画像記憶部２６０から画像生成部２３０により生成された拡張現実画像のフレームデータを読み出し、ＨＤＭＩにしたがってヘッドマウントディスプレイ１００に伝送する。

　図５は、カメラ画像にＣＧ画像を重畳して拡張現実画像を生成するための前提技術に係る画像生成システムの構成を説明する図である。ここでは、説明を簡単にするため、拡張現実画像を生成するためのヘッドマウントディスプレイ１００と画像生成装置２００の主な構成を図示して説明する。

　ヘッドマウントディスプレイ１００のカメラユニット８０により撮影された外界のカメラ画像は画像生成装置２００に送信され、画像信号処理部２５０に供給される。画像信号処理部２５０は、カメラ画像に対して画像信号処理と歪み補正処理を施し、ＡＲ重畳部２３４に与える。

　画像生成装置２００のレンダリング部２３２は、ヘッドマウントディスプレイ１００を装着したユーザの視点位置・視線方向から見た仮想オブジェクトを生成し、ＡＲ重畳部２３４に与える。

　ＡＲ重畳部２３４は、カメラ画像にＣＧ画像を重畳し、拡張現実画像を生成する。ポストプロセス部２３６は拡張現実画像にポストプロセスを施す。リプロジェクション部２４０はポストプロセスが施された拡張現実画像を最新の視点位置・視線方向に合うように変換する。歪み処理部２４２はリプロジェクション後の拡張現実画像に歪み処理を施す。歪み処理後の最終的なＲＧＢ画像はヘッドマウントディスプレイ１００に送信され、ディスプレイパネル３２に表示される。

　上述の前提技術に係る画像生成システムでは、画像生成装置２００によるＣＧ画像のレンダリングのフレームレートに合わせてカメラ画像を重畳することになる。レンダリングは処理時間がかかるため、レンダリング部２３２による仮想空間のレンダリングのフレームレートは、カメラユニット８０による現実空間の撮影のフレームレートに比べると遅い。たとえば、カメラユニット８０により１２０ｆｐｓの撮影が行われても、レンダリングは６０ｆｐｓでしか描画できないことがある。そのため、ヘッドマウントディスプレイ１００のディスプレイパネルに表示されるシースルー映像のフレームレートはレンダリングのフレームレートに合わせて低下し、シースルー映像がとぎれとぎれになり、拡張現実の映像を見ても現実感が伴わない結果となる。

　以下、前提技術に係る画像生成システムにおける課題を克服したいくつかの実施の形態に係る画像生成システムを説明するが、前提技術と重複する説明は適宜省略し、前提技術から改善した構成について説明する。

　図６は、第１の実施の形態に係るヘッドマウントディスプレイ１００の機能構成図である。

　姿勢推定部８１は、カメラユニット８０により撮影された画像の特徴点からヘッドマウントディスプレイ１００の姿勢情報（位置と回転）を推定する。送受信部９２は、姿勢推定部８１によって推定された姿勢情報を画像生成装置２００に送信する。

　画像信号処理部８２は、カメラユニット８０により撮影されたＲａｗ画像に対してＲＧＢ変換（デモザイク処理）、ホワイトバランス、色補正、ノイズリダクションなどの画像信号処理を施し、さらにカメラユニット８０の光学系による歪みなどを取り除く歪み補正処理を施す。画像信号処理部８２は画像信号処理および歪み補正処理が施されたカメラ画像を制御部１０に供給する。

　リプロジェクション部８４は、姿勢推定部８１または姿勢センサ６４が検出したヘッドマウントディスプレイ１００の最新の位置・姿勢情報にもとづき、カメラ画像に対してリプロジェクション処理を施し、ヘッドマウントディスプレイ１００の最新の視点位置・視線方向から見える画像に変換する。

　歪み処理部８６は、リプロジェクション処理が施されたカメラ画像に対してヘッドマウントディスプレイ１００の光学系で生じる歪みに合わせて画像を変形させて歪ませる処理を施し、歪み処理が施されたカメラ画像を制御部１０に供給する。

　ＡＲ重畳部８８は、歪み処理が施されたカメラ画像に画像生成装置２００により生成されたアルファ付きＣＧ画像を重畳することで拡張現実画像を生成し、制御部１０に供給する。

　送受信部９２は、映像・音声のデジタル信号を画像生成装置２００との間で送受信する。送受信部９２は、カメラ画像の奥行き情報を制御部１０から受け取り、画像生成装置２００に送信する。送受信部９２は、画像生成装置２００により生成された奥行き情報を含む画像を画像生成装置２００から受信し、制御部１０に供給する。

　図７は、第１の実施の形態に係る画像生成装置２００の機能構成図である。

　送受信部２８２は、ヘッドマウントディスプレイ１００からカメラユニット８０により撮影された現実空間の映像の奥行き情報を受信し、デプス取得部２５２に供給する。

　画像生成部２３０は、画像記憶部２６０からコンピュータグラフィックスの生成に必要なデータを読み出し、仮想空間のオブジェクトをレンダリングしてＣＧ画像を生成し、デプス取得部２５２から提供される現実空間のカメラ画像の奥行き情報にもとづいてＣＧ画像からアルファ付きＣＧ画像を生成し、画像記憶部２６０に出力する。

　画像生成部２３０は、レンダリング部２３２と、アルファ付き画像生成部２３３と、ポストプロセス部２３６と、リプロジェクション部２４０と、歪み処理部２４２とを含む。

　レンダリング部２３２は、視点・視線設定部２２０によって設定されたユーザの視点位置および視線方向にしたがって、ヘッドマウントディスプレイ１００を装着したユーザの視点位置から視線方向に見える仮想空間のオブジェクトをレンダリングしてＣＧ画像を生成し、アルファ付き画像生成部２３３に与える。

　アルファ付き画像生成部２３３は、デプス取得部２５２から与えられたカメラ画像の奥行き（デプス）情報にもとづいてＣＧ画像からアルファ付きＣＧ画像を生成する。具体的には、現実空間のオブジェクトと仮想空間のオブジェクトの位置関係を判定し、ＣＧ画像において仮想オブジェクトの背景の領域や仮想オブジェクトよりも手前にある現実空間のオブジェクトによって隠れて見えないオクルージョンの領域は透明になるようにアルファ値を設定する。アルファ付き画像生成部２３３は、アルファ付きＣＧ画像をポストプロセス部２３６に与える。

　ポストプロセス部２３６は、アルファ付きＣＧ画像に対して、被写界深度調整、トーンマッピング、アンチエイリアシングなどのポストプロセスを施し、アルファ付きＣＧ画像が自然で滑らかに見えるように後処理する。

　アンチエイリアシングの際、ＣＧ画像とカメラ画像の境界が半透明になるようにアルファ値を設定することもできる。

　リプロジェクション部２４０は、位置・姿勢取得部２１０からヘッドマウントディスプレイ１００の最新の位置・姿勢情報を受け取り、ポストプロセスが施されたアルファ付きＣＧ画像に対してリプロジェクション処理を施し、ヘッドマウントディスプレイ１００の最新の視点位置・視線方向から見える画像に変換する。

　歪み処理部２４２は、リプロジェクション処理が施されたアルファ付きＣＧ画像に対してヘッドマウントディスプレイ１００の光学系で生じる歪みに合わせて画像を変形させて歪ませる処理を施し、画像記憶部２６０に記憶する。

　送受信部２８２は、画像記憶部２６０から画像生成部２３０により生成されたアルファ付きＣＧ画像のフレームデータを読み出し、ＲＧＢＡ画像信号を伝送可能な通信インタフェースを介してアルファ付きＣＧ画像をヘッドマウントディスプレイ１００に伝送する。ここでＲＧＢＡ画像信号とは、画素毎に赤、緑、青の各色の値にアルファ値を加えた画像信号である。

　図８は、カメラ画像にＣＧ画像を重畳して拡張現実画像を生成するための第１の実施の形態に係る画像生成システムの構成を説明する図である。

　ヘッドマウントディスプレイ１００のカメラユニット８０により撮影された外界のカメラ画像とデプス情報とタイプスタンプは画像信号処理部８２に供給される。また、カメラ画像とタイムスタンプは姿勢推定部８１に供給される。姿勢推定部８１はカメラ画像からヘッドマウントディスプレイ１００の姿勢情報を推定し、姿勢情報とタイムスタンプをレンダリング部２３２に供給する。画像信号処理部８２は、カメラ画像に対して画像信号処理と歪み補正処理を施し、カメラ画像とタイプスタンプをリプロジェクション部８４に与える。画像信号処理部８２は、デプス情報を画像生成装置２００に送信し、アルファ付き画像生成部２３３に供給する。

　画像生成装置２００のレンダリング部２３２は、ヘッドマウントディスプレイ１００を装着したユーザの視点位置・視線方向から見た仮想オブジェクトを生成し、ＣＧ画像とタイムスタンプをアルファ付き画像生成部２３３に与える。タイムスタンプはアルファ付き画像生成部２３３からポストプロセス部２３６、リプロジェクション部２４０に渡される。

　アルファ付き画像生成部２３３は、デプス情報にもとづきＣＧ画像からアルファ付きＣＧ画像を生成する。ポストプロセス部２３６はアルファ付きＣＧ画像にポストプロセスを施す。リプロジェクション部２４０はポストプロセスが施されたアルファ付きＣＧ画像をタイムスタンプを基準にして最新の視点位置・視線方向に合うように変換する。歪み処理部２４２はリプロジェクション後のアルファ付きＣＧ画像に歪み処理を施す。歪み処理後の最終的なＲＧＢＡ画像はヘッドマウントディスプレイ１００に送信され、ＡＲ重畳部８８に供給される。このＲＧＢＡ画像は、カメラ画像が重畳されるべき領域は透明であることを示すアルファ値が設定されたＣＧ画像である。

　ヘッドマウントディスプレイ１００のリプロジェクション部８４は、画像信号処理と歪み補正処理が施されたカメラ画像をタイムスタンプを基準にして最新の視点位置・視線方向に合うように変換し、歪み処理部８６に供給する。歪み処理部８６はリプロジェクション後のカメラ画像に歪み処理を施す。ＡＲ重畳部８８は、画像生成装置２００から供給されるアルファ付きＣＧ画像を歪み処理後のカメラ画像に重畳することにより、拡張現実画像を生成する。生成された拡張現実画像は、ディスプレイパネル３２に表示される。

　第１の実施の形態の画像生成システムによれば、ヘッドマウントディスプレイ１００のカメラユニット８０によって撮影されたカメラ画像を画像生成装置２００に転送しないため、高フレームレートで撮影されたカメラ画像を画像生成装置２００が生成するＣＧ画像に重畳することができる。そのためシースルー映像がとぎれとぎれになることがなく、ヘッドマウントディスプレイ１００で拡張現実の映像を見ているユーザが現実世界とのつながり感をもつことができる。

　第２の実施の形態について説明する。ヘッドマウントディスプレイ１００の構成は基本的には図６に示したものと同じであるが、リプロジェクション部８４は、カメラ画像用の第１のリプロジェクション部８４ａとＣＧ画像用の第２のリプロジェクション部８４ｂを有する。

　図９は、第２の実施の形態に係る画像生成装置２００の機能構成図である。

　第２の実施の形態の画像生成装置２０００は、ヘッドマウントディスプレイ１００からカメラユニット８０により撮影されたカメラ画像とデプス情報は受信しない。

　画像生成部２３０は、画像記憶部２６０からコンピュータグラフィックスの生成に必要なデータを読み出し、仮想空間のオブジェクトをレンダリングしてＣＧ画像を生成し、ポストプロセスを施し、画像記憶部２６０に出力する。

　画像生成部２３０は、レンダリング部２３２と、ポストプロセス部２３６とを含む。

　レンダリング部２３２は、視点・視線設定部２２０によって設定されたユーザの視点位置および視線方向にしたがって、ヘッドマウントディスプレイ１００を装着したユーザの視点位置から視線方向に見える仮想空間のオブジェクトをレンダリングしてＣＧ画像を生成し、ポストプロセス部２３６に与える。

　ポストプロセス部２３６は、ＣＧ画像に対してポストプロセスを施し、ＣＧ画像が自然で滑らかに見えるように後処理し、画像記憶部２６０に記憶する。

　送受信部２８２は、画像記憶部２６０から画像生成部２３０により生成されたアルファ値とデプス情報を含むＣＧ画像のフレームデータを読み出し、ＲＧＢＡＤ画像信号を伝送可能な通信インタフェースを介してＲＧＢＡＤ画像としてヘッドマウントディスプレイ１００に伝送する。ここでＲＧＢＡＤ画像信号は、画素毎に赤、緑、青の各色の値にアルファ値およびデプス値を加えた画像信号である。

　図１０は、カメラ画像にＣＧ画像を重畳して拡張現実画像を生成するための第２の実施の形態に係る画像生成システムの構成を説明する図である。

　ヘッドマウントディスプレイ１００のカメラユニット８０により撮影された外界のカメラ画像とデプス情報とタイプスタンプは画像信号処理部８２に供給される。また、カメラ画像とタイムスタンプは姿勢推定部８１に供給される。姿勢推定部８１はカメラ画像からヘッドマウントディスプレイ１００の姿勢情報を推定し、姿勢情報とタイムスタンプをレンダリング部２３２に供給する。画像信号処理部８２は、カメラ画像に対して画像信号処理と歪み補正処理を施し、カメラ画像とデプス情報とタイプスタンプを第１のリプロジェクション部８４ａに与える。

　画像生成装置２００のレンダリング部２３２は、ヘッドマウントディスプレイ１００を装着したユーザの視点位置・視線方向から見た仮想オブジェクトを生成し、ＣＧ画像とタイムスタンプをポストプロセス部２３６に与える。

　ポストプロセス部２３６はＣＧ画像にポストプロセスを施し、アルファ値とデプス情報を含むＲＧＢＡＤ画像としてタイムスタンプとともにヘッドマウントディスプレイ１００に送信し、リプロジェクション部８４ｂに供給される。

　ヘッドマウントディスプレイ１００の第１のリプロジェクション部８４ａは、画像信号処理と歪み補正処理が施されたカメラ画像をタイムスタンプを基準にして最新の視点位置・視線方向に合うように変換し、ＡＲ重畳部８８に供給する。

　ヘッドマウントディスプレイ１００の第２のリプロジェクション部８４ｂは、ＣＧ画像をタイムスタンプを基準にして最新の視点位置・視線方向に合うように変換し、ＡＲ重畳部８８に供給する。ここでＣＧ画像にはデプス情報が含まれるため、第２のリプロジェクション部８４ｂは、デプス情報を利用して回転成分だけでなく並進成分も考慮してリプロジェクション処理を行うことができる。

　ここで、ヘッドマウントディスプレイ１００において、カメラ画像用の第１のリプロジェクション部８４ａとＣＧ画像用の第２のリプロジェクション部８４ｂに分かれているのは、画像生成装置２００のレンダリングには時間がかかり、リプロジェクションによって補正すべき差分量が異なるからである。たとえば、第１のリプロジェクション部８４ａで１フレーム先のリプロジェクションを行うのに対して、第２のリプロジェクション部８４ｂでは２フレーム先のリプロジェクションを行う必要がある。

　ＡＲ重畳部８８は、第２のリプロジェクション部８４ｂによりリプロジェクション処理が施されたＣＧ画像を、第１のリプロジェクション部８４ａによりリプロジェクション処理が施されたカメラ画像に重畳することにより、拡張現実画像を生成し、歪み処理部８６に供給する。ここで、カメラ画像にもＣＧ画像にもデプス情報があるため、ＡＲ重畳部８８は、双方のデプス情報を利用して画素単位で重畳処理が可能である。

　歪み処理部８６は拡張現実画像に歪み処理を施す。生成された拡張現実画像は、ディスプレイパネル３２に表示される。

　図１１は、カメラ画像にＣＧ画像を重畳して拡張現実画像を生成するための第２の実施の形態に係る画像生成システムの構成の変形例を説明する図である。図１０の構成とは異なる点を説明する。

　図１１の変形例では、第１のリプロジェクション部８４ａはＡＲ重畳部８８の後段に設けられ、画像信号処理部８２はカメラ画像とデプス情報とタイプスタンプをＡＲ重畳部８８に直接供給する。タイプスタンプはＡＲ重畳部８８から第１のリプロジェクション部８４ａに渡される。第２のリプロジェクション部８４ｂは、ＣＧ画像をタイムスタンプを基準にして最新の視点位置・視線方向に合うように変換し、ＡＲ重畳部８８に供給する。ＡＲ重畳部８８は、第２のリプロジェクション部８４ｂによりリプロジェクション処理が施されたＣＧ画像をカメラ画像に重畳することにより、拡張現実画像を生成する。第１のリプロジェクション部８４ａはタイムスタンプを基準にして拡張現実画像を出力タイミングを予想して出力タイミングにおける視点位置・視線方向に合うように変換し、歪み処理部８６に供給する。

　第２の実施の形態の画像生成システムによれば、第１の実施の形態と同様に、高フレームレートで撮影されたカメラ画像をＣＧ画像に重畳することができるため、シースルー映像がとぎれとぎれになることがなく、現実感のある拡張現実の映像を提供することができるという利点の他、次の利点がある。ＣＧ画像をデプス情報も含めてヘッドマウントディスプレイ１００に送信するため、ヘッドマウントディスプレイ１００側で画素毎にデプス情報を参照してカメラ画像を高い精度で重畳することができる。また、映像シースルー型だけでなく光学シースルー型のヘッドマウントディスプレイ１００にも応用できる。また、デプス情報があればヘッドマウントディスプレイ１００のリプロジェクション部８４ｂにおいて回転成分だけでなく並進成分も含めて予測変換が可能であり、画素毎に３次元変換をして高い精度でリプロジェクション処理を施すことができる。

　また、ヘッドマウントディスプレイ１００側でＣＧ画像に対してリプロジェクション処理を施すため、ディスプレイパネル３２に表示する直前の視点位置・視線方向に合うようにＣＧ画像を変換でき、高い精度で追従性のある拡張現実画像を提供できる。また、画像生成装置２００側のリプロジェクション処理の負担を軽減できるので、画像生成装置２００側ではレンダリングにより多くのリソースをかけることができる。

　さらに、ホログラムディスプレイのように表示対象の虚像距離まで再現できる表示装置を利用する場合、ＣＧ画像のデプス情報を反映して仮想オブジェクトを３Ｄ表示することもできる。

　以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

　図８、図１０、図１１において、姿勢推定部８１をヘッドマウントディスプレイ１００に設けた実施例を説明したが、変形例として姿勢推定部８１を画像生成装置２００に設けてもよい。

　上記の説明では、ビデオ透過（ビデオシースルー）型のヘッドマウントディスプレイを例に説明したが、表示部をハーフミラー等で構成し、ユーザに眼前の現実空間を視認させる光学透過（オプティカルシースルー）型のヘッドマウントディスプレイの場合にも本実施の形態を適用することができる。光学透過型のヘッドマウントディスプレイの場合、カメラ画像の奥行き情報とＣＧ画像の奥行き情報を比較して、仮想空間のオブジェクトよりも手前に現実空間のオブジェクトが存在する領域については、ＣＧ画像を削除し現実空間を透過して視認させる。光学透過型のヘッドマウントディスプレイの場合、カメラ画像をＣＧ画像に重畳させる必要がないため、カメラ画像に関する画像信号処理やリプロジェクション処理は不要であり、カメラユニット８０からのデプス情報がＡＲ重畳部８８において利用される。

　１０　制御部、　２０　入力インタフェース、　３０　出力インタフェース、　３２　ディスプレイパネル、　４０　通信制御部、　４２　ネットワークアダプタ、　４４　アンテナ、　５０　記憶部、　６４　姿勢センサ、　７０　外部入出力端子インタフェース、　７２　外部メモリ、　８０　カメラユニット、　８１　姿勢推定部、　８２　画像信号処理部、　８４　リプロジェクション部、　８６　歪み処理部、　８８　ＡＲ重畳部、　９０　ＨＤＭＩ送受信部、　９２　送受信部、　１００　ヘッドマウントディスプレイ、　２００　画像生成装置、　２１０　位置・姿勢取得部、　２２０　視点・視線設定部、　２３０　画像生成部、　２３２　レンダリング部、　２３３　アルファ付き画像生成部、　２３４　ＡＲ重畳部、　２３６　ポストプロセス部、　２４０　リプロジェクション部、　２４２　歪み処理部、　２５０　画像信号処理部、　２５２　デプス取得部、　２６０　画像記憶部、　２８０　ＨＤＭＩ送受信部、　２８２　送受信部、　３００　インタフェース。

　この発明は、画像生成の分野に利用できる。

Claims

　仮想空間のオブジェクトをレンダリングしてコンピュータグラフィックス画像を生成するレンダリング部と、
　ヘッドマウントディスプレイから提供される現実空間の撮影画像の奥行き情報にもとづいてアルファ付きコンピュータグラフィックス画像を生成するアルファ付き画像生成部と、
　前記アルファ付きコンピュータグラフィックス画像を新たな視点位置または視線方向に合うように変換するリプロジェクション部と、
　リプロジェクション処理が施された前記アルファ付きコンピュータグラフィックス画像を前記ヘッドマウントディスプレイに送信する送信部とを含むことを特徴とする画像生成装置。
　前記アルファ付き画像生成部により生成された前記アルファ付きコンピュータグラフィックス画像にポストプロセスを施すポストプロセス部をさらに含み、
　前記リプロジェクション部は、ポストプロセスが施された前記アルファ付きコンピュータグラフィックス画像を新たな視点位置または視線方向に合うように変換することを特徴とする請求項１に記載の画像生成装置。
　現実空間の撮影画像を新たな視点位置または視線方向に合うように変換するリプロジェクション部と、
　アルファ付きコンピュータグラフィックス画像を受信する受信部と、
　リプロジェクション処理が施された前記現実空間の撮影画像に前記アルファ付きコンピュータグラフィックス画像を重畳して拡張現実画像を生成する重畳部とを含むことを特徴とするヘッドマウントディスプレイ。
　ヘッドマウントディスプレイと画像生成装置を含む画像生成システムであって、
　前記画像生成装置は、
　仮想空間のオブジェクトをレンダリングしてコンピュータグラフィックス画像を生成するレンダリング部と、
　前記ヘッドマウントディスプレイから提供される現実空間の撮影画像の奥行き情報にもとづいてアルファ付きコンピュータグラフィックス画像を生成するアルファ付き画像生成部と、
　前記アルファ付きコンピュータグラフィックス画像を新たな視点位置または視線方向に合うように変換する第１のリプロジェクション部と、
　リプロジェクション処理が施された前記アルファ付きコンピュータグラフィックス画像を前記ヘッドマウントディスプレイに送信する送信部とを含み、
　前記ヘッドマウントディスプレイは、
　前記現実空間の撮影画像を新たな視点位置または視線方向に合うように変換する第２のリプロジェクション部と、
　前記画像生成装置からアルファ付きコンピュータグラフィックス画像を受信する受信部と、
　リプロジェクション処理が施された現実空間の撮影画像に前記アルファ付きコンピュータグラフィックス画像を重畳して拡張現実画像を生成する重畳部とを含むことを特徴とする画像生成システム。
　仮想空間のオブジェクトをレンダリングしてコンピュータグラフィックス画像を生成するレンダリングステップと、
　ヘッドマウントディスプレイから提供される現実空間の撮影画像の奥行き情報にもとづいてアルファ付きコンピュータグラフィックス画像を生成するアルファ付き画像生成ステップと、
　前記アルファ付きコンピュータグラフィックス画像を新たな視点位置または視線方向に合うように変換するリプロジェクションステップと、
　リプロジェクション処理が施された前記アルファ付きコンピュータグラフィックス画像を前記ヘッドマウントディスプレイに送信する送信ステップとを含むことを特徴とする画像生成方法。
　仮想空間のオブジェクトをレンダリングしてコンピュータグラフィックス画像を生成するレンダリング機能と、
　ヘッドマウントディスプレイから提供される現実空間の撮影画像の奥行き情報にもとづいてアルファ付きコンピュータグラフィックス画像を生成するアルファ付き画像生成機能と、
　前記アルファ付きコンピュータグラフィックス画像を新たな視点位置または視線方向に合うように変換するリプロジェクション機能と、
　リプロジェクション処理が施された前記アルファ付きコンピュータグラフィックス画像を前記ヘッドマウントディスプレイに送信する送信機能とをコンピュータに実現させることを特徴とするプログラム。
　仮想空間のオブジェクトをレンダリングしてコンピュータグラフィックス画像を生成するレンダリング部と、
　現実空間の撮影画像に重畳するために前記コンピュータグラフィックス画像を奥行き情報とともにヘッドマウントディスプレイに送信する送信部とを含むことを特徴とする画像生成装置。
　前記レンダリング部により生成された前記コンピュータグラフィックス画像にポストプロセスを施すポストプロセス部をさらに含み、
　前記送信部は、現実空間の撮影画像に重畳するためにポストプロセスが施された前記コンピュータグラフィックス画像を奥行き情報とともにヘッドマウントディスプレイに送信することを特徴とする請求項７に記載の画像生成装置。
　現実空間の撮影画像を新たな視点位置または視線方向に合うように変換する第１のリプロジェクション部と、
　奥行き情報付きのコンピュータグラフィックス画像を受信する受信部と、
　コンピュータグラフィックス画像を新たな視点位置または視線方向に合うように変換する第２のリプロジェクション部と、
　リプロジェクション処理が施された前記現実空間の撮影画像にリプロジェクション処理が施された前記奥行き情報付きのコンピュータグラフィックス画像を画素単位で奥行き情報を参照して重畳することにより拡張現実画像を生成する重畳部とを含むことを特徴とするヘッドマウントディスプレイ。
　ヘッドマウントディスプレイと画像生成装置を含む画像生成システムであって、
　前記画像生成装置は、
　仮想空間のオブジェクトをレンダリングしてコンピュータグラフィックス画像を生成するレンダリング部と、
　現実空間の撮影画像に重畳するために前記コンピュータグラフィックス画像を奥行き情報とともに前記ヘッドマウントディスプレイに送信する送信部とを含み、
　前記ヘッドマウントディスプレイは、
　現実空間の撮影画像を新たな視点位置または視線方向に合うように変換する第１のリプロジェクション部と、
　前記画像生成装置から奥行き情報付きのコンピュータグラフィックス画像を受信する受信部と、
　前記コンピュータグラフィックス画像を新たな視点位置または視線方向に合うように変換する第２のリプロジェクション部と、
　リプロジェクション処理が施された前記現実空間の撮影画像にリプロジェクション処理が施された前記奥行き情報付きのコンピュータグラフィックス画像を画素単位で奥行き情報を参照して重畳することにより拡張現実画像を生成する重畳部とを含むことを特徴とする画像生成システム。
　現実空間の撮影画像を新たな視点位置または視線方向に合うように変換する第１のリプロジェクションステップと、
　奥行き情報付きのコンピュータグラフィックス画像を受信する受信ステップと、
　前記コンピュータグラフィックス画像を新たな視点位置または視線方向に合うように変換する第２のリプロジェクションステップと、
　リプロジェクション処理が施された前記現実空間の撮影画像にリプロジェクション処理が施された前記奥行き情報付きのコンピュータグラフィックス画像を画素単位で奥行き情報を参照して重畳することにより拡張現実画像を生成する重畳ステップとを含むことを特徴とする画像生成方法。
　現実空間の撮影画像を新たな視点位置または視線方向に合うように変換する第１のリプロジェクション機能と、
　奥行き情報付きのコンピュータグラフィックス画像を受信する受信機能と、
　前記コンピュータグラフィックス画像を新たな視点位置または視線方向に合うように変換する第２のリプロジェクション機能と、
　リプロジェクション処理が施された前記現実空間の撮影画像にリプロジェクション処理が施された前記奥行き情報付きのコンピュータグラフィックス画像を画素単位で奥行き情報を参照して重畳することにより拡張現実画像を生成する重畳機能とをコンピュータに実現させることを特徴とするプログラム。