JP6732716B2

JP6732716B2 - 画像生成装置、画像生成システム、画像生成方法、およびプログラム

Info

Publication number: JP6732716B2
Application number: JP2017206444A
Authority: JP
Inventors: 良徳大橋
Original assignee: Sony Interactive Entertainment Inc
Current assignee: Sony Interactive Entertainment Inc
Priority date: 2017-10-25
Filing date: 2017-10-25
Publication date: 2020-07-29
Anticipated expiration: 2037-10-25
Also published as: US20200312033A1; US11132846B2; JP2019079339A; WO2019082794A1

Description

この発明は、画像を生成する装置、システムおよび方法に関する。

ゲーム機に接続されたヘッドマウントディスプレイを頭部に装着して、ヘッドマウントディスプレイに表示された画面を見ながら、コントローラなどを操作してゲームプレイすることが行われている。ヘッドマウントディスプレイを装着すると、ヘッドマウントディスプレイに表示される映像以外はユーザは見ないため、映像世界への没入感が高まり、ゲームのエンタテインメント性を一層高める効果がある。また、ヘッドマウントディスプレイに仮想現実（ＶＲ(Virtual Reality)）の映像を表示させ、ヘッドマウントディスプレイを装着したユーザが頭部を回転させると、３６０度見渡せる全周囲の仮想空間が表示されるようにすると、さらに映像への没入感が高まり、ゲームなどのアプリケーションの操作性も向上する。

また、非透過型ヘッドマウントディスプレイを装着したユーザは外界を直接見ることができなくなるが、ヘッドマウントディスプレイに搭載されたカメラによって外界の映像を撮影してディスプレイパネルに表示することのできるビデオ透過（ビデオシースルー）型ヘッドマウントディスプレイもある。ビデオ透過型ヘッドマウントディスプレイでは、カメラで撮影される外界の映像にコンピュータグラフィックス（ＣＧ(Computer Graphics)）によって生成された仮想世界のオブジェクトを重畳させることで拡張現実（ＡＲ(Augmented Reality)）の映像を生成して表示することもできる。拡張現実の映像は、現実世界から切り離された仮想現実とは違って、現実世界が仮想オブジェクトで拡張されたものであり、ユーザは現実世界とのつながりを意識しつつ、仮想世界を体験することができる。

カメラ画像にＣＧによって生成された仮想オブジェクトを重畳させて拡張現実の映像を生成してヘッドマウントディスプレイに表示する場合、画像に対するポストプロセスの影響によって仮想オブジェクトの境界にエイリアシングが発生し、仮想世界と現実世界の境界が目立ち、一体感のあるＡＲ映像にならないことがある。

本発明はこうした課題に鑑みてなされたものであり、その目的は、拡張現実の映像の品質を向上させることのできる画像生成装置、画像生成システム、および画像生成方法を提供することにある。

上記課題を解決するために、本発明のある態様の画像生成装置は、仮想空間のオブジェクトをレンダリングしてコンピュータグラフィックス画像を生成するレンダリング部と、現実空間の撮影画像に前記コンピュータグラフィックス画像を重畳して仮の重畳画像を生成する重畳部と、前記仮の重畳画像にポストプロセスを施すポストプロセス部と、前記現実空間の撮影画像の奥行き情報にもとづいて前記コンピュータグラフィックス画像をクロマキー処理してクロマキー画像を生成するクロマキー生成部と、ポストプロセスが施された前記仮の重畳画像に対して前記クロマキー画像によってマスクをかけることにより、合成クロマキー画像を生成する合成部とを含む。前記合成クロマキー画像は、前記現実空間の撮影画像に重畳して拡張現実画像を生成するために利用される。

本発明の別の態様は、画像生成システムである。この画像生成システムは、ヘッドマウントディスプレイと画像生成装置を含む画像生成システムであって、前記画像生成装置は、仮想空間のオブジェクトをレンダリングしてコンピュータグラフィックス画像を生成するレンダリング部と、前記ヘッドマウントディスプレイから伝送される現実空間の撮影画像に前記コンピュータグラフィックス画像を重畳して重畳画像を生成する第１の重畳部と、前記重畳画像にポストプロセスを施すポストプロセス部と、前記ヘッドマウントディスプレイから伝送される前記現実空間の撮影画像の奥行き情報にもとづいて前記コンピュータグラフィックス画像をクロマキー処理してクロマキー画像を生成するクロマキー生成部と、ポストプロセスが施された前記重畳画像および前記クロマキー画像を新たな視点位置または視線方向に合うように変換する第１のリプロジェクション部と、ポストプロセスおよびリプロジェクション処理が施された前記重畳画像に対してリプロジェクション処理が施された前記クロマキー画像によってマスクをかけることにより、合成クロマキー画像を生成する合成部とを含む。前記ヘッドマウントディスプレイは、前記現実空間の撮影画像を新たな視点位置または視線方向に合うように変換する第２のリプロジェクション部と、第２のリプロジェクション部によりリプロジェクション処理が施された前記現実空間の撮影画像に、前記画像生成装置から伝送される前記合成クロマキー画像を合成することにより、拡張現実画像を生成する第２の重畳部とを含む。

本発明のさらに別の態様もまた、画像生成システムである。この画像生成システムは、ヘッドマウントディスプレイと画像生成装置を含む画像生成システムであって、前記画像生成装置は、仮想空間のオブジェクトをレンダリングしてコンピュータグラフィックス画像を生成するレンダリング部と、前記ヘッドマウントディスプレイから伝送される現実空間の撮影画像に前記コンピュータグラフィックス画像を重畳して仮の重畳画像を生成する第１の重畳部と、前記仮の重畳画像にポストプロセスを施すポストプロセス部と、前記ヘッドマウントディスプレイから伝送される前記現実空間の撮影画像の奥行き情報にもとづいて前記コンピュータグラフィックス画像をクロマキー処理してクロマキー画像を生成するクロマキー生成部と、ポストプロセスが施された前記仮の重畳画像に対して前記クロマキー画像によってマスクをかけることにより、合成クロマキー画像を生成する合成部とを含む。前記ヘッドマウントディスプレイは、前記現実空間の撮影画像を新たな視点位置または視線方向に合うように変換する第１のリプロジェクション部と、前記画像生成装置から伝送される前記合成クロマキー画像を新たな視点位置または視線方向に合うように変換する第２のリプロジェクション部と、第１のリプロジェクション部によるリプロジェクション処理が施された前記現実空間の撮影画像に、第２のリプロジェクション部によるリプロジェクション処理が施された前記合成クロマキー画像を合成することにより、拡張現実画像を生成する第２の重畳部とを含む。

本発明のさらに別の態様は、画像生成方法である。この方法は、仮想空間のオブジェクトをレンダリングしてコンピュータグラフィックス画像を生成するレンダリングステップと、現実空間の撮影画像に前記コンピュータグラフィックス画像を重畳して仮の重畳画像を生成する重畳ステップと、前記仮の重畳画像にポストプロセスを施すポストプロセスステップと、前記現実空間の撮影画像の奥行き情報にもとづいて前記コンピュータグラフィックス画像をクロマキー処理してクロマキー画像を生成するクロマキー生成ステップと、ポストプロセスが施された前記仮の重畳画像に対して前記クロマキー画像によってマスクをかけることにより、合成クロマキー画像を生成する合成ステップとを含む。前記合成クロマキー画像は、前記現実空間の撮影画像に重畳して拡張現実画像を生成するために利用される。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、拡張現実の映像の品質を向上させることができる。

ヘッドマウントディスプレイの外観図である。本実施の形態に係る画像生成システムの構成図である。図１のヘッドマウントディスプレイに搭載されたカメラにより撮影されるカメラ画像の例を説明する図である。図３のカメラ画像にＣＧによる仮想オブジェクトを重畳した拡張現実画像を説明する図である。図４の拡張現実画像に対してユーザが仮想オブジェクトに手を伸ばしている様子を示す図である。クロマキー合成に利用されるＣＧ画像を説明する図である。前提技術に係るヘッドマウントディスプレイの機能構成図である。前提技術に係る画像生成装置の機能構成図である。カメラ画像にＣＧ画像を重畳して拡張現実画像を生成するための前提技術に係る画像生成システムの構成を説明する図である。第１の実施の形態に係る画像生成装置の機能構成図である。カメラ画像にＣＧ画像を重畳して拡張現実画像を生成するための第１の実施の形態に係る画像生成システムの構成を説明する図である。第２の実施の形態に係る画像生成装置の機能構成図である。カメラ画像にＣＧ画像を重畳して拡張現実画像を生成するための第２の実施の形態に係る画像生成システムの構成を説明する図である。

図１は、ヘッドマウントディスプレイ１００の外観図である。ヘッドマウントディスプレイ１００は、ユーザの頭部に装着してディスプレイに表示される静止画や動画などを鑑賞し、ヘッドホンから出力される音声や音楽などを聴くための表示装置である。

ヘッドマウントディスプレイ１００に内蔵または外付けされたジャイロセンサや加速度センサなどによりヘッドマウントディスプレイ１００を装着したユーザの頭部の位置情報と頭部の回転角や傾きなどの姿勢（orientation）情報を計測することができる。

ヘッドマウントディスプレイ１００にはカメラユニットが搭載されており、ユーザがヘッドマウントディスプレイ１００を装着している間、外界を撮影することができる。

ヘッドマウントディスプレイ１００は、「ウェアラブルディスプレイ」の一例である。ここでは、ヘッドマウントディスプレイ１００に表示される画像の生成方法を説明するが、本実施の形態の画像生成方法は、狭義のヘッドマウントディスプレイ１００に限らず、めがね、めがね型ディスプレイ、めがね型カメラ、ヘッドフォン、ヘッドセット（マイクつきヘッドフォン）、イヤホン、イヤリング、耳かけカメラ、帽子、カメラつき帽子、ヘアバンドなどを装着した場合にも適用することができる。

図２は、本実施の形態に係る画像生成システムの構成図である。ヘッドマウントディスプレイ１００は、一例として、映像・音声をデジタル信号で伝送する通信インタフェースの標準規格であるＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）などのインタフェース３００で画像生成装置２００に接続される。

画像生成装置２００は、ヘッドマウントディスプレイ１００の現在の位置・姿勢情報から、映像の生成から表示までの遅延を考慮してヘッドマウントディスプレイ１００の位置・姿勢情報を予測し、ヘッドマウントディスプレイ１００の予測位置・姿勢情報を前提としてヘッドマウントディスプレイ１００に表示されるべき画像を描画し、ヘッドマウントディスプレイ１００に伝送する。

画像生成装置２００の一例はゲーム機である。画像生成装置２００は、さらにネットワークを介してサーバに接続されてもよい。その場合、サーバは、複数のユーザがネットワークを介して参加できるゲームなどのオンラインアプリケーションを画像生成装置２００に提供してもよい。ヘッドマウントディスプレイ１００は、画像生成装置２００の代わりに、コンピュータや携帯端末に接続されてもよい。

図３〜図６を参照してカメラ画像にＣＧによる仮想オブジェクトを重畳した拡張現実画像について説明する。

図３は、ヘッドマウントディスプレイ１００に搭載されたカメラにより撮影されるカメラ画像の例を説明する図である。このカメラ画像は部屋を背景としてテーブルとその上にあるバスケット４００を撮影したものである。カメラ画像において背景はほとんど変化しないが、テーブルの上にあるバスケット４００はユーザが手を伸ばして動かすこともある。

図４は、図３のカメラ画像にＣＧによる仮想オブジェクトを重畳した拡張現実画像を説明する図である。テーブルの上にある現実のオブジェクトであるバスケット４００は、ＣＧによって生成された仮想オブジェクトであるティーポット４１０によって置き換えられ、カメラ画像にティーポット４１０が重畳される。これにより、ユーザは現実空間に仮想オブジェクトが描かれた拡張現実画像をヘッドマウントディスプレイ１００で見ることができる。

図５は、図４の拡張現実画像に対してユーザが仮想オブジェクトに手を伸ばしている様子を示す図である。拡張現実画像をヘッドマウントディスプレイ１００で見ているユーザが仮想オブジェクトであるティーポット４１０を触ろうとすると、ユーザの手がヘッドマウントディスプレイ１００に搭載されたカメラで撮影されるため、カメラ画像には手４２０が写り込む。手４２０が写り込んだカメラ画像に仮想オブジェクトであるティーポット４１０が重畳される。このとき、手４２０の上にティーポット４１０が重畳されて手４２０が見えなくなるなど不自然な拡張現実画像にならないように、ティーポット４１０と手４２０の位置関係を奥行き情報を用いて正しく判定する必要がある。

そこで、カメラ画像の奥行き（デプス）情報を用いて、カメラ画像に写り込んだ物体と仮想オブジェクトの位置関係を判定し、奥行きを正しく反映した描画を行う。部屋の背景や既に存在がわかっているバスケット４００についてはあらかじめ奥行きがわかっているので、仮想オブジェクトとの位置関係はあらかじめ判定しておくことができるが、ユーザが手や足を伸ばしたときや、ユーザ以外の動体（たとえば、他人や犬、猫など）が視野に入ってくる場合などは、あらかじめ奥行きがわかっていないので、カメラ画像のデプス情報から奥行きをその都度判定する必要がある。

一般に、ＣＧ画像をカメラ画像に重畳する際、ＣＧ画像において背景など描画されない領域を特定の一色に塗りつぶしたクロマキー画像を作成し、クロマキー合成に利用する。クロマキーとして特定された色の領域（「クロマキー領域」と呼ぶ）は透明になるため、クロマキー画像をカメラ画像に重畳すると、クロマキー領域にはカメラ画像が表示される。

図６は、クロマキー合成に利用されるＣＧ画像を説明する図である。図５の状態において、背景がクロマキーの特定色（たとえば赤）に塗りつぶされている。また、カメラ画像に写り込んだ手４２０がティーポット４１０よりも手前にあることから、ティーポット４１０の領域の内、手４２０によって隠れる領域もクロマキーの特定色に塗りつぶされている。このクロマキー画像をカメラ画像に重畳すると、クロマキーの特定色の部分は透明であるため、カメラ画像が残り、図５の拡張現実画像が得られる。

図７は、前提技術に係るヘッドマウントディスプレイ１００の機能構成図である。

制御部１０は、画像信号、センサ信号などの信号や、命令やデータを処理して出力するメインプロセッサである。入力インタフェース２０は、ユーザからの操作信号や設定信号を受け付け、制御部１０に供給する。出力インタフェース３０は、制御部１０から画像信号を受け取り、ディスプレイパネル３２に表示する。

通信制御部４０は、ネットワークアダプタ４２またはアンテナ４４を介して、有線または無線通信により、制御部１０から入力されるデータを外部に送信する。通信制御部４０は、また、ネットワークアダプタ４２またはアンテナ４４を介して、有線または無線通信により、外部からデータを受信し、制御部１０に出力する。

記憶部５０は、制御部１０が処理するデータやパラメータ、操作信号などを一時的に記憶する。

姿勢センサ６４は、ヘッドマウントディスプレイ１００の位置情報と、ヘッドマウントディスプレイ１００の回転角や傾きなどの姿勢情報を検出する。姿勢センサ６４は、ジャイロセンサ、加速度センサ、角加速度センサなどを適宜組み合わせて実現される。３軸地磁気センサ、３軸加速度センサおよび３軸ジャイロ（角速度）センサの少なくとも１つ以上を組み合わせたモーションセンサを用いて、ユーザの頭部の前後、左右、上下の動きを検出してもよい。

外部入出力端子インタフェース７０は、ＵＳＢ（Universal Serial Bus）コントローラなどの周辺機器を接続するためのインタフェースである。外部メモリ７２は、フラッシュメモリなどの外部メモリである。

カメラユニット８０は、レンズ、イメージセンサ、測距センサなど撮影に必要な構成を含み、撮影された外界の映像と奥行き情報を制御部１０に供給する。制御部１０は、カメラユニット８０のフォーカスやズームなどを制御する。

画像信号処理部８２は、カメラユニット８０により撮影されたＲａｗ画像に対してＲＧＢ変換（デモザイク処理）、ホワイトバランス、色補正、ノイズリダクションなどの画像信号処理（ＩＳＰ(Image Signal Processing)）を施し、さらにカメラユニット８０の光学系による歪みなどを取り除く歪み補正処理を施す。画像信号処理部８２は画像信号処理および歪み補正処理が施されたカメラ画像を制御部１０に供給する。

リプロジェクション部８４は、姿勢センサ６４が検出したヘッドマウントディスプレイ１００の最新の位置・姿勢情報にもとづき、カメラ画像に対してリプロジェクション処理を施し、ヘッドマウントディスプレイ１００の最新の視点位置・視線方向から見える画像に変換する。

歪み処理部８６は、リプロジェクション処理が施されたカメラ画像に対してヘッドマウントディスプレイ１００の光学系で生じる歪みに合わせて画像を変形（distortion）させて歪ませる処理を施し、歪み処理が施されたカメラ画像を制御部１０に供給する。

ＡＲ重畳部８８は、歪み処理が施されたカメラ画像に画像生成装置２００により生成されたＣＧ画像を重畳することで拡張現実画像を生成し、制御部１０に供給する。

ＨＤＭＩ送受信部９０は、ＨＤＭＩにしたがって映像・音声のデジタル信号を画像生成装置２００との間で送受信する。ＨＤＭＩ送受信部９０は、画像信号処理部８２により画像信号処理および歪み補正処理が施されたＲＧＢ画像と奥行き情報を制御部１０から受け取り、ＨＤＭＩ伝送路で画像生成装置２００に送信する。ＨＤＭＩ送受信部９０は、画像生成装置２００により生成された画像をＨＤＭＩ伝送路で画像生成装置２００から受信し、制御部１０に供給する。

制御部１０は、画像やテキストデータを出力インタフェース３０に供給してディスプレイパネル３２に表示させたり、通信制御部４０に供給して外部に送信させることができる。

姿勢センサ６４が検出したヘッドマウントディスプレイ１００の現在の位置・姿勢情報は、通信制御部４０または外部入出力端子インタフェース７０を介して画像生成装置２００に通知される。あるいは、ＨＤＭＩ送受信部９０がヘッドマウントディスプレイ１００の現在の位置・姿勢情報を画像生成装置２００に送信してもよい。

図８は、前提技術に係る画像生成装置２００の機能構成図である。同図は機能に着目したブロック図を描いており、これらの機能ブロックはハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現することができる。

画像生成装置２００の少なくとも一部の機能をヘッドマウントディスプレイ１００に実装してもよい。あるいは、画像生成装置２００の少なくとも一部の機能を、ネットワークを介して画像生成装置２００に接続されたサーバに実装してもよい。

位置・姿勢取得部２１０は、ヘッドマウントディスプレイ１００の現在の位置・姿勢情報をヘッドマウントディスプレイ１００から取得する。

視点・視線設定部２２０は、位置・姿勢取得部２１０により取得されたヘッドマウントディスプレイ１００の位置・姿勢情報を用いて、ユーザの視点位置および視線方向を設定する。

ＨＤＭＩ送受信部２８０は、ヘッドマウントディスプレイ１００からカメラユニット８０により撮影された現実空間の映像の奥行き情報を受信し、デプス取得部２５０に供給する。

画像生成部２３０は、画像記憶部２６０からコンピュータグラフィックスの生成に必要なデータを読み出し、仮想空間のオブジェクトをレンダリングしてＣＧ画像を生成し、デプス取得部２５０から提供される現実空間のカメラ画像の奥行き情報にもとづいてＣＧ画像からクロマキー画像を生成し、画像記憶部２６０に出力する。

画像生成部２３０は、レンダリング部２３２と、クロマキー生成部２３５と、ポストプロセス部２３６と、リプロジェクション部２４０と、歪み処理部２４２とを含む。

レンダリング部２３２は、視点・視線設定部２２０によって設定されたユーザの視点位置および視線方向にしたがって、ヘッドマウントディスプレイ１００を装着したユーザの視点位置から視線方向に見える仮想空間のオブジェクトをレンダリングしてＣＧ画像を生成し、クロマキー生成部２３５に与える。

クロマキー生成部２３５は、デプス取得部２５０から与えられたカメラ画像の奥行き情報にもとづいてＣＧ画像からクロマキー画像を生成する。具体的には、現実空間のオブジェクトと仮想空間のオブジェクトの位置関係を判定し、ＣＧ画像において仮想オブジェクトの背景や仮想オブジェクトよりも手前にある現実空間のオブジェクトの部分を特定の１色（たとえば赤色）に塗りつぶしたクロマキー画像（「ＣＧクロマキー画像」と呼ぶ）を生成する。

ポストプロセス部２３６は、ＣＧクロマキー画像に対して、被写界深度調整、トーンマッピング、アンチエイリアシングなどのポストプロセスを施し、ＣＧクロマキー画像が自然で滑らかに見えるように後処理する。

リプロジェクション部２４０は、位置・姿勢取得部２１０からヘッドマウントディスプレイ１００の最新の位置・姿勢情報を受け取り、ポストプロセスが施されたＣＧクロマキー画像に対してリプロジェクション処理を施し、ヘッドマウントディスプレイ１００の最新の視点位置・視線方向から見える画像に変換する。

ここで、リプロジェクションについて説明する。ヘッドマウントディスプレイ１００にヘッドトラッキング機能をもたせて、ユーザの頭部の動きと連動して視点や視線方向を変えて仮想現実の映像を生成した場合、仮想現実の映像の生成から表示までに遅延があるため、映像生成時に前提としたユーザの頭部の向きと、映像をヘッドマウントディスプレイ１００に表示した時点でのユーザの頭部の向きとの間でずれが発生し、ユーザは酔ったような感覚（「ＶＲ酔い（Virtual Reality Sickness）」などと呼ばれる）に陥ることがある。

このように、ヘッドマウントディスプレイ１００の動きを検知し、ＣＰＵが描画コマンドを発行し、ＧＰＵ（Graphics Processing Unit）がレンダリングを実行し、描画された画像がヘッドマウントディスプレイ１００に出力されるまでには時間がかかる。描画がたとえば６０ｆｐｓ（フレーム／秒）のフレームレートで行われており、ヘッドマウントディスプレイ１００の動きを検知してから画像を出力するまでに１フレーム分の遅れが生じるとする。これはフレームレート６０ｆｐｓのもとでは、１６．６７ミリ秒ほどであり、人間がずれを感知するには十分な時間である。

そこで、「タイムワープ」または「リプロジェクション」と呼ばれる処理を行い、レンダリングした画像をヘッドマウントディスプレイ１００の最新の位置と姿勢に合わせて補正することで人間がずれを感知しにくいようにする。

歪み処理部２４２は、リプロジェクション処理が施されたＣＧクロマキー画像に対してヘッドマウントディスプレイ１００の光学系で生じる歪みに合わせて画像を変形（distortion）させて歪ませる処理を施し、画像記憶部２６０に記憶する。

ＨＤＭＩ送受信部２８０は、画像記憶部２６０から画像生成部２３０により生成されたＣＧクロマキー画像のフレームデータを読み出し、ＨＤＭＩにしたがってヘッドマウントディスプレイ１００に伝送する。

図９は、カメラ画像にＣＧ画像を重畳して拡張現実画像を生成するための前提技術に係る画像生成システムの構成を説明する図である。ここでは、説明を簡単にするため、拡張現実画像を生成するためのヘッドマウントディスプレイ１００と画像生成装置２００の主な構成を図示して説明する。

ヘッドマウントディスプレイ１００のカメラユニット８０により撮影された外界のカメラ画像とデプス情報は画像信号処理部８２に供給される。画像信号処理部８２は、カメラ画像に対して画像信号処理と歪み補正処理を施し、リプロジェクション部８４に与える。画像信号処理部８２は、デプス情報を画像生成装置２００に送信し、クロマキー生成部２３５に供給する。

画像生成装置２００のレンダリング部２３２は、ヘッドマウントディスプレイ１００を装着したユーザの視点位置・視線方向から見た仮想オブジェクトを生成し、クロマキー生成部２３５に与える。

クロマキー生成部２３５は、デプス情報にもとづきＣＧ画像からＣＧクロマキー画像を生成する。ポストプロセス部２３６はＣＧクロマキー画像にポストプロセスを施す。リプロジェクション部２４０はポストプロセスが施されたＣＧクロマキー画像を最新の視点位置・視線方向に合うように変換する。歪み処理部２４２はリプロジェクション後のＣＧクロマキー画像に歪み処理を施す。歪み処理後の最終的なＲＧＢ画像はヘッドマウントディスプレイ１００に送信され、ＡＲ重畳部８８に供給される。このＲＧＢ画像は、カメラ画像が重畳されるべき領域がクロマキー合成で指定する１色（たとえば赤色）で塗りつぶされた画像である。クロマキーに指定される１色についてはＣＧ画像として利用できないため、ＣＧ画像ではクロマキーに指定される１色を避けて別の色を使って表現する。

ヘッドマウントディスプレイ１００のリプロジェクション部８４は、画像信号処理と歪み補正処理が施されたカメラ画像を最新の視点位置・視線方向に合うように変換し、歪み処理部８６に供給する。歪み処理部８６はリプロジェクション後のカメラ画像に歪み処理を施す。ＡＲ重畳部８８は、画像生成装置２００から供給されるＣＧクロマキー画像を歪み処理後のカメラ画像に重畳することにより、拡張現実画像を生成する。生成された拡張現実画像は、ディスプレイパネル３２に表示される。

上述の前提技術に係る画像生成システムでは、クロマキー生成部２３５により生成されたＣＧクロマキー画像がポストプロセス部２３６によるポストプロセス、リプロジェクション部２４０によるリプロジェクション処理、歪み処理部２４２により歪み処理を受けるため、仮想オブジェクトの境界においてエイリアシングが発生したり、実際にはない偽色が発生し、ＡＲ重畳部８８によってカメラ画像に重畳されるときに不自然さが目立つようになる。また、一般的な画像の伝送インタフェースはＲＧＢには対応するが、アルファ値を含めたＲＧＢＡには対応しておらず、アルファ値を伝送できないことから半透明のＣＧ画像は表現できないという制約も受ける。

以下、前提技術に係る画像生成システムにおける課題を克服したいくつかの実施の形態に係る画像生成システムを説明するが、前提技術と重複する説明は適宜省略し、前提技術から改善した構成について説明する。

第１の実施の形態について説明する。ヘッドマウントディスプレイ１００の構成は図７に示したものと同じである。

図１０は、第１の実施の形態に係る画像生成装置２００の機能構成図である。

ＨＤＭＩ送受信部２８０は、ヘッドマウントディスプレイ１００からカメラユニット８０により撮影されたカメラ画像とデプス情報を受信し、カメラ画像をカメラ画像取得部２５２に、デプス情報をデプス取得部２５０に供給する。

画像生成部２３０は、画像記憶部２６０からコンピュータグラフィックスの生成に必要なデータを読み出し、仮想空間のオブジェクトをレンダリングしてＣＧ画像を生成し、カメラ画像取得部２５２から提供されるカメラ画像にＣＧ画像を重畳して仮の重畳画像を生成するとともに、デプス取得部２５０から提供されるデプス情報にもとづいてＣＧ画像からＣＧクロマキー画像を生成する。仮の重畳画像にはポストプロセス、リプロジェクション処理、歪み処理を施し、ＣＧクロマキー画像にはリプロジェクション処理、歪み処理を施す。ＣＧクロマキー画像にはポストプロセスを施さないことに留意する。最後にＣＧクロマキー画像で仮の重畳画像をマスクすることにより、最終的なＣＧクロマキー画像を合成して画像記憶部２６０に出力する。

画像生成部２３０は、レンダリング部２３２と、重畳部２３４と、クロマキー生成部２３５と、ポストプロセス部２３６と、リプロジェクション部２４０ａ、２４０ｂと、歪み処理部２４２ａ、２４２ｂと、合成部２４４とを含む。

レンダリング部２３２は、視点・視線設定部２２０によって設定されたユーザの視点位置および視線方向にしたがって、ヘッドマウントディスプレイ１００を装着したユーザの視点位置から視線方向に見える仮想空間のオブジェクトをレンダリングしてＣＧ画像を生成し、重畳部２３４とクロマキー生成部２３５に与える。

重畳部２３４は、カメラ画像取得部２５２から与えられたカメラ画像にＣＧ画像を重畳して仮の重畳画像を生成し、ポストプロセス部２３６に与える。

ポストプロセス部２３６は、仮の重畳画像に対してポストプロセスを施し、仮の重畳画像が自然で滑らかに見えるように後処理する。

第１のリプロジェクション部２４０ａは、位置・姿勢取得部２１０からヘッドマウントディスプレイ１００の最新の位置・姿勢情報を受け取り、ポストプロセスが施された仮の重畳画像に対してリプロジェクション処理を施し、ヘッドマウントディスプレイ１００の最新の視点位置・視線方向から見える画像に変換する。

第１の歪み処理部２４２ａは、リプロジェクション処理が施された仮の重畳画像に対して歪み処理を施し、合成部２４４に与える。

クロマキー生成部２３５は、デプス取得部２５０から与えられたカメラ画像のデプス情報にもとづいてＣＧ画像からＣＧクロマキー画像を生成する。

ＣＧクロマキー画像にはポストプロセスを施さない。

第２のリプロジェクション部２４０ｂは、位置・姿勢取得部２１０からヘッドマウントディスプレイ１００の最新の位置・姿勢情報を受け取り、ＣＧクロマキー画像に対してリプロジェクション処理を施し、ヘッドマウントディスプレイ１００の最新の視点位置・視線方向から見える画像に変換する。

第２の歪み処理部２４２ｂは、リプロジェクション処理が施されたＣＧクロマキー画像に対して歪み処理を施し、合成部２４４に与える。

合成部２４４は、仮の重畳画像に対してＣＧクロマキー画像をマスクとして用いて合成し、合成ＣＧクロマキー画像を生成し、画像記憶部２６０に記憶する。

ＨＤＭＩ送受信部２８０は、画像記憶部２６０から画像生成部２３０により生成された合成ＣＧクロマキー画像のフレームデータを読み出し、ＨＤＭＩにしたがってヘッドマウントディスプレイ１００に伝送する。

図１１は、カメラ画像にＣＧ画像を重畳して拡張現実画像を生成するための第１の実施の形態に係る画像生成システムの構成を説明する図である。

ヘッドマウントディスプレイ１００のカメラユニット８０により撮影された外界のカメラ画像とデプス情報は画像信号処理部８２に供給される。画像信号処理部８２は、カメラ画像に対して画像信号処理と歪み補正処理を施し、リプロジェクション部８４に与える。さらに、画像信号処理部８２は、画像信号処理と歪み補正処理が施されたカメラ画像とデプス情報を画像生成装置２００に送信し、カメラ画像は重畳部２３４に、デプス情報はクロマキー生成部２３５に供給される。

画像生成装置２００のレンダリング部２３２は、ヘッドマウントディスプレイ１００を装着したユーザの視点位置・視線方向から見た仮想オブジェクトを生成し、重畳部２３４とクロマキー生成部２３５に与える。

重畳部２３４は、ＣＧ画像にカメラ画像を重畳し、仮の重畳画像を生成し、ポストプロセス部２３６に与える。ここで、ヘッドマウントディスプレイ１００から提供されるカメラ画像は低解像度でもよい。なぜなら、仮の重畳画像におけるカメラ画像の部分はＣＧクロマキー画像でマスクされて最終的には消去されるからである。

ポストプロセス部２３６は仮の重畳画像にポストプロセスを施す。リプロジェクション部２４０ａはポストプロセスが施された仮の重畳画像を最新の視点位置・視線方向に合うように変換する。歪み処理部２４２ａはリプロジェクション後の仮の重畳画像に歪み処理を施し、合成部２４４に与える。

クロマキー生成部２３５は、デプス情報にもとづきＣＧ画像からＣＧクロマキー画像を生成する。リプロジェクション部２４０ｂはＣＧクロマキー画像を最新の視点位置・視線方向に合うように変換する。歪み処理部２４２ｂはリプロジェクション後のＣＧクロマキー画像に歪み処理を施し、合成部２４４に与える。

合成部２４４は、ＣＧクロマキー画像で仮の重畳画像をマスクすることで合成ＣＧクロマキー画像を生成する。ここで、仮の重畳画像はポストプロセスを施されているため、滑らかな画像となっており、カメラ画像とＣＧ画像の境界は目立たない。他方、ＣＧクロマキー画像はポストポロセスが施されていないため、仮想オブジェクトの境界にエイリアシングや偽色が発生していない。したがって、ポストポロセスが施されていないＣＧクロマキー画像でポストポロセスが施された重畳画像をマスクすれば、仮想オブジェクトの境界にエイリアシングや偽色がなく、かつ自然で滑らかなＣＧクロマキー画像が合成される。

合成ＣＧクロマキー画像は特定の１色がクロマキーに指定されたＲＧＢ画像としてヘッドマウントディスプレイ１００に送信され、ＡＲ重畳部８８に供給される。

ヘッドマウントディスプレイ１００のリプロジェクション部８４は、画像信号処理と歪み補正処理が施されたカメラ画像を最新の視点位置・視線方向に合うように変換し、歪み処理部８６に供給する。歪み処理部８６はリプロジェクション後のカメラ画像に歪み処理を施す。ＡＲ重畳部８８は、画像生成装置２００から供給される合成ＣＧクロマキー画像を歪み処理後のカメラ画像に重畳することにより、拡張現実画像を生成する。生成された拡張現実画像は、ディスプレイパネル３２に表示される。

第１の実施の形態の画像生成システムによれば、カメラ画像とＣＧ画像の境界の違和感をポストプロセスによって緩和するとともに、クロマキー画像にはポストポロセスを施さないため、エイリアシングや偽色のないクロマキー画像を生成して、高品質の合成ＣＧクロマキー画像を生成できる。この合成ＣＧクロマキー画像をカメラ画像に重畳して拡張現実画像を生成するため、不自然さのない拡張現実画像を生成できる。また、ＣＧ画像に半透明部分がある場合もカメラ画像に重畳してポスト処理する際に半透明処理を施すことができるので、半透明部分もレンダリングによるレイテンシはあるが表現することができる。また、合成ＣＧクロマキー画像は、特定の１色をクロマキーとしたＲＧＢ画像であるため、ＲＢＧ画像を伝送することのできるＨＡＭＩなどの一般的な通信インタフェースで伝送することができる。

第２の実施の形態について説明する。ヘッドマウントディスプレイ１００の構成は基本的には図７に示したものと同じであるが、リプロジェクション部８４は、カメラ画像用の第１のリプロジェクション部８４ａと合成ＣＧクロマキー画像用の第２のリプロジェクション部８４ｂを有する。

図１２は、第２の実施の形態に係る画像生成装置２００の機能構成図である。

画像生成部２３０は、画像記憶部２６０からコンピュータグラフィックスの生成に必要なデータを読み出し、仮想空間のオブジェクトをレンダリングしてＣＧ画像を生成し、カメラ画像取得部２５２から提供されるカメラ画像にＣＧ画像を重畳して仮の重畳画像を生成するとともに、デプス取得部２５０から提供されるデプス情報にもとづいてＣＧ画像からＣＧクロマキー画像を生成する。重畳画像にはポストプロセスを施すが、ＣＧクロマキー画像にはポストプロセスを施さない。最後にＣＧクロマキー画像で仮の重畳画像をマスクすることにより、最終的なＣＧクロマキー画像を合成して画像記憶部２６０に出力する。

画像生成部２３０は、レンダリング部２３２と、重畳部２３４と、クロマキー生成部２３５と、ポストプロセス部２３６と、合成部２４４とを含む。

図１３は、カメラ画像にＣＧ画像を重畳して拡張現実画像を生成するための第２の実施の形態に係る画像生成システムの構成を説明する図である。

重畳部２３４は、ＣＧ画像にカメラ画像を重畳し、仮の重畳画像を生成し、ポストプロセス部２３６に与える。第１の実施の形態と同様、ヘッドマウントディスプレイ１００から提供されるカメラ画像は低解像度でもよい。

ポストプロセス部２３６は仮の重畳画像にポストプロセスを施し、合成部２４４に与える。

クロマキー生成部２３５は、デプス情報にもとづきＣＧ画像からＣＧクロマキー画像を生成し、合成部２４４に与える。

合成部２４４は、ＣＧクロマキー画像で重畳画像をマスクすることで合成ＣＧクロマキー画像を生成する。第１の実施の形態と同様、ポストポロセスが施されていないＣＧクロマキー画像でポストポロセスが施された重畳画像をマスクすれば、仮想オブジェクトの境界にエイリアシングや偽色がなく、かつ自然で滑らかなＣＧクロマキー画像が合成される。

合成ＣＧクロマキー画像は特定の１色がクロマキーに指定されたＲＧＢ画像としてヘッドマウントディスプレイ１００に送信され、リプロジェクション部８４ｂに供給される。

ヘッドマウントディスプレイ１００の第１のリプロジェクション部８４ａは、画像信号処理と歪み補正処理が施されたカメラ画像を最新の視点位置・視線方向に合うように変換し、ＡＲ重畳部８８に供給する。

ヘッドマウントディスプレイ１００の第２のリプロジェクション部８４ｂは、合成ＣＧクロマキー画像を最新の視点位置・視線方向に合うように変換し、ＡＲ重畳部８８に供給する。

ここで、ヘッドマウントディスプレイ１００において、カメラ画像用の第１のリプロジェクション部８４ａと合成ＣＧクロマキー画像用の第２のリプロジェクション部８４ｂに分かれているのは、画像生成装置２００のレンダリングには時間がかかり、リプロジェクションによって補正すべき差分量が異なるからである。たとえば、第１のリプロジェクション部８４ａで１フレーム先のリプロジェクションを行うのに対して、第２のリプロジェクション部８４ｂでは２フレーム先のリプロジェクションを行う必要がある。

ＡＲ重畳部８８は、第２のリプロジェクション部８４ｂによりリプロジェクション処理が施された合成ＣＧクロマキー画像を、第１のリプロジェクション部８４ａによりリプロジェクション処理が施されたカメラ画像に重畳することにより、拡張現実画像を生成し、歪み処理部８６に供給する。

歪み処理部８６は拡張現実画像に歪み処理を施す。生成された拡張現実画像は、ディスプレイパネル３２に表示される。

第２の実施の形態の画像生成システムによれば、第１の実施の形態と同様に、合成ＣＧクロマキー画像をカメラ画像に重畳して拡張現実画像を生成するため、不自然さのない拡張現実画像を生成できるという利点の他、次の利点がある。第１の実施の形態とは異なり、ヘッドマウントディスプレイ１００側でカメラ画像と合成ＣＧクロマキー画像に対してリプロジェクション処理を施すため、ディスプレイパネル３２に表示する直前の視点位置・視線方向に合うようにカメラ画像と合成ＣＧクロマキー画像を変換でき、高い精度で追従性のある拡張現実画像を提供できる。また、画像生成装置２００側のリプロジェクション処理の負担を軽減できるので、画像生成装置２００側ではレンダリングにより多くのリソースをかけることができる。

第１の実施の形態および第２の実施の形態において、ＣＧクロマキー画像にはポストプロセス部２３６によるポストプロセスを施さない構成を説明したが、変形例として、ＣＧクロマキー画像に対して視点合わせやスケーリングのためにポストプロセスを適用する構成としてもよい。この場合、画素を補間する際に周囲の画素の平均値を使うなどの方法を採用すると、境界の色がクロマキー色とは異なる色に変わってしまう。そこでクロマキー色を変えないようにポストプロセスを適用することが必要である。あるいは、境界の色が変わってしまうような通常のポストプロセスをＣＧクロマキー画像に適用した後、元のクロマキー色と完全に一致する領域のみをマスクとして利用するようにしてもよい。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

１０制御部、２０入力インタフェース、３０出力インタフェース、３２ディスプレイパネル、４０通信制御部、４２ネットワークアダプタ、４４アンテナ、５０記憶部、６４姿勢センサ、７０外部入出力端子インタフェース、７２外部メモリ、８０カメラユニット、８２画像信号処理部、８４リプロジェクション部、８６歪み処理部、８８ＡＲ重畳部、１００ヘッドマウントディスプレイ、２００画像生成装置、２１０位置・姿勢取得部、２２０視点・視線設定部、２３０画像生成部、２３２レンダリング部、２３４重畳部、２３５クロマキー生成部、２３６ポストプロセス部、２４０リプロジェクション部、２４２歪み処理部、２４４合成部、２５０デプス取得部、２５２カメラ画像取得部、２６０画像記憶部、２８０ＨＤＭＩ送受信部、３００インタフェース。

Claims

現実空間の撮影画像にコンピュータグラフィックス画像を重畳して仮の重畳画像を生成する重畳部と、
前記仮の重畳画像にポストプロセスを施すポストプロセス部と、
クロマキー画像を生成するクロマキー生成部と、
ポストプロセスが施された前記仮の重畳画像に対してポストプロセスが施されていない前記クロマキー画像によってマスクをかけることにより、合成クロマキー画像を生成する合成部とを含み、
前記合成クロマキー画像は、前記現実空間の撮影画像に重畳して拡張現実画像を生成するために利用されることを特徴とする画像生成装置。
前記仮の重畳画像および前記クロマキー画像を新たな視点位置または視線方向に合うように変換するリプロジェクション部をさらに含み、
前記合成部は、リプロジェクション処理が施された前記仮の重畳画像に対してリプロジェクション処理が施された前記クロマキー画像によってマスクをかけることにより、前記合成クロマキー画像を生成することを特徴とする請求項１に記載の画像生成装置。
前記重畳部が前記仮の重畳画像を生成する際に利用する前記現実空間の撮影画像は、前記拡張現実画像を生成するために利用される前記現実空間の撮影画像よりも解像度が低いことを特徴とする請求項１または２に記載の画像生成装置。
ヘッドマウントディスプレイと画像生成装置を含む画像生成システムであって、
前記画像生成装置は、
前記ヘッドマウントディスプレイから伝送される現実空間の撮影画像にコンピュータグラフィックス画像を重畳して重畳画像を生成する第１の重畳部と、
前記重畳画像にポストプロセスを施すポストプロセス部と、
クロマキー画像を生成するクロマキー生成部と、
ポストプロセスが施された前記重畳画像およびポストプロセスが施されていない前記クロマキー画像を新たな視点位置または視線方向に合うように変換する第１のリプロジェクション部と、
ポストプロセスおよびリプロジェクション処理が施された前記重畳画像に対してポストプロセスが施されずリプロジェクション処理が施された前記クロマキー画像によってマスクをかけることにより、合成クロマキー画像を生成する合成部とを含み、
前記ヘッドマウントディスプレイは、
前記現実空間の撮影画像を新たな視点位置または視線方向に合うように変換する第２のリプロジェクション部と、
第２のリプロジェクション部によりリプロジェクション処理が施された前記現実空間の撮影画像に、前記画像生成装置から伝送される前記合成クロマキー画像を合成することにより、拡張現実画像を生成する第２の重畳部とを含むことを特徴とする画像生成システム。
ヘッドマウントディスプレイと画像生成装置を含む画像生成システムであって、
前記画像生成装置は、
前記ヘッドマウントディスプレイから伝送される現実空間の撮影画像にコンピュータグラフィックス画像を重畳して仮の重畳画像を生成する第１の重畳部と、
前記仮の重畳画像にポストプロセスを施すポストプロセス部と、
クロマキー画像を生成するクロマキー生成部と、
ポストプロセスが施された前記仮の重畳画像に対してポストプロセスが施されていない前記クロマキー画像によってマスクをかけることにより、合成クロマキー画像を生成する合成部とを含み、
前記ヘッドマウントディスプレイは、
前記現実空間の撮影画像を新たな視点位置または視線方向に合うように変換する第１のリプロジェクション部と、
前記画像生成装置から伝送される前記合成クロマキー画像を新たな視点位置または視線方向に合うように変換する第２のリプロジェクション部と、
第１のリプロジェクション部によるリプロジェクション処理が施された前記現実空間の撮影画像に、第２のリプロジェクション部によるリプロジェクション処理が施された前記合成クロマキー画像を合成することにより、拡張現実画像を生成する第２の重畳部とを含むことを特徴とする画像生成システム。
現実空間の撮影画像にコンピュータグラフィックス画像を重畳して仮の重畳画像を生成する重畳ステップと、
前記仮の重畳画像にポストプロセスを施すポストプロセスステップと、
クロマキー画像を生成するクロマキー生成ステップと、
ポストプロセスが施された前記仮の重畳画像に対してポストプロセスが施されていない前記クロマキー画像によってマスクをかけることにより、合成クロマキー画像を生成する合成ステップとを含み、
前記合成クロマキー画像は、前記現実空間の撮影画像に重畳して拡張現実画像を生成するために利用されることを特徴とする画像生成方法。
現実空間の撮影画像にコンピュータグラフィックス画像を重畳して仮の重畳画像を生成する重畳機能と、
前記仮の重畳画像にポストプロセスを施すポストプロセス機能と、
クロマキー画像を生成するクロマキー生成機能と、
ポストプロセスが施された前記仮の重畳画像に対してポストプロセスが施されていない前記クロマキー画像によってマスクをかけることにより、合成クロマキー画像を生成する合成機能とをコンピュータに実現させ、
前記合成クロマキー画像は、前記現実空間の撮影画像に重畳して拡張現実画像を生成するために利用されることを特徴とするプログラム。
前記クロマキー生成部は、仮想空間のオブジェクトの位置関係を判定し、前記クロマキー画像を生成することを特徴とする請求項１に記載の画像生成装置。
前記クロマキー生成部は、現実空間のオブジェクトと仮想空間のオブジェクトの位置関係を判定し、前記クロマキー画像を生成することを特徴とする請求項８に記載の画像生成装置。
前記クロマキー生成部は、前記現実空間の撮影画像の奥行き情報にもとづいて前記コンピュータグラフィックス画像をクロマキー処理して前記クロマキー画像を生成することを特徴とする請求項１または９に記載の画像生成装置。
前記仮の重畳画像および前記クロマキー画像に対して歪み処理を施す歪み処理部をさらに含み、
前記合成部は、歪み処理が施された前記仮の重畳画像に対して歪み処理が施された前記クロマキー画像によってマスクをかけることにより、前記合成クロマキー画像を生成することを特徴とする請求項１または２に記載の画像生成装置。
仮想空間のオブジェクトをレンダリングしてコンピュータグラフィックス画像を生成するレンダリング部と、
前記コンピュータグラフィックス画像にポストプロセスを施すポストプロセス部と、
クロマキー画像を生成するクロマキー生成部と、
ポストプロセスが施された前記コンピュータグラフィックス画像に対してポストプロセスが施されていない前記クロマキー画像によってマスクをかけることにより、合成クロマキー画像を生成する合成部とを含み、
前記クロマキー生成部は、現実空間のオブジェクトと仮想空間のオブジェクトの位置関係を判定し、前記クロマキー画像を生成することを特徴とする画像生成装置。