WO2017138458A1

WO2017138458A1 - 映像表示システム

Info

Publication number: WO2017138458A1
Application number: PCT/JP2017/004065
Authority: WO
Inventors: 鈴木　章; 彰彦菅原
Original assignee: 株式会社ソニー・インタラクティブエンタテインメント
Priority date: 2016-02-09
Filing date: 2017-02-03
Publication date: 2017-08-17
Also published as: US20180365800A1; JPWO2017138458A1; CN108605148A; US11270410B2; CN108605148B; US20200372607A1; JP6563043B2; EP3416392A4; US10810701B2; EP3416392A1; KR20180102125A; JP2019197224A

Abstract

ユーザーが頭部に装着して使用する表示装置（４０）と、表示装置（４０）による表示に用いられる複数の画像であって、互いに解像度の異なる複数の合成前画像を生成して表示装置（４０）に送信する画像処理装置（１０）とを備える映像表示システムであって、表示装置（４０）は、画像処理装置（１０）が送信する複数の合成前画像を受信し、当該複数の合成前画像を合成して得られる表示用画像を表示する。

Description

映像表示システム

　本発明は、ユーザーが頭部に装着して使用する表示装置に映像を表示させる映像表示システム、当該映像表示システムを構成する画像処理装置及び表示装置、画像処理方法、並びにプログラムに関する。

　Ｆｏｖｅａｔｅｄ　Ｒｅｎｄｅｒｉｎｇなどと呼ばれる、画像内の注目領域（ユーザーが注目すると想定される領域）を他の領域より高い解像度で描画する技術が知られている。このような技術によれば、画像全体を高解像度で描画する場合と比較して少ない処理負荷で、注目領域が高解像度で描画された画像を生成することができる。

　上述した技術では、最終的に表示装置に表示される画像は、その全体が、注目領域の解像度に合わせて高解像度である必要がある。さらに、ヘッドマウントディスプレイなどの頭部に装着して使用するタイプの表示装置では、比較的高いフレームレートで映像を表示することが望まれている。このように、高解像度、高フレームレートの映像を表示させるためには、表示用の画像を生成する画像処理装置から表示装置へと高いデータ伝送速度で画像データを送信する必要がある。

　本発明は上記実情を考慮してなされたものであって、その目的の一つは、注目領域の解像度が高い画像を表示装置に表示させる際に、データ伝送量を比較的少なくすることのできる映像表示システム、画像処理装置、表示装置、画像処理方法、及びプログラムを提供することにある。

　本発明に係る映像表示システムは、ユーザーが頭部に装着して使用する表示装置と、当該表示装置が表示する映像を供給する画像処理装置と、を含む映像表示システムであって、前記画像処理装置は、前記表示装置による表示に用いられる複数の画像であって、互いに解像度の異なる複数の合成前画像を生成する画像生成部と、前記複数の合成前画像のそれぞれを前記表示装置に送信する送信部と、を含み、前記表示装置は、前記画像処理装置が送信する前記複数の合成前画像を受信する受信部と、前記複数の合成前画像を合成して得られる表示用画像を表示する表示制御部と、を含むことを特徴とする。

　本発明に係る画像処理装置は、ユーザーが頭部に装着して使用する表示装置に映像を供給する画像処理装置であって、前記表示装置が表示する表示用画像の合成に用いられる複数の画像であって、互いに解像度の異なる複数の合成前画像を生成する画像生成部と、前記複数の合成前画像のそれぞれを前記表示装置に送信する送信部と、を含むことを特徴とする。

　本発明に係る表示装置は、ユーザーが頭部に装着して使用する表示装置であって、当該表示装置に映像を供給する画像処理装置と接続され、前記画像処理装置が送信する、互いに解像度の異なる複数の合成前画像を受信する受信部と、前記複数の合成前画像を合成して得られる表示用画像を表示する表示制御部と、を含むことを特徴とする。

　本発明に係る画像処理方法は、ユーザーが頭部に装着して使用する表示装置に映像を供給する画像処理方法であって、前記表示装置が表示する表示用画像の合成に用いられる複数の画像であって、互いに解像度の異なる複数の合成前画像を生成するステップと、前記複数の合成前画像のそれぞれを前記表示装置に送信するステップと、を含むことを特徴とする。

　本発明に係るプログラムは、ユーザーが頭部に装着して使用する表示装置に映像を供給する画像処理装置を制御するためのプログラムであって、前記表示装置が表示する表示用画像の合成に用いられる複数の画像であって、互いに解像度の異なる複数の合成前画像を生成する画像生成部、及び、前記複数の合成前画像のそれぞれを前記表示装置に送信する送信部、として前記画像処理装置を機能させるためのプログラムである。このプログラムは、コンピュータ読み取り可能で非一時的な情報記憶媒体に格納されて提供されてよい。

本発明の実施の形態に係る映像表示システムの全体構成を示す構成ブロック図である。本発明の実施の形態に係る映像表示システムが実現する機能を示す機能ブロック図である。全体画像Ｐ０の一例を示す図である。第１部分画像Ｐ１の一例を示す図である。第２部分画像Ｐ２の一例を示す図である。画像処理装置が表示装置に送信するデータの内容を説明する図である。表示装置が表示するフレーム画像の一例を示す図である。映像表示システムが実行する処理の流れの一例を示すシーケンス図である。フレーム画像内における合成前画像の位置関係の一例を示す図である。

　以下、本発明の実施形態について、図面に基づき詳細に説明する。

　図１は、本発明の一実施形態に係る映像表示システム１の構成を示す構成ブロック図である。同図に示されるように、映像表示システム１は、画像処理装置１０と、操作デバイス２０と、中継装置３０と、表示装置４０と、を含んで構成されている。

　画像処理装置１０は、表示装置４０が表示すべき画像を生成、供給する装置であって、例えば家庭用ゲーム機、携帯型ゲーム機、パーソナルコンピューター、スマートフォン、タブレット等であってよい。図１に示されるように、画像処理装置１０は、制御部１１と、記憶部１２と、インタフェース部１３と、を含んで構成される。

　制御部１１は、ＣＰＵ等のプロセッサーを少なくとも一つ含み、記憶部１２に記憶されているプログラムを実行して各種の情報処理を実行する。なお、本実施形態において制御部１１が実行する処理の具体例については、後述する。記憶部１２は、ＲＡＭ等のメモリデバイスを少なくとも一つ含み、制御部１１が実行するプログラム、及び当該プログラムによって処理されるデータを格納する。

　インタフェース部１３は、操作デバイス２０、及び中継装置３０との間のデータ通信のためのインタフェースである。画像処理装置１０は、インタフェース部１３を介して有線又は無線のいずれかで操作デバイス２０及び中継装置３０と接続される。具体的にインタフェース部１３は、画像処理装置１０が供給する映像や音声を中継装置３０に送信するために、ＨＤＭＩ（High-Definition Multimedia Interface：登録商標）などのマルチメディアインタフェースを含んでよい。また、インタフェース部１３は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＵＳＢ等のデータ通信インタフェースを含んでいる。画像処理装置１０は、このデータ通信インタフェースを介して、中継装置３０経由で表示装置４０から各種の情報を受信したり、制御信号等を送信したりする。また、このデータ通信インタフェースを介して、操作デバイス２０から送信される操作信号を受け付ける。

　操作デバイス２０は、家庭用ゲーム機のコントローラやキーボードなどであって、ユーザーからの操作入力を受け付ける。操作デバイス２０は、ユーザーから受け付けた操作入力の内容を示す信号を、画像処理装置１０に対して送信する。

　中継装置３０は、表示装置４０と接続されており、画像処理装置１０から供給される画像データを受け付けて、受け付けたデータを表示装置４０に対して送信する。このとき中継装置３０は、必要に応じて、供給された画像データに対して、表示装置４０の光学系によって生じる歪みを打ち消す補正処理などを実行し、補正された画像データを出力してもよい。また、中継装置３０は、画像データ以外にも、音声データや制御信号など、画像処理装置１０と表示装置４０との間で送受信される各種の情報を中継する。本実施形態では、中継装置３０は無線通信により表示装置４０との間でデータを授受するものとする。

　表示装置４０は、中継装置３０から受信した画像データに応じた映像を表示し、ユーザーに閲覧させる。本実施形態において表示装置４０は、ユーザーが頭部に装着して使用するデバイスであって、両目での映像の閲覧に対応しているものとする。すなわち表示装置４０は、ユーザーの右目及び左目それぞれの目の前に映像を結像させる。表示装置４０は、両眼視差を利用した立体映像を表示可能に構成されてよい。図１に示すように、表示装置４０は、処理ユニット４１と、通信インタフェース４２と、バッファメモリ４３と、映像表示素子４４と、光学素子４５と、背面カメラ４６と、を含んで構成される。

　処理ユニット４１は、集積回路等を含んで構成され、中継装置３０経由で画像処理装置１０から受信された画像データに基づいてフレーム画像（表示用画像）を生成し、映像表示素子４４に供給する。このような処理を所定のフレームレートで繰り返し実行することによって、処理ユニット４１は映像表示素子４４に映像を表示させる。

　通信インタフェース４２は、中継装置３０との間でデータ通信を行うためのインタフェースであって、無線通信のためのアンテナや通信回路等を含んで構成されている。通信インタフェース４２が中継装置３０から受信した画像データは、バッファメモリ４３に一時的に格納される。処理ユニット４１は、バッファメモリ４３内に格納された画像データに基づいて、フレーム画像を生成する。

　映像表示素子４４は、例えば有機ＥＬ表示パネルや液晶表示パネルなどであって、処理ユニット４１から供給される映像信号に応じた映像を表示する。映像表示素子４４は、左目用映像、及び右目用映像の２つの映像を表示する。なお、映像表示素子４４は、左目用映像及び右目用映像を並べて表示する１つの表示素子であってもよいし、それぞれの映像を独立に表示する２つの表示素子によって構成されてもよい。また、公知のスマートフォン等を映像表示素子４４として用いてもよい。また、表示装置４０は、ユーザーの網膜に直接映像を投影する網膜照射型（網膜投影型）の装置であってもよい。この場合、映像表示素子４４は、光を発するレーザーとその光を走査するＭＥＭＳ（Micro Electro Mechanical Systems）ミラーなどによって構成されてもよい。

　光学素子４５は、ホログラムやプリズム、ハーフミラーなどであって、ユーザーの目の前に配置され、映像表示素子４４が発する映像の光を透過又は屈折させて、ユーザーの左右それぞれの目に入射させる。具体的に、映像表示素子４４が表示する左目用映像は、光学素子４５を経由してユーザーの左目に入射し、右目用映像は光学素子４５を経由してユーザーの右目に入射する。これによりユーザーは、表示装置４０を頭部に装着した状態で、左目用映像を左目で、右目用映像を右目で、それぞれ閲覧することができる。

　背面カメラ４６は、表示装置４０の背面側（すなわち、ユーザー側）を撮影可能な位置に配置されており、ユーザーの左右の目を撮影する。この背面カメラ４６で撮影された画像は、中継装置３０経由で画像処理装置１０に送信される。

　次に、映像表示システム１が実現する機能について図２を用いて説明する。図２に示すように、画像処理装置１０は、機能的に、注目位置特定部５１と、画像生成部５２と、画像データ送信部５３と、を含む。これらの機能は、制御部１１が記憶部１２に記憶されたプログラムを実行することにより実現される。このプログラムは、インターネット等の通信ネットワークを介して画像処理装置１０に提供されてもよいし、光ディスク等のコンピュータ読み取り可能な情報記憶媒体に格納されて提供されてもよい。また、表示装置４０の処理ユニット４１は、機能的に、タイミング制御部５４と、画像データ選択部５５と、表示制御部５６と、を含む。これらの機能は、その一部又は全部がソフトウェアによって実現されてもよいし、電子回路等によりハードウェア的に実現されてもよい。

　注目位置特定部５１は、表示装置４０を使用中のユーザーが注目している表示領域内の位置（注目位置）を特定する。具体的に注目位置特定部５１は、背面カメラ４６による撮像画像を表示装置４０から取得し、取得した撮像画像を解析することによってユーザーの視線方向を特定する。この視線方向に対応する表示領域内の位置が、注目位置となる。

　画像生成部５２は、表示装置４０に表示させるための画像を生成する。ここでは具体例として、画像生成部５２は各種のオブジェクトが配置された仮想３次元空間内の様子を示す画像を描画するものとする。ただし、画像生成部５２は、このようなものに限られず、各種の画像を描画対象としてよい。また、以下では簡単のため、表示装置４０は左目用画像、及び右目用画像として同じフレーム画像を表示することとする。しかしながら本実施形態に係る映像表示システム１は、左右に異なるフレーム画像を表示して視差による立体表示を実現してもよい。その場合、画像処理装置１０及び表示装置４０は、以下に説明するような処理を左右それぞれのフレーム画像のために並行して実行すればよい。

　本実施形態において画像生成部５２は、表示装置４０が表示する１枚のフレーム画像のために、互いに解像度の異なる複数の画像を生成する。これらの画像は、いずれも同じ対象を互いに異なる解像度で描画したものであって、高解像度のものほどより狭い領域を描画したものになっている。後述するように、これらの画像は表示装置４０内で合成されて１枚のフレーム画像となり、映像表示素子４４によって表示される。以下、画像生成部５２が生成して最終的に１枚のフレーム画像に合成される複数の画像を、合成前画像という。また、以下では具体例として、画像生成部５２は解像度の低い順に全体画像Ｐ０、第１部分画像Ｐ１、及び第２部分画像Ｐ２の３種類の合成前画像を生成することとする。

　図３、図４、及び図５は、これら３種類の合成前画像の一例を示す図である。図３に示されるように、全体画像Ｐ０は、表示装置４０の表示領域全体に表示されることが想定される画像であって、第１部分画像Ｐ１、及び第２部分画像Ｐ２と比較して低解像度で描画されている。これに対して第１部分画像Ｐ１は、図４に示すように、全体画像Ｐ０内の一部の領域について、全体画像Ｐ０よりも高い解像度で描画された画像である。第２部分画像Ｐ２は、図５に示すように、第１部分画像Ｐ１よりも狭い一部の領域について、第１部分画像Ｐ１よりもさらに高い解像度で描画された画像である。なお、第２部分画像Ｐ２の解像度は、実際に表示装置４０が表示するフレーム画像の解像度と同等であるものとする。

　ここで、第１部分画像Ｐ１及び第２部分画像Ｐ２が描画対象とする領域は、注目位置特定部５１が特定した注目位置に応じて決定される。より具体的に、各部分画像は、全体画像Ｐ０のうち、注目位置を中心とした領域を描画対象としている。例えば表示装置４０を装着したユーザーが表示領域の中心より右上寄りの位置に注目している場合、第１部分画像Ｐ１及び第２部分画像Ｐ２は全体画像Ｐ０内の右上の領域を描画対象とする。なお、図４及び図５は注目位置が全体画像Ｐ０の中心である場合を図示しており、各部分画像は全体画像Ｐ０の中央の領域に対応している。

　以上説明したように、画像生成部５２が描画する複数の合成前画像は、広い領域を対象としたものほど低解像度になっている。そのため、全体画像Ｐ０、第１部分画像Ｐ１、及び第２部分画像Ｐ２の合計のデータ量は、最終的に表示されるフレーム画像（すなわち、全体画像Ｐ０が対象とする領域全体を第２部分画像Ｐ２と同等の解像度で描画した画像）と比較して少なくなっている。

　画像データ送信部５３は、画像生成部５２によって生成された合成前画像のデータを、中継装置３０に対して送信する。このとき画像データ送信部５３は、全体画像Ｐ０、第１部分画像Ｐ１、及び第２部分画像Ｐ２のそれぞれを、合成する前の状態のまま、個別に送信する。これにより、合成した後の高解像度のフレーム画像を送信する場合と比較して、１枚のフレーム画像を表示させるために画像処理装置１０から表示装置４０に送信すべきデータ量を少なくすることができる。

　本実施形態では、合成前画像を生成した画像処理装置１０ではなく、表示装置４０が、複数の合成前画像を合成して実際に表示するフレーム画像を生成する。そのため画像データ送信部５３は、表示装置４０がどのように合成前画像を合成すべきかを示す各種の情報（以下、付加情報という）を、合成前画像の画像データとともに送信することとする。

　具体的に画像データ送信部５３は、複数の合成前画像のそれぞれに対して、当該合成前画像のフレーム画像内における位置、フレーム画像内に占めるサイズ、拡大率、その他当該合成前画像に対する処理に必要なパラメータを付加情報として付加して送信する。図６は、画像データ送信部５３が送信するデータの内容を模式的に示す図であって、以上説明したような付加情報が合成前画像に付加されている様子を示している。なお、図６の先頭座標は、合成前画像のフレーム画像内における位置を示す付加情報の一例であって、合成前画像の左上の画素のフレーム画像内における位置座標を示している。

　画像データ送信部５３が送出する画像データは、中継装置３０を経由して表示装置４０に入力される。表示装置４０の通信インタフェース４２は、中継装置３０から合成前画像のデータを受信し、バッファメモリ４３内に一時的に格納する。なお、バッファメモリ４３は、通信インタフェース４２が受信した合成前画像のデータをそのまま格納するので、映像表示素子４４が表示する１枚のフレーム画像全体を格納可能な容量を持っている必要はない。

　タイミング制御部５４は、フレーム画像の表示タイミングを制御するための同期信号を画像データ選択部５５と表示制御部５６に供給する。画像データ選択部５５及び表示制御部５６は、タイミング制御部５４が供給する同期信号に応じたタイミングで動作することによって、互いに同期して処理を実行することができる。

　画像データ選択部５５と表示制御部５６は、協働して画像処理装置１０から受信した合成前画像を合成し、表示用のフレーム画像を生成する処理を行う。具体的に、画像データ選択部５５は、フレーム画像内の各画素について、その画素の画素値を決定するために使用する合成前画像を決定する。基本的に画像データ選択部５５は、注目する画素の位置をカバーする合成前画像のうち、最も解像度の高い合成前画像を使用対象として選択する。例えば、フレーム画像中央の第２部分画像Ｐ２が対応する領域内の画素については、第２部分画像Ｐ２を使用対象として選択する。逆にフレーム画像外周部の第１部分画像Ｐ１や第２部分画像Ｐ２がカバーしていない領域については、全体画像Ｐ０を使用対象として選択する。画像データ選択部５５は、合成前画像とともに画像データ送信部５３が送信した付加情報に含まれる位置及びサイズの情報を参照することで、このような選択を行う。そして、画像データ選択部５５は、フレーム画像内の各画素について、選択した合成前画像内の対応する画素値の情報をバッファメモリ４３から読み出して、表示制御部５６に対して出力する。

　表示制御部５６は、画像データ選択部５５が選択した合成前画像の画像データに基づいて、フレーム画像内の各画素の画素値を決定する。そして、決定した画素値により構成されるフレーム画像を表示させるための映像信号を映像表示素子４４に供給する。これにより、複数の合成前画像を合成してなるフレーム画像を映像表示素子４４に表示させることができる。なお、表示制御部５６は、合成前画像を合成する際に、低解像度の合成前画像を拡大してから合成する。このときの拡大率は、図６に例示したような付加情報内の拡大率のパラメータにより決定される。

　なお、表示制御部５６は、複数種類の合成前画像を合成するにあたって、両者の境界部分が目立たなくなるように境界部分をぼかすなどの画像処理を実行してもよい。また、このような画像処理を実行する際に、画像データ送信部５３から送信された付加情報に含まれるパラメータを使用して画像処理の内容を決定してもよい。

　図７は、図３～図５で例示した３種類の合成前画像を合成して得られるフレーム画像の一例を示している。このフレーム画像は、全体が第２部分画像Ｐ２と同等の解像度だが、周縁部は低解像度の全体画像Ｐ０を拡大した画像となっている。一方で、ユーザーが注目していると想定される領域は、高解像度の第２部分画像Ｐ２に基づいて生成されるので、フレーム画像は高解像度で表示されているとユーザーに感じさせることができる。

　ここで、１枚のフレーム画像を表示するために映像表示システム１が実行する処理の流れについて、図８のフロー図を用いて説明する。

　まず表示装置４０は、背面カメラ４６の撮像画像を画像処理装置１０に送信する（Ｓ１）。画像処理装置１０の注目位置特定部５１は、Ｓ１で送信された撮像画像を用いて、ユーザーの注目位置を特定する（Ｓ２）。

　次に画像生成部５２が、Ｓ２で特定された注目位置の情報を用いて、３種類の合成前画像を生成する（Ｓ３）。その後、画像データ送信部５３が、生成された３種類の合成前画像に付加情報を付加して、表示装置４０に対して送信する（Ｓ４）。

　表示装置４０の通信インタフェース４２は、Ｓ４で送信された合成前画像の画像データをバッファメモリ４３に格納する（Ｓ５）。処理ユニット４１は、Ｓ５でバッファメモリ４３に格納された３種類の合成前画像を合成してフレーム画像を生成し（Ｓ６）、映像表示素子４４に表示させる（Ｓ７）。

　映像表示システム１は、以上説明した処理を繰り返し実行してフレーム画像を更新することによって、映像を表示する。なお、この図のフローではフレーム画像を更新するごとに背面カメラ４６の撮像画像を表示装置４０から画像処理装置１０に送信し、注目位置を更新することしたが、注目位置特定部５１はより長い時間間隔で注目位置を更新することとしてもよい。その場合、フレーム画像を更新するごとに背面カメラ４６の撮像画像を送信する必要はなく、上述したＳ１及びＳ２の処理はより少ない頻度で実行されることになる。

　以上説明したように、本実施形態に係る映像表示システム１によれば、画像処理装置１０が互いに異なる解像度の複数種類の合成前画像を送信し、表示装置４０がこれらの合成前画像を合成して得られるフレーム画像を表示する。これにより、合成後のフレーム画像を画像処理装置１０から表示装置４０に送信する場合と比較して、１枚のフレーム画像を表示させるために送信すべきデータ量を抑えることができる。そのため、画像処理装置１０と表示装置４０との間に大きな通信帯域を確保せずとも、注目領域が高解像度で比較的高フレームレートの映像を表示装置４０に表示させることができる。

　以上の説明では、第１部分画像Ｐ１、及び第２部分画像Ｐ２は、全体画像Ｐ０と大きさが異なるが同じ形状を持つ矩形の画像であることとした。しかしながら、部分画像はこのような形状に限られず、例えば正方形や円形など、表示領域の全体と異なる形状であってもよい。また、画像処理装置１０は、部分画像の形状の種類を複数の候補から指定してもよい。この場合、形状の種類を特定する情報を付加情報に含めることとする。表示装置４０は、この付加情報を参照して、受信した部分画像がフレーム画像内のどの領域に対応するかを特定する。なお、全体画像Ｐ０自体の形状も矩形に限られず、円形など表示装置４０の表示特性に応じた各種の形状の画像であってよい。

　また、以上の説明ではユーザーが視線を向けている注目位置に応じて部分画像のフレーム画像内における位置を決定することとした。そのため、ユーザーの視線方向が変化すると、その変化に応じて部分画像の全体画像内における位置も変化することになる。しかしながら本発明の実施の形態はこのようなものに限られず、注目位置は例えば表示領域の中心などの固定された位置であってもよい。この場合、注目位置特定部５１は必要なくなる。

　また、以上の説明では１枚のフレーム画像合成に用いられる合成前画像には２種類の部分画像が含まれることとしたが、これに限らず部分画像は１種類であってもよいし、３種類以上であってもよい。いずれの場合にも、高解像度の部分画像ほどフレーム画像内の狭い領域に対応するように各部分画像の解像度、及び大きさを決定することで、送信されるデータ量を節約することができる。

　また、以上の説明では３枚の合成前画像を受信し終えてから合成処理を行うこととしたが、処理ユニット４１は、通信インタフェース４２による合成前画像の受信と並行して受信済みの部分の合成処理を実行してもよい。この場合、合成前画像の先頭部分がバッファメモリ４３に格納された段階で処理ユニット４１が格納済みの部分を取り出して合成し、映像信号として映像表示素子４４に供給する。通信インタフェース４２は、合成前画像の後続する部分を受信した場合、既に処理ユニット４１による処理が完了した部分に上書きして格納する。このような並列処理を実行するのであれば、バッファメモリ４３は合成前画像の一部分だけを格納可能な容量があればよく、全ての合成前画像のデータ全体を格納可能な容量を備える必要はなくなる。

　このような並列処理を実現する場合、画像データ送信部５３は、各合成前画像を複数の送信単位（以下、ブロックという）に分割し、このブロック単位で画像データの送信を行うことが好ましい。具体例として、ここでは処理ユニット４１がフレーム画像内において横方向に並ぶ画素列（ライン）を処理単位として、最上辺のラインから最下辺のラインに向かって上から順にフレーム画像を生成していくとする。この場合において、注目位置が表示領域の中心、または中心より下方にあるとすると、図７にも示されるように、フレーム画像の最上部のラインは全体画像Ｐ０に基づいて生成され、フレーム画像の生成開始直後には第１部分画像Ｐ１や第２部分画像Ｐ２のデータは使用されない。その後、位置座標Ｙ２以降のラインを生成する際には全体画像Ｐ０及び第１部分画像Ｐ１のデータが使用され、位置座標Ｙ１以降のラインを生成する際には全ての合成前画像のデータが必要となる。そこで画像データ送信部５３は、合成前画像のそれぞれを複数のブロックに分割し、フレーム画像の合成処理において必要とされる順序で各ブロックを送信する。この場合のブロックは、各合成画像内において横方向に並ぶ画素列の１ライン分、または複数ライン分であってよい。例えば画像データ送信部５３は、全体画像Ｐ０の最上段を構成するブロック（位置座標Ｙ３からＹ２までに対応するブロック）をまず送信し、次いで位置座標Ｙ２からＹ１までに対応する全体画像Ｐ０及び第１部分画像Ｐ１のブロック、その後に位置座標Ｙ１以降に対応する各合成前画像のブロック…などといった順序で、各部分画像を構成するブロックを表示装置４０に対して送信する。こうすれば、表示装置４０は部分画像のデータを受信しながら、並行して上段からフレーム画像の生成、及び表示を開始することができる。

　さらにこの場合において、画像データ送信部５３は、注目位置の変化に応じて各ブロックの送信順序を変更することが好ましい。具体例として、注目位置が中心より上に移動した場合、第１部分画像Ｐ１及び第２部分画像Ｐ２の全体画像Ｐ０に対する位置も上方に移動する。図９は、この場合に３種類の合成前画像を合成して得られるフレーム画像の一例を示している。このように注目位置が上方向に移動した場合、移動前と比較して、第１部分画像Ｐ１の上段、及び第２部分画像Ｐ２の上段のブロックが、フレーム画像の生成開始後すぐに必要となる。そのため、注目位置が上方向に移動した際には、これらのブロックを優先的に送信することとする。このような制御によれば、フレーム画像を遅延なく生成できるようになる。

　なお、フレーム画像内の１ラインを生成するために複数種類の合成前画像を必要とする場合、そのうちの低解像度の合成前画像を優先して送信することとしてもよい。例えば図７の例において位置座標Ｙ２からＹ１までの部分を合成する場合、基本的に全体画像Ｐ０及び第１部分画像Ｐ１の対応するブロックが必要となるが、このうち全体画像Ｐ０の対応するブロックを優先的に送信し、その後に同じ位置に対応する第１部分画像のブロックを送信することとする。こうすれば、第１部分画像の対応するブロックの送信が通信遅延などによって間に合わなかった場合に、全体画像Ｐ０を使用することで、低解像度であってもフレーム画像を生成し、表示させることができる。

　また、以上の説明では画像生成部５２は自身で３次元空間内の様子を示す合成前画像を描画することとしたが、これに限らず画像生成部５２は予め用意された高解像度の画像に基づいて合成前画像を生成してもよい。例えば表示装置４０が表示するフレーム画像と同等の解像度のフレーム画像を含んだ映像データがある場合、画像生成部５２は、このフレーム画像全体の解像度を大きく下げた画像を全体画像Ｐ０として生成する。また、このフレーム画像の所定領域をクリッピングして解像度を少し下げた画像を第１部分画像Ｐ１とし、第１部分画像Ｐ１よりも狭い所定領域をクリッピングして得られた画像をそのままの解像度で第２部分画像Ｐ２とする。画像データ送信部５３は、このようにして生成された各合成前画像を表示装置４０に送信する。これにより、高解像度の映像を再生する場合にも、画像処理装置１０から表示装置４０に送信される画像のデータ量を低減することができる。

　また、以上の説明では中継装置３０と表示装置４０との間が無線で通信接続されていることとしたが、本発明の実施の形態はこのようなものに限られず、画像処理装置１０と表示装置４０との間は各種の方式の通信回線経由で接続されてよい。また、中継装置３０は必ずしも必要でなく、画像処理装置１０と表示装置４０とは直接接続されてもよい。

　１　映像表示システム、１０　画像処理装置、１１　制御部、１２　記憶部、１３　インタフェース部、３０　中継装置、４０　表示装置、４１　処理ユニット、４２　通信インタフェース、４３　バッファメモリ、４４　映像表示素子、４５　光学素子、５１　注目位置特定部、５２　画像生成部、５３　画像データ送信部、５４　タイミング制御部、５５　画像データ選択部、５６　表示制御部。

Claims

　ユーザーが頭部に装着して使用する表示装置と、当該表示装置が表示する映像を供給する画像処理装置と、を含む映像表示システムであって、
　前記画像処理装置は、
　前記表示装置による表示に用いられる複数の画像であって、互いに解像度の異なる複数の合成前画像を生成する画像生成部と、
　前記複数の合成前画像のそれぞれを前記表示装置に送信する送信部と、
　を含み、
　前記表示装置は、
　前記画像処理装置が送信する前記複数の合成前画像を受信する受信部と、
　前記複数の合成前画像を合成して得られる表示用画像を表示する表示制御部と、
　を含むことを特徴とする映像表示システム。
　請求項１に記載の映像表示システムにおいて、
　前記複数の合成前画像は、前記表示用画像内の一部範囲に対応する部分画像を含み、
　前記送信部は、前記部分画像とともに、当該部分画像が対応する前記表示用画像内の位置を特定する付加情報を前記表示装置に送信し、
　前記表示制御部は、前記部分画像が前記付加情報により特定される位置に対応するように前記複数の合成前画像を合成して、前記表示用画像を生成する
　ことを特徴とする映像表示システム。
　請求項２に記載の映像表示システムにおいて、
　前記画像処理装置は、前記表示装置の表示領域内におけるユーザーが注目する注目位置を特定する注目位置特定部をさらに含み、
　前記画像生成部は、前記部分画像が前記注目位置に応じて決まる前記表示用画像内の位置に対応するように、前記部分画像を生成する
　ことを特徴とする映像表示システム。
　請求項３に記載の映像表示システムにおいて、
　前記送信部は、前記複数の合成前画像のそれぞれを複数の送信単位に分割し、送信単位ごとに前記表示装置に対して送信し、かつ、前記複数の合成前画像を構成する複数の送信単位の送信順序を、前記注目位置に応じて変化させる
　ことを特徴とする映像表示システム。
　ユーザーが頭部に装着して使用する表示装置に映像を供給する画像処理装置であって、
　前記表示装置が表示する表示用画像の合成に用いられる複数の画像であって、互いに解像度の異なる複数の合成前画像を生成する画像生成部と、
　前記複数の合成前画像のそれぞれを前記表示装置に送信する送信部と、
　を含むことを特徴とする画像処理装置。
　ユーザーが頭部に装着して使用する表示装置であって、
　当該表示装置に映像を供給する画像処理装置と接続され、
　前記画像処理装置が送信する、互いに解像度の異なる複数の合成前画像を受信する受信部と、
　前記複数の合成前画像を合成して得られる表示用画像を表示する表示制御部と、
　を含むことを特徴とする表示装置。
　ユーザーが頭部に装着して使用する表示装置に映像を供給する画像処理方法であって、
　前記表示装置が表示する表示用画像の合成に用いられる複数の画像であって、互いに解像度の異なる複数の合成前画像を生成するステップと、
　前記複数の合成前画像のそれぞれを前記表示装置に送信するステップと、
　を含むことを特徴とする画像処理方法。
　ユーザーが頭部に装着して使用する表示装置に映像を供給する画像処理装置を制御するためのプログラムであって、
　前記表示装置が表示する表示用画像の合成に用いられる複数の画像であって、互いに解像度の異なる複数の合成前画像を生成する画像生成部、及び、
　前記複数の合成前画像のそれぞれを前記表示装置に送信する送信部、
　として前記画像処理装置を機能させるためのプログラム。