WO2021193361A1

WO2021193361A1 - 画像データ転送装置、画像表示システム、および画像転送方法

Info

Publication number: WO2021193361A1
Application number: PCT/JP2021/011134
Authority: WO
Inventors: 活志大塚
Original assignee: 株式会社ソニー・インタラクティブエンタテインメント
Priority date: 2020-03-25
Filing date: 2021-03-18
Publication date: 2021-09-30
Also published as: JP2021158402A; US20230142944A1; JP7393267B2

Abstract

サーバ４００において画像生成部４２０は、生成した画像をフレームバッファ４０６に格納する。圧縮符号化部４２２は、１フレームより小さい部分画像単位で画像データを圧縮符号化する。処理順制御部４２３は、データ送信先の画像処理装置２００に接続された表示パネルの走査順に係る情報に基づき、フレームバッファ４０６からの画素データの読み出し順や部分画像の形状、圧縮符号化順を制御する。圧縮符号化された部分画像のデータを、パケット化部４２４がパケット化し、通信部４２６が画像処理装置２００に送信する。

Description

画像データ転送装置、画像表示システム、および画像転送方法

　この発明は、表示対象の動画像のデータを処理する画像データ転送装置および画像転送方法に関する。

　近年の情報処理技術や画像表示技術の向上により、様々な形態で映像世界を体験することができるようになってきた。例えばヘッドマウントディスプレイにパノラマ映像を表示し、ユーザの視線に対応する画像を表示させることにより、映像世界への没入感を高めたり、ゲームなどのアプリケーションの操作性を向上させたりできる。また、潤沢なリソースを有するサーバからストリーミング転送された画像データを表示させることにより、ユーザは場所や規模によらず高精細な動画像やゲーム画面を楽しむことができる。

　ネットワークを介して伝送された画像のデータをクライアント端末に即時表示させる技術においては、当該クライアント端末とサーバ間の通信による遅延時間が問題となり得る。例えばクライアント端末側でのユーザ操作を表示画像に反映させる場合、ユーザ操作のサーバへの送信と、サーバからクライアント端末への画像データの送信といったデータの行き来が必要になり、看過できない遅延時間を生むことがある。ヘッドマウントディスプレイを表示先とする場合は、ユーザの頭部の動きに対し表示が遅れることにより、臨場感が損なわれたり映像酔いを引き起こしたりすることも考えられる。この問題は、高い画質を追求するほど顕在化しやすい。

　本発明はこうした課題に鑑みてなされたものであり、その目的は、通信によるデータ伝送を伴う画像表示において、画質と遅延時間の低減を両立させることのできる技術を提供することにある。

　上記課題を解決するために、本発明のある態様は画像データ転送装置に関する。この画像データ転送装置は、クライアント端末に動画像のデータを転送する画像データ転送装置であって、動画像を構成するフレームのデータを生成しメモリに書き込む描画部と、クライアント端末に接続された表示パネルの走査順に係る情報を取得する表示方式情報取得部と、フレームの画素のデータを、走査順に係る情報に基づく順序でメモリから読み出し、圧縮符号化する圧縮符号化部と、圧縮符号化されたフレームのデータを、クライアント端末にストリーミング転送する通信部と、を備えたことを特徴とする。

　本発明の別の態様は画像表示システムに関する。この画像表示システムは、動画像のデータを転送するサーバと、当該動画像のデータを受信して表示パネルに表示させるクライアント端末と、を含む画像表示システムであって、クライアント端末は、接続された表示パネルの走査順に係る情報を取得し、サーバに送信する表示方式取得部を備え、サーバは、動画像を構成するフレームのデータを生成しメモリに書き込む描画部と、走査順に係る情報を取得する表示方式情報取得部と、フレームの画素のデータを、走査順に係る情報に基づく順序でメモリから読み出し、圧縮符号化する圧縮符号化部と、圧縮符号化されたフレームのデータを、クライアント端末にストリーミング転送する通信部と、を備えたことを特徴とする。

　本発明のさらに別の態様は画像データ転送方法に関する。この画像データ転送方法はクライアント端末に動画像のデータを転送する画像データ転送装置が、動画像を構成するフレームのデータを生成しメモリに書き込むステップと、クライアント端末に接続された表示パネルの走査順に係る情報を取得するステップと、フレームの画素のデータを、走査順に係る情報に基づく順序で前記メモリから読み出し、圧縮符号化するステップと、圧縮符号化されたフレームのデータを、前記クライアント端末にストリーミング転送するステップと、を含むことを特徴とする。

　なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。

　本発明によれば、通信によるデータ伝送を伴う画像表示において、画質と遅延時間の低減を両立させることができる。

本実施の形態における画像処理システムの構成例を示す図である。本実施の形態のヘッドマウントディスプレイの外観例を示す図である。本実施の形態におけるサーバと画像処理装置の基本的な構成を示す図である。本実施の形態における、画像の描画から表示までの処理の様子を概念的に示す図である。本実施の形態における表示パネルの走査方向のバリエーションを例示する図である。本実施の形態のサーバおよび画像処理装置の機能ブロックを示す図である。本実施の形態における表示パネルの走査順とサーバにおける処理順の対応を例示する図である。本実施の形態における表示パネルの走査順とサーバにおける処理順の対応の別の例を示す図である。本実施の形態における表示パネルの走査順とサーバにおける処理順の対応のさらに別の例を示す図である。本実施の形態において、画像処理装置とのハンドシェイクに基づき、サーバにおける画素データの読み出し順を決定する原理を説明するための図である。本実施の形態において、画像処理装置とのハンドシェイクに基づき、サーバにおける画素データの読み出し順を決定する別の原理を説明するための図である。本実施の形態の圧縮符号化部がフレームバッファから複数の画素単位でデータを読み出す場合の処理の手順を示すフローチャートである。本実施の形態においてサーバと画像処理装置とのハンドシェイクによって取得されるパラメータを説明するための図である。本実施の形態においてサーバと画像処理装置とのハンドシェイクによって取得されるパラメータの別の例を説明するための図である。本実施の形態においてサーバの圧縮符号化部が、フレームバッファからのデータ読み出し順を決定するフローチャートである。様々なケースにおいて本実施の形態の圧縮符号化部がフレームバッファからデータを読み出す順序を例示している。本実施の形態における、サーバと画像処理装置のハンドシェイクによる各種パラメータの設定例を説明するための図である。本実施の形態における、サーバと画像処理装置のハンドシェイクによる各種パラメータの設定の別の例を説明するための図である。

　図１は、本実施の形態における画像処理システムの構成例を示す。画像表示システム１は、画像処理装置２００、ヘッドマウントディスプレイ１００、平板型ディスプレイ３０２、携帯端末３０３、およびサーバ４００を含む。画像処理装置２００は、ヘッドマウントディスプレイ１００および平板型ディスプレイ３０２と、無線通信またはＵＳＢ　Ｔｙｐｅ－Ｃ、ＨＤＭＩ（登録商標）などのインターフェース３００により接続される。画像処理装置２００および携帯端末３０３は、インターネットやＬＡＮ（Local Area Network）などのネットワーク３０６を介してサーバ４００に接続される。

　サーバ４００は、画像データ転送装置として、表示対象の画像の少なくとも一部を生成して画像処理装置２００および携帯端末３０３に送信する。ここでサーバ４００は、クラウドゲームなど各種配信サービスを提供する企業などのサーバでもよいし、任意の端末にデータを送信する家庭内サーバなどでもよい。したがってネットワーク３０６は、インターネットなどの公衆ネットワークやＬＡＮなど、その規模は限定されない。例えばネットワーク３０６は携帯電話キャリアネットワークや、街中にあるＷｉ－Ｆｉスポット、家庭にあるＷｉ－Ｆｉアクセスポイントを経由したものでもよい。あるいは画像処理装置２００や携帯端末３０３は、ビデオインターフェースによりサーバ４００と直接接続されてもよい。

　画像処理装置２００は、サーバ４００から送信された画像のデータに必要な処理を施し、ヘッドマウントディスプレイ１００および平板型ディスプレイ３０２の少なくともいずれかに出力する。例えばサーバ４００は、各自ヘッドマウントディスプレイ１００を装着した複数のユーザの頭部の動きやユーザ操作を、各ヘッドマウントディスプレイ１００に接続された複数の画像処理装置２００から受信する。そして、ユーザ操作に応じて変化させた仮想世界を、各ユーザの頭部の動きに対応する視野で描画したうえ、それぞれの画像処理装置２００に送信する。

　画像処理装置２００は送信された画像のデータを、必要に応じて、ヘッドマウントディスプレイ１００や平板型ディスプレイ３０２に適した形式に変換したうえ、適切なタイミングでヘッドマウントディスプレイ１００や平板型ディスプレイ３０２に出力する。携帯端末３０３は、画像処理装置２００と同様の機能を有するとともに表示パネルを一体的に備えた、ポータブルゲーム機、高機能携帯電話、タブレット端末などのデバイスである。

　以後、携帯端末３０３が内蔵する画像処理モジュールも「画像処理装置２００」として説明する。画像処理装置２００は、サーバ４００から送信された画像に、別途準備したＵＩ（User Interface）プレーン画像（あるいはＯＳＤ（On Screen Display)プレーン画像とも呼ぶ)や、ヘッドマウントディスプレイ１００などが備えるカメラによる撮影画像を合成したうえで、接続された表示パネルに出力してもよい。

　ヘッドマウントディスプレイ１００を出力先とする画像処理装置２００は、サーバ４００から送信された画像を、ヘッドマウントディスプレイ１００の表示直前の位置や姿勢に基づき補正することにより、頭部の動きに対する表示の追随性を高めてもよい。画像処理装置２００は、平板型ディスプレイ３０２にも同様の視野で画像を表示させることにより、ヘッドマウントディスプレイ１００を装着しているユーザがどのような画像を見ているかを、その他の人が見られるようにしてもよい。

　ただし本実施の形態において表示対象とする動画像の内容や、その表示先は特に限定されない。例えばサーバ４００は、図示しないカメラによって撮影された画像を表示対象とし、画像処理装置２００にライブ配信してもよい。このときサーバ４００は、スポーツ競技やコンサートなどのイベント会場を複数のカメラで撮影した多視点画像を取得し、それを用いてヘッドマウントディスプレイ１００や携帯端末３０３の動きに応じた視野での画像を作り出すことにより、自由視点のライブ映像を生成し、各画像処理装置２００に配信してもよい。

　また本実施の形態を適用できるシステムの構成は図示するものに限定されない。例えば画像を表示させる装置は、ヘッドマウントディスプレイ１００、平板型ディスプレイ３０２、携帯端末３０３のいずれかであってもよいし、それらの組み合わせや数は限定されない。またヘッドマウントディスプレイ１００や平板型ディスプレイ３０２も、画像処理装置２００を内蔵してよい。

　これらの装置にさらにヘッドマウントディスプレイ１００や平板型ディスプレイ３０２を接続できるようにしてもよい。携帯端末３０３は、内部に加速度センサ、ジャイロセンサ、地磁気センサなど、携帯端末３０３の位置、姿勢、動きを導出するためのモーションセンサを備えてよい。また携帯端末３０３の表示パネルを透明なタッチパッドで覆い、ユーザのタッチ操作を検出できるようにしたり、図示しないボタンなどの入力手段を設けたりしてもよい。画像処理装置２００に、図示しない入力装置を接続してもよい。このときサーバ４００は、各ユーザの操作内容を受信し、それぞれに対応する画像を生成したうえ、各画像処理装置２００に送信してもよい。

　図２は、ヘッドマウントディスプレイ１００の外観例を示す。この例においてヘッドマウントディスプレイ１００は、出力機構部１０２および装着機構部１０４で構成される。装着機構部１０４は、ユーザが被ることにより頭部を一周し装置の固定を実現する装着バンド１０６を含む。出力機構部１０２は、ヘッドマウントディスプレイ１００をユーザが装着した状態において左右の目を覆うような形状の筐体１０８を含み、内部には装着時に目に正対するように表示パネルを備える。

　筐体１０８内部にはさらに、ヘッドマウントディスプレイ１００の装着時に表示パネルとユーザの目との間に位置し、画像を拡大して見せる接眼レンズを備える。またヘッドマウントディスプレイ１００はさらに、装着時にユーザの耳に対応する位置にスピーカーやイヤホンを備えてよい。

　ヘッドマウントディスプレイ１００はさらに、筐体１０８の前面にステレオカメラ１１０、中央に広視野角の単眼カメラ１１１、左上、右上、左下、右下の四隅に広視野角の４つのカメラ１１２を備え、ユーザの顔の向きに対応する方向の実空間を動画撮影する。ある態様においてヘッドマウントディスプレイ１００は、ステレオカメラ１１０が撮影した動画像を即時表示させることにより、ユーザが向いた方向の実空間の様子をそのまま見せるシースルーモードを提供する。

　またステレオカメラ１１０、単眼カメラ１１１、４つのカメラ１１２による撮影画像の少なくともいずれかを、表示画像の生成に利用してもよい。例えばＳＬＡＭ（Simultaneous Localization and Mapping）により周囲の空間に対するヘッドマウントディスプレイ１００、ひいてはユーザの頭部の位置や姿勢を所定のレートで取得し、サーバ４００において生成する画像の視野を決定したり、画像処理装置２００において当該画像を補正したりしてもよい。あるいは画像処理装置２００において、サーバ４００から送信された画像に撮影画像を合成し表示画像としてもよい。

　またヘッドマウントディスプレイ１００は、内部に加速度センサ、ジャイロセンサ、地磁気センサなど、ヘッドマウントディスプレイ１００の位置、姿勢、動きを導出するためのモーションセンサのいずれかを備えてよい。この場合、画像処理装置２００は、当該モーションセンサの計測値に基づき、ユーザ頭部の位置や姿勢の情報を所定のレートで取得する。この情報は、サーバ４００において生成する画像の視野を決定したり、画像処理装置２００において当該画像を補正したりするのに用いることができる。

　図３は、本実施の形態におけるサーバ４００と画像処理装置２００の基本的な構成を示している。本実施の形態におけるサーバ４００および画像処理装置２００は、表示画像の１フレームより小さい部分画像を記憶するローカルメモリを要所に備える。そしてサーバ４００における画像データの圧縮符号化および送信、画像処理装置２００におけるデータの受信、復号伸張、各種画像処理、表示装置への出力を、当該部分画像の単位でパイプライン処理する。これにより、サーバ４００での画像の描画から、画像処理装置２００に接続された表示装置への表示までの遅延時間を軽減させる。

　サーバ４００において、描画制御部４０２はＣＰＵ（Central Processing Unit）で実現され、画像描画部４０４における画像の描画を制御する。上述のとおり本実施の形態において表示させる画像の内容は特に限定されないが、描画制御部４０２は例えば、クラウドゲームを進捗させ、その結果を表す動画像のフレームを画像描画部４０４に描画させる。この際、描画制御部４０２は、画像処理装置２００からユーザの頭部の位置や姿勢に係る情報を取得し、それに対応する視野で各フレームを描画するように制御してもよい。

　画像描画部４０４はＧＰＵ（Graphics Processing Unit）で実現され、描画制御部４０２の制御のもと、所定または可変のレートで動画像のフレームを描画し、その結果をフレームバッファ４０６に格納する。フレームバッファ４０６はＲＡＭ（Random Access Memory）によって実現される。ビデオエンコーダ４０８は、描画制御部４０２の制御のもと、フレームバッファ４０６に格納された画像のデータを、１フレームより小さい部分画像の単位で圧縮符号化する。部分画像は、フレームの画像平面を例えば横方向、縦方向、縦横双方向、または斜め方向に設定した境界線で分割してなる、各領域の画像である。

　ビデオエンコーダ４０８はこの際、部分画像の圧縮符号化に必要な画像が画像描画部４０４により描画され次第、サーバの垂直同期信号を待たずに、当該フレームの圧縮符号化を開始してよい。フレームの描画や圧縮符号化など各種処理を、垂直同期信号を基準として同期させる従来技術によれば、画像の描画から表示までの各処理に与える時間をフレーム単位で揃えることにより、フレーム順の管理が容易である。しかしながらこの場合、フレームの内容によって描画処理が早く終了しても、圧縮符号化処理を次の垂直同期信号まで待機する必要がある。本実施の形態では後に述べるように、部分画像単位でその生成時刻を管理することにより、無駄な待機時間が生じないようにする。

　ビデオエンコーダ４０８が圧縮符号化に用いる符号化方式は、Ｈ．２６４／ＡＶＣやＨ．２６５／ＨＥＶＣなど一般的なものでよい。ビデオエンコーダ４０８は、圧縮符号化した部分画像単位の画像のデータを部分画像記憶部４１０に格納する。部分画像記憶部４１０はＳＲＡＭ(Static Random Access Memory)などで実現されるローカルメモリであり、１フレームより小さい部分画像のデータサイズに対応する記憶領域を有する。以後に述べる「部分画像記憶部」も同様である。ビデオストリーム制御部４１４は、圧縮符号化された部分画像のデータが部分画像記憶部４１０に格納される都度、当該データを読み出し、オーディオデータや制御情報などを必要に応じて含めたうえでパケット化する。

　制御部４１２は、部分画像記憶部４１０に対するビデオエンコーダ４０８のデータ書き込み状況や、ビデオストリーム制御部４１４のデータを読み出し状況などを常に監視し、両者の動作を適切に制御する。例えば制御部４１２は、部分画像記憶部４１０にデータ欠乏、すなわちバッファアンダーランや、データ溢れ、すなわちバッファオーバーランが起きないように制御する。

　入出力インターフェース４１６は画像処理装置２００と通信を確立し、ビデオストリーム制御部４１４がパケット化したデータを、ネットワーク３０６を介して順次送信する。入出力インターフェース４１６は画像データのほか、オーディオデータなども適宜送信してよい。また入出力インターフェース４１６は、ユーザ操作やユーザの頭部の位置や姿勢、画像処理装置２００での画像処理の粒度、表示パネルの走査方向に係る情報などを必要に応じて画像処理装置２００から取得し、描画制御部４０２やビデオエンコーダ４０８などに供給してもよい。

　画像処理装置２００において入出力インターフェース２０２は、サーバ４００から送信された画像やオーディオのデータを順次取得する。入出力インターフェース２０２はさらに、ユーザ操作やユーザの頭部の位置や姿勢、画像処理装置２００での画像処理の粒度、表示パネルの走査方向に係る情報などを必要に応じて取得し、サーバ４００に送信してもよい。入出力インターフェース２０２は、サーバ４００から取得したパケットを復号のうえ、取り出した画像のデータを部分画像記憶部２０４に格納する。

　部分画像記憶部２０４は入出力インターフェース２０２とビデオデコーダ２０８の間に設けたローカルメモリである。制御部２０６は、部分画像記憶部２０４に対する入出力インターフェース２０２のデータ書き込み状況や、ビデオデコーダ２０８のデータを読み出し状況などを常に監視し、両者の動作を適切に制御する。ビデオデコーダ２０８は、部分画像のデータが部分画像記憶部２０４に格納される都度、当該データを読み出し、符号化方式に応じた手順で復号伸張したうえ、部分画像記憶部２１０に順次格納する。

　部分画像記憶部２１０はビデオデコーダ２０８と画像処理部２１４の間に設けたローカルメモリである。制御部２１２は、部分画像記憶部２１０に対するビデオデコーダ２０８のデータ書き込み状況や、画像処理部２１４のデータを読み出し状況などを常に監視し、両者の動作を適切に制御する。画像処理部２１４は、復号伸張された部分画像のデータが部分画像記憶部２１０に格納される都度、当該データを読み出し、表示に必要な処理を施す。例えばヘッドマウントディスプレイ１００において、接眼レンズを介して見たときに歪みのない画像を視認させるために、接眼レンズによる歪みと逆の歪みを与える補正処理を実施する。

　あるいは画像処理部２１４は、別途準備したＵＩプレーン画像を参照し、サーバ４００から送信された画像に合成（スーパーインポーズ）してもよい。また画像処理部２１４は、ヘッドマウントディスプレイ１００や携帯端末３０３が備えるカメラによる撮影画像を、サーバ４００から送信された画像に合成してもよい。画像処理部２１４はまた、処理の時点におけるユーザの頭部の位置や姿勢に対応する視野となるように、サーバ４００から送信された画像を補正してもよい。画像処理部２１４はまた、超解像処理など平板型ディスプレイ３０２へ出力するのに適した画像処理を行ってもよい。

　いずれにしろ画像処理部２１４は、部分画像記憶部２１０に格納された部分画像の単位で処理を施し、部分画像記憶部２１６に順次格納していく。部分画像記憶部２１６は画像処理部２１４とディスプレイコントローラ２２０の間に設けたローカルメモリである。制御部２１８は、部分画像記憶部２１６に対する画像処理部２１４のデータ書き込み状況や、ディスプレイコントローラ２２０のデータを読み出し状況などを常に監視し、両者の動作を適切に制御する。

　ディスプレイコントローラ２２０は、画像処理後の部分画像のデータが部分画像記憶部２１６に格納される都度、当該データを読み出し、ヘッドマウントディスプレイ１００、平板型ディスプレイ３０２、携帯端末３０３の表示パネルに適切なタイミングで出力する。具体的には、それらのディスプレイの垂直同期信号に合致するタイミングで、各部分画像のデータを所定の順序で出力していく。

　次に、画像の描画から表示までにサーバ４００および画像処理装置２００において実現される、部分画像のパイプライン処理について説明する。図４は、本実施の形態における、画像の描画から表示までの処理の様子を概念的に示している。上述のとおりサーバ４００は、動画像のフレーム９０を所定または可変のレートで生成する。図示する例でフレーム９０は、左右に二等分した領域に左目用、右目用の画像をそれぞれ表した構成を有するが、サーバ４００で生成する画像の構成をこれに限る趣旨ではない。

　サーバ４００は上述のとおり、フレーム９０を部分画像ごとに圧縮符号化する。図では画像平面を水平方向に５分割し、部分画像９２ａ、９２ｂ、９２ｃ、９２ｄ、９２ｅとしている。これにより、部分画像はこの順で次々に圧縮符号化され、矢印に示すように画像処理装置２００へ伝送され表示される。すなわち最上段の部分画像９２ａに対し、圧縮符号化、送信、復号伸張、表示パネル９４への出力といった処理が施されている間に、その下の部分画像９２ｂ、さらに下の部分画像９２ｃ、というように順次部分画像が伝送され表示される。これにより、画像の描画から表示までに必要な各種処理を並列に実施でき、転送時間が介在しても最低限の遅延で表示を進捗させることができる。

　このように、フレームを部分画像に分割してパイプライン処理することによる低遅延化の効果は、部分画像への分割の仕方（境界線）、圧縮符号化順、送信順、画像処理装置２００における処理順が、表示パネル９４での表示順（走査方向）に対応していることにより発揮される。しかしながら動画像の表示に用いられるデバイスは多岐にわたり、表示パネル９４での表示順は多様化している。例えばホームコンソール、パーソナルコンピュータ、テレビ受像器などの表示装置では、横長の画面を水平方向に走査する方式（ランドスケープ型と呼ぶ）が主流である。図４で示した態様は、このランドスケープ型を前提としている。

　一方、高機能携帯電話やタブレットなどの携帯端末では、縦長の画面を水平方向に走査する方式（ポートレート型と呼ぶ）が主流である。これに応じてポートレート型の表示パネルの供給が潤沢になった結果、ポートレート型のパネルを横倒しに実装した横長の表示装置も増えてきた。この場合、横長の画面に対し走査は縦方向になされることになる。このように、表示装置の実装態様やその時々の状況によって、表示パネルの走査方向は様々に変化し得る。

　図５は、表示パネルの走査方向のバリエーションを例示している。図の矩形は表示画面を表し、表示対象の横長の画像における左上の基準位置１４を黒丸で示している。すなわち基準位置１４は、画像をラスタ順で走査した場合の始点であり、一般的には描画時の始点でもある。（ａ）は、ランドスケープ型の表示パネルに回転のない画像を表示した場合を示している。ポートレート型の携帯端末を縦長に把持し横長の画像を見る場合も、画面の一部が図示するような状態となる。この場合、表示パネルは、基準位置１４と同じ位置を始点として、右方向への走査を下方向に繰り返す。

　（ｂ）はポートレート型の表示パネルに、時計回りに９０°回転させた画像を表示した場合を示している。このような状態は、ユーザが把持する向きに応じて表示画像の向きを切り替える形式の縦長の携帯端末３０３を、ユーザが横向きにして横長の画像を見るときに発生する。あるいは上述のとおり、横長の設置が基本のモニタなどにポートレート型の表示パネルを実装したときにも発生する。これらの場合、表示パネル上でラスタ順に走査がなされると、画像上では左下を始点として上方向への走査が右方向に繰り返されることになる。

　（ｃ）はランドスケープ型の表示パネルに、画像の天地を逆に表示した場合を示している。このような状態は、例えばランドスケープ型の携帯端末をユーザが逆さにして見ているときに発生する。あるいはポートレート型の携帯端末を縦長かつ逆さにして見る場合も、画面の一部が図示するような状態となる。この場合、表示パネル上でラスタ順に走査がなされると、画像上では右下を始点として左方向への走査が上方向に繰り返される。

　（ｄ）はポートレート型の表示パネルに、逆時計回りに９０°回転させた画像を表示した場合を示している。このような状態は、例えばポートレート型の携帯端末を、ユーザが（ｂ）の場合と逆の横向きにして、横長の画像を見るときに発生する。この場合、表示パネル上でラスタ順に走査がなされると、画像上では右上を始点として下方向への走査が左方向に繰り返される。このように、表示パネルの構造上の走査方向の違いのほか、ユーザが携帯端末を把持する向きによっても、画像上での走査方向が変化する。ユーザが携帯端末を把持する向きを変えれば、動画の再生中であっても走査方向が随時変化し得る。

　（ｂ）～（ｄ）のような状態においては、図４で示したように画像上のラスタ順で描画した画像を、サーバ４００がその順で圧縮符号化し、画像処理装置２００に送信したとしても、表示パネルへの出力順が異なるため低遅延化の効果が低減する。すなわち画像処理装置２００から表示パネルへの出力順と、サーバ４００が生成した部分画像単位が前提としている出力順が異なる場合、画像処理装置２００のディスプレイコントローラ２２０が、部分画像が到着するに応じて、順次画像をラスタ順で走査しようにも、必要な部分画像が存在していない状態となる。このような場合、画像処理装置２００は、表示走査開始位置を含んだ部分画像が到着するまで出力を開始できない。

　図５から明らかなとおり、画像処理装置２００は多くの場合、１画面を構成するすべての部分画像が到着するまで待つこととなり、順次部分画像が伝送され表示されることによる低遅延性が損なわれる。そこで本実施の形態では、表示パネルの走査順に係る情報をサーバ４００が取得し、それに基づきデータの処理順を適応的に切り替える。この際、好適には画像の描画順については変化させずに、その後の処理から順序を切り替えることにより、描画処理が複雑化し却って処理速度が低下するような悪影響を抑える。

　図６は、本実施の形態のサーバ４００および画像処理装置２００の機能ブロックを示している。同図に示す各機能ブロックは、ハードウェア的にはＣＰＵ、ＧＰＵ、エンコーダ、デコーダ、演算器、各種メモリなどで実現でき、ソフトウェア的には、記録媒体からメモリにロードした、情報処理機能、画像描画機能、データ入出力機能、通信機能などの諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。後述する機能ブロックも同様である。

　サーバ４００は、画像生成部４２０、フレームバッファ４０６、圧縮符号化部４２２、パケット化部４２４、および通信部４２６を備える。画像生成部４２０は図３の描画制御部４０２、画像描画部４０４で構成され、ゲーム画像など画像処理装置２００に送信すべき動画像のフレームを、所定または可変のレートで生成する。あるいは画像生成部４２０は、図示しないカメラや記憶装置などから動画像のデータを取得してもよい。この場合、画像生成部４２０は、画像取得部と読み替えることができる。以後の説明でも同様である。

　フレームバッファ４０６は図３で説明したように、画像生成部４２０が生成した動画像のフレームデータを順次格納していく。圧縮符号化部４２２は、図３のビデオエンコーダ４０８、部分画像記憶部４１０、制御部４１２で構成され、画像生成部４２０が生成したフレームのデータをフレームバッファ４０６から読み出し、部分画像の単位で圧縮符号化する。ここで圧縮符号化部４２２は、１行、２行など所定数の行の領域や、１６×１６画素、６４×６４画素など所定サイズの矩形領域を単位として動き補償や符号化を行う。したがって圧縮符号化部４２２は、圧縮符号化に必要な最小単位の領域のデータが画像生成部４２０により生成されたら、圧縮符号化を開始してよい。

　なお圧縮符号化や送信におけるパイプライン処理の単位である部分画像は、当該最小単位の領域と同じでもよいしそれより大きな領域としてもよい。また圧縮符号化部４２２は、ディスプレイ・パイプラインすなわち、規定のビデオ出力タイミングフォーマットに従い、フレームバッファにある画像を既定のピクセルフォーマットに従って読みだし、必要に応じてピクセルフォーマットの変換や画像サイズの変更や画像の合成をおこなう機能を内蔵し、必要に応じて圧縮符号化の前にこれらの機能を実行してもよい。

圧縮符号化部４２２は、フレームバッファ４０６から画素データを読み出す順序、部分画像の形状（画像平面での境界線）、圧縮符号化の順序などを最適化する処理順制御部４２３を備える。すなわち処理順制御部４２３は、データ送信先の画像処理装置２００が画像を表示させる表示パネルの走査順に係る情報に基づく順序で、フレームバッファ４０６からフレームのデータを読み出し圧縮符号化するよう圧縮符号化部４２２を制御する。

　ここで処理順制御部４２３は、画像処理装置２００とのハンドシェイクにより、表示パネルの走査方向や走査開始位置を取得し、フレームバッファ４０６からの各画素のデータの読み出し順、部分画像の形状、圧縮符号化順について、最も低遅延となる組み合わせを選択する。例えば処理順制御部４２３は、表示パネルの走査順に係る情報と、部分画像の形状や処理順の最適条件を対応づけたテーブルをメモリなどに保持し、それを参照して後者を決定してもよい。また処理順制御部４２３は、画像処理装置２００およびサーバ４００の画像生成部４２０や圧縮符号化部４２２が対応可能な各種処理のパラメータを取得し、共通して実現できるパラメータの中で最も遅延が少なく処理効率が高い組み合わせを選択する。

　なおサーバ４００は、複数の表示パネル（部分パネル）を接続して１つの表示パネルを構成する形式の表示装置にも対応させる。ここで複数の部分パネルは、物理的には一つのパネルとして一体的に形成されていてもよい。部分パネルで構成される表示パネルを表示先とする場合、処理順制御部４２３は、部分パネルの数、それらが並列に走査されるか否か、といった情報をさらに取得し、それに基づきデータの読み出し順、部分画像の形状、圧縮符号化順などを切り替える。また上述のとおり、表示パネルの向きによって画像の表示方向を変化させる形式の端末を送信先とする場合、処理順制御部４２３は、表示パネルの向きに係る情報を随時取得し、その変化に応じてデータの読み出し順、部分画像の形状、圧縮符号化順などを変化させる。

　これらの状況において、処理順制御部４２３は、画像処理装置２００内部での画素データの処理順を考慮して、フレームバッファ４０６からの画素データの読み出し順を最適化してもよい。例えば画像処理装置２００においてなされる処理に、画素列を所定の順序で処理していくものが含まれる場合、処理順制御部４２３は、フレームバッファ４０６からの読み出し順も、画像処理装置２００での処理順を踏襲するように制御する。これによりサーバ４００は、画像処理装置２００で先に処理すべき画素のデータを優先して送信できる。

　一方、画像処理装置２００においてなされる処理が、部分画像単位など所定の領域ごとの処理に限られる場合、当該領域内での画素データの送信順は、表示までの遅延時間に影響しにくい。そのため処理順制御部４２３は、フレームバッファ４０６へのアクセスの速さや効率性、画像生成部４２０による画素データの書き込み順などに基づき画素データの読み出し順を決定する。これにより、サーバ４００側での送出遅延を最小化できる。

　なおサーバ４００が画像処理装置２００とのハンドシェイクにより取得する情報や、それに基づき処理順制御部４２３が決定する処理の態様は上述したものに限らない。例えばサーバ４００はハンドシェイクにより、表示解像度、フレームレート、フレームレートが可変か否か、画素データのフォーマット、圧縮符号化方式、バッファ容量、転送帯域、連続したアドレスから一度に読み出す画素の数などの少なくともいずれかの情報を、画像処理装置２００と共有してもよい。

　このとき処理順制御部４２３は取得した情報に基づき、上述した画素データの読み出し順、部分画像の形状すなわちフレームの分割境界、圧縮符号化順のほか、表示装置がバッファリングすべき部分画像の数や圧縮伸張時のエラー補正強度および補正方法などの少なくともいずれかを、遅延時間、画質、転送ロバストネスが最適となるように選択する。処理順制御部４２３は、それらのパラメータの全てを決定してもよいし、一部のみ決定し、その他のパラメータは固定としてもよい。

　また処理順制御部４２３は必要に応じて、決定したパラメータをサーバ４００内部の各機能ブロックに通知してもよい。例えば処理順制御部４２３は、決定したパラメータをパケット化部４２４に通知することにより、画像処理装置２００へ送信されるようにしてよい。またサーバ４００と画像処理装置２００とのハンドシェイクや、それに応じた処理態様の切り替えは、ストリーム転送の初期処理として行うほか、画像処理装置２００側で動画像が表示されている最中にも適宜実施してよい。すなわち処理順制御部４２３は、上述した各種パラメータの変化を画像処理装置２００から随時取得し、それに応じて適切に処理を切り替えるように圧縮符号化部４２２を制御する。

　パケット化部４２４は、図３のビデオストリーム制御部４１４、制御部４１２で構成され、圧縮符号化された部分画像のデータを、利用する通信のプロトコルに応じた形式でパケット化する。この際、パケット化部４２４は、処理順制御部４２３が決定した、画素データの順序や部分画像の形状、大きさといった情報を取得し、部分画像のデータと対応づけておく。さらにパケット化部４２４は、部分画像が描画された時刻（以下、「生成時刻」と呼ぶ）を、画像生成部４２０または圧縮符号化部４２２から取得し、部分画像のデータと対応づけておく。

　通信部４２６は、図３の入出力インターフェース４１６で構成され、圧縮符号化された部分画像のデータとそれに付随する各種情報を含めたパケットを、画像処理装置２００に送信する。これらの構成によりサーバ４００は、圧縮符号化、パケット化、送信を、１フレームより小さい部分画像単位でパイプライン処理することにより並列に行う。通信部４２６はまた、サーバ４００と画像処理装置２００がハンドシェイクにより上述したような情報を共有するためのインターフェースとしても機能する。例えば通信部４２６は、画像処理装置２００に接続された表示パネルの走査順に係る情報を取得する表示方式情報取得部としても機能する。

　画像処理装置２００は、画像データ取得部２４０、復号伸張部２４２、画像処理部２４４、および表示制御部２４６を備える。なお復号伸張部２４２と画像処理部２４４は、部分画像のデータに所定の処理を施し表示用の部分画像のデータを生成するという意味で共通の機能を有し、それらの少なくともいずれかを「画像処理部」と総称することもできる。画像データ取得部２４０は、図３の入出力インターフェース２０２、部分画像記憶部２０４、および制御部２０６で構成され、圧縮符号化された部分画像のデータを、その生成時刻とともにサーバ４００から取得する。

　画像データ取得部２４０はまた、サーバ４００と画像処理装置２００がハンドシェイクにより上述したような情報を共有するためのインターフェースとしても機能する。復号伸張部２４２は、図３のビデオデコーダ２０８、部分画像記憶部２１０、制御部２０６、制御部２１２で構成され、圧縮符号化された部分画像のデータを復号伸張する。ここで復号伸張部２４２は、動き補償や符号化など圧縮符号化に必要な最小単位の領域のデータが画像データ取得部２４０により取得されたら、復号伸張処理を開始してよい。

　ここで復号伸張部２４２は、サーバ４００における圧縮符号化時の画素データの読み出し順、部分画像の形状、圧縮符号化順などに基づき、フレームを適切に復元するよう復号伸張部２４２を制御する接続位置制御部２４３を含む。本実施の形態では、例えば部分画像の形状や大きさが同じでも、内部での画素データの配列が様々に変化する可能性がある。そこで接続位置制御部２４３は、サーバ４００から送信された、画素データの配列に係る情報に基づき、復号伸張した部分画像の画素を元の配列に戻すように制御する。

　さらに本実施の形態では、画像平面における部分画像の大きさや形状、圧縮符号化データの生成順が変化し得るため、接続位置制御部２４３は、サーバ４００から送信されたそれらの情報に基づき、復号伸張した部分画像がフレームのどの領域に対応するかを特定しておく。特定した情報は、表示制御部２４６に提供することにより、各部分画像が正しい位置に表示されるようにする。

　上述のとおりサーバ４００において、表示装置がバッファリングする部分画像の数や、圧縮伸張時のエラー補正強度、補正方法などを適応的に決定する場合、接続位置制御部２４３は、サーバ４００から送信されたそれらの情報も参照し、復号伸張部２４２において適切に補正がなされるよう制御したり、表示制御部２４６にバッファリングの数を通知したりする。

　画像処理部２４４は図３の画像処理部２１４、部分画像記憶部２１６、制御部２１２、制御部２１８で構成され、必要に応じて部分画像のデータに所定の処理を施し、表示用の部分画像のデータを生成する。例えば上述のとおり画像処理部２４４は、ヘッドマウントディスプレイ１００が備える接眼レンズの歪みを考慮して逆の歪みを与える補正を施す。

　あるいは画像処理部２４４は、ＵＩプレーン画像など、動画像とともに表示させるべき画像を、部分画像単位で合成する。または画像処理部２４４は、その時点でのユーザ頭部の位置や姿勢を取得し、サーバ４００が生成した画像を、正しく表示時の視野になるように補正する。これにより、サーバ４００からの転送時間によって、ユーザの頭部の動きと表示画像の間に生じる時間的なずれを最小限にすることができる。

　画像処理部２４４はそのほか、一般的になされる画像処理のいずれかまたは組み合わせを実施してもよい。例えば画像処理部２４４は、ガンマーカーブ補正、トーンカーブ補正、コントラスト強調などを行ってもよい。すなわち表示装置の特性やユーザ指定に基づき、復号伸張した画像データの画素値・輝度値について必要なオフセット補正をしてもよい。また画像処理部２４４は、近傍画素を参照し、重畳・加重平均・平滑化などの処理を行うノイズ除去処理を行ってもよい。

　また画像処理部２４４は、画像データの解像度と、表示パネルの解像度を合わせたり、近傍画素を参照し、バイリニア・トライリニアなど、加重平均・オーバーサンプリングなどを行ったりしてもよい。また画像処理部２４４は、近傍画素を参照し、画像テクスチャの種類を判定し、それに応じた、デノイズ・エッジ強調・平滑化・トーン／ガンマ／コントラスト補正を選択的に処理してもよい。このとき画像処理部２４４は、画像サイズのアップスケーラ・ダウンスケーラと合わせて処理してもよい。

　また画像処理部２４４は、画像データの画素フォーマットと、表示パネルの画素フォーマットが異なる場合にフォーマット変換を行ってもよい。例えばＹＵＶからＲＧＢ、ＲＧＢからＹＵＶ、ＹＵＶにおける４４４、４２２、４２０間の変換、ＲＧＢにおける８、１０、１２ビットカラー間の変換などを行ってもよい。また画像処理部２４４は、デコードした画像データがＨＤＲ(High Dynamic Range)の輝度レンジ対応フォーマットである一方、表示ディスプレイのＨＤＲの輝度レンジ対応範囲が狭い場合（表示可能な輝度ダイナミックレンジがＨＤＲフォーマット規定より狭いなど）、できるだけＨＤＲ画像の特徴を残しながら、表示パネル対応可能な範囲のＨＤＲの輝度レンジフォーマットへ変換する疑似ＨＤＲ処理（色空間変更）を行ってもよい。

　また画像処理部２４４は、デコードした画像データがＨＤＲ対応フォーマットだったが、表示ディスプレイがＳＤＲ(Standard Dynamic Range)のみに対応している場合、できるだけＨＤＲ画像の特徴を残しながら、ＳＤＲフォーマットへ色空間変換してもよい。デコードした画像データがＳＤＲ対応フォーマットだったが、表示ディスプレイがＨＤＲに対応している場合、画像処理部２４４はできるだけＨＤＲパネルの特性にあわせて、ＨＤＲフォーマットへエンハンス変換してもよい。

　また画像処理部２４４は、表示ディスプレイの階調表現能力が低い場合、誤差拡散付加をしてもよいし、画素フォーマット変換とあわせて処理するディザリング処理を実施してもよい。また画像処理部２４４は、ネットワーク転送データの欠落やビット化けにより、デコードした画像データに部分的な欠損や異常がある場合に、その領域を補正処理してもよい。また画像処理部２４４は、単色塗りつぶし、近傍画素複製による補正、前フレーム近傍画素による補正、適応型欠損補正により過去フレームや現フレームの周辺から推測した画素による補正をしてもよい。

　また画像処理部２４４は、画像処理装置２００から表示装置へ出力するインターフェースの必要帯域を削減するために画像圧縮を行ってもよい。この際、画像処理部２４４は、近傍画素参照によるライトウェイトなエントロピー符号化、インデックス値参照符号化、ハフマン符号化などを行ってもよい。また表示装置が液晶パネルを採用した場合、高解像度化が可能な反面、反応速度が遅い。表示装置が有機ＥＬパネルを採用した場合は反応速度が速い反面、高解像度化が難しく、また黒色領域とその周辺で色にじみが発生するBlack Smearingと呼ばれる現象が生じ得る。

　そこで画像処理部２４４は、このような表示パネルによる様々な悪影響を解消するように補正を行ってもよい。例えば液晶パネルの場合、画像処理部２４４はフレーム間に黒い画像を挿入することにより液晶をリセットし、反応速度を向上させる。また有機ＥＬパネルの場合、画像処理部２４４は輝度値や、ガンマ補正におけるガンマ値にオフセットをかけBlack Smearingによる色にじみを目立ちにくくする。

画像処理部２４４は画像に対し、高精細度化や、高周波数成分の復元や再構築を行う超解像処理（Super Resolution）を行ってもよい。画像処理部２４４はこのとき、機械学習や深層学習を用いてあらかじめ構築したデータベースやネットワークモデルへ画像データを入力することにより画像を変換してもよい。ここで画像処理部２４４は、部分画像単位で変換を実施することにより低遅延化を図ってよい。このときの部分画像単位を、表示パネルの走査順序や分割構成に基づいて決定された部分画像単位と一致させることで、一連の処理をパイプライン化でき、さらなる低遅延化を実現できる。

　表示制御部２４６は、図３のディスプレイコントローラ２２０と制御部２１８で構成され、表示用の部分画像のデータを順次、ヘッドマウントディスプレイ１００、平板型ディスプレイ３０２、携帯端末３０３の表示パネルに表示させる。ただし本実施の形態では、部分画像の圧縮符号化データをサーバ４００から個別に取得するため、通信状況によっては取得順が入れ替わったり、パケットロスにより部分画像のデータ自体が取得できなかったりすることが考えられる。

　そこで表示制御部２４６は、サーバ４００から送信される各部分画像のデータの生成時刻、および、復号伸張部２４２から提供される、各部分画像の画像平面上での位置に基づき、部分画像のデータの本来の表示順や表示タイミング、部分画像のデータの欠落量などのデータ取得状況を特定する。そして表示制御部２４６は、データ取得状況に応じて、表示パネルへの出力対象を変化させたり、出力順や出力タイミングを適切に調整したりする。

　例えば表示制御部２４６はデータ取得状況に応じて、次のフレームに含まれる本来の部分画像のデータを出力するか、それより前のフレームに含まれる部分画像のデータを再度出力するかを決定する。表示制御部２４６は、フレーム中、所定値以上の割合で部分画像が欠落している場合に、出力対象を前のフレームのデータに置き換えるなど、取得された部分画像の量（割合）に応じて出力対象を変化させてもよい。

　また表示制御部２４６は、過去のフレームの出力実績や、生成時刻からの経過時間に応じて、次のフレーム表示期間の出力対象を変化させてもよい。そして表示制御部２４６は、決定した順序およびタイミングで、出力対象として決定された部分画像のデータを表示パネルに出力する。

　表示制御部２４６は、データ出力先の表示パネルにおける表示方式を取得し、画像データ取得部２４０を介してサーバ４００に送信する表示方式取得部２４７を備える。ここで表示方式とは、表示パネルの走査順に係る情報、すなわち走査の始点や走査方向を含む。また、端末の向きに応じて表示画像の向きを切り替える場合、表示方式取得部２４７は表示パネルの向き、例えば四辺のうち上側に位置する辺の識別情報も随時取得する。この場合、表示方式取得部２４７は、加速度センサ、ジャイロセンサ、地磁気センサなど端末の向きを計測するセンサを含む。

　さらに表示方式取得部２４７は、表示解像度やフレームレート、フレームレートが可変か否か、１つの表示パネルを構成する部分パネルの数、そのうち並列に走査がなされるパネルの数、複数の部分パネルを連続して走査する場合はそのパネルの数や走査順などの情報を取得してもよい。表示方式取得部２４７はまた、採用する圧縮伸張方式が対応可能な単位領域（許容できる走査線数や走査線長の最小単位、複数の部分パネルの連続走査を許容するか否か）、対応可能な部分画像の走査線数、部分画像を保持するバッファの容量、表示パネルが対応する画素データのフォーマット、利用可能な転送帯域などの情報を取得してもよい。

　表示方式取得部２４７は圧縮伸張に関連したパラメータとして、復号伸張部２４２が対応可能な範囲のほか、上述のとおり画像処理部２４４が画像処理装置２００から表示装置へ出力するインターフェースの必要帯域幅を削減するために行う画像圧縮が対応可能な範囲を取得してよい。なお表示解像度は、復号伸張部２４２や表示制御部２４６の処理が対応可能な範囲、表示パネルの対応可能な範囲、および表示パネルの一部分のみに画像を表示するなどの表示形態に依存する。このようなことを踏まえ、上述の「表示解像度やフレームレート」、「表示パネルが対応する画素データのフォーマット」について、表示方式取得部２４７は、表示パネルのみならず復号伸張部２４２が対応可能な範囲などを取得する。

　さらに表示方式取得部２４７は、復号伸張部２４２がデータを復号伸張する際に低遅延化に有利な画素の到着順や向きがあるか否か、ある場合はその到着順や向きの情報を、復号伸張部２４２から取得してもよい。ここで「低遅延化に有利な画素の到着順や向き」は例えば、表示パネルの走査順・走査方向や、復号伸張部２４２、画像処理部２４４、表示制御部２４６の処理粒度におけるデータ参照順序、に基づいて定まる。これらの情報の少なくともいずれかは、ハンドシェイクによりサーバ４００に通知される。これに応じてサーバ４００の処理順制御部４２３は、上述のとおり画素データの読み出し順、部分画像の大きさや形状、圧縮符号化順などを最適化する。また後述のとおり、フレームバッファ４０６から一度に読み出す画素列の幅なども最適化してよい。

　図７は、表示パネルの走査順とサーバ４００における処理順の対応を例示している。この例は、ポートレート型の表示パネルに横長の画像を表示させる場合を示している。図の矩形は表示画像を表し、左側がサーバ４００での処理順、右側が画像処理装置２００での処理や表示パネルでの表示の順序を示している。図では形成される部分画像の一部をグレーの矩形領域で示し、その処理順を番号で示している。画像中の残りの領域も同様に、部分画像単位で順次処理される。また、サーバ４００における画像描画時の走査、すなわち画像上でのラスタ順における始点を描画始点１６として黒丸で、表示パネルでの走査の始点を表示始点１８として白丸で示している。

　（ａ）はサーバ４００において、フレームを縦方向に分割し、左端から右方向に部分画像を生成する態様を示している。このようにすると、表示パネルにおいて、左下から上方向への走査を右方向に繰り返す走査順と部分画像の処理順が合致する。（ｂ）はサーバ４００において、フレームを縦方向に分割し、右端から左方向に部分画像を生成する態様を示している。この場合、表示パネルにおいて、右上から下方向への走査を左方向に繰り返す走査順と部分画像の処理順が合致する。

　（ｃ）はサーバ４００において、画像を横方向に分割し、上端から下方向に部分画像を生成する態様を示している。この場合、表示パネルにおいて、左上から右方向への走査を下方向に繰り返す走査順と部分画像の処理順が合致する。（ｄ）はサーバ４００において、画像を横方向に分割し、下端から上方向に部分画像を生成する態様を示している。この場合、表示パネルにおいて、右下から左方向への走査を上方向に繰り返す走査順と部分画像の処理順が合致する。いずれの場合も、圧縮符号化から画像処理装置２００内部での処理を経て表示までの一連の処理を同じ順序で進捗させることができ、表示までを低遅延で行える。

　図８は、表示パネルの走査順とサーバ４００における処理順の対応の別の例を示している。この例は、ヘッドマウントディスプレイ１００の左右の表示パネルに、左目用、右目用の画像を表示させる場合を示している。同図においてサーバ４００は、画像平面を左右に分割した領域に左目用、右目用の画像を表した画像をフレームごとに生成している。

　（ａ）はサーバ４００において、画像平面の左右の領域のそれぞれを横方向に分割し、図に番号で表すように左右の画像を交互に、上端から下方向に部分画像を生成する態様を示している。この場合、図の右側に示すように、ヘッドマウントディスプレイ１００の左目用、右目用の表示パネルにおいて、それぞれ左上から右方向への走査を下方向に繰り返す走査順と部分画像の処理順が合致する。なお左目用、右目用の表示パネルの走査は並列であってもよい。

　なおこの処理順は、画像のラスタ順と類似するが、画像平面を左右に分割する点に特徴を有する。すなわち（１）で示された左目用の部分画像と（２）で示された右目用の部分画像を分けて圧縮符号化することにより、画像処理装置２００で（１）のデータを復号伸張する際、（２）のデータを待機する必要がなくなり、処理を高速化できる。

　一方、それら２つの部分画像は高い類似性を有することから、（１）の部分画像を参照画像としてその差分を（２）の部分画像の圧縮符号化データとすることにより圧縮率を高めることができる。この場合、画像処理装置２００は、先に復号伸張した（１）の部分画像を参照して（２）の部分画像を復号伸張する。後続の部分画像も同様である。

　（ｂ）はサーバ４００において、画像平面の左右の領域のそれぞれを縦方向に分割し、図に数字で表すように左右の画像を交互に、左端から右方向に部分画像を生成する態様を示している。この場合、図の右側に示すように、ヘッドマウントディスプレイ１００の左目用、右目用の表示パネルにおいて、それぞれ左下から上方向への走査を左方向に繰り返す走査順と部分画像の処理順が合致する。

　なおここでは図示を省略しているが、表示パネルの天地を逆にした場合は、図７の（ｂ）や（ｄ）のような順序で、画像平面の左右の領域から交互に部分画像を生成していけばよい。また図示する処理順は、ヘッドマウントディスプレイ１００の左目用、右目用の表示パネルに限らず、左右に部分パネルを配置してそれぞれを駆動させることにより１つの画像を表示させる場合にも適用できる。

　図９は、表示パネルの走査順とサーバ４００における処理順の対応のさらに別の例を示している。この例は、４つの部分パネルを２行２列に配置し、４分割した表示画像をそれぞれに表示させることにより１つの画像を表示する場合を示している。図では４つの部分パネルに間隔を設けているが、実際にはそれらが接した状態で１つの画像を表示する。サーバ４００は、部分パネルの境界に係る情報を画像処理装置２００から取得する。

　（ａ）はサーバ４００において、画像平面の４領域のそれぞれを横方向に分割し、図に番号で表すように上半分の２領域の上端から左右交互に、下方向に部分画像を生成していく態様を示している。この処理順も画像のラスタ順と類似するが、画像平面を部分パネルに合わせて２行２列に分割し、その境界を跨がないように部分画像を形成する点に特徴を有する。

　この場合、図の右側に示すように、左右の部分パネルを並列に、それぞれ左上から右方向への走査を下方向に繰り返す走査順と部分画像の処理順が対応する。つまりこの表示パネルは、左右の部分パネルを並列に走査し、上下の部分パネルは上から下へ走査が連続する点で、図８の表示パネルと共通している。

　（ｂ）はサーバ４００において、画像平面の４領域のそれぞれを横方向に分割し、図に番号で表すように左上、右上、左下、右下の領域をこの順で循環させて、それぞれ上端から下方向に部分画像を生成していく態様を示している。この場合、図の右側に示すように、４つの部分パネルを並列に、左上からから右方向への走査を下方向に繰り返す走査順と部分画像の処理順が対応する。

　なおいずれの場合もサーバ４００において、圧縮符号化の最小単位が、部分パネルの境界を跨がないように制御することにより、部分パネルごとの独立した表示処理を効率的に実現できる。図７～９に示した態様は一例であり、表示パネルにおける走査順や表示パネルの構成には様々なものがあるため、サーバ４００は同様の原理で適応的に部分画像の生成順を決定すればよい。

　図１０は、画像処理装置２００とのハンドシェイクに基づき、サーバ４００における画素データの読み出し順を決定する原理を説明するための図である。図は画像平面を模式的に表しており、格子状に区切られた最小単位の矩形を各画素とする。サーバ４００において、描画始点１６の画素からラスタ順に画素データが生成される。そのためフレームバッファ４０６には、各画素領域に番号で示される順序で、データが格納される。

　一方、表示パネルにおいては矢印に示すように、画像上の左下を表示始点１８として、上方向への走査を右方向に繰り返すとする。すなわち表示パネルにおいては、画素番号１１２、９６、８０、・・・０、１１３、９７、・・・の順で画像が表示される。このような前提において、サーバ４００の処理順制御部４２３は例えば、画像処理装置２００の処理の粒度によって、画素のデータをフレームバッファ４０６から読み出す順序を適応的に切り替える。

　例えば画像処理装置２００において、画素単位など部分画像より小さい粒度で画素データを処理する場合、画素データの読み出し順はその単位での順序を踏襲し、例えば画素番号１１２、９６、８０、・・・０、１１３、９７、・・・の順とする。この順で画素データを読み出し、部分画像内の画素列を形成することにより、画像処理装置２００では先に取得したデータから処理を開始でき、かつその順で表示を行えるため、表示までの遅延時間が軽減される。

　一方、画像処理装置２００において、部分画像単位でまとめてデータを処理する場合、部分画像内での画素の配列は表示までの時間に影響を与えにくい。したがって例えば、部分画像の中でフレームバッファ４０６に格納された順、すなわち０、１６、３２、・・・といった順で画素データを読み出すことにより、描画から送信へ至る時間を短縮できる場合もある。

　図１１は、画像処理装置２００とのハンドシェイクに基づき、サーバ４００における画素データの読み出し順を決定する別の原理を説明するための図である。図の表し方と画像データの生成順、表示パネルでの走査順は図１０のケースと同様である。画素読み出し順を決定する基本的なポリシーは図１０の場合と同様であるが、この例ではさらに、フレームバッファ４０６の記憶領域へのアクセス効率を考慮した場合を示している。

　サーバ４００の画像生成部４２０は、画素データを画素番号に示される順に生成し、フレームバッファ４０６に格納していく。すなわち画像上のラスタ順に記憶領域（メモリアドレス）が割り当てられる。一方、読み出し順を左下の表示始点１８から縦方向とした場合、画素番号１１２、９６、８０、・・・というように画素データを１つずつ読み出していくと、小さなデータ粒度である画素ごとに不連続なアドレスへのアクセスが必要となり読み出し処理の効率が悪い。

　そこである程度、連続したアドレスから複数の画素データをまとめて読み出すことにより、読み出し速度を向上させる。図示する例では、例えば連続した番号１１２～１１５の画素のように４画素単位での読み出しを、表示始点１８の側から上方向へ走査し、それを右方向に繰り返す態様を示している。すなわち圧縮符号化部４２２は、走査方向と垂直な連続した４画素を読み出し単位とし、その幅で表示パネルの走査方向に対応する方向に画素データを読み出していく。

　ここで読み出し単位とする画素数（読み出し幅２０）は、そのようにしてデータを読み出すことによる高速化と、当該画素のデータが書き込まれるまで待機時間とのバランスに基づき決定する。また最適な読出し幅２０は、フレームバッファへアクセスする系の構成にも依存する。圧縮符号化部４２２がフレームバッファ４０６へアクセスする際には、圧縮符号化部４２２がもつデータアクセスインターフェースが、オンチップ・インターコネクトを介して、フレームバッファ４０６を保持するメモリへアクセスする。この一連の系において、連続アドレスで複数の画素へアクセスする際に、最も効率がよいアクセスデータ長（すなわちバースト長）がある。

　例えば、この系が１２８ビット幅で構築されており、単画素が４バイト(＝３２ビット)であった場合、４画素単位(＝３２ビット×４＝１２８ビット)の転送は、１回にまとめて実行することができる。ここで仮に８画素単位(＝３２ビット×８＝２５６ビット)でアクセスしたとき、１２８ビット分の転送が２回繰り返される。しかし転送に要する時間は、４画素単位の転送を２回行うときよりも短くなりうる。アドレスが連続であることにより、アドレス通知やメモリ参照に要する時間を短縮できるからである。一方、仮に１画素単位(＝３２ビット×１＝=３２ビット)や２画素単位(＝３２ビット×２＝６４ビット)でアクセスしたとき、この系のうち、それぞれ９６ビット、６４ビット分は未使用となり、転送に要する時間も１２８ビット幅を転送したときと変わらない。よってこのような系においては、読出し幅２０を系のバス幅もしくはメモリアクセス幅の自然数倍とすることにより効率良く読み出せる。

　また当該読み出し幅２０の画素データの読み出しを進捗させる方向は、表示パネルにおける走査方向を踏襲しなくてもよい。すなわち読み出しの進捗方向についても、画像生成部４２０によるデータの格納順と、画像処理装置２００における復号伸張順などに鑑み、低遅延化および処理効率において最もよい方向を決定してよい。

　読み出し幅２０の最適値や最適な読み出しの進捗方向は、表示パネルの走査順によっても変化し得るため、ハンドシェイクによって得られる各種情報とそれらの最適値との対応をあらかじめ取得しておき、処理順制御部４２３が適宜選択する。そのようにして選択した読み出し幅２０の画素数は、圧縮符号化の単位である部分画像の幅と同じでもよいし異なっていてもよい。

　ただし読み出し幅２０を、部分画像の幅の１／Ｎ（Ｎは自然数）とすることで、１度のメモリアクセスで読み出した画素データを同じ圧縮符号化データに含めることができ効率がよい。図の例では、読み出し幅２０を４画素として縦方向に読み進めていくことにより、画像の一列分で４×８画素の縦長の領域２２が読み出されるが、この場合、部分画像も４×８画素とするか、８×８画素などとすることが考えられる。

　図１２は、本実施の形態の圧縮符号化部４２２がフレームバッファ４０６から複数の画素単位でデータを読み出す場合の処理の手順を示すフローチャートである。まずパラメータｉを０に初期化するとともに（Ｓ１０）、パラメータＡ_０に、フレームバッファ４０６の先頭アドレスを代入する（Ｓ１２）。次にパラメータＡ_０に(x+1)*(y-i)*Bを加算して読み出し先のアドレスＡを算出する（Ｓ１４）。ここで（ｘ，ｙ）はフレームの（横方向の画素数－１，縦方向の画素数－１）であり、図１１の例ではｘ＝１５、ｙ＝７である。またＢ（バイト）は１画素のデータサイズである。

　図１１の例では、アドレスＡは画素番号１１２のアドレスを示す。そして圧縮符号化部４２２は、アドレスＡからW*B分のデータを読み出す（Ｓ１６）。ここでＷは読み出し幅（画素数）であり、図１１の例ではＷ＝４である。次にパラメータｉをインクリメントし（Ｓ１８）、その値がｙに到達していなければ（Ｓ２０のＮ）、Ｓ１４からＳ１８までの処理を繰り返す。図１１の例では当該処理が８回繰り返された結果、領域２２のデータが読み出される。

　パラメータｉをインクリメントした値がｙに到達したら（Ｓ２０のＹ）、パラメータＡ_０にW+Bを加算したアドレスを新たなＡ_０とする（Ｓ２２）。この処理は、図１１において読み出し先の領域を、領域２２から４画素分、左にずらしたことに相当する。新たなパラメータＡ_０が(x+1)*B、すなわちフレームの最上段の最終アドレスに到達していなければ（Ｓ２４のＮ）、Ｓ１４からＳ２２までの処理を繰り返す。パラメータＡ_０が(x+1)*Bに到達したら、当該フレームの読み出し処理が完了する（Ｓ２４のＹ）。図１１の例ではＳ１４からＳ２２が４回繰り返された結果、フレーム全体の画素データが読み出される。

　なお図１２に示した処理手順は図１１に示した読み出し順を前提としているが、読み出し順が異なれば当然、Ｓ１４のパラメータＡ、Ｓ２２のパラメータＡ_０の計算式が異なることは当業者には理解されるところである。例えば図７の（ｂ）に示す順序であれば、画像平面の上から下への、読み出し幅Ｗ画素単位の読み出しを、左方向に繰り返していくような計算式によりパラメータＡ、Ａ_０を算出する。また図８の（ｂ）ような読み出し順では、画像平面の左右の領域から交互に読み出されるような計算式によりパラメータＡ_０を算出する。

　次に、サーバ４００と画像処理装置２００とのハンドシェイクによって取得されるパラメータと、それによって最適化されるサーバ４００での処理内容について説明する。図１３は、サーバ４００と画像処理装置２００とのハンドシェイクによって取得されるパラメータを説明するための図である。（ａ）に示すように、ランドスケープ型の表示パネルを横長にして画像を表示する場合、画像処理装置２００から例えば次の情報が送信される。

　走査始点：ａ
　走査方向：ａからｂ
　部分パネルの数：１
　同時／並列走査する部分パネルの数：１
　連続走査を行う部分パネルの数：１
　部分パネルの走査順：１
　パネルの上端の辺：ａｂ
ここで「ａ」、「ｂ」、「ｃ」、「ｄ」は図示するように画面の４頂点である。

　画像処理装置２００からはそのほか、圧縮伸張方式が対応可能な最小単位領域２４における走査線数（幅）Ｓと走査方向の画素数Ｔ、走査制御が可能な最小単位領域における走査線数（幅）と走査方向の画素数、の少なくともいずれかも取得してよい。走査制御が可能な最小単位領域は、表示パネルが複数の部分パネルで構成されるか否かや、表示のモードなどに依存する。以後の態様でも同様である。

　図示する例では例えばＳ＝２、Ｔ＝１６である。（ｂ）に示すように、ポートレート型の表示パネルを横長にして画像を表示する場合、画像処理装置２００から例えば次の情報が送信される。
　走査始点：ｃ
　走査方向：ｃからａ
　部分パネルの数：１
　同時／並列走査する部分パネルの数：１
　連続走査を行う部分パネルの数：１
　部分パネルの走査順：１
　パネルの上端の辺：ａｂ

　（ｃ）に示すように、（ｂ）のポートレート型の表示パネルを縦向きにした場合、画像処理装置２００から例えば次の情報が送信される。
　走査始点：ｃ
　走査方向：ｃからａ
　部分パネルの数：１
　同時／並列走査する部分パネルの数：１
　連続走査を行う部分パネルの数：１
　部分パネルの走査順：１
　パネルの上端の辺：ｂｄ

　図１４は、サーバ４００と画像処理装置２００とのハンドシェイクによって取得されるパラメータの別の例を説明するための図である。同図はヘッドマウントディスプレイ１００における左右の表示パネルを想定している。（ａ）に示すように、２つの部分パネルを１つのパネルのように連続して走査する表示パネルの場合、画像処理装置２００から例えば次の情報が送信される。

　走査始点：ａ
　走査方向：ａからｂ
　部分パネルの数：２
　同時／並列走査する部分パネルの数：２
　連続走査を行う部分パネルの数：２（走査制御可能な最小単位領域の走査方向の画素数：１の左端から２の右端まで）
　部分パネルの走査順：ＡからＢ
　パネルの上端の辺：ａｂ
ここで「Ａ」、「Ｂ」は図示するように、左右の部分パネルの識別番号である。（ｂ）に示す、２つの部分パネルを並列に走査する表示パネルの場合、画像処理装置２００から例えば次の情報が送信される。

　走査始点：ａ
　走査方向：ａからｂ
　部分パネルの数：２
　同時／並列走査する部分パネルの数：２
　連続走査を行う部分パネルの数：１（走査制御可能な最小単位領域の走査方向の画素数：１の左端から右端まで、および２の左端から右端まで）
　部分パネルの走査順：ＡとＢで並列
　パネルの上端の辺：ａｂ
（ｃ）に示すように、２つの部分パネルを個別に、順番に走査する表示パネルの場合、画像処理装置２００から例えば次の情報が送信される。

　走査始点：ａ
　走査方向：ａからｂ
　部分パネルの数：２
　同時／並列走査する部分パネルの数：１
　連続走査を行う部分パネルの数：１（走査制御可能な最小単位領域の走査方向の画素数：１の左端から右端まで、および２の左端から右端まで）
　部分パネルの走査順：ＡからＢ
　パネルの上端の辺：ａｂ

　なお走査制御可能な最小単位領域の走査方向の画素数は可変としてよい。例えば表示パネルのモードとして、９６０画素、１０００画素、１０２４画素のいずれかが選択され、画像処理装置２００はこれを把握したうえ、サーバ４００に送信してよい。

　そのほかサーバ４００は例えば、サーバ４００側の対応可能範囲を示す次の情報を把握する。ここで「幅」とはこれまで述べたように、走査方向と垂直方向の画素数である。
１．描画可能な解像度、フレームレート、画素データのフォーマット
２．対応可能で効率がよい読み出し単位の画素数（読み出し幅Ｕ）
３．複数の画素単位で読み出す場合に効率がよい読み出しの進捗方向
４．圧縮伸張方式における対応可能な単位領域（最小の幅Ｓと走査方向の画素数Ｔ）
５．対応可能な部分画像の幅Ｖ
６．部分画像を保持するバッファメモリ（部分画像記憶部）の容量

　これらの情報からサーバ４００の処理順制御部４２３は、例えば次のようにサーバ４００での処理内容を決定する。
　部分画像の生成順：表示パネルにおける走査開始位置を含む位置から、走査方向と平行に部分画像を生成することで低遅延化する。
　部分画像の幅：処理可能な部分画像の幅Ｖの自然数倍、読み出し幅Ｕの自然数倍、走査制御が可能な最小単位領域の幅の自然数倍、圧縮符号化方式が対応可能な単位領域の最小幅Ｓの自然数倍、を満たす値とする。例えばそれらのパラメータの最小公倍数とすることにより、小粒度化による処理系全体の低遅延化を図ってもよい。
　部分画像の走査長：走査制御が可能な最小単位領域の走査方向の画素数の自然数倍、圧縮伸張方式が対応可能な最小単位領域における走査方向の画素数Ｔの自然数倍であり、表示パネルが対応可能な走査長とする。ここで表示パネルが部分パネルで構成されている場合、表示パネルが対応可能な走査長には連続走査するパネルを一体として扱うか否かも考慮する。

　また上述のとおり、読み出し単位を複数画素とする場合、画像処理装置２００における復号伸張処理において、低遅延化に有利となる画素データの到着順が存在する場合は、サーバ４００はその情報を画像処理装置２００から取得したうえ、当該順序に応じて読み出しの進捗方向を決定する。進捗方向を低遅延化に有利な画素順と異ならせる場合は、１回の圧縮符号化の対象範囲を、圧縮伸張方式が対応可能な最小単位領域における走査方向の画素数Ｔにとどめる。また１回の圧縮符号化の単位は、部分画像を超えない範囲で、連続走査を許容するか否かを考慮して決定する。

　加えて、転送や圧縮伸張など表示までに要する処理時間のジッタを考慮して部分画像のデータサイズを決定してもよい。具体的には表示におけるデータのアンダーフローを避けるために必要な部分画像の数を計算し、画像処理装置２００が保持するバッファメモリ（部分画像記憶部）の容量に、当該数分のデータを格納できるように部分画像のデータサイズを決定してもよい。

　ここで画像処理装置２００は継続的にジッタを取得して、ハンドシェイクにより当該情報をサーバ４００と随時共有する。これによりサーバ４００は、アンダーフローを避けるために必要な部分画像の数を更新し、それに基づき部分画像のデータサイズを随時決定し直す。また１回の圧縮符号化の対象範囲が広い方が、圧縮効率が上がり画質が改善することを踏まえ、遅延が許容できる範囲において、生成する部分画像のサイズと１回の圧縮符号化対象範囲を大きくすることにより画質の改善を図ってもよい。

　さらに上記ハンドシェイクにより画像生成部４２０が、描画するフレームの解像度や画素データのフォーマットを適切に決定してもよい。例えば画像生成部４２０はそれらのパラメータを、表示装置が対応可能な範囲内で、フレームレートや圧縮率の見込みなどの観点から推定される転送データサイズが利用可能転送帯域に収まるように選択する。複数のフォーマットや圧縮方式（圧縮率）を選択できる場合、画像生成部４２０や圧縮符号化部４２２は、よりビット深度が大きく、圧縮率が低い組み合わせを選択することにより画質を最良とする。

　図１５は、サーバ４００の圧縮符号化部４２２が、フレームバッファ４０６からのデータ読み出し順を決定するフローチャートである。まず圧縮符号化部４２２は、サーバ４００と画像処理装置２００とのハンドシェイクにより、部分画像のサイズと読み出し幅Ｕを決定する（Ｓ３０。次に圧縮符号化部４２２は、画像生成部４２０によるフレームバッファ４０６への最終的な画像データの書き込み順が走査順と同じか否かを確認する（Ｓ３２）。

　画像生成部４２０すなわちＧＰＵによるフレームバッファ４０６へのデータ書き込み順は、描画方法によっては走査順と一致しない場合があるためである。書き込み順が走査順と同じ場合（Ｓ３２のＹ）、圧縮符号化部４２２は、画像生成部４２０がフレームバッファ４０６へ画素のデータを書き込むのと並行して当該データを読み出すように設定する（Ｓ３４）。書き込み順が走査順と同じでなければ（Ｓ３２のＮ）、圧縮符号化部４２２は、フレームバッファ４０６に１フレーム分のデータが書き込まれてから読み出しを開始するよう設定する（Ｓ３４）。

　いずれの場合も圧縮符号化部４２２は、画像生成部４２０によるフレームバッファ４０６への書き込み順が、表示パネルの走査順と一致しているか否かを確認する（Ｓ３８）。一致している場合（Ｓ３８のＹ）、圧縮符号化部４２２は、画像生成部４２０によりフレームバッファ４０６へ書き込まれたデータを、その順序で読み出す（Ｓ４０）。画像生成部４２０による書き込みと並行して読み出しを行う場合、画像生成部４２０と圧縮符号化部４２２は連携して、読み出し処理が書き込み処理を追い越さないように制御する。

　フレームバッファ４０６への書き込み順が表示パネルの走査順と一致しない場合（Ｓ３８のＮ）、圧縮符号化部４２２は、１つの部分画像内において、データの供給順と表示パネルの走査順を完全に一致させる必要があるか否かを確認する（Ｓ４２）。一致させる必要があるか否かは、サーバ４００の圧縮符号化部４２２、画像処理装置２００の復号伸張部２４２、画像処理部２４４、表示制御部２４６が対応可能な範囲に基づいて決定する。

　データの供給順と表示パネルの走査順を完全に一致させる必要がある場合（Ｓ４２のＹ）、圧縮符号化部４２２は、読み出し効率より表示パネルの走査順を優先させた順序で、フレームバッファ４０６から画素のデータを読み出す（Ｓ４４）。このとき画素単位の読み出しが必要であれば、読み出し幅Ｕは１画素となる。データの供給順と表示パネルの走査順を完全に一致させる必要がなければ（Ｓ４２のＮ）、圧縮符号化部４２２は、圧縮符号化部４２２や画像処理装置２００における処理の観点から、低遅延化に有利となる画素データの到着順が存在するか否かを確認する（Ｓ４６）。

　低遅延化に有利な到着順が存在する場合（Ｓ４６のＹ）、圧縮符号化部４２２は、１つの部分画像内におけるデータ読み出し順を、当該低遅延化に有利な順序とする（Ｓ４８）。この際、圧縮符号化部４２２は、図１０、１１で示したような、画像平面の縦方向、横方向における読み出し順、ひいては図１２のパラメータＡ、Ａ_０の計算式を決定する。そして圧縮符号化部４２２は、決定した順序でフレームバッファ４０６から画素のデータを読み出す（Ｓ５０）。

　低遅延化に有利な画素データの到着順が存在しなければ（Ｓ４６のＮ）、圧縮符号化部４２２は、１つの部分画像内におけるデータ読み出し順を、処理効率のみに基づく順序とする（Ｓ５２）。この場合も圧縮符号化部４２２は、決定した順序に基づき、画像平面の縦方向、横方向における読み出し順、ひいては図１２のパラメータＡ、Ａ_０の計算式を決定する。なおこの場合、画像処理装置２００の復号伸張部２４２において、接続位置制御部２４３は、サーバ４００から送信された画素列の順序を必要に応じて入れ替えることにより、データを再構築する。そして圧縮符号化部４２２は、決定した順序でフレームバッファ４０６から画素のデータを読み出す（Ｓ５０）。

　図１６は、様々なケースにおいて圧縮符号化部４２２がフレームバッファ４０６からデータを読み出す順序を例示している。（ａ）、（ｂ）、（ｃ）、（ｄ）の４つのケースにおいて図の表し方は図１０と同様であり、画像生成部４２０はラスタ順に画素データを書き込むとする。また表示パネルでは、画像平面の左下の表示始点１８から上方向への走査を右方向に進めるとする。

　まず（ａ）のケースは、採用する圧縮伸張方式が対応可能な最小単位領域の走査方向の画素数Ｔが画像平面の走査方向の画素数と一致し、当該領域の幅Ｓが１画素、サーバ４００が対応可能な部分画像の幅Ｖが４画素、読み出し幅Ｕが１画素の場合である。このとき圧縮符号化部４２２は実線矢印で示すように、表示始点１８から画像平面の上方向への１画素の幅での読み出しを右方向に進めていく。そして圧縮符号化部４２２は、１行分のデータごとに圧縮符号化するなどして４行分の圧縮符号化データを部分画像のデータとする。

　（ｂ）のケースは、（ａ）のケースに対し、圧縮伸張方式が対応可能な最小単位領域の幅Ｓが４画素、読み出し幅Ｕを４画素としている。このとき圧縮符号化部４２２は実線矢印で示すように、表示始点１８から４画素の幅での画像平面の上方向への読み出しを右方向に進めていく。そして圧縮符号化部４２２は、４行分のデータごとに圧縮符号化し、当該データを部分画像のデータとする。

　（ｃ）のケースは、（ｂ）のケースに対し、圧縮伸張方式が対応可能な最小単位領域の走査方向の画素数Ｔを半分とし、読み出し幅Ｕを２画素としている。このとき圧縮符号化部４２２は、（ｂ）と同様に表示始点１８から４画素の幅で画像平面の上方向への読み出しを右方向に進めていくが、図の実線および太線破線の矢印で示すように、４画素分の読み出しを２回のメモリアクセスで分割して行う。また圧縮符号化部４２２は、上方向への読み出しが画素数Ｔだけ進む都度、読み出したデータを圧縮符号化できる。

　（ｄ）のケースは、（ｃ）のケースに対し、圧縮伸張方式が対応可能な最小単位領域の走査方向の画素数Ｔをさらに半分とし、読み出し幅Ｕを８画素としている。このとき圧縮符号化部４２２は実線矢印で示すように、表示始点１８から８画素の幅で画像平面の上方向への読み出しを右方向に進めていく。また圧縮符号化部４２２は、上方向への読み出しが画素数Ｔだけ進む都度、読み出したデータを４画素の幅ごとに圧縮符号化できる。なお圧縮符号化部４２２に追加メモリを設け、幅Ｕで読み出したデータのうち、次の部分画像の分については必要になるまで保持することで、メモリアクセスの頻度を削減してもよい。

　図１７は、サーバ４００と画像処理装置２００のハンドシェイクによる各種パラメータの設定例を説明するための図である。ここで表示パネルは図の右側に示すように、４つの部分パネルＡ、Ｂ、Ｃ、Ｄを横方向に接続した構成とし、部分パネルごとの表示始点１８ａ、１８ｂ、１８ｃ、１８ｄが左上にあるとする。また図において各部分パネルの四隅を、左上、右上、左下、右下の順に（ａ１，ｂ１，ｃ１，ｄ１）（ａ２，ｂ２，ｃ２，ｄ２）、（ａ３，ｂ３，ｃ３，ｄ３）、（ａ４，ｂ４，ｃ４，ｄ４）とする。ハンドシェイクにおいて、サーバ４００からは、次のようなパラメータが送信される。
　対応可能な読み出し幅Ｕ：４，８，１６
　圧縮伸張方式における対応可能な単位領域の幅Ｓ：８，１６，３２
　圧縮伸張方式における対応可能な単位領域の走査方向の画素数Ｔ：３２，６４
　描画可能な最大解像度：４０００×２１６０画素

　一方、画像処理装置２００からは表示パネルについて次のようなパラメータが送信される。
　全体の表示始点：ａ１
　走査方向：ａ１からｂ１
　部分パネルの数：４
　同時／並列走査する部分パネルの数：４
　連続走査を行う部分パネルの数：１
　部分パネルの走査順：Ａ，Ｂ，Ｃ，Ｄ
　パネルの上端の辺：ａ１－ｂ１

　また処理内容について画像処理装置２００から次のようなパラメータが送信される。
　圧縮伸張方式における対応可能な単位領域の幅Ｓ：１６
　圧縮伸張方式における対応可能な単位領域の走査方向の画素数Ｔ：５０，６４
　対応可能な部分画像の幅Ｖ：３２
　走査制御が可能な最小単位領域の走査方向の画素数：９６０，１０００，１０２４

　この場合、サーバ４００の圧縮符号化部４２２は図の左側に示すように、部分パネルの境界を跨がないように部分画像を形成し、画像の左上からラスタ順に圧縮符号化データを生成していく。図では形成される部分画像の一部をグレーの矩形領域で示し、その処理順を番号で示している。ここで４０００×２１６０画素の画像を対象とし、部分画像のサイズを１０００×３２とした場合、当該部分画像を均等分割して圧縮符号化の単位領域を形成するには、単位領域の走査方向の画素数Ｔを５０などとする必要がある。ところが上述の例では、サーバ４００側での画素数Ｔが５０画素に対応していないため画素数Ｔとして６４画素を選択する。その結果、６４画素の倍数として部分画像の走査方向の画素数が９６０画素となる。

　このようなハンドシェイクにより、画像生成部４２０や圧縮符号化部４２２の処理に用いる各種パラメータを、例えば次のように設定する。
　部分画像の生成順：ａ１からｂ１、ａ２からｂ２、ａ３からｂ３、ａ４からｂ４
　部分画像内のデータ順：走査方向と平行かつ同じ方向
　部分画像のサイズ（画素）：走査方向９６０、幅３２
　読み出し幅Ｕ：１６
　圧縮符号化の最小単位領域の幅Ｓ：１６
　圧縮符号化の最小単位領域の走査方向の画素数Ｔ：６４
　描画解像度（画素）：３８４０×２１６０
これにより画像処理装置２００は、サーバ４００から送信されたグレーの矩形領域のような部分画像のデータをそれぞれ処理し、番号で示す順に表示パネルの各部分パネルに出力していく。

　図１８は、サーバ４００と画像処理装置２００のハンドシェイクによる各種パラメータの設定の別の例を説明するための図である。図の右側に示す表示パネルの構成は図１７と同じであるが、部分パネルごとの表示始点１８ａ、１８ｂ、１８ｃ、１８ｄが左下にあり、そこから上方向への走査を右方向に進めていく状態とする。それ以外の条件が同一であれば、ハンドシェイクにおいてサーバ４００から送信される情報は、図１７の場合から変化しない。

　一方、画像処理装置２００からは表示パネルについて次のようなパラメータが送信される。
　全体の表示始点：ｃ１
　走査方向：ｃ１からａ１
　部分パネルの数：４
　同時／並列走査する部分パネルの数：４
　連続走査を行う部分パネルの数：１
　部分パネルの走査順：Ａ，Ｂ，Ｃ，Ｄ
　パネルの上端の辺：ｃ１－ａ１

　処理内容について画像処理装置２００から送信される情報は図１７の場合から変化しない。その結果、画像生成部４２０や圧縮符号化部４２２の処理に用いる各種パラメータは、例えば次のように設定される。
　部分画像の生成順：ｃ１からａ１、ｃ２からａ２、ｃ３からａ３、ｃ４からａ４
　部分画像内のデータ順：走査方向と平行かつ同じ方向
　部分画像のサイズ（画素）：走査方向２１６０、幅３２
　読み出し幅Ｕ：１６
　圧縮符号化の最小単位領域の幅Ｓ：１６
　圧縮符号化の最小単位領域の走査方向の画素数Ｔ：６４
　描画解像度（画素）：３８４０×２１６０

　この場合、サーバ４００の圧縮符号化部４２２は図の左側に示すように、例えばグレーの矩形領域のような部分画像を形成し、番号で示す順に圧縮符号化データを生成していく。すなわち部分パネルに対応する各領域の左端から右方向へ、４領域を循環するように部分画像を形成する。これにより画像処理装置２００は、番号で示すような順序でサーバ４００から送信された部分画像を順次処理し、その順序で表示パネルの各部分パネルに出力していく。

　以上述べた本実施の形態によれば、動画像のデータをクライアントである画像処理装置２００に転送する形態のシステムにおいて、転送元のサーバ４００は、クライアントの表示パネルの走査順に係る情報を取得し、それに応じた順序で送信対象のデータを形成する。これにより、フレームバッファからの読み出し、圧縮符号化、転送、クライアントでの復号伸張、画像処理を、表示上で先に必要なデータを優先させて進捗させることができる。特にフレーム平面を分割してなる部分画像単位でそれらの処理を並列に行うことにより、表示パネルの走査順によらず、低遅延での動画表示が可能になる。

　結果として、横長の画面を縦方向に走査するディスプレイ、ユーザが把持する向きによって表示させる画像の向きを切り替える形式の携帯端末、複数のパネルで構成されるディスプレイなど、様々な表示装置や端末で安定した表示を実現できる。また表示パネルの走査順に合わせた順序で部分画像を形成するのみならず、各部分画像を構成する画素のデータのフレームバッファからの読み出し順を、クライアント側での処理の順序に応じて切り替えることにより、画素データの待機時間やメモリアクセス時間を最小限に抑え、さらなる低遅延化を実現できる。

　以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

　以上のように本発明は、画像データ転送装置、コンテンツサーバ、画像処理装置、コンテンツ処理装置などの各種機器や、それらのいずれかを含むシステムなどに利用可能である。

　１　画像表示システム、　１００　ヘッドマウントディスプレイ、　２００　画像処理装置、　２４０　画像データ取得部、　２４２　復号伸張部、　２４３　接続位置制御部、　２４４　画像処理部、　２４６　表示制御部、　２４７　表示方式取得部、　３０２　平板型ディスプレイ、　３０３　携帯端末、　４００　サーバ、　４０６　フレームバッファ、　４２０　画像生成部、　４２２　圧縮符号化部、　４２３　処理順制御部、　４２４　パケット化部、　４２６　通信部。

Claims

　クライアント端末に動画像のデータを転送する画像データ転送装置であって、
　前記動画像を構成するフレームのデータを生成しメモリに書き込む描画部と、
　前記クライアント端末に接続された表示パネルの走査順に係る情報を取得する表示方式情報取得部と、
　前記フレームの画素のデータを、前記走査順に係る情報に基づく順序で前記メモリから読み出し、圧縮符号化する圧縮符号化部と、
　圧縮符号化されたフレームのデータを、前記クライアント端末にストリーミング転送する通信部と、
　を備えたことを特徴とする画像データ転送装置。
　前記圧縮符号化部は、前記走査順に係る情報に基づき決定した境界線でフレーム平面を分割してなる部分画像単位で、前記フレームのデータを圧縮符号化することを特徴とする請求項１に記載の画像データ転送装置。
　前記通信部は、前記走査順に係る情報に基づき決定した順序で、圧縮符号化された前記フレームのデータを転送することを特徴とする請求項２に記載の画像データ転送装置。
　前記表示方式情報取得部は、前記表示パネルが複数の部分パネルで構成されるとき、当該複数の部分パネルの走査順に係る情報を取得し、
　前記圧縮符号化部は、前記複数の部分パネルの走査順に応じて前記メモリから画素のデータを読み出す順序を切り替えることを特徴とする請求項１から３のいずれかに記載の画像データ転送装置。
　前記表示方式情報取得部は、前記表示パネルの向きに係る情報を取得し、
　前記圧縮符号化部は、前記メモリから画素のデータを読み出す順序を、前記表示パネルの向きの変化に応じて変化させることを特徴とする請求項１から４のいずれかに記載の画像データ転送装置。
　前記圧縮符号化部は、前記画素のデータの読み出しにおいて、所定数の連続した画素を読み出し単位とし、その幅での読み出しを前記表示パネルの走査方向に対応する方向に進捗させることを特徴とする請求項１から５のいずれかに記載の画像データ転送装置。
　前記圧縮符号化部は、前記画素のデータの読み出しにおいて、所定数の連続した画素を読み出し単位とし、その幅での読み出しを、前記クライアント端末における前記画素のデータの処理順に基づく方向に進捗させることを特徴とする請求項１から５のいずれかに記載の画像データ転送装置。
　前記圧縮符号化部は、前記読み出し単位の画素数のＮ倍（Ｎは自然数）の幅を有する部分画像単位で、前記フレームのデータを圧縮符号化することを特徴とする請求項６または７に記載の画像データ転送装置。
　前記表示方式情報取得部は、前記クライアント端末が処理可能な前記部分画像の幅、前記表示パネルが走査制御可能な最小単位領域の幅、および圧縮符号化方式が対応可能な単位領域の最小幅に係る情報を取得し、
　前記圧縮符号化部はさらに、前記部分画像の幅を当該情報に基づき決定することを特徴とする請求項８に記載の画像データ転送装置。
　前記圧縮符号化部は、前記読み出し単位の画素数を、前記メモリへのアクセスに用いるバス幅またはメモリアクセス幅の自然数倍とすることを特徴とする請求項６から９のいずれかに記載の画像データ転送装置。
　前記表示方式情報取得部は、前記クライアント端末における前記部分画像のバッファメモリの容量に係る情報を取得し、
　前記圧縮符号化部は、前記表示パネルへの表示までに要する処理時間のジッタに基づき、前記クライアント端末におけるバッファリングに必要な前記部分画像の数を計算し、当該数と前記バッファメモリの容量に応じて前記部分画像のデータサイズを決定することを特徴とする請求項８または９に記載の画像データ転送装置。
　前記描画部は、描画するフレームの解像度および画素データのフォーマットを、前記クライアント端末とのハンドシェイクにより決定することを特徴とする請求項１から１１のいずれかに記載の画像データ転送装置。
　前記表示パネルが複数の部分パネルで構成されるとき、前記圧縮符号化部は、前記部分パネルの境界を跨がないように前記部分画像を形成することを特徴とする請求項２または３に記載の画像データ転送装置。
　前記表示方式情報取得部は、前記表示パネルが複数の部分パネルで構成されるとき、前記圧縮符号化部は、圧縮符号化の最小単位が前記部分パネルの境界を跨がないように制御することを特徴とする請求項１から１３のいずれかに記載の画像データ転送装置。
　前記表示パネルが複数の部分パネルで構成されるとき、前記圧縮符号化部は、各部分パネルに表示させる画像を分けて圧縮符号化することを特徴とする請求項１から１４のいずれかに記載の画像データ転送装置。
　動画像のデータを転送するサーバと、当該動画像のデータを受信して表示パネルに表示させるクライアント端末と、を含む画像表示システムであって、
　前記クライアント端末は、
　接続された表示パネルの走査順に係る情報を取得し、前記サーバに送信する表示方式取得部を備え、
　前記サーバは、
　前記動画像を構成するフレームのデータを生成しメモリに書き込む描画部と、
　前記走査順に係る情報を取得する表示方式情報取得部と、
　前記フレームの画素のデータを、前記走査順に係る情報に基づく順序で前記メモリから読み出し、圧縮符号化する圧縮符号化部と、
　圧縮符号化されたフレームのデータを、前記クライアント端末にストリーミング転送する通信部と、
　を備えたことを特徴とする画像表示システム。
　　クライアント端末に動画像のデータを転送する画像データ転送装置が、
　前記動画像を構成するフレームのデータを生成しメモリに書き込むステップと、
　前記クライアント端末に接続された表示パネルの走査順に係る情報を取得するステップと、
　前記フレームの画素のデータを、前記走査順に係る情報に基づく順序で前記メモリから読み出し、圧縮符号化するステップと、
　圧縮符号化されたフレームのデータを、前記クライアント端末にストリーミング転送するステップと、
　を含むことを特徴とする画像データ転送方法。
　　クライアント端末に動画像のデータを転送するコンピュータに、
　前記動画像を構成するフレームのデータを生成しメモリに書き込む機能と、
　前記クライアント端末に接続された表示パネルの走査順に係る情報を取得する機能と、
　前記フレームの画素のデータを、前記走査順に係る情報に基づく順序で前記メモリから読み出し、圧縮符号化する機能と、
　圧縮符号化されたフレームのデータを、前記クライアント端末にストリーミング転送する機能と、
　を実現させることを特徴とするコンピュータプログラム。