WO2021193362A1

WO2021193362A1 - 画像処理装置および画像処理方法

Info

Publication number: WO2021193362A1
Application number: PCT/JP2021/011135
Authority: WO
Inventors: 活志大塚; 正和谷川
Original assignee: 株式会社ソニー・インタラクティブエンタテインメント
Priority date: 2020-03-26
Filing date: 2021-03-18
Publication date: 2021-09-30
Also published as: US12046218B2; JP7321961B2; US20230086916A1; JP2021158508A

Abstract

画像処理装置２００の画像データ取得部２４０は、サーバ４００が生成した動画像のフレームのデータを取得する。復号伸張部２４２は、動画像のフレームレートより高いレートで各フレームの復号伸張処理のサイクルを繰り返す。画像処理部２４４は、動画像のフレームレートより高いレートで各フレームに必要な画像処理を行うサイクルを繰り返す。表示制御部２４６は、動画像のフレームレートより高いレートで、表示可能な状態のフレームのデータを表示パネルに出力する。

Description

画像処理装置および画像処理方法

　この発明は、表示対象の動画像のデータを処理する画像処理装置および画像処理方法に関する。

　近年の情報処理技術や画像表示技術の向上により、様々な形態で映像世界を体験することができるようになってきた。例えばヘッドマウントディスプレイにパノラマ映像を表示し、ユーザの視線に対応する画像を表示させることにより、映像世界への没入感を高めたり、ゲームなどのアプリケーションの操作性を向上させたりできる。また、潤沢なリソースを有するサーバからストリーミング転送された画像データを表示させることにより、ユーザは場所や規模によらず高精細な動画像やゲーム画面を楽しむことができる。

　ネットワークを介して伝送された画像のデータをクライアント端末に即時表示させる技術においては、当該クライアント端末とサーバ間の通信やそれぞれにおける処理のタイミング、処理時間に依存した遅延時間が問題となり得る。例えばクライアント端末側でのユーザ操作を表示画像に反映させる場合、ユーザ操作のサーバへの送信と、サーバからクライアント端末への画像データの送信といったデータの行き来が必要になり、看過できない遅延時間を生むことがある。ヘッドマウントディスプレイを表示先とする場合は、ユーザの頭部の動きに対し表示が遅れることにより、臨場感が損なわれたり映像酔いを引き起こしたりすることも考えられる。この問題は、高い画質を追求するほど顕在化しやすい。

　本発明はこうした課題に鑑みてなされたものであり、その目的は、通信によるデータ伝送を伴う画像表示において、画質と遅延時間の低減を両立させることのできる技術を提供することにある。

　上記課題を解決するために、本発明のある態様は画像処理装置に関する。この画像処理装置は、一体的に設けられていない外部装置から動画像を構成するフレームのデータを取得する画像データ取得部と、フレームのデータに所定の処理を施し表示可能な状態とする画像処理部と、動画像のフレームレートを参照し、表示可能な状態のフレームのデータを表示パネルに出力する機会を動画像のフレームレートより多く提供する表示制御部と、を備えたことを特徴とする。

　本発明の別の態様は画像処理方法に関する。この画像処理方法は画像処理装置が、一体的に設けられていない外部装置から動画像を構成するフレームのデータを取得するステップと、フレームのデータに所定の処理を施し表示可能な状態とするステップと、動画像のフレームレートを参照し、表示可能な状態の前記フレームのデータを表示パネルに出力する機会を動画像のフレームレートより多く提供するステップと、を含むことを特徴とする。

　なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。

　本発明によれば、通信によるデータ伝送を伴う画像表示において、画質と遅延時間の低減を両立させることができる。

本実施の形態における画像表示システムの構成例を示す図である。本実施の形態のヘッドマウントディスプレイの外観例を示す図である。本実施の形態におけるサーバと画像処理装置の基本的な構成を示す図である。本実施の形態における、画像の描画から表示までの処理の様子を概念的に示す図である。本実施の形態においてサーバと画像処理装置が、部分画像単位でパイプライン処理を行う効果を説明するための図である。本実施の形態において画像処理装置の処理レートを動画像のフレームレートより高くする効果を説明するための図である。本実施の形態のサーバおよび画像処理装置の機能ブロックの構成を示す図である。本実施の形態において復号伸張処理のレートを動画像のフレームレートより高くしたときの、各フレームの処理時間について説明するための図である。本実施の形態における、表示パネルへの出力レートと復号伸張処理のレートの様々な組み合わせによる表示の変化を説明するための図である。本実施の形態における画像処理装置の処理レート制御部が、垂直同期信号の発生タイミングを調整する原理を説明するための図である。

　図１は、本実施の形態における画像表示システムの構成例を示す。画像表示システム１は、画像処理装置２００、ヘッドマウントディスプレイ１００、平板型ディスプレイ３０２、およびサーバ４００を含む。画像処理装置２００は、ヘッドマウントディスプレイ１００および平板型ディスプレイ３０２と、無線通信またはＵＳＢ　Ｔｙｐｅ－Ｃ、ＨＤＭＩ（登録商標）などのインターフェース３００により接続される。画像処理装置２００はさらに、インターネットやＬＡＮ（Local Area Network）などのネットワーク３０６を介してサーバ４００に接続される。

　サーバ４００は、画像データ転送装置として、表示対象の画像の少なくとも一部を生成して画像処理装置２００に送信する。ここでサーバ４００は、クラウドゲームなど各種配信サービスを提供する企業などのサーバでもよいし、任意の端末にデータを送信する家庭内サーバなどでもよい。したがってネットワーク３０６は、インターネットなどの公衆ネットワークやＬＡＮなど、その規模は限定されない。例えばネットワーク３０６は携帯電話キャリアネットワークや、街中にあるＷｉ－Ｆｉスポット、家庭にあるＷｉ－Ｆｉアクセスポイントを経由したものでもよい。あるいは画像処理装置２００とサーバ４００は、ビデオインターフェースにより直接接続されてもよい。

　画像処理装置２００は、サーバ４００から送信された画像のデータに必要な処理を施し、ヘッドマウントディスプレイ１００および平板型ディスプレイ３０２の少なくともいずれかに出力する。例えばサーバ４００は、各自ヘッドマウントディスプレイ１００を装着した複数のユーザの頭部の動きやユーザ操作を、各ヘッドマウントディスプレイ１００に接続された複数の画像処理装置２００から受信する。そして、ユーザ操作に応じて変化させた仮想世界を、各ユーザの頭部の動きに対応する視野で描画したうえ、それぞれの画像処理装置２００に送信する。

　画像処理装置２００は送信された画像のデータを、必要に応じて、ヘッドマウントディスプレイ１００や平板型ディスプレイ３０２に適した形式に変換したうえ、適切なタイミングでヘッドマウントディスプレイ１００や平板型ディスプレイ３０２に出力する。このような処理を、動画像のフレームごとに繰り返せば、複数のユーザが参加するクラウドゲームシステムを実現できる。

　この際、画像処理装置２００は、サーバ４００から送信された画像に、別途準備したＵＩ（User Interface）プレーン画像（あるいはＯＳＤ（On Screen Display)プレーン画像とも呼ぶ)や、ヘッドマウントディスプレイ１００が備えるカメラによる撮影画像を合成してから、ヘッドマウントディスプレイ１００や平板型ディスプレイ３０２に出力してもよい。

　画像処理装置２００はまた、サーバ４００から送信された画像を、ヘッドマウントディスプレイ１００の表示直前の位置や姿勢に基づき補正することにより、頭部の動きに対する表示の追随性を高めてもよい。画像処理装置２００は、平板型ディスプレイ３０２にも同様の視野で画像を表示させることにより、ヘッドマウントディスプレイ１００を装着しているユーザがどのような画像を見ているかを、その他の人が見られるようにしてもよい。

　ただし本実施の形態において表示対象とする動画像の内容や、その表示先は特に限定されない。例えばサーバ４００は、図示しないカメラによって撮影された画像を表示対象とし、画像処理装置２００にライブ配信してもよい。このときサーバ４００は、スポーツ競技やコンサートなどのイベント会場を複数のカメラで撮影した多視点画像を取得し、それを用いてヘッドマウントディスプレイ１００の動きに応じた視野での画像を作り出すことにより、自由視点のライブ映像を生成し、各画像処理装置２００に配信してもよい。

　また本実施の形態を適用できるシステムの構成は図示するものに限定されない。例えば画像処理装置２００に接続する表示装置はヘッドマウントディスプレイ１００と平板型ディスプレイ３０２のどちらか一方でもよいし、複数のヘッドマウントディスプレイ１００であってもよい。また画像処理装置２００はヘッドマウントディスプレイ１００や平板型ディスプレイ３０２に内蔵されていてもよい。例えば平板型のディスプレイと画像処理装置を、それらを一体的に備えたパーソナルコンピュータや携帯端末（ポータブルゲーム機、高機能携帯電話、タブレット端末）としてもよい。

　これらの装置にさらにヘッドマウントディスプレイ１００および平板型ディスプレイ３０２の少なくともいずれかを必要に応じて接続できるようにしてもよい。画像処理装置２００やこれらの端末に、図示しない入力装置を内蔵もしくは接続してもよい。またサーバ４００に接続される画像処理装置２００の数も限定されない。さらにサーバ４００は、各自の平板型ディスプレイ３０２を視聴している複数のユーザの操作内容を、各平板型ディスプレイ３０２に接続された複数の画像処理装置２００から受信し、それに対応する画像を生成したうえ、それぞれの画像処理装置２００に送信してもよい。

　図２は、ヘッドマウントディスプレイ１００の外観例を示す。この例においてヘッドマウントディスプレイ１００は、出力機構部１０２および装着機構部１０４で構成される。装着機構部１０４は、ユーザが被ることにより頭部を一周し装置の固定を実現する装着バンド１０６を含む。出力機構部１０２は、ヘッドマウントディスプレイ１００をユーザが装着した状態において左右の目を覆うような形状の筐体１０８を含み、内部には装着時に目に正対するように表示パネルを備える。

　筐体１０８内部にはさらに、ヘッドマウントディスプレイ１００の装着時に表示パネルとユーザの目との間に位置し、画像を拡大して見せる接眼レンズを備える。またヘッドマウントディスプレイ１００はさらに、装着時にユーザの耳に対応する位置にスピーカーやイヤホンを備えてよい。

　ヘッドマウントディスプレイ１００はさらに、筐体１０８の前面にステレオカメラ１１０、中央に広視野角の単眼カメラ１１１、左上、右上、左下、右下の四隅に広視野角の４つのカメラ１１２を備え、ユーザの顔の向きに対応する方向の実空間を動画撮影する。ある態様においてヘッドマウントディスプレイ１００は、ステレオカメラ１１０が撮影した動画像を即時表示させることにより、ユーザが向いた方向の実空間の様子をそのまま見せるシースルーモードを提供する。

　またステレオカメラ１１０、単眼カメラ１１１、４つのカメラ１１２による撮影画像の少なくともいずれかを、表示画像の生成に利用してもよい。例えばＳＬＡＭ（Simultaneous Localization and Mapping）により周囲の空間に対するヘッドマウントディスプレイ１００、ひいてはユーザの頭部の位置や姿勢を所定のレートで取得し、サーバ４００において生成する画像の視野を決定したり、画像処理装置２００において当該画像を補正したりしてもよい。あるいは画像処理装置２００において、サーバ４００から送信された画像に撮影画像を合成し表示画像としてもよい。

　またヘッドマウントディスプレイ１００は、内部に加速度センサ、ジャイロセンサ、地磁気センサなど、ヘッドマウントディスプレイ１００の位置、姿勢、動きを導出するためのモーションセンサのいずれかを備えてよい。この場合、画像処理装置２００は、当該モーションセンサの計測値に基づき、ユーザ頭部の位置や姿勢の情報を所定のレートで取得する。この情報は、サーバ４００において生成する画像の視野を決定したり、画像処理装置２００において当該画像を補正したりするのに用いることができる。

　図３は、本実施の形態におけるサーバ４００と画像処理装置２００の基本的な構成を示している。本実施の形態におけるサーバ４００および画像処理装置２００は、表示画像の１フレームより小さい部分画像を記憶するローカルメモリを要所に備える。そしてサーバ４００における画像データの圧縮符号化および送信、画像処理装置２００におけるデータの受信、復号伸張、各種画像処理、表示装置への出力を、当該部分画像の単位でパイプライン処理する。これにより、サーバ４００での画像の描画から、画像処理装置２００に接続された表示装置への表示までの遅延時間を軽減させる。

　サーバ４００において、描画制御部４０２はＣＰＵ（Central Processing Unit）で実現され、画像描画部４０４における画像の描画を制御する。上述のとおり本実施の形態において表示させる画像の内容は特に限定されないが、描画制御部４０２は例えば、クラウドゲームを進捗させ、その結果を表す動画像のフレームを画像描画部４０４に描画させる。この際、描画制御部４０２は、画像処理装置２００からユーザの頭部の位置や姿勢に係る情報を取得し、それに対応する視野で各フレームを描画するように制御してもよい。

　画像描画部４０４はＧＰＵ（Graphics Processing Unit）で実現され、描画制御部４０２の制御のもと、所定または可変のレートで動画像のフレームを描画し、その結果をフレームバッファ４０６に格納する。フレームバッファ４０６はＲＡＭ（Random Access Memory）によって実現される。ビデオエンコーダ４０８は、描画制御部４０２の制御のもと、フレームバッファ４０６に格納された画像のデータを、１フレームより小さい部分画像の単位で圧縮符号化する。部分画像は、フレームの画像平面を横方向、縦方向、縦横双方向、または斜め方向に設定した境界線で所定サイズに分割してなる各領域の画像である。

　ビデオエンコーダ４０８はこの際、画像描画部４０４による１フレーム分の描画が終了次第、サーバの垂直同期信号を待たずに、当該フレームの圧縮符号化を開始してよい。フレームの描画や圧縮符号化など各種処理を、垂直同期信号を基準として同期させる従来技術によれば、画像の描画から表示までの各処理に与える時間をフレーム単位で揃えることにより、フレーム順の管理が容易である。しかしながらこの場合、フレームの内容によって描画処理が早く終了しても、圧縮符号化処理を次の垂直同期信号まで待機する必要がある。本実施の形態では後に述べるように、部分画像単位でその生成時刻を管理することにより、無駄な待機時間が生じないようにする。

　ビデオエンコーダ４０８が圧縮符号化に用いる符号化方式は、Ｈ．２６４／ＡＶＣやＨ．２６５／ＨＥＶＣなど一般的なものでよい。ビデオエンコーダ４０８は、圧縮符号化した部分画像単位の画像のデータを部分画像記憶部４１０に格納する。部分画像記憶部４１０はＳＲＡＭ(Static Random Access Memory)などで実現されるローカルメモリであり、１フレームより小さい部分画像のデータサイズに対応する記憶領域を有する。以後に述べる「部分画像記憶部」も同様である。ビデオストリーム制御部４１４は、圧縮符号化された部分画像のデータが部分画像記憶部４１０に格納される都度、当該データを読み出し、オーディオデータや制御情報などを必要に応じて含めたうえでパケット化する。

　制御部４１２は、部分画像記憶部４１０に対するビデオエンコーダ４０８のデータ書き込み状況や、ビデオストリーム制御部４１４のデータを読み出し状況などを常に監視し、両者の動作を適切に制御する。例えば制御部４１２は、部分画像記憶部４１０にデータ欠乏、すなわちバッファアンダーランや、データ溢れ、すなわちバッファオーバーランが起きないように制御する。

　入出力インターフェース４１６は画像処理装置２００と通信を確立し、ビデオストリーム制御部４１４がパケット化したデータを、ネットワーク３０６を介して順次送信する。入出力インターフェース４１６は画像データのほか、オーディオデータなども適宜送信してよい。また上述のとおり、入出力インターフェース４１６はさらに、ユーザ操作やユーザの頭部の位置や姿勢に係る情報を画像処理装置２００から取得し、描画制御部４０２に供給してもよい。

　画像処理装置２００において入出力インターフェース２０２は、サーバ４００から送信された画像やオーディオのデータを順次取得する。入出力インターフェース２０２はさらに、ユーザ操作やユーザの頭部の位置や姿勢に係る情報をヘッドマウントディスプレイ１００や図示しない入力装置などから適宜取得し、サーバ４００に送信してもよい。入出力インターフェース２０２は、サーバ４００から取得したパケットを復号のうえ、取り出した画像のデータを部分画像記憶部２０４に格納する。

　部分画像記憶部２０４は入出力インターフェース２０２とビデオデコーダ２０８の間に設けたローカルメモリであり、圧縮データ記憶部を構成している。制御部２０６は、部分画像記憶部２０４に対する入出力インターフェース２０２のデータ書き込み状況や、ビデオデコーダ２０８のデータを読み出し状況などを常に監視し、両者の動作を適切に制御する。

　ビデオデコーダ２０８は、復号伸張部として、部分画像のデータが部分画像記憶部２０４に格納される都度、当該データを読み出し、符号化方式に応じた手順で復号伸張したうえ、部分画像記憶部２１０に順次格納する。部分画像記憶部２１０はビデオデコーダ２０８と画像処理部２１４の間に設けたローカルメモリであり、復号後データ記憶部を構成している。制御部２１２は、部分画像記憶部２１０に対するビデオデコーダ２０８のデータ書き込み状況や、画像処理部２１４のデータを読み出し状況などを常に監視し、両者の動作を適切に制御する。

　画像処理部２１４は、復号伸張された部分画像のデータが部分画像記憶部２１０に格納される都度、当該データを読み出し、表示に必要な処理を施す。例えばヘッドマウントディスプレイ１００において、接眼レンズを介して見たときに歪みのない画像を視認させるために、接眼レンズによる歪みと逆の歪みを与える補正処理を実施する。あるいは画像処理部２１４は、別途準備したＵＩプレーン画像を参照し、サーバ４００から送信された画像に合成（スーパーインポーズ）してもよい。

　また画像処理部２１４は、ヘッドマウントディスプレイ１００が備えるカメラによる撮影画像を、サーバ４００から送信された画像に合成してもよい。画像処理部２１４はまた、処理の時点におけるユーザの頭部の位置や姿勢に対応する視野となるように、サーバ４００から送信された画像を補正してもよい。画像処理部２１４はまた、超解像処理など平板型ディスプレイ３０２へ出力するのに適した画像処理を行ってもよい。

　いずれにしろ画像処理部２１４は、部分画像記憶部２１０に格納された部分画像の単位で処理を施し、部分画像記憶部２１６に順次格納していく。部分画像記憶部２１６は画像処理部２１４とディスプレイコントローラ２２０の間に設けたローカルメモリである。制御部２１８は、部分画像記憶部２１６に対する画像処理部２１４のデータ書き込み状況や、ディスプレイコントローラ２２０のデータを読み出し状況などを常に監視し、両者の動作を適切に制御する。

　ディスプレイコントローラ２２０は、画像処理後の部分画像のデータが部分画像記憶部２１６に格納される都度、当該データを読み出し、ヘッドマウントディスプレイ１００や平板型ディスプレイ３０２に適切なタイミングで出力する。具体的には、それらのディスプレイの垂直同期信号に合致するタイミングで、各フレームの最上段の部分画像のデータを出力し、その後、下方に向けて部分画像のデータを順次出力していく。

　次に、画像の描画から表示までにサーバ４００および画像処理装置２００において実現される、部分画像のパイプライン処理について説明する。図４は、本実施の形態における、画像の描画から表示までの処理の様子を概念的に示している。上述のとおりサーバ４００は、動画像のフレーム９０を所定または可変のレートで生成する。図示する例でフレーム９０は、左右に二等分した領域に左目用、右目用の画像をそれぞれ表した構成を有するが、サーバ４００で生成する画像の構成をこれに限る趣旨ではない。

　サーバ４００は上述のとおり、フレーム９０を部分画像ごとに圧縮符号化する。図では画像平面を水平方向に５分割し、部分画像９２ａ、９２ｂ、９２ｃ、９２ｄ、９２ｅとしている。これにより、部分画像はこの順で次々に圧縮符号化され、矢印に示すように画像処理装置２００へ伝送され表示される。すなわち最上段の部分画像９２ａに対し、圧縮符号化、送信、復号伸張、表示パネル９４への出力といった処理が施されている間に、その下の部分画像９２ｂ、さらに下の部分画像９２ｃ、というように順次部分画像が伝送され表示される。これにより、画像の描画から表示までに必要な各種処理を並列に実施でき、転送時間が介在しても最低限の遅延で表示を進捗させることができる。

　図５は、本実施の形態においてサーバ４００と画像処理装置２００が、部分画像単位でパイプライン処理を行う効果を説明するための図である。図の横方向は時間経過を表し、各処理時間を、処理名とともに矢印で示している。そのうちサーバ４００側の処理を細線、画像処理装置２００側の処理を太線で示している。処理名に併記する括弧内の記載は、フレーム番号ｍの１フレーム分の処理を（ｍ）、フレーム番号ｍのうちｎ番目の部分画像の処理を（ｍ／ｎ）としている。

　またサーバ４００側の垂直同期信号をｖｓｙｎｃ（サーバ）、画像処理装置２００および表示装置側の垂直同期信号をｖｓｙｎｃ（クライアント）と表記している。まず（ａ）は、１フレーム単位で処理を進捗させる従来の態様を比較として示している。この例でサーバ４００は、垂直同期信号により各フレームに対する処理を制御している。このためサーバ４００は、フレームバッファに格納された１フレーム目のデータの圧縮符号化を、垂直同期信号に合わせて開始する。

　そしてサーバ４００は、２フレーム目のデータの圧縮符号化を、次の垂直同期信号に合わせて開始するとともに、圧縮符号化済みの１フレーム目のデータを所定単位でパケット化して送出する。画像処理装置２００は、到達したフレーム順に復号伸張処理を施す。ただし復号伸張が完了し表示が可能な状態になっても、次に到来する垂直同期信号のタイミングまでその表示は待機される。結果として図示する例では、サーバ４００で１フレームの描画が完了し圧縮符号化処理が開始されてから表示開始までに、２フレーム分の表示周期以上の遅延が発生する。

　サーバ４００と画像処理装置２００間の通信時間や、両者の垂直同期信号のタイミングの差などによっては、それ以上の遅延が生じる可能性もある。（ｂ）に示す本実施の形態によれば、サーバ４００は、１フレーム目の１番目の部分画像の圧縮符号化が完了した時点で、当該部分画像のデータの送出を開始する。そのデータがネットワーク３０６を伝送している間に、２番目の部分画像の圧縮符号化および伝送、３番目の部分画像の圧縮符号化および伝送、・・・というように部分画像単位で伝送処理を進捗させる。

　画像処理装置２００側では、取得した部分画像のデータを順番に復号伸張していく。その結果、１番目の部分画像のデータは（ａ）の場合と比較し格段に早く、表示が可能な状態に到達する。なお１番目の部分画像のデータは、次に到来する垂直同期信号のタイミングまで表示を待機する。後続の部分画像については、１番目の部分画像の出力に続けて順次出力していく。１フレームの表示時間自体は（ａ）と同様のため、次の垂直同期信号までに、ｎ番目の部分画像の表示が完了することになる。

　このように、画像データの圧縮符号化から表示までを、１フレームより細かい単位で並列に進捗させることにより、図示する例では、（ａ）の場合より１フレーム分早いタイミングでの表示を実現できる。なお図示する例では（ｂ）の場合も、サーバ４００による圧縮符号化を、垂直同期信号を契機に開始しているが、上述のとおり垂直同期信号を待たずに圧縮符号化を行えば、遅延時間をさらに短縮できる。

　ここで（ａ）、（ｂ）の態様のいずれの場合であっても、図示するような処理の流れが安定的に繰り返されるには、連続するフレームの全てが、動画のフレームレートに対応する一定周期で表示可能な状態となっている必要がある。一方、サーバ４００における圧縮符号化、ネットワークを介したデータ伝送、画像処理装置２００における復号伸張や各種画像処理の所要時間には揺らぎ（ジッター）が存在する。またクロック発振回路に起因して、各処理のタイミングを制御するクロックにもジッターが含まれる。

　ジッターにより各種処理や伝送の所要時間が増加したり垂直同期信号が早まったりすると、それぞれの振れ幅が微小であっても累積された結果として、フレームのデータ準備が出力タイミングに間に合わなくなることが考えられる。これにより、当該フレームが表示されない「コマ落ち」が発生したり、表示に遅延が生じたりする可能性がある。

　そこで本実施の形態の画像処理装置２００は、内部で行う処理の少なくとも一部を、サーバ４００によるフレームの生成レート、すなわち動画本来のフレームレートより高いレートで実施する。ここで「レート」とは、単位時間当たりに処理が可能なフレーム数を意味し、必ずしも全ての処理サイクルで処理を実施しなくてもよい。また処理のレートを増加させても、動画像のフレームが更新される頻度は、基本的にはサーバ４００によるフレームの生成レートによって定まる。以後、後者を「動画像のフレームレート」と呼び、画像処理装置２００での処理のレートと区別する。なお全体として、「レート」で処理されるデータの単位はフレームに限らず、部分画像などでもよい。

　図６は、画像処理装置２００の処理レートを動画像のフレームレートより高くする効果を説明するための図である。この例で動画像のフレームレートを６０Ｈｚ（６０ｆｐｓ）とする。図の（ａ）、（ｂ）はいずれも、横軸の時間経過に対し、画像処理装置２００が復号伸張処理（上段）および表示パネルへの出力処理（下段）を行う時間を示している。矩形はフレームごとの処理時間であり、処理対象のフレームの番号を矩形内に示している。

　なお同図および後に示す図９、１０は理解を容易にするため、図５の（ａ）のように、復号伸張処理と表示パネルへの出力をフレーム単位で行う態様を示している。部分画像単位で処理を進捗させる場合は、図５の（ｂ）のように、同じフレームの復号伸張処理と表示パネルへの出力処理が並列でなされるが、本実施の形態を実現する原理や効果は同様である。すなわち以後に説明する本実施の形態は、画像処理装置２００における処理の単位をフレームとしても、それより小さい部分画像としても適用可能である。

　（ａ）は画像処理装置２００が行う復号伸張処理および表示パネルへの出力処理の双方を、動画像のフレームレートである６０Ｈｚで行う場合を示している。図の縦線で示されるｖ０、ｖ１、ｖ２、・・・は、６０Ｈｚの垂直同期信号を表す。図５について上述したとおり、画像処理装置２００は、復号伸張処理が完了して表示可能な状態になったフレームのデータを、次の垂直同期信号を待って出力する。例えば図６の（ａ）において、「０」フレーム目のデータは、復号伸張が完了してから直近に到来する垂直同期信号「ｖ１」のタイミングで、表示パネルへの出力が開始される。「２」フレーム目、「３」フレーム目も同様である。

　一方、復号伸張処理には上述のとおりジッターが存在するため、例えば「１」フレーム目の復号伸張処理に要する時間が矢印１２で示すように揺らぐ。その結果、処理時間が増加方向に変化した場合、本来表示パネルへの出力を開始すべき「ｖ２」のタイミングに間に合わなくなる可能性がある。すると表示パネルには、それまで表示されていた「０」フレーム目のデータが再度出力され表示される。

　またこの例では次の垂直同期信号「ｖ３」より前に「２」フレーム目のデータの復号伸張が完了しているため、「１」フレーム目が表示されないまま「２」フレーム目の画像が表示されることになる。すなわちこの例では「１」フレーム目がコマ落ちする。復号伸張処理の時間の揺れ方によっては、フレーム表示時間が長くなったり短くなったりすることにより、表示対象の動きにユーザが違和感を持つ可能性もある。このような現象は上述のとおり、復号伸張処理のみならず、サーバ４００での圧縮符号化やデータ伝送、画像処理装置２００での様々な処理のジッターや、垂直同期信号自体のジッターによって起こり得る。

　（ｂ）は、画像処理装置２００が行う復号伸張処理を６０Ｈｚのまま、表示パネルへの出力処理を１２０Ｈｚで行う場合を示している。すなわち図の縦線で示すように、垂直同期信号を（ａ）の場合の２倍発生させる。このようにすると、表示パネルへの出力の機会が増えることになり、上述した様々な要因による、画像が表示可能になるタイミングの揺らぎの影響を抑えることができる。図示する例では、「１」フレーム目の復号伸張処理に要する時間が（ａ）と同様に増加しても、直後の垂直同期信号「ｖ５」のタイミングで、当該フレームをディスプレイに出力できる。

　このように出力の機会を追加で設けることにより、コマ落ちの可能性が低くなる。またフレームが表示可能な状態になってから垂直同期信号が発生するまでの最長時間を短縮できる。これにより、例えばユーザ操作に応じて画像を変化させるような態様においても、表示までの遅延時間を抑え応答性を向上させることができる。なお図示する例は、復号伸張処理が完了したフレームのデータを出力しているが、上述のとおり当該データにさらに所定の画像処理を施しても効果は同様である。

　また同図の場合、垂直同期信号の周波数を高くすることにより表示パネルへの出力レートを上げたが、後述するように、動画像のフレームレートより高いレートで行う処理は、表示パネルへの出力に限らない。また図示する例では動画像のフレームレート６０Ｈｚに対し表示パネルへの出力レートを１２０Ｈｚとしたが、少なくとも前者に対し後者を大きくすれば同様の効果が得られる。ただし処理のレートを動画像のフレームレートのＮ倍（Ｎは２以上の整数）とすることにより、処理の制御が容易になるとともに、各フレームの表示時間が均等になり、表示対象の動きが自然になりやすい。

　図７は、本実施の形態のサーバ４００および画像処理装置２００の機能ブロックの構成を示している。同図に示す各機能ブロックは、ハードウェア的にはＣＰＵ、ＧＰＵ、エンコーダ、デコーダ、演算器、各種メモリなどで実現でき、ソフトウェア的には、記録媒体からメモリにロードした、情報処理機能、画像描画機能、データ入出力機能、通信機能などの諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

　サーバ４００は、画像生成部４２０、圧縮符号化部４２２、パケット化部４２４、および通信部４２６を備える。画像生成部４２０は図３の描画制御部４０２、画像描画部４０４、フレームバッファ４０６で構成され、ゲーム画像など画像処理装置２００に送信すべき動画像のフレームを、所定または可変のレートで生成する。あるいは画像生成部４２０は、図示しないカメラや記憶装置などから動画像のデータを取得してもよい。この場合、画像生成部４２０は、画像取得部と読み替えることができる。以後の説明でも同様である。

　圧縮符号化部４２２は、図３のビデオエンコーダ４０８、部分画像記憶部４１０、制御部４１２で構成され、画像生成部４２０が生成した画像のデータを、部分画像の単位で圧縮符号化する。ここで圧縮符号化部４２２は、１行、２行など所定数の行の領域や、１６×１６画素、６４×６４画素など所定サイズの矩形領域を単位として動き補償や符号化を行う。したがって圧縮符号化部４２２は、圧縮符号化に必要な最小単位の領域のデータが画像生成部４２０により生成されたら、圧縮符号化を開始してよい。

　なお圧縮符号化や送信におけるパイプライン処理の単位である部分画像は、当該最小単位の領域と同じでもよいしそれより大きな領域としてもよい。パケット化部４２４は、図３のビデオストリーム制御部４１４、制御部４１２で構成され、圧縮符号化された部分画像のデータを、利用する通信のプロトコルに応じた形式でパケット化する。この際、当該部分画像が描画された時刻（以下、「生成時刻」と呼ぶ）を、画像生成部４２０または圧縮符号化部４２２から取得することにより、部分画像のデータと対応づけておく。

　通信部４２６は、図３の入出力インターフェース４１６で構成され、圧縮符号化された部分画像のデータとその生成時刻を含めたパケットを、画像処理装置２００に送信する。これらの構成によりサーバ４００は、圧縮符号化、パケット化、送信を、１フレームより小さい部分画像単位でパイプライン処理することにより並列に行う。画像処理装置２００は、画像データ取得部２４０、復号伸張部２４２、画像処理部２４４、および表示制御部２４６を備える。

　なお復号伸張部２４２と画像処理部２４４は、部分画像のデータに所定の処理を施し表示用の部分画像のデータを生成するという意味で共通の機能を有し、それらの少なくともいずれかを「画像処理部」と総称することもできる。画像データ取得部２４０は、図３の入出力インターフェース２０２、部分画像記憶部２０４、および制御部２０６で構成され、圧縮符号化された部分画像のデータを、その生成時刻とともにサーバ４００から取得する。

　復号伸張部２４２は、図３のビデオデコーダ２０８、部分画像記憶部２１０、制御部２０６、制御部２１２で構成され、圧縮符号化された部分画像のデータを復号伸張する。ここで復号伸張部２４２は、動き補償や符号化など圧縮符号化に必要な最小単位の領域のデータが画像データ取得部２４０により取得されたら、復号伸張処理を開始してよい。

　また復号伸張部２４２は処理レート制御部２４３を備えてよい。処理レート制御部２４３は、復号伸張処理のレートを動画像のフレームレートより高くするように復号伸張部２４２を制御する。これにより復号伸張部２４２は、各フレームの復号伸張処理のサイクルを、動画像のフレームレートより高いレートで繰り返す。動画像のフレームレートは、画像データ取得部２４０が動画像のメタデータとして取得したものを参照する。処理レート制御部２４３は当該フレームレートに基づき復号伸張処理のレートを決定する。動画像のフレームレートを可変とする場合、処理レート制御部２４３は、復号伸張処理のレートをそれに合わせて変化させてもよい。

　なお復号伸張処理の「レート」とは、上述した表示パネルへの出力レートと同様、１フレームの復号伸張を実施する「機会」に対応する。すなわち復号伸張部２４２が復号伸張処理のレートを高めるということは、次のフレームの復号伸張処理の開始を短時間で可能にするため、１フレーム分の復号伸張処理の時間を短縮することを意味する。処理対象の動画像のフレームレートはサーバ４００側で決定づけられるため、タイミングによっては復号伸張対象のフレームのデータが未取得のサイクルが発生し得る。この場合、復号伸張部２４２はそのサイクルにおいて復号伸張処理を一時休止する。

　例えば処理レート制御部２４３は、単位時間あたりに取得する処理対象のフレームのデータ量に基づき、当該フレームのデータを滞りなく処理するために必要、かつ、処理時間の短縮により処理の一時休止を可能にする演算能力を求める。そして復号伸張部２４２が、決定した演算能力に対応するモードで復号伸張処理を行うように制御する。例えば復号伸張部２４２が、図示しないプロセッサ、動きベクトルエントロピー計算器、およびピクセルデノイズフィルタで構成されるとき、各ブロックの動作クロック周波数を変更したり、並列稼働するハードワイヤードブロック数を変更したりすることにより演算能力のモードを切り替える。一例として処理レート制御部２４３は、プロセッサの処理能力を１０ＧＦＬＯＰＳと２０ＧＦＬＯＰＳ、動きベクトルエントロピー計算器の処理能力を１００Ｍｏｐ／ｓと２００Ｍｏｐ／ｓ、ピクセルデノイズフィルタの処理能力を１０００ＭＰｉｘｅｌ／ｓと２０００ＭＰｉｘｅｌ／ｓの間でそれぞれ切り替える。

　画像処理部２４４は図３の画像処理部２１４、部分画像記憶部２１６、制御部２１２、制御部２１８で構成され、部分画像のデータに所定の処理を施し、表示用の部分画像のデータを生成する。例えば上述のとおり画像処理部２４４は、ヘッドマウントディスプレイ１００が備える接眼レンズの歪みを考慮して逆の歪みを与える補正を施す。

　あるいは画像処理部２４４は、ＵＩプレーン画像など、動画像とともに表示させるべき画像を、部分画像単位で合成する。または画像処理部２４４は、その時点でのユーザ頭部の位置や姿勢を取得し、サーバ４００が生成した画像を、正しく表示時の視野になるように補正する。これにより、サーバ４００からの転送時間によって、ユーザの頭部の動きと表示画像の間に生じる時間的なずれを最小限にすることができる。

　画像処理部２４４はそのほか、一般的になされる画像処理のいずれかまたは組み合わせを実施してもよい。例えば画像処理部２４４は、ガンマーカーブ補正、トーンカーブ補正、コントラスト強調などを行ってもよい。すなわち表示装置の特性やユーザ指定に基づき、復号伸張した画像データの画素値・輝度値について必要なオフセット補正をしてもよい。また画像処理部２４４は、近傍画素を参照し、重畳・加重平均・平滑化などの処理を行うノイズ除去処理を行ってもよい。

　また画像処理部２４４は、画像データの解像度と、表示パネルの解像度を合わせたり、近傍画素を参照し、バイリニア・トライリニアなど、加重平均・オーバーサンプリングなどを行ったりしてもよい。また画像処理部２４４は、近傍画素を参照し、画像テクスチャの種類を判定し、それに応じた、デノイズ・エッジ強調・平滑化・トーン／ガンマ／コントラスト補正を選択的に処理してもよい。このとき画像処理部２４４は、画像サイズのアップスケーラ・ダウンスケーラと合わせて処理してもよい。

　また画像処理部２４４は、画像データの画素フォーマットと、表示パネルの画素フォーマットが異なる場合にフォーマット変換を行ってもよい。例えばＹＵＶからＲＧＢ、ＲＧＢからＹＵＶ、ＹＵＶにおける４４４、４２２、４２０間の変換、ＲＧＢにおける８、１０、１２ビットカラー間の変換などを行ってもよい。また画像処理部２４４は、デコードした画像データがＨＤＲ(High Dynamic Range)の輝度レンジ対応フォーマットである一方、表示ディスプレイのＨＤＲの輝度レンジ対応範囲が狭い場合（表示可能な輝度ダイナミックレンジがＨＤＲフォーマット規定より狭いなど）、できるだけＨＤＲ画像の特徴を残しながら、表示パネル対応可能な範囲のＨＤＲの輝度レンジフォーマットへ変換する疑似ＨＤＲ処理（色空間変更）を行ってもよい。

　また画像処理部２４４は、デコードした画像データがＨＤＲ対応フォーマットだったが、表示ディスプレイがＳＤＲ(Standard Dynamic Range)のみに対応している場合、できるだけＨＤＲ画像の特徴を残しながら、ＳＤＲフォーマットへ色空間変換してもよい。デコードした画像データがＳＤＲ対応フォーマットだったが、表示ディスプレイがＨＤＲに対応している場合、画像処理部２４４はできるだけＨＤＲパネルの特性にあわせて、ＨＤＲフォーマットへエンハンス変換してもよい。

　また画像処理部２４４は、表示ディスプレイの階調表現能力が低い場合、誤差拡散付加をしてもよいし、画素フォーマット変換とあわせて処理するディザリング処理を実施してもよい。また画像処理部２４４は、ネットワーク転送データの欠落やビット化けにより、デコードした画像データに部分的な欠損や異常がある場合に、その領域を補正処理してもよい。また画像処理部２４４は、単色塗りつぶし、近傍画素複製による補正、前フレーム近傍画素による補正、適応型欠損補正により過去フレームや現フレームの周辺から推測した画素による補正をしてもよい。

　また画像処理部２４４は、画像処理装置２００から表示装置へ出力するインターフェースの必要帯域を削減するために、画像処理部２４４は画像圧縮を行ってもよい。この際、画像処理部２４４は、近傍画素参照によるライトウェイトなエントロピー符号化、インデックス値参照符号化、ハフマン符号化などを行ってもよい。また表示装置が液晶パネルを採用した場合、高解像度化が可能な反面、反応速度が遅い。表示装置が有機ＥＬパネルを採用した場合は反応速度が速い反面、高解像度化が難しく、また黒色領域とその周辺で色にじみが発生するBlack Smearingと呼ばれる現象が生じ得る。

　そこで画像処理部２４４は、このような表示パネルによる様々な悪影響を解消するように補正を行ってもよい。例えば液晶パネルの場合、画像処理部２４４はフレーム間に黒い画像を挿入することにより液晶をリセットし、反応速度を向上させる。また有機ＥＬパネルの場合、画像処理部２４４は輝度値や、ガンマ補正におけるガンマ値にオフセットをかけBlack Smearingによる色にじみを目立ちにくくする。

　画像処理部２４４は画像に対し、高精細度化や、高周波数成分の復元や再構築を行う超解像処理（Super Resolution）を行ってもよい。画像処理部２４４はこのとき、機械学習や深層学習を用いてあらかじめ構築したデータベースやネットワークモデルへ画像データを入力することにより画像を変換してもよい。ここで画像処理部２４４は、部分画像単位で変換を実施することにより低遅延化を図ってよい。このときの部分画像単位を、表示パネルの走査順序や分割構成に基づいて決定された部分画像単位と一致させることで、一連の処理をパイプライン化でき、さらなる低遅延化を実現できる。

　また画像処理部２４４は処理レート制御部２４５を備えてよい。処理レート制御部２４５は、実施する各種処理のレートを動画像のフレームレートより高くするように画像処理部２４４を制御する。上述のとおり動画像のフレームレートは、画像データ取得部２４０が動画像のメタデータとして取得したものを参照する。処理レート制御部２４５は当該フレームレートに基づき画像処理部２４４が行う処理のレートを決定する。

　動画像のフレームレートを可変とする場合、処理レート制御部２４５は、各種処理のレートをそれに合わせて変化させてもよい。なお処理レート制御部２４５が制御する「レート」も、復号伸張部２４２の処理レート制御部２４３が制御するレートと同じ意味を有する。したがって画像処理部２４４は、処理対象のフレームのデータが未取得の処理サイクルにおいて、実施中の画像処理を一時休止する。

　例えば処理レート制御部２４５は、単位時間あたりに取得する処理対象のフレームのデータ量に基づき、当該フレームのデータを滞りなく処理するために必要、かつ、処理時間の短縮により処理の一時休止を可能にする演算能力を求める。そして画像処理部２４４が、決定した演算能力に対応するモードで復号伸張処理を行うように制御する。制御の仕方は上述の処理レート制御部２４３と同様でよい。

　表示制御部２４６は、図３のディスプレイコントローラ２２０と制御部２１８で構成され、表示用の部分画像のデータを順次、ヘッドマウントディスプレイ１００や平板型ディスプレイ３０２の表示パネルに表示させる。ただし本実施の形態では、部分画像の圧縮符号化データをサーバ４００から個別に取得するため、通信状況によっては取得順が入れ替わったり、パケットロスにより部分画像のデータ自体が取得できなかったりすることが考えられる。

　そこで表示制御部２４６は、部分画像が描画されてからの経過時間を、各部分画像の生成時刻から導出したうえ、サーバ４００での描画タイミングを再現するように、表示パネルへの部分画像の出力タイミングを調整する。具体的には表示制御部２４６は、部分画像のデータの生成時刻、および／または生成時刻からの経過時間に基づき、部分画像のデータの本来の表示順や表示タイミング、部分画像のデータの欠落量などのデータ取得状況を特定する。

　そして表示制御部２４６は、データ取得状況に応じて、表示パネルへの出力対象を変化させたり、出力順や出力タイミングを適切に調整したりする。例えば表示制御部２４６はデータ取得状況に応じて、次のフレームに含まれる本来の部分画像のデータを出力するか、それより前のフレームに含まれる部分画像のデータを再度出力するかを決定する。表示制御部２４６は、次のフレームの表示開始時刻である垂直同期信号のタイミングまでにそのような出力対象を決定する。

　例えば表示制御部２４６は、フレーム中、所定値以上の割合で部分画像が欠落している場合に、出力対象を前のフレームのデータに置き換えるなど、取得された部分画像の量（割合）に応じて出力対象を変化させてもよい。また表示制御部２４６は、過去のフレームの出力実績や、生成時刻からの経過時間に応じて、次のフレーム表示期間の出力対象を変化させてもよい。表示制御部２４６は、そのように決定した順序およびタイミングで、出力対象として決定された部分画像のデータを表示パネルに出力する。

　また表示制御部２４６は処理レート制御部２４８を備える。処理レート制御部２４８は、動画像のフレームレートを参照し、表示可能な状態のフレームのデータを表示パネルに出力する機会を動画像のフレームレートより多く提供する。例えば処理レート制御部２４８は、フレームデータの表示パネルへの出力レートを、動画像のフレームレートより高くするように表示制御部２４６を制御する。その結果、表示制御部２４６は、動画像のフレームレートより高いレートで表示パネルを駆動する。

　この処理は図６で示したように、垂直同期信号の周波数を上げることに相当する。したがって、表示パネルの出力タイミングすなわち垂直同期信号のタイミングにおいて新たなフレームのデータが表示可能となっていなければ、表示制御部２４６は上述したように、出力済みのフレームのデータを再度出力する。図６の例では、垂直同期信号「ｖ２」、「ｖ３」、「ｖ４」のタイミングで、同じ「０」フレーム目のデータを出力、表示している。このため表示制御部２４６には、表示可能な状態の新たなフレームのデータを取得するまで、過去のフレームのデータを格納しておく、図示しないメモリを設けてよい。

　また本実施の形態では、復号伸張部２４２や画像処理部２４４によってフレームのデータが表示可能な状態となるタイミングが表示パネルへの出力タイミング、すなわち垂直同期信号と非同期であることや、フレームのデータを表示可能な状態とするのに要する時間が可変であることを許容する。これらの場合においても表示制御部２４６は、図６で示したように、表示可能な状態となったフレームのデータを、直後に到来した出力タイミングで表示パネルへ出力することで、表示遅延やコマ落ちを抑制する。

　なお動画像のフレームレートを可変とする場合、処理レート制御部２４８は垂直同期信号の周波数をそれに合わせて変化させてもよい。処理レート制御部２４８はまた、垂直同期信号の周波数のみならず、その発生タイミングを微調整してもよい。例えばサーバ４００と画像処理装置２００との間でクロックに微小な誤差があると、それが累積した結果、垂直同期信号により定まる表示周期が、動画像のフレームの生成周期とずれていってしまうことが考えられる。

　そこで処理レート制御部２４８は、当該ずれが所定値以下に抑えられるように、垂直同期信号の発生タイミングを調整する。例えば垂直同期信号の周波数を、動画像のフレームレートのＮ倍（Ｎは２以上の整数）とする場合、処理レート制御部２４８は、サーバ４００から送信される各フレームの生成時刻の間隔と、垂直同期信号の周期をＮ倍した時間が一致するように、垂直同期信号の発生タイミングを調整する。処理レート制御部２４８はまた、フレームのデータが表示可能になった時刻から直後に到来する垂直同期信号の発生時刻までの時間を計測し、それが目標値となるように垂直同期信号の発生タイミングを調整してもよい。

　図８は、復号伸張処理のレートを動画像のフレームレートより高くしたときの、各フレームの処理時間について説明するための図である。同図は横軸の時間経過に対し、復号伸張部２４２が、動画像のフレームレートと同じ６０Ｈｚ（上段）、および２倍の１２０Ｈｚ（下段）で、復号伸張処理を行う際の１フレームあたりの処理時間（処理のサイクル）を矩形で示している。矩形内の文字は「ＯＮ」が復号処理を行う時間、「ＯＦＦ」が復号処理を行わない一時休止の時間を示している。

　動画像のフレームレートが６０Ｈｚであれば、サーバ４００からは基本的に１／６０（ｓｅｃ）周期で１フレーム分の画像データが送信される。復号伸張処理のレートを６０Ｈｚで設定すると、画像処理装置２００の復号伸張部２４２は図の上段に示すように、１／６０（ｓｅｃ）の時間で１フレーム分の復号伸張処理が完了するように動作する。なお実際の処理時間は上述のとおり、ジッターによって増減する。

　一方、復号伸張処理のレートを１２０Ｈｚとすると、復号伸張部２４２は図の下段に示すように、１／１２０（ｓｅｃ）の時間で１フレーム分の復号伸張処理が完了するように動作する。一方、画像データ取得部２４０は６０Ｈｚで動画像のデータを取得するため、１／６０（ｓｅｃ）周期の後半には、新たに復号伸張すべきデータは取得されないことになる。このとき復号伸張部２４２は、１／６０（ｓｅｃ）の前半において復号伸張が完了したフレームを再度復号伸張する必要はなく、図示するように後半のサイクルにおいては処理を一時休止する。

　ここで復号伸張部２４２は垂直同期信号と同期して復号伸張処理を開始する必要はない。すなわち復号伸張部２４２は、復号伸張対象のデータが到着し、かつ前フレームのデータの復号伸張が完了していれば、当該対象のデータの復号伸張を開始してよい。図では１／６０Ｈｚの周期で定常的にフレームのデータが得られることを想定し、１２０Ｈｚの復号伸張処理動作において「ＯＮ」と「ＯＦＦ」が交互に発現しているが、データ取得のタイミングや前のフレームの処理時間に依存して「ＯＮ」とするタイミングは様々となる。

　図９は、表示パネルへの出力レートと復号伸張処理のレートの様々な組み合わせによる表示の変化を説明するための図である。図の表し方は図６と同様であり、動画像のフレームレートは６０Ｈｚとする。（ａ）は図６と同様、復号伸張処理を動画像のフレームレートと同じ６０Ｈｚで行い、表示パネルへの出力処理は、６０Ｈｚで行う場合と１２０Ｈｚで行う場合の双方を表している。

　ただしこの例では、復号伸張部２４２が「１」フレーム目の圧縮符号化データを取得する際のジッターを矢印１４で表している。データ取得タイミングのジッターであっても、図６で示したのと同様の結果となる。すなわち図の縦線で示す、動画像のフレームレートと同じ６０Ｈｚの垂直同期信号で表示パネルへ出力した場合、「１」フレーム目の復号伸張の完了が本来の表示タイミングに間に合わなくなっている。表示パネルへの出力を１２０Ｈｚで行うと出力の機会が増え、データ取得が遅れたフレームであっても出力される可能性が高くなる。

　（ｂ）は復号伸張処理も１２０Ｈｚで行った場合を示している。詳細には図８で示したように、復号伸張処理を高速化することにより新たなフレームの復号伸張の機会を増やしている。これにより、各フレームの復号伸張が完了するタイミングを、（ａ）の場合より定常的に前倒しできる。また図の「１」フレーム目のように画像データの取得に遅延があっても、直後の垂直同期信号に間に合わせる可能性を高められる。

　さらに、次のフレーム（図では「２」フレーム目）の圧縮符号化データを取得しているにもかかわらず、前のフレーム（図では「１」フレーム目）の復号伸張処理が完了していないためにデータを待機させざるを得ない状況の発生を抑えられる。なお図では復号伸張部２４２による復号伸張処理のレートを高めた場合の効果を示したが、画像処理部２４４が行う画像処理についても設定レートを上げることにより同様の効果が得られる。

　さらに図示する例では動画像のフレームレート６０Ｈｚに対し復号伸張処理のレートを１２０Ｈｚとしたが、少なくとも前者に対し後者を大きくすれば同様の効果が得られる。ただし処理のレートを動画像のフレームレートのＮ’倍（Ｎ’は２以上の整数）とすることにより処理の制御が容易になる。ここで処理のレートは、表示パネルへの出力レートと同一としてもよいし、それぞれを独立に決定してもよい。すなわちパラメータＮ’は上述のパラメータＮと同値でもよいし異なっていてもよい。

　図１０は、画像処理装置２００の処理レート制御部２４８が、垂直同期信号の発生タイミングを調整する原理を説明するための図である。図は横軸の時間経過に対し、サーバ４００および画像処理装置２００での処理の経過を並列に示している。矩形はフレームごとの処理時間であり、フレーム番号を矩形内に示している。サーバ４００は、動画像のフレームレートで画像の描画、圧縮符号化、送信処理を行っている。

　つまりサーバ４００の垂直同期信号は図の縦線で示されるＳｖ０、Ｓｖ１、Ｓｖ２、Ｓｖ３、・・・のタイミングで発生し、それを始点として各フレームの処理が開始される。画像処理装置２００は、サーバ４００から送信された各フレームのデータに対し、復号伸張や必要に応じた各種画像処理を施して表示可能な状態としたうえ、直後の垂直同期信号で表示パネルへの出力を開始する。

　画像処理装置２００の垂直同期信号は、Ｃｖ０、Ｃｖ１、Ｃｖ２、Ｃｖ３、・・・のタイミングで、サーバ４００の垂直同期信号より高い周波数で発生させる。図では、動画像のフレームレートの２倍の周波数としている。例えば画像処理装置２００は、「０」フレーム目のデータをサーバ４００の垂直同期信号とは独立した時刻ｔ０で取得して処理を施すことにより表示画像な状態にして、直近に到来する垂直同期信号「Ｃｖ３」で表示パネルへの出力を開始する。

　結果として、少なくとも垂直同期信号「Ｃｖ３」から「Ｃｖ４」の間で、「０」フレーム目の画像が表示される。垂直同期信号「Ｃｖ４」において次の「１」フレーム目のデータが表示可能な状態となっていれば、表示制御部２４６は当該データを表示パネルへ出力する。図示するように垂直同期信号「Ｃｖ４」において、「１」フレーム目のデータが表示可能な状態になっていなければ、表示制御部２４６は「０」フレーム目のデータを再び出力する。

　いずれにしろ垂直同期信号の周波数をフレームレートのＮ倍とすることにより、各処理のジッターに起因して一部のフレームの表示が間に合わない場合を除き、元の動画像と同じフレームレートでの表示を実現できる。しかしながらサーバ４００のクロックと画像処理装置２００のクロックに誤差があると、厳密には垂直同期信号の周波数がフレームレートのＮ倍となっておらず、その累積誤差によりやはりコマ落ちや表示時間の不均一性が生じたりすることがあり得る。

　そこで処理レート制御部２４８は上述のとおり、垂直同期信号の発生タイミングを微調整することにより、サーバ４００のフレームごとの処理の周期と、垂直同期信号の周期をＮ倍した時間が一致するようにする。具体的には処理レート制御部２４８は、フレームのデータとともにサーバ４００から送信される、各フレームの生成時刻の間隔Ｔｓと、垂直同期信号の周期をＮ倍（図の場合は２倍）した時間Ｔｃとを比較する。そして両者にしきい値以上の差がある場合、その差を縮小するように垂直同期信号の発生タイミングをずらす。

　ここでしきい値は０でもよいしそれ以外の値でもよい。このような調整は定常的、あるいは所定の時間間隔で、複数フレームの時間比較に基づき実施してよい。この際、処理レート制御部２４８は、垂直同期信号の発生タイミングを複数フレームに渡り徐々にずらしていくことにより、一度の大きな変更で表示が破綻しないようにしてもよい。

　また処理レート制御部２４８は、フレームが表示可能な状態となった時刻ｔ１と直後の垂直同期信号Ｃｖ３の時刻との差、すなわち時間１６を測定し、その差が所定の目標値となるように垂直同期信号の発生タイミングを調整してもよい。ここでフレームが表示可能な状態となるのは、画像処理部２４４による処理を実施する場合はその完了時刻、実施しない場合は復号伸張部２４２における復号伸張処理の完了時刻である。

　処理レート制御部２４８は、所定数のフレームについて時間１６を測定し、その平均値などに基づきずらし量を決定してもよい。結果として図の中段に示した垂直同期信号は、最下段に示す垂直同期信号に調整される。なお図では時刻ｔ１と垂直同期信号Ｃｖ３を合致させているが、実際には各処理のジッターを考慮して所定時間、遅れて垂直同期信号が発生するようにしてよい。また処理レート制御部２４８は、垂直同期信号の発生タイミングを複数フレームに渡り徐々にずらしていくことにより、一度の大きな変更で表示が破綻しないようにしてもよい。

　以上述べた本実施の形態によれば、サーバ４００が生成した画像のデータを、クライアントである画像処理装置２００が受信し表示させる形態のシステムにおいて、画像処理装置２００は処理の少なくとも一部を、動画像のフレームレートより高いレートで実施する。これにより、サーバ４００内部での処理時間、データ伝送時間、画像処理装置２００内部での処理時間、サーバ４００や画像処理装置２００での垂直同期信号の発生タイミングが様々に揺らいでも、フレーム準備のタイミングが合わず表示パネルへの出力の機会が失われたり、表示が遅延したりする可能性を低くできる。

　その結果、表示のコマ落ちや表示対象の不自然な動きなどの不具合を抑制でき、低遅延の表示を安定して行える。またサーバ４００および画像処理装置２００は、１フレームより小さい部分画像の単位で必要な処理を施して表示パネルに順次出力することにより、１フレームを並列処理でき、描画から表示までの遅延時間を軽減させることができる。さらにサーバ４００との処理周期の差を解消したり、フレームが表示可能になってから表示パネルへ出力されるまでの待機時間を短縮したりするように垂直同期信号の発生タイミングを調整することにより、より安定的かつ低遅延の表示を実現できる。

　以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

　以上のように本発明は、画像処理装置、コンテンツ処理装置、情報端末、携帯端末、ゲーム装置、ヘッドマウントディスプレイ、表示装置、テレビ受像器などの各種機器や、それらのいずれかを含むシステムなどに利用可能である。

　１　画像表示システム、　１００　ヘッドマウントディスプレイ、　２００　画像処理装置、　２４０　画像データ取得部、　２４２　復号伸張部、　２４３　処理レート制御部、　２４４　画像処理部、　２４５　処理レート制御部、　２４６　表示制御部、　２４８　処理レート制御部、　３０２　平板型ディスプレイ、　４００　サーバ、　４２０　画像生成部、　４２２　圧縮符号化部、　４２４　パケット化部、　４２６　通信部。

Claims

　一体的に設けられていない外部装置から動画像を構成するフレームのデータを取得する画像データ取得部と、
　前記フレームのデータに所定の処理を施し表示可能な状態とする画像処理部と、
　前記動画像のフレームレートを参照し、表示可能な状態の前記フレームのデータを表示パネルに出力する機会を前記動画像のフレームレートより多く提供する表示制御部と、
　を備えたことを特徴とする画像処理装置。
　前記表示制御部は、前記動画像のフレームレートより高いレートで前記表示パネルを駆動することを特徴とする請求項１に記載の画像処理装置。
　前記画像処理部によって前記フレームのデータが表示可能な状態となるタイミングが前記表示パネルへの出力タイミングと非同期であるとき、前記表示制御部は、表示可能な状態となった前記フレームのデータを、直後に到来した出力タイミングで出力することを特徴とする請求項１または２に記載の画像処理装置。
　前記画像処理部が前記フレームのデータを表示可能な状態とするのに要する時間が可変のとき、前記表示制御部は、表示可能な状態となった前記フレームのデータを、前記表示パネルの出力タイミングのうち直後に到来した出力タイミングで出力することを特徴とする請求項１から３のいずれかに記載の画像処理装置。
　前記表示制御部は、前記表示パネルの出力タイミングにおいて、表示可能な状態の新たなフレームのデータが未取得のとき、出力済みのフレームのデータを再度出力することを特徴とする請求項１から４のいずれかに記載の画像処理装置。
　前記表示制御部は、表示可能な状態の新たなフレームのデータを取得するまで、過去のフレームのデータを内部のメモリに保持することを特徴とする請求項５に記載の画像処理装置。
　前記画像処理部は、前記動画像のフレームレートを参照し、それに基づき決定した、前記フレームレートより高いレートで、各フレームの処理サイクルを繰り返すことにより、前記フレームのデータを表示可能な状態とすることを特徴とする請求項１から６のいずれかに記載の画像処理装置。
　前記画像処理部は、処理対象のフレームのデータが未取得の処理サイクルにおいて前記所定の処理を一時休止することを特徴とする請求項２に記載の画像処理装置。
　前記画像処理部は、単位時間あたりに取得する処理対象のフレームのデータ量に基づき、当該フレームのデータを滞りなく処理するために必要、かつ、処理時間の短縮により処理の一時休止を可能にする演算能力を求め、当該演算能力のモードで前記所定の処理を実施することを特徴とする請求項８に記載の画像処理装置。
　前記画像処理部は、プロセッサ、動きベクトルエントロピー計算器、およびピクセルデノイズフィルタを備え、それらの動作クロック周波数の変更、または並列稼働するハードワイヤードブロック数の変更により、前記演算能力のモードを切り替えることを特徴とする請求項９に記載の画像処理装置。
　前記画像データ取得部は、前記動画像のデータを１フレームより小さい部分画像単位で取得し、
　前記画像処理部は、前記部分画像のデータに所定の処理を施し表示用の部分画像のデータを生成し、
　前記表示制御部は、前記表示用の部分画像のデータを順次表示パネルに出力することを特徴とする請求項１から１０のいずれかに記載の画像処理装置。
　前記表示制御部は、前記動画像のフレームレートのＮ倍（Ｎは２以上の整数）の周波数で垂直同期信号を発生させることにより、当該周波数で各フレームのデータを表示パネルに出力することを特徴とする請求項１から１１のいずれかに記載の画像処理装置。
　画像データ取得部は、前記外部装置から各フレームのデータとともにその生成時刻を取得し、
　前記表示制御部は、各フレームの生成時刻の間隔と前記垂直同期信号の周期を前記Ｎ倍した時間が一致するように、前記垂直同期信号の発生タイミングを調整することを特徴とする請求項１２に記載の画像処理装置。
　前記表示制御部は、前記画像処理部によりフレームのデータが表示可能な状態となった時刻から、直後に到来する前記垂直同期信号の発生時刻までの時間を計測し、当該時間が目標値となるように、前記垂直同期信号の発生タイミングを調整することを特徴とする請求項１２または１３に記載の画像処理装置。
　前記画像処理部は、前記動画像のフレームレートのＮ’倍（Ｎ’は２以上の倍数）のレートで前記処理サイクルを繰り返すことを特徴とする請求項７から９のいずれかに記載の画像処理装置。
　一体的に設けられていない外部装置から動画像を構成するフレームのデータを取得するステップと、
　前記フレームのデータに所定の処理を施し表示可能な状態とするステップと、
　前記動画像のフレームレートを参照し、表示可能な状態の前記フレームのデータを表示パネルに出力する機会を前記動画像のフレームレートより多く提供するステップと、
　を含むことを特徴とする画像処理装置による画像処理方法。
　一体的に設けられていない外部装置から動画像を構成するフレームのデータを取得する機能と、
　前記フレームのデータに所定の処理を施し表示可能な状態とする機能と、
　前記動画像のフレームレートを参照し、表示可能な状態の前記フレームのデータを表示パネルに出力する機会を前記動画像のフレームレートより多く提供する機能と、
　をコンピュータに実現させることを特徴とするコンピュータプログラム。