JP7307794B2

JP7307794B2 - 画像処理システム、画像処理用集積回路、および画像処理方法

Info

Publication number: JP7307794B2
Application number: JP2021527333A
Authority: JP
Inventors: 活志大塚
Original assignee: Sony Interactive Entertainment Inc
Current assignee: Sony Interactive Entertainment Inc
Priority date: 2019-06-27
Filing date: 2019-12-26
Publication date: 2023-07-12
Anticipated expiration: 2039-12-26
Also published as: WO2020261617A1; US20220246085A1; JPWO2020261617A1

Description

この発明は、画像表示を含むコンテンツの処理を行う画像処理システム、画像処理用集積回路、および画像処理方法に関する。

近年の情報処理技術や画像表示技術の向上により、様々な形態で映像世界を体験することができるようになってきた。例えばヘッドマウントディスプレイにパノラマ映像を表示し、ユーザの視線に対応する画像を表示させることにより、映像世界への没入感を高めたり、ゲームなどのアプリケーションの操作性を向上させたりできる。また、ヘッドマウントディスプレイを装着したユーザが物理的に移動することで、映像として表示された空間内を仮想的に歩き回ることのできるウォークスルーシステムも開発されている。

上述のような画像体験の品質向上には、画像の高解像度化、高フレームレート化が求められるが、処理すべきデータサイズの増加と処理速度の高速化を両立させることは容易でない。例えば画像の生成や再生を行う装置と表示装置との間のビデオインターフェースに着目すると、ビット幅を拡大したりビットレートを引き上げたりすることにより、サイズの大きなデータを高速に伝送できるようになる一方、消費電力や電磁ノイズの増加が問題となる。また基板内の配線やケーブルの引き回しにも限界がある。

また一般に、画像の生成から表示に至るデータの伝送経路には、異なる転送プロトコルや電気的規格を有する複数のインターフェースが含まれ得る。例えば画像の生成装置をヘッドマウントディスプレイとは別に設けた場合、ユーザの可動範囲をカバーするのに十分な長さの通信経路を確保する必要があるため、ヘッドマウントディスプレイ内部でのデータ伝送路と比較しビット幅を抑え、結果的に高いビットレートでデータを伝送する必要が生じる。このように、インターフェースごとに求められる特性によって生じる拘束条件のもとで、消費電力や電磁ノイズなどへの影響を抑えつつ、高解像度の画像データを高いフレームレートで安定的に伝送することが求められている。

本発明はこうした課題に鑑みてなされたものであり、その目的は、プロトコルの異なる複数のインターフェースを含む伝送経路を用いて、高品質の画像データを安定して伝送できる技術を提供することにある。

上記課題を解決するために、本発明のある態様は画像処理システムに関する。この画像処理システムは、第１のインターフェースを介して送信すべき画像のデータを圧縮する圧縮部と、第１のインターフェースから、プロトコルの異なる第２のインターフェースへの画像のデータの伝送を中継する中継部と、第２のインターフェースを介して伝送された画像のデータを表示する表示部と、を備え、中継部は画像のデータを伸張することなく中継し、表示部は画像のデータを伸張して表示することを特徴とする。

本発明の別の態様は画像処理用集積回路に関する。この画像処理用集積回路は、第１のインターフェースを介して送信された、圧縮された画像のデータを取得する画像データ取得部と、画像のデータを、第１のインターフェースとプロトコルの異なる第２のインターフェースを介して表示パネルに伝送させる中継部と、を備え、中継部は、画像のデータを伸張することなく伝送させることを特徴とする。

本発明のさらに別の態様は画像処理方法に関する。この画像処理方法は、第１のインターフェースを介して送信すべき画像のデータを圧縮するステップと、第１のインターフェースから、プロトコルの異なる第２のインターフェースへの画像のデータの伝送を中継するステップと、第２のインターフェースを介して伝送された画像のデータを表示するステップと、を含み、中継するステップは、画像のデータを伸張することなく中継し、表示するステップは、画像のデータを伸張して表示することを特徴とする。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、プロトコルの異なる複数のインターフェースを含む伝送経路を用いて、高品質の画像データを安定して伝送できる。

本実施の形態におけるコンテンツ処理システムの構成例を示す図である。本実施の形態のコンテンツ処理システムにおけるデータの経路を模式的に示す図である。本実施の形態のコンテンツ処理装置の内部回路構成を示す図である。本実施の形態のコンテンツ処理装置の機能ブロックの構成を示す図である。本実施の形態のヘッドマウントディスプレイの機能ブロックの構成を示す図である。本実施の形態のコンテンツ処理装置における画像データの変化を説明するための図である。本実施の形態においてコンテンツ処理装置のデータ入出力部がインターフェースを介して送信するデータの構造例を示す図である。本実施の形態のヘッドマウントディスプレイにおける画像データの流れを説明するための図である。本実施の形態のクロック制御部の機能ブロックの構成を示す図である。本実施の形態に適用できる、２つの装置間の無線通信インターフェースの構成を示す図である。図１０で示したインターフェースを導入した場合のコンテンツ処理システムの全体構成を例示する図である。本実施の形態に図１０で示したインターフェースを導入した場合に実現できる、圧縮符号化と復号伸張処理の流れを例示する図である。

図１は、本実施の形態におけるコンテンツ処理システムの構成例を示す。このコンテンツ処理システム１は、コンテンツ処理装置２００、ヘッドマウントディスプレイ１００、平板型ディスプレイ３０２を含む。コンテンツ処理装置２００とヘッドマウントディスプレイ１００、平板型ディスプレイ３０２とは、無線通信またはUSB Type-Cなどの周辺機器を接続するインターフェース３００、３０３によりそれぞれ接続される。

コンテンツ処理装置２００は、さらにネットワークを介してサーバに接続されてもよい。その場合、サーバは、複数のユーザがネットワークを介して参加できるゲームなどのオンラインアプリケーションをコンテンツ処理装置２００に提供してもよい。コンテンツ処理装置２００は基本的に、コンテンツのプログラムを処理し、表示画像を生成してヘッドマウントディスプレイ１００や平板型ディスプレイ３０２に送信する。

ある態様においてコンテンツ処理装置２００は、ヘッドマウントディスプレイ１００を装着したユーザの頭部の位置や姿勢に基づき視点の位置や視線の方向を特定し、それに対応する視野の表示画像を所定のレートで生成する。ヘッドマウントディスプレイ１００や平板型ディスプレイ３０２は、当該表示画像のデータを受信し、コンテンツの画像として表示する。この限りにおいて画像を表示する目的は特に限定されない。

例えばコンテンツ処理装置２００は、電子ゲームを進捗させつつゲームの舞台である仮想世界を表示画像として生成してもよいし、仮想世界か実世界かに関わらず観賞や情報提供のために静止画像または動画像を表示させてもよい。ただし本実施の形態におけるコンテンツ処理システムの構成は図示するものに限らない。例えばコンテンツ処理装置２００はヘッドマウントディスプレイ１００と平板型ディスプレイ３０２のどちらか一方に接続されていてもよいし、複数のヘッドマウントディスプレイ１００や平板型ディスプレイ３０２に接続されていてもよい。

またコンテンツ処理装置２００の機能を、インターネットなどのネットワークを介してヘッドマウントディスプレイ１００や平板型ディスプレイ３０２と接続されるサーバに設けてもよい。あるいはコンテンツ処理装置２００の機能を、ヘッドマウントディスプレイ１００や平板型ディスプレイ３０２の内部に設けてもよい。これらの接続態様に応じて、インターフェース３００、３０３のプロトコルが適宜変化し得ることは当業者には理解されるところである。

このように、本実施の形態におけるコンテンツ処理システムの構成は特に限定されず、異なるプロトコルの複数のインターフェースを介してデータを伝送する構成であれば適用できる。以下はその代表例として、コンテンツの画像を含むデータの送信元であるコンテンツ処理装置２００と、画像の表示先であるヘッドマウントディスプレイ１００を含むシステムを例に説明する。

図２は、本実施の形態のコンテンツ処理システムにおけるデータの経路を模式的に示している。ヘッドマウントディスプレイ１００は、ユーザの眼前に画像を表示させる表示パネル１２２や、ユーザの耳に音響を到達させるスピーカー１１０のほか、ＣＰＵを含む様々な機能モジュールを搭載したシステムオンチップである画像処理用集積回路１２０を備える。なおヘッドマウントディスプレイ１００はこのほか、ユーザの顔の向きに対応する視野で動画撮影する単眼あるいは多眼のカメラや、ユーザの頭部の動きを検出する各種モーションセンサーなどを備えてよいが、ここでは図示を省略している。

表示パネル１２２は、液晶ディスプレイや有機ＥＬディスプレイなどの一般的な表示機構を有するパネルであり、画像処理用集積回路１２０から入力された画像信号を適宜処理し画像として出力する。スピーカー１１０はヘッドフォンやイヤホンなどの一般的な音響装置であり、画像処理用集積回路１２０から入力された音声信号を適宜処理して音響として出力する。なおスピーカー１１０には、ユーザが発した音声を信号に変換し画像処理用集積回路１２０に入力するマイクロフォンの機能を設けてもよい。

このような構成において、高解像度、高フレームレートの画像のデータをコンテンツ処理装置２００からヘッドマウントディスプレイ１００に送信し表示することを考える。このときコンテンツ処理装置２００とヘッドマウントディスプレイ１００の間のインターフェース３００は、有線か無線かによらず、ユーザの可動範囲をカバーできる十分な長さに対応させる必要がある。例えばケーブルを介して伝送する場合、ビット幅が大きいとケーブルが太くなり取り回しに苦労する。

ユーザの可動性を妨げることなく長い距離でのデータ伝送を保証するには、インターフェース３００においてはビット幅を抑え、結果としてビットレートを上げる必要がある。またインターフェース３００においては、音声データなども同時に伝送可能なプロトコルが必要となる。さらに最低でも数メートルの距離を確保するため、伝送経路における損失を考慮した、比較的大きな電力プロファイルでの伝送が求められる。

一方、ヘッドマウントディスプレイ１００の内部における、画像処理用集積回路１２０と表示パネル１２２の間のインターフェース３０４は、短い距離を大きいビット幅で接続できるため、ビットレートを抑えることができる。また音声データはスピーカー１１０との間のインターフェース３０６が担うことにより、インターフェース３０４のプロトコルを画像データに特化したものにできる。さらに一般には、プリント基板やフレキシブルケーブルを用いた短距離の接続により、経路での低損失を前提として低電力プロファイルでの転送が可能である。

このようなデータ伝送経路において、ビット幅の拡張やビットレートの引き上げのみによって、画像の高解像度化、高フレームレート化に対応させようとすると、消費電力や電磁ノイズの増加、ケーブルや配線の引き回しの難しさといった問題が顕在化しやすい。さらに上述のとおり、インターフェースによってビット幅やビットレートの許容値に差がある。そこでそれらの対策とともに、伝送すべきデータを圧縮してデータ量を削減することが考えられる。

ここで可逆圧縮方式を採用した場合、画質の劣化は避けられるが、一般には圧縮後のデータサイズは画像の内容に依存して変化するため、動画を構成する一連のフレームデータが常時同じ条件で安定して伝送される保証はない。例えば圧縮後のデータレートが、インターフェースが対応可能な範囲を超えていれば、フレーム欠けなどが起こり得る。非可逆圧縮方式を採用した場合、データサイズを所定値以下に抑えることができ伝送を安定化できる。ただし画質が劣化するため、各インターフェースを経由するたびに伸張し別途圧縮する処理を繰り返すと、画質の劣化がさらに進んでしまう。また圧縮や伸張の処理に要する時間がデータ遅延の原因になり得る。

そこで本実施の形態では、送信元であるコンテンツ処理装置２００において画像データを非可逆圧縮することにより、伝送すべきデータのサイズをできるだけ削減するとともに、当該データの伸張を、表示パネル１２２において表示の直前のみに実施する。すなわち画像処理用集積回路１２０において異なるプロトコル間でデータを伝送させる際、当該データに対して伸張や新たな圧縮を行わない。これにより、非可逆圧縮としても画質の劣化を最小限にでき、データサイズの縮小による高速伝送、低消費電力と高品質の画像表示とを両立できる。

図３は、コンテンツ処理装置２００の内部回路構成を示している。コンテンツ処理装置２００は、ＣＰＵ（Central Processing Unit）２２２、ＧＰＵ（Graphics Processing Unit)２２４、メインメモリ２２６を含む。これらの各部は、バス２３０を介して相互に接続されている。バス２３０にはさらに入出力インターフェース２２８が接続されている。

入出力インターフェース２２８には、ＵＳＢやＰＣＩｅなどの周辺機器インターフェースや、有線又は無線ＬＡＮのネットワークインターフェースからなる通信部２３２、ハードディスクドライブや不揮発性メモリなどの記憶部２３４、ヘッドマウントディスプレイ１００や平板型ディスプレイ３０２へのデータを出力する出力部２３６、ヘッドマウントディスプレイ１００などからのデータを入力する入力部２３８、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する記録媒体駆動部２４０が接続される。

ＣＰＵ２２２は、記憶部２３４に記憶されているオペレーティングシステムを実行することによりコンテンツ処理装置２００の全体を制御する。ＣＰＵ２２２はまた、リムーバブル記録媒体から読み出されてメインメモリ２２６にロードされた、あるいは通信部２３２を介してダウンロードされた各種プログラムを実行する。ＧＰＵ２２４は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、ＣＰＵ２２２からの描画命令に従って描画処理を行い、出力部２３６に出力する。メインメモリ２２６はＲＡＭ（Random Access Memory）により構成され、処理に必要なプログラムやデータを記憶する。

図４は、コンテンツ処理装置２００の機能ブロックの構成を示している。同図および後述する図５に示す機能ブロックは、ハードウェア的にはＣＰＵ、ＧＰＵ、マイクロコントローラ、ハードワイヤードブロック、各種メモリなどの構成で実現でき、ソフトウェア的には、記録媒体などからメモリにロードした、データ入力機能、データ保持機能、画像処理機能、通信機能などの諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

また同図および後述する図５には、本実施の形態の実現に用いる機能ブロックのみを示しているが、必要に応じてその他の機能ブロックを様々に設けることができることは当業者には理解されるところである。図示するコンテンツ処理装置２００は、出力すべきコンテンツのデータを生成するデータ生成部２０、コンテンツのデータを出力形式にするデータ変換部２４、およびヘッドマウントディスプレイ１００との間でデータの送受を行うデータ入出力部２６を備える。

データ生成部２０は、コンテンツとしてユーザに提示すべき画像や音声のデータを生成する。データ生成部２０は例えば、図示しない入力装置に対するユーザ操作や、ユーザの頭部の動きなどに応じてゲームを進捗させ、対応する表示画像や音声を所定のレートで生成する。あるいはデータ生成部２０は、ユーザの頭部の動きに応じた視野で、パノラマ画像のうち表示すべき領域の画像を所定のレートで生成する。このためデータ生成部２０は、画像に登場させるオブジェクトのモデルデータや表示対象の映像データ、描画した画像を一旦、格納するフレームバッファなどを内部に保持する。

データ変換部２４は、データ生成部２０が生成したコンテンツのデータに、ヘッドマウントディスプレイ１００へ出力するために必要な処理を施す。詳細にはデータ変換部２４は、圧縮部２８、データ形成部３０、暗号処理部３２を備える。圧縮部２８は、コンテンツのデータを所定の方式で圧縮することにより、伝送すべきデータのサイズを削減する。特に画像のデータに対し非可逆圧縮を行うことにより、画像の内容にかかわらず圧縮後の単位面積あたりのデータサイズが一定値以下となるようにする。

ここで圧縮部２８は、エントロピー符号化やインデックススカラー符号化などの圧縮方式により、１フレームの画像全体より小さい所定サイズの領域単位で圧縮を行うことにより、ヘッドマウントディスプレイ１００においても当該領域単位で復号伸張ができるようにする。以後、圧縮部２８が画像を圧縮する際の単位となる領域を「圧縮単位領域」と呼ぶ。圧縮単位領域のサイズは、表示パネル１２２の表示方式などに基づき、ヘッドマウントディスプレイ１００とのハンドシェイクにより決定する。

データ形成部３０は、音声のデータと画像のデータを所定の形式で順次つなげて出力データを形成する。ここで少なくとも画像のデータは、上述のとおり圧縮部２８によって圧縮単位領域ごとに非可逆圧縮されている。そこでデータ形成部３０は、圧縮単位領域ごとの圧縮データを画像平面上のラスタ順につなげ、さらにフレーム順につなげたストリームデータとする。この際、フレームとフレームの間のブランキング期間に同期するように、音声データをさらにつなげてもよい。

暗号処理部３２は、公開鍵方式など所定のアルゴリズムで、出力すべきデータを暗号化する。公開鍵など暗号化に必要なデータはヘッドマウントディスプレイ１００から取得しておく。データ入出力部２６は、データ変換部２４が出力形式にし、暗号化されたコンテンツのデータを、インターフェース３００を介してヘッドマウントディスプレイ１００へストリーム転送する。この際、データ入出力部２６はインターフェース３００に適した形式でデータをパケット化してから送信してよい。

またデータ入出力部２６は、データ生成部２０やデータ変換部２４が行う各処理に必要なデータを、ヘッドマウントディスプレイ１００からインターフェース３００を介して取得する。ここで「必要なデータ」とは、ヘッドマウントディスプレイが備えるカメラによる撮影画像や、各種センサーが取得した計測値などのほか、圧縮単位領域のサイズを決定づける表示方式などの情報を含んでよい。

さらにデータ入出力部２６は、インターフェース３００を介した画像データの伝送タイミングを決定づけるクロックや位相に係る情報を、インターフェース３００を介してヘッドマウントディスプレイ１００に送信する。例えばピクセルクロック、水平同期信号（H-sync）、垂直同期信号（V-sync）などのうち、少なくともいずれかを送信する。これによりヘッドマウントディスプレイ１００において、画像の表示タイミングを決定づけるクロックを調整し、コンテンツ処理装置２００からのデータの伝送と、ヘッドマウントディスプレイ１００における表示との同期をとる。

図５は、ヘッドマウントディスプレイ１００の機能ブロックの構成を示している。ヘッドマウントディスプレイ１００は上述のとおり、画像処理用集積回路１２０、表示パネル１２２を含む表示部１２３、スピーカー１１０のほか、モーションセンサーやカメラなどのセンサー１１２を備える。本実施の形態において画像処理用集積回路１２０は、コンテンツ処理装置２００から送信された画像のデータを、１フレーム分のデータ受信を待たずに表示パネル１２２に順次出力させる。そのため当該画像のデータを一時格納するバッファメモリ（図示せず）を設ける場合も、１フレーム分のデータサイズより小さい容量とすることができる。

画像処理用集積回路１２０は、コンテンツ処理装置２００との間でデータの送受を行うデータ入出力部４０、異なるプロトコルのインターフェース間を中継する中継部４２、コンテンツのデータのうち画像のデータを出力する画像データ出力部４４、音声のデータを出力する音声データ出力部４６、および、センサー１１２から検出値を取得する検出値取得部４８を備える。

データ入出力部４０は、画像データ取得部として、コンテンツ処理装置２００から送信されたコンテンツのデータを、インターフェース３００を介して取得する。この際、データ入出力部４０は、コンテンツ処理装置２００における画像データの伝送クロックに係る情報も取得する。またデータ入出力部４０は、センサー１１２が取得した撮影画像のデータやモーションセンサーなどの計測値を、インターフェース３００を介してコンテンツ処理装置２００へ送信する。

中継部４２はコンテンツ処理装置２００との間のインターフェース（第１のインターフェース）であるインターフェース３００と、ヘッドマウントディスプレイ１００内部の表示部１２３、スピーカー１１０、センサー１１２との間のインターフェース（第２のインターフェース）である、インターフェース３０４、３０６、３０８との間でデータの伝送を中継する。コンテンツ処理装置２００との間のインターフェース３００は例えば、USB Type-C、DisplayPort、HDMI2.1(High-Definition Multimedia Interface)（登録商標）などである。

表示部１２３との間のインターフェース３０４は例えばMIPI DSI(Display Serial Interface)、スピーカー１１０との間のインターフェース３０６は例えばI2S(Inter-IC Sound)、センサー１１２との間のインターフェース３０８は例えばMIPI CSI(Camera Serial Interface)やMIPI I2C(Inter-Integrated Circuit)、I3Cなどである。上述のとおりシステム構成によっては、インターフェース３００はインターネットなどの広域ネットワークやＬＡＮなどでもよいし、画像処理用集積回路１２０内のオンチップバスでもよい。

一般に、送信元で圧縮符号化されたデータはインターフェースを伝送したあと送信先でまず復号伸張され、その先の処理やさらなる伝送がなされる。ここでさらに別のインターフェースを介してデータを伝送する場合は、プロトコルやペイロードのフォーマットが異なるため、新たに圧縮符号化する必要に迫られることがある。一方、本実施の形態における中継部４２は上述のとおり、コンテンツ処理装置２００が圧縮符号化した画像のデータを、復号伸張することなく中継する。これにより非可逆圧縮を複数回行うことによる画質の劣化を回避するとともに、中継時になすべき処理を最小限にする。

データの円滑な中継および画像表示を実現するため、コンテンツ処理装置２００は、データ送信先のヘッドマウントディスプレイ１００の特性に適した形式で、送信データを形成しておく。このため中継部４２は、ヘッドマウントディスプレイ１００とコンテンツ処理装置２００が接続された際などに、ハンドシェイクにより送信データの形式について取り決める。具体的には、表示パネル１２２と中継部４２の構成に基づいた、画像表示方法、画像解像度、フレームレート、ピクセルフォーマット、ピクセルクロック動作周波数、水平同期信号（H-sync）・垂直同期信号（V-sync）のタイミング、圧縮単位領域のサイズ、圧縮方式、圧縮データ長（圧縮率）、第１・第２のインターフェースが対応可能なストリームデータ構成、音声データの有無、暗号化の有無、公開鍵などの少なくともいずれかを決定しておく。

例えば表示パネル１２２が、画面を分割してなる単位領域ごとに独立した駆動が可能な表示方式を有する場合、当該単位領域（以下、「表示単位領域」と呼ぶ）のサイズもコンテンツ処理装置２００に通知する。これに応じてコンテンツ処理装置２００が、当該表示単位領域、またはそれを分割してなる領域を圧縮単位領域に定めてデータ圧縮することにより、圧縮単位のデータが複数の表示単位領域をまたぐことを防ぐ。これにより、表示単位領域ごとに独立して表示処理を行える。

なおヘッドマウントディスプレイ１００とコンテンツ処理装置２００は、ピクセルフォーマット、すなわちRGB、YUV444、YUV422、YUV420など画素を表す色空間やフォーマット、色深度などについても取り決めてよい。中継部４２は、暗号処理部５０、データ分離部５２、出力順制御部５４、クロック制御部５６、およびデータ分析部５８を備える。暗号処理部５０は、データ入出力部４０が取得したコンテンツのデータが暗号化されている場合に、それを復号する。伝送対象のデータを暗号化するか否かをインターフェースごとに独立して制御できるようにすることで、各インターフェースが本来備える機密性に応じて暗号化の有無を適正化できる。

例えばコンテンツ処理装置２００とヘッドマウントディスプレイ１００の間のデータ伝送は、ヘッドマウントディスプレイ１００内部でのデータ伝送と比較し元来の機密性が低い。そこでインターフェース３００の伝送時にはデータを暗号化し、ヘッドマウントディスプレイ１００がデータを取得した時点でその暗号を解除することにより、必要十分の機密性が保たれる。ただし実際にどのインターフェースでデータを暗号化するかは特に限定されない。

データ分離部５２は、一連のコンテンツのデータをヘッダ、画像データ、および音声データに分離する。クロックに関する情報を同時に取得する場合は、その情報も分離する。出力順制御部５４は、圧縮単位ごとのデータの羅列である画像のデータを、表示パネル１２２での表示順に適した順序とする。この際、個々の圧縮データ自体は復号伸張することなく、必要に応じて順序を入れ替えたり複数のストリームに分岐させたりする。

上述のとおり表示単位領域ごとに駆動される方式の表示パネル１２２の場合は、各圧縮単位のデータを、対応する表示単位領域に分配する。圧縮単位領域を、表示単位領域の単位と同じか、それをさらに分割した単位とすることにより、圧縮された状態のまま適切に分配できる。

クロック制御部５６は、コンテンツ処理装置２００におけるコンテンツデータの生成・出力と、ヘッドマウントディスプレイ１００におけるコンテンツデータの出力を同期させるためのクロック調整を行う。具体的には、コンテンツ処理装置２００のクロック位相や周波数を検出し、ヘッドマウントディスプレイ１００内部のクロック周波数やクロック位相を調整することにより、両者の差を所定値以下に抑え込む。

このようにすることで、ヘッドマウントディスプレイ１００は、順次取得したデータストリームを、少ない時間調整で破綻なく出力できるようになる。結果として、ヘッドマウントディスプレイ１００内部でコンテンツのデータを一時格納しておく場合であっても、バッファメモリのサイズを最小限にできる。

データ分析部５８は、コンテンツのデータを分析し、適切な条件で出力されるように表示パネル１２２やスピーカー１１０の制御情報を決定する。この目的のためデータ分析部５８は、画像データを復号伸張したうえで画像解析を実施してもよい。表示パネル１２２として液晶パネルを採用した場合、高解像度化が可能な反面、ダイナミックレンジが不十分で反応速度が遅い。有機ＥＬパネルを採用した場合は反応速度が速い反面、高解像度化が難しく、また黒色領域とその周辺で色にじみが発生するBlack Smearingと呼ばれる現象が生じ得る。このような表示パネルによる様々な悪影響を解消するように補正を行ってもよい。

例えば液晶パネルにおいて、暗いシーンや領域を画像解析により特定し、対応するフレームや領域においてダイナミックレンジを向上させるため、表示パネル１２２を構成する液晶パネルのバックライトの輝度を下げるなどの制御情報を決定する。例えば液晶パネルにおいて、動きの激しいシーンや領域を画像解析により特定し、対応するフレーム間において、黒い画像を挿入することにより液晶をリセットし、反応速度を向上させる。

例えば有機ＥＬパネルの場合、Black Smearingが生じやすい黒色領域とその周辺を画像解析により特定し、輝度値や、ガンマ補正におけるガンマ値にオフセットをかけ色にじみを目立ちにくくする。そのほか、表示輝度を決定づける電圧、色域などを制御対象としてもよい。これらの制御情報に基づいた処理は、表示部１２３やスピーカー１１０、または画像処理用集積回路１２０のいずれで行ってもよい。

データ分析部５８による画像データの復号伸張および分析は、表示部１２３への画像データの伝送とは独立して実施する。すなわち表示パネル１２２に表示させる画像のデータは圧縮された状態のまま中継する一方、データ分析部５８における画像分析を別途実施する。データ分析部５８からの出力は、表示パネル１２２やスピーカー１１０の制御情報に限られるため、伝送経路が圧迫されたり画像や音声の出力レートが影響されたりすることはない。なおデータ分析部５８は表示部１２３に設けてもよい。

画像データ出力部４４は、出力順制御部５４により適宜出力順が適正化された画像の圧縮データを、インターフェース３０４を介して表示部１２３に出力する。音声データ出力部４６は、データ分離部５２が分離した音声データを、インターフェース３０６を介してスピーカー１１０に出力する。データ分析部５８が表示パネル１２２やスピーカー１１０の制御情報を生成した場合、画像データ出力部４４や音声データ出力部４６はそれらの情報も表示部１２３やスピーカー１１０に伝送する。なお、これらの制御情報を送信するために、図示しない専用の伝送路で、データ分析部５８と、表示部１２３やスピーカー１１０を接続してもよい。

検出値取得部４８は、インターフェース３０８を介してセンサー１１２から検出値を取得し、中継部４２に出力する。ここで検出値とは、モーションセンサーの計測値やカメラの撮影画像などである。中継部４２はそれらのデータを随時、データ入出力部４０、インターフェース３００を介してコンテンツ処理装置２００に送信する。

表示部１２３は、画像データを表示させる表示素子のマトリクスおよび、それを駆動する制御部からなる表示パネル１２２と、画像処理用集積回路１２０から取得した、圧縮された状態の画像データを復号伸張する復号伸張部６０を備える。上述のとおり表示パネル１２２が、所定の表示単位領域ごとに駆動される方式を有する場合、当該表示単位領域ごとに独立して復号伸張部６０を設けることにより、復号伸張を並列に行えるようにしてもよい。

いずれにしろ、画像データの復号伸張を表示の直前に行うようにすることで、非可逆圧縮としても画質の劣化を最低限に抑えられ、全てのインターフェースでデータの高速伝送を容易に実現できる。なおデータ分析部５８を表示部１２３に設ける場合、復号伸張部６０が復号伸張した画像を分析対象とすることができる。表示パネル１２２、スピーカー１１０は、データ分析部５８が決定した制御情報に基づき、表示や音声出力の設定を適宜調整する。

図６は、コンテンツ処理装置２００における画像データの変化を説明するための図である。まずコンテンツ処理装置２００のデータ生成部２０は、内部のフレームバッファ７０に１フレーム分の画像を描画する。図示するフレームバッファ７０は画像平面を矩形で表しており、例えば横方向のサイズＨ＝３８４０画素、縦方向のサイズＶ＝２１６０画素の画素値のデータを格納する。

データ生成部２０は、フレームバッファ７０に矢印で示すように、左から右への走査を１行目（Ｌｉｎｅ０）、２行目（Ｌｉｎｅ１）、・・・と下方向に繰り返すラスタ順に画素のデータを格納していくことで、１フレーム分の画像を生成する。コンテンツ処理装置２００の圧縮部２８は、当該画像のデータをフレームバッファ７０から順次読み出し、圧縮符号化した画像データ７２を生成する。

この際、圧縮部２８は上述のように、所定の圧縮単位領域ごとに非可逆圧縮を行うことで、復号伸張時にも当該領域単位で独立した処理ができるようにする。図示する画像データ７２は、画像平面における各圧縮単位領域の区画を示している。この例では、画像平面の１行分の領域の長さを４等分した領域を圧縮単位領域（例えば圧縮単位領域７４）としている。つまり圧縮単位領域の幅Ｐｈ＝Ｈ／４（画素）、高さＰｖ＝１（画素）である。ただし圧縮単位領域のサイズＰｈ×Ｐｖは限定されず、表示パネル１２２の表示方式、解像度、フレームレート、各インターフェースの特性、圧縮方式などに基づき最適化する。

なお図示する画像データ７２は画像平面における圧縮単位領域の設定例を示しているに過ぎず、圧縮後の画像データを図のように形成する趣旨ではない。すなわち実際には圧縮部２８は、各圧縮単位領域を構成する画素のデータがフレームバッファ７０に格納される都度、当該データを圧縮符号化して順次出力する。結果として圧縮符号化された画像のデータは、画像平面における圧縮単位領域のラスタ順に出力されることになる。

図７は、コンテンツ処理装置２００のデータ入出力部２６がインターフェース３００を介して送信するデータの構造例を示している。図示する例で送信データ７６は、ヘッダ情報７８、画像の圧縮データ８０、水平同期信号８２を、圧縮単位領域の行ごとに連ねたストリームの構造を有する。図において圧縮データ８０を構成する各矩形が、１単位の圧縮データを示している。

ここで矩形内の数字は、（横方向の位置，縦方向の位置）の形式で圧縮単位領域の位置座標を示しており、この例では図６で示したように、画像平面の１行分の領域の長さを４等分した場合を想定しているため、横方向の位置座標は０、１、２、３のいずれかとなる。非可逆圧縮により、各圧縮単位領域の圧縮後のデータサイズを画像内容によらず制御できる。なお、あるフレームの最終行から次のフレーム先頭行までの垂直帰線期間には、送信データ７６に垂直同期信号を含めるが、ここでは図示を省略している。この期間にさらに音声データを含めてもよい。データ入出力部２６は、一連の送信データ７６を順次パケット化してインターフェース３００を伝送させる。

図８は、ヘッドマウントディスプレイ１００における画像データの流れを説明するための図である。コンテンツ処理装置２００からは図７で示したような構造のコンテンツのデータが、インターフェース３００を介してヘッドマウントディスプレイ１００に送信される。中継部４２の出力順制御部５４は、そのうち画像の圧縮データを取得し、表示部１２３とその間のインターフェース３０４に適合させるために必要な処理を施す。この際、データの復号伸張や新たな圧縮符号化は行わない。

この例で表示パネル１２２は、表示単位領域ごとに独立して駆動可能な構造を有する。表示すべき画像の解像度が高くなるにつれ、同じクロックで動作する高速信号を画面の両端まで引き回すことが困難になってきている。また解像度やフレームレートが高くなるほどパネルの駆動回路の高速化が必要になる。そのため、１画面を分割した領域ごとに独立して駆動させることのできる表示装置が普及しつつある（例えば特開平５－８０７１４号公報参照）。例えば複数の表示単位領域の画素を並行して駆動することにより、単位時間あたりに走査が必要な画素数が減少するため、駆動回路の速度を抑制することができる。

図示する例では、表示パネル１２２は画面を縦に４等分してなる表示単位領域（例えば表示単位領域９２）ごとに、矢印で示すようにラスタ順に画素を駆動する構造を有する。このような表示パネル１２２に対し、隣り合う表示単位領域をまたがないように圧縮単位領域を決定することにより、画像データを圧縮した状態のままで各表示単位領域の駆動部に分配することができる。そして表示単位領域ごとに復号伸張部６０ａ、６０ｂ、６０ｃ、６０ｄを設けることにより、復号伸張処理自体も並列に行うことができる。

すなわち表示単位領域の幅をＤｈとすると、圧縮単位領域の幅Ｐｈを、次の条件を満たすように決定する。
Ｐｈ＝Ｄｈ／ｎ１（ｎ１は自然数）
この場合、圧縮単位領域の高さＰｖは１画素でもよいし複数画素でもよい。一方、画面を横方向に分割した表示単位領域を有する表示パネルの場合は、その高さをＤｖとすると、圧縮単位領域の高さＰｖを、次の条件を満たすように決定する。
Ｐｖ＝Ｄｖ／ｎ２（ｎ２は自然数）
この場合、圧縮単位領域の幅Ｐｈは１画素でもよいし複数画素でもよい。

画面を縦横双方向に分割した表示単位領域を有する表示パネルの場合は、圧縮単位領域の幅Ｐｈおよび高さＰｖの双方が上記条件を満たすように決定する。コンテンツ処理装置２００とヘッドマウントディスプレイ１００は、表示パネル１２２における表示単位領域のサイズなどに基づき、圧縮単位領域のサイズＰｈ、Ｐｖを事前のハンドシェイクにより決定しておく。

ヘッドマウントディスプレイ１００の出力順制御部５４は、送信されたストリームデータにおける各圧縮単位のデータを、元の画像平面における位置と、表示パネル１２２の画面における表示単位領域の位置との対応関係に基づき分配する。そして画像データ出力部４４は、分配された圧縮データを適宜パケット化し、各表示単位領域に対し個別に設けられたインターフェース３０４を介して、それぞれを表示部１２３に送信する。

表示部１２３の各復号伸張部６０ａ、６０ｂ、６０ｃ、６０ｄは、取得した圧縮データを並列に復号伸張し、その結果を図示しない駆動部に供給することにより、対応する表示単位領域の表示画素を駆動させる。このように、出力順制御部５４が画像データを適切に分配することにより、その後の処理を個別に進捗させることができ、表示を効率化できる。

図９は、クロック制御部５６の機能ブロックの構成を示している。クロック制御部５６は、クロック発生部９８、位相比較部９４、およびクロック調整部９６を備える。クロック発生部９８は、ヘッドマウントディスプレイ１００内での動作タイミングを決定づけるクロックの発生源である。位相比較部９４は、コンテンツ処理装置２００からの画像データの伝送タイミングを決定づけているクロックに係るデータを、インターフェース３００を介して取得し、ヘッドマウントディスプレイ１００内部のクロックとの位相比較を行う。

比較対象はピクセルクロック、水平同期信号、垂直同期信号の少なくともいずれかである。コンテンツ処理装置２００とヘッドマウントディスプレイ１００でクロック動作周波数が異なる場合は、水平同期信号や垂直同期信号の位相差を比較することが望ましい。なおクロック制御部５６は、図示しないクロック分周器を内蔵してもよい。この場合、クロック分周期によって分周されたクロックを位相比較部９４が使用してもよい。クロック調整部９６は、位相比較部９４による比較結果に基づき、クロック発生部９８が発生させたクロックのタイミングを調整して出力する。

すなわちコンテンツ処理装置２００からインターフェース３００を介した伝送に対する、ヘッドマウントディスプレイ１００内部でのデータ伝送の位相差が所定値以下に収まるように、ヘッドマウントディスプレイ１００内部でのクロックを調整する。クロック調整部９６により調整されたクロックは位相比較部９４にも入力し、インターフェース３００におけるクロックとの比較を再度行う。そしてその比較結果に基づきクロック調整部９６が必要に応じてさらなる調整を実施する、といったフィードバック制御を行うことにより、異なるインターフェースを介したデータ伝送であっても安定的に同期をとることができる。

このような構成により、両インターフェースの間で生じる転送タイミングのジッタは最小限に抑えられる。結果として、コンテンツ処理装置２００から送信された画像のデータを、大幅な時間調整の必要なく表示まで到達させることができる。これにより低遅延の表示を実現できるうえ、時間調整のために画像データを一時保存しておくバッファメモリの容量を１フレーム分より小さくできる。

以上述べた本実施の形態によれば、異なるプロトコルを有する複数のインターフェースを介して画像データを伝送し表示するシステムにおいて、送信元で圧縮符号化され送信されたデータを、復号伸張することなく別のインターフェースに入力する中継部を設ける。これにより、非可逆圧縮しても画質の低下を最小限にでき、高解像度、高フレームレートの画像であっても伝送すべきデータのサイズを格段に抑制できる。結果として、消費電力、電磁ノイズ、ケーブルや配線の構成などへの影響を抑えつつ高品質の画像を表示できる。

また、最初に圧縮符号化する段階で、表示パネルが有する表示方式などに適合するようにデータを生成しておくことにより、圧縮データをそのまま中継しても破綻せず容易な処理で表示まで到達させることができる。さらに、送信元と表示先が個別のクロックで動作している場合に、中継部が表示先のクロックを調整して位相差を最小限に抑える。これにより、送信されたデータを停滞なく出力することができ、データをバッファしておくメモリの容量を節約できるとともに低遅延での出力を実現できる。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

例えばコンテンツ処理装置２００とヘッドマウントディスプレイ１００の間のインターフェース３００を無線通信とした場合、以下に述べる構成を導入してもよい。図１０は、本実施の形態に適用できる、２つの装置間の無線通信インターフェースの構成を示している。インターフェース３１０は、無線変換部１３０ａおよび無線送受信部１４２ａの組と、無線変換部１３０ｂおよび無線送受信部１４２ｂの組を含む。無線送受信部１４２ａと無線送受信部１４２ｂは無線で互いに通信を確立し、データの送受信を行う。通信のプロトコルには従来の技術を適用できる。

無線変換部１３０ａ、１３０ｂは、無線で送受信するデータに必要な変換処理を施す。詳細には無線変換部１３０ａ、１３０ｂはそれぞれ、圧縮符号化部１３２ａ、１３２ｂ、復号伸張部１３４ａ、１３４ｂ、データ結合・分離部１３６ａ、１３６ｂ、暗号処理部１３８ａ、１３８ｂ、およびデータ入出力部１４０ａ、１４０ｂを含む。圧縮符号化部１３２ａ、１３２ｂは、対応する無線送受信部１４２ａ、１４２ｂから送信すべきデータ、すなわち図の入力Ａから入力されたデータを所定の符号化方式で圧縮符号化する。

ここで圧縮符号化部１３２ａ、１３２ｂが行う圧縮符号化の方式は、コンテンツ処理装置２００の圧縮部２８と同じであっても異なっていてもよい。なお無線を介したデータ転送では、転送中のデータ欠落の発生頻度が有線の場合より増加する。このため圧縮符号化部１３２ａ、１３２ｂは、ＦＥＣ(Forward Error Correction)などのエラー検出訂正方式を採用してもよい。復号伸張部１３４ａ、１３４ｂは、対応する無線送受信部１４２ａ、１４２ｂが受信したデータ、すなわち図の入力Ｂから入力されたデータを復号伸張する。ここで復号伸張部１３４ａ、１３４ｂは、コンテンツ処理装置２００の圧縮部２８が行う圧縮符号化の方式と、圧縮符号化部１３２ａ、１３２ｂが行う圧縮符号化の方式の双方に対応してよい。

本実施の形態に適用した場合、無線変換部１３０ａの入力Ａに入力されるデータは例えば、コンテンツ処理装置２００が生成した画像や音声などコンテンツのデータである。また無線変換部１３０ｂの入力Ａに入力されるデータは例えば、ヘッドマウントディスプレイ１００が備えるカメラによる撮影画像やマイクロフォンが取得した音声のデータ、あるいはヘッドマウントディスプレイ１００内部で行った画像解析の結果などである。

データ結合・分離部１３６ａ、１３６ｂは、対応する無線送受信部１４２ａ、１４２ｂから送信すべき、種類の異なるデータを結合させたり、無線送受信部１４２ａ、１４２ｂが受信したデータを種類別に分離したりする。暗号処理部１３８ａ、１３８ｂは、対応する無線送受信部１４２ａ、１４２ｂから送信すべきデータを暗号化したり、無線送受信部１４２ａ、１４２ｂが受信した、暗号化されたデータを復号したりする。データ入出力部１４０ａ、１４０ｂは、対応する無線送受信部１４２ａ、１４２ｂとのインターフェースである。

図１１は、図１０で示したインターフェース３１０を導入した場合のコンテンツ処理システムの全体構成を例示する。コンテンツ処理システム２は、コンテンツ処理装置２００およびヘッドマウントディスプレイ１００に加え、コンテンツ処理装置２００と接続する情報処理装置用無線接続アダプタ１５０と、ヘッドマウントディスプレイ１００と接続するディスプレイ用無線接続アダプタ１５２を含む。情報処理装置用無線接続アダプタ１５０は、図１０で示した無線変換部１３０ａおよび無線送受信部１４２ａを備える。ディスプレイ用無線接続アダプタ１５２は、図１０で示した無線変換部１３０ｂおよび無線送受信部１４２ｂを備える。

コンテンツ処理装置２００と情報処理装置用無線接続アダプタ１５０、ヘッドマウントディスプレイ１００とディスプレイ用無線接続アダプタ１５２はそれぞれ、USB Type-Cなどの規格により有線で接続してよい。例えばディスプレイ用無線接続アダプタ１５２を据え置き型とし、ヘッドマウントディスプレイ１００を装着したユーザの近傍に設置する。あるいはディスプレイ用無線接続アダプタ１５２を携帯型、例えばバックパック、ショルダーバッグ、ウエストバッグなどの形状とし、ヘッドマウントディスプレイ１００を装着したユーザが携帯するようにしてもよい。

あるいはディスプレイ用無線接続アダプタ１５２を、ヘッドマウントディスプレイ１００にコネクタ接続可能な形状とし、ヘッドマウントディスプレイ１００内部の中継部４２と基板上の配線で接続してもよい。これらの構成により、無線機能のないコンテンツ処理装置２００やヘッドマウントディスプレイ１００であっても無線通信を実現でき、ヘッドマウントディスプレイ１００の可動範囲をより広げることができる。

なおディスプレイ用無線接続アダプタ１５２を接続する対象はヘッドマウントディスプレイに限らず、一般的な平板型の表示装置などでもよい。例えば鉄道、自動車、飛行機といった乗り物における座席のモニタのように、画像の出力元の装置と表示装置が離れていたり表示装置が多数あったりする場合、図示するような無線接続アダプタにより無線通信を実現すれば、ケーブルの引き回しに係る問題を解消できる。

図示するようにインターフェース３１０を本実施の形態に適用した場合、コンテンツ処理装置２００やヘッドマウントディスプレイ１００と重複する機能についてはどちらか一方をオフにしてもよいし、組み合わせて利用してもよい。図１２は、インターフェース３１０を導入した場合に実現できる、圧縮符号化と復号伸張処理の流れを例示している。（ａ）のケースでは、無線変換部１３０ａ、１３０ｂにおける圧縮符号化処理と復号伸張処理の機能をオフにし、コンテンツ処理装置２００の圧縮部２８が圧縮符号化したデータを、ヘッドマウントディスプレイ１００の復号伸張部６０が復号伸張する。

（ｂ）のケースでは、コンテンツ処理装置２００の圧縮部２８が「方式ａ」で圧縮符号化したデータを、無線変換部１３０ａの圧縮符号化部１３２ａが無線転送用に別の方式（「方式ｂ」）で圧縮符号化する。すなわちこの場合、転送データは二重に圧縮符号化される。そして受信側の無線変換部１３０ｂにおいて復号伸張部１３４ｂが「方式ｂ」で復号伸張したデータを、ヘッドマウントディスプレイ１００の復号伸張部６０が「方式ａ」で復号伸張する。（ｃ）のケースでは、コンテンツ処理装置２００の圧縮部２８が「方式ａ」で圧縮符号化したデータを、無線変換部１３０ａの復号伸張部１３４ａが復号伸張したうえで、圧縮符号化部１３２ａが無線転送用の方式（「方式ｂ」）で圧縮符号化する。

そして受信側の無線変換部１３０ｂにおいて復号伸張部１３４ｂが「方式ｂ」で復号伸張したデータを、圧縮符号化部１３２ｂが圧縮部２８と同じ「方式ａ」で圧縮符号化する。そのデータを、ヘッドマウントディスプレイ１００の復号伸張部６０が「方式ａ」で復号伸張する。このような処理の流れのいずれか、あるいはそれ以外の組み合わせにより、インターフェース３１０を本実施の形態に導入でき、上述したような効果を得ることができる。

以上のように本発明は、コンテンツ処理装置、画像処理装置、ゲーム装置、表示装置、ヘッドマウントディスプレイ、およびそれらを含むコンテンツ処理システムなどに利用可能である。

２０データ生成部、２４データ変換部、２６データ入出力部、２８圧縮部、３０データ形成部、３２暗号処理部、４０データ入出力部、４２中継部、４４画像データ出力部、４６音声データ出力部、４８検出値取得部、５０暗号処理部、５２データ分離部、５４出力順制御部、５６クロック制御部、５８データ分析部、６０復号伸張部、９４位相比較部、９６クロック調整部、９８クロック発生部、１００ヘッドマウントディスプレイ、１１０スピーカー、１１２センサー、１２２表示パネル、１２３表示部、１３０ａ無線変換部、１４２ａ無線送受信部、１５０情報処理装置用無線接続アダプタ、１５２ディスプレイ用無線接続アダプタ、２００コンテンツ処理装置。

Claims

第１のインターフェースを介して送信すべき画像のデータを圧縮する圧縮部と、
前記画像のデータを含むコンテンツのデータを処理する画像処理用集積回路において、前記第１のインターフェースから、プロトコルの異なる第２のインターフェースへの前記画像のデータの伝送を中継する中継部と、
表示パネルを含み、前記第２のインターフェースを介して伝送された前記画像のデータを表示する表示部と、
を備え、
前記中継部は前記画像のデータを伸張することなく中継し、前記表示部は前記画像のデータを伸張して表示することを特徴とする画像処理システム。
前記圧縮部は、前記表示部が備える表示パネルの方式に基づき決定した領域単位で、前記画像のデータを圧縮することを特徴とする請求項１に記載の画像処理システム。
前記表示部は、前記表示パネルの画面を複数の領域に分割してなる表示単位領域ごとに前記表示パネルを駆動し、
前記圧縮部は、前記表示単位領域またはそれを分割してなる領域ごとに、前記画像のデータを非可逆圧縮することを特徴とする請求項２に記載の画像処理システム。
前記中継部は、前記表示単位領域と、前記圧縮部が圧縮の単位とした領域との位置関係に基づき、前記表示単位領域ごとに設けられた前記第２のインターフェースのうち、対応するインターフェースに前記画像のデータを分配することを特徴とする請求項３に記載の画像処理システム。
前記表示部は、前記表示単位領域ごとに前記画像のデータを伸張する伸張部を備えることを特徴とする請求項３または４に記載の画像処理システム。
前記中継部は、前記第１のインターフェースにおける前記画像のデータの伝送タイミングを決定づけるクロックに係る情報を取得し、前記表示部における画像の表示タイミングを決定づけるクロックを調整するクロック制御部を備えることを特徴とする請求項１から５のいずれかに記載の画像処理システム。
前記中継部は、１フレーム分の画像のデータの取得を待たずに前記画像のデータを表示部に出力することを特徴とする請求項１から６のいずれかに記載の画像処理システム。
前記中継部は、前記第１のインターフェースを介して取得した、暗号化された前記画像のデータを復号したうえで、前記第２のインターフェースに入力する暗号処理部を備えることを特徴とする請求項１から７のいずれかに記載の画像処理システム。
前記中継部は、前記画像のデータを分析することにより、前記表示部における表示パネルの制御情報を決定し、前記表示部に送信するデータ分析部を備えることを特徴とする請求項１から８のいずれかに記載の画像処理システム。
第１のインターフェースを介して送信された、圧縮された画像のデータを取得する画像データ取得部と、
前記画像のデータを、前記第１のインターフェースとプロトコルの異なる第２のインターフェースを介して表示パネルに伝送させる中継部と、
を備え、
前記中継部は、前記画像のデータを伸張することなく伝送させることを特徴とする画像処理用集積回路。
第１のインターフェースを介して送信すべき画像のデータを圧縮するステップと、
前記画像のデータを含むコンテンツのデータを処理する画像処理用集積回路において、前記第１のインターフェースから、プロトコルの異なる第２のインターフェースへの前記画像のデータの伝送を中継するステップと、
表示パネルを含む表示部において、前記第２のインターフェースを介して伝送された前記画像のデータを表示するステップと、
を含み、
前記中継するステップは、前記画像のデータを伸張することなく中継し、前記表示するステップは、前記画像のデータを伸張して表示することを特徴とする画像処理システムによる画像処理方法。
第１のインターフェースを介して送信された、圧縮された画像のデータを含むコンテンツのデータを取得する機能と、
前記画像のデータを、前記第１のインターフェースとプロトコルの異なる第２のインターフェースを介して表示パネルに伝送させる機能と、
をコンピュータに実現させ、
前記伝送させる機能は、前記画像のデータを伸張することなく伝送させることを特徴とするコンピュータプログラム。