JP5878295B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法およびプログラムに関する。

近日、左目用画像および右目用画像を表示することによりユーザに立体視画像を知覚させることが可能な３Ｄ表示装置が流通している。３Ｄ用に制作されるテレビジョン映像や映画が増加傾向にあること、２Ｄ画像を３Ｄ画像に変換する技術が盛んに研究されていることなどから、３Ｄ表示装置は今後さらに普及すると予想される。なお、３Ｄ表示装置について記載された文献として下記の特許文献１が挙げられる。

また、ＩＥＥＥ（Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓ）８０２．１１に代表される無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）システムは、機器の自由度が高い等の利点から、有線ネットワークに代わり普及しつつある。

このＩＥＥＥ８０２．１１で規定される無線ＬＡＮシステムは、親機として動作するアクセスポイント、および子機として動作する複数のステーションからなる無線通信装置のグループで構成され、１のアクセスポイントは複数のステーションが接続される。

また、Ｗｉ−Ｆｉ ＡｌｌｉａｎｃｅによるＷｉ−Ｆｉダイレクトでは、複数の無線通信装置が親機（Ｇｒｏｕｐ Ｏｗｎｅｒ）または子機（Ｃｌｉｅｎｔ）のいずれとしての役割を担うかを決定して通信グループを形成することが提案されている。通信グループを形成した親機として動作する無線通信装置および子機として動作する無線通信装置は直接的に無線通信することが可能である。

特開２００４−３８９３３号公報

しかし、現在の無線通信による伝送帯域、および一部の有線方式による伝送帯域は、画像を非圧縮状態で通信するために十分でない。このため、例えば上記の３Ｄ画像を通信するために３Ｄ画像を圧縮する場合が想定される。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、再生品質が向上されるように画像を圧縮することが可能な、新規かつ改良された画像処理装置、画像処理方法およびプログラムを提供することにある。

上記課題を解決するために、本発明のある観点によれば、第１の画像および第２の画像が並べて配置されたフレーム画像を生成するフレーム画像生成部と、前記フレーム画像をマクロブロック単位で圧縮する圧縮処理部と、を備え、前記フレーム画像生成部は、前記第１の画像および前記第２の画像を、前記第１の画像と前記第２の画像の境界が前記マクロブロックの境界と一致するように配置する、画像処理装置が提供される。

前記フレーム画像生成部は、前記第１の画像および前記第２の画像の配置方向の両側にダミーデータを挿入することにより、前記第１の画像と前記第２の画像の境界を前記マクロブロックの境界に一致させてもよい。

前記フレーム画像生成部は、前記第１の画像または前記第２の画像を前記配置方向上で格納するために必要なマクロブロック数の２倍値に、前記マクロブロックの前記配置方向の画素数を乗算し、乗算結果と前記フレーム画像の前記配置方向の有効画素数との差分を前記ダミーデータとして前記フレーム画像における前記配置方向の両側に分配してもよい。

前記フレーム画像生成部は、前記第１の画像および前記第２の画像の前記配置方向上の有効画素数が同一である場合、前記ダミーデータを前記フレーム画像における前記配置方向の両側に均等に分配し、前記第１の画像および前記第２の画像の前記配置方向上の有効画素数が異なる場合、有効画素数が少ない画像の配置側に、他側より多くのダミーデータを分配してもよい。

前記画像処理装置は、前記圧縮処理部により圧縮された前記フレーム画像を無線送信する無線通信部をさらに備えてもよい。

前記フレーム画像の前記配置方向の有効画素数は、前記マクロブロックの前記配置方向の画素数の偶数倍と相違してもよい。

前記第１の画像は左目用画像であり、前記第２の画像は右目用画像であってもよい。

また、上記課題を解決するために、本発明の別の観点によれば、第１の画像および第２の画像が並べて配置されたフレーム画像を生成するステップと、前記フレーム画像をマクロブロック単位で圧縮するステップと、を含み、前記フレーム画像を生成するステップでは、前記第１の画像および前記第２の画像を、前記第１の画像と前記第２の画像の境界が前記マクロブロックの境界と一致するように配置する、画像処理方法が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、第１の画像および第２の画像が並べて配置されたフレーム画像を生成するフレーム画像生成部と、前記フレーム画像をマクロブロック単位で圧縮する圧縮処理部と、を備え、前記フレーム画像生成部は、前記第１の画像および前記第２の画像を、前記第１の画像と前記第２の画像の境界が前記マクロブロックの境界と一致するように配置する、画像処理装置として機能させるための、プログラムが提供される。

以上説明したように本発明によれば、再生品質が向上されるように画像を圧縮することができる。

本発明の実施形態による画像再生システムの構成を示した説明図である。 ＰＣのソフトウェア概念を示した説明図である。 ２Ｄ画像の圧縮方法を示した説明図である。 他の技術による３Ｄ用フレーム画像の圧縮方法を示した説明図である。 本発明の実施形態によるＰＣのハードウェア構成を示した説明図である。 本発明の実施形態による表示装置およびＰＣの構成を示した機能ブロック図である。 パケット生成部の構成を示した説明図である。 パケット構成を示した説明図である。 画像生成部により生成されるフレーム画像の具体例を示した説明図である。 画像生成部により生成されるフレーム画像の具体例を示した説明図である。 本発明の第１の実施形態による表示装置およびＰＣの動作を示したフローチャートである。 画像生成部により生成されるフレーム画像の具体例を示した説明図である。 画像生成部により生成されるフレーム画像の具体例を示した説明図である。

以下に添付図面を参照しながら、本発明の実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。

また、以下に示す項目順序に従って当該「発明を実施するための形態」を説明する。
１．画像再生システムの概要
２．ハードウェア構成
３．第１の実施形態
３−１．ＰＣおよび表示装置の構成
３−２．ＰＣおよび表示装置の動作
４．第２の実施形態
５．むすび

＜１．画像再生システムの概要＞
図１は、本発明の実施形態による画像再生システム１の構成を示した説明図である。図１に示したように、本発明の実施形態による画像再生システム１は、表示装置１０、ＰＣ２０、およびシャッタ眼鏡３０を備える。

ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）２０は、表示装置１０などの周囲の無線通信装置と接続して無線通信する機能を有する。例えば、ＰＣ２０は、Ｗｉ−Ｆｉ Ａｌｌｉａｎｃｅで策定中のＷｉ−Ｆｉダイレクトに従って表示装置１０と通信グループを形成し、通信グループを形成した表示装置１０とアクセスポイントを介さずに無線通信することができる。

また、ＰＣ２０は、表示装置１０と通信グループを形成すると、表示装置１０にコンテンツデータや制御データなどを送信することができる。本明細書においてはコンテンツデータの一例として、Ｒ画像およびＬ画像からなる複数のフレーム画像からなる画像データが送信される実施形態を主に説明する。この画像データは、映画、テレビジョン番組、またはビデオプログラムなどのデータであってもよいし、ＰＣ２０におけるユーザの作業画面であってもよいし、ゲームの表示画面であってもよい。ただし、コンテンツデータは画像データに限定されず、例えば、音楽、講演およびラジオ番組などの音声データがコンテンツデータとしてＰＣ２０から送信されてもよい。

ここで、図２を参照し、画像データおよび制御データが通信されるレイヤを説明する。

図２は、ＰＣ２０のソフトウェア概念を示した説明図である。図２に示したように、画像データなどのコンテンツデータは、ＭＰＥＧ―ＴＳ／ＲＴＰ／ＵＤＰ／ＩＰなどを利用して送信される。一方、制御データは、ＴＣＰ／ＩＰまたはＬ２レイヤなど、画像データと異なる通信パスで送信される。

なお、図１においては画像処理装置の一例としてＰＣ２０を示したに過ぎず、画像処理装置はＰＣ２０に限定されない。例えば、画像処理装置は、家庭用映像処理装置（ＤＶＤレコーダ、ビデオデッキなど）、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、携帯電話、家庭用ゲーム機器、携帯用映像処理装置、携帯用ゲーム機器、および家電機器などの情報処理装置であってもよい。

表示装置１０は、ＰＣ２０などの周囲の無線通信装置と接続して無線通信する機能を有する。例えば、表示装置１０は、Ｗｉ−Ｆｉ Ａｌｌｉａｎｃｅで策定中のＷｉ−Ｆｉダイレクトに従ってＰＣ２０と通信グループを形成し、通信グループを形成したＰＣ２０とアクセスポイントを介さずに無線通信することができる。なお、表示装置１０およびＰＣ２０は、同じアクセスポイント（ＡＰ）に接続されている場合であっても、例えばＩＥＥＥ８０２．１１ｚ（ＴＤＬＳ）等を使用する直接通信を行ってもよい。さらに、表示装置１０とＰＣ２０は有線により通信を行ってもよい。

また、表示装置１０は、ＰＣ２０と通信グループを形成すると、ＰＣ２０から送信される画像データを受信し、受信した画像データを表示することができる。かかる構成により、ユーザは、ＰＣ２０で処理された画像データを、より大画面である表示装置１０に煩雑な作業をすることなく表示させることが可能である。

また、表示装置１０は、左目用のＬ画像および右目用のＲ画像を表示することにより、シャッタ眼鏡３０を着用するユーザに立体視画像を知覚させることができる。

シャッタ眼鏡３０は、例えば液晶シャッタからなるＲ画像透過部３２及びＬ画像透過部３４を含む。シャッタ眼鏡３０は、表示装置１０から送出される信号に応じて、Ｒ画像透過部３２及びＬ画像透過部３４の開閉動作を実行する。ユーザは、シャッタ眼鏡３０のＲ画像透過部３２及びＬ画像透過部３４を通して、表示装置１０から発する光を見ることで、表示装置１０に表示されるＬ画像およびＲ画像を立体視画像として知覚することができる。

一方、通常の２Ｄ画像が表示装置１０に表示されている場合は、ユーザはそのまま表示装置１０から出射される光を見ることで、表示装置１０に表示される画像を通常の２Ｄ画像として知覚することができる。

なお、図１においては画像再生装置の一例として表示装置１０を示したに過ぎず、画像再生装置は表示装置１０に限定されない。例えば、画像再生装置は、ＰＣや映像処理装置等、画像再生機能を有する任意の情報処理装置であってもよい。

また、図１においては、ＰＣ２０および表示装置１０に無線通信機能が実装される例を説明したが、本実施形態はかかる例に限定されない。例えば、ＰＣ２０に、無線通信機能、画像データのエンコード機能、およびパケット化機能を有するアダプタを外付けしてもよい。同様に、表示装置１０に、無線通信機能、および画像データのデコード機能などを有するアダプタを外付けしてもよい。

また、上記ではＬ画像が左目によって知覚され、Ｒ画像が右目によって知覚されるようにするためにシャッタ動作を利用する制御方式を説明したが、制御方式はかかる例に限定されない。例えば、左目用の偏光フィルタおよび右目用の偏光フィルタを用いることによっても同等な効果を得ることが可能である。

また、本明細書においては、ＰＣ２０が第１の画像および第２の画像としてＲ画像およびＬ画像を１のフレーム画像として送信する例を説明するが、第１の画像および第２の画像は独立した画像であってもよい。例えば、第１の画像は第１のユーザ用の画像であり、第２の画像は第２のユーザ用の画像であってもよい。より詳細には、第１の画像および第２の画像は、各ユーザのためのゲーム画面または番組画面などであってもよい。

（背景）
ところで、ＰＣ２０がＬ画像およびＲ画像を１のフレーム画像に格納する方式には、サイドバイサイド方式と、トップアンドボトム方式がある。サイドバイサイド方式は、Ｌ画像およびＲ画像を水平方向に並べて配置する方式であり、トップアンドボトム方式は、Ｌ画像およびＲ画像を垂直方向に並べて配置する方式である。

また、ＰＣ２０は、ＨＤＭＩなどの有線により通信を行う場合、伝送帯域に余裕があり、エラーレートも十分に低いので、上記のフレーム画像を非圧縮のまま各画素を個別にデジタル伝送することも可能である。そのため、各画素の伝送は画面の他の部分の影響を受けない。一方、ＰＣ２０は、表示装置１０に対してフレーム画像を無線送信する場合、現在の無線帯域は非圧縮状態のフレーム画像の送信に十分でないので、フレーム画像を圧縮する。この圧縮に関して、他の技術ではいくつかの問題がある。以下、この点について図３および図４を参照して詳細に説明する。

図３は、２Ｄ画像の圧縮方法を示した説明図である。画像処理装置は、圧縮対象の２Ｄ画像をマクロブロックと呼ばれる画素領域単位で圧縮する。一般的には、マクロブロックは１６画素×１６画素の画素領域である。このため、垂直方向の有効画面サイズが１０８０画素である２Ｄ画像を圧縮する場合、図３に示したように、下端において１のマクロブロックを形成するための画素が不足するので、下端に８画素のダミーデータが挿入される。他の技術による画像処理装置は、以下に図４を参照して説明するように、Ｌ画像およびＲ画像からなる３Ｄ用のフレーム画像に対しても同様の処理を行う。

図４は、他の技術による３Ｄ用フレーム画像の圧縮方法を示した説明図である。他の技術による画像処理装置は、図４に示したように、Ｌ画像およびＲ画像の垂直方向画素数が５４０である場合、図３に示した例と同様に下端に８画素のダミーデータを挿入し、フレーム画像をマクロブロック単位で圧縮する。なお、点線の矩形領域がマクロブロックに対応する。

しかし、図４に示したように、Ｌ画像の下部とＲ画像の上部をまたぐマクロブロックが存在する場合、一方の画像の圧縮状態は他方の画像の圧縮状態によって変化する。このため、複数のフレーム画像にわたってＬ画像の下部が静止画であったとしても、Ｒ画像の上部が動きを有する場合には、その動きに影響を受けてＬ画像も圧縮のされ方が変わってしまう。そのため、主観画質としてＬ画像の下部が揺らいでしまうことが懸念される。例えば、地面の上を人が走っているフレーム画像において上記のような問題が生じ得る。

また、一般的に、無線通信は有線通信に比べてエラーレートが高く、伝送品質が悪い。このため、上記のようにして圧縮されたフレーム画像を無線送信するとデータロスが生じると考えられる。特に、伝送遅延を短くすることが求められるアプリケーションではＴＣＰでなくＵＤＰが利用されるので、データロスの発生率が高い。このようなデータロスが生じた場合、２Ｄ画像であれば再生時に画像中の１箇所が乱れるだけであるが、Ｌ画像の下部とＲ画像の上部をまたぐマクロブロックにデータロスが生じた場合、Ｌ画像の下部とＲ画像の上部の２箇所が乱れてしまう。

さらに、通常の放送においてはオーバースキャンで表示されるので、画面の端部に現れるエラーはユーザに認識され難いが、全ての場合においてオーバースキャンで表示されるとは限らない。特に、ＰＣに関するコンテンツではフルピクセルで表示される場合が多い。この場合、画像中の端部の乱れをユーザが認識し易い。

そこで、上記事情を一着眼点にして本発明の実施形態を創作するに至った。本発明の実施形態によれば、再生品質が向上されるように３Ｄ用のフレーム画像を圧縮することが可能である。以下、ＰＣ２０や表示装置１０のハードウェア構成を説明した後に、上記のような本発明による各実施形態について詳細に説明する。

＜２．ハードウェア構成＞
図５は、本発明の実施形態によるＰＣ２０のハードウェア構成を示した説明図である。ＰＣ２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３と、ホストバス２０４と、を備える。また、ＰＣ２０は、ブリッジ２０５と、外部バス２０６と、インタフェース２０７と、入力装置２０８と、出力装置２１０と、ストレージ装置（ＨＤＤ）２１１と、ドライブ２１２と、通信装置２１５とを備える。

ＣＰＵ２０１は、演算処理装置および制御装置として機能し、各種プログラムに従ってＰＣ２０内の動作全般を制御する。また、ＣＰＵ２０１は、マイクロプロセッサであってもよい。ＲＯＭ２０２は、ＣＰＵ２０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ２０３は、ＣＰＵ２０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバス２０４により相互に接続されている。

ホストバス２０４は、ブリッジ２０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス２０６に接続されている。なお、必ずしもホストバス２０４、ブリッジ２０５および外部バス２０６を分離構成する必要はなく、一のバスにこれらの機能を実装してもよい。

入力装置２０８は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ２０１に出力する入力制御回路などから構成されている。ＰＣ２０のユーザは、該入力装置２０８を操作することにより、ＰＣ２０に対して各種のデータを入力したり処理動作を指示したりすることができる。

出力装置２１０は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置およびランプなどの表示装置を含む。さらに、出力装置２１０は、スピーカおよびヘッドホンなどの音声出力装置を含む。出力装置２１０は、例えば、再生されたコンテンツを出力する。具体的には、表示装置は再生された映像データ等の各種情報をテキストまたはイメージで表示する。一方、音声出力装置は、再生された音声データ等を音声に変換して出力する。

ストレージ装置２１１は、本実施形態にかかるＰＣ２０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置２１１は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置２１１は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）で構成される。このストレージ装置２１１は、ハードディスクを駆動し、ＣＰＵ２０１が実行するプログラムや各種データを格納する。

ドライブ２１２は、記憶媒体用リーダライタであり、ＰＣ２０に内蔵、あるいは外付けされる。ドライブ２１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体２４に記録されている情報を読み出して、ＲＡＭ２０３に出力する。また、ドライブ２１２は、リムーバブル記憶媒体２４に情報を書き込むこともできる。

通信装置２１５は、例えば、周囲の無線通信装置やネットワークに接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置２１５は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信装置であっても、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。

なお、上記では図５を参照してＰＣ２０のハードウェア構成について説明したが、表示装置１０のハードウェアはＰＣ２０と実質的に同一に構成することが可能であるため、説明を省略する。

＜３．第１の実施形態＞
以上、図５を参照して携帯電話２０および表示装置１０のハードウェア構成を説明した。続いて、図６〜図１１を参照して本発明の第１の実施形態を説明する。

（３−１．ＰＣおよび表示装置の構成）
図６は、本発明の実施形態による表示装置１０およびＰＣ２０の構成を示した機能ブロック図である。図６に示したように、表示装置１０は、画像分離部１２０と、デコーダ１３０と、無線通信部１４０と、制御部１５０と、表示部１６０と、赤外線エミッタ１７０と、を備える。また、ＰＣ２０は、記憶部２１６と、画像生成部２２０と、パケット生成部２３０と、無線通信部２４０と、制御部２５０と、を備える。

ＰＣ２０の記憶部２１６は、Ｌ画像およびＲ画像からなる３Ｄ用画像などのコンテンツデータを記憶している。このような記憶部２１６は、不揮発性メモリ、磁気ディスク、光ディスク、およびＭＯ（Ｍａｇｎｅｔｏ Ｏｐｔｉｃａｌ）ディスクなどの記憶媒体であってもよい。不揮発性メモリとしては、例えば、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）があげられる。また、磁気ディスクとしては、ハードディスクおよび円盤型磁性体ディスクなどがあげられる。また、光ディスクとしては、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）、ＤＶＤ−Ｒ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅｃｏｒｄａｂｌｅ）およびＢＤ（Ｂｌｕ−Ｒａｙ Ｄｉｓｃ（登録商標））などがあげられる。

画像生成部（フレーム画像生成部）２２０は、例えば記憶部２１６から供給されるＬ画像およびＲ画像を並べて配置することにより１のフレーム画像を生成する。この時、画像生成部２２０は、詳細についは後述するように、Ｌ画像およびＲ画像の境界がフレーム画像圧縮の単位であるマクロブロックの境界と一致するようにＬ画像およびＲ画像を配置する。

パケット生成部２３０は、画像生成部２２０から供給される複数のフレーム画像からなる画像データを無線送信するためのパケットを生成する。以下、図７および図８を参照し、このパケット生成部２３０の詳細な構成を説明する。

図７は、パケット生成部２３０の構成を示した説明図である。図７に示したように、パケット生成部２３０は、画像エンコーダ２３１と、音声エンコーダ２３２と、ＰＥＳパケタイザ２３３と、暗号処理部２３４と、ＴＳマルチプレクサ２３５とを含む。

画像エンコーダ２３１は、供給される画像データを圧縮エンコードして出力する圧縮処理部である。同様に、音声エンコーダ２３２は、供給される音声データを圧縮エンコードして出力する。なお、画像エンコーダ２３１および音声エンコーダ２３２は、制御部２５０からの指示に従って各データの圧縮率を変更することが可能である。

ＰＥＳパケタイザ２３３は、画像エンコーダ２３１から出力される画像データ、および音声エンコーダ２３２から出力される画像データからＰＥＳパケットを生成する。より詳細に説明すると、ＰＥＳパケタイザ２３３は、図８の（１）に示したように、ＰＥＳヘッダおよびＰＥＳペイロードからなるＰＥＳパケットを生成する。ＰＥＳヘッダには、ＤＴＳ（デコーディングタイムスタンプ）またはＰＴＳ（プレゼンテーションタイムスタンプ）などのタイミング情報を記載するためのフィールドが含まれる。

暗号処理部２３４は、ＰＥＳパケタイザ２３３から供給されるＰＥＳパケットを暗号化して出力する。暗号処理部２３４は、例えば、ＨＤＣＰ（Ｈｉｇｈ−ｂａｎｄｗｉｄｔｈ Ｄｉｇｉｔａｌ Ｃｏｎｔｅｎｔ Ｐｒｏｔｅｃｔｉｏｎ Ｓｙｓｔｅｍ）２．０によりＰＥＳパケット暗号化してもよい。

ＴＳマルチプレクサ２３５は、図８の（２）に示したように、ＴＳヘッダおよびＴＳペイロードからなるＴＳストリームを生成する。なお、ＴＳペイロードは、ＰＥＳパケットを例えば１８８バイト固定長に分割することにより得られる。このＴＳストリームは、図８の（３）に示したように、ＲＴＰヘッダが付加されるＲＴＰパケットとして送信される。

無線通信部２４０は、パケット生成部２３０により生成された画像データを含むＲＴＰパケットや、制御部２５０により指示された制御データなどを無線送信する。この無線通信部２４０は、例えばＷｉ−Ｆｉ ＡｌｌｉａｎｃｅによるＷｉ−Ｆｉダイレクトに従って動作することができる。

制御部２５０は、ＰＣ２０の動作全般を制御する。例えば、制御部２５０は、画像生成部２２０によるＬ画像およびＲ画像の格納方式を制御したり、パケット生成部２３０におけるデータ圧縮率を制御したり、無線通信部２４０による無線通信を制御する。

表示装置１０の無線通信部１４０は、ＰＣ２０から、画像データを含むＲＴＰパケットや制御データなどを受信する。この無線通信部１４０は、例えばＷｉ−Ｆｉ Ａｌｌｉａｎｃｅで策定中のＷｉ−Ｆｉダイレクトに従って動作することができる。

デコーダ１３０は、無線通信部１４０により受信されたＲＴＰパケットを解読し、ＲＴＰパケットに含まれる画像データなどをデコードする。すなわち、デコーダ１３０は、画像データを構成する複数のフレーム画像をデコードして画像分離部１２０に供給する。ここで、各フレーム画像のマクロブロックは、いずれもＬ画像およびＲ画像にまたがっていないので、１のマクロブロックにデータロスが生じた場合の乱れを一箇所に留めることが可能となる。

画像分離部１２０は、デコーダ１３０によってデコードされたフレーム画像からＬ画像およびＲ画像を分離して、Ｌ画像およびＲ画像を例えば交互に表示部１６０に供給する。なお、フレーム画像中のＬ画像有効領域およびＲ画像有効領域を示す情報がＰＣ２０から送信され、画像分離部１２０は、当該情報に従ってＬ画像およびＲ画像をフレーム画像から分離してもよい。

制御部１５０は、表示装置１０の動作全般を制御する。例えば、制御部１５０は、無線通信部１４０による無線通信、デコーダ１３０におけるデコード処理、および画像分離部１２０による画像分離処理などを制御する。

表示部１６０は、画像分離部１２０から供給されるＬ画像およびＲ画像を表示する。また、赤外線エミッタ１７０は、シャッタ眼鏡３０のシャッタ動作を制御する制御信号を発する。シャッタ眼鏡３０では、このシャッタ制御信号に基づいて、Ｒ画像透過部３２及びＬ画像透過部３４の開閉動作を実行する。具体的には、表示部１６０にＬ画像が表示されている間にはＬ画像透過部３４が開かれ、表示部１６０にＲ画像が表示されている間にはＲ画像透過部３２が開かれるようにシャッタ動作が実行される。

（フレーム画像の生成）
ここで、画像生成部２２０によるフレーム画像の生成処理についてより詳細に説明する。

画像生成部２２０は、Ｌ画像およびＲ画像を例えば垂直方向に並べて配置してフレーム画像を生成する。ここで、ＡＶＣ規格によると１のフレーム画像中で有効画素領域は１つか定義できないので、画像生成部２２０はＬ画像およびＲ画像を隣接させる。また、画像生成部２２０は、隣接して配置されたＬ画像およびＲ画像の上側および下側にダミーデータを挿入することにより、Ｌ画像とＲ画像の境界を、画像エンコーダ２３１による画像圧縮の単位であるマクロブロックの境界に一致させる。

より詳細には、画像生成部２２０は以下の手順でダミーデータを挿入してもよい。
（１）Ｌ画像またはＲ画像を垂直方向上で格納するために必要なマクロブロック数を、Ｌ画像またはＲ画像の垂直方向上の画素数を１６（マクロブロックの画素数）で除算し、除算結果の小数点を切り上げることにより算出する。
（２）このマクロブロック数の２倍値を算出し、マクロブロックの画素数である１６を乗算する。
（３）乗算結果とフレーム画像の垂直方向の有効画素数との差分をダミーデータとして上側および下側に分配する。

ここで、画像生成部２２０は、Ｌ画像およびＲ画像の垂直方向上の有効画素数が同一である場合、ダミーデータを上側と下側に均等に分配する。一方、画像生成部２２０は、Ｌ画像およびＲ画像の垂直方向上の有効画素数が異なる場合、有効画素数が少ない画像の配置側に、他側よりも多くのダミーデータを分配する。

なお、Ｌ画像およびＲ画像の結合画を格納するために必要なマクロブロック数を、Ｌ画像およびＲ画像の結合画の垂直方向上の画素数を１６で除算することにより算出すると、算出結果が奇数になってしまう場合が考えられる。必要なマクロブロック数が奇数になってしまうと、Ｌ画像とＲ画像の境界をマクロブロックの境界に一致させることが困難になるので、上記のように、Ｌ画像またはＲ画像を垂直方向上で格納するために必要なマクロブロック数を２倍することが有効である。

また、Ｌ画像の垂直方向の有効画素数およびＲ画像の垂直方向の有効画素数の各々がマクロブロックの垂直方向の画素数の整数倍である場合、ダミーデータを挿入しなくてもＬ画像とＲ画像の境界がマクロブロックの境界に一致する。したがって、本発明の実施形態は、Ｌ画像の垂直方向の有効画素数およびＲ画像の垂直方向の有効画素数の各々がマクロブロックの垂直方向の画素数の整数倍でない場合、すなわち、フレーム画像の垂直方向の有効画素数がマクロブロックの垂直方向の有効画素数の偶数倍でない場合に特に有効であるといえる。

以下、図９および図１０を参照し、このような画像生成部２２０により生成されるフレーム画像の具体例を説明する。

図９および図１０は、画像生成部２２０により生成されるフレーム画像の具体例を示した説明図である。Ｌ画像およびＲ画像の垂直方向の有効画素数５４０である場合、画像生成部２２０は上述した手順に従い、図９に示したように、Ｌ画像の上側、およびＲ画像の下側に４画素分のダミーデータを挿入する。その結果、図１０に示したように、Ｌ画像とＲ画像の境界がマクロブロックの境界に一致する。

かかる構成により、Ｌ画像およびＲ画像を相互に依存することなく圧縮することが可能となる。これにより、例えば、複数のフレーム画像にわたってＬ画像の下部が静止画であり、Ｒ画像の上部が動きを有する場合であっても、Ｌ画像の下部を安定した静止画の状態で圧縮することが可能となる。また、１のマクロブロックにデータロスが生じた場合の乱れを一箇所に留めることができる。

（３−２．ＰＣおよび表示装置の動作）
以上、本発明の第１の実施形態の構成を説明した。続いて、図１１を参照し、第１の実施形態による表示装置１０およびＰＣ２０の動作を簡単に整理する。

図１１は、本発明の第１の実施形態による表示装置１０およびＰＣ２０の動作を示したフローチャートである。図１１に示したように、まず、ＰＣ２０の画像生成部２２０が、Ｌ画像およびＲ画像の境界がマクロブロックの境界と一致するようにダミーデータを挿入してフレーム画像を生成する（Ｓ３１０）。

そして、ＰＣ２０の画像エンコーダ２３１が、フレーム画像をマクロブロック単位で圧縮し（Ｓ３２０）、無線通信部２４０が、圧縮されたフレーム画像を含むＲＴＰパケットを表示装置１０に送信する（Ｓ３３０）。

その後、表示装置１０のデコーダ１３０が圧縮されたフレーム画像をデコードし（Ｓ３４０）、画像分離部１２０がフレーム画像からＬ画像およびＲ画像を分離し（Ｓ３５０）、表示部１６０が画像分離部１２０により分離されたＬ画像およびＲ画像を例えば交互に表示する（Ｓ３６０）。

＜４．第２の実施形態＞
以上、本発明の第１の実施形態を説明した。第１の実施形態ではトップアンドボトム形式でＬ画像およびＲ画像を配置する場合の処理を説明したが、以下に第２の実施形態として説明するように、サイドバイサイド方式でＬ画像およびＲ画像を配置する場合にも本技術を適用可能である。

具体的には、画像生成部２２０は、Ｌ画像およびＲ画像を例えば水平方向に並べて配置してフレーム画像を生成する。また、画像生成部２２０は、隣接して配置されたＬ画像およびＲ画像の左側および右側にダミーデータを挿入することにより、Ｌ画像とＲ画像の境界を、画像エンコーダ２３１による画像圧縮の単位であるマクロブロックの境界に一致させる。

より詳細には、画像生成部２２０は以下の手順でダミーデータを挿入してもよい。
（１）Ｌ画像またはＲ画像を水平方向上で格納するために必要なマクロブロック数を、Ｌ画像またはＲ画像の水平方向上の画素数を１６（マクロブロックの画素数）で除算し、除算結果の小数点を切り上げることにより算出する。
（２）このマクロブロック数の２倍値を算出し、マクロブロックの画素数である１６を乗算する。
（３）乗算結果とフレーム画像の水平方向の有効画素数との差分をダミーデータとして左側および右側に分配する。

ここで、画像生成部２２０は、Ｌ画像およびＲ画像の水平方向上の有効画素数が同一である場合、ダミーデータを左側と右側に均等に分配する。一方、画像生成部２２０は、Ｌ画像およびＲ画像の水平方向上の有効画素数が異なる場合、有効画素数が少ない画像の配置側に、他側よりも多くのダミーデータを分配する。

なお、Ｌ画像の水平方向の有効画素数およびＲ画像の水平方向の有効画素数の各々がマクロブロックの水平方向の画素数の整数倍である場合、ダミーデータを挿入しなくてもＬ画像とＲ画像の境界がマクロブロックの境界に一致する。したがって、本発明の実施形態は、Ｌ画像の水平方向の有効画素数およびＲ画像の水平方向の有効画素数の各々がマクロブロックの水平方向の画素数の整数倍でない場合、すなわち、フレーム画像の水平方向の有効画素数がマクロブロックの水平方向の有効画素数の偶数倍でない場合に特に有効であるといえる。

以下、図１２および図１３を参照し、このような画像生成部２２０により生成されるフレーム画像の具体例を説明する。

図１２および図１３は、画像生成部２２０により生成されるフレーム画像の具体例を示した説明図である。Ｌ画像およびＲ画像の水平方向の有効画素数９５５である場合、画像生成部２２０は上述した手順に従い、図１２に示したように、Ｌ画像の左側、およびＲ画像の右側に５画素分のダミーデータを挿入する。その結果、図１３に示したように、Ｌ画像とＲ画像の境界がマクロブロックの境界に一致する。

かかる構成により、Ｌ画像およびＲ画像を相互に依存することなく圧縮することが可能となる。これにより、例えば、複数のフレーム画像にわたってＬ画像の右部が静止画であり、Ｒ画像の左部が動きを有する場合であっても、Ｌ画像の右部を安定した静止画の状態で圧縮することが可能となる。また、１のマクロブロックにデータロスが生じた場合の乱れを一箇所に留めることができる。

＜５．むすび＞
以上説明したように、本発明の実施形態による画像生成部２２０は、Ｌ画像およびＲ画像の境界がマクロブロックの境界と一致するようにダミーデータを挿入してフレーム画像を生成する。かかる構成により、Ｌ画像およびＲ画像を相互に依存することなく圧縮することが可能となる。また、１のマクロブロックにデータロスが生じた場合の乱れを一箇所に留めることも可能となる。

なお、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、本明細書の表示装置１０およびＰＣ２０の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、表示装置１０およびＰＣ２０の処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。

また、表示装置１０およびＰＣ２０に内蔵されるＣＰＵ２０１、ＲＯＭ２０２およびＲＡＭ２０３などのハードウェアを、上述した表示装置１０およびＰＣ２０の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。

１０ 表示装置
２０ ＰＣ
３０ シャッタ眼鏡
１２０ 画像分離部
１３０ デコーダ
１４０、２４０ 無線通信部
１５０、２５０ 制御部
２１６ 記憶部
２２０ 画像生成部
２３０ パケット生成部
２３１ 画像エンコーダ

Claims (7)

1. 第１の画像および第２の画像が並べて配置されたフレーム画像を生成するフレーム画像生成部と、
   前記フレーム画像をマクロブロック単位で圧縮する圧縮処理部と、
   を備え、
   前記フレーム画像生成部は、前記第１の画像および前記第２の画像を、前記第１の画像と前記第２の画像の境界が前記マクロブロックの境界と一致するように配置し、
   前記第１の画像は左目用画像であり、前記第２の画像は右目用画像であり、
   前記フレーム画像生成部は、前記第１の画像および前記第２の画像の配置方向の両側にダミーデータを挿入することにより、前記第１の画像と前記第２の画像の境界を前記マクロブロックの境界に一致させる、画像処理装置。
2. 前記フレーム画像生成部は、
   前記第１の画像または前記第２の画像を前記配置方向上で格納するために必要なマクロブロック数の２倍値に、前記マクロブロックの前記配置方向の画素数を乗算し、
   乗算結果と前記フレーム画像の前記配置方向の有効画素数との差分を前記ダミーデータとして前記フレーム画像における前記配置方向の両側に分配する、請求項１に記載の画像処理装置。
3. 前記フレーム画像生成部は、
   前記第１の画像および前記第２の画像の前記配置方向上の有効画素数が同一である場合、前記ダミーデータを前記フレーム画像における前記配置方向の両側に均等に分配し、
   前記第１の画像および前記第２の画像の前記配置方向上の有効画素数が異なる場合、有効画素数が少ない画像の配置側に、他側より多くのダミーデータを分配する、請求項２に記載の画像処理装置。
4. 前記圧縮処理部により圧縮された前記フレーム画像を無線送信する無線通信部をさらに備える、請求項３に記載の画像処理装置。
5. 前記フレーム画像の前記配置方向の有効画素数は、前記マクロブロックの前記配置方向の画素数の偶数倍と相違する、請求項３に記載の画像処理装置。
6. 第１の画像および第２の画像が並べて配置されたフレーム画像を生成するステップと、
   前記フレーム画像をマクロブロック単位で圧縮するステップと、
   を含み、
   前記フレーム画像を生成するステップでは、前記第１の画像および前記第２の画像を、前記第１の画像および前記第２の画像の配置方向の両側にダミーデータを挿入することにより、前記第１の画像と前記第２の画像の境界が前記マクロブロックの境界と一致するように配置し、
   前記第１の画像は左目用画像であり、前記第２の画像は右目用画像である、画像処理方法。
7. コンピュータを、
   第１の画像および第２の画像が並べて配置されたフレーム画像を生成するフレーム画像生成部と、
   前記フレーム画像をマクロブロック単位で圧縮する圧縮処理部と、
   を備え、
   前記フレーム画像生成部は、前記第１の画像および前記第２の画像を、前記第１の画像および前記第２の画像の配置方向の両側にダミーデータを挿入することにより、前記第１の画像と前記第２の画像の境界が前記マクロブロックの境界と一致するように配置し、
   前記第１の画像は左目用画像であり、前記第２の画像は右目用画像である、画像処理装置として機能させるための、プログラム。
   

Images