JP6332364B2 - 通信装置、通信方法およびプログラム - Google Patents

Description

本発明は、画像処理装置に関する。

近年、ＩＥＥＥ（Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓ）８０２．１１に代表される無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）システムは、機器の自由度が高い等の利点から、有線ネットワークに代わり普及しつつある。

このＩＥＥＥ８０２．１１で規定される無線ＬＡＮシステムは、親機として動作するアクセスポイント、および子機として動作する複数のステーションからなる無線通信装置のグループで構成され、１のアクセスポイントは複数のステーションが接続される。

また、Ｗｉ−Ｆｉ Ａｌｌｉａｎｃｅで策定中のＷｉ−Ｆｉダイレクトでは、複数の無線通信装置が親機（Ｇｒｏｕｐ Ｏｗｎｅｒ）または子機（Ｃｌｉｅｎｔ）のいずれとしての役割を担うかを決定して通信グループを形成することが提案されている。ここで、親機は簡易的なアクセスポイントとして動作し、１または２以上の子機を接続する機能を有する。

このようなＷｉ−Ｆｉダイレクトのユースケースとして、携帯電話やＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）とディスプレイ装置が通信グループを形成し、携帯電話やＰＣが送信した画像データをディスプレイ装置で表示することが考えられる。携帯電話やＰＣとディスプレイ装置は、アクセスポイントを経由しないで通信するので、無線能力を活用したレート伝送で低遅延を実現することができる。

なお、特許文献１には、２の無線通信装置が通信路の状況に応じてデータレートを動的に設定する技術が開示されている。

特開２００９−２７２８７４号公報

ここで、Ｗｉ−Ｆｉダイレクトにおいて複数のフレーム画像からなる画像データを圧縮してパケット伝送する場合、無線通信装置間の無線状況に応じて各フレーム画像のデータ容量を動的に変更することが考えられる。例えば、送信側の無線通信装置は、画像データの送信中に、各フレーム画像の解像度、フレームレート、圧縮率、および走査形式（プログレッシブ、インターレス）などの画像形式を切り替えることにより伝送レートの変化に対応することが可能である。

しかし、送信側が画像データの送信中に画像形式を切り替えると、受信側が画像データを正常に再生できなくなる場合が考えられる。例えば、送信側がフレーム画像の解像度を変更した場合、受信側は、フレーム画像をデコーダで復号した後でないと解像度の変更を認識できないので、デコーダの後段に配されるスケーラの設定切替えが間に合わない。その結果、解像度の変更直後のフレーム画像の正常な再生に失敗してしまうことが懸念される。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、伝送される画像データの形式変更に画像再生装置が前もって対応することを可能とする、新規かつ改良された画像処理装置を提供することにある。

上記課題を解決するために、本発明のある観点によれば、画像データを処理する画像処理部と、前記画像処理部により処理された画像データ、およびタイミング情報を画像再生装置に無線送信する通信部と、前記タイミング情報の示すタイミングにおいて前記画像処理部に前記画像データの処理内容を切替えさせる制御部と、を備える画像処理装置が提供される。

前記画像処理部は、前記制御部による制御に従い、前記タイミング情報の示すタイミングにおいて前記画像データを構成する各フレーム画像の解像度を切り替えてもよい。

前記制御部は、前記画像再生装置との間の無線状況に応じて前記処理内容の切替えを判断し、前記処理内容を切り替えるタイミングを判断し、前記タイミングを示す前記タイミング情報を生成してもよい。

前記制御部は、前記画像再生装置からの再送要求から前記画像再生装置との間の無線状況を検出してもよい。

前記通信部は、前記画像データをパケット形式で送信し、前記制御部が生成する前記タイミング情報は、パケットに付されるＰＴＳまたはＤＴＳを示してもよい。

また、上記課題を解決するために、本発明の別の観点によれば、画像処理装置から画像データおよびタイミング情報を受信する受信部と、前記画像データを再生する再生部と、前記タイミング情報の示すタイミングにおいて前記再生部による再生処理内容を切替えさせる制御部と、を備える画像再生装置が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、画像データを処理する画像処理部、前記画像処理部により処理された画像データ、およびタイミング情報を無線送信する通信部、および、前記タイミング情報の示すタイミングにおいて前記画像処理部に前記画像データの処理内容を切替えさせる制御部、を有する画像処理装置と、前記画像処理装置から前記画像データおよび前記タイミング情報を受信する受信部、前記画像データを再生する再生部、および、前記タイミング情報の示すタイミングにおいて前記再生部による再生処理内容を切替えさせる制御部、を有する画像再生装置と、を備える画像再生システムが提供される。

以上説明したように本発明によれば、伝送される画像データの形式変更に画像再生装置が前もって対応することが可能となる。

本発明の実施形態による画像再生システムの構成を示した説明図である。 携帯電話のソフトウェア概念を示した説明図である。 スライス伝送により送信される各フレーム画像の具体例を示した説明図である。 本発明の実施形態による携帯電話のハードウェア構成を示した説明図である。 携帯電話および表示装置の構成を示した機能ブロック図である。 パケット生成部の構成を示した説明図である。 パケット構成を示した説明図である。 無線状況の変化と解像度の切替えの関係を示した説明図である。 比較例による処理フローを示した説明図である。 本実施形態による処理フローを示した説明図である。 画像再生システムの動作を示したシーケンス図である。

以下に添付図面を参照しながら、本発明の実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。

また、以下に示す項目順序に従って当該「発明を実施するための形態」を説明する。
１．画像再生システムの概要
２．ハードウェア構成
３．携帯電話および表示装置の機能
４．画像再生システムの動作
５．まとめ

＜１．画像再生システムの概要＞
図１は、本発明の実施形態による画像再生システム１の構成を示した説明図である。図１に示したように、本発明の実施形態による画像再生システム１は、携帯電話２０および表示装置１０を備える。

携帯電話２０は、表示装置１０などの周囲の無線通信装置と接続して無線通信する機能を有する。例えば、携帯電話２０は、Ｗｉ−Ｆｉ Ａｌｌｉａｎｃｅで策定中のＷｉ−Ｆｉダイレクトに従って表示装置１０と通信グループを形成し、通信グループを形成した表示装置１０とアクセスポイントを介さずに無線通信することができる。

また、携帯電話２０は、表示装置１０と通信グループを形成すると、表示装置１０にコンテンツデータや制御データなどを送信することができる。本明細書においてはコンテンツデータの一例として複数のフレーム画像からなる画像データが送信される実施形態を主に説明する。この画像データは、映画、テレビジョン番組、またはビデオプログラムなどのデータであってもよいし、携帯電話２０におけるユーザの作業画面であってもよいし、ゲームの表示画面であってもよい。ただし、コンテンツデータは画像データに限定されず、例えば、音楽、講演およびラジオ番組などの音声データがコンテンツデータとして携帯電話２０から送信されてもよい。

ここで、図２を参照し、画像データおよび制御データが通信されるレイヤを説明する。

図２は、携帯電話２０のソフトウェア概念を示した説明図である。図２に示したように、画像データなどのコンテンツデータは、ＭＰＥＧ―ＴＳ／ＲＴＰ／ＵＤＰ／ＩＰなどを利用して送信される。一方、制御データは、ＴＣＰ／ＩＰまたはＬ２レイヤなど、画像データと異なる通信パスで送信される。

なお、図１においては画像処理装置の一例として携帯電話２０を示したに過ぎず、画像処理装置は携帯電話２０に限定されない。例えば、画像処理装置は、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、家庭用映像処理装置（ＤＶＤレコーダ、ビデオデッキなど）、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、家庭用ゲーム機器、携帯用映像処理装置、携帯用ゲーム機器、および家電機器などの情報処理装置であってもよい。

表示装置１０は、携帯電話２０などの周囲の無線通信装置と接続して無線通信する機能を有する。例えば、表示装置１０は、Ｗｉ−Ｆｉ Ａｌｌｉａｎｃｅで策定中のＷｉ−Ｆｉダイレクトに従って携帯電話２０と通信グループを形成し、通信グループを形成した携帯電話２０とアクセスポイントを介さずに無線通信することができる。なお、表示装置１０および携帯電話２０は、同じアクセスポイント（ＡＰ）に接続されている場合であっても、例えばＩＥＥＥ８０２．１１ｚ（ＴＤＬＳ）等を使用する直接通信を行ってもよい。

また、表示装置１０は、携帯電話２０と通信グループを形成すると、携帯電話２０から送信される画像データを受信し、受信した画像データを表示することができる。かかる構成により、ユーザは、携帯電話２０で処理された画像データを、より大画面である表示装置１０に煩雑な作業をすることなく表示させることが可能である。

なお、図１においては画像再生装置の一例として表示装置１０を示したに過ぎず、画像再生装置は表示装置１０に限定されない。例えば、画像再生装置は、ＰＣや映像処理装置等、画像再生機能を有する任意の情報処理装置であってもよい。

また、図１においては、携帯電話２０および表示装置１０に無線通信機能が実装される例を説明したが、本実施形態はかかる例に限定されない。例えば、携帯電話２０に、無線通信機能、画像データのエンコード機能、およびパケット化機能を有するアダプタを外付けしてもよい。同様に、表示装置１０に、無線通信機能、および画像データのデコード機能などを有するアダプタを外付けしてもよい。

上述したように、本実施形態によれば、携帯電話２０と表示装置１０がアクセスポイントなどを介さずに直結で無線通信を行うので、無線能力を活用したレート伝送で低遅延を実現することができる。また、以下に説明するスライス伝送を利用することにより、さらなる低遅延を実現可能である。

スライス伝送は、各フレーム画像を複数のスライスに分割して伝送する方法である。このスライス伝送によれば、受信側はフレーム画像全体の受信を待たずに各スライスの再生を開始できるという利点がある。

図３は、スライス伝送により送信される各フレーム画像の具体例を示した説明図である。図３に示したように、スライス伝送により伝送される各フレーム画像は複数のスライスに分割されており、各スライスはＡＶＣで圧縮されたＩスライスまたはＰスライスで構成される。また、送信側は、フレーム画像ごとにＩスライスのスライス位置を変化させる。図３に示した例では、フレーム画像＃１では最上段のスライスがＩスライスであり、フレーム画像＃２では２段目のスライスがＩピクチャである。

このように、スライス伝送によれば、同一フレーム画像内にＩスライスとＰスライスを共存させられるので、レートを安定させると共に、使用するバッファ長を低減できることから低遅延を実現することが可能となる。

＜２．ハードウェア構成＞
以上、本発明の実施形態による画像再生システム１の概要を説明した。続いて、図４を参照し、本発明の実施形態による携帯電話２０のハードウェア構成を説明する。

図４は、本発明の実施形態による携帯電話２０のハードウェア構成を示した説明図である。携帯電話２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３と、ホストバス２０４と、を備える。また、携帯電話２０は、ブリッジ２０５と、外部バス２０６と、インタフェース２０７と、入力装置２０８と、出力装置２１０と、ストレージ装置（ＨＤＤ）２１１と、ドライブ２１２と、通信装置２１５とを備える。

ＣＰＵ２０１は、演算処理装置および制御装置として機能し、各種プログラムに従って携帯電話２０内の動作全般を制御する。また、ＣＰＵ２０１は、マイクロプロセッサであってもよい。ＲＯＭ２０２は、ＣＰＵ２０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ２０３は、ＣＰＵ２０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバス２０４により相互に接続されている。

ホストバス２０４は、ブリッジ２０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス２０６に接続されている。なお、必ずしもホストバス２０４、ブリッジ２０５および外部バス２０６を分離構成する必要はなく、一のバスにこれらの機能を実装してもよい。

入力装置２０８は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ２０１に出力する入力制御回路などから構成されている。携帯電話２０のユーザは、該入力装置２０８を操作することにより、携帯電話２０に対して各種のデータを入力したり処理動作を指示したりすることができる。

出力装置２１０は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置およびランプなどの表示装置を含む。さらに、出力装置２１０は、スピーカおよびヘッドホンなどの音声出力装置を含む。出力装置２１０は、例えば、再生されたコンテンツを出力する。具体的には、表示装置は再生された映像データ等の各種情報をテキストまたはイメージで表示する。一方、音声出力装置は、再生された音声データ等を音声に変換して出力する。

ストレージ装置２１１は、本実施形態にかかる携帯電話２０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置２１１は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置２１１は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）で構成される。このストレージ装置２１１は、ハードディスクを駆動し、ＣＰＵ２０１が実行するプログラムや各種データを格納する。

ドライブ２１２は、記憶媒体用リーダライタであり、携帯電話２０に内蔵、あるいは外付けされる。ドライブ２１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体２４に記録されている情報を読み出して、ＲＡＭ２０３に出力する。また、ドライブ２１２は、リムーバブル記憶媒体２４に情報を書き込むこともできる。

通信装置２１５は、例えば、周囲の無線通信装置やネットワークに接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置２１５は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信装置であっても、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。

なお、上記では図４を参照して携帯電話２０のハードウェア構成について説明したが、表示装置１０のハードウェアは携帯電話２０と実質的に同一に構成することが可能であるため、説明を省略する。

＜３．携帯電話および表示装置の機能＞
以上、図４を参照して携帯電話２０および表示装置１０のハードウェア構成を説明した。続いて、図５〜図１０を参照し、携帯電話２０および表示装置１０の機能を説明する。

図５は、携帯電話２０および表示装置１０の構成を示した機能ブロック図である。図５に示したように、表示装置１０は、スケーラ１２０と、デコーダ１３０と、無線通信部１４０と、制御部１５０と、表示部１６０と、を備える。また、携帯電話２０は、解像度処理部２２０と、パケット生成部２３０と、無線通信部２４０と、制御部２５０と、を備える。

携帯電話２０の解像度処理部２２０は、供給される画像データの解像度を制御部２５０による制御に従って変更するための処理を行う。例えば、解像度が１９２０×１０８０である画像データが供給されているときに、制御部２５０により解像度が１２８０×７２０である画像データの出力を指示された場合、供給される画像の解像度を１９２０×１０８０から１２８０×７２０に変換する。このような解像度処理部２２０は、パケット生成部２３０と共に、画像データを処理する画像処理部としての機能を担う。

なお、図５においては記載を省略しているが、携帯電話２０は、供給される画像データのフレームレートを変更するフレームレート変更部や、画像データの走査形式（インターレースおよびプログレッシブなど）を変更する走査形式変更部などの画像処理部を有してもよい。

パケット生成部２３０は、解像度処理部２２０から供給される画像データなどから無線送信するためのパケットを生成する。以下、図６および図７を参照し、このパケット生成部２３０の詳細な構成を説明する。

図６は、パケット生成部２３０の構成を示した説明図である。図６に示したように、パケット生成部２３０は、画像エンコーダ２３１と、音声エンコーダ２３２と、ＰＥＳパケタイザ２３３と、暗号処理部２３４と、ＴＳマルチプレクサ２３５とを含む。

画像エンコーダ２３１は、供給される画像データを圧縮エンコードして出力する。同様に、音声エンコーダ２３２は、供給される音声データを圧縮エンコードして出力する。なお、画像エンコーダ２３１および音声エンコーダ２３２は、制御部２５０からの指示に従って各データの圧縮率を変更することが可能である。

ＰＥＳパケタイザ２３３は、画像エンコーダ２３１から出力される画像データ、および音声エンコーダ２３２から出力される音声データからＰＥＳパケットを生成する。より詳細に説明すると、ＰＥＳパケタイザ２３３は、図７の（１）に示したように、ＰＥＳヘッダおよびＰＥＳペイロードからなるＰＥＳパケットを生成する。ＰＥＳヘッダには、ＤＴＳ（デコーディングタイムスタンプ）またはＰＴＳ（プレゼンテーションタイムスタンプ）などのタイミング情報を記載するためのフィールドが含まれる。

暗号処理部２３４は、ＰＥＳパケタイザ２３３から供給されるＰＥＳパケットを暗号化して出力する。暗号処理部２３４は、例えば、ＨＤＣＰ（Ｈｉｇｈ−ｂａｎｄｗｉｄｔｈ Ｄｉｇｉｔａｌ Ｃｏｎｔｅｎｔ Ｐｒｏｔｅｃｔｉｏｎ Ｓｙｓｔｅｍ）２．０によりＰＥＳパケット暗号化してもよい。

ＴＳマルチプレクサ２３５は、図７の（２）に示したように、ＴＳヘッダおよびＴＳペイロードからなるＴＳストリームを生成する。なお、ＴＳペイロードは、ＰＥＳパケットを例えば１８８バイト固定長に分割することにより得られる。このＴＳストリームは、図７の（３）に示したように、ＲＴＰヘッダが付加されるＲＴＰパケットとして送信される。

無線通信部２４０は、パケット生成部２３０により生成された画像データを含むＲＴＰパケットや、制御部２５０により指示された制御データなどを無線送信する。なお、制御データは、詳細については後述するが、画像データの解像度を変更するタイミングを示すタイミング情報を含む。この無線通信部２４０は、例えばＷｉ−Ｆｉ Ａｌｌｉａｎｃｅで策定中のＷｉ−Ｆｉダイレクトに従って動作することができる。

制御部２５０は、携帯電話２０の動作全般を制御する。例えば、制御部２５０は、解像度処理部２２０やパケット生成部２３０に処理内容を制御する。より詳細に説明すると、制御部２５０は、無線状況に応じて伝送レートが変化する場合、伝送レートの変化に対応するために、解像度処理部２２０に画像データの解像度の変更を指示したり、パケット生成部２３０の画像エンコーダ２３１に画像データの圧縮率の変更を指示したりする。または、制御部２５０は、伝送レートの変化に対応するために、フレームレートの変更を指示してもよいし、走査形式（インターレースおよびプログレッシブなど）の変更を指示してもよい。

図８は、無線状況の変化と解像度の切替えの関係を示した説明図である。図８に示したように、解像度が１９２０×１０８０である画像データの送信中、時刻ｔ１において無線状況の評価値が閾値ｔｈを下回った場合、制御部２５０は、解像度処理部２２０に画像データの解像度を１２８０×７２０に変更するように指示する。これにより、時刻ｔ２から解像度が１２８０×７２０である画像データが送信される。

なお、制御部２５０は、多様な方法により無線状況を検出することが可能である。例えば、制御部２５０は、表示装置１０からの再送要求の頻度に応じて無線状況を検出してもよいし、表示装置１０から受信される無線信号のＲＳＳＩに応じて無線状況を検出してもよいし、表示装置１０からのメジャメント情報により無線状況を検出してもよい。

また、制御部２５０は、無線状況が変化した場合に限らず、送信対象の画像データの種別が変化した場合に解像度処理部２２０やパケット生成部２３０の処理内容を切り替えてもよい。例えば、ＷＥＢページなどの静止画に近く解像度が必要な画像データから、動画のように解像度よりフレームレートが必要な画像データに送信対象が変化した場合、制御部２５０は、解像度処理部２２０に解像度の減少を指示する。

また、制御部２５０は、解像度の切替えなど、画像データの処理内容の切替えを決定した場合、切替えのタイミングを示すタイミング情報を無線通信部２４０から表示装置１０に通知させ、そのタイミングでの画像データの処理内容の切替えを指示する。なお、タイミング情報は、ＰＥＳヘッダに含まれるＤＴＳまたはＰＴＳなどを示す時間情報であってもよい。このようにタイミング情報を事前に表示装置１０に通知することの意義、効果については図９および図１０を参照して後述する。

表示装置１０の無線通信部１４０（受信部）は、携帯電話２０から、画像データを含むＲＴＰパケットや、タイミング情報を含む制御データなどを受信する。この無線通信部１４０は、例えばＷｉ−Ｆｉ Ａｌｌｉａｎｃｅで策定中のＷｉ−Ｆｉダイレクトに従って動作することができる。

デコーダ１３０は、無線通信部１４０により受信されたＲＴＰパケットを解読し、ＲＴＰパケットに含まれる画像データなどをデコードする。スケーラ１２０は、デコーダ１３０から供給される画像データの解像度を、表示部１６０の解像度に合うように調整する。このようなデコーダ１３０およびスケーラ１２０は、画像データを再生する再生部としての機能を担う。

表示部１６０は、デコーダ１３０およびスケーラ１２０によって再生された画像データを表示する。

制御部１５０は、表示装置１０の動作全般を制御する。例えば、制御部１５０は、携帯電話２０から受信されるタイミング情報に従い、デコーダ１３０やスケーラ１２０による再生処理内容を制御する。より詳細に説明すると、制御部１５０は、携帯電話２０から解像度が切り替えられるタイミングを示すタイミング情報を受信した場合、当該タイミング情報の示すタイミングにおいて、スケーラ１２０の設定を変更する。かかる構成により、表示装置１０は、解像度の変更直後のフレーム画像の再生を成功させることが可能となる。以下、この点について図９および図１０を参照してより具体的に説明する。

図９は、比較例による処理フローを示した説明図である。比較例による送信側は、受信側に事前通知することなく、フレーム画像＃５において解像度を１０８０（縦方向の解像度のみを記載、以下同様）から７２０に切り替える。この場合、受信側のスケーラは、フレーム画像＃５以降のフレーム画像の解像度を７２０から１０８０に調整する必要があるが、解像度の切替えはデコーダにより画像データがデコードされるまで分からないので、スケーラの設定変更が間に合わない。その結果、比較例では画像データの再生が失敗し、シームレスな切替えを実現することが困難である。

特に、スライス伝送が用いられる場合には、スケーラの設定変更を間に合わせることが難しい。また、解像度の切替えタイミングを受信側で予測できない比較例では、継ぎ目のスライスで以前のスライスを新たしい解像度に変換しておき、未受信のスライス部分にこの変換後のスライスを表示しておくというコンシール処理を行うことも困難である。

図１０は、本実施形態による処理フローを示した説明図である。本実施形態による携帯電話２０は、上述したように、解像度などの処理内容の切替えタイミングを示すタイミング情報を事前に表示装置１０に送信する。このため、表示装置１０は、図１０に示したように、受信したタイミング情報に基づいてフレーム画像＃５から解像度が１０８０から７２０に切り替えられることを把握できる。

これにより、表示装置１０の制御部１５０は、タイミング情報の示すフレーム画像＃５の調整タイミングに間に合わせてスケーラ１２０の設定を変更することができる。その結果、フレーム画像＃５を正常に再生し、シームレスな切替えを実現することが可能である。また、スライス伝送が用いられる場合には、継ぎ目のスライスで以前のスライスを新たしい解像度に変換しておき、未受信のスライス部分にこの変換後のスライスを表示しておくというコンシール処理を行うことが可能となる。

＜４．画像再生システムの動作＞
以上、本発明の実施形態による携帯電話２０および表示装置１０の機能を説明した。続いて、図１１を参照し、携帯電話２０および表示装置１０からなる画像再生システム１の動作を説明する。

図１１は、画像再生システム１の動作を示したシーケンス図である。図１１に示したように、まず、携帯電話２０が画像データの送信を開始すると（Ｓ３１０）、表示装置１０は画像データの再生を開始する。ここで、携帯電話２０から送信される画像データの解像度を解像度Ａとする。

その後、携帯電話２０の制御部２５０は、無線状況の変化（改善または悪化）を検出すると（Ｓ３２０）、画像データの解像度の変更タイミングを決定し（Ｓ３３０）、当該タイミングを示すタイミング情報を表示装置１０に送信する（Ｓ３４０）。

続いて、携帯電話２０の制御部２５０は、タイミング情報の示すタイミングにおいて解像度処理部２２０に解像度Ａから解像度Ｂへの切替えを指示する（Ｓ３５０）。また、表示装置１０は、タイミング情報の示すタイミングにおいてスケーラの設定を解像度Ｂに適合するように変更する（Ｓ３６０）。

そして、携帯電話２０から解像度Ｂの画像データの送信が開始されるが（Ｓ３７０）、表示装置１０は、事前にスケーラの設定を変更済みであるので、解像度の切替え前後でシームレスな再生を実現することが可能である。その後、画像データの送信が終了する（Ｓ３８０）。

＜５．まとめ＞
以上説明したように、本発明の実施形態による携帯電話２０は、解像度などの処理内容の切替えタイミングを示すタイミング情報を事前に表示装置１０に送信する。このため、表示装置１０は、タイミング情報の示すタイミングに間に合わせてスケーラ１２０の設定を変更することができる。その結果、解像度の切替え直後のフレーム画像を正常に再生し、シームレスな切替えを実現することが可能である。また、スライス伝送が用いられる場合には、継ぎ目のスライスで以前のスライスを新たしい解像度に変換しておき、未受信のスライス部分にこの変換後のスライスを表示しておくというコンシール処理を行うことが可能となる。

なお、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、上記では携帯電話２０が解像度の切り替える場合にタイミング情報を送信する例を説明したが、本発明はかかる例に限定されない。変形例として、携帯電話２０は、フレームレート、圧縮率、および走査形式（プログレッシブ、インターレス）などの画像形式を切り替える場合にもタイミング情報および切替え後の情報を表示装置１０に事前通知してもよい。

また、本明細書の画像再生システム１の処理における各ステップは、必ずしもシーケンス図として記載された順序に沿って時系列に処理する必要はない。例えば、画像再生システム１の処理における各ステップは、シーケンス図として記載した順序と異なる順序で処理されても、並列的に処理されてもよい。

また、表示装置１０および携帯電話２０に内蔵されるＣＰＵ２０１、ＲＯＭ２０２およびＲＡＭ２０３などのハードウェアを、上述した表示装置１０および携帯電話２０の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。

１０ 表示装置
２０ 携帯電話
１２０ スケーラ
１３０ デコーダ
１４０、２４０ 無線通信部
１５０、２５０ 制御部
２２０ 解像度処理部
２３０ パケット生成部
２３１ 画像エンコーダ
２４０ 無線通信部

Claims (11)

1. 他の通信装置と機器間無線通信を行う通信装置であって、
   ＵＤＰにより送信される、複数のフレームを含む画像データの形式の変更を制御する変更制御部と、
   前記画像データの形式が変更される場合に、前記複数のフレームのうちの、前記画像データの形式の変更後のフレームを示す情報をＴＣＰ／ＩＰにより前記他の通信装置に送信し、前記情報の送信の後に、前記形式が変更された前記画像データをＵＤＰにより前記他の通信装置に送信する送信部と、
   を備え、
   前記情報は、前記フレームのパケットのヘッダーフィールドに含まれるＤＴＳまたはＰＴＳを示し、
   前記画像データの形式の変更は、少なくとも、解像度、フレームレート、圧縮率および走査形式のうちのいずれかの変更を含む、通信装置。
2. 前記変更制御部は、無線状況の変化に応じて前記画像データの形式の変更を制御する、請求項１に記載の通信装置。
3. 前記変更制御部は、前記無線状況の評価値と閾値との関係に基づき、前記画像データの形式の変更を制御する、請求項２に記載の通信装置。
4. 前記無線状況を、前記他の通信装置からの再送要求の頻度、前記他の通信装置から送信される無線信号のＲＳＳＩ、または前記他の通信装置からのメジャメント情報から検出する、請求項２に記載の通信装置。
5. 前記通信装置は、前記他の通信装置とＷｉ−Ｆｉ Ｄｉｒｅｃｔ仕様に従って通信する、請求項１〜４のいずれか一項に記載の通信装置。
6. 前記通信装置は、前記他の通信装置とＴＤＬＳ仕様に従って通信する、請求項１〜４のいずれか一項に記載の通信装置。
7. 他の通信装置と機器間無線通信を行う通信方法であって、
   ＵＤＰにより送信される、複数のフレームを含む画像データの形式の変更を制御することと、
   前記画像データの形式が変更される場合に、前記複数のフレームのうちの、前記画像データの形式の変更後のフレームを示す情報をＴＣＰ／ＩＰにより前記他の通信装置に送信し、前記情報の送信の後に、前記形式が変更された前記画像データをＵＤＰにより前記他の通信装置に送信することと、
   を含み、
   前記情報は、前記フレームのパケットのヘッダーフィールドに含まれるＤＴＳまたはＰＴＳを示し、
   前記画像データの形式の変更は、少なくとも、解像度、フレームレート、圧縮率および走査形式のうちのいずれかの変更を含む、通信方法。
8. コンピュータを、
   他の通信装置と機器間無線通信を行う通信装置であって、
   ＵＤＰにより送信される、複数のフレームを含む画像データの形式の変更を制御する変更制御部と、
   前記画像データの形式が変更される場合に、前記複数のフレームのうちの、前記画像データの形式の変更後のフレームを示す情報をＴＣＰ／ＩＰにより前記他の通信装置に送信し、前記情報の送信の後に、前記形式が変更された前記画像データをＵＤＰにより前記他の通信装置に送信する送信部と、
   を備え、
   前記情報は、前記フレームのパケットのヘッダーフィールドに含まれるＤＴＳまたはＰＴＳを示し、
   前記画像データの形式の変更は、少なくとも、解像度、フレームレート、圧縮率および走査形式のうちのいずれかの変更を含む、通信装置、として機能させるための、プログラム。
9. 他の通信装置と機器間無線通信を行う通信装置であって、
   前記他の通信装置からＵＤＰにより複数のフレームを含む画像データを受信し、前記画像データの形式が変更される場合に、前記複数のフレームのうちの、前記画像データの形式の変更後のフレームを示す情報をＴＣＰ／ＩＰにより受信する受信部と、
   前記画像データを再生する再生部と、
   前記再生部の設定を、前記情報の示す変更タイミングにおいて変更する制御部と、
   を備え、
   前記情報は、前記フレームのパケットのヘッダーフィールドに含まれるＤＴＳまたはＰＴＳを示し、
   前記画像データの形式の変更は、少なくとも、解像度、フレームレート、圧縮率および走査形式のうちのいずれかの変更を含む、
   通信装置。
10. 他の通信装置と機器間無線通信を行う通信方法であって、
    前記他の通信装置からＵＤＰにより複数のフレームを含む画像データを受信し、前記画像データの形式が変更される場合に、前記複数のフレームのうちの、前記画像データの形式の変更後のフレームを示す情報をＴＣＰ／ＩＰにより受信することと、
    前記画像データを再生することと、
    前記画像データの再生の設定を、前記情報の示す変更タイミングにおいて変更することと、
    を備え、
    前記情報は、前記フレームのパケットのヘッダーフィールドに含まれるＤＴＳまたはＰＴＳを示し、
    前記画像データの形式の変更は、少なくとも、解像度、フレームレート、圧縮率および走査形式のうちのいずれかの変更を含む、通信方法。
11. コンピュータを、
    他の通信装置と機器間無線通信を行う通信装置であって、
    前記他の通信装置からＵＤＰにより複数のフレームを含む画像データを受信し、前記画像データの形式が変更される場合に、前記複数のフレームのうちの、前記画像データの形式の変更後のフレームを示す情報をＴＣＰ／ＩＰにより受信する受信部と、
    前記画像データを再生する再生部と、
    前記再生部の設定を、前記情報の示す変更タイミングにおいて変更する制御部と、
    を備え、
    前記情報は、前記フレームのパケットのヘッダーフィールドに含まれるＤＴＳまたはＰＴＳを示し、
    前記画像データの形式の変更は、少なくとも、解像度、フレームレート、圧縮率および走査形式のうちのいずれかの変更を含む、
    通信装置、として機能させるための、プログラム。

Images