JP3822821B2 - 画像再生表示装置 - Google Patents
画像再生表示装置 Download PDFInfo
- Publication number
- JP3822821B2 JP3822821B2 JP2001377505A JP2001377505A JP3822821B2 JP 3822821 B2 JP3822821 B2 JP 3822821B2 JP 2001377505 A JP2001377505 A JP 2001377505A JP 2001377505 A JP2001377505 A JP 2001377505A JP 3822821 B2 JP3822821 B2 JP 3822821B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- encoded
- size
- image data
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
- Studio Circuits (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、情報端末装置に係り、特にデジタルテレビやインターネット経由で取得した符号化された画像を復号し表示する画像再生表示端末装置に関する。
【０００２】
【従来の技術】
放送や通信におけるネットワークのブロードバンド化に伴い、放送ではデジタルテレビ、通信では高速ネットワークを応用した動画ストリーミング等、ブロードバンドネットワーク技術を利用した動画配信が行われるようになっている。
【０００３】
これらの動画配信では、動画データを伝送するネットワークの帯域を節約するため、動画データの圧縮伸張技術が用いられる。例えば、デジタルテレビにおいては、動画データはISO/IECにより規格化されているMPEG-2規格(規格書：ISO/IEC 13818)に基づいて圧縮伸張がなされる。また、通信における動画ストリーミングでは、例えばMPEG-4規格(規格書：ISO/IEC 14496)に基づいて圧縮伸張がなされる場合もある。伝送においては、これらの規格によって符号化された画像データおよび音声データが多重化されて伝送される。例えば、デジタルテレビでは、これらのデータの多重化にISO/IECのMPEG-2で規格化(規格書：ISO/IEC 13818)されているトランスポートストリームが用いられている。トランスポートストリームには、同規格書「ISO/IEC 13818」、および米国ADVANCED TELEVISION SYSTEMS COMMITTEE(ATSC)発行の「ATSC DIGITAL TELEVISION STANDARD Doc. A/53」や同ATSC発行の「GUIDE TO THE USE OF THE ATSC DIGITAL TELEVISION STANDARD Doc. A/54」、および「ポイント図解式 最新MPEG教科書（藤原洋監修：マルチメディア通信研究会編）」や「ポイント図解式 実践MPEG教科書（藤原洋監修：マルチメディア通信研究会編）」に記載の通り、複数の番組に対応して、複数の符号化された画像データおよび音声データが多重されており、これらはそれぞれプログラムID(PID)によって識別される。
【０００４】
この場合、画像再生表示端末装置は、まず、トランスポートストリームを取得して、ユーザから指定されたPIDを基にトランスポートストリームから符号化された画像データを分離および取得し、この符号化された画像データを復号および表示する。
【０００５】
復号に際しては、例えば、画像データがMPEG-2で圧縮されている場合には、符号化された画像データから１画面分の画像ごとに復号に必要な情報を取得した後、画像の周波数空間データが可変長復号化されたデータを取得する。これを可変長復号化し、画像の周波数空間データを算出した後、逆量子化および逆離散コサイン変換を行う。画像が１画面分の画像内で符号化されている場合には、該逆離散コサイン変換がなされたデータが復号後の画像データとなるので、これを参照用メモリおよび画像表示用メモリに格納する。一方、画像が他の画面の画像（参照画像）を基にして符号化されている場合には、該逆離散コサイン変換後のデータは参照画像との差分データとなっているので、参照用メモリから基になる画像データを参照し、この画像データと前記逆離散コサイン変換したデータを加算することにより、復号後の画像データを算出し、画像表示用メモリに格納する。また、この復号後の画像データがさらに参照画像として使用される場合には、復号後の画像データはさらに次の参照用に参照用メモリに格納される。
【０００６】
MPEG-2では、前述したように、１画面分の画像データがその画像内で符号化されていて、復号後の画像データが参照される場合（I-PictureあるいはI-Frameと呼ばれる）と、１画面分の画像データが他の１画面の画像（参照画像）データを基にして符号化されていて、さらに復号後の画像データが参照される場合（P-PictureあるいはP-Frameと呼ばれる）と、１画面分の画像データが他の２画面の画像（参照画像）を基にして符号化されていて、復号後の画像データは参照されない場合（B-PictureあるいはB-Frameと呼ばれる）がある。したがって、復号後の画像がI-PictureあるいはP-Pictureの場合には、復号後の画像データを参照用メモリに格納する必要があるが、B-Pictureの場合には復号後の画像データを参照用メモリに格納する必要はない。また、符号化された一連の画像データ中にI,P,B-Pictureが含まれている場合には、少なくとも２画面分の参照用メモリが必要となるが、I,P-Pictureしか含まれていない場合には、１画面分の参照用メモリが必要となる。さらに、I-Pictureしか含まれていない場合には参照用のメモリは必要ではない。
【０００７】
さて、符号化された画像データを復号する際には、画像サイズが大きい場合には、大容量の画像表示用メモリおよび参照用メモリが必要となり、処理量も大きくなる。例えば、デジタルテレビにおける高精細度画像を復号再生する場合には、画像表示用メモリおよび参照用メモリに約13MB程度の容量が必要となることがある。
【０００８】
このような状況を鑑み、米国特許第5,262,854号に記載の装置によれば、符号化された画像データにおいて、周波数空間データをダウンサンプリングし，ダウンサンプリングされた画像データについて復号処理を行うことにより，画像表示用メモリおよび参照用メモリの削減が可能となる。また、特開2000-217111号公報に記載の装置によれば、周波数空間データのうち、低周波領域の一部を逆量子化することにより、画像サイズ変換する際の処理量を削減可能である。
【０００９】
【発明が解決しようとする課題】
ここで、従来技術の携帯情報端末は、一般に表示画面が小さいため、高解像度の画像を表示できない。また、コストを抑制するため、CPUの性能が低く抑えられていることが多いため、CPUのみによる高解像度画像の再生は、現実的には困難であることが多い。これに対して、画像復号化専用回路を搭載すれば、高解像度画像の再生は可能になるが、コストが上昇するといった問題がある。
【００１０】
また、画像復号化処理の一部を専用回路化し、必要なメモリとともに１チップ化したシステムLSIが使われることが多くなってきている。しかしながら、この場合も、コストを抑えるためにシステムLSIに混載されるメモリ容量は、抑制される。このため、画像表示用メモリおよび参照用メモリを大きく確保することが出来ず、結果としてやはり高解像度の画像を再生および表示できないという問題がある。
【００１１】
そこで、本発明は、デジタルテレビ等の高解像度の画像を再生および表示可能な、低価格、小表示画面、少メモリの画像再生表示端末装置を提供することを目的とする。
【００１２】
また、上記画像再生表示装置で用いると好適なシステムLSIを提供することを他の目的とする。
【００１３】
【課題を解決するための手段】
本発明の一つの形態に従う画像再生装置によれば、画像を表示するための表示部を備え、符号化された画像データを一時的に記憶するための第１のバッファメモリと、第１のバッファメモリに記憶された符号化された画像データを復号するための画像復号部と、復号された画像データを一時的に記憶するための第２のバッファメモリと、前記符号化された画像データの符号化の種類、前記画像データの一画面のサイズ、前記表示部が画像を表示する表示領域のサイズ、および前記第２のバッファメモリのサイズに基づいて、前記画像復号部が前記画像データを復号し、前記表示部で表示するための変換倍率を決定する決定部とを備える。
【００１４】
【発明の実施の形態】
以下、本発明の実施形態について、図面を用いて説明する。
【００１５】
図１は、本発明を適用した一実施形態である画像再生表示端末装置１００のハードウェア構成図である。
【００１６】
図１に示すように、画像再生表示端末装置１００は、データ取得部１０１と、入力部１０２と、取得データバッファ１０３と、画像データ取得部１０４と、画像データバッファ１０５と、画像復号部１０６と、画像復号縮小率決定部１０７と、画像復号縮小率格納領域１０８と、参照用メモリ兼画像表示用メモリ１０９と、画像表示制御部１１０と、画像表示部１１１と、端末情報格納部１１２を有して構成される。
【００１７】
データ取得部１０１は、後述する入力部１０２によって指定されたブロードバンドネットワークを介して、入力部１０２によって指定された場所から画像データおよび音声データが多重化されたデータを取得する。例えば、デジタルテレビの場合には、入力部１０２によって指定された周波数のデジタルテレビ放送を受信して、トランスポートストリームを取得する。取得するトランスポートストリームは、図２に示すように188Byteのパケットになっていて、そのパケットには同期を取るための同期バイト２０１（0x47が格納されている）と、多重化されているデータから所望の画像データを識別するためのプログラムID(PID)２０２と、パケットに含まれる符号化されたデータ２０４のサイズや属性を示すヘッダ２０３と、実際の符号化されたデータ２０４とが含まれている。
【００１８】
ユーザは、受信を希望するデータを特定するために、所望のデータの送信元のネットワークや送信周波数等を指定し、入力部１０２がこの指定を受け付ける。具体的には、画像データおよび音声データが多重化されたデータを取得するためのネットワークの指定、あるいはデジタルテレビの場合には所望の番組の周波数指定および画像データのPIDの指定を受け付ける。
【００１９】
取得データバッファ１０３は、データ取得部１０１が取得した画像データおよび音声データが多重化されたデータ、すなわち、デジタルテレビの例ではトランスポートストリームのパケットを一時的に格納する。
【００２０】
画像データ取得部１０４は、取得データバッファ１０３に格納された画像データおよび音声データが多重化されたデータから、入力部１０２が受け付けたユーザ指定の画像データを取得する。例えば、デジタルテレビの場合には、画像データ取得部１０４はデマルチプレクサとも呼ばれる。デマルチプレクサは、トランスポートストリームにおけるパケットのPID２０２と、入力部１０２が受け付けた画像データのPIDとを照合して、合致する画像データのパケットを収集することにより、指定された画像データを取得することができる。なお、この場合、取得された画像データは符号化されている。
【００２１】
画像データバッファ１０５は、画像データ取得部１０４によって取得された符号化された画像データを一時的に格納する。例えば、デジタルテレビの場合には、MPEG-2形式であるので、画像データバッファ１０５に格納されるデータの形式は、図３に示す形式となっている。
【００２２】
ここで、画像データバッファ１０５に格納されるデータをシーケンス３００と呼び、シーケンスは図３（ａ）に示すように、シーケンスヘッダ３００ａと、１以上のグループ３００ｂから構成される。さらに、各グループ３００ｂは１以上の１画面分の画像データ３００ｄを含む。
【００２３】
シーケンスヘッダ３００ａは図３（ｂ）に示すように、シーケンスヘッダコード（SHC）３０１と、入力画像の属性を示す情報を含む。シーケンスヘッダコード（SHC）３０１は、0x000001B3の値を持つ32bitの数値である。入力画像の属性情報は、入力画像についての12bitの水平方向の画像サイズ（HSV）３０２、入力画像についての12bitの垂直方向の画像サイズ（VSV）３０３、およびその他のシーケンスヘッダデータ３０４である。ここで、水平方向の画像サイズ（HSV）３０２および垂直方向の画像サイズ（VSV）３０３から、入力画像の一画面のサイズを知ることが可能である。
【００２４】
グループヘッダ３００ｃは、図３（ｃ）に示すように、グループスタートコード（GSC）３０５およびグループオブピクチャ（GOP）データ３０６を含む。グループスタートコード（GSC）３０５は、0x000001B8の値を持つ32bitのデータであり、以降で複数の符号化された画像データからなる１つのグループが含まれることを示す。また、グループオブピクチャ（GOP）データ３０６は27bitのデータであり、符号化された画像データからなる１つのグループがもつ属性を示す値が格納されている。グループスタートコード（GSC）３０５およびグループオブピクチャ（GOP）データ３０６は、主に画像再生における早送り実行時等のランダムアクセス時に使用される。
【００２５】
グループ３００ｂは、グループヘッダ３００ｃの後に１画面分の符号化された画像データ３００ｄが、一つ以上繰り返し格納される。
【００２６】
１画面分の符号化された画像データ３００ｄは、図３（ｄ）に示すように、ピクチャスタートコード（PSC）３０７と、テンポラルリファレンス（TR）３０８と、ピクチャコーディングタイプ（PCT）３０９と、その他のピクチャヘッダデータ３１０と、実際の１画面分の符号化された画像データ３１１からなっている。
【００２７】
ピクチャスタートコード（PSC）３０７は、0x00000100の値を持つ32bitの数値である。これにより、以後の領域にはピクチャコーディングタイプ（PCT）３０９や実際の１画面分の符号化された画像データ３１１が含まれることを認識可能となる。テンポラルリファレンス（TR）３０８は、符号化された画像データの順番を示す。ピクチャコーディングタイプ（PCT）３０９は、符号化された画像データの符号化方式を示す。なお、例えば、デジタルテレビの場合には、MPEG-2で規定されているように、符号化方式として、１画面分の画像データがその画像内で符号化されていて、復号後の画像データが参照される場合（I-PictureあるいはI-Frameと呼ばれる）と、１画面分の画像データが他の１画面の画像（参照画像）データを基にして符号化されていて、さらに復号後の画像データが参照される場合（P-PictureあるいはP-Frameと呼ばれる）と、１画面分の画像データが他の２画面の画像（参照画像）を基にして符号化されていて、復号後の画像データは参照されない場合（B-PictureあるいはB-Frameと呼ばれる）がある。その他のピクチャヘッダデータ３１０は、符号化された画像データを復号する際に必要となるその他の情報を含んでいる。実際の１画面分の符号化された画像データ３１１は、画像の周波数空間データが可変長復号化されたデータや参照画像の参照位置を示す動きベクトルなど、実際の符号化された１画面分の画像データに関連するデータが含まれている。
【００２８】
以上では、一例として、デジタルテレビで用いられているMPEG-2で規定されている形式を説明したが、他の圧縮方式、例えばネットワークにおける動画配信で用いられているMPEG-4等でも、情報の格納位置に違いがあるが、基本的に入力画像のサイズやピクチャコーディングタイプ、すなわちフレームの符号化の種類等の同様の情報を取得することが可能である。
【００２９】
さて、図１の説明に戻って、端末情報格納部１１２は、画像再生表示端末装置１００の属性に関する情報を記憶する。例えば、端末情報格納部１１２は、カードメモリあるいはランダムアクセスメモリやリードオンリーメモリによって実現され、後述する画像表示部１１１で表示可能な画像サイズと、後述する参照用メモリ参照用メモリ兼画像表示用メモリ１０９のサイズが格納される。これらの情報はシステム構築時にあらかじめ格納されていてもよいし、ユーザが設定してもよい。
【００３０】
画像復号縮小率決定部１０７は、画像データバッファ１０５に格納された符号化されている画像データを復号し、画像表示部１１１で表示するために画像の変換倍率（ここでは縮小率）を決定する。すなわち、画像復号縮小率決定部１０７は、画像データバッファ１０５に格納された符号化された画像データの中から、入力画像の画面サイズを検出する。たとえばMPEG-2の場合には、図３における12bitの水平方向の画像サイズ（HSV）３０２と、12bitの垂直方向の画像サイズ（VSV）３０３を取得することにより、検出することが可能である。また、画像復号縮小率決定部１０７は、画像データバッファ１０５に格納された符号化された画像データの中から、この画像データ全体に含まれるフレームの符号化の種類を取得する。これは、たとえばMPEG-2の場合には、図３におけるピクチャコーディングタイプ（PCT）３０９を、画像データバッファ１０５に格納された符号化された画像データ全体に対して検出することによって行うことが可能である。さらに、画像復号縮小率決定部１０７は、取得した画像データに含まれるフレームの符号化の種類および入力画像のサイズと、端末情報格納部１１２に格納されている画像表示部１１１で表示可能な画像サイズおよび参照用メモリ兼画像表示用メモリ１０９のサイズを基に画像復号時の画像サイズの縮小率を決定するとともに、この画像復号時の画像サイズの縮小率を基に計算した画像復号後の画像サイズを計算し、画像復号縮小率格納領域１０８に格納する。なお、本画像復号縮小率決定部１０７の詳細な処理内容並びに画像復号時の画像サイズの縮小率の決定方法およびこの画像復号時の画像サイズの縮小率を基にした画像復号後の画像サイズの計算方法については後で詳述する。
【００３１】
画像復号縮小率格納領域１０８は、画像復号縮小率決定部１０７によって決定された画像復号時の画像サイズの縮小率およびこの画像復号時の画像サイズの縮小率を基に計算した画像復号後の画像サイズを格納する。画像復号縮小率格納領域１０８に格納されるデータの構造としては、例えば、図４に示すように、入力画像の水平方向サイズ４０１、入力画像の垂直方向サイズ４０２、水平縮小率４０３、垂直縮小率４０４、復号後画像の水平方向サイズ４０５、および、復号後画像の垂直方向サイズ４０６を１６ビットごとに区切られた６つの領域に、それぞれ格納した状態のデータ構造とすることができる。ここで、水平縮小率４０３および垂直縮小率４０４は、例えば、原画像を２分の１に縮小する場合（変換倍率は１／２）にはそれぞれ「２」を格納し、８分の１に縮小する場合（変換倍率は１／８）にはそれぞれ「８」を格納すればよい。
【００３２】
画像復号部１０６は、画像復号縮小率格納領域１０８に格納された画像復号時の画像サイズの縮小率、すなわち水平縮小率４０３および垂直縮小率４０４に基づいて、画像データバッファ１０５に格納された符号化された画像データを１画面ごとに復号化し、参照用メモリ兼画像表示用メモリ１０９に格納する。また、本画像復号部１０６は、１画面分の符号化された画像データを復号完了した場合に、１画面分の符号化された画像データの復号が完了したことおよび参照用メモリ兼画像表示用メモリ１０９における表示対象の画像データのアドレスを画像表示制御部１１０に通知し、復号後の画像を画像表示部１１１に表示するよう指示する。なお、画像復号部１０６における処理内容および詳細な画像の復号方法については後で詳述する。
【００３３】
参照用メモリ兼画像表示用メモリ１０９は、画像復号部１０６によって復号された１画面分の画像データを格納する。復号された１画面分の画像データは、後の画面における画像データの復号時に参照画像として使用される。また、復号された１画面分の画像データは、後述する画像表示制御部１１０を介して、画像表示部１１１に表示される。なお、画像復号部１０６によって復号され、参照用メモリ兼画像表示用メモリ１０９に格納されるデータの構造としては、例えば、MPEG-2一般的に使用されるYUV4:2:0形式の場合には、図５に示すように、縮小後の画像サイズ分の輝度（Ｙ）データ５０１の後に、縮小後の画像サイズの４分の１のデータ量の色差（Ｕ）データ５０２が続き、さらにその後に縮小後の画像サイズの４分の１のデータ量の色差（Ｖ）データ５０３が続くデータ構造とすることができる。
【００３４】
画像表示制御部１１０は、画像復号部１０６により１画面分の符号化された画像データの復号が完了したことおよび参照用メモリ兼画像表示用メモリ１０９における表示対象の画像データのアドレスの通知を受けると、参照用メモリ兼画像表示用メモリ１０９に格納されている１画面分の復号された画像データを画像表示部１１１に転送し、表示させる。なお、この際、画像表示制御部１１０は、復号後の画像サイズを知る必要があるが、これは、画像復号縮小率格納領域１０８に格納されている復号後の画像サイズ、すなわち復号後画像の水平方向サイズ４０５および復号後画像の垂直方向サイズ４０６を取得することによって知ることが可能である。
【００３５】
画像表示部１１１は、例えば液晶ディスプレイにより実現され、画像表示制御部１１０により転送された１画面分の復号された画像データを表示する。
【００３６】
次に、画像復号縮小率決定部１０７の詳細な処理内容、画像復号時の画像縮小率の決定方法および画像の縮小率を基にした画像復号後の画像サイズの計算方法について、図６を用いて説明する。
【００３７】
画像復号縮小率決定部１０７は、まず、画像データバッファ１０５に格納された符号化された画像データの中から、入力画像の画面サイズを検出する（ステップ６０１）。これは、たとえばMPEG-2の場合には、図３における12bitの水平方向の画像サイズ（HSV）３０２と、12bitの垂直方向の画像サイズ（VSV）３０３を取得することにより検出する。
【００３８】
続いて、画像復号縮小率決定部１０７は、画像データバッファ１０５に格納された符号化された画像データの中から、この画像データ全体に含まれるフレーム符号化の種類を示す情報を取得する（ステップ６０２）。これは、たとえばMPEG-2の場合には、図３におけるピクチャコーディングタイプ（PCT）３０９を、画像データバッファ１０５に格納された符号化された画像データ全体から検出することにより行う。
【００３９】
さらに、画像復号縮小率決定部１０７は、端末情報格納部１１２に格納されている画像表示部１１１で表示可能な画像サイズを取得し（ステップ６０３）、ステップ６０１で取得した入力画像の一画面のサイズとステップ６０３で取得した画像表示部のサイズに基づいて、第一の画像復号時の画像サイズの縮小率を計算する（ステップ６０４）。つまり、画像復号縮小率決定部１０７は、画像表示部１１１で一画面分の画像データを表示できるような縮小率を決定する。例えば、水平方向と垂直方向のそれぞれにおいて、入力画像のサイズを画像表示部１１１で表示可能な画像サイズで割り、小数点以下を切り上げた値を縮小率とすることができる。水平方向と垂直方向の縮小率が異なる場合には、縮小の程度が大きい方（絶対値が大きい方）を選択すればよい。例えば、入力画像の水平方向の画像サイズが640画素、入力画像の垂直方向のサイズが480画素で、画像表示部１１１で表示可能な画像の水平方向のサイズが320画素、画像表示部１１１で表示可能な画像の垂直方向のサイズが240画素である場合には、水平方向の縮小率は、640/320=2から「２」となり、垂直方向の縮小率も、480/240=2から「２」となる。従って、水平方向および垂直方向ともに縮小率「２」を画像の第一の画像復号時の画像サイズの縮小率とすればよい。なお、このとき、縮小率を、上記の計算で得られた値よりも大きな値であり、かつ８、４、２のいずれかにすると、後で述べるように画像復号部１０６の処理が容易になる。ここでは、画像の第一の画像復号時の画像サイズの縮小率は「２」とする。
【００４０】
画像復号縮小率決定部１０７は、続いて端末情報格納部１１２に格納されている参照用メモリ兼画像表示用メモリ１０９のサイズを取得し（ステップ６０５）、ステップ６０１で取得した入力画像の一画面のサイズと、ステップ６０２で取得した画像データに含まれるフレームの符号化の種類と、ステップ６０５で取得した参照用メモリ兼画像表示用メモリ１０９のサイズに基づいて、第二の画像復号時の画像サイズの縮小率を決定する（ステップ６０６）。つまり、画像復号縮小率決定部１０７は、参照用メモリ兼画像表示用メモリ１０９のサイズと、画像データに含まれるフレームの符号化の種類とに応じて、符号化された画像データの復号が可能な縮小率を決定する。これは、例えば画像データに含まれるフレームの符号化の種類がＩ、Ｐ、Ｂフレームである場合で、ＩあるいはＰフレームの間に２フレーム以上のＢフレームが含まれる（２以上のＢフレームが連続することがある）場合には、参照用メモリ兼画像表示用メモリ１０９には、４画面分の復号後の画像データが含まれると判断する。また、画像データに含まれるフレームの符号化の種類がＩ、Ｐ、Ｂフレームである場合で、ＩあるいはＰフレームの間に１フレームのＢフレームが含まれる（２以上のＢフレームが連続することがない）場合には、参照用メモリ兼画像表示用メモリ１０９には、３画面分の復号後の画像データが含まれると判断する。また、画像データに含まれるフレームの符号化の種類がＩ、Ｐフレームである場合、あるいは、画像データに含まれるフレームの符号化の種類がＩフレームしかない（Ｂフレームが含まれていない）場合には、参照用メモリ兼画像表示用メモリ１０９には２画面分の復号後の画像データが含まれると判断する。したがって、画像復号縮小率決定部１０７は、ステップ６０６において、まずステップ６０５で取得した参照用メモリ兼画像表示用メモリ１０９のサイズを、参照用メモリ兼画像表示用メモリ１０９に含まれるべき復号後の画像データの画面数で割り、１画面で使用できる参照用メモリ兼画像表示用メモリ１０９のサイズを求める。例えば、参照用メモリ兼画像表示用メモリ１０９のサイズが２５６０００バイトであり、画像データに含まれるフレームの符号化の種類がＩ、Ｐ、Ｂフレームであり、かつＩあるいはＰフレームの間に２フレームのＢフレームが含まれる場合には、参照用メモリ兼画像表示用メモリ１０９には４画面分の復号後の画像データが含まれる必要があるので、１画面で使用できる参照用メモリ兼画像表示用メモリ１０９のサイズは、２５６０００／４＝６４０００バイトである。一方、前記ステップ６０１で取得した入力画像のサイズが、例えば水平方向640画素、垂直方向480画素である場合には１画面あたり、６４０×４８０＋６４０×４８０／４＋６４０×４８０／４＝４６０８００バイトの参照用メモリ兼画像表示用メモリ１０９の領域が必要となる。水平方向および垂直方向の縮小率は、入力画像のサイズで１画面あたりに必要となる参照用メモリ兼画像表示用メモリ１０９の領域を、１画面で使用できる参照用メモリ兼画像表示用メモリ１０９のサイズで割り、その結果の平方根を求め、小数点以下を切り上げることによって得られる。例えば、上記の例では（４６０８００／６４０００）1/2≠２．６８であるから縮小率は「３」とすることが出来る。なお、このとき、縮小率を得られた値よりも大きな値であり、かつ８、４、２のいずれかにすると、後で述べるように画像復号部１０６の処理が容易になる。ここでは、上記の例では第二の画像復号時の画像サイズの縮小率は「４」とする。
【００４１】
そして、画像復号縮小率決定部１０７は、ステップ６０４で求めた第一の画像復号時の画像サイズの縮小率と、ステップ６０６で求めた第二の画像復号時の画像サイズの縮小率とで、縮小の程度が大きい方を最終的な画像復号時の画像サイズの縮小率と決定する（ステップ６０７）。例えば上記の例では、第一の画像復号時の画像サイズの縮小率は「２」であり、第二の画像復号時の画像サイズの縮小率が「４」であるので、最終的な画像復号時の画像サイズの縮小率を「４」と決定する。
【００４２】
さらに、画像復号縮小率決定部１０７は、ステップ６０７で決定した最終的な画像復号時の画像サイズの縮小率を基に画像復号後の画像サイズを計算する（ステップ６０８）。これは例えば、水平方向と垂直方向のそれぞれにおいて、ステップ６０１で取得した入力画像のサイズを、ステップ６０７で決定した最終的な画像復号時の画像サイズの縮小率で割ることによって得ることが出来る。例えば上記の例では、入力画像の水平方向のサイズが640で、入力画像の垂直方向のサイズが480であり、最終的な画像復号時の画像サイズの縮小率が水平方向、垂直方向それぞれ「４」であるので、画像復号後の画像サイズは水平方向サイズが６４０／４＝１６０画素となり、垂直方向サイズが４８０／４＝１２０画素となる。
【００４３】
最後に、画像復号縮小率決定部１０７は、ステップ６０１で取得した入力画像のサイズと、ステップ６０７で決定した最終的な画像復号時の画像サイズの縮小率と、ステップ６０８で算出した画像復号後の画像サイズを画像復号縮小率格納領域１０８に格納する。これは、ステップ６０１で取得した入力画像の水平方向サイズを、図４における４０１に、ステップ６０１で取得した入力画像の垂直方向サイズを、図４における４０２に、ステップ６０７で決定した最終的な画像復号時の画像サイズの縮小率を水平方向および垂直方向に対して、それぞれ４０３および４０４に、そしてステップ６０８で算出した画像復号後の画像サイズの水平方向サイズを４０５に、ステップ６０８で算出した画像復号後の画像サイズの垂直方向サイズを４０６に、それぞれ格納することにより実現される。
【００４４】
次に、画像復号部１０６における処理内容および詳細な画像の復号方法について、図７から図１２を用いて説明する。
【００４５】
画像復号部１０６は、画像データバッファ１０５に格納されている符号化された画像データから、１画面分の符号化された画像データを繰り返し復号することによって、一連の動画としての復号後の画像データを生成する。これは、例えばデジタルテレビの場合には、図３に示した実際の１画面分の符号化された画像データ３１１以外のデータに基づいて、実際の符号化された１画面分の画像データに関連するデータ（画像の周波数空間データが可変長復号化されたデータ、あるいは参照画像の参照位置を示す動きベクトルなど）が含まれている実際の１画面分の符号化された画像データ３１１を繰り返し復号することによってなされる。なお、実際の１画面分の符号化された画像データ３１１以外のデータの使用方法、並びにMPEG-2における実際の１画面分の符号化された画像データ３１１に対する一般的な画像の復号処理内容および復号方法については、MPEG-2の規格書「ISO/IEC 13818」に記載されているので説明を省略する。ここでは、実際の１画面分の符号化された画像データ３１１を復号する際に、画像再生表示端末装置１００における画像復号部１０６に特有な部分を中心に説明する。
【００４６】
図７は、画像復号部１０６において、実際の１画面分の符号化された画像データ３１１を処理する際の処理内容を示す図である。例えばMPEG-2では、図８に示すように、実際の１画面分の符号化された画像データ３１１は、水平方向および垂直方向にそれぞれ１６画素分の輝度（Ｙ）データ８０１と、水平方向および垂直方向にそれぞれ８画素分の色差（Ｕ）データ８０２、および水平方向および垂直方向にそれぞれ８画素分の色差（Ｖ）データ８０３を単位として復号が行われ、この単位はマクロブロック８０４と呼ばれている。さらに、このマクロブロック８０４のうち、水平方向および垂直方向にそれぞれ８画素分のデータを単位として可変長復号化および逆量子化および逆離散コサイン変換が行われる。この単位はブロックと呼ばれている。すなわちMPEG-2では１つのマクロブロックは６つのブロックから構成されている。
【００４７】
図７に示す通り、画像復号部１０６は、まず、実際の１画面分の符号化された画像データ３１１に含まれるデータに対して可変長復号化を行い、離散コサイン変換および量子化された画像データを生成する（ステップ７０１）。なお、MPEG-2では、図９に示す通り、可変長符号化された離散コサイン変換および量子化された画像データ901は、ブロックごとに規定の順序、例えば９０２の順番に、実際の１画面分の符号化された画像データ３１１に格納されている。したがって、画像復号部１０６は、実際の１画面分の符号化された画像データ３１１に含まれるデータに対して、ブロックごとに順序９０２の順番で可変長復号化を行い、離散コサイン変換および量子化された画像データを生成する。このとき、画像復号縮小率格納領域１０８に格納されている画像復号時の画像サイズの縮小率に基づいてダウンサンプリングを行う。すなわち、例えば、画像復号時の画像サイズの水平方向縮小率が「２」であり、画像復号時の画像サイズの垂直方向縮小率も「２」の場合には、図１０に示すように１つのブロックに対して水平方向および垂直方向ともに４画素分の離散コサイン変換および量子化された画像データ１００１を生成し、後のデータを破棄する。なお、可変長符号化の方法はMPEG-2規格書「ISO/IEC 13818」で記載されているので、説明を省略する。
【００４８】
図７における説明に戻って、画像復号部１０６は、次に、ステップ７０１においてダウンサンプリングし、生成した離散コサイン変換および量子化された画像データを逆量子化し（ステップ７０２）、さらに逆離散コサイン変換を行う（ステップ７０３）。これは、例えば、MPEG-2において画像復号時の画像サイズの水平方向縮小率が「２」であり、画像復号時の画像サイズの垂直方向縮小率も「２」の場合には、ステップ７０１において図１０に示すように１つのブロックに対して水平方向および垂直方向ともに４画素分の離散コサイン変換および量子化された画像データ１００１が生成されているので、この１つのブロックに対して水平方向および垂直方向ともに４画素分の離散コサイン変換および量子化された画像データ１００１に対して、逆量子化および逆離散コサイン変換を行い、図１１に示すように、１つのブロックに対して水平方向および垂直方向ともに４画素分の復号後の画像データあるいは参照画像データに対する差分データ１１０１を算出する。なお、水平方向および垂直方向ともに４画素分のデータ１１０１が復号後の画像データであるか、あるいは参照画像データに対する差分データであるかは、このブロックが属するマクロブロックの種類によって決まり、マクロブロックが画面内で符号化されているイントラマクロブロックの場合には復号後の画像データとなる。また、マクロブロックが他の画面から参照されて符号化されているインターマクロブロックの場合には参照画像データに対する差分データとなる。本規則はMPEG-2の規格（規格書：ISO/IEC 13818）によって決められており、実際の１画面分の符号化された画像データ３１１の中にマクロブロックの種類の情報が含まれている。なお、ダウンサンプリングされている離散コサイン変換および量子化された画像データに対する逆量子化の方法については、通常のMPEG-2規格書「ISO/IEC 13818」で記載されている逆量子化方法を、ダウンサンプリングによって生成した離散コサイン変換および量子化された画像データについてのみ行えばよい。また、ダウンサンプリングされている逆量子化後の離散コサイン変換された画像データに対する逆離散コサイン変換の方法は公知であり、例えば、米国特許第6,141,456号に記載されているので、説明を省略する。
【００４９】
図７における説明に戻って、画像復号部１０６は、続いて、ステップ７０３において、逆離散コサイン変換された参照画像データに対する差分データ１１０１に対して、動き補償を行い（ステップ７０４）、生成した復号後の画像データを参照用メモリ兼画像表示用メモリ１０９に書き込む（ステップ７０５）。本ステップ７０４における動き補償は、本画面の画像データを復号する前に、既に復号されている参照用メモリ兼画像表示用メモリ１０９に格納されている参照画像のデータのうち、動きベクトルと呼ばれるベクトルが指し示す領域から参照画像データを取得し、逆離散コサイン変換された参照画像データに対する差分データ１１０１と加算を行うことによって実施され、復号後の画像データを生成する。このとき、例えば、画像復号時の画像サイズの水平方向が「２」であり、画像復号時の画像サイズの垂直方向縮小率も「２」の場合には、本ブロックの動きベクトルの水平成分および垂直成分を、それぞれ画像復号時の画像サイズの水平方向縮小率および画像復号時の画像サイズの垂直方向縮小率である「２」で割ることにより新たな動きベクトル１２０９を生成する。画像復号部１０６は、この新たな動きベクトル１２０９が指し示す水平方向および垂直方向ともに４画素分の参照画像データ１２０３を、参照用メモリ兼画像表示用メモリ１０９に格納されている参照画像データの格納領域１２０７から取得し、ステップ７０３において作成された差分データ１１０１（図１２参照）と加算を行って、水平方向および垂直方向ともに４画素分の復号後の画像データ１２０５を生成し、参照用メモリ兼画像表示用メモリ１０９における復号後の画像データの格納領域１２０８に書き込まれる。動きベクトルの情報は実際の１画面分の符号化された画像データ３１１の中に含まれている。
【００５０】
なお、参照用メモリ兼画像表示用メモリ１０９における復号後の画像データの格納領域および参照画像データの格納領域の判別および制御方法については通常のMPEG-2における復号方法と同様であるので、説明を省略する。
【００５１】
また、ステップ７０４における動き補償は、処理しているマクロブロックが他の画面から参照されて符号化されているインターマクロブロックの場合にのみ行われ、処理しているマクロブロックが画面内で符号化されているイントラマクロブロックの場合には、ステップ７０３において、逆離散コサイン変換された復号後の画像データ１１０１は参照用メモリ兼画像表示用メモリ１０９における復号後の画像データの格納領域１２０８に書き込まれる。
【００５２】
図７における説明に戻って、画像復号部１０６は、上記ステップ７０１乃至ステップ７０５を、すべての１画面分の画像を構成するブロックおよびマクロブロックに対して実施する。そして、１画面分の画像を復号した後に、１画面分の画像データの復号を完了したことを画像表示制御部１１０に通知するとともに、参照用メモリ兼画像表示用メモリ１０９における既に復号後の表示対象の画像データのアドレスを画像表示制御部１１０に通知し、画像表示制御部１１０に対して、復号後の画像データを画像表示部１１１に出力するよう指示する（ステップ７０６）。
【００５３】
この結果、画像復号部１０６は、上記ステップ７０１乃至ステップ７０６を繰り返し、一連の画面における画像データを復号することが可能となる。
【００５４】
また、本発明の他の実施形態として、画像復号部１０６、画像表示制御部１１０、および参照用メモリ兼画像表示用メモリ１０９を１チップのシステムLSIとして実現することもできる。システムLSI化した場合の例を図１３に示す。ここでは、画像復号部１０６、画像表示制御部１１０、および参照用メモリ兼画像表示用メモリ１０９を含むシステムLSI１３０１を搭載した画像再生表示装置１００の構成が示されている。システムLSI１３０１は、符号化された画像データの入力を受け付ける画像データ入力ポートと、複合化された画像データを画像表示部１１１に表示させるための信号を出力する出力ポートと、画像の縮小率の入力を受け付ける縮小率入力ポートと有する。画像データ入力ポートとは、画像データバッファ１０５と接続される。縮小率入力ポートは、画像符号縮小率格納領域１０８と接続される。縮小率入力ポートは、図示するように２カ所であってもよいし、１カ所でもよい。入力ポートが１カ所の場合、図示しないが、システムLSI１３０１内部で画像表示制御部１１０へ縮小率を通知するための経路を備える。
【００５５】
ここに示した画像再生表示装置１００の各構成要素は、上述した実施形態における対応する構成要素と同様の機能を有するので、説明を省略する。
【００５６】
本実施形態のようなシステムLSI１３０１により、デジタルテレビ等の高解像度の画像を再生表示可能な装置を低価格化することができる。
【００５７】
上述した本発明の実施形態は、本発明の説明のための例示であり、本発明の範囲をそれらの実施形態にのみ限定する趣旨ではない。当業者は、本発明の要旨を逸脱することなしに、他の様々な態様で本発明を実施することができる。
【００５８】
例えば、上述した実施形態では、データ圧縮方式としてMPEG-2を例に取り説明したが、MPEG-2以外でも、例えばMPEG-4など他の圧縮方式であっても本発明を実現することができる。
【００５９】
【発明の効果】
本発明によれば、デジタルテレビ等の高解像度の画像を再生および表示可能な、低価格、小表示画面、少メモリの画像再生表示端末装置を実現することができる。
【００６０】
さらに、本発明によれば、上記画像再生表示装置で用いると好適なシステムLSIを実現することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る画像再生表示端末装置のハードウェア構成図である。
【図２】トランスポートストリームのパケットの構造を示す図である。
【図３】 MPEG-2で圧縮されている画像データの形式を示す図である。
【図４】画像復号縮小率格納領域に格納されるデータの構造を示す図である。
【図５】参照用メモリ兼画像表示用メモリに格納される復号後の画像データの構造を示す図である。
【図６】画像復号縮小率決定部の処理内容を示すフローチャートである。
【図７】１画面分の符号化された画像データを処理する際の処理内容を示すフローチャートである。
【図８】１画面分の符号化された画像データに含まれるマクロブロックおよびブロックの構成を説明する図である。
【図９】 MPEG-2において、可変長符号化された離散コサイン変換および量子化された画像データおよびその格納順序の一例を示す図である。
【図１０】１つのブロックに対して可変長復号化によって生成する離散コサイン変換および量子化された画像データの領域を示す図である。
【図１１】１つのブロックに対して逆量子化および逆離散コサイン変換によって生成する復号後の画像データあるいは参照画像データに対する差分データの領域および個数を示す図である。
【図１２】１つのブロックに対する動き補償の処理方法を示す図である。
【図１３】本発明の一実施形態にかかる画像再生表示端末装置用のシステムLSIの構成を示す図である。
【符号の説明】
１００…画像再生表示端末装置
１０１…データ取得部
１０２…入力部
１０３…取得データバッファ
１０４…画像データ取得部
１０５…画像データバッファ
１０６…画像復号部
１０７…画像復号縮小率決定部
１０８…画像復号縮小率格納領域
１０９…参照用メモリ兼画像表示用メモリ
１１０…画像表示制御部
１１１…画像表示部
１１２…端末情報格納部
１３０１…画像再生表示端末装置用システムLSI
【発明の属する技術分野】
本発明は、情報端末装置に係り、特にデジタルテレビやインターネット経由で取得した符号化された画像を復号し表示する画像再生表示端末装置に関する。
【０００２】
【従来の技術】
放送や通信におけるネットワークのブロードバンド化に伴い、放送ではデジタルテレビ、通信では高速ネットワークを応用した動画ストリーミング等、ブロードバンドネットワーク技術を利用した動画配信が行われるようになっている。
【０００３】
これらの動画配信では、動画データを伝送するネットワークの帯域を節約するため、動画データの圧縮伸張技術が用いられる。例えば、デジタルテレビにおいては、動画データはISO/IECにより規格化されているMPEG-2規格(規格書：ISO/IEC 13818)に基づいて圧縮伸張がなされる。また、通信における動画ストリーミングでは、例えばMPEG-4規格(規格書：ISO/IEC 14496)に基づいて圧縮伸張がなされる場合もある。伝送においては、これらの規格によって符号化された画像データおよび音声データが多重化されて伝送される。例えば、デジタルテレビでは、これらのデータの多重化にISO/IECのMPEG-2で規格化(規格書：ISO/IEC 13818)されているトランスポートストリームが用いられている。トランスポートストリームには、同規格書「ISO/IEC 13818」、および米国ADVANCED TELEVISION SYSTEMS COMMITTEE(ATSC)発行の「ATSC DIGITAL TELEVISION STANDARD Doc. A/53」や同ATSC発行の「GUIDE TO THE USE OF THE ATSC DIGITAL TELEVISION STANDARD Doc. A/54」、および「ポイント図解式 最新MPEG教科書（藤原洋監修：マルチメディア通信研究会編）」や「ポイント図解式 実践MPEG教科書（藤原洋監修：マルチメディア通信研究会編）」に記載の通り、複数の番組に対応して、複数の符号化された画像データおよび音声データが多重されており、これらはそれぞれプログラムID(PID)によって識別される。
【０００４】
この場合、画像再生表示端末装置は、まず、トランスポートストリームを取得して、ユーザから指定されたPIDを基にトランスポートストリームから符号化された画像データを分離および取得し、この符号化された画像データを復号および表示する。
【０００５】
復号に際しては、例えば、画像データがMPEG-2で圧縮されている場合には、符号化された画像データから１画面分の画像ごとに復号に必要な情報を取得した後、画像の周波数空間データが可変長復号化されたデータを取得する。これを可変長復号化し、画像の周波数空間データを算出した後、逆量子化および逆離散コサイン変換を行う。画像が１画面分の画像内で符号化されている場合には、該逆離散コサイン変換がなされたデータが復号後の画像データとなるので、これを参照用メモリおよび画像表示用メモリに格納する。一方、画像が他の画面の画像（参照画像）を基にして符号化されている場合には、該逆離散コサイン変換後のデータは参照画像との差分データとなっているので、参照用メモリから基になる画像データを参照し、この画像データと前記逆離散コサイン変換したデータを加算することにより、復号後の画像データを算出し、画像表示用メモリに格納する。また、この復号後の画像データがさらに参照画像として使用される場合には、復号後の画像データはさらに次の参照用に参照用メモリに格納される。
【０００６】
MPEG-2では、前述したように、１画面分の画像データがその画像内で符号化されていて、復号後の画像データが参照される場合（I-PictureあるいはI-Frameと呼ばれる）と、１画面分の画像データが他の１画面の画像（参照画像）データを基にして符号化されていて、さらに復号後の画像データが参照される場合（P-PictureあるいはP-Frameと呼ばれる）と、１画面分の画像データが他の２画面の画像（参照画像）を基にして符号化されていて、復号後の画像データは参照されない場合（B-PictureあるいはB-Frameと呼ばれる）がある。したがって、復号後の画像がI-PictureあるいはP-Pictureの場合には、復号後の画像データを参照用メモリに格納する必要があるが、B-Pictureの場合には復号後の画像データを参照用メモリに格納する必要はない。また、符号化された一連の画像データ中にI,P,B-Pictureが含まれている場合には、少なくとも２画面分の参照用メモリが必要となるが、I,P-Pictureしか含まれていない場合には、１画面分の参照用メモリが必要となる。さらに、I-Pictureしか含まれていない場合には参照用のメモリは必要ではない。
【０００７】
さて、符号化された画像データを復号する際には、画像サイズが大きい場合には、大容量の画像表示用メモリおよび参照用メモリが必要となり、処理量も大きくなる。例えば、デジタルテレビにおける高精細度画像を復号再生する場合には、画像表示用メモリおよび参照用メモリに約13MB程度の容量が必要となることがある。
【０００８】
このような状況を鑑み、米国特許第5,262,854号に記載の装置によれば、符号化された画像データにおいて、周波数空間データをダウンサンプリングし，ダウンサンプリングされた画像データについて復号処理を行うことにより，画像表示用メモリおよび参照用メモリの削減が可能となる。また、特開2000-217111号公報に記載の装置によれば、周波数空間データのうち、低周波領域の一部を逆量子化することにより、画像サイズ変換する際の処理量を削減可能である。
【０００９】
【発明が解決しようとする課題】
ここで、従来技術の携帯情報端末は、一般に表示画面が小さいため、高解像度の画像を表示できない。また、コストを抑制するため、CPUの性能が低く抑えられていることが多いため、CPUのみによる高解像度画像の再生は、現実的には困難であることが多い。これに対して、画像復号化専用回路を搭載すれば、高解像度画像の再生は可能になるが、コストが上昇するといった問題がある。
【００１０】
また、画像復号化処理の一部を専用回路化し、必要なメモリとともに１チップ化したシステムLSIが使われることが多くなってきている。しかしながら、この場合も、コストを抑えるためにシステムLSIに混載されるメモリ容量は、抑制される。このため、画像表示用メモリおよび参照用メモリを大きく確保することが出来ず、結果としてやはり高解像度の画像を再生および表示できないという問題がある。
【００１１】
そこで、本発明は、デジタルテレビ等の高解像度の画像を再生および表示可能な、低価格、小表示画面、少メモリの画像再生表示端末装置を提供することを目的とする。
【００１２】
また、上記画像再生表示装置で用いると好適なシステムLSIを提供することを他の目的とする。
【００１３】
【課題を解決するための手段】
本発明の一つの形態に従う画像再生装置によれば、画像を表示するための表示部を備え、符号化された画像データを一時的に記憶するための第１のバッファメモリと、第１のバッファメモリに記憶された符号化された画像データを復号するための画像復号部と、復号された画像データを一時的に記憶するための第２のバッファメモリと、前記符号化された画像データの符号化の種類、前記画像データの一画面のサイズ、前記表示部が画像を表示する表示領域のサイズ、および前記第２のバッファメモリのサイズに基づいて、前記画像復号部が前記画像データを復号し、前記表示部で表示するための変換倍率を決定する決定部とを備える。
【００１４】
【発明の実施の形態】
以下、本発明の実施形態について、図面を用いて説明する。
【００１５】
図１は、本発明を適用した一実施形態である画像再生表示端末装置１００のハードウェア構成図である。
【００１６】
図１に示すように、画像再生表示端末装置１００は、データ取得部１０１と、入力部１０２と、取得データバッファ１０３と、画像データ取得部１０４と、画像データバッファ１０５と、画像復号部１０６と、画像復号縮小率決定部１０７と、画像復号縮小率格納領域１０８と、参照用メモリ兼画像表示用メモリ１０９と、画像表示制御部１１０と、画像表示部１１１と、端末情報格納部１１２を有して構成される。
【００１７】
データ取得部１０１は、後述する入力部１０２によって指定されたブロードバンドネットワークを介して、入力部１０２によって指定された場所から画像データおよび音声データが多重化されたデータを取得する。例えば、デジタルテレビの場合には、入力部１０２によって指定された周波数のデジタルテレビ放送を受信して、トランスポートストリームを取得する。取得するトランスポートストリームは、図２に示すように188Byteのパケットになっていて、そのパケットには同期を取るための同期バイト２０１（0x47が格納されている）と、多重化されているデータから所望の画像データを識別するためのプログラムID(PID)２０２と、パケットに含まれる符号化されたデータ２０４のサイズや属性を示すヘッダ２０３と、実際の符号化されたデータ２０４とが含まれている。
【００１８】
ユーザは、受信を希望するデータを特定するために、所望のデータの送信元のネットワークや送信周波数等を指定し、入力部１０２がこの指定を受け付ける。具体的には、画像データおよび音声データが多重化されたデータを取得するためのネットワークの指定、あるいはデジタルテレビの場合には所望の番組の周波数指定および画像データのPIDの指定を受け付ける。
【００１９】
取得データバッファ１０３は、データ取得部１０１が取得した画像データおよび音声データが多重化されたデータ、すなわち、デジタルテレビの例ではトランスポートストリームのパケットを一時的に格納する。
【００２０】
画像データ取得部１０４は、取得データバッファ１０３に格納された画像データおよび音声データが多重化されたデータから、入力部１０２が受け付けたユーザ指定の画像データを取得する。例えば、デジタルテレビの場合には、画像データ取得部１０４はデマルチプレクサとも呼ばれる。デマルチプレクサは、トランスポートストリームにおけるパケットのPID２０２と、入力部１０２が受け付けた画像データのPIDとを照合して、合致する画像データのパケットを収集することにより、指定された画像データを取得することができる。なお、この場合、取得された画像データは符号化されている。
【００２１】
画像データバッファ１０５は、画像データ取得部１０４によって取得された符号化された画像データを一時的に格納する。例えば、デジタルテレビの場合には、MPEG-2形式であるので、画像データバッファ１０５に格納されるデータの形式は、図３に示す形式となっている。
【００２２】
ここで、画像データバッファ１０５に格納されるデータをシーケンス３００と呼び、シーケンスは図３（ａ）に示すように、シーケンスヘッダ３００ａと、１以上のグループ３００ｂから構成される。さらに、各グループ３００ｂは１以上の１画面分の画像データ３００ｄを含む。
【００２３】
シーケンスヘッダ３００ａは図３（ｂ）に示すように、シーケンスヘッダコード（SHC）３０１と、入力画像の属性を示す情報を含む。シーケンスヘッダコード（SHC）３０１は、0x000001B3の値を持つ32bitの数値である。入力画像の属性情報は、入力画像についての12bitの水平方向の画像サイズ（HSV）３０２、入力画像についての12bitの垂直方向の画像サイズ（VSV）３０３、およびその他のシーケンスヘッダデータ３０４である。ここで、水平方向の画像サイズ（HSV）３０２および垂直方向の画像サイズ（VSV）３０３から、入力画像の一画面のサイズを知ることが可能である。
【００２４】
グループヘッダ３００ｃは、図３（ｃ）に示すように、グループスタートコード（GSC）３０５およびグループオブピクチャ（GOP）データ３０６を含む。グループスタートコード（GSC）３０５は、0x000001B8の値を持つ32bitのデータであり、以降で複数の符号化された画像データからなる１つのグループが含まれることを示す。また、グループオブピクチャ（GOP）データ３０６は27bitのデータであり、符号化された画像データからなる１つのグループがもつ属性を示す値が格納されている。グループスタートコード（GSC）３０５およびグループオブピクチャ（GOP）データ３０６は、主に画像再生における早送り実行時等のランダムアクセス時に使用される。
【００２５】
グループ３００ｂは、グループヘッダ３００ｃの後に１画面分の符号化された画像データ３００ｄが、一つ以上繰り返し格納される。
【００２６】
１画面分の符号化された画像データ３００ｄは、図３（ｄ）に示すように、ピクチャスタートコード（PSC）３０７と、テンポラルリファレンス（TR）３０８と、ピクチャコーディングタイプ（PCT）３０９と、その他のピクチャヘッダデータ３１０と、実際の１画面分の符号化された画像データ３１１からなっている。
【００２７】
ピクチャスタートコード（PSC）３０７は、0x00000100の値を持つ32bitの数値である。これにより、以後の領域にはピクチャコーディングタイプ（PCT）３０９や実際の１画面分の符号化された画像データ３１１が含まれることを認識可能となる。テンポラルリファレンス（TR）３０８は、符号化された画像データの順番を示す。ピクチャコーディングタイプ（PCT）３０９は、符号化された画像データの符号化方式を示す。なお、例えば、デジタルテレビの場合には、MPEG-2で規定されているように、符号化方式として、１画面分の画像データがその画像内で符号化されていて、復号後の画像データが参照される場合（I-PictureあるいはI-Frameと呼ばれる）と、１画面分の画像データが他の１画面の画像（参照画像）データを基にして符号化されていて、さらに復号後の画像データが参照される場合（P-PictureあるいはP-Frameと呼ばれる）と、１画面分の画像データが他の２画面の画像（参照画像）を基にして符号化されていて、復号後の画像データは参照されない場合（B-PictureあるいはB-Frameと呼ばれる）がある。その他のピクチャヘッダデータ３１０は、符号化された画像データを復号する際に必要となるその他の情報を含んでいる。実際の１画面分の符号化された画像データ３１１は、画像の周波数空間データが可変長復号化されたデータや参照画像の参照位置を示す動きベクトルなど、実際の符号化された１画面分の画像データに関連するデータが含まれている。
【００２８】
以上では、一例として、デジタルテレビで用いられているMPEG-2で規定されている形式を説明したが、他の圧縮方式、例えばネットワークにおける動画配信で用いられているMPEG-4等でも、情報の格納位置に違いがあるが、基本的に入力画像のサイズやピクチャコーディングタイプ、すなわちフレームの符号化の種類等の同様の情報を取得することが可能である。
【００２９】
さて、図１の説明に戻って、端末情報格納部１１２は、画像再生表示端末装置１００の属性に関する情報を記憶する。例えば、端末情報格納部１１２は、カードメモリあるいはランダムアクセスメモリやリードオンリーメモリによって実現され、後述する画像表示部１１１で表示可能な画像サイズと、後述する参照用メモリ参照用メモリ兼画像表示用メモリ１０９のサイズが格納される。これらの情報はシステム構築時にあらかじめ格納されていてもよいし、ユーザが設定してもよい。
【００３０】
画像復号縮小率決定部１０７は、画像データバッファ１０５に格納された符号化されている画像データを復号し、画像表示部１１１で表示するために画像の変換倍率（ここでは縮小率）を決定する。すなわち、画像復号縮小率決定部１０７は、画像データバッファ１０５に格納された符号化された画像データの中から、入力画像の画面サイズを検出する。たとえばMPEG-2の場合には、図３における12bitの水平方向の画像サイズ（HSV）３０２と、12bitの垂直方向の画像サイズ（VSV）３０３を取得することにより、検出することが可能である。また、画像復号縮小率決定部１０７は、画像データバッファ１０５に格納された符号化された画像データの中から、この画像データ全体に含まれるフレームの符号化の種類を取得する。これは、たとえばMPEG-2の場合には、図３におけるピクチャコーディングタイプ（PCT）３０９を、画像データバッファ１０５に格納された符号化された画像データ全体に対して検出することによって行うことが可能である。さらに、画像復号縮小率決定部１０７は、取得した画像データに含まれるフレームの符号化の種類および入力画像のサイズと、端末情報格納部１１２に格納されている画像表示部１１１で表示可能な画像サイズおよび参照用メモリ兼画像表示用メモリ１０９のサイズを基に画像復号時の画像サイズの縮小率を決定するとともに、この画像復号時の画像サイズの縮小率を基に計算した画像復号後の画像サイズを計算し、画像復号縮小率格納領域１０８に格納する。なお、本画像復号縮小率決定部１０７の詳細な処理内容並びに画像復号時の画像サイズの縮小率の決定方法およびこの画像復号時の画像サイズの縮小率を基にした画像復号後の画像サイズの計算方法については後で詳述する。
【００３１】
画像復号縮小率格納領域１０８は、画像復号縮小率決定部１０７によって決定された画像復号時の画像サイズの縮小率およびこの画像復号時の画像サイズの縮小率を基に計算した画像復号後の画像サイズを格納する。画像復号縮小率格納領域１０８に格納されるデータの構造としては、例えば、図４に示すように、入力画像の水平方向サイズ４０１、入力画像の垂直方向サイズ４０２、水平縮小率４０３、垂直縮小率４０４、復号後画像の水平方向サイズ４０５、および、復号後画像の垂直方向サイズ４０６を１６ビットごとに区切られた６つの領域に、それぞれ格納した状態のデータ構造とすることができる。ここで、水平縮小率４０３および垂直縮小率４０４は、例えば、原画像を２分の１に縮小する場合（変換倍率は１／２）にはそれぞれ「２」を格納し、８分の１に縮小する場合（変換倍率は１／８）にはそれぞれ「８」を格納すればよい。
【００３２】
画像復号部１０６は、画像復号縮小率格納領域１０８に格納された画像復号時の画像サイズの縮小率、すなわち水平縮小率４０３および垂直縮小率４０４に基づいて、画像データバッファ１０５に格納された符号化された画像データを１画面ごとに復号化し、参照用メモリ兼画像表示用メモリ１０９に格納する。また、本画像復号部１０６は、１画面分の符号化された画像データを復号完了した場合に、１画面分の符号化された画像データの復号が完了したことおよび参照用メモリ兼画像表示用メモリ１０９における表示対象の画像データのアドレスを画像表示制御部１１０に通知し、復号後の画像を画像表示部１１１に表示するよう指示する。なお、画像復号部１０６における処理内容および詳細な画像の復号方法については後で詳述する。
【００３３】
参照用メモリ兼画像表示用メモリ１０９は、画像復号部１０６によって復号された１画面分の画像データを格納する。復号された１画面分の画像データは、後の画面における画像データの復号時に参照画像として使用される。また、復号された１画面分の画像データは、後述する画像表示制御部１１０を介して、画像表示部１１１に表示される。なお、画像復号部１０６によって復号され、参照用メモリ兼画像表示用メモリ１０９に格納されるデータの構造としては、例えば、MPEG-2一般的に使用されるYUV4:2:0形式の場合には、図５に示すように、縮小後の画像サイズ分の輝度（Ｙ）データ５０１の後に、縮小後の画像サイズの４分の１のデータ量の色差（Ｕ）データ５０２が続き、さらにその後に縮小後の画像サイズの４分の１のデータ量の色差（Ｖ）データ５０３が続くデータ構造とすることができる。
【００３４】
画像表示制御部１１０は、画像復号部１０６により１画面分の符号化された画像データの復号が完了したことおよび参照用メモリ兼画像表示用メモリ１０９における表示対象の画像データのアドレスの通知を受けると、参照用メモリ兼画像表示用メモリ１０９に格納されている１画面分の復号された画像データを画像表示部１１１に転送し、表示させる。なお、この際、画像表示制御部１１０は、復号後の画像サイズを知る必要があるが、これは、画像復号縮小率格納領域１０８に格納されている復号後の画像サイズ、すなわち復号後画像の水平方向サイズ４０５および復号後画像の垂直方向サイズ４０６を取得することによって知ることが可能である。
【００３５】
画像表示部１１１は、例えば液晶ディスプレイにより実現され、画像表示制御部１１０により転送された１画面分の復号された画像データを表示する。
【００３６】
次に、画像復号縮小率決定部１０７の詳細な処理内容、画像復号時の画像縮小率の決定方法および画像の縮小率を基にした画像復号後の画像サイズの計算方法について、図６を用いて説明する。
【００３７】
画像復号縮小率決定部１０７は、まず、画像データバッファ１０５に格納された符号化された画像データの中から、入力画像の画面サイズを検出する（ステップ６０１）。これは、たとえばMPEG-2の場合には、図３における12bitの水平方向の画像サイズ（HSV）３０２と、12bitの垂直方向の画像サイズ（VSV）３０３を取得することにより検出する。
【００３８】
続いて、画像復号縮小率決定部１０７は、画像データバッファ１０５に格納された符号化された画像データの中から、この画像データ全体に含まれるフレーム符号化の種類を示す情報を取得する（ステップ６０２）。これは、たとえばMPEG-2の場合には、図３におけるピクチャコーディングタイプ（PCT）３０９を、画像データバッファ１０５に格納された符号化された画像データ全体から検出することにより行う。
【００３９】
さらに、画像復号縮小率決定部１０７は、端末情報格納部１１２に格納されている画像表示部１１１で表示可能な画像サイズを取得し（ステップ６０３）、ステップ６０１で取得した入力画像の一画面のサイズとステップ６０３で取得した画像表示部のサイズに基づいて、第一の画像復号時の画像サイズの縮小率を計算する（ステップ６０４）。つまり、画像復号縮小率決定部１０７は、画像表示部１１１で一画面分の画像データを表示できるような縮小率を決定する。例えば、水平方向と垂直方向のそれぞれにおいて、入力画像のサイズを画像表示部１１１で表示可能な画像サイズで割り、小数点以下を切り上げた値を縮小率とすることができる。水平方向と垂直方向の縮小率が異なる場合には、縮小の程度が大きい方（絶対値が大きい方）を選択すればよい。例えば、入力画像の水平方向の画像サイズが640画素、入力画像の垂直方向のサイズが480画素で、画像表示部１１１で表示可能な画像の水平方向のサイズが320画素、画像表示部１１１で表示可能な画像の垂直方向のサイズが240画素である場合には、水平方向の縮小率は、640/320=2から「２」となり、垂直方向の縮小率も、480/240=2から「２」となる。従って、水平方向および垂直方向ともに縮小率「２」を画像の第一の画像復号時の画像サイズの縮小率とすればよい。なお、このとき、縮小率を、上記の計算で得られた値よりも大きな値であり、かつ８、４、２のいずれかにすると、後で述べるように画像復号部１０６の処理が容易になる。ここでは、画像の第一の画像復号時の画像サイズの縮小率は「２」とする。
【００４０】
画像復号縮小率決定部１０７は、続いて端末情報格納部１１２に格納されている参照用メモリ兼画像表示用メモリ１０９のサイズを取得し（ステップ６０５）、ステップ６０１で取得した入力画像の一画面のサイズと、ステップ６０２で取得した画像データに含まれるフレームの符号化の種類と、ステップ６０５で取得した参照用メモリ兼画像表示用メモリ１０９のサイズに基づいて、第二の画像復号時の画像サイズの縮小率を決定する（ステップ６０６）。つまり、画像復号縮小率決定部１０７は、参照用メモリ兼画像表示用メモリ１０９のサイズと、画像データに含まれるフレームの符号化の種類とに応じて、符号化された画像データの復号が可能な縮小率を決定する。これは、例えば画像データに含まれるフレームの符号化の種類がＩ、Ｐ、Ｂフレームである場合で、ＩあるいはＰフレームの間に２フレーム以上のＢフレームが含まれる（２以上のＢフレームが連続することがある）場合には、参照用メモリ兼画像表示用メモリ１０９には、４画面分の復号後の画像データが含まれると判断する。また、画像データに含まれるフレームの符号化の種類がＩ、Ｐ、Ｂフレームである場合で、ＩあるいはＰフレームの間に１フレームのＢフレームが含まれる（２以上のＢフレームが連続することがない）場合には、参照用メモリ兼画像表示用メモリ１０９には、３画面分の復号後の画像データが含まれると判断する。また、画像データに含まれるフレームの符号化の種類がＩ、Ｐフレームである場合、あるいは、画像データに含まれるフレームの符号化の種類がＩフレームしかない（Ｂフレームが含まれていない）場合には、参照用メモリ兼画像表示用メモリ１０９には２画面分の復号後の画像データが含まれると判断する。したがって、画像復号縮小率決定部１０７は、ステップ６０６において、まずステップ６０５で取得した参照用メモリ兼画像表示用メモリ１０９のサイズを、参照用メモリ兼画像表示用メモリ１０９に含まれるべき復号後の画像データの画面数で割り、１画面で使用できる参照用メモリ兼画像表示用メモリ１０９のサイズを求める。例えば、参照用メモリ兼画像表示用メモリ１０９のサイズが２５６０００バイトであり、画像データに含まれるフレームの符号化の種類がＩ、Ｐ、Ｂフレームであり、かつＩあるいはＰフレームの間に２フレームのＢフレームが含まれる場合には、参照用メモリ兼画像表示用メモリ１０９には４画面分の復号後の画像データが含まれる必要があるので、１画面で使用できる参照用メモリ兼画像表示用メモリ１０９のサイズは、２５６０００／４＝６４０００バイトである。一方、前記ステップ６０１で取得した入力画像のサイズが、例えば水平方向640画素、垂直方向480画素である場合には１画面あたり、６４０×４８０＋６４０×４８０／４＋６４０×４８０／４＝４６０８００バイトの参照用メモリ兼画像表示用メモリ１０９の領域が必要となる。水平方向および垂直方向の縮小率は、入力画像のサイズで１画面あたりに必要となる参照用メモリ兼画像表示用メモリ１０９の領域を、１画面で使用できる参照用メモリ兼画像表示用メモリ１０９のサイズで割り、その結果の平方根を求め、小数点以下を切り上げることによって得られる。例えば、上記の例では（４６０８００／６４０００）1/2≠２．６８であるから縮小率は「３」とすることが出来る。なお、このとき、縮小率を得られた値よりも大きな値であり、かつ８、４、２のいずれかにすると、後で述べるように画像復号部１０６の処理が容易になる。ここでは、上記の例では第二の画像復号時の画像サイズの縮小率は「４」とする。
【００４１】
そして、画像復号縮小率決定部１０７は、ステップ６０４で求めた第一の画像復号時の画像サイズの縮小率と、ステップ６０６で求めた第二の画像復号時の画像サイズの縮小率とで、縮小の程度が大きい方を最終的な画像復号時の画像サイズの縮小率と決定する（ステップ６０７）。例えば上記の例では、第一の画像復号時の画像サイズの縮小率は「２」であり、第二の画像復号時の画像サイズの縮小率が「４」であるので、最終的な画像復号時の画像サイズの縮小率を「４」と決定する。
【００４２】
さらに、画像復号縮小率決定部１０７は、ステップ６０７で決定した最終的な画像復号時の画像サイズの縮小率を基に画像復号後の画像サイズを計算する（ステップ６０８）。これは例えば、水平方向と垂直方向のそれぞれにおいて、ステップ６０１で取得した入力画像のサイズを、ステップ６０７で決定した最終的な画像復号時の画像サイズの縮小率で割ることによって得ることが出来る。例えば上記の例では、入力画像の水平方向のサイズが640で、入力画像の垂直方向のサイズが480であり、最終的な画像復号時の画像サイズの縮小率が水平方向、垂直方向それぞれ「４」であるので、画像復号後の画像サイズは水平方向サイズが６４０／４＝１６０画素となり、垂直方向サイズが４８０／４＝１２０画素となる。
【００４３】
最後に、画像復号縮小率決定部１０７は、ステップ６０１で取得した入力画像のサイズと、ステップ６０７で決定した最終的な画像復号時の画像サイズの縮小率と、ステップ６０８で算出した画像復号後の画像サイズを画像復号縮小率格納領域１０８に格納する。これは、ステップ６０１で取得した入力画像の水平方向サイズを、図４における４０１に、ステップ６０１で取得した入力画像の垂直方向サイズを、図４における４０２に、ステップ６０７で決定した最終的な画像復号時の画像サイズの縮小率を水平方向および垂直方向に対して、それぞれ４０３および４０４に、そしてステップ６０８で算出した画像復号後の画像サイズの水平方向サイズを４０５に、ステップ６０８で算出した画像復号後の画像サイズの垂直方向サイズを４０６に、それぞれ格納することにより実現される。
【００４４】
次に、画像復号部１０６における処理内容および詳細な画像の復号方法について、図７から図１２を用いて説明する。
【００４５】
画像復号部１０６は、画像データバッファ１０５に格納されている符号化された画像データから、１画面分の符号化された画像データを繰り返し復号することによって、一連の動画としての復号後の画像データを生成する。これは、例えばデジタルテレビの場合には、図３に示した実際の１画面分の符号化された画像データ３１１以外のデータに基づいて、実際の符号化された１画面分の画像データに関連するデータ（画像の周波数空間データが可変長復号化されたデータ、あるいは参照画像の参照位置を示す動きベクトルなど）が含まれている実際の１画面分の符号化された画像データ３１１を繰り返し復号することによってなされる。なお、実際の１画面分の符号化された画像データ３１１以外のデータの使用方法、並びにMPEG-2における実際の１画面分の符号化された画像データ３１１に対する一般的な画像の復号処理内容および復号方法については、MPEG-2の規格書「ISO/IEC 13818」に記載されているので説明を省略する。ここでは、実際の１画面分の符号化された画像データ３１１を復号する際に、画像再生表示端末装置１００における画像復号部１０６に特有な部分を中心に説明する。
【００４６】
図７は、画像復号部１０６において、実際の１画面分の符号化された画像データ３１１を処理する際の処理内容を示す図である。例えばMPEG-2では、図８に示すように、実際の１画面分の符号化された画像データ３１１は、水平方向および垂直方向にそれぞれ１６画素分の輝度（Ｙ）データ８０１と、水平方向および垂直方向にそれぞれ８画素分の色差（Ｕ）データ８０２、および水平方向および垂直方向にそれぞれ８画素分の色差（Ｖ）データ８０３を単位として復号が行われ、この単位はマクロブロック８０４と呼ばれている。さらに、このマクロブロック８０４のうち、水平方向および垂直方向にそれぞれ８画素分のデータを単位として可変長復号化および逆量子化および逆離散コサイン変換が行われる。この単位はブロックと呼ばれている。すなわちMPEG-2では１つのマクロブロックは６つのブロックから構成されている。
【００４７】
図７に示す通り、画像復号部１０６は、まず、実際の１画面分の符号化された画像データ３１１に含まれるデータに対して可変長復号化を行い、離散コサイン変換および量子化された画像データを生成する（ステップ７０１）。なお、MPEG-2では、図９に示す通り、可変長符号化された離散コサイン変換および量子化された画像データ901は、ブロックごとに規定の順序、例えば９０２の順番に、実際の１画面分の符号化された画像データ３１１に格納されている。したがって、画像復号部１０６は、実際の１画面分の符号化された画像データ３１１に含まれるデータに対して、ブロックごとに順序９０２の順番で可変長復号化を行い、離散コサイン変換および量子化された画像データを生成する。このとき、画像復号縮小率格納領域１０８に格納されている画像復号時の画像サイズの縮小率に基づいてダウンサンプリングを行う。すなわち、例えば、画像復号時の画像サイズの水平方向縮小率が「２」であり、画像復号時の画像サイズの垂直方向縮小率も「２」の場合には、図１０に示すように１つのブロックに対して水平方向および垂直方向ともに４画素分の離散コサイン変換および量子化された画像データ１００１を生成し、後のデータを破棄する。なお、可変長符号化の方法はMPEG-2規格書「ISO/IEC 13818」で記載されているので、説明を省略する。
【００４８】
図７における説明に戻って、画像復号部１０６は、次に、ステップ７０１においてダウンサンプリングし、生成した離散コサイン変換および量子化された画像データを逆量子化し（ステップ７０２）、さらに逆離散コサイン変換を行う（ステップ７０３）。これは、例えば、MPEG-2において画像復号時の画像サイズの水平方向縮小率が「２」であり、画像復号時の画像サイズの垂直方向縮小率も「２」の場合には、ステップ７０１において図１０に示すように１つのブロックに対して水平方向および垂直方向ともに４画素分の離散コサイン変換および量子化された画像データ１００１が生成されているので、この１つのブロックに対して水平方向および垂直方向ともに４画素分の離散コサイン変換および量子化された画像データ１００１に対して、逆量子化および逆離散コサイン変換を行い、図１１に示すように、１つのブロックに対して水平方向および垂直方向ともに４画素分の復号後の画像データあるいは参照画像データに対する差分データ１１０１を算出する。なお、水平方向および垂直方向ともに４画素分のデータ１１０１が復号後の画像データであるか、あるいは参照画像データに対する差分データであるかは、このブロックが属するマクロブロックの種類によって決まり、マクロブロックが画面内で符号化されているイントラマクロブロックの場合には復号後の画像データとなる。また、マクロブロックが他の画面から参照されて符号化されているインターマクロブロックの場合には参照画像データに対する差分データとなる。本規則はMPEG-2の規格（規格書：ISO/IEC 13818）によって決められており、実際の１画面分の符号化された画像データ３１１の中にマクロブロックの種類の情報が含まれている。なお、ダウンサンプリングされている離散コサイン変換および量子化された画像データに対する逆量子化の方法については、通常のMPEG-2規格書「ISO/IEC 13818」で記載されている逆量子化方法を、ダウンサンプリングによって生成した離散コサイン変換および量子化された画像データについてのみ行えばよい。また、ダウンサンプリングされている逆量子化後の離散コサイン変換された画像データに対する逆離散コサイン変換の方法は公知であり、例えば、米国特許第6,141,456号に記載されているので、説明を省略する。
【００４９】
図７における説明に戻って、画像復号部１０６は、続いて、ステップ７０３において、逆離散コサイン変換された参照画像データに対する差分データ１１０１に対して、動き補償を行い（ステップ７０４）、生成した復号後の画像データを参照用メモリ兼画像表示用メモリ１０９に書き込む（ステップ７０５）。本ステップ７０４における動き補償は、本画面の画像データを復号する前に、既に復号されている参照用メモリ兼画像表示用メモリ１０９に格納されている参照画像のデータのうち、動きベクトルと呼ばれるベクトルが指し示す領域から参照画像データを取得し、逆離散コサイン変換された参照画像データに対する差分データ１１０１と加算を行うことによって実施され、復号後の画像データを生成する。このとき、例えば、画像復号時の画像サイズの水平方向が「２」であり、画像復号時の画像サイズの垂直方向縮小率も「２」の場合には、本ブロックの動きベクトルの水平成分および垂直成分を、それぞれ画像復号時の画像サイズの水平方向縮小率および画像復号時の画像サイズの垂直方向縮小率である「２」で割ることにより新たな動きベクトル１２０９を生成する。画像復号部１０６は、この新たな動きベクトル１２０９が指し示す水平方向および垂直方向ともに４画素分の参照画像データ１２０３を、参照用メモリ兼画像表示用メモリ１０９に格納されている参照画像データの格納領域１２０７から取得し、ステップ７０３において作成された差分データ１１０１（図１２参照）と加算を行って、水平方向および垂直方向ともに４画素分の復号後の画像データ１２０５を生成し、参照用メモリ兼画像表示用メモリ１０９における復号後の画像データの格納領域１２０８に書き込まれる。動きベクトルの情報は実際の１画面分の符号化された画像データ３１１の中に含まれている。
【００５０】
なお、参照用メモリ兼画像表示用メモリ１０９における復号後の画像データの格納領域および参照画像データの格納領域の判別および制御方法については通常のMPEG-2における復号方法と同様であるので、説明を省略する。
【００５１】
また、ステップ７０４における動き補償は、処理しているマクロブロックが他の画面から参照されて符号化されているインターマクロブロックの場合にのみ行われ、処理しているマクロブロックが画面内で符号化されているイントラマクロブロックの場合には、ステップ７０３において、逆離散コサイン変換された復号後の画像データ１１０１は参照用メモリ兼画像表示用メモリ１０９における復号後の画像データの格納領域１２０８に書き込まれる。
【００５２】
図７における説明に戻って、画像復号部１０６は、上記ステップ７０１乃至ステップ７０５を、すべての１画面分の画像を構成するブロックおよびマクロブロックに対して実施する。そして、１画面分の画像を復号した後に、１画面分の画像データの復号を完了したことを画像表示制御部１１０に通知するとともに、参照用メモリ兼画像表示用メモリ１０９における既に復号後の表示対象の画像データのアドレスを画像表示制御部１１０に通知し、画像表示制御部１１０に対して、復号後の画像データを画像表示部１１１に出力するよう指示する（ステップ７０６）。
【００５３】
この結果、画像復号部１０６は、上記ステップ７０１乃至ステップ７０６を繰り返し、一連の画面における画像データを復号することが可能となる。
【００５４】
また、本発明の他の実施形態として、画像復号部１０６、画像表示制御部１１０、および参照用メモリ兼画像表示用メモリ１０９を１チップのシステムLSIとして実現することもできる。システムLSI化した場合の例を図１３に示す。ここでは、画像復号部１０６、画像表示制御部１１０、および参照用メモリ兼画像表示用メモリ１０９を含むシステムLSI１３０１を搭載した画像再生表示装置１００の構成が示されている。システムLSI１３０１は、符号化された画像データの入力を受け付ける画像データ入力ポートと、複合化された画像データを画像表示部１１１に表示させるための信号を出力する出力ポートと、画像の縮小率の入力を受け付ける縮小率入力ポートと有する。画像データ入力ポートとは、画像データバッファ１０５と接続される。縮小率入力ポートは、画像符号縮小率格納領域１０８と接続される。縮小率入力ポートは、図示するように２カ所であってもよいし、１カ所でもよい。入力ポートが１カ所の場合、図示しないが、システムLSI１３０１内部で画像表示制御部１１０へ縮小率を通知するための経路を備える。
【００５５】
ここに示した画像再生表示装置１００の各構成要素は、上述した実施形態における対応する構成要素と同様の機能を有するので、説明を省略する。
【００５６】
本実施形態のようなシステムLSI１３０１により、デジタルテレビ等の高解像度の画像を再生表示可能な装置を低価格化することができる。
【００５７】
上述した本発明の実施形態は、本発明の説明のための例示であり、本発明の範囲をそれらの実施形態にのみ限定する趣旨ではない。当業者は、本発明の要旨を逸脱することなしに、他の様々な態様で本発明を実施することができる。
【００５８】
例えば、上述した実施形態では、データ圧縮方式としてMPEG-2を例に取り説明したが、MPEG-2以外でも、例えばMPEG-4など他の圧縮方式であっても本発明を実現することができる。
【００５９】
【発明の効果】
本発明によれば、デジタルテレビ等の高解像度の画像を再生および表示可能な、低価格、小表示画面、少メモリの画像再生表示端末装置を実現することができる。
【００６０】
さらに、本発明によれば、上記画像再生表示装置で用いると好適なシステムLSIを実現することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る画像再生表示端末装置のハードウェア構成図である。
【図２】トランスポートストリームのパケットの構造を示す図である。
【図３】 MPEG-2で圧縮されている画像データの形式を示す図である。
【図４】画像復号縮小率格納領域に格納されるデータの構造を示す図である。
【図５】参照用メモリ兼画像表示用メモリに格納される復号後の画像データの構造を示す図である。
【図６】画像復号縮小率決定部の処理内容を示すフローチャートである。
【図７】１画面分の符号化された画像データを処理する際の処理内容を示すフローチャートである。
【図８】１画面分の符号化された画像データに含まれるマクロブロックおよびブロックの構成を説明する図である。
【図９】 MPEG-2において、可変長符号化された離散コサイン変換および量子化された画像データおよびその格納順序の一例を示す図である。
【図１０】１つのブロックに対して可変長復号化によって生成する離散コサイン変換および量子化された画像データの領域を示す図である。
【図１１】１つのブロックに対して逆量子化および逆離散コサイン変換によって生成する復号後の画像データあるいは参照画像データに対する差分データの領域および個数を示す図である。
【図１２】１つのブロックに対する動き補償の処理方法を示す図である。
【図１３】本発明の一実施形態にかかる画像再生表示端末装置用のシステムLSIの構成を示す図である。
【符号の説明】
１００…画像再生表示端末装置
１０１…データ取得部
１０２…入力部
１０３…取得データバッファ
１０４…画像データ取得部
１０５…画像データバッファ
１０６…画像復号部
１０７…画像復号縮小率決定部
１０８…画像復号縮小率格納領域
１０９…参照用メモリ兼画像表示用メモリ
１１０…画像表示制御部
１１１…画像表示部
１１２…端末情報格納部
１３０１…画像再生表示端末装置用システムLSI
Claims (5)
- 符号化された画像データである符号化画像を復号化する場合の縮小率を算出して、入力された縮小率に応じて復号化して表示する表示装置へ出力する画像再生表示装置であって、
前記表示装置によって表示可能な画像サイズを格納する表示サイズ格納手段と、
前記符号化画像を一時的に格納するバッファメモリと、
前記符号化画像から当該符号化画像が復号化された場合の画像サイズを取得する画像サイズ取得手段と、
前記画像サイズ取得手段によって取得された画像サイズから、前記表示サイズ格納手段に格納されている画像サイズへの縮小率である第１の縮小率を算出する第１の縮小率算出手段と、
前記符号化画像から当該符号化画像における符号化の種類を取得する符号化種別取得手段と、
前記符号化の種類に対応する画像を復号化する場合に、前記バッファメモリ内に保持すべき前記符号化画像の数である保持画像数を算出する保持画像数算出手段と、
前記バッファメモリ内に、前記保持画像数分の前記符号化画像を保持する場合の、前記符号化画像１つあたりの画像サイズを算出する画像サイズ算出手段と、
前記画像サイズ取得手段によって取得された画像サイズから、前記画像サイズ算出手段によって算出された画像サイズへの縮小率である第２の縮小率を算出する第２の縮小率算出手段と、
前記第１の縮小率および前記第２の縮小率のうち、縮小の程度が大きい方を、前記符号化画像の縮小率として決定し、決定した縮小率を前記表示装置へ出力する縮小率決定手段と
を備えることを特徴とする画像再生表示装置。 - 請求項１に記載の画像再生表示装置であって、
前記符号化の種類には、一画面内の画像データで符号化した画面内符号化（ I-frame ）と、一画面の画像データを他の一画面の画像データを利用して符号化した画面間符号化（ P-frame ）と、一画面の画像データを他の二画面の画像データを利用して符号化した画面間符号化（ B-frame ）とがあり、
前記保持画像数算出手段は、
前記符号化画像に、 I-frame のみ、または I-frame および P-frame が含まれる場合には、
前記保持画像数として２を算出し、
前記符号化画像に、 I-frame 、 P-frame 、および B-frame が含まれ、且つ、 B-frame が連続していない場合には、前記保持画像数として３を算出し、
前記符号化画像に、 I-frame 、 P-frame および B-frame が含まれ、且つ、 B-frame が２以上連続しているときは、前記保持画像数として４を算出すること
を特徴とする画像再生表示装置。 - 請求項１または２に記載の画像再生表示装置であって、
前記画像サイズ算出手段は、下記の式１を満たすように前記第２の縮小率を算出することを特徴とする画像再生表示装置。
（保持画像数）×（第２の縮小率）×（符号化画像の画像サイズ）≦（バッファメモリのサイズ） ・・・式１ - 請求項３に記載の画像再生表示装置であって、
前記画像サイズ算出手段は、
前記式１を満たし、かつ、縮小の程度が最も小さくなるような縮小率を、第２の縮小率として算出することを特徴とする画像再生表示装置。 - 請求項１から４のいずれか一項に記載の画像再生表示装置であって、
前記表示装置をさらに備え、
前記表示装置は、
入力された縮小率に応じて前記符号化画像を復号するシステムＬＳＩと、
前記システムＬＳＩによって復号された画像を表示する表示部と
を有し、
前記システムＬＳＩは、
前記符号化画像の入力を受け付ける入力ポートと、
前記符号化画像の縮小率を示す電子情報の入力を受け付ける入力ポートと、
前記符号化画像を、前記縮小率に従って復号する復号部と、
前記復号部により復号された画像データを前記表示部に表示するために、前記表示部を制御するための信号を前記表示部へ出力する出力ポートと
を有することを特徴とする画像再生表示装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001377505A JP3822821B2 (ja) | 2001-12-11 | 2001-12-11 | 画像再生表示装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001377505A JP3822821B2 (ja) | 2001-12-11 | 2001-12-11 | 画像再生表示装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003179826A JP2003179826A (ja) | 2003-06-27 |
| JP3822821B2 true JP3822821B2 (ja) | 2006-09-20 |
Family
ID=19185451
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001377505A Expired - Fee Related JP3822821B2 (ja) | 2001-12-11 | 2001-12-11 | 画像再生表示装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3822821B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1605428A1 (en) * | 2004-06-07 | 2005-12-14 | Sony Ericsson Mobile Communications AB | Display for a mobile terminal for wireless communication |
| US7801223B2 (en) * | 2006-07-27 | 2010-09-21 | Lsi Corporation | Method for video decoder memory reduction |
| JP5168924B2 (ja) * | 2007-02-06 | 2013-03-27 | 富士通株式会社 | 表示装置、入力表示装置、表示プログラム、および入力表示プログラム |
| JP5323117B2 (ja) * | 2011-04-07 | 2013-10-23 | 株式会社ソニー・コンピュータエンタテインメント | 画像処理装置および画像処理方法 |
| US20210392349A1 (en) * | 2019-03-01 | 2021-12-16 | Alibaba Group Holding Limited | Adaptive Resolution Video Coding |
-
2001
- 2001-12-11 JP JP2001377505A patent/JP3822821B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003179826A (ja) | 2003-06-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8170097B2 (en) | Extension to the AVC standard to support the encoding and storage of high resolution digital still pictures in series with video | |
| US8649434B2 (en) | Apparatus, method and program enabling improvement of encoding efficiency in encoding images | |
| US20090141809A1 (en) | Extension to the AVC standard to support the encoding and storage of high resolution digital still pictures in parallel with video | |
| EP1439705A2 (en) | Method and apparatus for processing, transmitting and receiving dynamic image data | |
| JP2009284518A (ja) | ビデオ符号化方法 | |
| JP2008054330A (ja) | 圧縮ノーマル・プレイ・ビデオ・ビットストリームから、トリック・プレイ・ビデオ・ストリームを作成するシステムおよび方法 | |
| US8811483B2 (en) | Video processing apparatus and method | |
| JP2005260936A (ja) | 映像データ符号化及び復号化方法及び装置 | |
| JP3651941B2 (ja) | 画像再生装置 | |
| US20110081133A1 (en) | Method and system for a fast channel change in 3d video | |
| KR20010095106A (ko) | 화상 인코딩 장치 및 방법, 비디오 카메라, 화상 기록장치, 및 화상 전송 장치 | |
| KR100215824B1 (ko) | 엠펙 디코더의 프레임 메모리 및 영상 데이타 디코딩방법 | |
| JP2001285863A (ja) | 画像情報変換装置及び方法 | |
| JP3852366B2 (ja) | 符号化装置および方法、復号装置および方法、並びにプログラム | |
| JP3822821B2 (ja) | 画像再生表示装置 | |
| JP3623056B2 (ja) | 動画像圧縮装置 | |
| JP2898413B2 (ja) | 所要メモリ容量の低減化を伴う圧縮ビデオデータ流の復号化及び符号化のための方法 | |
| US6040875A (en) | Method to compensate for a fade in a digital video input sequence | |
| JP5080304B2 (ja) | 秘匿データが挿入された画像データの表示方式 | |
| JP2005109918A (ja) | 画像データへの秘匿データ挿入方式、秘匿データ検出方式および秘匿データが挿入された画像データの表示方式 | |
| US20060109906A1 (en) | Methods and apparatus for dynamically adjusting f-codes for a digital picture header | |
| CN116134821A (zh) | 用于在图像/视频编码系统中处理高级语法的方法和设备 | |
| JPH11177986A (ja) | Ｍｐｅｇ映像情報提供方法 | |
| JPH0795536A (ja) | 動画像逆再生装置及び方法 | |
| US20110299591A1 (en) | Video processing apparatus and method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051226 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060110 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060308 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060620 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060623 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090630 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100630 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100630 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110630 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110630 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120630 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120630 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130630 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |