JP7159427B2 - 画像復号装置、画像復号方法及びプログラム - Google Patents

Description

本発明は画像復号装置、画像復号方法及びプログラムに関し、特に各フレームが矩形状のタイルに分割された画像の復号方法に関する。

現在デジタル技術の進展によりデジタルカメラ・デジタルビデオカメラにおける高解像度でのデジタル動画像撮影が広く普及している。デジタル動画像はフラッシュメモリに代表される記録媒体に効率良く記録するため一般に圧縮（符号化）されており、動画像の符号化方式として、Ｈ．２６４／ＭＰＥＧ－４ ＡＶＣ（以下、Ｈ．２６４）が広く使用されている。（非特許文献１）
近年、Ｈ．２６４の後継としてさらに高効率な符号化方式の国際標準化を行う活動が開始されて、ＪＣＴ－ＶＣ（Ｊｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）がＩＳＯ／ＩＥＣとＩＴＵ－Ｔの間で設立された。ＪＣＴ－ＶＣでは、Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ符号化方式（以下、ＨＥＶＣ）の標準化が進められている。

ＨＥＶＣの標準化にあたっては、種々の符号化方法が、符号化効率向上のみならず実装の容易性や処理時間の短縮といった点も含めて幅広く検討されている。その中には、１フレームを複数の矩形状の領域に分割して符号化・復号の並列処理等を可能にする、Ｔｉｌｅ（タイル）と呼ばれる手法がある。（非特許文献２）
タイルを用いることによって、符号化・復号の並列処理による高速化を実現すると共に画像符号化装置・画像復号装置が備えるメモリ容量を削減することが可能となっている。またこのタイル技術はＪＰＥＧ２０００符号化方式でも採用されている。（非特許文献３）デジタル画像の内容をユーザーが手軽に把握するために、静止画・動画コンテンツのプレビュー（もしくはサムネイル）機能が広く使用されている。このプレビューはフレーム全体を縮小した画像が現在一般的に使用されている。しかしながら近年の静止画・動画の高画素化の進展により、例えばコンテンツの一部の領域のみをプレビューとして高精細に表示するモードも利用可能であることが望ましい。モバイル機器等の限られた表示画面サイズの限られた画面上においては細部まで十分に表現できないためである。広角で撮影されたコンテンツにおいて重要な情報（人物等の主要被写体）はフレーム内の一部の領域のみに存在し、このようなケースでは重要な情報を拡大してプレビューとして高精細に表示できることが望ましい。

また前記プレビューはユーザーの利便性の観点からできる限り高速に処理されることが望ましい。よって処理を高速化するためフレーム内の一部のタイルのみをデコードし、プレビューとして表示できることが望ましい。静止画・動画のフレーム全体をデコードしてから表示する場合に比べて復号時間を大幅に短縮することが可能となるためである。本明細書においては以降、プレビュー時に表示されるタイルをプレビュー用タイルと呼ぶ。

特許文献１には、フレームの一部を表示する際に表示対象のタイルについて高周波成分まで復号し、より高画質となるプレビューを表示する技術が示されている。

また、重要な領域、またはユーザーが注目する領域を優先的に復号することによって、必要な情報を復号の早い段階でユーザーが取得できる技術としてＲＯＩ（Ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）が広く知られている。前述のＪＰＥＧ２０００符号化方式でも採用されており、Ａｎｎｅｘ Ｈにその内容が記載されている。

特開２００４－２２６９０８

ＩＴＵ－Ｔ Ｈ．２６４ （０３／２０１０） Ａｄｖａｎｃｅｄｖｉｄｅｏ ｃｏｄｉｎｇ ｆｏｒ ｇｅｎｅｒｉｃ ａｕｄｉｏ ｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ ＪＣＴ－ＶＣ 寄書 ＪＣＴＶＣ－Ｆ３３５．ｄｏｃ インターネット＜ ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ－ｅｖｒｙ．ｆｒ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／６＿Ｔｏｒｉｎｏ／ｗｇ１１／ ＞ ＩＴＵ－Ｔ Ｔ．８００（０８／２００２） ＪＰＥＧ ２０００Ｉｍａｇｅ Ｃｏｄｉｎｇ Ｓｙｓｔｅｍ： Ｃｏｒｅ ｃｏｄｉｎｇ ｓｙｓｔｅｍ

しかしＨＥＶＣにおけるタイル技術の提案である非特許文献２及び非特許文献３等の先行技術にはフレーム内のどのタイルがプレビュー用タイルであるかを定めた画像符号化フォーマット（以下、符号化フォーマット）は存在しない。言い換えるとフレーム内の一部のタイルをプレビューとして表示する際に、圧縮された符号化ストリーム内のどのタイルを使用してプレビューとして表示するかは規定されていなかった。上述した一部のタイルのみを表示するプレビューを実現するには、復号装置もしくは復号プログラムは使用するタイルを独自に決定する必要があり、結果としてプレビューの内容が復号装置もしくは復号プログラム間で異なってしまうという問題があった。

またコンテンツ作成者は一部の領域のみを使用してプレビューとして表示する際にも当該プレビューの内容を指定できることが望ましい。当該プレビューをより適切に指定することでコンテンツの視聴者は迷うことなくコンテンツの選択や検索を行うことができるためである。しかしながら上記先行技術の符号化フォーマットではコンテンツ作成者はプレビュー用タイルを指定することはできない。符号化ストリーム内のユーザー・データとしてプレビューに使用するタイル情報を含める場合には、復号装置もしくは復号プログラム間で当該ユーザー・データを使用する・しないが異なってしまい、意図通りのプレビューであることを保証することはできない。

特許文献１は表示対象が与えられている時に当該表示領域をより高画質に表示するためのタイルの復号方法であり、プレビュー時の表示タイルを指定する方法を示す方法ではない。

また、ＪＰＥＧ２０００符号化方式のタイルにおいても、その一部だけを復号してＲＯＩとする方法については記載されていない。ユーザーがタイルを選択することはできるが、重要な部分を優先的に復号することは不可能であった。

本発明は上記課題を鑑みて提案されたものであり、動画・静止画の一部の領域のみを表示するプレビューにおいて、適切なタイルを復号するための方法を提供することを目的とする。本発明はまたコンテンツ作成者が意図通りのプレビューの内容を提供できるようにすることを目的とする。また、本発明はコンテンツ作成者が意図通り、重要な領域を復号の早い段階で提供できるようにすることを目的とする。

かかる課題を解決するため本発明の画像復号方法は、
複数の矩形状のタイル単位で符号化された複数の画像によって構成される動画像を復号する画像復号方法であって、ビットストリームのパラメータセットの部分から、画像内におけるタイル列数およびタイル行数に関する情報を取得し、および、前記ビットストリームの補足情報の部分から、前記画像内のタイルの識別情報としてのタイル座標を取得する取得ステップと、前記取得ステップにおいて取得された、画像内におけるタイル列数およびタイル行数に関する情報に基づいて、前記ビットストリームから復号した複数の画像を得る復号ステップと、を有し、前記復号ステップにおいて、前記取得ステップにおいて取得されたタイル座標に対応する領域の画像を動き補償を用いて復号する場合、当該動き補償に用いる参照画像内のタイルのうち、前記タイル座標に対応する領域とは異なる領域の前記参照画像内のタイルを参照することなく、前記タイル座標に対応する領域の前記参照画像内のタイルを参照することを特徴とする画像復号方法。

本発明によれば画像フレーム内の一部のタイルをプレビューとして表示する際に、復号装置もしくは復号プログラムに依存せず同じ内容のプレビューを表示させることができる。また復号装置及び復号プログラムは当該プレビューを高速に表示することができる。また当該プレビューはコンテンツ作成者の意図通りの内容とすることが可能である。また、本発明によれば画像フレーム内の一部のタイルを注目領域として表示する際に、重要な領域を優先的に復号・表示させることができる。

実施例１の符号化フォーマットを示す図 実施例１のタイル番号及びプレビュー用タイルを示す図 実施例１の画像復号装置を示す図 実施例１の符号化ストリームを示す図 実施例２の各フレームの復号フローチャートを示す図 実施例２の各タイルの復号フローチャートを示す図 実施例３のタイル座標及びプレビュー用タイルを示す図 実施例３の符号化フォーマット及び符号化ストリームを示す図 実施例４の符号化ストリームを示す図 実施例５のタイル番号及びプレビュー用タイルを示す図 実施例５の符号化フォーマット及び符号化ストリームを示す図 実施例６の符号化フォーマット及び符号化ストリームを示す図 実施例７の画像表示システムを示す図 実施例７の画像表示システムにおける表示例を示す図 実施例８の画像符号化装置を示す図 実施例８におけるユーザーによるプレビュー用タイルを指定するイメージを示す図 実施例９の各フレームの符号化フローチャートを示す図 実施例９の各タイルの符号化フローチャートを示す図 実施例１０の符号化フォーマット及び符号化ストリームを示す図 実施例１０のタイル座標及び注目領域タイルを示す図

以下、添付の図面を参照して、本願発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

＜実施形態１＞
本発明の実施形態１においては先行技術である非特許文献２と同様に１フレームが複数の矩形状の領域であるタイルに分割される。

図２に実施形態１におけるタイル構造を示す。図２においては水平１９２０画素×垂直１２８０画素のフレームが８個のタイルに分割された様子を示している。本発明の符号化フォーマットではブロックは水平３２画素×垂直３２画素で構成され、ブロック単位で符号化・復号が行われる。各タイルサイズはブロックサイズの逓倍であり、図２において各タイルは水平１５個×垂直２０個のブロックから構成される。

本実施形態におけるＨＥＶＣによる符号化ストリームのフォーマットを図１に示す。符号化ストリーム先頭にはシーケンス全体の符号化に関わる情報が含まれたヘッダ情報であるシーケンス・パラメータ・セットが存在する。シーケンス・パラメータ・セットには復号可能な処理の組み合わせを示すプロファイル、復号可能なパラメータ値の範囲を示すレベル、フレームの水平・垂直画素数に加えてタイルの分割状態を示したタイル分割情報が挿入される。タイル分割情報としてまずフレーム内の水平タイル数、垂直タイル数の情報が挿入される。図１においてはＮｕｍＴｉｌｅｓＨ，ＮｕｍＴｉｌｅｓＶであり、それぞれ非特許文献２記載のｎｕｍ＿ｔｉｌｅ＿ｃｏｌｕｍｎｓ＿ｍｉｎｕｓ１，ｎｕｍ＿ｔｉｌｅ＿ｒｏｗｓ＿ｍｉｎｕｓ１に相当する。ｎｕｍ＿ｔｉｌｅ＿ｃｏｌｕｍｎｓ＿ｍｉｎｕｓ１及びｎｕｍ＿ｔｉｌｅ＿ｒｏｗｓ＿ｍｉｎｕｓ１はそれぞれフレーム内の水平タイル数、垂直タイル数から１を減じた数を示す。なお、図１中のＮはフレーム中のタイル数であり、ＮｕｍＴｉｌｅｓＨ×ＮｕｍＴｉｌｅｓＶにより一意に決まる数である。

水平タイル数もしくは垂直タイル数が２以上の場合（タイル分割が行われる場合）には続いて各タイルの大きさが同じであるか否かを示す情報であるｕｎｉｆｏｒｍ＿ｓｐａｃｉｎｇ＿ｉｄｃ（非特許文献２記載）が挿入される。なお図２は各タイルが同じサイズが使用される、ｕｎｉｆｏｒｍ＿ｓｐａｃｉｎｇ＿ｉｄｃ＝１である時の例である。

図１においてはシーケンス・パラメータ・セットに続いて符号化データを復号する際に必要に応じて参照することが可能な補足情報である、エンハンスメント補足情報（ＳＥＩ）が挿入される。本実施形態では説明を容易にするために、Ｈ．２６４のＳＥＩを用いるものとする。ＳＥＩには表示時刻等に加え、ペイロード（データ本体）としてタイルプレビュー情報が挿入される。当該情報にはまずペイロードの内容がタイルプレビュー情報であることを示すペイロード識別情報が挿入される。

ペイロード識別情報に続いてペイロード・サイズ及びタイルプレビュー情報のデータ本体であるタイル番号が挿入される。本実施形態におけるタイル番号はフレーム内の各タイルにラスタ・スキャン順（左上→右上→左下→右下）に０、１、２・・（Ｎ－１）と割り当てた番号である。図２に示されたタイル分割においてタイル数は８であることから、タイル番号として０～７が左上のタイルから順に割り当てられている。

本実施形態において各タイル番号はフレーム内のタイル数を表現可能なバイト数で表現される。図２のようにフレーム内のタイル数が２５５以下である場合には１バイト、６５５３５以下であれば２バイトのデータとなる。この各タイル番号のデータサイズはこれに限定されず、各タイル番号のデータサイズをビット単位で定義することや、プロファイルやレベルに応じて予め定められる、固定のデータサイズとすることも可能である。

またプレビューに使用されるタイル数は１以上フレーム内タイル数以下の、任意の数を使用することが可能である。複数のタイルがプレビューに使用される際に複数のタイルは隣接していてもよいし、これに限定されずに離れた複数のタイルを使用しても構わない。

プレビューに使用されるタイル数に応じて、ペイロード・データとしてのタイルプレビュー情報のペイロード・サイズが（タイル番号のデータサイズ）×（プレビューに使用されるタイル数）により決定される。例えば図２の例においては１バイト×２タイル＝２バイトがペイロード・サイズとなる。

ＳＥＩに続いてピクチャの符号化に関わる情報が含まれたヘッダ情報であるピクチャ・パラメータ・セット、各タイルの符号化データが多重化される。

図３に前記画像符号化フォーマットに従った符号化ストリームを復号する画像復号装置の内容を示す。図３に記載の画像復号装置は図示されるように符号化ストリーム解析器３０１、全体制御器３０２、タイル分割情報及びタイルプレビュー情報解析器３０３、動き補償器３０４、予測残差復号器３０５、加算器３０６、画面内補償器３０７、加算器３０８、画面内補償用メモリ３０９、選択器３３０、フィルタ処理器３１１、画素出力器３１２、動き補償用メモリ３１３、画像出力用メモリ３１４から構成される。

符号化ストリーム解析器３０１は符号化ストリームを入力し、シーケンス・パラメータ・セットやタイルプレビュー情報を含むＳＥＩ等のヘッダ情報、動きベクトル、符号化された予測残差の量子化直交変換係数のエントロピー復号処理及び分離処理を行う。なお符号化ストリーム解析器３０１におけるエントロピー復号は可変長復号もしくは算術復号のいずれでもよい。

全体制御器３０２は符号化ストリーム解析器３０１からレベル・プロファイル及び様々な符号化モード・符号化パラメータ（動き予測もしくは画面内予測、画面内予測モード）を受け取り、これに応じて各処理の制御を行う。

タイル分割情報及びタイルプレビュー情報解析器３０３は符号化ストリーム解析器３０１から水平・垂直タイル数等のタイル分割情報を受け取り、タイルサイズ（タイルの水平・垂直画素数）の算出を行う。タイル分割情報及びタイルプレビュー情報解析器３０３はさらにタイルプレビュー情報を符号化ストリーム解析器３０１から受け取り、プレビューに使用するタイルのタイル番号リストを算出する。タイル分割情報及びタイルプレビュー情報解析器３０３から各処理へはタイルサイズ、復号対象のタイル番号リストと共にタイル間に依存性があるかないかの情報であるｔｉｌｅ＿ｂｏｕｎｄａｒｙ＿ｉｎｄｅｐｅｎｄｅｎｃｅ＿ｉｄｃ（非特許文献２記載）が伝達される。

復号処理対象ブロックの符号化モードが動き予測である場合、動き補償器３０４は動きベクトル及びタイル分割情報に応じて、動き予測のための復号された画像が記録されている動き補償用メモリ３１３に対するアドレスを生成する。動き補償用メモリ３１３から読み込んだ参照画像を用いて動き補償器３０４は動き補償のための参照ブロックを生成する（動きベクトルが非整数値を示す場合にはフィルタ処理等を施す）。また本実施形態は他のタイルを参照せずに符号化された（ｔｉｌｅ＿ｂｏｕｎｄａｒｙ＿ｉｎｄｅｐｅｎｄｅｎｃｅ＿ｉｄｃ＝１である）ことを前提としている。前記参照ブロック生成に使用する画素がタイル外に位置する場合には予め定められた画素値への置換を行う。

予測残差復号器３０５は前記復号された予測残差の量子化直交変換係数の逆量子化、逆直交変換を行い、予測残差を生成する。加算器３０６は動き補償器３０４から出力される参照ブロックと予測残差復号器３０５で復号された予測残差の加算を行う。

復号処理対象ブロックの符号化モードが画面内予測である場合、符号化ストリーム解析器３０１は画面内予測モードを画面内補償器３０７に出力する。画面内補償器３０７は画面内予測モードに対応した画素を画面内補償用メモリ３０９から読み込み参照ブロックを生成する。なお画面内補償器３０７においてもタイル分割情報を参照したタイル外に位置する画素の置換を行う。加算器３０８は画面内補償器３０７から出力される参照ブロックと予測残差の加算を行う。

選択器３１０は符号化モードに応じて加算器３０６もしくは加算器３０８のいずれかの出力を選択する。加算器３０６または加算器３０８で加算されて復号された画像は後続ブロックの画面内補償のため画面内補償用メモリ３０９へと記録される。フィルタ処理器３１１は選択器３１０の出力を受け取りデブロッキング・フィルタ等のフィルタ処理を行う。なおフィルタ処理器３１１においてもタイル情報を参照してタイル外に位置する画素の置換を行う。画素出力器３１２はタイル情報を参照してメモリアドレスを算出し、動き補償用メモリ３１３及び画像出力用メモリ３１４に記録する。

図３において、復号に先立ち、フレーム全体を復号する通常復号モード、もしくはプレビュー用タイルのみ復号する部分復号モードかを示す動作モードが外部から全体制御器３０２及びタイル分割情報及びタイルプレビュー情報解析器３０３に設定される。全体制御器３０２及びタイル分割情報及びタイルプレビュー情報解析器３０３は設定された動作モードに応じて各処理の制御を行う。

動作モードが通常復号モードである時には、符号化ストリーム解析器３０１はヘッダ情報解析後に全てのタイルの符号化データについてエントロピー復号を行うと共に動き補償器３０４または画面内補償器３０７、及び予測残差復号器３０５へのデータ出力を行う。

動作モードが部分復号モードである時には、符号化ストリーム解析器３０１はエントロピー復号のみは全てのタイルの符号化データについて行う。符号化ストリーム解析器３０１は復号したタイル数をカウントすることにより復号中のタイルのタイル番号を算出する。復号中のタイル番号が、タイル分割情報及びタイルプレビュー情報解析器３０３から伝達されるプレビュー用タイルのタイル番号リストに含まれる場合には、復号したタイルの符号化データを動き補償器３０４または画面内補償器３０７、及び予測残差復号器３０５に出力する。復号中のタイル番号がプレビュー用タイルのタイル番号リストに含まれない場合には、復号したタイルの符号化データは破棄して動き補償器３０４または画面内補償器３０７、及び予測残差復号器３０５へ出力しない。

上述したプレビューで使用しないタイルの符号化データの復号及び破棄は、後続タイルの符号化データの開始位置を検出するために必要である。なお符号化ストリームはある符号化データと当該符号化データのデータサイズとの組み合わせを用いたファイル・フォーマットで多重化されている場合がある。例としてＨ．２６４の符号化データを多重化するＡＶＣファイル・フォーマットがあり、ＡＶＣファイル・フォーマットではＨ．２６４の各スライスの符号化データ毎に符号化データのバイト数を示すデータサイズが付加されて多重化されている。このような符号化データと共にデータサイズを多重化するファイル・フォーマットが使用されている場合には、データサイズを使用して高速に後続タイルの符号化データの開始位置を検出することも可能である。さらに本発明ではデータサイズを定義する単位を１タイルとし、各タイルの符号化データにデータサイズが付加されて多重化されているとなお一層望ましい。

なお図３において、フレームのサイズ、タイル分割情報、タイルサイズ及び復号対象のタイル番号は画像復号装置外部へも伝達される。これにより、外部でもプレビュー画像のサイズ等を算出することができる。後述する実施形態６でも述べるように、部分復号モードで復号したタイルを表示する時には表示サイズと、復号したタイルサイズ及びタイル番号を比較する。比較結果に応じて復号したタイルを拡大・縮小する倍率やトリミングするサイズを決定する。

図２で示されたタイル分割例において、プレビュー用のタイルはタイル５（タイル番号＝５）及びタイル６（タイル番号＝６）である。図４に図２に対応した符号化ストリームの例を示す。タイルプレビュー情報中のタイル数は２であり、当該タイルプレビュー情報のペイロード・サイズは２バイトである。

図４に示した符号化ストリームを、（プレビュー用タイルのみ復号する動作モードとして）部分復号モードで復号する際には、本実施形態の画像復号装置はヘッダ情報及びタイル５及びタイル６についてのみ復号、画像の再生を行う。

このように符号化ストリームのＳＥＩの一部としてタイルプレビュー情報を挿入することにより、画像復号装置は一意にプレビューに使用するタイルを決定することができる。よって画像復号・再生アプリケーションに依存せず、同じ内容のプレビューを提供することができる。またプレビュー時にはプレビューに使用しないタイルについてはエントロピー復号より後段の復号処理は省略可能であり、フレーム全体を復号する場合に比べて短時間でプレビューを表示させることができる。結果としてユーザーの利便性を高めることが可能である。また本実施形態は静止画と動画の両方に適用することができる。

なお、タイルの分割数やタイルサイズ等は上記に限定されるものではない。前述のように図１及び図２においてはタイルサイズがフレーム内において同じことを示すｕｎｉｆｏｒｍ＿ｓｐａｃｉｎｇ＿ｉｄｃ＝１である時の例である。しかし本発明ではｕｎｉｆｏｒｍ＿ｓｐａｃｉｎｇ＿ｉｄｃ＝０とし、続いて各タイルの水平画素数及び垂直画素数をタイル情報の一部として挿入することにより、任意のタイルサイズを使用することも可能である。符号化の単位であるブロックのサイズも水平３２画素×垂直３２画素に限定されず、水平１６画素×垂直１６画素や水平６４画素×垂直６４画素等のサイズも使用することが可能である。

またＳＥＩをシーケンスの途中に挿入することでプレビュー用のタイルの位置、プレビューの大きさを変更することはもちろん可能である。

また本発明におけるタイルプレビュー情報の挿入位置はＳＥＩに限定されない。例えば前記シーケンス・パラメータ・セット内のビデオの表示情報に関わるパラメータであるＶＵＩ（ビデオ表示情報）パラメータの一部、もしくは前記ピクチャ・パラメータ・セットの一部として挿入することも可能である。

プレビューを高速に表示するという目的から、本発明では上記のようにタイル依存性が無い（ｔｉｌｅ＿ｂｏｕｎｄａｒｙ＿ｉｎｄｅｐｅｎｄｅｎｃｅ＿ｉｄｃ＝１）ことが望ましい。しかしながら本発明はこれに限定されるものではなく、タイル間に依存性がある（ｔｉｌｅ＿ｂｏｕｎｄａｒｙ＿ｉｎｄｅｐｅｎｄｅｎｃｅ＿ｉｄｃ＝０）の場合にも適用することが可能である。タイル間に依存性がある場合には、プレビューに使用するタイルの周辺のタイルを同時にデコードする必要があるため、プレビュー画像を表示するまでの処理時間はタイル間に依存性が無い場合に比べて長くなってしまう。

また、本実施形態ではペイロードのデータサイズと各データの長さからプレビューに用いるタイルの数を判別したがこれに限定されず、プレビューに用いるタイルの数を別途符号として送ってももちろん構わない。

＜実施形態２＞
本発明における符号化ストリームの復号はＣＰＵ上のソフトウェア・プログラムとして実現することも可能である。図５及び図６に１フレームを復号するプログラムのフローチャートを示す。なお符号化ストリームのフォーマット及びタイルの分割については実施形態１と同様の構成を使用するものとする。

まずステップＳ５０１において、プログラムの内部情報であるタイル番号リストを初期化する（空にする）。ステップＳ５０２において、符号化ストリーム内のタイル分割情報を含むシーケンス・パラメータ・セットやＳＥＩ等のヘッダ情報を解析する。ステップＳ５０３において、ステップＳ５０２において解析されたタイル分割情報から各タイルのタイルサイズを算出する。ステップＳ５０４において、復号プログラムの動作モード（通常復号モードもしくは部分復号モード）を外部から設定する。

ステップＳ５０５において、ステップＳ５０４において設定された動作モードが通常復号モードの場合にはステップＳ５０６に進み、部分復号モードの場合にはステップＳ５０７に進む。ステップＳ５０６において、復号プログラムの内部情報であるタイル番号リストに（本ステップは通常復号モードの場合であるため）フレーム内の全てのタイル番号である０、１、…、（タイル数－１）が追加される。ステップＳ５０７において、ステップＳ５０２において解析されたＳＥＩにタイルプレビュー情報が含まれているか否かを確認する。タイルプレビュー情報が含まれていない場合には部分復号モードでの復号はできない旨を通知して動作を終了する。

ステップＳ５０８において、ＳＥＩ中のタイルプレビュー情報に含まれているプレビュー用のタイル番号リストを解析する。ステップＳ５０９において、復号プログラムの内部情報であるタイル番号リストにステップＳ５０８において解析されたプレビュー用タイルのタイル番号を全て追加する。ステップＳ５１０及びステップＳ５１１において、タイルの符号化データの復号を行うと共に、復号中のタイルのタイル番号（図５中のｉ）を算出する。ステップＳ５１０においては、タイル番号リストに含まれるタイルについては復号処理・画像再生を行い、タイル番号リストに含まれないタイルについてはエントロピー復号のみ行う。符号化ストリームが複数の画像フレームから構成される場合には最終フレームまでステップＳ５０１～ステップＳ５１１を繰り返す。

図６にステップＳ５１０で示した各タイルの復号処理のフローチャートを示す。下記処理はブロック単位で行われる。

ステップＳ６０１において、図５に記載のステップＳ５０２で解析されたタイル分割情報、及びステップＳ５１０で与えられる処理対象ブロックのタイル番号から処理を開始するブロックの位置を算出する。ステップＳ６０２において、ブロック毎のヘッダ情報から復号対象ブロックの符号化モード及び符号化パラメータを抽出する。ステップＳ６０３において、符号化された予測残差の量子化直交変換係数、（及び存在する場合）画面内予測モードまたは動きベクトルのエントロピー復号（可変長復号もしくは算術復号）を行う。

ステップＳ６０４において、復号中のタイルのタイル番号（図５中のｉ）が、図５に記載のステップＳ５０６もしくはステップＳ５０９で生成されたタイル番号リストに含まれるか否かを判定する。復号中のタイル番号がタイル番号リストに含まれる場合にはエントロピー復号より後段の復号処理・画像再生を行うステップＳ６０５に進み、タイル番号リストに含まれない場合にはステップＳ６１１に進み、エントロピー復号したデータは破棄する。

ステップＳ６０５において、エントロピー復号された予測誤差の量子化直交変換係数の逆量子化処理及び逆変換処理を行い、予測誤差を復号する。ステップＳ６０６において、ステップＳ６０２で復号対象ブロックの符号化モードを判定し、画面内予測モードで符号化されたか動き予測モードで符号化されたかの判断を行う。動き予測モードであればステップＳ６０７に進み、画面内予測モードであればステップＳ６０９に進む。ステップＳ６０７において、ステップＳ６０３で復号された動きベクトルと周辺の動きベクトルとの補償処理を行い、動き補償を行うための動きベクトルを算出する。

ステップＳ６０８において動き補償処理として、ステップＳ６０７で生成された動きベクトルを使用して動き補償用の参照ブロックの生成及び参照ブロックと予測誤差の加算を行う。図５に記載のステップＳ５０３において算出されたタイルサイズを参照し、実施形態１と同様にタイル外に位置する参照画素の置き換えを行う。これによりブロックの画像データが生成される。ステップＳ６０９において、ステップＳ６０２で抽出された画面内予測モードに応じた画面内補償を行う。実施形態１と同様にタイル外に位置する画素の置き換えを行う。ステップＳ６１０において、動き補償もしくは画面内補償されて復号されて生成されたブロックに対してデブロッキング・フィルタ等のフィルタ処理を行う。実施形態１と同様にタイル外に位置する画素の置き換えを行う。ステップＳ６１１において、タイル内の全ブロックの復号処理が完了していない場合にはステップＳ６０２に戻り、全ブロックの復号処理が完了した場合にはタイル復号処理が終了となる。

上記のようにプログラムで画像復号処理を実現した場合にもソフトウェアで実現することで前記実施形態１と同等の効果を実現することができる。なお実施形態１と同様、符号化ストリームの多重化には、符号化データと共にデータサイズが多重化されるファイル・フォーマットが使用されている場合にも本発明は適用することが可能である。動作モードが部分復号モードでありかつデータサイズも多重化されているファイル・フォーマットが使用されている場合には、図５に記載のステップＳ５１０で示されたタイル復号処理の一部を省略することが可能である。この場合データサイズを参照することで、プレビューで使用しないタイルの符号化データを破棄し、後続の符号化データを高速に復号・画像再生することが可能である。

なお本実施形態２においてもタイルサイズ及びタイルの分割数などは上記に限定されず、静止画と動画の両方に適用することができる本実施形態において、動作モードの入力をステップＳ５０４で行った。しかしこれに限定されず、ステップＳ５０５より以前であれば何時行っても構わない。また本実施形態ではＳＥＩ中のタイルプレビュー情報の有無によって復号の可否を決定したが、本発明はこれに限定されない。タイルプレビュー情報を備えるプロファイルを設定し、プロファイルにより復号可否を判定してももちろん構わない。

＜実施形態３＞
本発明の実施形態３における符号化フォーマットは実施形態１とは異なり、タイルプレビュー情報として、タイル番号ではなくフレーム内の各タイルの座標（水平位置及び垂直位置）を挿入する。図７に図２と同様のタイル分割を行う際の各タイルの座標について示す。

図８（ａ）に本実施形態における符号化フォーマットを示し、図８（ｂ）に図７のタイル分割及びプレビュー用タイル（タイル座標（１、１）及びタイル座標（２、１））に対応する符号化ストリームの例を示す。図示されるようにタイルプレビュー情報として各タイルの座標である水平位置及び垂直位置が挿入される。ペイロード識別情報は実施形態１と同じ値を使用することが可能である。

本実施形態においては各水平位置・垂直位置はフレーム内の水平タイル数・垂直タイル数を表現可能なバイト数で表現される。図７の例においては水平位置・垂直位置は１バイトのペイロードであり、プレビュー用のタイル数×２バイトがタイルプレビュー情報のペイロード・サイズとして挿入される。なお実施形態１と同様に、水平位置・垂直位置のデータサイズはこれに限定されず、各タイル番号のデータサイズをビット単位で定義することや、プロファイルやレベルに応じて予め定められる、固定のデータサイズとすることも可能である。

なお図８（ａ）、図８（ｂ）におけるタイル分割情報はそれぞれ図１、図４と同じ数値とする。また図８（ａ）におけるＮｕｍＴｉｌｅｓＨ、ＮｕｍＴｉｌｅｓＶは実施形態１と同様、フレーム内の水平タイル数、垂直タイル数を示す。

画像復号装置は実施形態１と同様、図３の構成を使用する。この場合にタイル分割情報及びタイルプレビュー情報解析器３０３においてはタイルの識別情報としてプレビュー用に使用するタイルの空間座標が解析される。解析されたプレビュー用タイルの空間座標から各処理へはタイル分割情報と共に、どのタイルが復号対象であるか及び復号対象のタイル空間座標リストが伝達される。

符号化ストリーム解析器３０１は復号したタイル数をカウントしてタイル番号を算出すると共に、タイル番号とタイル分割情報とから復号中のタイルの空間座標を算出する。通常タイルの垂直座標はタイル番号÷水平方向タイル数により、タイルの水平方向座標はタイル番号％水平方向タイル数により算出可能である。なお％は剰余演算を示す。

復号中のタイルの空間座標がタイルプレビュー情報解析器３０３から伝達されるプレビューに使用するタイル空間座標リストに含まれる場合にのみ、復号したタイルの符号化データを動き補償器３０４または画面内補償器３０７及び予測残差復号器３０５に出力する。

このようにタイルプレビュー情報としてタイルの空間座標を使用しても実施形態１と同様の効果を実現することができる。

更に本実施形態３の構成は実施形態２のようにソフトウェア・プログラムにより実現することも可能である。本実施形態では実施形態２におけるタイル番号リストの代わりに各タイルの空間座標から構成されるタイル空間座標リストが使用される。図５に記載のステップＳ５０１ではタイル空間座標リストが初期化される。ステップＳ５０６ではフレーム内の全タイルの空間座標リストがタイル空間座標リストに追加され、Ｓ５０９ではプレビューに使用するタイルの空間座標がタイル空間座標リストに追加される。また図６に記載のステップＳ６０４においては復号中のタイルのタイル番号（図５中のｉ）とタイル分割情報とから前記と同様に復号中のタイルの空間座標を算出する。算出された空間座標とタイル空間座標リスト中の空間座標の比較を行い、復号中のタイルの空間座標がタイル空間座標リストに含まれる場合にのみ、ステップＳ６０５に進み画像データの生成を行う。

なお本実施形態３においてもタイルサイズ及びタイルの分割数などは上記に限定されない。

また、本実施形態ではペイロードのデータサイズと各データの長さからプレビューに用いるタイルの数を判別したがこれに限定されず、プレビューに用いるタイルの数を別途符号として送ってももちろん構わない。

＜実施形態４＞
本発明の実施形態４における符号化フォーマットは実施形態１と同様に、タイル番号を使用したタイルプレビュー情報を使用しつつ、各タイルの符号化データの符号化ストリームへの多重化の順序が異なるものである。

前記図２のタイル分割及びプレビュー用タイル（タイル５及びタイル６）に対応する符号化ストリームの例を図９に示す。図示されるように本実施形態の符号化ストリームにおいてはプレビューに使用されるタイルを他のタイルに先んじて符号化ストリームに多重化する。

画像復号装置は実施形態１と同様、図３の構成を使用する。本実施形態において符号化ストリーム解析器３０１はヘッダ解析後すぐに復号対象のプレビュー用タイルを得ることができる。よって実施形態１等で行っていたような、復号対象でないタイルの符号化データをエントロピー復号し、破棄する処理が不要になる。結果として実施形態１と同様の効果を実現しつつ、更なる処理の高速化を実現することができる。

更に本実施形態４の構成は実施形態２のようにソフトウェア・プログラムにより実現することも可能である。なお本実施形態４においてもタイルサイズ及びタイルの分割数などは上記に限定されない。

また、本実施形態ではペイロードのデータサイズと各データの長さからプレビューに用いるタイルの数を判別したがこれに限定されず、プレビューに用いるタイルの数を別途符号として送ってももちろん構わない。

＜実施形態５＞
本発明の実施形態５における符号化フォーマットは複数の優先度に対応する複数のペイロード識別情報を使用し、優先度を備えるタイルプレビュー情報を複数挿入するものである。なおタイルプレビュー情報のペイロードとして実施形態１と同じくタイル番号を使用する。本実施形態におけるタイル分割及び優先度を備えたプレビュー用タイルを図１０に示す。

本実施形態における符号化フォーマットを図１１（ａ）に示す。図１と同様、図１１中のＮはフレーム内のタイル数を示す。また前記図１０のタイル分割において優先度１（優先度がより高い）としてタイル５及びタイル６、優先度２（優先度がより低い）としてタイル１を使用する場合の符号化ストリームを図１１（ｂ）に示す。図示されるように本実施形態の符号化ストリームにおいては優先度に対応して異なるペイロード識別情報が使用される。図１１（ｂ）では一例として優先度１の場合はペイロード識別情報＝５０、優先度２の場合はペイロード識別情報＝５１が使用され、複数の優先度に対応する複数のタイルプレビュー情報がＳＥＩ中に挿入される。なお本実施形態におけるタイル番号のデータサイズは２バイトで固定としている。さらにこれらの識別情報の値もこれらに限定されない。

画像復号装置は実施形態１と同様図３の構成を使用する。この場合全体制御器３０２及びタイル分割情報及びタイルプレビュー情報解析器３０３には外部から動作モードに加えて優先度情報が設定される。部分復号モードで動作する場合に、タイル分割情報及びタイルプレビュー情報解析器３０３は外部から設定された優先度に対応するペイロード識別情報を備えたタイルプレビュー情報を選択し、実施形態１と同様に復号処理を行う。

このようにペイロード識別情報を使用し、優先度に応じた複数のタイルプレビュー情報をＳＥＩに挿入することにより、ユーザーは複数のプレビューを切り替え、正確にコンテンツの内容を把握することができる。また本実施形態は実施形態１と同様の効果を実現することができる。またコンテンツ作成者はより柔軟なプレビューを提供できるようになる。

更に本実施形態５の構成は実施形態２のようにソフトウェア・プログラムにより実現することも可能である。この場合、図５に記載のステップＳ５０８は外部から設定される優先度に対応したペイロード識別情報を備えるタイルプレビュー情報のみを抽出し、ステップＳ５０９においてタイル番号リストを作成する。

なお本実施形態５においてもタイルサイズ及びタイルの分割数及び定義可能な優先度の数などは上記に限定されない。使用するペイロード識別情報の数値も上記に限定されず、どのような数値も使用することが可能である。また符号化データと共にデータサイズを多重化するファイル・フォーマットが使用される場合にはより高速に復号することが可能である。

さらには、本実施形態においても実施形態４と同様に、優先度の高いタイルから符号化ストリームを生成することにより、優先度に応じて高速に処理することが可能になる。

なお、本実施形態ではタイルに２つの優先度が割り当てられて符号化される例について述べたが、これに限定されない。例えばＳＥＩに優先度の数を符号として送ることも可能である。これによって、多くの優先度を設ける場合、ペイロードの識別情報に固有の優先度を割り当てる必要が無く、ペイロード単位で復号される順番に優先度を割り当てることで実現できる。また、図１１（ａ）の構成に優先度の数を符号として送ることにより、最低優先度のタイル番号を省略することも可能である。

また、本実施形態ではペイロードのデータサイズと各データの長さからプレビューに用いるタイルの数を判別したがこれに限定されず、プレビューに用いるタイルの数を別途符号として送ってももちろん構わない。

また、本実施形態では優先度毎にタイルをまとめ、タイル群毎に優先度が付与されていたが、これに限定されず、それぞれのタイル毎に優先度を付けても構わない。例えば図９のような符号化フォーマットにおいて、タイル番号５に続いて優先度１を符号化したデータを続ける。さらにタイル番号６に対しては優先度１を符号化したデータを続ける。最後にタイル番号１に対して優先度２を符号化したデータを続ける。タイル番号５とタイル番号６はタイル番号１よりも優先度が上であるため、プレビュー時にはタイル番号５のタイルとタイル番号６のタイルがプレビュー用タイルとなる。さらにプレビュー用タイルとして優先度が２のものを含めるようにすればタイル１もプレビュー用タイルとして復号される。

また、本実施例において、優先度の値が小さい方が優先される例について説明したが、これに限定されず、優先度の値が大きい方が優先するようにしても構わない。

＜実施形態６＞
本発明の実施形態６における符号化フォーマットはタイルプレビュー情報としてタイル番号に加えて当該タイルまでのオフセット情報をＳＥＩに挿入するものである。なおタイル分割は実施形態１と同じものを使用する。

本実施形態における符号化フォーマットを図１２（ａ）に、図２のタイル分割及びプレビュー用タイルに対応する符号化ストリームの例を図１２（ｂ）に示す。

図１２（ａ）に図示される本実施形態の符号化ストリームにおいてはタイルプレビュー情報としてプレビューに使用するタイル番号と共に、タイル番号に対応するタイルの符号化データまでのオフセット情報が挿入される。このオフセット情報は各ピクチャの符号化データの先頭からプレビューで使用するタイルの符号化データまでのバイト数を示すが、本発明のオフセット情報はこれに限定されるものではない。また動画においては各ピクチャの符号化データの先頭から各タイルへの符号化データのバイト数はピクチャ間で異なるため、タイルプレビュー情報はピクチャ毎に挿入される必要がある。このオフセット情報のデータサイズは本実施形態においては４バイト固定であるとしたが、これに限定されず、レベル等のパラメータに応じて適応的に定めることが可能である。または、ペイロード・データサイズの直後に各オフセット情報のバイト数を定義して送っても構わない。

図１２（ｂ）のタイルプレビュー情報ではタイル番号の１バイト、オフセット情報の４バイトがプレビュー用タイル毎に挿入される。本実施形態においてはプレビュー用タイルとして２タイルを使用するため、ペイロード・データサイズは５バイト×２タイル＝１０バイトとなる。図１２（ｂ）中のＬ５はピクチャの符号化データ先頭からプレビュー用タイルであるタイル５の符号化データまでのバイト数を示している。同様にＬ６はタイル６の符号化データまでのバイト数である。

画像復号装置は実施形態１と同様図３の構成を使用する。この場合全体制御器３０２及びタイル分割情報及びタイルプレビュー情報解析器３０３ではタイル分割情報、タイル番号に加えて各タイルの符号化データへのオフセット情報が解析される。解析されたオフセット情報は符号化ストリーム解析器３０１に入力される。動作モードが部分復号モードである場合に符号化ストリーム解析器３０１は受け取ったオフセット情報を参照し、プレビュー用タイルまでの符号化データを廃棄するか、もしくはオフセット情報に対応するアドレスを用いて符号化データの当該箇所を直接読み込む。符号化ストリーム解析器３０１はプレビュー用タイルの符号化データに到達後、タイルの符号化データの復号処理を行い、動き補償器３０４または画面内補償器３０７、及び予測残差復号器３０５に復号したデータを出力する。

このようにタイルプレビュー情報としてプレビューに使用するタイルの符号化データまでのオフセット情報を含めてＳＥＩに挿入することにより、実施形態１と同様の効果に加えて部分復号モードでの動作をさらに高速化することができる。

更に本実施形態の構成は実施形態２のようにソフトウェア・プログラムにより実現することも可能である。この場合、ステップＳ５０８はタイルプレビュー情報中のタイル番号及びタイルのオフセット情報を解析する。ステップＳ５０９でタイル番号及びタイルのオフセット情報から構成されるタイル番号リストを作成する。

さらには、本実施形態においても実施形態５と同様に優先度を付加し、タイルのオフセット情報を含んだタイルプレビュー情報を複数挿入することも可能である。優先度の高いタイルから符号化ストリームを生成することにより、優先度に応じて高速に処理することが可能になる。

なお本実施形態もタイルサイズ及びタイルの分割数及び定義可能な優先度の数などは上記に限定されない。また、本実施形態ではオフセットをバイト数で表したが、これに限定されない。例えば、固定長のパケットを定義し、パケット数でオフセット値を表しても良い。

また、本実施形態ではペイロードのデータサイズと各データの長さからプレビューに用いるタイルの数を判別したがこれに限定されず、プレビューに用いるタイルの数を別途符号として送ってももちろん構わない。

＜実施形態７＞
本発明の実施形態７は実施形態１～６の画像復号装置を含む画像表示システムである。

本実施形態における画像表示システムを図１３に示す。図示されるように画像表示システム１３０１、全体制御器１３０２、ユーザーインターフェース１３０３、フラッシュメモリ１３０４、メモリコントローラ１３０５、画像復号装置１３０６、画像処理装置１３０７、表示装置１３０８から構成される。ユーザーインターフェース１３０３は操作に応じた動作モードを入力し、全体制御器１３０２に伝達する。全体制御器１３０２は入力された動作モードに応じてメモリコントローラ１３０５、画像復号装置１３０６、画像処理装置１３０７、表示装置１３０８の動作を制御する。

本画像表示システムではフラッシュメモリ１３０４に記録された符号ストリームを復号し、表示する。フラッシュメモリ１３０４に記録された符号化ストリームはメモリコントローラ１３０５によって読み出され画像復号装置１３０６へと入力される。

画像復号装置１３０６は符号化ストリームの復号を行い、復号した画像を出力する。なお本実施形態における画像復号装置１３０６は実施形態１～６のいずれの構成も使用することが可能である。また画像復号装置１３０６は符号化ストリームのヘッダ情報から抽出したタイル分割情報及びタイルプレビュー情報を全体制御器１３０２へと出力する。

画像処理装置１３０７は画像復号装置１３０６によって復号された画像を表示すべく色変換処理等を施す。画像処理装置１３０７はさらに同時に全体制御器１３０１から動作モード及びタイル情報を読み込む。画像復号装置１３０６のフレームサイズ、動作モード及び表示装置１３０８における表示サイズに応じて、画像処理装置１３０７は復号画像の拡大処理もしくは縮小処理及びトリミング処理を施す。表示装置１３０８は画像処理装置１３０７の出力を表示する。

本実施形態の画像表示システムの表示例を図１４（ａ）、（ｂ）に示す。図１４（ａ）、（ｂ）は前記表示装置１３０８上に表示されるコンテンツの例を示したものであり、表示領域１４０１、プレビュー表示１４０２～１４０５、通常表示１４０６、戻り指示部１４０７から構成される。表示領域１４０１は前記表示装置１３０８に相当する。プレビュー表示１４０２～１４０６は表示装置であると共に、タッチパネル方式により前記ユーザーインターフェース１３０３の機能を備えている。図１４（ａ）は符号化ストリーム一覧を閲覧する表示の例であり、複数の符号化ストリームそれぞれについて画像復号装置１３０６は部分復号モードで動作し、指定されたタイルを用いて小さな表示サイズでプレビュー表示している。なお複数の符号化ストリームは全てフラッシュメモリ１３０４に記録されており、かつ各符号化ストリームは実施形態１～６における符号化フォーマットで符号化されているものとする。

符号化ストリーム一覧表示時において、メモリコントローラ１３０５はフラッシュメモリ１３０４中から符号化ストリームを読み出し、画像復号装置１３０６を部分復号モードで動作させる。画像処理装置１３０７は画像復号装置１３０６から出力されたタイル分割情報及びタイル番号と、表示装置１３０８の表示サイズを比較し、拡大・縮小処理の倍率及びトリミングする領域の大きさ等を決定し当該画像処理を施す。符号化ストリーム一覧表示時においてはこれらの処理を符号化ストリーム一覧表示で使用される各符号化ストリームについて、順次処理を行うことで複数符号化ストリームの一覧表示を実現する。

なおプレビュー表示１４０２～１４０５は各コンテンツが静止画の符号化ストリームの場合には静止画とし、動画の場合には符号化ストリーム動画もしくは特定のフレームを用いた静止画とすることが可能である。プレビュー表示として動画を使用する場合には上記符号化ストリーム一覧表示の処理を各符号化ストリーム間で切り替えながら繰り返し行うことにより実現可能である。この切り替えの方法は各符号化ストリームで所定の枚数だけフレームを復号した後や所定時間が経過した後など、どのような切り替え方法も使用することが可能である。

図１４（ａ）においてタッチ操作によりコンテンツが選択されると、図１４（ｂ）のように全画面表示でコンテンツ全体が表示される。

全画面表示時において、メモリコントローラ１３０５はフラッシュメモリ１３０４中から選択された符号化ストリームを読み出し、画像復号装置１３０６を通常復号モードで動作させる。画像処理装置１３０７は画像復号装置１３０６からフレームサイズと表示装置１３０８の表示サイズを比較し、拡大・縮小処理の倍率及びトリミングする領域の大きさを決定する。画像処理装置１３０７の結果は表示装置１３０８において表示・再生される。

図１４（ｂ）の全画面表示の状態においてタッチ操作により戻り指示部１４０７を操作すると、図１４（ａ）の符号化ストリーム一覧を表示するモードに戻ることが可能である。

本実施形態のように画像表示システムの符号化ストリーム一覧選択のユースケースにおいて、プレビュー用タイルによるプレビュー表示を行うことにより、コンテンツの重要な箇所を拡大して表示し、ユーザーはコンテンツの内容をより的確に把握することができる。また符号化ストリーム内のプレビュー用タイルのみを復号して表示することにより、複数の符号化ストリームを表示する際にも高速に表示することが可能である。

なお、本実施形態をソフトウェアで構成する場合は、プレビュー毎にスレッドを割り当てて並列処理を行うことも可能である。

＜実施形態８＞
図１５に本発明の画像符号化フォーマットを用いて静止画若しくは動画中の画像フレームを符号化する画像符号化装置の内容を示す。図１５に記載の画像符号化装置は図示されるように全体制御器１５０１、画素入力器１５０２、動き探索器１５０３、画面内予測器１５０４、選択器１５０５、画面内予測用メモリ１５０６、減算器１５０７、予測残差符号化及び局所復号器１５０８、符号化ストリーム多重化器１５０９、加算器１５１０、フィルタ処理器１５１１、動き探索用メモリ１５１２から構成される。

全体制御器１５０１には画像符号化装置外部からフレームサイズやレベル・プロファイル及び符号化パラメータが与えられ、与えられた内容に応じて各処理を制御する。また全体制御器１５０１は与えられたフレームサイズに応じてタイル数及びタイルサイズを決定する。本実施形態では画像符号化装置内部で自動的にタイル分割を行うものとするが、タイル数及びタイルサイズは画像符号化装置外部から指定することも可能である。タイル情報を含む符号化フォーマットについては実施形態１と同様の構成とする。全体制御器１５０１は更に外部からプレビューとして使用する領域情報を入力する。全体制御器１５０１はプレビュー用領域情報と生成したタイル情報を照らし合わせ、プレビューとしてどのタイル番号を使用するかを決定し、タイルプレビュー情報を生成する。生成されたタイルプレビュー情報はＳＥＩの一部として他のヘッダ情報と共に符号化ストリーム多重化器１５０９に伝達され、符号化ストリームに多重化される。

画素入力器１５０２はタイルサイズに応じた入力画像を読み込む。動き探索器１５０３は動き探索用メモリ１５１２から参照画像を読み込み、参照ブロックを生成して最適な動きベクトルの探索を行い、最も発生符号量が少なくなると推定される動きベクトルを決定する。

画面内予測器１５０４は画面内予測用メモリ１５０６から参照画像を読み込み、画面内予測モードに対応した参照ブロックを生成して最適な画面内予測モードの探索を行い、最も発生符号量が少なくなると推定される画面内予測モードを決定する。選択器１５０５は画面内予測器１５０４と動き探索器１５０３で算出された推定符号量を比較し、動き予測もしくは画面内予測を示す符号化モードを決定すると共に、動き探索器１５０３か画面内予測器１５０４のいずれかの参照ブロックを選択する。なお、符号化モードはエントロピー符号化によって符号化されても良い。減算器１５０７は入力ブロックと参照ブロックの予測（減算）を行う。予測残差符号化及び局所復号器１５０８は減算器１５０７の出力である予測残差の直交変換、量子化及びエントロピー符号化（可変長符号化もしくは算術符号化）を行う。予測残差符号化及び局所復号器１５０８は同時に、後続のブロックの画面内予測もしくは動き予測のために予測誤差の量子化直交変換係数の逆量子化及び逆直交変換を行い、予測誤差を局所復号する。符号化ストリーム多重化器１５０９は前記タイルプレビュー情報を含むヘッダ情報、符号化モード、画面内予測モード、動きベクトル及び予測誤差の量子化直交変換係数の符号化データの多重化を行い符号化ストリームとして出力する。

加算器１５１０は予測残差符号化及び局所復号器１５０８が局所復号した予測誤差と選択器１５０５から出力される参照ブロックの加算（動き補償もしくは画面内補償）を行う。加算器１５１０によって復号された画素はフィルタ処理器１５１１に出力されると同時に、後続のブロックの画面内予測のために画面内予測用メモリ１５０６に記録される。フィルタ処理器１５１１は復号されたブロックについてデブロッキング・フィルタ等のフィルタ処理を施す。フィルタ処理された復号画像は動き探索用メモリ１５１２に記録される。

本実施形態において、画像符号化装置におけるプレビュー用として使用する領域情報はデジタルカメラ等の撮影機器上で、ユーザーによるユーザーインターフェースを操作することにより指定される。

図１６にデジタルカメラ上のタッチパネル・ディスプレイ上でユーザーがプレビュー用領域情報を指定するイメージ図を示す。ユーザーは主要被写体等が移っている領域など、プレビューとして相応しい領域を指定（例として図１６ではタッチパネル上で当該領域を円で囲んでいる）した後に動画及び静止画の撮影を行う。本発明は上記タッチパネル上の操作に限定されず、キー操作により行うことも可能であるし、顔認識等の結果を使用することも可能である。

またプレビュー用領域情報の指定は動画・静止画の撮影後に行うことも可能である。この場合、ユーザーは撮影した画像をデジタルカメラ上で再生中にプレビュー用領域を指定する。ユーザーにより指定されたプレビュー用領域に対応するタイルプレビュー情報は符号化ストリーム中のＳＥＩ等に追加される。

本発明の画像符号化装置は特定のタイル分割に限定されない。タイルプレビュー情報中のタイル数やタイルの識別情報も特定の形に依存せず、挿入位置もＳＥＩに限定されずＶＵＩやユーザー・データとして挿入することも可能である。

タイル座標をタイルプレビュー情報としてＳＥＩを生成し、多重化することによって、実施形態３の符号化ストリーム生成を実現することができる。また各タイルの符号データを符号化ストリーム多重化器１５０９でバッファリングし、プレビュー用タイルの符号化データを他のタイルに先んじて符号化ストリームに多重化することによって実施形態４の符号化ストリーム生成を実現することができる。また図１６のように複数のプレビュー用領域をユーザーが設定可能なインターフェースを用意し、この情報を全体制御器１５０１に入力する。これにより領域ごとの優先度を設定することで、優先度が付加された複数のタイルプレビュー情報をＳＥＩに挿入した、実施形態５の符号化ストリーム生成の実現も可能である。この優先度は例えば領域が指定された順番を使用することが可能であるが特定の方法に依存するものではない。

また実施形態６のようにタイルプレビュー情報として、プレビュー用タイルの符号化データまでのオフセット情報を含めることも可能である。

また実施形態１で述べたように本実施形態の画像符号化装置はタイル間の依存性無く符号化する（ｔｉｌｅ＿ｂｏｕｎｄａｒｙ＿ｉｎｄｅｐｅｎｄｅｎｃｅ＿ｉｄｃ＝１とする）ことが望ましいが、これに限定されるものではない。

上記のように撮影時にプレビューとして使用する領域をユーザーが明示的に指定することにより、生成される符号化ストリームをプレビューする時の内容をユーザーの意図通りの内容にすることができる。また本発明は静止画と動画の両方に適用することができる。

＜実施形態９＞
実施形態８の画像符号化装置はＣＰＵ上のソフトウェア・プログラムとして実現することも可能である。図１７及び図１８に本実施形態における１フレームを符号化するプログラムのフローチャートを示す。

まずステップＳ１７０１において、符号化するフレームサイズをプログラム外部から設定する。ステップＳ１７０２において、ステップＳ１７０１において与えられたフレームサイズに応じて画像データ全体のタイル数及びタイルサイズ等のタイル分割情報を算出する。ステップＳ１７０３において、プレビューに使用する領域情報をプログラム外部から設定する。ステップＳ１７０４において、ステップＳ１７０２で決定されたタイル分割情報とステップＳ１７０３で設定されたプレビュー用の領域情報を照らし合わせ、プレビュー用タイルとして使用するタイルを決定する。決定したタイルのタイル番号またはその位置情報を用いてタイルプレビュー情報を生成する。

ステップＳ１７０５において、ステップＳ１７０１とステップＳ１７０２で設定された符号化パラメータ及びステップＳ１７０３で算出されたタイル分割情報等を含むヘッダ情報をシーケンス・パラメータ・セットとして符号化ストリームへ多重化する。ステップＳ１７０６において、ステップＳ１７０４で生成されたタイルプレビュー情報をＳＥＩとして符号化ストリームへ多重化する。ステップＳ１７０７及びステップＳ１７０８において、ステップＳ１７０２で算出されたタイル分割情報に基づいてタイル分割を行い、フレーム内の全てのタイルの符号化を行う。

図１７にステップＳ１７０７で示した各タイルの符号化処理のフローチャートを示す。

ステップＳ１８０１において、ステップＳ１７０２で算出されたタイル分割情報及び処理対象ブロックのタイル番号から処理を開始するブロックの位置を算出する。ステップＳ１８０２において各ブロックの画面内予測モードの探索を行い、予測残差から発生符号量を推定する。ステップＳ１８０３において、タイル内の各ブロックの動きベクトルを探索し、予測残差から発生符号量を推定する。なお処理対象フレームが画面内符号化フレームである場合には本ステップは省略される。ステップＳ１８０４において動き予測の推定符号量と画面内予測の推定符号量を比較し、比較結果である符号化モードに応じてステップＳ１８０５以降の動き予測もしくはステップＳ１８０８以降の画面内予測を行う。

ステップＳ１８０５においてステップＳ１８０３において探索された動きベクトルを用いて動き予測を行う。さらに符号化モードが動き予測モードであることを符号化し、探索された動きベクトルを符号化し、符号化ストリームへの多重化を行う。ステップＳ１８０６において実施形態８の予測残差符号化及び局所復号器１５０８と同様に符号化データの生成及び予測残差の局所復号を行う。ステップＳ１８０７において局所復号された予測残差の動き補償を行う。ステップＳ１８０８においてステップＳ１８０２において探索された画面内予測モードを用いて画面内予測を行う。さらに探索された符号化モードが画面内予測モードであることを示す情報と画面内予測モードを符号化し、符号化ストリームへの多重化を行う。

ステップＳ１８０９においてステップＳ１８０６と同様に符号化データの生成及び予測残差の局所復号を行う。ステップＳ１８１０において局所復号された予測残差の画面内補償を行う。ステップＳ１８１１において符号化された予測残差の符号化ストリームへの多重化を行う。この時に動きベクトルもしくは画面内符号化モードについても同じく符号化ストリームへ多重化される。ステップＳ１８１２においてタイル内の全ブロックの符号化が完了したと判断されるとタイルの符号化が完了する。

上記のようにプログラムで画像符号化処理を実現した場合にも前記実施形態８と同等の効果を実現することができる。

また実施形態８と同様に上記は特定のタイル分割情報やタイルプレビュー情報の内容及び符号化ストリーム中の挿入位置に限定されず、実施形態１～６の任意の符号化フォーマットを使用することが可能である。また本発明は静止画と動画の両方に適用することができる。

図１７において、ステップＳ１７０７にてタイル毎の符号化ストリームをバッファリングし、ステップＳ１７０８の後で、プレビュー用のタイルのデータを先に出力することも可能である。さらに、ステップＳ１７０３にて、各領域情報に優先順位を付けることでＳＥＩに各タイルの優先度を設けることも可能である。

＜実施形態１０＞
本発明の実施形態１０においてはプレビューではなく、ＲＯＩを実現する方法について示す。本実施形態におけるＨＥＶＣによるＲＯＩを実現する符号化ストリームのフォーマットを図１９に示す。図１９において、実施形態１の図１のタイルプレビュー情報の代わりにタイル注目領域情報が格納されている。

実施形態１と同様に、ＳＰＳに続いて、ＳＥＩが挿入されている。ＳＥＩにはタイル注目領域情報が挿入される。図１９（ａ）にタイル注目領域情報のフォーマットの一例を示す。当該情報にはまずペイロードの内容がタイル注目領域情報であることを示すペイロード識別情報が挿入される。ペイロード識別情報に続いて注目領域に含まれるタイルの数を表す符号及びタイル注目領域情報のデータ本体であるタイル番号が挿入される。タイル番号に関しては実施形態１と同様である。図２を例にとれば、タイル番号５と６が続いて符号化されている。

また、図１９（ｂ）にタイル注目領域情報のフォーマットの別な一例を示す。当該情報にはまずペイロードの内容がタイル注目領域情報であることを示すペイロード識別情報が挿入される。ペイロード識別情報に続いて当該映像に含まれる注目領域の数が符号化されて多重化されている。さらに各注目領域のタイル注目領域情報が前記注目領域数だけ続いて多重化されている。すなわち、最初の注目領域の注目領域内タイル数に続いて、タイル番号が当該注目領域内のタイル数分だけ続いて多重化されている。図１０を例にとれば、注目領域数を２とし、最初の注目領域内タイル数が２で、タイル番号５とタイル番号６が続いて符号化されている。さらに続く注目領域の注目領域内タイル数が１でタイル番号１が続いて符号化されている。

また、図１９（ｃ）にタイル注目領域情報のフォーマットの別な一例を示す。当該情報にはまずペイロードの内容がタイル注目領域情報であることを示すペイロード識別情報が挿入される。ペイロード識別情報に続いて注目領域に含まれるタイルの数を表す符号及びタイル注目領域情報のデータ本体であるタイル番号とタイル番号が示すタイルの優先度が符号化されている。図１０を例にとれば、注目領域内タイル数が３で、タイル番号５とタイル番号５の優先度１が符号化されている。続いてタイル番号６とタイル番号６の優先度１が続いて符号化されている。さらにタイル番号１とタイル番号１の優先度２が続いて符号化されている。

また、図１９（ｄ－１）、図１９（ｄ－２）にタイル注目領域情報のフォーマットの別な一例を示す。当該情報にはまずペイロードの内容がタイル注目領域情報であることを示すペイロード識別情報が挿入される。続いて、当該注目領域の識別番号（ＩＤ）が符号化され、その当該注目領域の優先度が符号化される。続いて、識別番号（ＩＤ）の注目領域のデータ本体が続いて多重化されている。符号化フォーマットは図１９（ａ）と同じ符号化フォーマットを用いることができる。また、図１９（ｄ－２）に示す符号化フォーマットを使用しても構わない。図１９（ｄ－２）ではタイル番号の代わりに、タイルのＸ（水平）方向の座標とＹ（垂直）方向の座標を組み合わせても良い。図２を例にとれば、タイル番号５のＸ座標１とＹ座標１が符号化されている。続いてタイル番号６のＸ座標２とＹ座標１が続いて符号化されている。

また、図１９（ｅ）にタイル注目領域情報のフォーマットの別な一例を示す。この符号化データはシーケンス・パラメータ・セットの記述であり、内部に注目領域の符号化データの有無を表すＲＯＩ＿ｅｎａｂｌｅ＿ｆｌａｇ符号が設けられている。ＲＯＩ＿ｅｎａｂｌｅ＿ｆｌａｇ符号の値が０であれば注目領域に関する符号化データはなく、全てのタイルが同じように復号される。その値が１であれば、シーケンス・パラメータ・セットやピクチャ・パラメータ・セットの所定の位置にタイル注目領域情報が含まれている。この場合のタイル注目領域情報にはペイロード識別情報は無くても構わない。そのフォーマットは図１９（ａ）から（ｄ－２）までのいずれであっても構わない。

前記画像符号化フォーマットに従った符号化ストリームを復号する画像復号装置について図３を用いて説明する。実施形態１と同様に符号化ストリーム解析器３０１は符号化ストリームを入力しシーケンス・パラメータ・セットやタイル注目情報を含むＳＥＩ等のヘッダ情報、動きベクトル、符号化された予測残差の量子化直交変換係数のエントロピー復号処理及び分離処理を行う。タイル分割情報及びタイルプレビュー情報解析器３０３はタイル分割情報を受け取り、タイルサイズ（タイルの水平・垂直画素数）の算出を行う。さらにタイル注目領域情報を符号化ストリーム解析器３０１から受け取り、プレビューに使用するタイルのタイル番号リストを算出する。

図１９（ａ）の符号化フォーマットであれば、ペイロード識別情報に続く注目領域内タイル数の符号化データを復号し、注目領域内タイル数に応じたタイル番号を読み込み復号してタイル番号リストを算出する。図１９（ｂ）の符号化フォーマットであれば、ペイロード識別情報に続く注目領域数を復号する。注目領域ごとに注目領域内タイル数の符号化データを復号し、注目領域内タイル数に応じたタイル番号を読み込み復号して注目領域ごとにタイル番号リストを算出する。図１９（ｃ）の符号化フォーマットであれば、ペイロード識別情報に続く注目領域内タイル数の符号化データを復号し、注目領域内タイル数に応じたタイル番号とそのタイル番号が示すタイルの優先度を読み込み復号してタイル番号リストを算出する。図１９（ｄ－１）、（ｄ－２）の符号化フォーマットであれば、ペイロード識別情報に続く注目領域ＩＤ情報とその注目領域の優先度を復号し、続く注目領域のタイルに関する情報を復号する。すなわち、注目領域内タイル数の符号化データを復号し、注目領域内タイル数に応じたタイル番号を読み込み復号して注目領域ＩＤが示す注目領域ごとにタイル番号リストを算出する。図１９（ｅ）の符号化フォーマットであれば、シーケンシャル・パラメータ・セットを復号した際にＲＯＩ＿ｅｎａｂｌｅ＿ｆｌａｇ符号を復号する。その値が１であれば、後続の符号化データに含まれるタイル番号やその座標データからタイル番号リストを作成する。以下、実施形態１とタイル番号リストに従って、該当するタイルの復号を行う。

図３において、復号に先立ち、動作モードが外部から全体制御器３０２及びタイル分割情報及びタイルプレビュー情報解析器３０３に設定される。動作モードにはフレーム全体を復号する通常復号モード、もしくはプレビュー用タイルのみ復号する部分復号モード、もしくは注目領域を優先的に復号する注目領域復号モードが含まれる。動作モード通常復号モードと部分復号モードである場合は実施形態１と同じ動作を行う。注目領域復号モードである場合、注目領域のタイルが優先的に復号され、フレーム全体を表す画像の中に優先的に復号された画像データがタイルの位置に合成される。

図２０にその様子を示す。注目領域モードでは注目領域タイルであるタイル番号５のタイルとタイル番号６のタイルが復号され、フレームの中の対応位置に合成されている。

このように符号化ストリームのＳＥＩの一部としてタイル注目情報を挿入することにより、画像復号装置は一意に注目領域に使用するタイルを決定することができる。よって画像復号・再生アプリケーションに依存せず、同じ内容の注目領域の表示を提供することができる。結果としてユーザーの利便性を高めることが可能である。また本実施形態は静止画と動画の両方に適用することができる。

＜その他の実施形態＞
本発明の目的は、前述した機能を実現するコンピュータプログラムのコードを記録した記憶媒体を、システムに供給し、そのシステムがコンピュータプログラムのコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたコンピュータプログラムのコード自体が前述した実施形態の機能を実現し、そのコンピュータプログラムのコードを記憶した記憶媒体は本発明を構成する。また、そのプログラムのコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した機能が実現される場合も含まれる。

さらに、以下の形態で実現しても構わない。すなわち、記憶媒体から読み出されたコンピュータプログラムコードを、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込む。そして、そのコンピュータプログラムのコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行って、前述した機能が実現される場合も含まれる。

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するコンピュータプログラムのコードが格納されることになる。

Claims (1)

1. 複数の矩形状のタイル単位で符号化された複数の画像によって構成される動画像を復号する画像復号方法であって、
   ビットストリームのパラメータセットの部分から、画像内におけるタイル列数およびタイル行数に関する情報を取得し、および、前記ビットストリームの補足情報の部分から、前記画像内のタイルの識別情報としてのタイル座標を取得する取得ステップと、
   前記取得ステップにおいて取得された、画像内におけるタイル列数およびタイル行数に関する情報に基づいて、前記ビットストリームから復号した複数の画像を得る復号ステップと、を有し、
   前記復号ステップにおいて、
   前記取得ステップにおいて取得されたタイル座標に対応する領域の画像を動き補償を用いて復号する場合、当該動き補償に用いる参照画像内のタイルのうち、前記タイル座標に対応する領域とは異なる領域の前記参照画像内のタイルを参照することなく、前記タイル座標に対応する領域の前記参照画像内のタイルを参照することを特徴とする画像復号方法。

Images