JP4366141B2 - 画像処理装置、画像処理方法、記憶媒体、及びプログラム - Google Patents

Description

本発明は、例えば、画像情報を符号化／復号化する装置或いはシステムに用いられる、画像処理装置及びその方法に関し、特に、誤り補償処理を備えた画像処理装置及びその方法に関するものである。

従来より例えば、ＣＤ−ＲＯＭやハードディスク等の蓄積媒体（記録媒体）に静止画像を保存及び表示するための符号化方式としては、ＩＳＯ（International Organization For Standardization：国際標準化機構）により標準化されたＪＰＥＧ（Joint Photographic Expert Group）方式が広く用いられている。一方、動画像を、静止画像と同様に蓄積媒体に保存及び表示する、或いは通信路を介して放送する、或いは双方向通信するための符号化方式としては、ＩＳＯにより標準化されたＭＰＥＧ（Moving Picture Experts Group）方式が広く用いられている。

ＪＰＥＧ方式及びＭＰＥＧ方式の何れの方式においても、画像情報の符号化に際して、画像サイズや、画像を構成する色成分の数、或いは色成分毎のサンプリング係数値等のような、画像を復号化するために必要な情報を含むヘッダ部分と、可変長符号によりエントロピー符号化された画像データ部分とから成る符号化データ列が生成される。

ここで、本発明は静止画像及び動画像の両者に適用可能であるが、ここでは説明の簡単のため、例えば、静止画像に着目し、その符号化及び復号化について説明する。

まず、静止画を、８×８画素のブロック毎に色成分を繰り返し符号化するブロック・インターリーブ方式で符号化する場合、その符号化データ列では、全ての色成分のブロックをサンプリング係数に基づき符号化するときの最も小さな単位を、「最小符号化単位（ＭＣＵ）」と呼ぶ。

例えば、カラー画像が、輝度成分Ｙ及び色差成分Ｃｂ，Ｃｒから構成され、これらの水平方向のサンプリング比がそれぞれ２：１：１であり、垂直方向のサンプリング比が１：１：１である画像の場合、（Ｙ、Ｙ、Ｃｂ、Ｃｒ）の４ブロックで１ＭＣＵが構成される。

また、符号化データ列に対して、ＭＣＵを単位とした任意の周期でリスタート・マーカ（再同期用識別子）と呼ばれる識別子を挿入することが可能である。前記リスタート・マーカを備えることにより、例えば何らかの理由で誤りを含んだ符号化データ列を復号化する場合にその影響をリスタート・マーカ周期で抑えることができる（例えば、特許文献１参照）。

上記のリスタート・マーカは、符号化データ列中のバイト境界に存在することが規定されている。このため、リスタート・マーカを挿入する直前の符号化データ列がバイト境界で終わっていない場合、パディング・ビットと呼ばれる１〜７ビットの複数の"１"を挿入した後に、リスタート・マーカを挿入する。

何らかの理由で符号誤りを含んだ符号化データ列を復号化する場合、その符号誤りの多くは、以下の何れかの現象（１），（２）により検出される。
（１）復号化の際に使用される変換テーブルに存在しない可変長符号が検出された。
（２）１つのブロック内に６４個以上の可変長符号が検出された。

符号化データ列中にリスタート・マーカが挿入されている場合、符号誤りが検出された箇所以降の符号化データ列を探索し、リスタート・マーカが出現した箇所から再び復号化を開始することが可能である。

符号誤りが検出された箇所と、リスタート・マーカが出現した箇所との間の復号化不可能な符号化データに対しては、補償データを挿入することで、原画像と水平画素数及び垂直画素数が一致した再生画像が得られる。

符号誤りが検出された箇所以降の符号化データ列中にリスタート・マーカが出現しなかった場合であっても、原画像の水平画素数及び垂直画素数を満たすように補償データを挿入することで、少なくとも符号誤りが検出される以前の画像部分を表示することが可能となる。

特開２００２−２７４７３号公報

しかしながら、上述したような符号化された画像データを復号化するための従来の画像処理方法では、符号誤りが検出された箇所以降の符号化データ列からリスタート・マーカを探索して補償データを挿入する処理（誤り補償（誤り修整）処理）は、例外的な処理であり、通常の符号誤りを含まない符号化データ列の復号化においては実行されないものである。

このため、誤り補償処理は一般的に、コストの観点から、ハードウェアで実現されるよりも、マイクロ・プロセッサ上のソフトウェアとして実現されている。ただし、処理速度に着目すると、ソフトウェアで実現した場合の方が、ハードウェアで実現した場合よりも処理に要する時間が長いことは否定できない。

一方、連続する可変長符号として構成された符号化データ列において、一度符号誤りが検出された場合、当該符号化データ列全体に、どの程度の符号誤りが含まれているかを把握するためには、逐次的に符号誤りが検出された箇所以降の符号化データ列を検査していく以外にはない。

このため、例えば、大きなサイズの画像の中に多くの符号誤りが分散して存在していた場合、符号誤り検出、リスタート・マーカ探索、補償処理、及び復号化再開の４つの処理が繰り返し実行されることになる。これらの処理の中で、一般的にソフトウェアで実装されるリスタート・マーカ探索及び補償処理の２つの処理が、全体の復号化に要する処理時間の大半を占めることになる。この結果、通常の復号化に要する処理時間よりも、極めて長い処理時間が必要となる。

しかしながら、原画像に忠実な再構成画像を得ることが優先される用途の場合、通常の復号化処理よりも長い処理時間が必要であっても、上述した誤り補償処理は、積極的に実施される。例えば、静止画像の復号化処理では、より原画像に忠実な再生画像を得ることが優先されることが多いため、誤り補償処理が実行される。

その一方で、より短時間に復号化処理を完了することが優先される用途の場合、できるだけ通常の復号化処理と同程度の処理時間内に処理を完了することが望まれる。

例えば、動画像の復号化処理では、一般に１秒あたり３０枚程度の画像を連続して復号化することが必要となるため、復号化処理に許容される処理時間に制限がある。また、動画像を再生表示する場合、連続する複数画像中の１枚に多少の符号誤りが存在したとしても、ユーザが受ける視覚的な損害は少ない。さらに、連続する複数画像中の１枚が符号誤りを含むために利用できないとしても、時系列上において、近傍の画像から容易に、当該画像を補完することが可能である。

したがって、たとえ符号化データ列内に符号誤りが存在したとしても、その誤り補償処理は、通常の復号化処理と同程度の処理時間内に処理を完了することが合理的である。

しかしながら、従来では、上述したような２つの異なる用途における相反する誤り補償処理への要求を満足する構成が存在せず、ユーザの利便性を著しく損なう、という問題があった。

本発明は、上述したような事情に鑑みてなされたものであり、符号誤りを含む静止画像又は動画像に対する復号化処理の用途に応じて、より原画像に忠実な再生画像を得ることを優先させた誤り補償処理と、通常の復号化処理と同程度の処理時間内に処理を完了する誤り補償処理とを適応的に実行する構成により、常に効率的且つ適切な誤り補償処理を実行でき、ユーザの利便性の向上を図ることができる、画像処理装置、画像処理方法、それを実施するためのプログラムを記録したコンピュータ読み取り可能な記憶媒体、及び当該プログラムを提供することを目的とする。

本発明の画像処理装置は、画面内で再同期処理のための再同期識別子が付加されている符号化画像データを入力する入力手段と、上記符号化画像データの符号誤りを検出する誤り検出手段と、上記再同期識別子を検出する再同期検出手段と、上記誤り検出手段での検出結果に応じて、上記符号化画像データに対して誤り補償処理を実行する誤り処理手段とを備え、上記誤り処理手段は、上記誤り検出手段により符号誤りが検出された以降から同一画面内の期間、符号化画像データを補償する第１の処理モードと、上記誤り検出手段により符号誤りが検出された以降に上記再同期検出手段により再同期識別子が検出されるまでの期間、符号化画像データを補償する第２の処理モードを有し、さらに上記誤り処理手段は、上記符号化画像データの属性又は再生する際の再生方式に応じて上記第１の処理モードと第２の処理モードを選択し、上記符号化画像データの属性は、上記符号化画像データが静止画像であるか動画像であるかの情報を含み、静止画像の場合には上記第２の処理モードを選択し動画像の場合には上記第１の処理モードを選択し、上記再生方式に再生速度の異なる複数の再生方式を有する場合に、上記再生速度の異なる複数の再生方式の再生速度が遅い再生方式の場合には上記第２の処理モードを選択し再生速度が速い再生方式の場合には上記第１の処理モードを選択することを特徴とする。
本発明の画像処理方法は、画面内で再同期処理のための再同期識別子が付加されている符号化画像データを入力する入力ステップと、上記符号化画像データの符号誤りを検出する誤り検出ステップと、上記再同期識別子を検出する再同期検出ステップと、上記誤り検出ステップでの検出結果に応じて、上記符号化画像データに対して誤り補償処理を実行する誤り処理ステップとを有し、上記誤り処理ステップは、上記誤り検出ステップにより符号誤りが検出された以降から同一画面内の期間、符号化画像データを補償する第１の処理モードと、上記誤り検出ステップにより符号誤りが検出された以降に上記再同期検出ステップにより再同期識別子が検出されるまでの期間、符号化画像データを補償する第２の処理モードを有し、上記誤り処理ステップは、上記符号化画像データの属性又は再生する際の再生方式に応じて上記第１の処理モードと第２の処理モードを選択し、上記符号化画像データの属性は、上記符号化画像データが静止画像であるか動画像であるかの情報を含み、静止画像の場合には上記第２の処理モードを選択し動画像の場合には上記第１の処理モードを選択し、上記再生方式に再生速度の異なる複数の再生方式を有する場合に、上記再生速度の異なる複数の再生方式の再生速度が遅い再生方式の場合には上記第２の処理モードを選択し再生速度が速い再生方式の場合には上記第１の処理モードを選択することを特徴とする。
本発明のプログラムは、上述した画像処理方法の各ステップをコンピュータに実行させることを特徴とする。
本発明のコンピュータ読み取り可能な記憶媒体は、上記プログラムを記録したことを特徴とする。

本発明によれば、処理対象画像の符号化画像データの符号誤りの検出結果に応じて誤り補償処理を実行する際、符号化画像データの属性又は再生する際の再生方式に応じて、符号誤りが検出された以降から同一画面内の期間、符号化画像データを補償する第１の処理モードと、符号誤りが検出された以降に再同期識別子が検出されるまでの期間、符号化画像データを補償する第２の処理モードを選択するように構成した。符号化画像データの属性は、符号化画像データが静止画像であるか動画像であるかの情報を含み、静止画像の場合には第２の処理モードを選択し動画像の場合には第１の処理モードを選択し、再生方式に再生速度の異なる複数の再生方式を有する場合に、再生速度が遅い再生方式の場合には第２の処理モードを選択し再生速度が速い再生方式の場合には第１の処理モードを選択する。
上記構成により、符号誤りを含む処理対象画像に対する復号化処理の用途に応じて、より原画像に忠実な再生画像を得ることを優先させた誤り補償処理や、通常の復号化処理と同程度の処理時間内に処理を完了する誤り補償処理等を適応的に実行することができる。
具体的には、符号化データ列に対する復号化処理において符号誤りが検出された場合、処理対象画像に応じて（例えば、静止画像であるか動画像であるか、或いは再生速度が遅い再生方式であるか再生速度が速い再生方式であるか等によって）、符号誤りが検出された以降の符号化データ列中から再同期識別子を探索する再同期処理を実行するか否かを判断することで、符号誤りを含む処理対象画像に対する復号化処理の用途に応じて、より原画像に忠実な再生画像を得ることを優先させた誤り補償処理と、通常の復号化処理と同程度の処理時間内に処理を完了する誤り補償処理とを適応的に行える効果がある。
したがって、本発明によれば、常に効率的且つ適切な誤り補償処理を実行でき、ユーザの利便性の向上を図ることができる。

以下、本発明の実施の形態について図面を用いて説明する。

本発明は、例えば、図１に示すような画像処理装置１００に適用される。
本実施の形態の画像処理装置１００は、静止画又は動画の画像情報に関する符号化／復号化の機能を有するものであり、特に、画像情報の符号化データ列の復号化処理の用途に応じて、符号誤りを含む符号化データ列に対する適応的な誤り補償（誤り修整）処理を実行するように構成されている。
以下、本実施の形態の画像処理装置１００の構成及び動作について具体的に説明する。

＜画像処理装置１００の構成＞
画像処理装置１００は、図１に示すように、ヘッダ情報処理部１０１、可変長符号復号化部１０２、画像データ再構成部１１０、及び表示部１１３を含む構成としている。尚、表示部１１３は外部装置として画像処理装置１００に接続できるような形態でも良い。

ヘッダ情報処理部１０１は、外部との入出力インターフェースを具備する汎用マイクロ・プロセッサ等の機能を有し、例えば、そのＣＰＵにより所定の処理プログラムを実行することで、所定の動作を実施する。

ヘッダ情報処理部１０１に対しては、処理対象とする符号化データ列１０８と、可変長符号復号化部１０２からの動作終了通知信号１０４、符号誤り検出通知信号１０５、及び符号化データ出力信号１０７とが供給される。
可変長符号復号化部１０２に対しては、処理対象とする符号化データ列１０８と、ヘッダ情報処理部１０１からの動作開始指示信号１０３及び補償データ書き込み信号１０６が供給される。
画像データ再構成部１１０に対しては、一連の直交変換係数シーケンス出力信号１０９と符号化パラメータ出力信号１１１が供給され、画像データ再構成部１１０からは、再構成画像データ１１２が出力される。再生画像データ１１２は表示部１１３に表示される。

＜画像処理装置１００の動作＞
まず、図２のフローチャートを用いて画像処理装置１００における復号化処理の全体の流れを説明する。

画像処理装置１００（図１参照）において、入力された処理対象の符号化データ列１０８は、ヘッダ情報処理部１０１及び可変長符号復号化部１０２の両方にそれぞれ供給される（ステップＳ２０１）。

次に、ヘッダ情報処理部１０１は、例えば、ＣＰＵ等により内部の処理プログラムを実行することで、符号化データ列１０８に含まれるヘッダ情報を読み出し、当該ヘッダ情報の内容を解析することで符号化パラメータ１１１を取得し、当該符号化パラメータ１１１を画像データ再構成部１１０に対して出力する（ステップＳ２０２）。

次に、ヘッダ情報処理部１０１は、可変長符号復号化処理１を実行する（ステップＳ２０３）。可変長符号復号化処理１の詳細は後述する。

ステップＳ２０３の処理終了後、画像データ再構成部１１０は、可変長符号復号化部１０２からの一連の直交変換係数シーケンス（直交変換係数シーケンス出力信号１０９）に含まれる有意係数に対して、ヘッダ情報処理部１０１からの別途指定された量子化ステップ値（符号化パラメータ出力信号１１１）に基づきスカラー逆量子化を施すことで、所定の順序で一次元データ列に配列されていた直交変換係数を再び二次元配列に戻した後、そのブロック単位に直交逆変換演算を施して矩形ブロックの再構成画像データを復元する。（ステップＳ２０４）。

ステップＳ２０４で復元された再構成画像データを再構成画像データ出力信号１１２として出力する（ステップＳ２０５）。

＜可変長符号復号化処理１の説明＞
つぎに、図２のステップＳ２０３のヘッダ情報処理部１０１による可変長符号復号化処理１を図３のフローチャートを用いて説明する。

まず、ヘッダ情報処理部１０１は、復号化するべき総符号量に対する未処理分の符号量を計数する符号量計数値を、内部のレジスタやメモリ等で保持している。
そこで、ヘッダ情報処理部１０１は、先ず、可変長符号復号化処理部１０２による復号化処理の開始に先立って、符号量計数値に対して、復号化するべき総符号量をセットする（ステップＳ３０１）。

次に、ヘッダ情報処理部１０１は、入力される符号化データ列１０８において、次に続く符号が、画像情報、すなわち一連の直交変換係数シーケンスを可変長符号符号化処理した連続する複数の可変長符号である場合、可変長符号復号化部１０２に対して、可変長符号復号化処理２の動作開始指示信号１０３を発行する（ステップＳ３０２）。尚、可変長符号復号化部１０２による可変長符号復号化処理２の詳細は後述する。

次に、ヘッダ情報処理部１０１が、可変長符号復号化部１０２により可変長符号復号化処理２が行われ、符号誤りを検出したことを示す符号誤り検出通知信号１０５を受信した場合（ステップＳ３０３）、どのような補償方式（データ補償処理）を用いるかを決定するための補償方式決定処理を実行する（ステップＳ３０４）。尚、補償方式決定処理の詳細は後述する。

次に、ステップＳ３０４の補償方式決定処理の後、ヘッダ情報処理部１０１は、再同期処理実行フラグを参照し、その設定値が“０"である場合（ステップＳ３０５）、直ちに補償データ排出処理を実行する（ステップＳ３０６）。尚、補償データ排出処理の詳細は後述する。

ステップＳ３０３において、符号誤り検出通知信号１０５を受信しなかった場合、ヘッダ情報処理部１０１が可変長符号復号化部１０２から可変長符号化処理２の終了を示す動作終了通知信号１０４を受信すると（ステップＳ３１０）、フローを終了する。
ステップＳ３１０で動作終了通知信号１０４を受信していない場合、ステップＳ３０３に戻る。

ステップＳ３０５において、ヘッダ情報処理部１０１が再同期処理実行フラグを参照し、その設定値が“１"である場合、ヘッダ情報処理部１０１は、先ず、可変長符号復号化部１０２から復号化処理済みの符号量の値を取得し、符号量計数値から、当該復号化処理済みの符号量を減算することで、未処理の符号化データ列の符号量を計数する（ステップＳ３０７）。
次に、補償処理を行う対象の符号化データ列１０８の符号化方式がＪＰＥＧである場合、ヘッダ情報処理部１０１は、リスタート・マーカを利用した再同期処理を実行する（ステップＳ３０８）。尚、上記再同期処理の詳細は後述する。

ステップＳ３０８の再同期処理の実行後、ヘッダ情報処理部１０１は、動作開始指示信号１０３により、可変長符号復号化部１０２に対して再び可変長符号復号化処理２の開始を指示する（ステップＳ３０９）。

その後、ヘッダ情報処理部１０１は、符号誤りが再び検出された場合、上述した処理フローを繰り返し実行し、一方、符号誤りが検出されない場合、可変長符号復号化部１０２による全ての符号化データ列１０８に対する可変長符号復号化処理２が終了するのを待ち、この終了を受けると、フローを終了する（ステップＳ３１０）。

＜可変長符号復号化処理２の説明＞
図３のステップＳ３０２、Ｓ３０９で可変長符号復号化処理２の動作開始指示信号１０３を受けた可変長符号復号化部１０２の処理動作を図４のフローチャートを用いて説明する。

先ず、可変長符号復号化部１０２は、ヘッダ情報処理部１０１からの動作開始指示信号１０３を受信すると（ステップＳ４０１）、符号化データ列１０８から連続する複数の可変長符号を順次読み出し、それぞれの可変長符号を、別途設定された可変長符号テーブルを参照しながら対応する直交変換係数に順次変換し、この結果として得られた一連の直交変換係数シーケンスを、直交変換係数シーケンス出力信号１０９として、画像データ再構成部１１０に対して順次出力する（ステップＳ４０２）。
このとき、上記の変換処理に使用された、量子化ステップ値に代表される符号化パラメータは、別途符号化パラメータ出力信号１１１として、ヘッダ情報処理部１０１から画像データ再構成部１１０に対して順次供給されている。

次に、可変長符号復号化部１０２は、符号誤りが検出されない場合（ステップＳ４０３）、符号化データ列１０８に対する可変長符号復号化処理を実行し、当該可変長符号復号化処理を終了すると（ステップＳ４０４）、この終了を通知するための動作終了通知信号１０４をヘッダ情報処理部１０１に対して出力する（ステップＳ４０５）。

一方、ステップＳ４０３で、符号誤りが検出されている場合、符号誤りを検出したことを示す符号誤り検出通知信号１０５をヘッダ情報処理部１０１に対して出力する（ステップＳ４０６）。

＜補償方式決定処理の説明＞
図３のステップＳ３０４の補償方式決定処理を図５のフローチャートを用いて説明する。

先ず、ヘッダ情報処理部１０１は、復号化処理を行う対象の符号化データ列１０８の符号化方式がＪＰＥＧであるか否かを判別する（ステップＳ７０１）。
ステップＳ７０１の判別の結果、対象符号化データ列１０８がＪＰＥＧ符号化されたものである場合、さらに再生方式の判別を行う（ステップＳ７０２）。実行中の再生方式が高速に複数の静止画を機器上の表示器などに表示させるような特殊再生である場合、再同期処理を実行する旨を示す再同期処理実行フラグに"０"を設定し（ステップＳ７０３）、一方特殊再生でない場合は、再同期処理実行フラグに"１"を設定する（ステップＳ７０４）。

一方、ステップＳ７０１において、復号化処理を行う対象の符号化データ列１０８の符号化方式がＪＰＥＧでない場合、さらに符号化方式がＭｏｔｉｏｎ−ＪＰＥＧであるか否かを判別する（ステップＳ７０５）。
ステップＳ７０５の判別の結果、対象符号化データ列１０８がＭｏｔｉｏｎ−ＪＰＥＧ符号化されたものである場合、さらに再生方式の判別を行う（ステップＳ７０６）。実行中の再生方式がスローモーション再生など再構成画像１枚１枚の表示時間が長いような特殊再生である場合、再同期処理を実行する旨を示す再同期処理実行フラグに"１"を設定し（ステップＳ７０７）、一方特殊再生でない場合は、再同期処理実行フラグに"０"を設定する（ステップＳ７０８）。

また、ステップＳ７０５において、復号化処理を行う対象の符号化データ列１０８の符号化方式がＭｏｔｉｏｎ−ＪＰＥＧでもない場合、本実施形態においては符号化方式がＭＰＥＧであることが判明し、さらに再生方式の判別を行う（ステップＳ７０９）。実行中の再生方式がスローモーション再生など再構成画像１枚１枚の表示時間が長いような特殊再生である場合、再同期処理を実行する旨を示す再同期処理実行フラグに"１"を設定し（ステップＳ７１０）、一方特殊再生でない場合は、再同期処理実行フラグに"０"を設定する（ステップＳ７１１）。

＜補償データ排出処理の説明＞
図３のステップＳ３０６の補償データ排出処理を図６のフローチャートを用いて説明する。

先ず、補償処理を行う対象の符号化データ列１０８の符号化方式がＪＰＥＧであるか否かを判別する（ステップＳ５０１）。
ステップＳ５０１の判別の結果、対象符号化データ列１０８がＪＰＥＧ符号化されたものでない場合、補償処理を行う対象の符号化データ列１０８の符号化方式がＭｏｔｉｏｎ−ＪＰＥＧであるか否かを判別する（ステップＳ５０２）。

ステップＳ５０１、Ｓ５０２の判別の結果、対象符号化データ列１０８が、ＪＰＥＧ符号化されたもの、またはＭｏｔｉｏｎ−ＪＰＥＧ符号化されたものである場合、未だ復号化処理を行っていない符号化データ列に対応したＭＣＵ数をＭＣＵ計数値に対して設定する（ステップＳ５０３）。
次に、補償データとして、符号誤りが検出される直前の正常に復号されたＭＣＵが有していた直交変換係数の直流成分を用い、直交変換係数の交流成分がすべて“０”であるＭＣＵを生成する（ステップＳ５０４）。

この１ＭＣＵ分の補償データを、補償データ書き込み信号１０６により可変長符号復号化部１０２に対して出力する（ステップＳ５０５）。
次に、ヘッダ情報処理部１０１は、ＭＣＵ計数値から"１"を減算して、出力すべき残りのＭＣＵ数を計数する（ステップＳ５０６）。

ヘッダ情報処理部１０１は、上記の補償データ排出処理を、ＭＣＵ計数値が"０"となるまで繰り返し実行することで、原画像の水平画素数及び垂直画素数を満たす補償データを可変長符号復号化部１０２に対して出力する（ステップＳ５０７）。
可変長符号復号化部１０２に対して出力された全ての補償データは、一連の直交変換係数シーケンス（直交変換係数シーケンス出力信号１０９）として、画像データ再構成部１１０に対して順次出力される。

一方、ステップＳ５０１およびステップＳ５０２において、補償処理を行う対象の符号化データ列１０８の符号化方式がＪＰＥＧでなく、またＭｏｔｉｏｎ−ＪＰＥＧでもないと判別された場合、本実施形態においては符号化方式がＭＰＥＧであることが判明し、未だ復号化処理を行っていない符号化データ列に対応した１６×１６画素から成るマクロブロックの数をマクロブロック計数値に対して設定する（ステップＳ５０８）。

次に処理中の画像の“ｐｉｃｔｕｒｅ＿ｃｏｄｉｎｇ＿ｔｙｐｅ”が“ｉｎｔｒａ−ｃｏｄｅｄ”である場合（ステップＳ５０９）、補償データとして、符号誤りが検出される直前の正常に復号されたマクロブロックが有していた直交変換係数の直流成分を用い、直交変換係数の交流成分がすべて“０”であるマクロブロックを生成する（ステップＳ５１０）。

また、“ｐｉｃｔｕｒｅ＿ｃｏｄｉｎｇ＿ｔｙｐｅ”が“ｉｎｔｒａ−ｃｏｄｅｄ”でない場合、フレーム間予測符号化された画像であることが判明し、補償データとして、当該マクロブロックと同じ座標位置にある予測に用いた参照マクロブロックをそのまま使用することを意味するヘッダ情報“ＭＣ，Ｎｏｔ−ｃｏｄｅｄ”を生成する（ステップＳ５１１）。

上記ステップＳ５１０またはステップＳ５１１のいずれかの１マクロブロック分の補償データを、補償データ書き込み信号１０６により可変長符号復号化部１０２に対して出力する（ステップＳ５１２）。
次に、ヘッダ情報処理部１０１は、マクロブロック計数値から"１"を減算して、出力すべき残りのマクロブロック数を計数する（ステップＳ５１３）。

ヘッダ情報処理部１０１は、上記の補償データ排出処理を、マクロブロック計数値が"０"となるまで繰り返し実行することで、原画像の水平画素数及び垂直画素数を満たす補償データを可変長符号復号化部１０２に対して出力する（ステップＳ５１４）。
可変長符号復号化部１０２に対して出力された全ての補償データは、一連の直交変換係数シーケンス（直交変換係数シーケンス出力信号１０９）として、画像データ再構成部１１０に対して順次出力される。

＜再同期処理の説明＞
図３のステップＳ３０８の再同期処理を図７，図８のフローチャートを用いて説明する。

先ず、誤り補償処理を行う対象の符号化データ列１０８の符号化方式がＪＰＥＧである場合の再同期処理を図７のフローチャートを用いて説明する。
ヘッダ情報処理部１０１は、符号誤りが検出された時点までに取得済みのリスタート・マーカ数と、符号化データ列１０８中に含まれる総リスタート・マーカ数とを比較し（ステップＳ６０１）、この比較の結果、前者が後者よりも小さくない場合、すなわち既に全てのリスタート・マーカが出現した場合、直ちに補償データ排出処理を実行して（ステップＳ６１１）、再同期処理を終了する。

また、ステップＳ６０１での比較の結果、前者が後者よりも小さい場合、すなわち未だ符号化データ列１０８中にリスタート・マーカの存在を期待できる場合、ヘッダ情報処理部１０１は、符号量計数値が"０"以下であるか否かを判別し、この判別の結果、符号量計数値が"０"以下である場合、直ちに補償データ排出処理を実行して（ステップＳ６１１）、再同期処理を終了する。

ステップＳ６０１及びステップＳ６０２において、符号化データ列１０８中にリスタート・マーカの存在を期待でき、且つ符号量計数値が"０"よりも大きい場合、ヘッダ情報処理部１０１は、次のステップＳ６０３からの処理を実行する。

先ず、ヘッダ情報処理部１０１は、可変長符号復号化部１０２から１バイトの符号化データ（符号化データ出力信号１０７）を取得する（ステップＳ６０３）。
次に、ヘッダ情報処理部１０１は、符号量計数値から"１"を減算し、未処理の符号化データ列の符号量を計数する（ステップＳ６０４）。

ここで、画像の符号化方式として、例えば、ＪＰＥＧ符号化方式を採用している場合、全てのマーカは、１６進数で"０ｘＦＦ"である１バイト・データから始まっている。
そこで、ヘッダ情報処理部１０１は、取得した１バイトの符号化データが"０ｘＦＦ"であるか否かを判別し（ステップＳ６０５）、この判別の結果、"０ｘＦＦ"でない場合、"０ｘＦＦ"である符号化データが出現するまで、可変長符号復号化部１０２からの符号化データの取得を継続して実行する。

ステップＳ６０５において、"０ｘＦＦ"である１バイトの符号化データが出現した場合、ヘッダ情報処理部１０１は、さらに次の１バイトを取得するとともに（ステップＳ６０６）、符号量計数値から“１"を減算し、未処理の符号化データ列の符号量を計数する（ステップＳ６０７）。ステップＳ６０６で得られた値によりリスタート・マーカであるか否かを判別する（ステップＳ６０８）。

例えば、画像の符号化方式としてＪＰＥＧ符号化方式を採用している場合で、バイト境界で可変長符号"０ｘＦＦ"が出現する場合、その直後に"０ｘ００"が挿入されているため、マーカと判別することが可能である。
したがって、ヘッダ情報処理部１０１は、ステップＳ６０６及びステップＳ６０７において、"０ｘＦＦ"の次に取得した１バイトが"０ｘ００"である場合、再び符号化データ列１０８中から"０ｘＦＦ"を検索する動作を繰り返す。

また、ＪＰＥＧ符号化方式の場合、リスタート・マーカは、"０ｘＦＦＤ０"〜"０ｘＦＦＤ７"の８通りの値を順番にとる。"０ｘＦＦＤ７"まで値が進むと、その次は"０ｘＦＦＤ０"から再び順番に値をとる。

仮に、符号誤りが検出される直前に出現したリスタート・マーカが"０ｘＦＦＤ２"であった場合、次に出現するべきであったのは"０ｘＦＦＤ３"である。一度、符号誤りが検出された後は、リスタート・マーカが現れるか否かは、符号化データ列の損傷度合いに依存し予測不可能であるが、何れかのリスタート・マーカでもないマーカが出現した場合、これは符号化データ列が受けた損傷により生成された不正なマーカと考えられる。

そこで、ヘッダ情報処理部１０１は、再び符号化データ列１０８中から"０ｘＦＦ"を検索する動作を繰り返す（ステップＳ６０９）。

上記の"０ｘＦＦ"を検索する動作において、何れかのリスタート・マーカが出現した場合、ヘッダ情報処理部１０１は、直ちに補償データ排出処理を実行する（ステップＳ６１０）。
ヘッダ情報処理部１０１は、補償データ排出処理において、符号誤りが検出される直前に出現したリスタート・マーカの値と、リスタート・マーカ探索中に出現したリスタート・マーカの値との差分から推定される欠損した分の補償データを出力した後、図３のステップＳ３０９の処理に進む。

以上、上記再同期処理について、補償処理を行う対象の符号化データ列１０８の符号化方式がＪＰＥＧである場合を解説したが、符号化方式がＭｏｔｉｏｎ−ＪＰＥＧである場合にも同様の再同期処理が適用される。また、符号化方式がＭＰＥＧである場合には、詳述はしないが、リスタート・マーカの代わりにスライス・ヘッダのスライス・スタート・コード（Slice_Start_Code）を用いてまったく同様の主旨の再同期処理を実行可能である。

以下、誤り補償処理を行う対象の符号化データ列１０８の符号化方式がＭＰＥＧである場合の再同期処理を図８のフローチャートを用いて説明する。
先ず、ヘッダ情報処理部１０１は、符号化データ列中の２バイトを取得し、３バイト長のシフタのＬＳＢ側から挿入する（ステップＳ９０１）。この３バイトのシフタはＬＳＢ側から新しい１バイトのデータが挿入されるとＭＳＢ側から１バイトのデータが破棄される構成となっている。
次に、ヘッダ情報処理部１０１は、符号量計数値から"２"を減算し、未処理の符号化データ列の符号量を計数する（ステップＳ９０２）。

次に、ヘッダ情報処理部１０１は、符号量計数値が"０"より大きいか否かを判別し、この判別の結果、符号量計数値が"０"以下である場合、直ちに復号化対象ピクチャの水平・垂直方向画素分を再構成するすべての補償データ排出処理を実行して（ステップＳ９１１：図７と同様）、再同期処理を終了する。一方、符号量計数値が"０"よりも大きい場合、ヘッダ情報処理部１０１は、次のステップＳ９０４へ進む（ステップＳ９０３）。

先ず、ヘッダ情報処理部１０１は、可変長符号復号化部１０２から１バイトの符号化データ（符号化データ出力信号１０７）を取得し、３バイト長のシフタのＬＳＢ側から挿入する（ステップＳ９０４）。
次に、ヘッダ情報処理部１０１は、符号量計数値から"１"を減算し、未処理の符号化データ列の符号量を計数する（ステップＳ９０５）。

ここで、画像の符号化方式として、ＭＰＥＧ符号化方式を採用している場合、再同期に用いられるスライス・スタート・コードは、１６進数で"０ｘ０００００１"である３バイト・データから始まっている。
そこで、ヘッダ情報処理部１０１は、これまでに３バイト長シフタへ挿入した合計３バイトの符号化データが"０ｘ０００００１"であるか否かを判別し（ステップＳ９０６）、この判別の結果、"０ｘ０００００１"でない場合、"０ｘ０００００１"である符号化データが出現するまで、可変長符号復号化部１０２からの符号化データの取得を継続して実行する。

一方、ステップＳ９０６において、"０ｘ０００００１"である３バイトの符号化データが出現した場合、ヘッダ情報処理部１０１は、さらに次の１バイトを取得するとともに（ステップＳ９０７）、符号量計数値から"１"を減算し、未処理の符号化データ列の符号量を計数する（ステップＳ９０８）。

ステップＳ９０７で取得した１バイトの値によりスライス・スタート・コードであるか否かを判別する（ステップＳ９０９）。スライス・スタート・コードであるためには取得した１バイトの値が“０ｘ０１〜ＡＦ”の間になければならない。仮に、符号誤りが検出される直前に出現したスライス・スタート・コードが"０ｘ０００００２"であった場合、次に出現するべきであったのは"０ｘ０００００３"である。

一度、符号誤りが検出された後にスライス・スタート・コードが現れるか否かは、符号化データ列の損傷度合いに依存し予測不可能であるが、何れかのスライス・スタート・コードでもないスタート・コードが１つのピクチャの復号化処理中に出現した場合、これは符号化データ列が受けた損傷により生成された不正なマーカと考えられる。

そこで、ヘッダ情報処理部１０１は、再び符号化データ列１０８中から"０ｘ０００００１"のパターンを検索する動作を繰り返す（ステップＳ９０９）。

ステップＳ９０９において、何れかのスライス・スタート・コードが検出された場合、ヘッダ情報処理部１０１は、直ちに補償データ排出処理を実行する（ステップＳ９１０：）。
ヘッダ情報処理部１０１は、補償データ排出処理において、符号誤りが検出される直前に出現したスライス・スタート・コードの値と、スライス・スタート・コード探索中に検出したスライス・スタート・コードの値との差分から推定される欠損した分の補償データを出力した後、図３のステップＳ３０９の処理に進む。

上述したように、本実施形態によればＪＰＥＧ符号化方式などによる静止画像の復号化処理においては、より原画像に忠実な再構成画像を得ることが優先されることが多く、通常の復号化処理よりも長い処理時間が必要であっても、上述した再同期処理（図７、図８参照）を含む符号誤り補償処理は、積極的に実施される。

その一方で、Ｍｏｔｉｏｎ−ＪＰＥＧ符号化方式やＭＰＥＧ符号化方式などによる動画像の復号化処理においては、一般に１秒あたり３０枚程度の画像を連続して復号化することが必要となるため、復号化処理に許容される処理時間には制限がある。また、動画像を再生表示する場合、連続する複数画像中の１枚に多少の符号誤りが存在したとしても、ユーザが受ける視覚的な損害は少ない。さらに、連続する複数画像中の１枚が符号誤りを含むために利用できないとしても、時系列上において近傍の画像から容易にその画像を補完することが可能である。

したがって、動画像の復号化処理においては、たとえ符号化データ列内に符号誤りが存在したとしても、その誤り補償処理は通常の復号化処理と同程度の処理時間内に処理を完了することが望まれるために、上述したように再同期処理（図７、図８参照）を実施しない。

また一方で、ＪＰＥＧ符号化方式などによる静止画像の復号化処理においても、実行中の再生方式が高速に複数の静止画を機器上の表示器などに表示させるような特殊再生である場合は、たとえ符号化データ列内に符号誤りが存在したとしても、その誤り補償処理は速やかに完了することが望まれるために、上述したように再同期処理（図７、図８参照）を実施しない。

さらに、Ｍｏｔｉｏｎ−ＪＰＥＧ符号化方式やＭＰＥＧ符号化方式などによる動画像の復号化処理においても、実行中の再生方式がスローモーション再生など再構成画像１枚１枚の表示時間が長いような特殊再生であるには、より原画像に忠実な再構成画像を得ることが優先されるようになり、上述した再同期処理（図７、図８参照）を含む符号誤り補償処理は、積極的に実施される。

本実施の形態のように、静止画像及び動画像をＪＰＥＧ、Ｍｏｔｉｏｎ−ＪＰＥＧ、ＭＰＥＧ等のどの符号化方式で符号化されているのかに応じて、またそれぞれの符号化方式における再生方式に応じて、誤り補償処理を切り替えて実施するように構成することは、ユーザの利便性に配慮した極めて合理的な判断と言える。

尚、本実施の形態おいては、静止画像の符号化方式としてＪＰＥＧ符号化方式を適用するように構成したが、本発明は、その他の任意の符号化方式に対しても同様に適用可能である。
さらに、本実施の形態おいては、動画像の符号化方式としてＭｏｔｉｏｎ−ＪＰＥＧ符号化方式とＭＰＥＧ符号化方式を適用するように構成したが、本発明は、その他の任意の符号化方式に対しても同様に適用可能である。

また、本発明は、複数の機器（例えば、ホストコンピュータ、インターフェース機器、リーダ、プリンタ等）から構成されるシステムにも、一つの機器からなる装置（例えば、複写機、ファクシミリ装置等）にも適用可能である。

また、本発明の目的は、本実施の形態のホスト及び端末の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読みだして実行することによっても、達成されることは言うまでもない。
この場合、記憶媒体から読み出されたプログラムコード自体が本実施の形態の機能を実現することとなり、そのプログラムコードを記憶した記憶媒体及び当該プログラムコードは本発明を構成することとなる。
プログラムコードを供給するための記憶媒体としては、ＲＯＭ、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード等を用いることができる。
また、コンピュータが読みだしたプログラムコードを実行することにより、本実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ等が実際の処理の一部又は全部を行い、その処理によって本実施の形態の機能が実現される場合も含まれることは言うまでもない。
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された拡張機能ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって本実施の形態の機能が実現される場合も含まれることは言うまでもない。

図９は、上記コンピュータの機能８００を示したものである。
コンピュータ機能８００は、図９に示すように、ＣＰＵ８０１と、ＲＯＭ８０２と、ＲＡＭ８０３と、キーボード（ＫＢ）８０９のキーボードコントローラ（ＫＢＣ）８０５と、表示部としてのＣＲＴディスプレイ（ＣＲＴ）８１０のＣＲＴコントローラ（ＣＲＴＣ）８０６と、ハードディスク（ＨＤ）８１１及びフレキシブルディスク（ＦＤ）８１２のディスクコントローラ（ＤＫＣ）８０７と、ネットワーク８２０との接続のためのネットワークインターフェースコントローラ（ＮＩＣ）８０８とが、システムバス８０４を介して互いに通信可能に接続された構成としている。

ＣＰＵ８０１は、ＲＯＭ８０２或いはＨＤ８１１に記憶されたソフトウェア、或いはＦＤ８１２より供給されるソフトウェアを実行することで、システムバス８０４に接続された各構成部を総括的に制御する。
すなわち、ＣＰＵ８０１は、所定の処理シーケンスに従った処理プログラムを、ＲＯＭ８０２、或いはＨＤ８１１、或いはＦＤ８１２から読み出して実行することで、本実施の形態での動作を実現するための制御を行う。

ＲＡＭ８０３は、ＣＰＵ８０１の主メモリ或いはワークエリア等として機能する。
ＫＢＣ８０５は、ＫＢ８０９や図示していないポインティングデバイス等からの指示入力を制御する。
ＣＲＴＣ８０６は、ＣＲＴ８１０の表示を制御する。
ＤＫＣ８０７は、ブートプログラム、種々のアプリケーション、編集ファイル、ユーザファイル、ネットワーク管理プログラム、及び本実施の形態における所定の処理プログラム等を記憶するＨＤ８１１及びＦＤ８１２とのアクセスを制御する。
ＮＩＣ８０８は、ネットワーク８２０上の装置或いはシステムと双方向にデータをやりとりする。

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

本発明を適用した画像処理装置の構成を示すブロック図である。 画像処理装置における復号化処理の流れを説明するためのフローチャートである。 ヘッダ情報処理部における可変長符号復号化処理１を説明するためのフローチャートである。 可変長符号復号化部における可変長符号復号化処理２を説明するためのフローチャートである。 ヘッダ情報処理部における補償方式決定処理を説明するためのフローチャートである。 ヘッダ情報処理部における補償データ排出処理を説明するためのフローチャートである。 ＪＰＥＧ符号化方式の符号化データに対するヘッダ情報処理部による再同期処理を説明するためのフローチャートである。 ＭＰＥＧ符号化方式の符号化データに対するヘッダ情報処理部による再同期処理を説明するためのフローチャートである。 画像処理装置の機能をコンピュータに実現させるためのプログラムをコンピュータ読出可能な記憶媒体から読み出して実行する当該コンピュータの構成を示すブロック図である。

符号の説明

１００ 画像処理装置
１０１ ヘッダ情報処理部
１０２ 可変長符号復号化部
１０３ 動作開始指示信号
１０４ 動作終了通知信号
１０５ 符号誤り検出通知信号
１０６ 補償データ書き込み信号
１０７ 符号化データ出力信号
１０８ 符号化データ列
１０９ 直交変換係数シーケンス出力信号
１１０ 画像データ再構成部
１１１ 符号化パラメータ出力信号
１１２ 再構成画像データ
１１３ 表示部

Claims (8)

1. 画面内で再同期処理のための再同期識別子が付加されている符号化画像データを入力する入力手段と、
   上記符号化画像データの符号誤りを検出する誤り検出手段と、
   上記再同期識別子を検出する再同期検出手段と、
   上記誤り検出手段での検出結果に応じて、上記符号化画像データに対して誤り補償処理を実行する誤り処理手段とを備え、
   上記誤り処理手段は、上記誤り検出手段により符号誤りが検出された以降から同一画面内の期間、符号化画像データを補償する第１の処理モードと、上記誤り検出手段により符号誤りが検出された以降に上記再同期検出手段により再同期識別子が検出されるまでの期間、符号化画像データを補償する第２の処理モードを有し、
   さらに上記誤り処理手段は、上記符号化画像データの属性又は再生する際の再生方式に応じて上記第１の処理モードと第２の処理モードを選択し、
   上記符号化画像データの属性は、上記符号化画像データが静止画像であるか動画像であるかの情報を含み、静止画像の場合には上記第２の処理モードを選択し動画像の場合には上記第１の処理モードを選択し、
   上記再生方式に再生速度の異なる複数の再生方式を有する場合に、上記再生速度の異なる複数の再生方式の再生速度が遅い再生方式の場合には上記第２の処理モードを選択し再生速度が速い再生方式の場合には上記第１の処理モードを選択することを特徴とする画像処理装置。
2. 上記再生方式は、動画像の場合には上記再生速度の遅い再生方式はスローモーション再生であり、上記再生速度の速い再生方式はスローモーション再生より再生速度の速い再生方式であることを特徴とする請求項１記載の画像処理装置。
3. 上記静止画像の符号化方式は、少なくともＪＰＥＧ符号化方式であり、上記動画像の符号化方式は、Ｍｏｔｉｏｎ−ＪＰＥＧ符号化方式またはＭＰＥＧ符号化方式を含むことを特徴とする請求項１又は２記載の画像処理装置。
4. 画面内で再同期処理のための再同期識別子が付加されている符号化画像データを入力する入力ステップと、
   上記符号化画像データの符号誤りを検出する誤り検出ステップと、
   上記再同期識別子を検出する再同期検出ステップと、
   上記誤り検出ステップでの検出結果に応じて、上記符号化画像データに対して誤り補償処理を実行する誤り処理ステップとを有し、
   上記誤り処理ステップは、上記誤り検出ステップにより符号誤りが検出された以降から同一画面内の期間、符号化画像データを補償する第１の処理モードと、上記誤り検出ステップにより符号誤りが検出された以降に上記再同期検出ステップにより再同期識別子が検出されるまでの期間、符号化画像データを補償する第２の処理モードを有し、
   上記誤り処理ステップは、上記符号化画像データの属性又は再生する際の再生方式に応じて上記第１の処理モードと第２の処理モードを選択し、
   上記符号化画像データの属性は、上記符号化画像データが静止画像であるか動画像であるかの情報を含み、静止画像の場合には上記第２の処理モードを選択し動画像の場合には上記第１の処理モードを選択し、
   上記再生方式に再生速度の異なる複数の再生方式を有する場合に、上記再生速度の異なる複数の再生方式の再生速度が遅い再生方式の場合には上記第２の処理モードを選択し再生速度が速い再生方式の場合には上記第１の処理モードを選択することを特徴とする画像処理方法。
5. 請求項４記載の画像処理方法を構成する各ステップをコンピュータに実行させるためのプログラム。
6. 請求項４記載の画像処理方法を構成する各ステップをコンピュータに実行させるためのプログラムを記録したことを特徴とするコンピュータ読み取り可能な記憶媒体。
7. 画面内で再同期処理のための再同期識別子が付加されている符号化画像データを入力する入力手段と、
   上記符号化画像データの符号誤りを検出する誤り検出手段と、
   上記再同期識別子を検出する再同期検出手段と、
   上記誤り検出手段での検出結果に応じて、上記符号化画像データに対して上記再同期検出手段による再同期識別子を用いた再同期を行う再同期手段と、
   上記符号化画像データの属性又は再生する際の再生方式に応じて上記再同期手段による再同期を実施するか実施しないかを制御する制御手段とを有し、
   上記符号化画像データの属性は、少なくとも上記符号化画像データが静止画像であるか動画像であるかの情報を含み、
   上記制御手段は、静止画像の場合には上記再同期手段による再同期を実施し、動画像の場合には上記再同期手段による再同期を実施しないで画像データをそのまま出力するか又は近傍の画像から画像を補完し出力するかを制御し、
   上記再生方式に再生速度の異なる複数の再生方式を有する場合に、
   上記制御手段は、上記再生速度の異なる複数の再生方式の再生速度が遅い再生方式の場合には上記再同期手段による再同期を実施し、再生速度が速い再生方式の場合には上記再同期手段による再同期を実施しないで画像データをそのまま出力するか又は近傍の画像から画像を補完し出力するかを制御することを特徴とする画像処理装置。
8. 画面内で再同期処理のための再同期識別子が付加されている符号化画像データを入力する入力ステップと、
   上記符号化画像データの符号誤りを検出する誤り検出ステップと、
   上記再同期識別子を検出する再同期検出ステップと、
   上記誤り検出ステップでの検出結果に応じて、上記符号化画像データに対して上記再同期検出ステップで検出された再同期識別子を用いた再同期を行う再同期ステップと、
   上記符号化画像データの属性又は再生する際の再生方式に応じて上記再同期ステップによる再同期を実施するか実施しないかを制御する制御ステップとを有し、
   上記符号化画像データの属性は、少なくとも上記符号化画像データが静止画像であるか動画像であるかの情報を含み、
   上記制御ステップは、静止画像の場合には上記再同期ステップによる再同期を実施し、動画像の場合には上記再同期ステップによる再同期を実施しないで画像データをそのまま出力するか又は近傍の画像から画像を補完し出力するかを制御し、
   上記再生方式は、少なくとも再生速度の異なる２つの再生方式を含み、
   上記制御ステップは、上記再生速度の異なる再生方式の再生速度が遅い再生方式の場合には上記再同期ステップによる再同期を実施し、再生速度が速い再生方式の場合には上記再同期ステップによる再同期を実施しないで画像データをそのまま出力するか又は近傍の画像から画像を補完し出力するかを制御することを特徴とする画像処理方法。

Images