JP4471337B2 - 画像処理装置及び方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、各コマもしくはフレームが独立して符号化された動画像符号化データから、通常再生、或いはスロー再生の為の復号を行う画像処理装置及び方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体に関するものである。
【０００２】
【従来の技術】
近年、テレビジョン等の動画像の分野における技術革新はめざましく、動画像の高品位化は進むばかりである。
【０００３】
従来、一般的に利用される動画像の表示形態は、３０フレーム／秒であったが、近年６０フレーム／秒等の高フレームレートの表示形態も存在する。
【０００４】
実際、通常の表示（録画データの通常モードの再生等）においては、３０フレーム／秒でも十分な動画像の品質であり、６０フレーム／秒までは必要無いと考えるユーザーも少なくない。確かに６０フレーム／秒の方が高画質であることは間違いないが、人間の目ではそれら６０フレームは正確には認識しておらず、３０フレーム／秒でも十分な動画として認識してしまうと考えられる。
【０００５】
また、６０フレーム／秒で動画像を録画した場合には、その録画画像（動画像符号化データ）を復号する復号化器（コンピュータであればＣＰＵ）への負担も、３０フレーム／秒の動画像符号化データの復号よりも大きい。
【０００６】
一方、スロー再生においては、一般によく知られる３０フレーム／秒の動画像では不十分であることは明らかである。３０フレーム／秒の動画像をスロー再生すると、まさにコマ送りの様な画像になってしまう。
【０００７】
また、動画像の符号化においては、階層性を持った符号化方式であるMPEG-2,4やMotionJPEG2000が普及し始めており、これに連動して、このような動画像フォーマットに対応した動画像再生装置が多く開発されてきている。
【０００８】
【発明が解決しようとする課題】
しかし、このような階層的動画像データを再生する動画像再生装置の開発は進められているが、各フレームの詳細の把握を可能とするスロー再生機能に対して、該動画像データの階層性を利用した上で、通常再生時の再生画像より高画質に各フレームを表示することを可能とする動画像再生装置は、現時点で存在していない。
【０００９】
本発明は上記従来例に鑑みてなされたものであり、復号（再生）対象となる動画像データが高フレームレートで録画（符号化）されていたとしても、人間の視覚的な認識レベルを十分考慮しつつ、通常再生及びスロー再生のいずれであってもスムースな動画像を再生することを可能ならしめる画像処理装置及び方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体を提供しようとするものである。
【００１０】
また、他の発明は、スロー再生の際に、再生される画質を向上させることを可能ならしめる画像処理装置及び方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体を提供しようとするものである。
【００１１】
【課題を解決するための手段】
かかる課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、
動画像として十分であるフレームレートをＮフレーム／秒と表現したとき、それを越えるＭ（Ｍ＞Ｎ）フレーム／秒で撮影され符号化された第１形式のフレーム群と、Ｎフレーム／秒で撮影され符号化された第２形式のフレーム群とが混在した構造を有し、各フレームが独立して復号可能に圧縮符号化された動画像データを再生する画像処理装置であって、
圧縮符号化されたフレームを復号する復号手段と、
通常再生するか、マニュアルスロー再生するか、オートスロー再生するかを切り替える切り替え手段と、
該切り替え手段により、前記通常再生するように切り替えた場合であって、前記第１形式のフレーム群については連続するＭ個のフレーム中のＭ−Ｎ個のフレームを間引いて、１秒当たりＮフレームを前記復号手段で復号することでＮフレーム／秒で再生し、前記第２形式のフレーム群については１秒当たり、連続するＮフレームを前記復号手段で復号することでＮフレーム／秒で再生する第１の再生手段と、
前記切り替え手段により、前記通常再生に対し１／Ｌ倍（Ｌは１より大きい整数）の速度で再生する前記マニュアルスロー再生するように切り替えた場合であって、前記第１形式のフレーム群については、連続する（Ｍ／Ｎ）×（１／Ｌ）個のフレーム中の１フレームを前記復号手段で復号してＮフレーム／秒で再生し、前記第２形式のフレーム群については間引き無しに、１秒当たり連続するＮ／Ｌ個のフレームを前記復号手段で復号し、１秒当たりＮ／Ｌフレームのフレームレートで再生する第２の再生手段と、
前記切り替え手段により、前記オートスロー再生するように切り替えた場合であって、前記第１形式のフレーム群については、連続する（Ｍ／Ｎ）×（１／Ｌ）個のフレーム中の１フレームを前記復号手段で復号してＮフレーム／秒で再生し、前記第２形式のフレーム群については１秒当たり、連続するＮフレームを前記復号手段で復号することでＮフレーム／秒で再生する第３の再生手段とを備える。
【００１２】
【発明の実施の形態】
以下、添付図面に従って本発明に係る実施形態を説明するが、先ず、基本部分について説明する。
【００１３】
＜動画像符号化データの概略＞
まず、動画像符号化データを作成する過程となる、撮影記録時の処理について、簡単に説明する。
【００１４】
図２は動画像を撮影できるデジタルカメラ２０１の概念図である。詳細は公知であるので省略するが、静止画撮影モード、動画撮影モードのうち後者を選択した後、図示の動画撮影ボタンを半押しすることで３０フレーム（コマ）／秒の動画撮影ができ、全押しすることで例えば６０フレーム（コマ）／秒の動画撮影を可能とする様に設計してある。例えば、撮影対象物の動きの速度／方向が突然変化する様な場合には、通常は半押しで対象物を撮影し、上記変化が起こる前後のみにおいて全押しで対象物を撮影すれば、一連の撮影動作において、３０フレーム／秒と６０フレーム／秒のシーンが混在する動画像を記録することが可能である。
【００１５】
図３は上記デジタルカメラ２０１で撮影された各フレームの画像を符号化、記録処理の概念図を示したものである。上記方法で撮影して得られる画像は画像入力部３０１からフレーム単位に発生する。そしてその各フレーム（画像）は、ＪＰＥＧ２０００符号化部３０２において、１フレーム１フレームが独立して符号化される。なお、このＪＰＥＧ２０００符号化部の符号化方式は、後程説明する。本発明においては、各フレームが独立して符号化されている、換言すれば各フレームが独立して復号できることが重要であり、その条件を満たすかぎりは特に限定しない。従って、ＪＰＥＧ２０００符号化部３０２の代わりにＪＰＥＧ符号化器を用いても構わない。
【００１６】
ここで符号化された各フレームの符号化データは、時系列順に記録部３０３により、記録媒体３０４に記録される。このとき、記録部には、各フレームが３０フレーム／秒で撮影して得られたものなのか６０フレーム／秒で撮影して得られていたものなのかを画像入力部からの制御信号、或いは図２の撮影ボタンからの制御信号等を監視することにより識別し、記録媒体には、そのフレームの符号化データと共に、この識別結果を示す情報も合わせて記録する。これにより、復号化側では、何れのフレームから３０、６０フレーム／秒で撮影記録されたものなのかを知ることができる。なお、識別情報は、各フレームの符号化データのヘッダ領域に挿入されてもよく、その場合、符号化データの互換性を維持する上で、自由にデータを書き込めるヘッダ内のフリースペースを利用することは好適である。
【００１７】
また、記録媒体３０４の中では、各符号化データは連続的に図３のストリーム３０５の様に記録される。
【００１８】
＜JPEG2000符号化方法の概略＞
次に、JPEG2000符号化部３０２のブロック図を図１７に示し、当該処理部の処理のフローチャートを図１８に示し、これらの図を用いて、フレームデータの符号化の処理を説明する。なお、ヘッダの作成方法等、詳細についてはＩＳＯ／ＩＥＣ勧告書を参照されたい。
【００１９】
説明を簡単なものとするため、本実施形態における符号化対象となるフレームデータは、８ビットのモノクロフレームデータとする。ただし、各画素４ビット、１０ビット、１２ビットといった具合に８ビット以外のビット数で表すモノクロ画像、或いは各画素における各色成分（ＲＧＢ／Ｌａｂ／ＹＣｒＣｂ）を８ビット（勿論、８ビットに限らない）で表現するカラーの多値フレームデータである場合に適用することも可能である。また、画像を構成する各画素の状態等を表す多値情報である場合、例えば各画素の色を表す多値のインデックス値である場合にも適用できる。これらに応用する場合には、各種類の多値情報を後述するモノクロフレームデータとすればよい。
【００２０】
まず、撮像された画像のフレームデータは、フレームデータ入力部１７０１へ入力され、そのフレームデータを構成する画素データがラスタースキャン順にタイル分割部１７０２に出力する。
【００２１】
タイル分割部１７０２は、フレームデータ入力部１７０１から入力される１枚（１フレーム）の画像をＮ個のタイルに分割し（ステップＳ１８０１）、各タイルを識別するためにラスタースキャン順にタイルナンバーｉ＝０、１、２、…、Ｎ−１を割り振るものとする。なお、本実施形態では、図１６に示されているように、画像を横８，縦６に分割し、４８個のタイルを作り出すものとする。
【００２２】
ここで、各タイルを表すデータをタイルデータと呼ぶことにする。これら生成されたタイルデータは、順に離散ウェーブレット変換部１７０３に送られる。なお、離散ウェーブレット変換部１７０３以降の処理において、タイルは独立に符号化されるものとする。また、ここで、当該フレームデータ符号化部２０２が処理しているタイルを認識するための不図示のカウンタがｉ＝０に設定される（ステップＳ１８０２）。
【００２３】
離散ウェーブレット変換部１７０３は、タイル分割部１７０２から入力される、１つの静止画像中の１つのタイルデータｘ（ｎ）における複数の画素（参照画素）のデータ（参照画素データ）を用いて離散ウェーブレット変換を行う（ステップＳ１８０３）。
【００２４】
以下に、離散ウェーブレット変換後のフレームデータ（離散ウェーブレット変換係数）を示す。
Y(2n) = X(2n)+floor{ (Y(2n-1)+Y(2n+1)+2)/4 }
Y(2n+1) = X(2n+1)-floor{ (X(2n)+X(2n+2))/2 }
ここで、Y(2n),Y(2n+1)は離散ウェーブレット変換係数列であり、Y(2n)は低周波サブバンド、Y(2n+1)は高周波サブバンドのデータである。また、上式においてfloor{X}はXを超えない最大の整数値を返す関数を示す。この離散ウェーブレット変換を模式的に表わしたのが図６である。
【００２５】
本変換式は一次元のデータに対するものであるが、この変換を水平方向、垂直方向の順に適用して二次元の変換を行うことにより、図７の符号７１の様なＬＬ，ＨＬ，ＬＨ，ＨＨの４つの異なる周波数成分（サブバンド）に分割することができる。ここで、Ｌは低周波サブバンド、Ｈは高周波サブバンドを示している。次にＬＬサブバンドを、同じ様に４つのサブバンドに分け（図７の符号７２）、その中のＬＬサブバンドをまた４サブバンドに分ける（図７の符号７３）。合計１０サブバンドを作る。１０個のサブバンドそれぞれに対して、図７の符号７３の様にＨＨ１，ＨＬ１，…と呼ぶことにする。ここで、各サブバンドの名称における数字を、それぞれのサブバンドのレベルとする。つまり、レベル１のサブバンドは、ＨＬ１，ＨＨ１，ＬＨ１、レベル２のサブバンドは、ＨＬ２，ＨＨ２，ＬＨ２である。なおＬＬサブバンドは、レベル０のサブバンドとする。１つのタイルにおいて、ＬＬサブバンドはひとつしか存在しないので添字を付けない。またレベル０からレベルｎまでのサブバンドを復号することで得られる復号画像を、レベルｎの復号画像と呼ぶ。復号画像は、そのレベルが高い程解像度は高い。
【００２６】
１０個のサブバンドの変換係数は、いったんバッファ１７０４に格納されＬＬ，ＨＬ１，ＬＨ１，ＨＨ１，ＨＬ２，ＬＨ２，ＨＨ２，ＨＬ３，ＬＨ３，ＨＨ３の順に、つまり、レベルが低いサブバンドからレベルが高いサブバンドの順に、係数量子化部１７０５へ出力される。
【００２７】
係数量子化部１７０５では、バッファ１７０４から出力される各サブバンドの変換係数を各周波数成分毎に定めた量子化ステップで量子化し、量子化後の値（係数量子化値）をエントロピー符号化部１７０６へ出力する（ステップＳ１８０４）。係数値をX、この係数の属する周波数成分に対する量子化ステップの値をqとするとき、量子化後の係数値Q(X)は次式によって求めるものとする。
Q(X)=floor{(X/q)+0.5}
本実施形態における各周波数成分と量子化ステップとの対応を図８に示す。同図に示す様に、よりレベルが高いサブバンドの方に、大きい量子化ステップを与えている。なお、各サブバンド毎の量子化ステップは予め不図示のＲＡＭやＲＯＭなどのメモリに格納されているものとする。そして、一つのサブバンドにおける全ての変換係数を量子化した後、それら係数量子化値をエントロピー符号化部１７０６へ出力する。
【００２８】
エントロピー符号化部１７０６では、入力された係数量子化値がエントロピー符号化される（ステップＳ１８０５）。ここでは、まず、図９に示されているように、入力された係数量子化値の集まりである各サブバンドが矩形（コードブロックと呼ぶ）に分割される。なお、このコードブロックの大きさには、２ｍ×２ｎ（ｍ、ｎは２以上の整数）等が設定される。さらにこのコードブロックは、図１０に示されているように、正負の符号のビットプレーン、第１、第２…のビットプレーンに分割される。その上で、図１１に示されているように、あるビットプレーンにおける各ビットは、ある分類規則に基づいて３種類に分けられて、同じ種類のビットを集めたコーディングパスが３種類生成される。入力された係数量子化値は、ここで得られたコーディングパスを単位として、エントロピー符号化である二値算術符号化が行われ、エントロピー符号化値が生成される。
【００２９】
なお、ここでエントロピー符号化の具体的な処理順序は、１つのコードブロックに注目すると上位ビットプレーンから下位ビットプレーンの順に符号化され、その１コードブロックのあるビットプレーンに注目すると、図１１にある３種類のパスを上から順に符号化する様になっている。
【００３０】
エントロピー符号化されたコーディングパスは、タイル符号化データ生成部１７０７に出力される。
【００３１】
タイル符号化データ生成部１７０７では、入力された複数のコーディングパスから、単一もしくは複数のレイヤーが構成されるレイヤーのデータを単位としてタイル符号化データを生成される（ステップＳ１８０６）。以下にレイヤーの構成に関する説明を行う。
【００３２】
タイル符号化データ生成部１７０７は、図１２に示されているように、複数のサブバンドにおける複数のコードブロックから、エントロピー符号化されたコーディングパスを集めた上で、レイヤーを構成する。なお、図１３に示されているように、あるコードブロックからコーディングパスを取得する際、常に該コードブロックにおいて最上位に存在するコーディングパスが選ばれる。その後、タイル符号化データ生成部１７０７は、図１４に示されているように、生成したレイヤーを、上位に位置するレイヤーから順に並べた上で、その先頭にタイルヘッダを付加してタイル符号化データを生成する。このヘッダには、タイルを識別する情報や、当該タイル符号化データの符号長や、圧縮に使用した様々なパラメータ等が格納される。このように生成されたタイル符号化データは、フレーム符号化データ生成部１７０８に出力される。
【００３３】
ここで、符号化すべきタイルデータが残っている場合は、処理をステップＳ１８０３に戻し、符号化すべきタイルデータが残っていない場合は、処理をステップＳ１８０８に進める（ステップＳ１８０７）。
【００３４】
フレーム符号化データ生成部１７０８では、図１５に示されているように、タイル符号化データを所定の順番で並べた上で、先頭にヘッダを付加してフレーム符号化データを生成する（ステップＳ１８０８）。このヘッダには、入力画像やタイルの縦横のサイズ、圧縮に使用した様々なパラメータ，フレーム符号化データの符号長等が格納される。このように生成されたフレーム符号化データは、フレーム符号化データ出力部１７０９から動画像外部に出力される（ステップＳ１８０９）。
【００３５】
以上がJPEG2000によるフレームデータの符号化方法の説明である。
【００３６】
＜復号再生＞
次に、上述の様にして作成されている動画像符号化データを、如何に復号化するかについて説明する。
【００３７】
図１は、本実施形態において使用する復号装置の概略構成図であり、例えばパーソナルコンピュータ等である。図中、１００は、各部の動作を制御する制御部（マイクロプロセッサ）である。この制御部は後述するユーザーインターフェイスからの指示（例えば、通常再生モードとスロー再生の切替、再生開始、再生停止の指示等）も受け取り、これに応じた動作制御を各部に行う。
【００３８】
１０１は読み取り器であり、上述した図３の記録媒体３０４に記録された動画像符号化データを読み出すものである。１０２は読み取り器１０１が読み取った動画像符号化データを一旦蓄積する役割を持つ。その他、この動画像符号化データを復号して得られる復号画像も一旦蓄積する。また、装置内の各部が使用するプログラムデータ等も格納可能であり、各種ワークメモリにも使用される。
【００３９】
１０３は上述したＪＰＥＧ２０００符号化部３０２の復号化側に相当するＪＰＥＧ２０００復号化部である。ここでは、ＪＰＥＧ２０００で符号化され、記録媒体３０４に記録された各フレームの符号化データを、順次復号することになる。このJPEG2000の復号方法については後述する。
【００４０】
１０４は表示用メモリであり、次に表示したい１フレームの画像を記憶させるものである。本実施形態ではメモリ１０２に一旦格納された復号画像を制御部のタイミング制御に基づいて順次（繰り返し同一フレームを読み出す場合も有るが）読み出し、このメモリ１０４に書き込むこととする。なお、そのメモリの容量は、書き込みと読み出しが重ならない様に、複数フレーム分備えることとし、制御部１００がその書き込みと読み出しも管理する。
【００４１】
１０５は表示部であり、パーソナルコンピュータ等が通常備えるディスプレイに相当する。この表示部１０５には、表示部に与えられた表示用フレームレート（本実施形態では１秒当たり６０フレーム／秒）で、メモリ１０４に保持されたフレーム（画像）を表示するものである。特に本実施形態では、この表示部における表示用フレームレートＢは、一般的に知られる３０フレーム／秒よりも高いとしておく。また、この表示用メモリ１０４から画像を読出し、表示部１０５に出力する速度Ｂは固定であるとして説明する。換言すれば、本実施形態での特徴は、この表示用メモリ１０４への書き込み処理にある。
【００４２】
１０６は指示入力部であり、例えばマウス、キーボードである。或いは表示部１０５と一体化したタッチパネルであるとしても良い。ユーザーは、表示部に表示される操作画面を参照しつつ、この指示入力部を介して、再生に関するあらゆる指示を入力できる。
【００４３】
図４は、実施形態における再生アプリケーションを実行した際に表示部に表示される操作画面を示したものである。４００は、上記表示用メモリに格納された画像（動画）を実際に表示する表示領域である。表示部の画面全体ではなく、この領域４００に表示される。
【００４４】
４０１と４０２は、通常の時間軸方向への再生を指示するボタンであり、４０１が通常速度の再生を指示するボタン、４０２がスロー再生（本実施形態では２分の１の体感速度の再生）を指示するボタンである。４０３は停止ボタンである。なお、一時停止ボタンを設けてもよい。
【００４５】
４０４と４０５は、通常の時間軸方向とは逆方向への再生（逆転再生）を指示するボタンであり、４０５が通常速度の逆転再生を指示するボタン、４０４がスロー逆転再生（本実施形態では２分の１の体感速度の再生）を指示するボタンである。なお、本実施形態では、動画像を構成する各フレームは独立して符号化されているので、それら各フレームを逆順で復号化し表示することで、容易に逆転再生は可能である。
【００４６】
次に、実際に動画像符号化データを復号し、表示するまでの、動作の流れを図５Ａ、５Ｂを用いて詳しく説明する。なお、ここでは、再生についての動作制御についてのみ説明する。逆転再生（ボタン４０４と４０５の使用に相当）については、これから説明する２種類の再生（通常再生とスロー再生）における時間軸を全て逆に考えれば良いだけのことであり、ボタン４０１と４０５、４０２と４０４とを入れ替えて考えれば当業者には容易に理解できるので、説明から省略する。
【００４７】
また、動画像符号化データは、図３の符号３０５のような、６０フレーム／秒で撮像したフレーム群と、３０フレーム／秒で撮像したフレームが混在しているものとして説明する。
【００４８】
図５Ａにおいて、先ず、ステップＳ５０１において、再生又は停止の動作ボタン４０１〜４０３がユーザにより押されたか否かを判断する。なお、ここでの“押す”という操作は、図１の指示入力部１０６（マウス等）から、表示されたボタンを指示（クリック）する操作を意味するが、実現手段は如何なるものでも構わない。
【００４９】
ボタン４０１〜４０３のいずれも押下されていないと判断した場合には、ステップＳ５０２において、現在再生中か否かを判断する。否であれば、ステップＳ５０１、Ｓ５０２の処理を繰り返すことになる。
【００５０】
ボタン４０１〜４０３のいずれかが押された時には、次に、何れのボタンが押されたか判断する。なお、この判断の順番は特に限定されない。図５の説明では、次のステップＳ５０３においては、ボタン４０３（停止ボタン）が押されたか否かを判断する。また、ボタン４０３が押されていなければ、ステップＳ５０４でボタン４０１（通常再生モード）が押されたかか否か、すなわち、ボタン４０１が押されたのかを判断する。また、ボタン４０３が押下されていなければ、ステップＳ５０５でボタン４０２（スロー再生モード）が押されたのかを判断する。
【００５１】
ボタン４０１〜４０３以外のボタンが押下されたと判断した場合には、ステップＳ５０６に進んで対応する処理を行う。ボタン４０３が押下された判断した場合には、ステップＳ５０７に進み、全ての復号、再生動作を停止する。
【００５２】
ボタン４０１が押されたと判断した場合には、通常再生が指示されたことを意味する。この場合、処理をステップＳ５０８に進め、現在、再生の為に着目しているフレームのヘッダを調べることで、それが６０ｆｐｓ、３０ｆｐｓのいずれのモードで撮像されたのか否かを判断する。もし６０ｆｐｓで撮像されたフレームであると判断した場合には、ステップＳ５０９に進んで、２フレーム中１フレームを無視、すなわち、連続する２フレームのうち一方を間引きし、３０ｆｐｓの速度で復号処理を行うようＪＰＥＧ２０００復号部１０３に設定する（詳細は後述）。またもし、再生の為に注目しているフレームが３０ｆｐｓとして撮像されたものであると判断した場合には、ステップＳ５１０に進み、入力したフレームを間引きせず、３０ｆｐｓで復号処理するよう設定する。
【００５３】
一方、ボタン４０２が押下されたと判断した場合、すなわち、スロー再生が指示されたと判断した場合には、処理をステップＳ５１１に進める。ここでも、再生の為に注目しているフレームの符号化データのヘッダを調べることで、それが６０ｆｐｓ、３０ｆｐｓのいずれのモードで撮像されたのか否かを判断する。
【００５４】
もし６０ｆｐｓで撮像されたフレームであると判断した場合には、ステップＳ５１２に進み、間引き無しに、３０ｆｐｓの速度で復号するよう設定する（詳細は後述）。また、もし３０ｆｐｓで撮像されたフレームであると判断した場合には、ステップＳ５１３に進んで、各フレームを１５ｆｐｓの速度で復号処理するよう設定する。
【００５５】
さて、ステップＳ５０２において、再生中であると判断した場合、処理はステップＳ５２０（図５Ｂ）に進み、通常速度での再生であるか否かを判断する。
【００５６】
通常速度再生であると判断した場合、処理はステップＳ５２１に進んで、注目フレームが６０ｆｐｓ、３０ｆｐｓのいずれで撮像したものかを判断する。６０ｆｐｓであると判断した場合には、先に説明したステップＳ５０９と同様、連続する２フレーム中１フレームを間引きし、３０ｆｐｓの速度で復号処理を行うよう設定する。注目フレームが３０ｆｐｓで撮像されたものであると判断した場合には、各フレームを３０ｆｐｓで復号処理を行うよう設定する。
【００５７】
また、スロー再生中であると判断した場合には、処理はステップＳ５２４に進んで、注目フレームが６０ｆｐｓ、３０ｆｐｓのいずれで撮像したものかを判断する。６０ｆｐｓであると判断した場合には、先に説明したステップＳ５１２と同様、間引き無しに、３０ｆｐｓの速度で復号処理を行うよう設定する。注目フレームが３０ｆｐｓで撮像されたものであると判断した場合には、各フレームを１５ｆｐｓの速度で再生するよう設定する。
【００５８】
以上の制御は、ユーザからの指示入力に基づいて、制御部１００が行うことになる。
【００５９】
＜JPEG2000復号方法＞
次にJPEG2000復号部１０３における処理の説明を、JPEG2000復号部のブロック図である図１９と図２１のフローチャートを用いながら行う。
【００６０】
フレーム符号化データ入力部１９０１に入力されたフレーム符号化データと再生方法の情報は、復号対象タイル決定部１９０２に出力される。復号対象タイル決定部１９０２は、図２０に示されているように、左上に存在するタイルから右に向かって、さらに上から下に向かって順に復号対象タイルを決定していく。
【００６１】
復号対象タイルが決定された後、当該フレームデータ復号部２０２が処理しているタイルを認識するための不図示のカウンタｉを初期値「０」に設定される（ステップＳ２１０２）。なおこの処理ステップは、ｉ＞０の時にはスキップされる。
【００６２】
次に、復号対象であるタイル符号化データは、エントロピー復号部１９０３に入力されて、エントロピー復号が行われ、量子化値が復元される（ステップＳ２１０３）。そして復元された量子化値は逆量子化部１９０４に出力される。逆量子化部１９０４は入力した量子化値を逆量子化する事により、離散ウェーブレット変換係数を復元して後続の離散ウェーブレット変換部１９０５に出力する（ステップＳ２１０４）。逆量子化は以下の式により行われる。
Ｘｒ＝Ｑ×ｑ
ただし、Ｑは量子化値、ｑは量子化ステップ、Ｘｒは復元された離散ウェーブレット変換係数である。
【００６３】
逆離散ウェーブレット変換部１９０５では、以下に記述されている式に基づいて逆離散ウェーブレット変換が行われる（ステップＳ２１０５）。
X(2n)=Y(2n)-floor{(Y(2n-1)+Y(2n+1)+2)/4}
X(2n+1)=Y(2n+1)+floor{(X(2n)+X(2n+2))/2}
ここで、低周波サブバンドの離散ウェーブレット変換係数をY(2n)、高周波サブバンドの離散ウェーブレット変換係数をY(2n+1)とする。また、ｘ（ｎ）は復号データである。本変換式は一次元のデ−タに対するものであるが、この変換を水平方向、垂直方向の順に適用することで二次元の変換を行う。そして復号タイルデータが生成され、復号フレームデータ出力部１９０６に出力される（ステップＳ２１０６）。
【００６４】
ここで、復号対象タイルが残っている場合は、処理をステップＳ２１０３に戻し、復号対象タイルが残っていない場合は、処理をステップＳ２１０８に進める（ステップＳ２１０７）。
【００６５】
復号フレームデータ出力部１９０６は、復号タイルデータをｉ＝０、１、２、…、Ｍ−１の順番で並べた上で復号フレームデータを生成し、復号フレーム出力部２００４に出力する（ステップＳ２１０８）。
【００６６】
＜通常再生モード＞
次に通常再生モードの実行方法について詳細に説明する。６０フレーム／秒等の高いフレームレートで撮影、記録されている動画像の符号化において、この通常再生モードでは、６０フレームの全てをＪＰＥＧ復号部１０３で復号させずに、その一部となる１秒当たり３０フレームの符号化データのみを復号する。より詳しくは、フレームをｆ１、ｆ２、ｆ３…と定義したとき、ｆ１、ｆ３、ｆ５…（あるいは、ｆ２、ｆ４、ｆ６…でも良い）と、２フレーム中１フレームを復号処理する。
【００６７】
まず、図１における読み取り器１０１から読み取られ、一旦メモリ１０２に格納されているはずの動画像符号化データ（６０フレーム／秒で撮影記録されたもの）から、２フレーム中１フレームを読出し、３０フレーム／秒の符号化データを時系列に順次ＪＰＥＧ復号部１０３へ転送し、復号化する。ここで得られる復号画像は、順次メモリ１０２の別領域に戻される。
【００６８】
そして３０フレーム／秒のタイミングで、この復号画像は表示用メモリへ書き込まれる。
【００６９】
なお、先に説明したように、表示部１０５は６０フレーム／秒の表示を行っている（６０フレーム／秒に限らず、いかなる速度でもよい）。即ち、表示用メモリからは６０フレーム／秒で表示用画像の読み出しを行っている。従って、復号画像の各フレームは表示用メモリから各２回読み出されていることになる。
【００７０】
この場合、図４の表示部４００に表示される動画像は、人間の視覚認識に十分な３０フレーム／秒の画質で動画像を表示できる。
【００７１】
この様にすれば、６０フレーム／秒の動画像符号化データを単に復号化する場合と比較して、復号器の負荷は掛からず、かつ人間の視覚的には劣化が目立ちにくい程度の復号画像を再生することができる。
【００７２】
＜スロー再生モード＞
次にスロー再生モード（２分の１倍速）の実行方法について詳細に説明する。６０フレーム／秒等の高いフレームレートで撮影、記録されている動画像の符号化において、このスロー再生モードでは、６０フレームの全てをＪＰＥＧ復号部１０３で復号させる。
【００７３】
まず、図１における読み取り器１０１から読み取られ、一旦メモリ１０２に格納されているはずの動画像符号化データ（６０フレーム／秒で撮影記録されたもの）から、６０フレーム／秒（全て）の符号化データを時系列（間引き処理無し）に、かつ通常再生モードの時と同じフレーム数／秒、すなわち、３０フレーム／秒の転送速度で、順次ＪＰＥＧ復号部１０３へ転送し、復号化する。ここで得られる復号画像は、順次メモリ１０２の別領域に戻される。従って、復号画像の発生のタイミングに着目すると、通常画像の時のそれと同じになる。
【００７４】
よって、ここで得られる復号画像も、通常再生モードと同様、３０フレーム／秒のタイミングで、表示用メモリへ書き込まれる。すなわち、復号する際の処理に要する負荷は、通常再生時と同等のものとなる。
【００７５】
先と同様、表示部１０５は６０フレーム／秒の表示を行っており、表示用メモリからは６０フレーム／秒で表示用画像の読み出しを行っている。
【００７６】
このスロー再生の場合にも、復号画像の各フレームは表示用メモリから各２回読み出されていることになる。
【００７７】
この場合、図４の表示部４００に表示される動画像は、スロー再生モードでの再生にもかかわらず、人間の視覚認識に十分な３０フレーム／秒の動きの滑らかな画質で動画像を表示できる。
【００７８】
以上説明したように本実施形態によれば、通常速、スローのいずれの再生中であっても、違和感のない再生が可能になる。
【００７９】
なお、以上説明した本実施形態では、再生対象の動画像が、通常の動画像であるフレームレート（３０フレーム／秒）の２倍のフレームレート（６０フレーム／秒）であり、通常再生（等倍速再生）時には、１／２に間引き（連続する２フレーム中１フレームの間引き）して３０フレーム／秒で再生した。また、スロー再生時には、間引き無し（０フレーム間引き）を行ない、２秒かけて６０フレームを再生するモード、すなわち、通常再生と同じ３０フレーム／秒で再生した。しかしながら、これらの数値でもって本願発明が限定されるものではない。要するに、通常の動画像の再生フレームレートを越えるフレームレートであって、各フレームが独立して復号できる圧縮符号化された動画像が与えられたとき、通常再生及びスロー再生のいずれであっても、「コマ（フレーム）送り」として知覚できない程度の、通常のフレームレートと実質的に等しいか、近いフレームレートで再生することにある。
【００８０】
例えば、９０フレーム／秒の動画像データが与えられた場合、９０／３０＝３となり、連続する３フレーム中１フレームを利用して（連続する３フレーム中２フレーム間引いて）３０フレーム／秒で再生すれば良いであろう。また、１／２速度でスロー再生する場合には、９０÷３０÷２＝１．５となり、１．５フレーム中の１フレーム（連続する３フレーム中２フレーム）を利用して３０フレーム／秒で再生する（３フレーム中１フレームの間引き処理）。１／３速度でスロー再生する場合には、９０÷３０÷３＝１で、１フレーム中１フレーム（すなわち、間引きフレーム数が０）で３０フレーム／秒で再生すれば良い。いずれの場合にも、プロセッサ側から見た場合、復号処理に係る負荷は実質的に同じである。また、ここでは割り切れる場合を示したが、オリジナルの動画像のフレームレートによっては割り切れない場合もあるであろう。この場合でも、３０フレーム／秒に近いフレームレートで再生することが望ましい。
【００８１】
なお、ここでは、再生する際のフレームレートとして、３０フレーム／秒として説明したが、例えば２５フレーム／秒でも十分な動画像として認識できる、若しくは許容できるというユーザや、場合によっては例えば３５フレーム／秒等、高いフレームレートを要求するユーザに応えるため、この再生フレームレートを３０フレーム／秒を基準にして増減できるようにしても良い。この場合、それぞれの要求されたフレームレートに応えるための間引き率を算出した上で、再生処理を行う。再生レートは、例えば再生するためのウインドウ上のいずれかに、再生フレームレートを入力する欄を設け、それで設定する等が考えられる。
【００８２】
［第２の実施形態］
上記実施形態では、オリジナルの動画像が、通常の動画像のフレームレートを越える場合における、通常再生、及びスロー再生を、フレーム送り状態として知覚できない程度にするため、通常の動画像のフレームレートで再生するものであった。
【００８３】
本第２の実施形態では、スロー再生におけるフレームの画質を向上させる例を説明する。
【００８４】
ＪＰＥＧ２０００では、ウェーブレット変換による階層符号化であるため、得られたフレーム符号化データの一部（低周波成分のサブブロックから任意の高周波成分のサブブロックまで）を復号することでも、意味のある画像を再現することが可能である。そこで本第２の実施形態では、このJPEG2000のフレーム符号化データの性質を利用して、図２２に示されているように、１フレームにおいて、通常再生では画像処理装置がリアルタイムに再生できる符号量を復号し、スロー再生ではその符号量より多くの符号を復号する。これにより、通常再生画像に対するスロー再生画像の高品位化を達成する。図２２において、例えば、「通常再生で使用する符号列」とは、図７の３階層のサブバンドのうち、ＬＬ、ＨＬ１、ＬＨ１、ＨＨ１、ＨＬ２、ＬＨ２、ＨＨ２であり、スロー再生する使用する符号列とはこれにＨＬ３、ＬＨ３、ＨＨ３を更に加えたものと言えば分かりやすいであろう。
【００８５】
＜動画像符号化データの生成方法＞
本実施形態においては、第１の実施形態と同様に、６０フレーム／秒での表示が可能となるように、動画像符号化データを生成するものとする。
【００８６】
＜動画像符号化データの復号方法＞
本実施形態における復号装置の構成は、第１の実施形態における復号装置の構成とほぼ同じである。そこで、本実施形態における復号装置のブロック図と表示部は、図１〜４を代用する。ただ、処理フローについては、新たに図２３で示す。処理手順は、図５とほぼ同様である。
【００８７】
＜通常再生モード（図２３のステップＳ２３０５）＞
本実施形態における復号装置は、通常再生時に６０フレーム／秒で復号することが可能であり、このフレームレートで表示するものとする。
【００８８】
また、各フレーム符号化データの復号方法を以下に記す。
【００８９】
図２４は本発明におけるJPEG2000復号部１０３のブロック図である。同図は、第１の実施形態のブロック図におけるフレーム符号化データ入力部１９０１をフレーム符号化データ入力部２４０１に置き換えたものである。
【００９０】
フレーム符号化データ入力部２４０１にフレーム符号化データが入力されると、図２５に示されているように、不図示の制御部１００から６０フレーム／秒で復号可能な符号が分離され、エントロピー復号部１９０３に入力される。
【００９１】
エントロピー復号部１９０３以降の処理は、第１の実施形態と同様であるので省略する。なお、ここで言う復号可能な符号のサイズであるが、再生する装置の処理能力に応じて適宜変更しても良い。
【００９２】
＜スロー再生モード（図２３のステップＳ２３０６）＞
このスロー再生モードは、全てのフレームを３０フレーム／秒で復号し、３０フレーム／秒で再生するものである。これを実現するための復号方法を以下に示す。
【００９３】
フレーム符号化データ入力部２４０１にフレーム符号化データが入力されると、図２６に示されているように、不図示の制御部１００から３０フレーム／秒で復号可能な符号が分離され、エントロピー復号部２１０３に入力される。
【００９４】
エントロピー復号部２１０３以降の処理は、第１の実施形態と同様であるので、割愛する。
【００９５】
上記処理が実現できる理由は、通常再生では６０フレーム／秒の高いフレームレートで再生するのに対し、スロー再生では３０フレーム／秒として再生するので、単純計算で、制御部もしくは復号にかかる処理の負荷が１／２にできる。そして、その負荷軽減される分だけ、復号する際に、高い周波数成分のサブブロック（サブバンド）まで復号対象とすることができる。
【００９６】
以上説明したように、１フレームにおいて、通常再生（６０フレーム／秒）では画像処理装置がリアルタイムに再生できる符号量を復号することができ、スロー再生（３０フレーム／秒）ではフレーム辺りの符号量をより多くの復号することができる。また、スロー再生においても、再生のフレームレートは十分大きい。これにより、通常再生画像に対するスロー再生画像の高品位化を達成する。
【００９７】
［第３の実施形態］
上記の第１の実施形態では滑らかな動画像を再生するスロー再生方法を示し、第２の実施形態では各フレームを精細に再生するスロー再生方法を示した。本第３の実施形態では、これら２つの実施形態における方法を併せることにより、より高品位なスロー再生画像を表示することを可能とする。
【００９８】
＜動画像符号化データの生成方法＞
本第３の実施形態においても、第１の実施形態と同様に、６０フレーム／秒での表示が可能となるように、動画像符号化データを生成するものとする。
【００９９】
＜動画像符号化データの復号方法＞
本第３の実施形態における復号装置の構成は、第１の実施形態における復号装置の構成とほぼ同じである。そこで、本実施形態における復号装置のブロック図と表示部は、図１〜４で代用する。ただ、処理フローについては、新たに図２７で示す。
【０１００】
＜通常再生モード（図２７のステップＳ２７０５）＞
本第３の実施形態における復号装置は、通常再生時に３０フレーム／秒で復号することが可能であり、このフレームレートにより１フレーム飛ばし（連続する２フレーム中１フレームの間引き）で復号再生するものとする。以下に、各フレーム符号化データの復号方法を以下に記す。
【０１０１】
図２８は本発明におけるJPEG2000復号部１０３のブロック図である。同図は、第１の実施形態のブロック図におけるフレーム符号化データ入力部１９０１をフレーム符号化データ入力部２８０１に置き換えたものである。
【０１０２】
フレーム符号化データ入力部２８０１にフレーム符号化データが入力されると、図２５に示されているように、不図示の制御部１００から３０フレーム／秒で復号可能な符号が分離され、エントロピー復号部１９０３に入力される。エントロピー復号部１９０３３以降の処理は、第１の実施形態と同様であるので、その説明は省略する。
【０１０３】
＜スロー再生モード（図２７のステップＳ２７０６）＞
各フレームを１５フレーム／秒で復号再生するものとし、全フレームがこのスピードで復号再生される。これを実現するための復号方法を以下に記す。
【０１０４】
フレーム符号化データ入力部２４０１にフレーム符号化データが入力されると、図２６に示されているように、不図示の制御部１００から１５フレーム／秒で復号可能な符号が分離され（高周波成分のサブブロックまで復号対象とする）、エントロピー復号部２１０３に入力される。
【０１０５】
エントロピー復号部２１０３以降の処理は、第１の実施形態と同様であるので、その説明は省略する。
【０１０６】
以上説明したように、第３の実施形態，第２の実施形態を併せて利用することで、さらに、スロー再生画像の高品位化を達成できた。
【０１０７】
［第４の実施形態］
ゴルフのスイングを研究していて、他人のスィングに興味ある人は、高フレームレートでその人のスィングを撮像するであろう。そして、この撮像者は、高フレームレートのフレーム群をゆっくりと再生しながら、何回もスイングを鑑賞するかもしれない。
【０１０８】
このような撮像者にとって、上記各実施形態で示したように手動で通常再生とスロー再生とを切り換えるのではなく、通常再生中や早送り中に、高フレームレートのフレーム群を自動的にスロー再生することを望むかもしれない。
【０１０９】
そこで、本実施形態における動画像再生装置は、手動スロー再生モードと自動スロー再生モードを持ち、前者のモードが選ばれた場合、スロー再生の指示を受け付けた時に高品位なスロー再生を行う。一方、後者のモードが選択された場合、スロー再生の指示を受け付けなくても、自動的に、高フレームレートのフレームは高品位なスロー再生を実施する。以下に、具体的説明をする。
【０１１０】
＜動画像符号化データの生成方法＞
本実施形態においては、第１の実施形態と同様に、６０フレーム／秒での表示が可能となるように、動画像符号化データを生成するものとする。
【０１１１】
＜復号再生＞
本実施の形態で使用する復号装置は、第１の実施の形態の復号装置とほぼ同様である。
【０１１２】
図２９は、本実施の形態における再生操作画面であり、第１の実施の形態における再生画面と多少異なる。この再生操作画面は、手動スロー再生モードと自動スロー再生モードを切り換えるためのスイッチ（ラジオボタン）４０６を新たに備えており、ユーザはこのスイッチを入れ替えることで、スロー再生モードを変更することが可能である。
【０１１３】
次に、実際に動画像符号化データを復号し、表示するまでの、動作の流れを図３０を用いて詳しく説明する。なお、ここでは、説明を簡単なものとするため、通常再生についてのみ説明することとする。逆転再生（ボタン４０４と４０５の使用に相当）については、これから説明する２種類の再生（通常再生とスロー再生）における時間軸を全て逆に考えれば良いだけのことであり、ボタン４０１と４０５、４０２と４０４とを入れ替えて考えれば当業者には容易に理解できるので、詳細な説明を省略する。
【０１１４】
図３０において、まず、ステップＳ３００１において、再生又は停止の動作ボタン４０１〜４０３がユーザにより押されたか否かを判断する。なお、ここでの“押す”という操作は、図１の指示入力部１０６（マウス等）から、表示されたボタンを指示（クリック）する操作を意味するが、実現手段は如何なるものでも構わない。
【０１１５】
ボタン４０１〜４０３のいずれかが押された時には、次に、何れのボタンが押されたか判断する。なお、この判断の順番は特に限定されない。図３０の説明では、次のステップＳ３００２においては、ボタン４０３（停止ボタン）が押されたか否かを判断し、押されていた場合には、ステップＳ３００３に進み、全ての復号、再生動作を停止する。
【０１１６】
ボタン４０３が押されていなければ、ステップＳ３００４で、スイッチ４０６で選択されているスロー再生モードを判断する。もし、スイッチ４０６で手動スロー再生モードが選択されていれば、ステップＳ３００５において、ボタン４０１（通常再生モード）が押されたかか否か、すなわち、ボタン４０１が押されたのか、もしくは、ボタン４０２（スロー再生モード）が押されたのかを判断する。
【０１１７】
ボタン４０１が押されていたら、ステップＳ３００６において、３０ｆｐｓでフレームを復号（通常再生）し、ボタン４０１が押されていなかったら、ステップＳ３００５において、スロー再生を実行する。このスロー再生は、３０ｆｐｓのフレーム群に対して間引き無しに１５ｆｐｓで復号を行い、６０ｆｐｓのフレーム群に対して、間引き無しに３０ｆｐｓの速度で復号を行う。
【０１１８】
もし、ステップＳ３００４において自動スロー再生モードが選択されていれば、ステップＳ３００８において、ボタン４０１の押し下げが判断される。ここで、押し下げられていないと判断されれば、ステップＳ３００９において、６０ｆｐｓのフレーム群に対して、間引き無しの３０ｆｐｓの速度で自動的に復号することによりスロー再生処理を行ない、３０ｆｐｓのフレーム群はそのまま間引き無しの３０ｆｐｓの速度で自動的に復号することにより通常再生を行う。
【０１１９】
一方、ステップＳ３００８において、ボタンが押し下げられていると判断されれば、ステップＳ３０１０において、スロー再生を実行する。このスロー再生は、３０ｆｐｓのフレーム群に対しては、間引き無しに１５ｆｐｓでフレームを復号し、６０ｆｐｓのフレーム群に対しては間引き無しに３０ｆｐｓでフレームを復号する。
【０１２０】
＜ＪＰＥＧ２０００復号方法＞
第１の実施の形態と同様であるので、ここでの説明は省略する。
【０１２１】
＜通常再生（ステップ３００６）＞
第１の実施の形態と同様であるので、ここでの説明は省略する。
【０１２２】
＜スロー再生モード（ステップ３００７，３０１０）＞
第１の実施の形態と同様であるので、ここでの説明は省略する。
【０１２３】
＜自動スロー再生（ステップ３００９）＞
自動スロー再生モード（２分の１倍速）の実行方法について詳細に説明する。
【０１２４】
６０フレーム／秒（以下、単位をｆｐｓと記す）、３０ｆｐｓの２つのフレームレートが混在している動画像の符号化データにおいて、この自動スロー再生モードでは、３０ｆｐｓの表示フレームレートで表示させる。
【０１２５】
まず、図１における読み取り器１０１から読み取られ、一旦メモリ１０２に格納されているはずの動画像符号化データ（混在レートで撮影記録されたもの）から、（全て）の符号化データを時系列に、３０フレーム／秒の転送速度で、順次ＪＰＥＧ復号部１０３へ転送し、復号化する。
【０１２６】
また、ここで得られる復号画像は、３０フレーム／秒のタイミングで、表示用メモリへ書き込まれる。
【０１２７】
先と同様、表示部１０５は６０フレーム／秒の表示を行っている。
【０１２８】
この場合、図４の表示部４００に表示される動画像は、撮像者が興味を持っているシーンが滑らかであり、スローである。また、この作業は、自動的に行われる。
【０１２９】
以上説明した通り、本第４の実施形態における動画像再生装置は、手動スロー再生モードと自動スロー再生モードを持ち、前者のモードが選ばれた場合、スロー再生の指示を受け付けた時に高品位なスロー再生を行う。一方、後者のモードが選択された場合、スロー再生の指示を受け付けなくても、高フレームレートのフレームは高品位なスロー再生を実施する。
【０１３０】
［第５の実施形態］
上記第４の実施形態では、動画像符号化データは、高フレームレート群と低フレームレート群のフレーム符号化データから構成されていて、そのような動画像符号化データを２つの復号方式で復号再生する方法を示した。
【０１３１】
本第５の実施形態では、動画像符号化データは、高精細フレーム群と低精細フレームレート群のフレーム符号化データから構成されていて、その動画像符号化データを２つの復号方式で復号再生する方法を示す。
【０１３２】
＜動画像符号化データの概略＞
図２は動画像を撮影できるデジタルカメラ２０１の概念図である。静止画撮影モード、動画撮影モードのうち後者を選択した後、図示の動画撮影ボタンを半押しすることで低精細の動画撮影ができ、全押しすることで例えば高精細（本実施形態ではロスレス）の動画撮影を可能とする様に設計したものとする。例えば、撮影対象物の動きの速度／方向が突然変化する様な場合には、通常は半押しで対象物を撮影し、上記変化が起こる前後のみにおいて全押しで対象物を撮影すれば、一連の撮影動作において、低精細と高精細のシーンが混在する動画像を記録することが可能である。
【０１３３】
図３１は上記デジタルカメラ２０１で撮影された各フレームの画像を符号化、記録する概念図を示したものである。同図において、符号３０６は符号化された動画像ストリームを示している。
【０１３４】
符号化方法は、高精細フレームに対して、ロスレスで符号化すること以外、第１の実施の形態と同様であり、また、記録方法も第１の実施の形態と同様である。なお、フレームレートは、高精細フレームでも低精細フレームで３０ｆｐｓであるとする。
【０１３５】
＜JPEG2000符号化方法の概略＞
本第５の実施形態におけるJPEG2000符号化方法は、高精細フレームに対しては、量子化ステップに１を割り当てる以外、第１の実施の形態と同様であるので、ここでは詳細なる説明を割愛する。
【０１３６】
＜復号再生＞
本実施の形態で使用する復号装置は、第４の実施形態の復号装置とほぼ同様である。
【０１３７】
本実施の形態における再生操作画面は、図２９に示されている、第４の実施の形態における再生画面と同様で、ユーザがスイッチ４０６を入れ替えることで、スロー再生モードを変更することが可能である。
【０１３８】
次に、実際に動画像符号化データを復号し、表示するまでの、動作の流れを図３２を用いて詳しく説明する。なお、ここでは、再生についての動作制御についてのみ説明する。逆転再生（ボタン４０４と４０５の使用に相当）については、これから説明する２種類の再生（通常再生とスロー再生）における時間軸を全て逆に考えれば良いだけのことであり、ボタン４０１と４０５、４０２と４０４とを入れ替えて考えれば当業者には容易に理解できるので、説明から省略する。
【０１３９】
図３２において、まず、ステップＳ３００１において、再生又は停止の動作ボタン４０１〜４０３がユーザにより押されたか否かを判断する。なお、ここでの"押す"という操作は、図１の指示入力部１０６（マウス等）から、表示されたボタンを指示（クリック）する操作を意味するが、実現手段は如何なるものでも構わない。
【０１４０】
ボタン４０１〜４０３のいずれかが押された時には、次に、何れのボタンが押されたか判断する。なお、この判断の順番は特に限定されない。図３２の説明では、次のステップＳ３００２においては、ボタン４０３（停止ボタン）が押されたか否かを判断し、押されていた場合には、ステップＳ３００３に進み、全ての復号、再生動作を停止する。
【０１４１】
ボタン４０３が押されていなければ、ステップＳ３００４で、選択されているスロー再生モードを判断する。もし、手動スロー再生モードが選択されていれば、ステップＳ３００５において、ボタン４０１（通常再生モード）が押されたかか否か、すなわち、ボタン４０１が押されたのか、もしくは、ボタン４０２（スロー再生モード）が押されたのかを判断する。
【０１４２】
ボタン４０１が押されていたら、ステップ３００６において通常再生する。この通常再生とは、低精細フレーム群に対しては、各フレームの全データを復号し、高精細フレーム群に対しては、低精細フレーム群と同解像度，同程度の画質を再現するデータを復号することである。
【０１４３】
ボタン４０１が押されていなかったら、ステップ３００５において、スロー再生を実行する。このスロー再生は、低精細フレーム群に対して、１５ｆｐｓでフレームを復号・表示し、高精細フレーム群に対しては、ロスレスでフレームを復号し、３０ｆｐｓで表示する。
【０１４４】
もし、ステップ３００４において自動スロー再生モードが選択されていれば、ステップ３００８において、ボタン４０１の押し下げが判断される。ここで、押し下げられていないと判断されれば、ステップＳ３００９において、高精細フレーム群に対しては、自動的にスロー再生を実施する通常再生を行う。一方、ステップ３００８において、ボタンが押し下げられていると判断されれば、ステップ３０１０において、スロー再生を実行する。このスロー再生は、低精細フレーム群に対して、１５ｆｐｓでフレームを復号・表示し、高精細フレーム群に対しては、ロスレスでフレームを復号し、３０ｆｐｓで表示する。
【０１４５】
＜ＪＰＥＧ２０００復号方法＞
第１の実施の形態と同様である。
【０１４６】
＜通常再生（ステップ３００６）＞
第１の実施の形態と同様である。
【０１４７】
＜スロー再生モード（ステップ３００７，３０１０）＞
第１の実施の形態と同様である。
【０１４８】
＜自動スロー再生（ステップ３００９）＞
自動スロー再生モード（２分の１倍速）の実行方法について詳細に説明する。この自動スロー再生モードでは、高精細フレーム，低精細フレームのいずれに対しても、全データを復号・表示させる。こうすることで、ユーザーは、何も指示を出さずに、高精細フレームをスロー再生で閲覧することが可能となる。
【０１４９】
まず、図１における読み取り器１０１から読み取られ、一旦メモリ１０２に格納されているはずの動画像符号化データ（混在レートで撮影記録されたもの）から、（全て）の符号化データを時系列に、３０フレーム／秒の転送速度で、順次ＪＰＥＧ復号部１０３へ転送し、復号化する。
【０１５０】
また、ここで得られる復号画像は、３０フレーム／秒のタイミングで、表示用メモリへ書き込まれる。先と同様、表示部１０５は６０フレーム／秒の表示を行っている。
【０１５１】
この場合、図４の表示部４００に表示される動画像は、撮像者が興味を持っているシーンが高精細であり、スローである。また、この作業は、自動的に行われる。
【０１５２】
以上説明した通り、本第５の実施形態における動画像再生装置は、手動スロー再生モードと自動スロー再生モードを持ち、前者のモードが選ばれた場合、スロー再生の指示を受け付けた時に高品位なスロー再生を行う。一方、後者のモードが選択された場合、スロー再生の指示を受け付けなくても、高フレームレートのフレームは高精細なスロー再生を実施する。
【０１５３】
［第６の実施形態］
第４の実施形態では、動画像符号化データは、高フレームレート群と低フレームレート群のフレーム符号化データから構成されていて、そのような動画像符号化データを２つの復号方式で復号再生する方法を示した。
【０１５４】
また、第５の実施形態では、動画像符号化データは、高精細フレーム群と低精細フレームレート群のフレーム符号化データから構成されていて、その動画像符号化データを２つの復号方式で復号再生する方法を示した。
【０１５５】
本第６の実施形態では、動画像符号化データは、高フレームレートで高精細な高品位フレーム群と、低フレームレートで低精細な低品位フレーム群のフレーム符号化データから構成されていて、そのような動画像符号化データを２つの復号方式で復号再生する方法を示す。
【０１５６】
＜動画像符号化データの概略＞
図３３は上記デジタルカメラ２０１で撮影された各フレームの画像を符号化、記録する概念図を示したものである。図示において、３０７が符号化された動画像ストリームを示している。
【０１５７】
符号化方法は、高品位フレームに対して、ロスレスでかつ６０ｆｐｓで符号化し、低品位フレームに対して、ロッシーでかつ３０ｆｐｓで符号化する。なお、記録方法は第１の実施の形態と同様である。
【０１５８】
＜JPEG2000符号化方法の概略＞
本実施の形態におけるJPEG2000符号化方法は、高精細フレームに対しては、量子化ステップに１を割り当てる以外、第１の実施の形態と同様であるので、ここでは詳細なる説明を割愛する。
【０１５９】
＜復号再生＞
本実施の形態で使用する復号装置は、第５の実施の形態の復号装置とほぼ同様である。
【０１６０】
本実施の形態における再生操作画面は、図２９に示されている、第５の実施の形態における再生画面と同様で、ユーザがスイッチ４０６を入れ替えることで、スロー再生モードを変更することが可能である。
【０１６１】
次に、実際に動画像符号化データを復号し、表示するまでの、動作の流れを図３４を用いて詳しく説明する。なお、ここでは、再生についての動作制御についてのみ説明する。逆転再生（ボタン４０４と４０５の使用に相当）については、これから説明する２種類の再生（通常再生とスロー再生）における時間軸を全て逆に考えれば良いだけのことであり、ボタン４０１と４０５、４０２と４０４とを入れ替えて考えれば当業者には容易に理解できるので、説明から省略する。
【０１６２】
図３４において、まず、ステップＳ３００１において、再生又は停止の動作ボタン４０１〜４０３がユーザにより押されたか否かを判断する。なお、ここでの"押す"という操作は、図１の指示入力部１０６（マウス等）から、表示されたボタンを指示（クリック）する操作を意味するが、実現手段は如何なるものでも構わない。
【０１６３】
ボタン４０１〜４０３のいずれかが押された時には、次に、何れのボタンが押されたか判断する。なお、この判断の順番は特に限定されない。図３４の説明では、次のステップＳ３００２においては、ボタン４０３（停止ボタン）が押されたか否かを判断し、押されていた場合には、ステップＳ３００３に進み、全ての復号、再生動作を停止する。
【０１６４】
ボタン４０３が押されていなければ、ステップＳ３００４で、選択されているスロー再生モードを判断する。もし、手動スロー再生モードが選択されていれば、ステップＳ３００５において、ボタン４０１（通常再生モード）が押されたかか否か、すなわち、ボタン４０１が押されたのか、もしくは、ボタン４０２（スロー再生モード）が押されたのかを判断する。
【０１６５】
ボタン４０１が押されていたら、ステップ３００６において通常再生する。この通常再生とは、低品位フレーム群に対しては、各フレームの全データを復号し、高品位フレーム群に対しては、低品位フレーム群と同解像度，同程度の画質を再現するデータを、３０ｆｐｓで復号することである。表示は６０ｆｐｓのままである。
【０１６６】
ボタン４０１が押されていなかったら、ステップ３００５において、スロー再生を実行する。このスロー再生は、低品位フレーム群に対して、１５ｆｐｓでフレームを復号・表示し、高品位フレーム群に対しては、ロスレスでフレームを復号し、６０ｆｐｓで表示する。
【０１６７】
もし、ステップ３００４において自動スロー再生モードが選択されていれば、ステップ３００８において、ボタン４０１の押し下げが判断される。ここで、押し下げられていないと判断されれば、ステップＳ３００９において、高品位フレーム群に対しては、自動的にスロー再生を実施する通常再生を行う。一方、ステップ３００８において、ボタンが押し下げられていると判断されれば、ステップ３０１０において、スロー再生を実行する。このスロー再生は、低品位フレーム群に対して、１５ｆｐｓでフレームを復号・表示し、高品位フレーム群に対しては、ロスレスでフレームを復号し、６０ｆｐｓで表示する。
【０１６８】
＜ＪＰＥＧ２０００復号方法＞
第１の実施の形態と同様である。
【０１６９】
＜通常再生（ステップ３００６）＞
第１の実施の形態と同様である。
【０１７０】
＜スロー再生モード（ステップ３００７，３０１０）＞
第１の実施の形態と同様である。
【０１７１】
＜自動スロー再生（ステップ３００９）＞
自動スロー再生モード（２分の１倍速）の実行方法について詳細に説明する。この自動スロー再生モードでは、高品位フレーム，低品位フレームのいずれに対しても、全フレームの全データを復号・表示させる。こうすることで、ユーザーは、何も指示を出さずに、高品位フレームをスロー再生で閲覧することが可能となる。
【０１７２】
まず、図１における読み取り器１０１から読み取られ、一旦メモリ１０２に格納されているはずの動画像符号化データ（混在レートで撮影記録されたもの）から、（全て）の符号化データを時系列に、３０フレーム／秒の転送速度で、順次ＪＰＥＧ復号部１０３へ転送し、復号化する。
【０１７３】
また、ここで得られる復号画像は、３０フレーム／秒のタイミングで、表示用メモリへ書き込まれる。先と同様、表示部１０５は６０フレーム／秒の表示を行っている。
【０１７４】
この場合、図４の表示部４００に表示される動画像は、撮像者が興味を持っているシーンが高精細であり、スローである。また、この作業は、自動的に行われる。
【０１７５】
以上説明した通り、本第６の実施形態における動画像再生装置は、手動スロー再生モードと自動スロー再生モードを持ち、前者のモードが選ばれた場合、スロー再生の指示を受け付けた時に高品位なスロー再生を行う。一方、後者のモードが選択された場合、スロー再生の指示を受け付けなくても、高フレームレートのフレームは高品位なスロー再生を実施する。
【０１７６】
［変形例］
なお、以上で説明した実施形態においては、１秒当たりＡフレーム（Ａは整数）の周期で符号化されている動画像符号化データの一部又は全部を復号し、得られた復号画像を１秒当たりＢフレーム（Ｂは、Ａ≧Ｂなる整数）の周期で表示する場合において、前記動画像符号化データを保持する保持ステップと、通常再生モード及びスロー再生モードを切り替える切替ステップと、前記通常再生モードにおいて、前記保持された動画像符号化データを構成する各フレームをＣ／Ａ（Ｃは、Ａ＞Ｃなる整数）に間引いて得られる第１符号化データを読み出し、順次復号する第１復号ステップと、前記通常再生モードにおいて、前記Ｃフレーム毎の復号画像に基づいて、１秒当たりＢフレーム分の表示画像を読み出す第１表示ステップと、前記スロー再生モードにおいて、前記保持された動画像符号化データを構成する各フレームをＤ／Ａ（Ｄは、Ａ≧Ｄ＞Ｃなる整数）に間引いて得られる第２符号化データを読み出し、順次復号する第２復号ステップと、前記スロー再生モードにおいて、前記Ｄフレーム毎の復号画像に基づいて、１秒当たりＢフレーム分の表示画像を読み出す第２表示ステップとを備えるものであれば、種々の変形が可能である。
【０１７７】
上述した実施形態では、上記Ａ、Ｂ、Ｃ、Ｄを、夫々、Ａ＝６０、Ｂ＝６０、Ｃ＝３０、Ｄ＝６０として説明したが、特にこれに限らず、例えば、Ａ＝９０、Ｂ＝６０、Ｃ＝３０、Ｄ＝６０の様に、元の動画像符号化データのフレームレートが更に高い場合や、Ａ＝６０、Ｂ＝６０、Ｃ＝２０、Ｄ＝６０の様に、通常再生モードの時の復号画像の１秒当たりのフレーム数を下げた場合、或いは、Ａ＝６０、Ｂ＝３０、Ｃ＝３０、Ｄ＝６０の様に、表示用のフレームレートを必要最小限とした場合等、種々の数値の差異が有るとしても本発明の目的、効果から逸脱するものではない。
【０１７８】
また、上述の実施形態では、スロー再生は２分の１倍速だけとして簡単に説明したが、本発明はこれに限らず、複数段階のスロー再生を行う場合についても応用可能である。
【０１７９】
例えば、スロー再生モードとして２分の１倍速と３分の１スロー再生が有るとした場合、かつ上記Ａ＝９０、Ｂ＝６０、Ｃ＝３０、Ｄ＝６０とした場合において、通常再生を行う時には、動画像符号化データを構成する各フレームを３０／９０に間引いて復号することとし、２分の１スロー再生を行う時には、動画像符号化データを構成する各フレームを６０／９０に間引いて復号することとし、３分の１スロー再生の時は動画像符号化データを構成する各フレーム（９０フレーム）全てを復号することとする。このようにすれば、全ての再生モードにおいて、実質３０フレーム／秒の表示が行われることになり、滑らかな画像を表示することが可能である。また、通常再生モードと２分の１スロー再生モードの時には、復号器の負荷を極力減らすことが可能である。
【０１８０】
本形態についても、１秒当たりＡフレーム（Ａは整数）の周期で符号化されている動画像符号化データの一部又は全部を復号し、得られた復号画像を１秒当たりＢフレーム（Ｂは、Ａ≧Ｂなる整数）の周期で表示する場合において、前記動画像符号化データを保持する保持ステップと、通常再生モード及び第１、第２スロー再生モードを切り替える切替ステップと、前記通常再生モードにおいて、前記保持された動画像符号化データを構成する各フレームをＣ／Ａ（Ｃは、Ａ＞Ｃなる整数）に間引いて得られる第１符号化データを読み出し、順次復号する第１復号ステップと、前記通常再生モードにおいて、前記Ｃフレーム毎の復号画像に基づいて、１秒当たりＢフレーム分の表示画像を読み出す第１表示ステップと、前記第１スロー再生モードにおいて、前記保持された動画像符号化データを構成する各フレームをＤ／Ａ（Ｄは、Ａ＞Ｄ＞Ｃなる整数）に間引いて得られる第２符号化データを読み出し、順次復号する第２復号ステップと、前記第１スロー再生モードにおいて、前記Ｄフレーム毎の復号画像に基づいて、１秒当たりＢフレーム分の表示画像を読み出す第２表示ステップと、前記第２スロー再生モードにおいて、前記保持された動画像符号化データを構成する各フレームをＥ／Ａ（Ｅは、Ａ≧Ｅ＞Ｄ＞Ｃなる整数）に間引いて得られる第３符号化データを読み出し、順次復号する第３復号ステップと、前記第２スロー再生モードにおいて、前記Ｅフレーム毎の復号画像に基づいて、１秒当たりＢフレーム分の表示画像を読み出す第３表示ステップとを備えるものであれば、種々の変形が可能である。
【０１８１】
なお、上記各実施形態では、表示装置の表示フレームレートを６０ｆｐｓとしたが、これは、ビデオＲＡＭから表示装置に転送する際のフレームレートを示しているのであって、復号・再生処理とは無関係なものである。ＮＴＳＣのテレビの場合、３０ｆｐｓで表示が行われているので、このような表示装置に表示しても構わない。要するに、本実施形態での再生処理でのフレームレートとは、ビデオＲＡＭを書き換える速度を意味しているからであって、表示装置にビデオＲＡＭのデータを転送する速度はどのようなものであっても構わない。
【０１８２】
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェース機器、リーダ、プリンタ等）から構成されるシステムの１部として適用しても、１つの機器（たとえば複写機、ファクシミリ装置）からなる装置の１部に適用してもよい。
【０１８３】
また、本発明は上記実施形態を実現するための装置及び方法のみに限定されるものではなく、上記システム又は装置内のコンピュータ（ＣＰＵ或いはＭＰＵ）に、上記実施形態を実現するためのソフトウエアのプログラムコードを供給し、このプログラムコードに従って上記システム或いは装置のコンピュータが上記各種デバイスを動作させることにより上記実施形態を実現する場合も本発明の範疇に含まれる。
【０１８４】
またこの場合、前記ソフトウエアのプログラムコード自体が上記実施形態の機能を実現することになり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、具体的には上記プログラムコードを格納した記憶媒体は本発明の範疇に含まれる。
【０１８５】
この様なプログラムコードを格納する記憶媒体としては、例えばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【０１８６】
また、上記コンピュータが、供給されたプログラムコードのみに従って各種デバイスを制御することにより、上記実施形態の機能が実現される場合だけではなく、上記プログラムコードがコンピュータ上で稼働しているＯＳ（オペレーティングシステム）、或いは他のアプリケーションソフト等と共同して上記実施形態が実現される場合にもかかるプログラムコードは本発明の範疇に含まれる。
【０１８７】
更に、この供給されたプログラムコードが、コンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能格納ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって上記実施形態が実現される場合も本発明の範疇に含まれる。
【０１８８】
以上説明したように本実施形態にによれば、復号（再生）対象となる動画像データが高フレームレートで録画（符号化）されていたとしても、人間の視覚的な認識レベルに合わせて、その装置（コンピュータであればＣＰＵ）の復号時の負担を出来るだけ軽くすることが可能となる。
【０１８９】
【発明の効果】
以上説明したように本発明によれば、復号（再生）対象となる動画像データが高フレームレートで録画（符号化）されていたとしても、人間の視覚的な認識レベルを十分考慮しつつ、通常再生及びスロー再生のいずれであってもスムースな動画像を再生することが可能になる。
【０１９０】
また、他の発明によれば、スロー再生の際に、再生される画質を向上させることが可能になる。
【図面の簡単な説明】
【図１】実施形態における画像処理装置のブロック構成図である。
【図２】実施形態での動画画像生成する装置として適用するカメラの外観図である。
【図３】カメラ内部における符号化及び記録に関わる機能の概略図である。
【図４】復号・再生側（画像処理装置）の表示部の一例を示す図である。
【図５Ａ】、
【図５Ｂ】、表示部１０５（指示入力部１０６）の指示に基づく装置の制御手順を示すフローチャートである。
【図６】１次元離散ウェーブレット変換の処理概要を説明するための図である。
【図７】第１段階から第３段階までのウェーブレット変換によるサブバンドの分布を示す図である。
【図８】各サブバンドと量子化ステップとの関係を示す図である。
【図９】コードブロック分割の説明するための図である。
【図１０】ビットプレーン分割の例を示す図である。
【図１１】コーディングパスを示す図である。
【図１２】レイヤー生成の概要を説明するための図である。
【図１３】レイヤー生成を説明するための図である。
【図１４】タイル符号化データの構成を示す図である。
【図１５】フレーム符号化データの構成を示す図である。
【図１６】タイル分割の一例を示す図である。
【図１７】第１の実施形態におけるＪＰＥＧ２０００符号化部の概略構成を示すブロック図である。
【図１８】第１の実施形態におけるＪＰＥＧ２０００符号化部２０３が行うフレームデータの符号化処理のフローチャートである。
【図１９】第１の実施形態におけるＪＰＥＧ２０００復号部の概略構成を示すブロック図である。
【図２０】タイルの復号順序を示す図である。
【図２１】第１の実施形態におけるＪＰＥＧ２０００復号部の処理手順を示すフローチャートである。
【図２２】第２の実施形態で使用する符号列を示す図である。
【図２３】第２の実施形態における表示部１０５（指示入力部１０６）の指示に基づく装置の処理手順を示すフローチャートである。
【図２４】第２の実施形態におけるＪＰＥＧ２０００復号部の概略構成を示すブロック図である。
【図２５】通常再生時における符号列の切り出しの説明図である。
【図２６】スロー再生時における符号列の切り出しの説明図である。
【図２７】第３の実施形態における表示部１０５（指示入力部１０６）の指示に基づく装置の処理手順を示すフローチャートである。
【図２８】第３の実施形態におけるＪＰＥＧ２０００復号部の概略構成を示すブロック図である。
【図２９】復号・再生側（画像処理装置）の表示部の一例を示す図である。
【図３０】第４の実施の形態における表示部１０５（指示入力部１０６）の指示に基づく装置の制御手順を示すフローチャートである。
【図３１】カメラ内部における符号化及び記録に関わる機能の概略図である。
【図３２】第５の実施の形態における表示部１０５（指示入力部１０６）の指示に基づく装置の制御手順を示すフローチャートである。
【図３３】カメラ内部における符号化及び記録に関わる機能の概略図である。
【図３４】第６の実施の形態における表示部１０５（指示入力部１０６）の指示に基づく装置の制御手順を示すフローチャートである。

Claims (6)

1. 動画像として十分であるフレームレートをＮフレーム／秒と表現したとき、それを越えるＭ（Ｍ＞Ｎ）フレーム／秒で撮影され符号化された第１形式のフレーム群と、Ｎフレーム／秒で撮影され符号化された第２形式のフレーム群とが混在した構造を有し、各フレームが独立して復号可能に圧縮符号化された動画像データを再生する画像処理装置であって、
   圧縮符号化されたフレームを復号する復号手段と、
   通常再生するか、マニュアルスロー再生するか、オートスロー再生するかを切り替える切り替え手段と、
   該切り替え手段により、前記通常再生するように切り替えた場合であって、前記第１形式のフレーム群については連続するＭ個のフレーム中のＭ−Ｎ個のフレームを間引いて、１秒当たりＮフレームを前記復号手段で復号することでＮフレーム／秒で再生し、前記第２形式のフレーム群については１秒当たり、連続するＮフレームを前記復号手段で復号することでＮフレーム／秒で再生する第１の再生手段と、
   前記切り替え手段により、前記通常再生に対し１／Ｌ倍（Ｌは１より大きい整数）の速度で再生する前記マニュアルスロー再生するように切り替えた場合であって、前記第１形式のフレーム群については、連続する（Ｍ／Ｎ）×（１／Ｌ）個のフレーム中の１フレームを前記復号手段で復号してＮフレーム／秒で再生し、前記第２形式のフレーム群については間引き無しに、１秒当たり連続するＮ／Ｌ個のフレームを前記復号手段で復号し、１秒当たりＮ／Ｌフレームのフレームレートで再生する第２の再生手段と、
   前記切り替え手段により、前記オートスロー再生するように切り替えた場合であって、前記第１形式のフレーム群については、連続する（Ｍ／Ｎ）×（１／Ｌ）個のフレーム中の１フレームを前記復号手段で復号してＮフレーム／秒で再生し、前記第２形式のフレーム群については１秒当たり、連続するＮフレームを前記復号手段で復号することでＮフレーム／秒で再生する第３の再生手段と
   を備えることを特徴とする画像処理装置。
2. 前記動画像データの各フレームは、ＪＰＥＧ２０００符号化処理で符号化されていることを特徴とする請求項１に記載の画像処理装置。
3. 前記動画像データはＭｏｔｉｏｎＪＰＥＧ符号化処理で符号化されていることを特徴とする請求項１に記載の画像処理装置。
4. 動画像として十分であるフレームレートをＮフレーム／秒と表現したとき、それを越えるＭ（Ｍ＞Ｎ）フレーム／秒で撮影され符号化された第１形式のフレーム群と、Ｎフレーム／秒で撮影され符号化された第２形式のフレーム群とが混在した構造を有し、各フレームが独立して復号可能に圧縮符号化された動画像データを再生する画像処理方法であって、
   圧縮符号化されたフレームを復号する復号工程と、
   通常再生するか、マニュアルスロー再生するか、オートスロー再生するかを切り替える切り替え工程と、
   該切り替え工程により、前記通常再生するように切り替えた場合であって、前記第１形式のフレーム群については連続するＭ個のフレーム中のＭ−Ｎ個のフレームを間引いて、１秒当たりＮフレームを前記復号工程で復号することでＮフレーム／秒で再生し、前記第２形式のフレーム群については１秒当たり、連続するＮフレームを前記復号工程で復号することでＮフレーム／秒で再生する第１の再生工程と、
   前記切り替え工程により、前記通常再生に対し１／Ｌ倍（Ｌは１より大きい整数）の速度で再生する前記マニュアルスロー再生するように切り替えた場合であって、前記第１形式のフレーム群については、連続する（Ｍ／Ｎ）×（１／Ｌ）個のフレーム中の１フレームを前記復号工程で復号してＮフレーム／秒で再生し、前記第２形式のフレーム群については間引き無しに、１秒当たり連続するＮ／Ｌ個のフレームを前記復号工程で復号し、１秒当たりＮ／Ｌフレームのフレームレートで再生する第２の再生工程と、
   前記切り替え工程により、前記オートスロー再生するように切り替えた場合であって、前記第１形式のフレーム群については、連続する（Ｍ／Ｎ）×（１／Ｌ）個のフレーム中の１フレームを前記復号工程で復号してＮフレーム／秒で再生し、前記第２形式のフレーム群については１秒当たり、連続するＮフレームを前記復号工程で復号することでＮフレーム／秒で再生する第３の再生工程と
   を備えることを特徴とする画像処理方法。
5. コンピュータに読み込ませ実行させることで、前記コンピュータを、
   動画像として十分であるフレームレートをＮフレーム／秒と表現したとき、それを越えるＭ（Ｍ＞Ｎ）フレーム／秒で撮影され符号化された第１形式のフレーム群と、Ｎフレーム／秒で撮影され符号化された第２形式のフレーム群とが混在した構造を有し、各フレームが独立して復号可能に圧縮符号化された動画像データを再生する画像処理装置
   として機能させるコンピュータプログラムであって、
   前記コンピュータを、
   圧縮符号化されたフレームを復号する復号手段、
   通常再生するか、マニュアルスロー再生するか、オートスロー再生するかを切り替える切り替え手段、
   該切り替え手段により、前記通常再生するように切り替えた場合であって、前記第１形式のフレーム群については連続するＭ個のフレーム中のＭ−Ｎ個のフレームを間引いて、１秒当たりＮフレームを前記復号手段で復号することでＮフレーム／秒で再生し、前記第２形式のフレーム群については１秒当たり、連続するＮフレームを前記復号手段で復号することでＮフレーム／秒で再生する第１の再生手段、
   前記切り替え手段により、前記通常再生に対し１／Ｌ倍（Ｌは１より大きい整数）の速度で再生する前記マニュアルスロー再生するように切り替えた場合であって、前記第１形式のフレーム群については、連続する（Ｍ／Ｎ）×（１／Ｌ）個のフレーム中の１フレームを前記復号手段で復号してＮフレーム／秒で再生し、前記第２形式のフレーム群については間引き無しに、１秒当たり連続するＮ／Ｌ個のフレームを前記復号手段で復号し、１秒当たりＮ／Ｌフレームのフレームレートで再生する第２の再生手段、
   前記切り替え手段により、前記オートスロー再生するように切り替えた場合であって、前記第１形式のフレーム群については、連続する（Ｍ／Ｎ）×（１／Ｌ）個のフレーム中の１フレームを前記復号手段で復号してＮフレーム／秒で再生し、前記第２形式のフレーム群については１秒当たり、連続するＮフレームを前記復号手段で復号することでＮフレーム／秒で再生する第３の再生手段
   として機能させることを特徴とするコンピュータプログラム。
6. 請求項５に記載のコンピュータプログラムを格納したことを特徴とするコンピュータ可読記憶媒体。

Images