JPWO2009110227A1 - 記録装置、再生装置および方法 - Google Patents

Abstract

高い画質と、小さい処理量とを両立するために、ビデオエンコーダ（９００）は、ストリーム（例えば、図５の第２群における、第ｋの記録演算入力ストリーム）に含まれる連続する２つのフレーム（フレーム１＋２、フレーム３＋４）のうちで一方のフレーム（フレーム１＋２）を符号化する第２の符号化部（５１０）と、他方のフレーム（フレーム３＋４）と、前記一方のフレームとを加算する第２の加算部（５１２）とを備え、一方のフレームおよび加算フレームの符号化によりストリームを符号化する。

Description

本発明は、高速度撮影における動画像の記録及び再生方法とその装置に関するものである。

動画像における圧縮符号化技術において、ＭＰＥＧがある。近年、普及している主なＭＰＥＧの規格として、ＭＰＥＧ２、ＭＰＥＧ４、ＭＰＥＧ４ＡＶＣなどがある。その圧縮技術の主な特徴は、符号化対象の画像フレーム（以下、符号化対象フレームと呼ぶ）と、既に符号化され再構成された画像フレーム（以下、参照フレームと呼ぶ）との差分に対して、ＤＣＴ（離散コサイン変換）と量子化を行った後に、可変長符号化を行うことである。

図１は、従来の技術を示す図である。

例えば、ＭＰＥＧの符号化装置によって、図１（ａ）に示すような期間Ｔに、２フレームを符号化する場合において、フレーム番号が１〜４で示される符号化対象フレームと、各符号化対象フレームの参照フレームとの関係が、図１（ａ）の各矢印で示されるような参照関係（１と２、２と３、３と４に参照関係がある）で符号化を行う。

図２は、連続表示および間引き表示の例を示す図である。

前述の条件下で符号化されたデータを、ＭＰＥＧの復号装置によって再生する場合において、まず図２（ａ）に示すように、期間Ｔ毎に連続再生する場合は、フレーム１から順番に復号しながら再生する。一方、図２（ｂ）に示すように、期間Ｔ毎にフレーム１、３を間引き再生する場合において、フレーム３はフレーム２と参照関係があるため、フレーム３を再生するためにはフレーム２も復号する必要がある。つまり再生の必要がないフレームにおいても、そのフレームが、参照関係があるフレームであれば、そのフレームの復号は行わなければならない。このため、復号の処理の処理量が多く、期間Ｔに含まれる複数枚のフレームに参照関係が存在する符号化データを期間Ｔ当りに１フレームを復号する能力しかない装置においては、間引き再生は困難であるという課題があった。

この課題に対し、（特許文献１）では、図１（ｂ）の矢印で示されるような参照関係（１と２、１と３、３と４に参照関係がある）で符号化を行う。これによって、復号化装置においてフレーム１、３を間引き再生する場合に、フレーム２の復号をスキップさせることを可能としている。

図３は、従来の技術を示す図である。

そして、特許文献１の技術を高速度撮影時における動画フレームの符号化に適用することで、例えば図３（ａ）に示すような期間Ｔに、通常の４倍のフレーム数が入力される場合において、図３（ｂ）に示すような１／４スロー再生、図３（ｃ）に示すような１／２スロー再生、図３（ｄ）に示すような１／１スロー（等速）再生に対して処理負荷の増加を抑えた再生装置を提供することが可能である。

しかしながら、高速度撮影された動画像に対する間引き再生は、再生速度に対する適当なモーションブラーが欠落しており、等速再生に近いほど不自然な動画像になるという課題と、通常撮影時と比較して露光時間が短いため画質が悪いという課題がある。

図４は、従来の技術を示す図である。

そこで、これら課題の解決するために、特許文献２では、図４（ａ）に示すような期間Ｔに、通常の４倍のフレーム数が入力される場合において、図４（ｂ）〜（ｄ）に示すように１／４、１／２、１／１（等速）に対してフレームを加算しながら再生する。

しかしながら、フレームを加算しながら再生する場合は間引き再生であっても、全てのフレームを復号する必要があるため、再生される速さが、等速再生に近いほど、再生装置に対する負荷は増大する。
特開２００３−２９９１０３号公報 特開２００６−３３２４２号公報

従来の技術では、画質と処理負荷を同時に改善することが困難であり、本発明は、高速度撮影における動画像に対して、良好な画質と処理負荷の増加を抑えることを両立する記録及び再生方法とその装置を提供する。

すなわち、図３の技術によれば、図１（ｂ）のスキップがされる技術により、処理量が小さい処理量にできる一方で、画質が低い。他方、図４の技術によれば、高い画質は実現されるが、加算フレームを得るためにはスキップができず、図１（ｂ）の技術による処理量の低減ができず、処理量が大きい。

本発明は、この点に鑑みてなされたものであり、２つのフレームの両方が再生される通常再生が行われる場合と共に、通常再生の際に２つのフレームの再生によって見せられる表示内容が、１つのフレームの再生のみで見せられる間引き再生が行われる場合があっても、高い画質と小さな処理量とが両立できることを目的とする。

本発明の記録装置は、ストリームに含まれる連続する２つのフレームのうちで一方のフレームを符号化する符号化部と、前記２つのフレームのうちで他方のフレームと、前記一方のフレームとを加算する加算部とを備える記録装置である。また、本発明の再生装置は、一方のフレームが符号化された符号化後のフレームから当該一方のフレームを復号する復号部と、当該一方のフレームと、当該一方のフレームに連続する他方のフレームとが加算された加算フレームから、当該一方のフレームを減算し、減算後のフレームを、前記他方のフレームとして生成する減算部とを備える再生装置である。

これにより、２つのフレームの両方が再生されることにより見られる表示内容が、１つのフレームの再生のみで見られるようにする際（間引き再生の際）には、加算フレームが再生され、例えばモーションブラーの欠落が防げるなどにより、高い画質が実現される。

しかも、加算フレームが再生される際には、単に、加算フレームが復号されるだけで、復号されるフレームの個数は１で足り、少ない個数のフレームの復号で足りる。これにより、処理量が、小さい処理量で足りる。また、２つのフレームの両方が再生される際には、一方のフレームと他方のフレームとの２つのフレームが復号され、復号されるフレームの数が少ない数に維持される。そして、ここで、フレームの減算の処理の処理量は、フレームの復号の処理の処理量と比べれば相対的に小さい。他方、符号化のときにも、単に、一方のフレームが符号化されるのと共に、加算フレームが符号化されるだけで、符号化されるフレームの数が少ない数に維持される。なお、ここで、フレームの加算の処理の処理量も小さい。

したがって、通常再生がされる場合と、間引き再生がされる場合とがあっても、高い画質と小さい処理量とが両立される。

本発明によれば、高速度撮影における動画像に対して、良好な画質と処理負荷の増加を抑えることとを両立する記録及び再生方法と、その装置を提供することが可能となる。

図１は、従来の技術を示す図である。 図２は、（ａ）により連続再生の例を示し、（ｂ）により間引き再生の例を示す図である。 図３は、従来の技術を示す図である。 図４は、従来の技術を示す図である。 図５は、本発明の実施の形態１における記録方式を示す図である。 図６は、本発明の実施の形態２における再生方式を示す図である。 図７は、本発明の実施の形態１における記録装置の構成図である。 図８は、本発明の実施の形態１における再生装置の構成図である。 図９は、ビデオカメラシステムの構成図である。 図１０は、ディジタルテレビシステムの構成図である。 図１１は、記録処理における従来と本実施の形態の演算量の比較を示す図である。 図１２は、再生処理における従来と本実施の形態の演算量の比較を示す図である。 図１３は、プログラムによる処理のフローチャートである。 図１４は、再生部による処理のフローチャートである。 図１５は、ビデオエンコーダの構成を示す図である。 図１６は、多重化ストリームを示す図である。 図１７は、ビデオデコーダの構成を示す図である。 図１８は、ビデオデコーダに入力される多重化ストリームを示す図である。 図１９は、プログラムのヘッダ部の構成を示す図である。 図２０は、エンコード処理呼び出し部が処理を開始させるエンコード処理部の構成を示す図である。 図２１は、デコード処理呼び出し部が呼び出すデコード処理部の構成を示す図である。 図２２は、記録処理呼び出し部が実行を開始させる記録処理部の構成を示す図である。 図２３は、メイン部の再生処理呼び出し部が呼び出す再生処理部の構成を示す図である。 図２４は、プログラムのメイン部の構成を示す図である。 図２５は、ビデオカメラシステムの動作を示す図である。

符号の説明

５００ 入力部
５０１ 第１の選択部
５０４ 第１の符号化部
５０６ 第１の加算部
５０７ 第２の選択部
５１０ 第２の符号化部
５１２ 第２の加算部
５１４ 第３の符号化部
５１６ 第２の記録演算部

以下本発明の実施の形態について、図面を参照しながら説明する。

従来からの課題を解決するために、本発明の記録方法においては、Ｎ（Ｎは２のべき乗数）フレームに対して、奇数フレームを符号化したビットストリームを記録し、奇数フレームと偶数フレームを加算したフレームを生成し、前記加算したフレームに対して奇数フレームのみを符号化したビットストリームを記録することをＬｏｇ２Ｎ（底２の対数）回繰り返すことでＬｏｇ２Ｎ＋１個のビットストリームを生成する。

一方、本発明の再生方法においては、Ｎ（Ｎは２のべき乗数）フレームに対して、奇数フレームを符号化した第１のビットストリームと、前記符号化対象フレームの奇数フレームと偶数フレームを加算したフレームを生成し、前記加算したフレームに対して奇数フレームのみを符号化したビットストリームを記録することをＬｏｇ２Ｎ（底２の対数）回繰り返すことで得られた第２から第Ｌｏｇ２Ｎ＋１のビットストリーム対して、Ｎフレーム中の１フレームを再生する場合には、第Ｌｏｇ２Ｎ＋１のビットストリームを復号し再構成したフレームを再生し、Ｎフレーム中の２フレームを再生する場合には、第Ｌｏｇ２Ｎのビットストリームを復号し再構成したフレームを奇数フレームとして再生し、第Ｌｏｇ２Ｎ＋１のビットストリームから再構成したフレームから前記奇数フレームを減算したフレームを偶数フレームとして再構成し再生し、Ｎフレーム中のＭフレーム（Ｍは３以上Ｎ以下の２のべき乗の数）を再生する場合には、第Ｌｏｇ２Ｍ＋１のビットストリームを復号し再構成したフレームを奇数フレームとして再生し、第Ｌｏｇ２Ｍから第Ｌｏｇ２Ｎ＋１のビットストリームから再構成したＭ／２フレームから対応する第Ｌｏｇ２Ｍ＋１のビットストリームから再構成した前記奇数フレームを減算したフレームを偶数フレームとして再生する。

以下、詳しく説明される。

（実施の形態１）
図５は、本発明の実施の形態１における記録方法を示す図である。

以下、説明を簡単化するために高速度撮影時における入力フレームは、図５（１ａ）に示すように、期間Ｔ（単位時間）に４フレームとする。通常撮影時は、期間Ｔに１フレームの記録を行うとすれば、４倍速の記録をしていることになる。

まず、記録方法の概略について図５を用いて説明する。

図５（１ａ）に示すように期間Ｔに、２の２乗の数（４＝２＾ｋ（ｋ＝２、「Ａ＾Ｂ」はＡのＢ乗を示す））のフレーム１，２，３，４が入力され、第１の記録ステップにおいて、図５（１ｂ）に示すように奇数フレーム１、３を符号化した第１のビットストリームを記録する。また、第１の記録ステップにおいて、図５（１ｃ）に示すように奇数フレームと偶数フレームをそれぞれを加算したフレーム１＋２、３＋４を生成する。また、第２の記録ストップにおいて（後述される、図７の第２の記録演算部５１６を参照）、前記加算したフレームに対して奇数フレームすなわちフレーム１＋２を符号化した第２のビットストリームを記録する。また、第２の記録ステップにおいて、図５（１ｄ）に示すように、第１の記録ステップにおいて加算したフレームの奇数フレームと偶数フレームを加算したフレーム１＋２＋３＋４を生成する。そして、第３の記録ステップにおいて、前記フレーム１＋２＋３＋４フレームを符号化した第３のビットストリームを記録する。

図７は、記録部１５１の構成を示す図である。

次に本実施の形態における記録装置（記録部１５１、図９のビデオエンコーダ９００）について、図７を用いて説明する。

入力部５００から得られるフレーム１，２，３，４（図５参照、記録入力ストリームＩＳ（図５、図１５）、第１の記録演算入力ストリーム）は、第１の選択部５０１によって奇数フレーム１，３と、偶数フレーム２，４に振り分けられ、それぞれの記憶部５０２、５０３に格納される。記憶部５０２に格納された奇数フレームは、第１の符号化部５０４によって符号化され、生成された第１のビットストリーム（第１の記録出力ストリームＶａ１）は、記憶部５０５に格納される。

次に記憶部５０２と５０３に格納されている奇数フレームと偶数フレームから第１の加算部５０６によって奇数フレーム１＋２と偶数フレーム３＋４を生成する。加算されたフレーム１＋２、３＋４は（第１の記録演算出力ストリーム）、第２の選択部５０７によってそれぞれの記憶部５０８、５０９に格納される。記憶部５０８に格納された奇数フレームは、第２の符号化部５１０によって符号化され、生成された第２のビットストリーム（第２の記録出力ストリームＶａ２）は、記憶部５１１に格納される。

最後に記憶部５０８と５０９に格納されている奇数フレームと偶数フレームから第２の加算部５１２によってフレーム１＋２＋３＋４を生成する（第２の記録演算出力ストリーム）。加算されたフレーム１＋２＋３＋４は、記憶部５１３に記憶される（第３の記録演算入力ストリーム）。記憶部５１３に格納された奇数フレームは、第３の符号化部５１４によって符号化され、生成された第３のビットストリーム（第３の記録出力ストリームＶａ３）は、記憶部５１５に格納される。

なお、本実施の形態においては、説明の簡単化のために入力フレーム数が４（＝２の２乗＝２＾ｋ）を例に説明したが、Ｎが２のべき乗数の場合においては、処理ブロック（第２の記録演算部５１６）を、Ｌｏｇ２Ｎ個（ｋ個）設けることで対応可能である。なお、符号化部５１４が含まれる第３の記録演算部と合わせて、記録演算部は、Ｌｏｇ２Ｎ＋１（＝ｋ＋１）個も受けられる。なお、ここで、Ｌｏｇ２Ｎは、２を底とするＮの対数を示す。

なお、符号化部５０４、５１０、５１４においては、要求性能を満たせば共有化してもよい。つまり、符号化部５０４、５１０、５１４の各機能を実現する１つの大きな機能ブロックが構成されてもよい。加算部５０６、５１２についても同様に要求性能を満たせば共有化してもよい。

図１１は、記録処理における従来例（図４の技術）と本発明の演算量比較を示す図である。

かかる構成によれば、例えば符号化部（第１の符号化部〜第３の符号化部）における１個のフレームの符号化に要する演算量を１００、加算部（第１の符号化部〜第２の加算部）における１回の、加算フレームの生成に要する演算量を４０とした場合において、従来と本実施の形態１の演算量を比較すると、図１１に示すように、本実施の形態１による演算量は、加算の処理の分だけ、従来例の演算量より若干多くなる。しかし、ｋが大きくなった場合には（図１１のｎが大きくなった場合には）、符号化の処理の処理量と比べて、加算の処理の処理量は小さいので、本実施の形態１の演算量は、従来例の演算量と同等になる。また、実施の形態の例では、符号化部、加算部などを複数個で構成できることから、並列分散化が容易であるため、低消費電力化について、従来例よりも有用である。また、並列分散化が容易であるので、並列分散化による高速化により、本実施の形態１の処理では、処理量は同等でも、従来例よりも高速に処理ができる。

（実施の形態２）
図６は、本発明の実施の形態２における再生方法を示す図である。

以下、説明を簡単化するために高速度撮影時における入力フレームは、図６（２ａ）（図５（１ａ）に示される記録入力ストリームＩＳ）に示すような期間Ｔに４フレームとする。通常撮影時は、期間Ｔに１フレームの記録を行うとすれば、４倍速の記録をしていることになる。

まず、再生方法の概略について図６を用いて説明する。

図６（２ａ）に示すように、期間Ｔに２の２乗の数（４＝２＾ｋ個）のフレーム１，２，３，４に対して、実施の形態１で記載した記録方式によって生成された第１〜第３のビットストリーム（図７に示される第１の記録出力ストリームＶａ１〜第３の記録出力ストリームＶａ３、図８に示される第１の再生入力ストリームＶｂ３〜第３の再生入力ストリームＶｂ１）に対して、本実施の形態の再生方法を適用することを前提とする。なお、後述のように、第１の再生入力ストリームＶｂ３〜第３の再生入力ストリームＶｂ１は、第１の再生演算入力ストリームＶｂ３〜第３の再生演算入力ストリームＶｂ１と別称される。

図６（２ｄ）に示すように、４フレーム中の１フレームを再生する場合、すなわち等速再生（１／１倍のスロー再生、すなわち、１／（２＾（Ｌ−１））倍（Ｌ＝１）のスロー再生）を行う場合には、第３のビットストリーム（図８に示される第３の再生入力ストリームＶｂ３）を復号し再構成したフレームＤ０（フレーム１＋２＋３＋４）を再生する（後述される、第３の再生出力ストリーム）。

図６（２ｃ）に示すように４フレーム中の２フレームを再生する場合、すなわち１／２倍のスロー再生を行う場合には（Ｌ＝２）、第２のビットストリーム（図８に示される第２の再生入力ストリームＶｂ２）を復号し再構成したフレームを奇数フレームＣ０（フレーム１＋２）として再生する。

また、Ｌ＝２の場合には、第３のビットストリーム（図８の第３の再生入力ストリームＶｂ３）から再構成したフレームＤ０（フレーム１＋２＋３＋４）から前記奇数フレームＣ０（フレーム１＋２）を減算したフレームＣ１（フレーム３＋４）を、偶数フレームとして再構成し再生する。

そして、Ｌ＝３の場合、すなわち、図６（２ｂ）に示すように４フレーム中の４フレームを再生する場合、すなわち１／４スロー再生を行う場合には、第１のビットストリーム（図８の第１の再生入力ストリームＶｂ１）を復号し再構成したフレームを奇数フレーム１、３として再生し、第２のビットストリーム（図８の第２の再生入力ストリームＶｂ２）から再構成したフレームＣ０から、奇数フレーム１を減算したフレーム２を生成し、フレームＣ１から奇数フレーム３を減算したフレーム４を生成し、偶数フレームとして再生する。

図８は、再生部１７１の構成を示す図である。

次に本実施の形態における再生装置（再生部１７１、図９のビデオデコーダ９０１）について、図８を用いて説明する。

４フレーム中の１フレームを再生する場合（Ｌ＝１の場合）、すなわち等速再生（１／（２＾（Ｌ−１）倍のスロー再生、Ｌ＝１）を行う場合には、記憶部６００に格納される第３のビットストリーム（第３の再生入力ストリームＶｂ３、図６の第３群参照）を、第３の復号部６０１によって再構成し、再構成フレームを記録部６０２に格納する。これにより、格納される再構成フレームによるストリームとして、等速再生のためのストリームである第３の記録出力ストリームが構成される。

４フレーム中の２フレームを再生する場合（Ｌ＝２の場合）、すなわち１／２スロー再生を行う場合には（１／（２＾（２−１））＝１／（２＾（Ｌ−１）））、記憶部６０３に格納される第２のビットストリーム（第２に再生入力ストリームＶｂ２）を、第２の復号部６０４によって再構成し、再構成フレームを記録部６０５に格納する。そして、記録部６０２に格納されているフレーム１＋２＋３＋４と、この記録部６０５に格納されているフレーム１＋２から、第２の減算部６０６によって、フレーム３＋４を生成し、生成したフレーム３＋４を、記録部６０７に格納する。第２の選択部６１７は、記録部６０５に格納されるフレームを奇数フレーム、記録部６０７に格納されるフレームを偶数フレームとして選択を行う。これにより、第２の選択部６１７により選択される各フレームが構成するストリームとして、１／２スロー再生のためのストリームである第２の記録出力ストリーム（図６（２ｃ）のハッチング付きおよびハッチング無しの各フレームによるストリーム）が構成される。

４フレーム中の４フレームを再生する場合（Ｌ＝３の場合）、すなわち１／４スロー再生を行う場合には、図８右上に示される記憶部６０８に格納される第１のビットストリーム（第１の再生入力ストリームＶｂ１）を第１の復号部６０９によって再構成し、再構成フレームは選択部６１０（第１の選択部の第１部分）によって奇数フレーム、偶数フレームに振り分けられて、記録部６１１、６１２にそれぞれに格納される。そして、記録部６０５に格納されているフレーム１＋２と、記録部６１１に格納されているフレーム１から減算部６１３（第３の減算部の第１部分）によってフレーム２を生成し、生成したフレームを記録部６１４に格納する。記録部６０７に格納されているフレーム３＋４と、記録部６１２に格納されているフレーム３から減算部６１５（第３の減算部の第２部分）によってフレーム４を生成し、生成したフレーム４を、記録部６１６に格納する。選択部６１８（第１の選択部の第２部分）は、記録部６１１に格納されるフレームをフレーム１、記録部６１４に格納されるフレームをフレーム２、記録部６１２に格納されるフレームをフレーム３、記録部６１６に格納されるフレームをフレーム４として順番に選択を行う。これにより、１／４スロー再生のためのストリームである第１の再生出力ストリームが構成される。

選択部６１９は、再生速度に従ったフレームを選択して、再生フレームを格納する記憶部６２０に出力する。なお、例えば、より具体的には、選択部６１９は、上記Ｌの値を１〜３のうちから特定する。そして、特定される値のＬに基いて、上記の選択および出力を行う。

なお、本実施の形態においては、説明の簡単化のために、入力フレーム数が４（＝２の２乗）を例に説明したが（ｋ＝２の場合が具体例にされたが）、Ｎが２のべき乗数の場合においては、処理ブロック（第１の再生演算部６２１）を、Ｌｏｇ２Ｎ個（ｋ個、Ｎ＝２＾ｋ）設けることで対応可能である。なお、第３の復号部６０１が含まれる第ｋ＋１の記録演算部とあわせて、ｋ＋１個の記録演算部により構成される。

なお、復号部６０１、６０４、６０９においては、要求性能を満たせば共有化してもよい。減算部６０６、６１３、６１５についても同様に、要求性能を満たせば共有化してもよい。

図１２は、再生処理における、従来例の演算量と、本実施の形態での演算量との比較を示す図である。

例えば、各復号部による１個のフレームの復号（再構成）に要する演算量を１００、各減算部による１個の加算フレームについての減算に要する演算量を４０とした場合において、従来例における演算量と本実施の形態の演算量とを比較する。図１２に示すように、本実施の形態の演算量は、等速再生に近いときほど（図１２における、より左側のデータほど）、従来例での演算量に比べて、大幅に少ないことが分かる。なぜなら、本実施の形態では、フレームの復号の処理が、再生されるフレームの数と同じ回数（単位時間Ｔについて２＾（Ｌ−１）回）だけしか行われないにも関わらず、従来例では、再生される速度（上記Ｌ参照）に関わらず、単に時間Ｔに関する各フレームが全て復号され（２＾ｋ個のフレームが復号され）、本実施の形態の復号の回数は、従来例での復号の回数よりも少ないからである。従って、処理性能が十分でない再生装置においても再生が可能である。また、簡単な構成の再生装置でも再生ができるなどして、適用範囲が広がる。また、コストダウンに寄与できる。

また、再生速度に対して、その再生速度に合わせた適当なフレームが加算された加算フレームによる動画像を提供するため、自然なモーションブラーを再現するとともに、フレーム加算による露光不足を補うことが可能である。

これにより、高い画質と、少ない処理量とが両立される。

なお、復号部、減算部などは、それぞれ、複数個の復号部等で構成できることから、並列分散化が容易であるため、低消費電力化にも有用である。

図９は、ビデオカメラシステム１の構成図である。

図１０は、ディジタルテレビシステム１ａの構成図である。

なお、図９に示すビデオカメラシステム１は、本実施の形態にかかる上記記録部１５１を有するビデオエンコーダ（記録装置）９００と、再生部１７１を有するビデオデコーダ（再生装置）９０１とが設けられた動画記録再生機器の一例である。また図１０に示すようなディジタルテレビシステム１ａは、本実施の形態にかかる記録部１５１を有するビデオデコーダ（再生装置）１０００が設けられた動画再生機器の一例である。なお、ビデオエンコーダ（記録装置）９００は記録部１５１を備えてもよいし、ビデオエンコーダ（記録装置）９００は、記録部１５１が換言されたブロックであると解されてもよい。同様に、ビデオデコーダ（再生装置）９０１は再生部１７１を備えてもよいし、ビデオデコーダ（再生装置）９０１は再生部１７１が換言されたブロックであってもよい。また、ビデオデコーダ（再生装置）１０００も、再生部１７１を備えてもよいし、ビデオデコーダ（再生装置）１０００は再生部１７１が換言されたブロックであると解されてもよい。

以下では、続けて説明が行われる。ただし、次の説明は、単なる一例である。

図９により、ビデオカメラシステム１の構成が示される。

ビデオカメラシステム１は、ビデオエンコーダ９００と、ビデオデコーダ９０１と、記憶部９０２とを備える。

ビデオカメラシステム１は、動画像を高速撮影する。ここで、高速撮影とは、例えば、通常のフレームレートである６０ｆｐｓよりも多いフレームレートでの撮影である。なお、ここで、６０ｆｐｓは、通常のフレームレートの単なる一例である。通常のフレームレートは、ＮＴＳＣ規格に基いた２９．９７×２＝５９．９４ｆｐｓと解されてもよい。ビデオカメラシステム１の高速撮影のフレームレートは、例えば、（６０×（２＾ｋ））ｆｐｓ（ｋ≧１）である。フレームレートが（６０×（２＾ｋ））ｆｐｓでの高速撮影は、２＾ｋ倍の高速撮影である。

高速撮影された動画像は、通常の場合、より高速に撮影がされたときほど、より遅く再生される。例えば、２＾ｋ倍の速度（２＾ｋ倍のフレームレート）で撮影されれば、１／（２＾ｋ）倍のスロー再生が行われる。すなわち、２＾ｋ倍だけ短い時間間隔で撮影された各フレームが、その時間間隔よりも２＾ｋ倍だけ長い時間間隔で表示される。これにより、各フレームが表示される時間間隔が、人間の視覚に適した時間間隔に調整される。以下、このような、２＾ｋ倍だけ長い時間間隔での再生、すなわち１／（２＾ｋ）倍のスロー再生は、標準スロー速度での再生と呼ばれる。

ビデオエンコーダ９００（図９）は、高速撮影された動画像のストリームを符号化する。

記憶部９０２は、符号化された符号化後ストリームを記憶する。

ビデオデコーダ９０１は、記憶部９０２に記憶された符号化後ストリームが入力されるなどして、高速撮影された動画像の符号化後ストリームが入力されて、入力された符号化後ストリームを復号する。

図１５により、ビデオエンコーダ９００（図９）の構成が示される。

ビデオエンコーダ９００は、記録部１５１（図１５、図７）と、多重化部１５４とを備える。

記録部１５１は、高速撮影された動画像の記録入力ストリームＩＳ（図１５）が入力され、入力された記録入力ストリームＩＳを符号化したｋ+１個の記録出力ストリーム、すなわち第１の記録出力ストリームＶａ１〜第（ｋ＋１）の記録出力ストリームＶａ３（図１５）を生成し、生成された第１の記録出力ストリームＶａ１〜第（ｋ＋１）の記録出力ストリームＶａ３を出力する。

なお、ここで、この実施形態では、ビデオカメラシステムによって、２＾２＝４倍の高速撮影が行われる、ｋ＝２である例が、一例として説明される。

図７により、記録部１５１の構成が示される。

記録部１５１は、入力部５００と、第１の選択部５０１と、第１の符号化部５０４と、第１の加算部５０６と、第２の選択部５０７と、第２の符号化部５１０と、第２の加算部５１２と、第３の符号化部５１４とを備える。

ここで、第ｔの選択部（第２の選択部５０７等）と、第ｔの符号化部（第２の符号化部５１０等）と、第ｔの加算部（第２の加算部５１２等）との全体により、第ｔの記録演算部（第２の記録演算部５１６等）が構成される（１≦ｔ≦ｋ）。

また、第ｋ＋１の記録演算部により、第ｋ＋１の符号化部（第３の符号化部５１４）が構成される。

第ｔの記録演算部（１≦ｔ≦ｋ＋１）は、第ｔの記録演算入力ストリームが入力される。そして、第ｔの記録演算部は、入力される第ｔの記録演算入力ストリームに基いて、第ｔの記録演算出力ストリームを生成し、生成される記録演算出力ストリームを出力する。そして、ここで、出力される第ｔの記録演算出力ストリームは、先述された、記録部１５１が出力する第１の記録出力ストリームＶａ１〜第ｋ＋１の記録出力ストリーム（第３の記録出力ストリームＶａ３）のうちの（図１５参照）、第ｔの記録出力ストリームＶａｔである。

図５により、第ｔの記録演算入力ストリームが示される（１≦ｔ≦ｋ＋１）。

第１の記録演算入力ストリームは、記録部１５１に入力される記録入力ストリームＩＳ（図５（１ａ））である（図５（１ｂ））。第１の記録演算入力ストリームは、図５の第１群のハッチング付きの各フレーム（奇数フレーム）、および、ハッチング無しの各フレーム（偶数フレーム）の両方を含む。

そして、第ｔの記録演算入力ストリームは、図５の第ｔ群の列に示される、第ｔ群ストリームである。ここで、第ｔの記録演算入力ストリーム（第ｔ群ストリーム）は、第ｔ群の各フレームのうちで、ハッチング付きの各フレームと、ハッチング無しの各フレームとの両方を含む。

第ｔの記録演算入力ストリームは、含まれる第ａのフレームが、第ｔの記録演算入力ストリームの第２×ａのフレームと、第２×ａ＋１のフレームとが加算された加算フレームである（ａは整数）。そして、第ｔの記録演算入力ストリームは、含まれる第ａのフレームが、記録入力ストリームＩＳの第ａのフレームである。

そして、第１の記録演算入力ストリームが、標準スロー速度で再生されれば、６０ｆｐｓ等の標準のフレームレートでの動画像の再生が行われる。そして、第ｔの記録演算入力ストリームが、標準スロー速度よりも２＾（ｔ−１）倍速く再生されれば、標準のフレームレートでの再生が行われる（１≦ｔ≦ｋ＋１）。こうした、標準スロー速度（１／（２＾ｋ）倍のスロー再生）よりも、２＾（ｔ−１）倍速い再生は、（１／２＾（ｋ−（ｔ−１）））倍のスロー速度の再生と呼ばれる（１≦ｔ≦ｋ＋１）。そして、標準スロー速度よりも、２＾（（ｋ＋１）−１）倍速い再生（２＾ｋ倍速い再生）、すなわち、１／１＝１倍の速度での再生は、等速度での再生と呼ばれる。

また、高速撮影された動画像の記録入力ストリームＩＳは、単位時間Ｔについて、２＾ｋ個のフレームを含む。動画像における単位時間Ｔの表示内容を見せるのに、２＾ｋ個よりも少ない個数のフレームが表示される再生は、間引き再生と呼ばれる。１／（２＾（ｋ−１））倍のスロー再生（１／２倍のスロー再生）〜１／１倍でのスロー再生（等速度での再生）は、それぞれ、間引き再生である。

第ｔの記録演算入力ストリームは、再生されることにより、１／２＾（ｋ−（ｔ−１））倍のスロー再生がされるストリームである。そして、ここで、再生される各フレームは、記録入力ストリームＩＳにおける、連続する２＾ｔ個のフレームが加算された加算フレームである。このため、単に、２＾ｔ個のフレームのうちの１つが再生される場合（図３の従来例）と比べて、モーションブラーの欠落が防がれるなどして、高い画質が実現される。

なお、加算フレームは、より具体的には、例えば、加算フレームへと加算される各フレームが加算された単純加算フレームであってもよい。また、加算フレームは、単純加算フレームの値を、加算された上記各フレームに含まれるフレームの個数で割った値を、その値として有する平均加算フレームであってもよい。加算フレームが単純加算フレームであれば、割り算を行うのを避けて、割り算による余りの情報の分だけ、情報が欠落してしまうのを避けることができる。

入力部５００は、第１の記録演算部が有する第１の選択部５０１に対して、第１の記録演算入力ストリームとして、記録部１５に入力された記録入力ストリームＩＳを入力する。

第ｋ＋１の符号化部（第３の符号化部５１４）は、第ｋの記録演算部（第２の記録演算部５１６）が第ｋ＋１の記録演算部に入力する第ｋ＋１の記録演算入力ストリームに含まれる各フレームを符号化し、符号化された各フレームが含まれてなる第ｋ＋１の記録演算出力ストリームを生成する。第ｋ＋１の記録演算出力ストリームの第ａのフレームは、第ｋ＋１の記録演算入力ストリームの第ａのフレームが符号化された第ａの符号化後のフレームである。

なお、ここで、第ｉのフレーム（ｉは整数）は、例えば、その第ｉのフレームが含まれるストリームに含まれる予め定められた基準フレーム（例えば先頭のフレーム）のアドレスに対して、その値ｉが加えられたアドレスを有するフレームである。例えば、第２×ａ−１のフレームは、そのストリームの奇数フレームであり、第２×ａのフレームは、偶数フレームである。

第ｕの選択部（１≦ｕ≦ｋ）は、第ｕの記録演算部に入力された第ｕの記録演算入力ストリームに含まれる各フレームにおける、第２×ａ−１のフレーム（一方フレーム、図５のハッチング付きのフレーム）と、第２×ａのフレーム（他方フレーム、図５のハッチングが無いフレーム）とをそれぞれ特定する。

第ｕの符号化部は（１≦ｕ≦ｋ）、第ｕの選択部により特定された第２×ａ−１のフレーム（図５のハッチング付きのフレーム）を符号化する。そして、第ｕの符号化部は、第２×ａ−１のフレームが符号化された第ａの符号化後フレームを第ａのフレームとして有する第ｕの記録演算出力ストリームを生成し、生成される第ｕの記録演算出力ストリームを出力する。なお、図７では、出力される第ｕの記録演算出力ストリームとして、第１の記録演算出力ストリームＶａ１、第２の記録演算出力ストリームＶａ２が図示される。

第ｕの加算部は、第ｕの選択部により特定された第２×ａ−１のフレーム（図５のハッチングの無い残りのフレーム）と、第２×ａのフレーム（図５のハッチングが付されたフレーム）とを加算して、それらが加算された第ａの加算フレームを生成する。図５では、第２×ａ−１のフレーム（例えばフレーム１）と、第２×ａのフレーム（フレーム２）とから、それらが加算された第ａの加算フレーム（フレーム１＋２）へと伸びる矢印線により、この加算の処理が示される。そして、第ｕの加算部は、こうして生成される第ａの加算フレームが第ａのフレームとして含まれる第ｕの記録演算出力ストリームを生成する。生成される第ｕの記録演算出力ストリームは、第ｕ＋１の記録演算入力ストリームとして、第ｕの記録演算部により第ｕ＋１の記録演算部へと入力される。

これにより、第１の記録演算部〜第ｋ＋１の記録演算部は、上記した構成を備える第１の記録演算出力ストリーム〜第ｋ＋１の記録演算出力ストリームをそれぞれ出力する。

そして、記録部１５１は、こうして出力される第１の記録演算出力ストリーム〜第ｋ＋１の記録演算出力ストリームを、第１の記録出力ストリームＶａ１〜第ｋ＋１の記録出力ストリームＶａ（ｋ＋１）として（図１５）、多重化部１５４に出力する。

音声エンコード部１５２（図１５）は、記録部１５１に入力される記録入力ストリームＩＳの高速撮影がされた際にビデオカメラシステム１が録音した音声の音声データを符号化する。音声エンコード部１５２は、音声データを符号化した、符号化音声データを生成し、生成される符号化音声データを多重化部１５４に出力する。

多重化部１５４は、多重化部１５４に出力される第１の記録出力ストリームＶａ１〜第ｋ＋１の記録出力ストリームＶａ（ｋ＋１）と、符号化音声データとに基いて、第１の動画ストリーム１５５１〜第ｋ＋１の動画ストリーム１５５３（多重化ストリームＳ１）を生成する。

第１の動画ストリーム１５５１〜第ｋ＋１の動画ストリーム１５５３は、それぞれ、記録部１５１により出力される第１の記録出力ストリームＶａ１〜第ｋ＋１の記録出力ストリームＶａ（ｋ＋１）が格納される。

また、第１の動画ストリーム１５５１〜第ｋ＋１の動画ストリーム１５５３は、それぞれ、音声エンコード部１５２が生成した符号化音声データを格納する（図１５の第１の動画ストリーム１５５１等にそれぞれ示される記号Ａ）。第１の動画ストリーム１５５１〜第ｋ＋１の動画ストリーム１５５３に格納される符号化音声データは、その内容が互いに同一である。

なお、第１の動画ストリーム１５５１〜第ｋ＋１の動画ストリーム１５５３のうちの一部または全部のストリームは、例えば、ＭＰＥＧ規格などの、予め定められた規格による構造を備えるストリームであってもよい。

規格に従った第ｔの動画ストリームは、その規格に従った再生装置により再生される。汎用の再生装置は、第ｕの動画ストリームに含まれる記録出力ストリームおよび符号化音声データをそれぞれ再生することにより、記録入力ストリームＩＳの高速撮影で撮影された映像および音声を再生する。

そして、第ｔの動画ストリームの再生が汎用の再生装置によりされると（１≦ｔ≦ｋ＋１）、単位時間Ｔの表示内容が、２＾（ｔ―１）個のフレームにより示される再生が行われる（図５参照）。例えば、第１の動画ストリームの再生が汎用の再生装置によりされると、単位時間Ｔの表示内容が、２個のフレームの再生によって表示される。

なお、後で詳しく説明されるように、ビデオカメラシステム１により、多重化ストリームＳ１の再生がされれば、単位時間Ｔの表示内容が、４個のフレームの再生によって表示される再生などが可能である。ビデオカメラシステム１によれば、より高画質な再生ができる。

このように、この実施の形態によれば、汎用の再生装置で、画質が低い再生ができ、汎用の再生装置によっても再生ができる。

なお、この実施の形態では、先述されるように、第１の動画ストリーム１５５１〜第ｋ＋１の動画ストリーム１５５３が、それぞれ、符号化音声データを格納する。このため、汎用の再生機でも、音声が再生できる。

例えば、多重化部１５４は、生成した多重化ストリームＳ１を、記憶部９０２（図９）が有する記憶媒体（図１５参照）に記憶させる。

図１７により、ビデオデコーダ９０１（図９）の構成が示される。

ビデオデコーダ９０１は、分離部１７３と、再生部１７１と、音声デコード部１７２とを備える。

ビデオデコーダ９０１は、多重化ストリームＳ２が入力される。多重化ストリームＳ２は、例えば、上述のようにして、ビデオエンコーダ９００が生成した多重化ストリームＳ１である。多重化ストリームＳ２は、多重化ストリームＳ１が有するデータ構造と同じデータ構造を有するデータである。ビデオデコーダ９０１は、例えば、多重化部１５４が記憶部９０２に記憶された多重化ストリームＳ２（多重化ストリームＳ１）を、記憶部９０２から取得して、取得された多重化ストリームＳ２を当該ビデオデコーダ９０１に入力する。

分離部１７３は、多重化ストリームＳ２に含まれる、第１の再生演算入力ストリーム〜第ｋ＋１の再生演算入力ストリームをそれぞれ特定する（図１７参照）。ここで、第１の再生入力ストリームＶｂ１〜第ｋ＋１の再生入力ストリームＶｂ（ｋ＋１）は、先述された、図１５に示される第１の記録出力ストリームＶａ１〜第ｋ＋１の記録出力ストリームＶａ（ｋ＋１）などである。

また、分離部１７３は、多重化ストリームＳ２に含まれる、符号化音声データを特定する。

より具体的には、例えば、分離部１７３は、多重化ストリームＳ２に含まれる、第１の格納部１７４１〜第ｋ＋１の格納部１７４３（図１５の第１の格納部１５５１〜第ｋ＋１の格納部１５５３など）を特定することによって、特定された第１の格納部１７４１〜第ｋ＋１の格納部１７４３に含まれる第１の再生入力ストリームＶｂ１〜第ｋ＋１の再生入力ストリームＶｂ（ｋ＋１）をそれぞれ特定する。

また、具体的には、例えば、分離部１７３は、第１の格納部１７４１〜第ｋ＋１の格納部１７４３のうちの予め定められた１つの格納部に含まれる符号化音声データを特定する。

そして、分離部１７３は、特定された第１の再生入力ストリームＶｂ１〜第ｋ＋１の再生入力ストリームＶｂ（ｋ＋１）を、それぞれ、再生部１７１に出力する。

また、分離部１７３は、特定された符号化音声データを、音声デコード部１７２（図１７）に出力する。

図８により、再生部１７１の構成が示される。

再生部１７１は、第３の復号部６０１と、第２の復号部６０４と、第２の減算部６０６と、第２の選択部６１７と、第１の復号部６０９と、第１の減算部（減算部６１３及び減算部６１５の全体）と、第１の選択部（選択部６１０および選択部６１８の全体）と、選択部６１９とを備える。

第ｕの再生演算部（例えば第１の再生演算部６２１）は（１≦ｕ≦ｋ）、第ｕの復号部（第１の復号部６０９）と、第ｕの減算部（第１の減算部（減算部６１３及び減算部６１５の全体））と、第ｕの選択部（選択部６１０、選択部６１８）との全体により構成される。

第ｋ＋１の復号部（第３の復号部６０１）によって、第ｋ＋１の再生演算部（第３の再生演算部）が構成される。

第ｔの再生演算部は（１≦ｔ≦ｋ＋１）、上記された分離部１７３により、第ｕの再生入力ストリームＶｂｔ（先述）が第ｕの再生演算入力ストリームＶｂｔとして入力され、入力される第ｔの再生演算入力ストリームＶｂｔに基いて第ｔの再生演算出力ストリームを生成し、生成される第ｔの再生演算出力ストリームを出力する。なお、再生部１７１に入力される第ｕの再生入力ストリームＶｂｔは、第ｔの再生演算部に入力される第ｔの再生演算入力ストリームＶｂｔと同一である。これらのストリームには、いずれも、Ｖｂｔの符号が付される。

第ｔの再生演算出力ストリーム（１≦ｔ≦ｋ＋１）は、１／２＾（ｋ−（ｔ−１））倍のスロー再生のための再生ストリームである。なお、ここで、１／２＾（ｋ−（ｔ−１））倍のスロー再生は、ｔ＝ｋ＋１のときには等速度での再生であり、ｔ＝１のときには標準スロー速度での再生である。

再生部１７１は、ビデオカメラシステム１が１／２＾（Ｌ−１）倍のスロー再生を行うのに際して、第ｔの再生演算出力ストリーム（１≦ｔ≦ｋ＋１）を、再生出力ストリームＯＳ（図１７）として選択する（Ｌ＝ｋ＋１−（ｔ−１））。そして、再生部１７１は、選択される第ｔの再生演算出力ストリームを、再生出力ストリームＯＳとして出力することにより、ビデオカメラシステム１に、出力される再生出力ストリームＯＳを再生させる。

また、音声デコード部１７２は、入力される符号化音声データを復号して、復号された音声データを出力することにより、再生出力ストリームＯＳが再生されるのに際して、復号された音声データを再生させる。

図６により、第３の再生演算部が出力する、標準スロー速度の再生演算出力ストリーム（第１群のストリーム）、第２の再生演算部が出力する、１／２倍のスロー速度の再生演算出力ストリーム（第２群のストリーム）、および、第１の再生演算部が出力する、等速度の再生演算出力ストリーム（第３群のストリーム）がそれぞれ示される。

なお、ここで、これらの３つの再生演算出力ストリームは、それぞれ、その再生演算出力ストリームに対応する群の各フレームのうちで、ハッチング付きの各フレーム（奇数フレーム）と、ハッチング無しの各フレーム（偶数フレーム）との両方を含む。

なお、第ｔの再生演算入力ストリームＶｂｔ（図１７参照、１≦ｔ≦ｋ＋１）は、図６の第ｔ群の各フレームのうちで、ハッチングが付された各フレーム（奇数フレーム）が符号化された符号化後のフレームが含まれるストリームである。

第ｋ＋１の復号部（第３の復号部６０１）は、第ｋ＋１の再生演算入力ストリーム（再生入力ストリーム）Ｖｂ（ｋ＋１）、すなわち、図５の第３群のハッチング付きの各フレームの符号化後のフレームが含まれる第３の再生演算入力ストリーム（再生入力ストリーム）Ｖｂ３が入力される。そして、第ｋ＋１の復号部（第３の復号部６０１）は、第３の再生入力ストリームに含まれる各符号化後のフレーム（例えばフレーム１＋２＋３＋４の符号化後のフレーム）をそれぞれ復号し、各復号後のフレーム（フレーム１＋２＋３＋４）が含まれる第ｋ＋１の再生演算出力ストリームを生成する。すなわち、第ｋ＋１の復号部は、第３の再生入力ストリームの第ａのフレームを復号した第ａの復号後のフレームが、第ａのフレームとして含まれる第ｋ＋１の再生演算出力ストリームを生成する。

第ｔの復号部（第２の復号部６０４、第１の復号部６０９、ｋ＋１−（Ｌ―１）≦ｔ≦ｋ、Ｌ≧２）は、第ｔの再生演算入力ストリームＶｂｔの第２×ａ−１のフレーム（例えばフレーム１＋２の符号化後のフレーム）をそれぞれ復号し、復号された第ａの復号後のフレームが、第２×ａ−１のフレームとして含まれる第ｔの再生演算出力ストリームを生成する。

第ｔの減算部（第２の減算部６０６、第３の減算部（減算部６１３、減算部６１５））は、第ｔ＋１の再生演算部によって生成された第ｔ＋１の再生演算出力ストリームに含まれる第ａのフレーム（例えばフレーム１＋２＋３＋４）から、第ｔの復号部によって復号された第ｔの再生演算出力ストリームの第２×ａ−１のフレーム（例えばフレーム１＋２）を減算して、減算後のフレーム（フレーム３＋４）を、第ｔの再生演算出力ストリームの第２×ａのフレームとして生成する。

第ｔの選択部（第１の選択部（選択部６１０、選択部６１８）、第２の選択部６１７）は、第ｔの再生演算部が出力する、第ｔの再生演算出力ストリームの現在のフレームが第２×ａ−１のフレームか、第２×ａのフレームかを判定する。そして、第ｔの選択部は、第２×ａ−１のフレームと判定される場合、第ｔの再生演算入力ストリームの現在のフレーム（第ａのフレーム）が第ｔの復号部により復号された復号後のフレームを、第ｔの再生演算出力ストリームの現在のフレーム（第２×ａ−１のフレーム）として出力させる。また、第ｔの選択部は、第２×ａのフレームとの判定がされる場合、第ｔの再生演算入力ストリームの現在のフレーム（第ａのフレーム）についての減算を第ｔの減算部が行った減算後のフレームを、第ｔの再生演算出力ストリームの現在のフレーム（第２×ａのフレーム）として出力させる。

選択部６１９は、例えば、ビデオカメラシステム１が１／４倍のスロー再生を行うのに際して、第１の記録演算部により特定された第１の再生演算出力ストリームを、第１の再生出力ストリームＯＳ（図１７）として記録部１６１に出力させるなどする。すなわち、選択部６１９は、ビデオカメラシステム１が１／（２＾（Ｌ−１））倍のスロー再生を行うのに際して、第ｋ＋１−（Ｌ−１）の記録演算部により生成される第ｋ＋１−（Ｌ−１）の再生演算出力ストリームを、第１の再生出力ストリームＯＳ（図１７）として出力させる。選択部６１９は、例えば、ユーザによってビデオカメラシステム１に入力される、上記Ｌの値を指定する入力を取得して、取得された入力により指定される値のＬに基いて、再生部１７１等の動作をさせるものとしてもよい。

そして、ビデオカメラシステム１はコンピュータを備えても良い。そして、ビデオエンコーダ９００の上述の機能（図１５等参照）は、このコンピュータによって予め定められたプログラムが実行されることによって実現されてもよい。ビデオデコーダ９０１の上述の機能（図１７等参照）についても、同様である。

図１９〜図２４により、ビデオエンコーダ９００の機能と、ビデオデコーダ９０１の機能とをコンピュータによって実現するためのプログラムの一例を模式的に示すプログラムＰが示される。なお、以下の説明では、説明の便宜上、プログラムＰの細部については、図面による説明のみに留め、煩雑な文章の説明は省略される。以下の説明では、プログラムＰの特定の部分に特定の処理が記述されることは、その特定の部分により、その特定の処理が行われることと呼ばれる。

図２４は、プログラムＰのメイン部２４の構成を示す図である。

メイン部２４は、プログラムＰを実行するコンピュータが、プログラムＰの実行を開始するのに際して、最初に処理を行う、プログラムＰの部分である。

メイン部２４は、記録処理呼び出し部２４ｒと再生処理呼び出し部２４ｐとを備える。記録処理呼び出し部２４ｒは、記録処理部２２（図２２）の処理をコンピュータに開始させる。再生処理呼び出し部２４ｐは、再生処理部２３（図２３）の実行を開始させる。なお、メイン部２４が備えるその他の部分については、図面のみにより示される。

図２２は、記録処理呼び出し部２４ｒ（図２４）が実行を開始させる記録処理部２２の構成を示す図である。

記録処理部２２は、終了判定部２２ｆと、フレーム取得部２２ｐと、エンコード処理呼び出し部２２ｅとを備える。

終了判定部２２ｆは、撮影された動画像の記録入力ストリームＩＳ（図１５等）の各フレームのうちで、予め定められた複数のフレームの処理を記録処理部２２が終了したか否かを判定する。そして、終了判定部２２ｆは、終了したとの判定がされるまでの間、フレーム取得部２２ｐ等の処理を継続させる。より具体的には、終了判定部２２ｆは、例えば、予め定められた単位時間に撮影される複数のフレームの処理が終了したか否かを判定する。プログラムＰの例では、具体的には、プログラムＰのヘッダ部（図１９：後述）のＭＡＸ＿ＦＲＡＭＥ＿ＮＵＭの#define文により定義された個数のフレームの処理が終了したか否かを判定する。

フレーム取得部２２ｐは、記録入力ストリームＩＳの各フレームのうちで、記録部１５１が処理を終了していないもののなかで、先頭のフレーム（着目フレーム）を特定する。そして、具体的には、プログラムＰの例では、フレーム取得部２２ｐは、予め定められた記憶領域（frame＿buf＿enc[]の先頭の記憶領域）に、特定された着目フレームを格納する。

エンコード処理呼び出し部２２ｅは、エンコード処理部２０（図２０）の処理を開始させる。

図２０は、エンコード処理呼び出し部２２ｅ（図２２）が処理を開始させるエンコード処理部２０の構成を示す図である。

エンコード処理部２０は、その処理が開始される際の引数ｊを有する。引数ｊは、開始される処理でエンコード処理部２０が扱う第ｔの記録出力ストリームのｔを、ｔ＝ｊ＋１として特定する。メイン部２４（図２４）の記録処理呼び出し部２４ｒは、引数０（ｔ＝０＋１＝１）を用いて、エンコード処理部２０に処理を開始させる。また、エンコード処理部は、ｊ≧１の引数が、このエンコード処理部２０の他方フレーム処理部２２Ｅ（後述）に用いられて、他方フレーム処理部２２Ｅにより、その処理が開始される。

エンコード処理部２０は、フレーム判定部２２ａと、符号化側フレーム処理部２２Ｏと、他方フレーム処理部２２Ｅとを備える。

フレーム判定部２２ａは、フレーム取得部２２ｐ（図２２）により特定された着目フレームが、第ｔの記録演算入力ストリーム（ｔ＝ｊ＋１）の各フレーム（図５の第ｔ群のハッチング付きおよびハッチング無しの各フレーム）のうちで、第ｔの記録演算入力ストリームの奇数フレーム（第２×ａ−１のフレーム）であるか否かを判定する。より具体的には、フレーム判定部２２ａは、第ｔの記録演算入力ストリームの各フレームが格納される予め定められた記憶領域（プログラムＰにおけるframe＿buf＿enc[j]）に格納されたフレームの個数が奇数か否かを判定する（プログラムＰの「frame＿buf＿enc[j].size%2 == 1」の条件式を参照）。なお、図２２のフレーム取得部２２ｐは、第１の記録演算入力ストリームのこの記憶領域の先頭に、フレーム取得部２２ｐが特定した着目フレームを格納する。そして、フレーム判定部２２ａは、格納された個数が奇数なら、着目フレームは奇数フレームであると判定する。なお、後で詳しく説明されるように、上記予め定められた記憶領域に格納されたフレームが削除（廃棄）される際には、そのフレームとともに、そのフレームと対になる偶数フレームが削除される。このため、この削除のために、誤った判定がされてしまう結果が生じる、ということはない。

符号化側フレーム処理部２２Ｏは、上記フレーム判定部２２ａにより着目フレームが第２×ａ−１のフレームと判定された場合の処理を行う。例えば、符号化側フレーム処理部２２Ｏは、着目フレームが図５のフレーム１であるときに、ｔ＝１（ｊ＝０）である際に、着目フレームは第２×ａ−１のフレームであると判定されて、その処理を行う。

そして、符号化側フレーム処理部２２Ｏは、符号化部２２Ｏ１と、出力部２２Ｏ２とを備える。

符号化部２２Ｏ１は、着目フレーム（第２×ａ−１のフレーム）を符号化する。なお、図２０に示される、プログラムＰの符号化部２２Ｏ１では、この符号化の処理は模式的に構成される。

出力部２２Ｏ２は、符号化部２２Ｏ１によって符号化された符号化後のフレーム（frame＿odd）を、第ｔの記録出力ストリーム（ｔ＝プログラムＰにおけるｊ＋１）の現在のフレームとして特定する。具体的には、なお、プログラムＰでは、この出力の処理が、記憶領域bitstream＿buf[j]に対して、符号化後のフレームを格納する処理により模式的に示される。

他方フレーム処理部２２Ｅは、上記フレーム判定部２２ａにより、取得されたフレームが偶数フレーム（第２×ａのフレーム）と判定された場合の処理を行う。

他方フレーム処理部２２Ｅは、他方フレーム取得部２２Ｅ１と、符号化側フレーム取得部２２Ｅ２と、加算部２２Ｅ３と、次ストリーム処理呼び出し部２２Ｅ４とを備える。

他方フレーム取得部２２Ｅ１は、判定されたフレーム（第２×ａのフレーム）を取得する。

符号化側フレーム取得部２２Ｅ２は、判定がされたフレーム（第２×ａのフレーム）に対して対になる奇数フレーム（第２×ａ−１のフレーム）を取得する。

なお、このとき、これら他方フレーム取得部２２Ｅ１および符号化側フレーム取得部２２Ｅ２は、上記記憶領域frame＿buf＿enc[j]から、取得されるこれらの第２×ａのフレームおよび第２×ａ−１のフレームをそれぞれ削除（廃棄）する。こうして、１組の第２×ａのフレームおよび第２×ａ−１のフレームは、一方のみが削除されるのではなく、両方が同時に削除される。このため、こうしてフレームが削除されても、フレーム判定部２２ａによる判定が誤ることはない（先述の通り）。

加算部２２Ｅ３は、他方フレーム処理部２２Ｅにより取得された第２×ａ−１のフレームと、符号化側フレーム取得部２２Ｅ２により取得された第２×ａのフレームとを加算する。なお、プログラムＰの例では、この加算の処理が模式的に示される。

そして、加算部２２Ｅ３は、加算後の加算フレームを、後述の次ストリーム処理呼び出し部２２Ｅ４が開始させる、第ｔ＋１の記録出力ストリームを扱う処理の着目フレームとして特定する。具体的には、加算部２２Ｅ３は、図２０に示されるよう、予め定められた記憶領域（frame＿buf＿enc[j+1]の先頭）に、加算フレームを記憶させることにより、この特定を行う。

次ストリーム処理呼び出し部２２Ｅ４は、第ｔ＋１の記録出力ストリームを扱う処理を、エンコード処理部２０（図２０）に開始させる。このため、次ストリーム処理呼び出し部２２Ｅ４は、処理を開始させる際に、図２０に示されるように、ｊ＋１を引数として用いる。開始される処理においては、上記のようにして、先に加算部２２Ｅ３により特定され着目フレームに基いた処理がエンコード処理部２０により行われる。

なお、例えば、図１９のＭＡＸ＿ＦＲＡＭＥ＿ＮＵＭの定義は、４ではなく８であってもよい。このときには、図６のフレーム５＋６＋７＋８が、第ｋ＋１の記録演算入力ストリームの２番目のフレーム（第２×ａのフレーム）である。

そして、他方フレーム処理部２２Ｅは、ｔ＝ｋ＋１すなわち、ｊ＋１＝ｋ＋１の場合には、着目フレームが第２×ａ−１のフレームであるか、第２×ａのフレームであるかに関わらず、着目フレームは第２×ａ−１のフレームであるとみなして、着目フレームは第２×ａ−１のフレームであるとの判定をするものとしてよい。このとき、フレーム５＋６＋７＋８は、符号化側フレーム取得部２２Ｅ２により符号化される。

記録演算部の個数（ｋ＋１）は、例えば、高速撮影のフレームレートが、通常のフレームレートのＮ倍であるときに（図５等の例では、Ｎ＝４）、ｋ＋１＝Ｌｏｇ２Ｎ個（Ｌｏｇ２Ｎは、２を底とするＮの対数）である。こうすれば、第ｋ＋１の記録演算入力ストリームは、１個のフレームを含む。このため、例えば、フレーム５＋６＋７＋８は、第２×ａのフレーム（偶数フレーム）ではなく、第２×ａ−１のフレーム（奇数フレーム）である。よって、上述のようにして、ｔ＝ｋ＋１のときに他方フレーム処理部２２Ｅが例外的な処理を行うという必要がなくなり、処理を簡単にできる。

なお、図７に示される第１の選択部５０１および第２の選択部５０７の全体は、例えば、フレーム判定部２２ａに対応する（例えば、同じ機能を有する）と解されてもよい。また、図７の第１の加算部５０６および第２の加算部５１２の全体は、例えば、図２０の加算部２２Ｅ３に対応すると解されてもよい。図７の第１の符号化部５０４、第２の符号化部５１０、および第３の符号化部５１４の全体は、例えば、図２０の符号化部２２Ｏ１に対応する機能を有すると解されてもよい。

図１３は、プログラムＰの処理のフローチャートである。

ステップＳ１１（ステップＳ１５）では、記録の処理が中止されるか否かが判定されて、中止されると判定されなければ、繰り返し、ステップＳ１２〜Ｓ１５の処理を実行させる。例えば、ユーザによる中止をさせる予め定められた入力がコンピュータに入力された場合などに、中止がされるものとの判定がされる。なお、プログラムＰは、例えば、このステップＳ１１（ステップＳ１５）の処理を行う中止制御部（図略）を備えてもよい。

ステップＳ１２（ステップＳ１６）では、記録処理部２２（図２２）の繰り返し制御部（図２２のfor(input＿frame…の部分が、単位時間（Ｔ）のフレームの個数（図１９のMAX＿FRAME＿NUM）の回数だけ、フレーム取得部２２ｐおよびエンコード処理呼び出し部２２ｅ（図２２）に、それらのブロックの処理を実行させる。

ステップＳ１３では、フレーム取得部２２ｐ（図２２）が、着目フレームを特定する。

ステップＳ１４では、エンコード処理呼び出し部２２ｅ（図２２）が、ステップＳ１３で特定された着目フレームについて、第１の記録演算出力ストリームを扱う処理を、エンコード処理部２０（図２０）に開始させる。

ステップＳ２１等は、エンコード処理部２０による処理を示す。

ステップＳ２１では、フレーム判定部２２ａが、着目フレームが、第２×ａ−１のフレーム（奇数フレーム）であるか否かを判定する。

ステップＳ２２ａでは、ステップＳ２１で第２×ａ−１のフレーム（奇数フレーム）と判定された場合に（ステップＳ２１：ＹＥＳ）、符号化側フレーム処理部２２Ｏの符号化部２２Ｏ１が、着目フレームを符号化する。

ステップＳ２３ａでは、出力部２２Ｏ２が、ステップＳ２２ａで符号化された符号化後のフレームを、第ｔ（＝ｊ＋１）の記録出力ストリーム（図５参照）の現在の出力フレームとして出力する。

ステップＳ２２ｂでは、ステップＳ２１で、着目フレームが第２×ａ−１のフレーム（奇数フレーム）ではないと判定された場合（ステップＳ２１：ＮＯ）、すなわち第２×ａのフレーム（偶数フレーム）と判定された場合に、他方フレーム処理部２２Ｅが、先述の通りに、２つのフレームの加算を、他方フレーム処理部２２Ｅの加算部２２Ｅ３により行う。

ステップＳ２３ｂでは、他方フレーム処理部２２Ｅが、次ストリーム処理呼び出し部２２Ｅ４により、ステップＳ２２ｂで加算された加算フレームを着目フレームとして、第ｔ＋１の記録演算出力ストリームの出力を行う処理を、エンコード処理部２０に開始させる。

図１９は、プログラムＰのヘッダ部１９の構成を示す図である。

ヘッダ部１９は、再生速度特定部１９１を備える。再生速度特定部１９１は、ビデオカメラシステム１によって１／２＾（Ｌ−１）倍のスロー再生（先述）が行われる際における左記の定数Ｌを特定する。具体的には、プログラムＰの例では、再生速度特定部１９１は、#define文によって、プリプロセッサの機能によりＬの値を特定する例が模式的に示される。なお、再生速度特定部１９１は、例えば、ユーザによる、Ｌの値を指定する入力を取得する構成などが採られてもよい。

図２３は、メイン部２４の再生処理呼び出し部２４ｐ（図２４）が呼び出す再生処理部２３の構成を示す図である。

再生処理部２３は、その処理が起動される際の引数target＿stream＿numberを有する。この引数target＿stream＿numberは、上記Ｌの値を、Ｌ＝（ｋ＋１）−target＿stream＿number と特定する。つまり、再生処理部２３は、特定されたＬの値に対応する、１／２＾（Ｌ−１）倍のスロー再生用の記録出力ストリーム（第ｋ＋１−（Ｌ−１））の記録演算出力ストリームを生成して、生成された記録出力ストリームを出力する。

再生処理部２３は、起動部２３１と、デコード処理呼び出し部２３２とを備える。

起動部２３１は、上述の第ｋ＋１−（Ｌ−１）の再生演算出力ストリームの各フレームを順次選択して、選択されたフレーム（着目フレーム）の処理をデコード処理呼び出し部２３２に開始させる。

デコード処理呼び出し部２３２は、起動部２３１により選択された着目フレームについての、第ｋ＋１−（Ｌ−１）の再生演算出力ストリームの処理を、デコード処理部２１（図２１）に開始させる。ここで、第ｋ＋１−（Ｌ−１）の再生演算出力ストリームは、上述のように、記録部１６１が出力するストリームである。

図２１は、デコード処理呼び出し部２３２（図２３）が呼び出すデコード処理部２１の構成を示す図である。

デコード処理呼び出し部２３２は、引数ｊと、引数ｆとを受け取る。

引数ｊは、デコード処理呼び出し部２３２が処理する第ｔの記録演算入力ストリームを、第ｊ＋１の記録演算入力ストリームと特定する。例えば、上述のデコード処理呼び出し部２３２は、第ｋ＋１−（Ｌ−１）の再生演算出力ストリームの処理を開始させるために、引数ｊ＝｛ｋ＋１−（Ｌ−１）｝−１＝ｋ＋１−Ｌ（＝図２３のtarget＿stream＿number）を用いる。

引数ｆは、着目フレームを特定する。具体的には、引数ｆは、着目フレームの、第ｔの記録演算入力ストリームにおけるアドレス（順番、フレーム番号）である。

デコード処理部２１は、フレーム判定部２１ａと、復号側フレーム処理部２１Ｏと、他方フレーム処理部２１Ｅとを備える。

フレーム判定部２１ａは、着目フレームが、デコード処理部２１が処理する第ｔの記録演算入力ストリームのうちの第２×ａ−１のフレーム（奇数フレーム）であるか否かを判定する。具体的には、フレーム判定部２１ａは、図２１に示される通り、着目フレームのフレーム番号の最下位ビット（f & 0x1）が、０であるか否かを判定することによって、判定を行う。

復号側フレーム処理部２１Ｏは、上記フレーム判定部２１ａにより着目フレームが第２×ａ−１のフレーム（奇数フレーム）であると判定された場合に（f&0x1 == 0）、着目フレームの処理を行う。

そして、復号側フレーム処理部２１Ｏは、取得部２１Ｏ１と、復号部２１Ｏ２とを備える。

取得部２１Ｏ１は、着目フレーム（図６のハッチング付きのフレームの符号化後のフレーム）を取得する。

復号部２１Ｏ２は、取得部２１Ｏ１により取得された符号化後のフレームを復号する。この例では、この復号の処理は、模式的に示される。

他方フレーム処理部２１Ｅは、着目フレームが第２×ａのフレーム（偶数フレーム）と判定された場合に、処理を行う。

そして、他方フレーム処理部２１Ｅは、次ストリーム処理呼び出し部２１Ｅ１と、加算フレーム取得部２１Ｅ２と、復号側フレーム取得部２１Ｅ３と、減算部２１Ｅ４と、出力部２１Ｅ５とを備える。

次ストリーム処理呼び出し部２１Ｅ１は、着目フレーム（例えば図６のフレーム２）の加算フレーム（フレーム１＋２）を生成する、第ｔ＋１の記録演算入力ストリームを用いる処理を、デコード処理部２１に開始させる。開始される処理により、着目フレームの加算フレーム（フレーム１＋２）がデコード処理部２１により生成される。ここで、次ストリーム処理呼び出し部２１Ｅ１は、上述のように、第ｔ＋１の記録演算入力ストリームを用いる処理を開始させる。このため、次ストリーム処理呼び出し部２１Ｅ１は、引数ｊとして、ｔ＋１を特定する値（ｊ＋１）を用いる。また、着目フレームが第ｔの記録演算入力ストリームにおける第２×ａのフレームであるのに対応して、生成される加算フレームは、第ｔ＋１の記録演算出力ストリームにおける第ａのフレームである。このため、次ストリーム処理呼び出し部２１Ｅ１は、処理を開始させるのに際して、引数ｆとして、「ａ」を特定する値、すなわちｆ／２（f>>1）を用いる。ここで、「f>>1」は、ｆを１ビット右シフトした値であり、fを２で割った数を示す。

加算フレーム取得部２１Ｅ２は、次ストリーム処理呼び出し部２１Ｅ１が開始させた処理で生成される上記の加算フレーム（例えば、図６のフレーム１＋２）を取得する。

復号側フレーム取得部２１Ｅ３は、第ｔの再生演算入力ストリームの第２×ａ−１のフレームが復号された復号後のフレームを取得する。

減算部２１Ｅ４は、加算フレーム取得部２１Ｅ２により取得された加算フレームから、復号側フレーム取得部２１Ｅ３により取得された復号後のフレームを減算し、減算後のフレームを、着目フレーム（第２×ａのフレーム）と特定する。

出力部２１Ｅ５は、特定された着目フレームを出力する。

なお、図８の第１の復号部６０９、第２の復号部６０４、第３の復号部６０１の全体は、例えば、復号部２１Ｏ２（図２１）に対応すると解されてもよい。また、図８の第２の減算部６０６および第１の減算部（減算部６１３および減算部６１５）の全体は、例えば、減算部２１Ｅ４に対応すると解されてもよい。また、選択部６１７、選択部６１０、選択部６１８、選択部６１９の全体は、例えば、フレーム判定部２１ａに対応すると解されてもよい。

図１４は、プログラムＰによる再生部１７１が行う処理のフローチャートである。

ステップＳ３１（ステップＳ３６）では、再生の処理が中止されるか否かが判定されるなどの処理が、例えば上述の中止制御部等により行われる（図１３のステップＳ１１等）。

ステップＳ３２では、再生処理部２３（図２３）が、再生速度特定部１９１（図１９）によって特定されるＬの値を取得する。具体的には、再生処理部２３は、Ｌの値を特定する引数target＿stream＿numberを取得することにより、Ｌの値を取得する。

ステップＳ３３（ステップＳ３５）では、起動部２３１（図２３）が、順次、フレームを選択して、選択されたフレーム（着目フレーム）の処理を行わせる。

ステップＳ３４では、デコード処理呼び出し部２３２が、ステップＳ３３で選択された着目フレームについての、ステップＳ３２で特定されたＬにより示される第ｋ＋１−（Ｌ−１）の再生演算入力ストリームを用いる処理を、デコード処理部２１に行わせる。

ステップＳ４１等は、デコード処理部２１による処理の内容を示す。

ステップＳ４１では、フレーム判定部２１ａが、着目フレームが、第２×ａ−１のフレームか否かを判定する。

ステップＳ４２ａでは、ステップＳ４１で第２×ａ−１のフレーム（奇数フレーム）と判定された場合に（ステップＳ４１：Ｙｅｓ）、復号側フレーム処理部２１Ｏが、着目フレームの復号を行う。

ステップＳ４３ａでは、復号側フレーム処理部２１Ｏが、ステップＳ４２ａで復号された復号後のフレームを記憶させる。

ステップＳ４２ｂでは、ステップＳ４１で着目フレームが第２×ａのフレーム（偶数フレーム）と判定された場合に（ステップＳ４１：Ｎｏ）、次ストリーム処理呼び出し部２１Ｅ１が、先述された加算フレームを生成する処理を、デコード処理部２１に行わせる。

ステップＳ４３ｂでは、ステップＳ４２ｂで生成された加算フレームに基いて、加算フレーム取得部２１Ｅ２、復号側フレーム取得部２１Ｅ３、減算部２１Ｅ４、及び出力部２１Ｅ５が、減算などの各種の処理を行う。

なお、この例では、説明の便宜上から、再帰処理が実行される例が示されるが、再帰処理が実行されないプログラムが構成されてもよい。

図１０により、ディジタルテレビシステム１ａが示される。

ディジタルテレビシステム１ａは、ビデオデコーダ１０００を備える。ビデオデコーダ１０００は、先述されたビデオデコーダ９０１の機能と同様の機能を有し、例えば図７の構成を有する。図１０のディジタルテレビシステム１ａによる変形例が実施されてもよい。

図１６は、多重化ストリームＳ１ａを示す図である。

多重化ストリームＳ１ａは、複数の保持部を備える。例えば、多重化ストリームＳ１ａは、複数の視点位置からの動画像がそれら複数の保持部によってそれぞれ保持されるストリームである、マルチシーン（マルチチャネル、マルチアングル）のストリームである。

第１の保持部〜第ｋ＋１の保持部は、多重化ストリームＳ１が有する複数の保持部の一部又は全部であり、それぞれ、第１の記録出力ストリームＶａ１〜第ｋ＋１の記録出力ストリームＶａ（ｋ＋１）を保持する。なお、第１の保持部〜第ｋ＋１の保持部は、それぞれ、例えば、保持する記録出力ストリームのフレームのタイムスタンプを有する。タイムスタンプは、そのフレームの時刻と同じ時刻における、他の記録出力ストリームのフレームを特定する。

そして、多重化ストリームＳ１ａは、複数の保持部と共に、符号化音声データを格納する音声記録部を備える（図１６の記号Ａ参照）。

なお、多重化ストリームＳ１ａは、具体的には、例えば、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）の規格により、マルチシーンの形式を有し、かつ、ＭＰＥＧの規格により上記音声記録部を備えるものであってもよい。

これにより、そのマルチシーンの形式のストリームを再生する汎用の再生装置により、第ｕの保持部の記録出力ストリームおよび符号化音声データを再生することにより、先述の場合と同様、比較的画質は低くなるものの、汎用の再生装置で簡単に動画像を再生できる。

多重化部１６４は、記録部１６１が出力する第１の記録出力ストリーム〜第ｋ＋１の記録出力ストリームから、多重化ストリームＳ１ａを生成する。

図１８は、ビデオデコーダ９０１（図９）に入力される多重化ストリームＳ２ａを示す図である。多重化ストリームＳ２ａは、例えば上記多重化ストリームＳ１ａであるなどして、多重化ストリームＳ１ａのデータ構造と同じデータ構造を有する。

分離部１８４は、多重化ストリームＳ１ａから、第１の再生入力ストリームＶｂ１〜第ｋ＋１の再生入力ストリームＶｂ（ｋ＋１）を生成して、生成される第１の再生入力ストリームＶｂ１〜第ｋ＋１の再生入力ストリームＶｂ（ｋ＋１）を、再生部１８１に入力する。なお、生成される第１の再生入力ストリーム〜第ｋ＋１の再生入力ストリームは、例えば、第１の記録出力ストリームＶａ１〜第ｋ＋１の記録出力ストリームＶａ（ｋ＋１）である（図１６参照）。

図２５は、ビデオカメラシステム１の動作を示す図である。図２５では、ビデオカメラシステム１の動作が、図２５の表の第３列に示される。

図２５の表の第１行は、第ｕの記録演算部（例えば第２の記録演算部５１６）に入力される第ｕの記録演算入力ストリームＩｎ（１≦ｕ≦ｋ）を示す。第ｕの記録演算入力ストリームＩｎは、第２×ａ−１のフレームＮＦ（奇数フレーム）と、第２×ａ−１のフレームに対して連続する第２×ａのフレームＳＦ（偶数フレーム）とを含む。

図２５の表の第２行は、第ｕの記録演算部〜第ｋ＋１の記録演算部による、第２×ａ−１のフレームＮＦと、第２×ａのフレームＳＦとの処理を示す。

この処理において、第ｕの記録演算部等は、第２×ａ−１のフレームＮＦ（例えば図５のフレーム１）を、符号化後の第２×ａ−１のフレームＣＦ１へと符号化する。なお、図２５では、符号化されるフレームは、ハッチングを付して示される。また、第ｕの記録演算部等は、第２×ａのフレームＳＦ（フレーム２）と、第２×ａ−１のフレームＮＦ（フレーム１）とを加算する加算処理ＡＰ（図２５）を行い、加算処理ＡＰによる加算がされた加算フレームＡｄｆ（フレーム１＋２）を生成する。生成される加算フレームＡｄｆ（フレーム１＋２）は、第ｕ＋１の記録演算部等により、符号化後の加算フレームＣＦ２ａへと符号化される。ここで、この符号化は、場合によっては、加算フレーム（例えば３＋４）に対して、さらに予め定められたフレーム（フレーム１＋２）が加算された処理後のフレームに対して行われる（フレーム１＋２＋３＋４）。ここで、これら加算の処理の処理量は、符号化の処理の処理量と比べて小さい。

そして、従来例１（図２５の表の第１列、図１（ｂ）参照）、従来例２（図２５の表の第２列、図４）では、上記加算処理ＡＰが行われず、単に、第２×ａ−１のフレームＮＦと第２×ａのフレームＳＦとの２つのフレームがそれぞれ符号化されるだけである。そして、先述のように、行われる加算の処理の処理量は小さい。よって、ビデオカメラシステム１で符号化をする際の処理量は、従来例（従来例１および従来例２）の処理量と、この小さな処理量の分だけ異なるのに過ぎず、実質的に同一に維持される（図１１参照）。

図２５の表の第３行は、例えば、入力ストリームＩｎの第２×ａ−１のフレームＮＦと第２×ａのフレームＳＦとの両方がそれぞれ再生される場合など、両方のフレームが利用される両方フレーム利用の場合におけるビデオカメラシステム１の処理を示す。

ビデオカメラシステム１では、符号化された符号化後の第２×ａ−１のフレームＣＦ１（例えば図６のフレーム１）が復号される。また、符号化後の加算フレームＣＦ２ａ（又は上述した、処理後のフレームが符号化されたもの、図６のフレーム１＋２）が復号され、復号後の加算フレームＣＦ２ａ（又は上述した処理後のフレーム）からの減算の処理が行われる。こうして生成された第２×ａ−１のフレームＮＦ１及び第２×ａのフレームＮＦ２ａにより、両方フレーム利用が行われる。

ここで、従来例（従来例１および従来例２）では、減算処理が行われない点で、上記処理と異なる。そして、ここで、減算の処理の処理量は相対的に小さい。このため、上記されるビデオカメラシステム１において、両方フレーム利用のときの処理量は、従来例の処理量と実質的に同等である。

図２５の表の第４行は、第２×ａ−１のフレームＮＦと第２×ａのフレームＳＦとによる表示内容が、１つのフレームの再生のみにより表示される、間引き利用の場合の処理が示される。

ビデオカメラシステム１では、加算フレーム（例えばフレーム１＋２）が符号化された符号化後のフレームが復号される。これにより、復号されるフレームは１つに減少される一方で、利用されるフレームは、加算フレームであり、画質が高い。

他方、従来例１（図１（ｂ）参照）では、加算フレームが利用されず、モーションブラーが欠落するなどして、画質が低い。

また、従来例２（図４参照）では、上記される間引き利用に際して、加算フレームが生成されるときに、２つ以上のフレームが復号される。例えば、ストリームに含まれる全てのフレームが復号される。

したがって、ディジタルテレビシステム１ａによれば、従来例１、従来例２とは異なって、処理量を小さくしつつも、高い画質が実現されて、小さい処理量と高い画質とが両立される。

上記のようにして、上記の実施の形態により、次の各装置等がそれぞれ構成される。

（Ａ１） ストリーム（例えば、図５の第２群における、第ｋの記録演算入力ストリーム：処理ストリーム）に含まれる連続する２つのフレーム（フレーム１＋２、フレーム３＋４：２つの処理フレーム）のうちで一方のフレーム（フレーム１＋２）を符号化する符号化部（第２の符号化部５１０（および第１の符号化部５０４、第３の符号化部５１４））と、前記２つのフレームのうちで他方のフレームと、前記一方のフレームとを加算する加算部（第２の加算部５１２（および第１の加算部５０６、第３の加算部５１２））とを備える記録装置（ビデオエンコーダ９００、記録部１５１）が構成される。

（Ａ２） 前記符号化部は、一方の処理ストリーム（第ｋの記録演算入力ストリーム：図５の第２群）に含まれる第２×ａ−１の処理フレーム（フレーム１＋２）と第２×ａの処理フレーム（フレーム３＋４）とのうちの一方の処理フレーム（フレーム１＋２）を符号化して（ａは整数）、符号化した符号化後のフレームを、一方の出力ストリーム（第ｋの記録演算出力ストリーム）に含まれる第ａの出力フレームとして生成し、前記加算部は、前記一方の処理ストリーム（第ｋの記録演算入力ストリーム）に含まれる前記第２×ａ−１の処理フレーム（フレーム１＋２）と前記第２×ａの処理フレーム（フレーム３＋４）とが加算された第ａの加算フレーム（フレーム１＋２＋３＋４）を、他方の処理ストリーム（第ｋ＋１の記録演算入力ストリーム）に含まれる第ａのフレームとして生成する記録装置が構成される。

（Ａ３） 前記一方の処理ストリームおよび前記一方の出力ストリームは、第ｋの処理ストリーム（第ｋの記録演算入力ストリーム）および第ｋの出力ストリーム（第ｋの記録演算出力ストリーム）であり、前記他方の処理ストリームは、第ｋ＋１の処理ストリーム（第ｋ＋１の記録演算入力ストリーム）であり（ｋ≧１）、前記符号化部は、第ｋ＋１の処理ストリームに含まれる第２×ａ−１のフレーム（例えばフレーム１＋２＋３＋４）と前記第２×ａのフレーム（フレーム５＋６＋７＋８）とをそれぞれ符号化して、符号化された各符号化後のフレームを、第ｋ＋１の出力ストリーム（第ｋ＋１の記録演算出力ストリーム）に含まれる第２×ａ−１の出力フレームと第２×ａのフレームとして生成する第ｋ＋１の符号化部（第３の符号化部５１４）と、第ｕの処理ストリーム（第ｕの記録演算入力ストリーム）に含まれる第２×ａ−１のフレーム（フレーム１＋２）と前記第２×ａのフレーム（フレーム３＋４）とのうちの一方の処理フレーム（フレーム１＋２）を符号化して、符号化された符号化後のフレームを、第ｕの出力ストリーム（第ｕの記録演算出力ストリーム）に含まれる第２×ａ−１の出力フレームと第２×ａの出力フレームとのうちの一方の出力フレーム（第２×ａ−１の出力フレーム）として生成する第ｕ符号化部（第２の符号化部５１０、第１の符号化部５０４）とを含み（１≦ｕ≦ｋ）、前記加算部は、前記第ｕの処理ストリーム（第ｕの記録演算入力ストリーム）に含まれる第２×ａ−１のフレーム（フレーム１＋２）と前記第２×ａのフレーム（フレーム３＋４）とを加算して、加算された加算後のフレームを、前記第ｕ＋１の処理ストリーム（第ｕ＋１の記録演算入力ストリーム）に含まれる第ａのフレームとして生成する第ｕの加算部（第２の加算部５１２、第１の加算部５０６）を含む記録装置が構成される。

（Ａ４） 第ｕの処理ストリームに含まれる処理フレームが前記一方のフレームか否かを判定して、前記一方のフレームと判定される処理フレームを前記符号化部により符号化させ、前記一方のフレームではないと判定される処理フレームの前記加算フレームを前記加算部に生成させる判定部（第２の選択部５０７、第１の選択部５０１）を備え、前記判定部は、第１の判定部〜第ｋの判定部（第１の選択部５０１〜第２の選択部５０７）を備え、前記第ｕの判定部は、第ｕの処理ストリームについての前記判定を行う記録装置が構成される。

（Ａ５） 前記符号化部は、第ｕの処理ストリームに含まれる第１〜第２＾（ｋ＋１−ｕ）（＝２＾（３−ｕ））の処理フレーム（Ａ＾Ｂは、ＡのＢ乗を示す）のうちの、奇数フレームである処理フレームをそれぞれ符号化し、符号化された２＾（ｋ−ｕ）（２＾（２−ｕ））個の処理フレームが含まれる第ｕの出力ストリーム（第ｕの記録演算出力ストリーム）を生成し、前記加算部は、第ｕの処理ストリームの第１〜第２＾（ｋ＋１−ｕ）の処理フレームから生成した２＾（ｋ−ｕ）個の加算フレームが含まれる第ｕ＋１の処理ストリーム（第ｕ＋１の記録演算出力ストリーム）を生成し、生成される第ｋ＋１の処理ストリーム（ｕ＝ｋ）（第ｋ＋１（＝３）の記録演算出力ストリーム）に含まれる加算フレームは１個（＝ｋ−ｕ）（フレーム１＋２＋３＋４のみ）である記録装置が構成される。

（Ａ６）前記第１の処理ストリームに含まれるＮ個（Ｎ＝２＾ｋ＝２＾（ｋ＋１−１））の処理フレームを入力する入力手段（入力部５００）と、第１の記録処理部〜第ｋ＋１の記録処理部（第１の記録演算処理部〜第ｋ＋１の記録演算処理部）とを備え、前記符号化部は、前記第ｔの記録処理部に設けられた第ｔの符号化部が含まれ（１≦ｔ≦ｋ＋１）、前記加算部は、第ｔの記録処理部に設けられた第ｔの加算部が含まれ（１≦ｕ≦ｋ）、第１の記録処理部は、前記入力手段から得られる奇数フレームと偶数フレームとを格納する記憶手段を備え、当該第１の記録処理部が有する前記第１の符号化部が、格納された前記奇数フレームを符号化し、前記第１の符号化部より得られるビットストリームを前記第１の出力ストリームとして格納する記憶手段とを備え、当該第１の記録処理部が有する前記第１の加算部が、格納された前記奇数フレームと前記偶数フレームとを加算し、前記第ｑの記録処理部は（２≦ｑ≦ｋ＋１）、前記第ｑ−１の加算部から得られる奇数フレームと偶数フレームとを格納する記憶手段を備え、第ｑの符号化部が、前記第ｑ−１の加算部から得られる、格納された奇数フレームを符号化し、前記第ｑの符号化部より得られるビットストリームを第ｑの出力ストリームとして格納する記憶手段を備え、当該第ｑの記録処理部が備える前記第ｑの加算部が、格納された奇数フレームと偶数フレームとを加算し、前記第１の記録処理部〜前記第ｋ＋１の記録処理部によりｋ＋１段で構成されることを特徴とする記録装置が構成される。

（Ａ７） 一方のフレーム（例えばフレーム１＋２）が符号化された符号化後のフレームから当該一方のフレームを復号する復号部（第２の復号部６０４（および第３の復号部６０１、第１の復号部６０９））と、当該一方のフレームと、当該一方のフレームに連続する他方のフレーム（フレーム３＋４）とが加算された加算フレーム（フレーム１＋２＋３＋４）から、当該一方のフレーム（フレーム１＋２）を減算し、減算後のフレームを、前記他方のフレーム（フレーム３＋４）として生成する減算部（第２の減算部６０６）とを備える再生装置（再生部１７１、ビデオデコーダ９０１）が構成される。

（Ａ８） 前記復号部は、一方の処理前ストリーム（例えば、第ｋの再生演算入力ストリーム）に含まれる第ａの処理前フレーム（例えばフレーム１＋２）を復号し（ａは整数）、復号後のフレームを、一方の処理後ストリーム（第ｋの再生演算出力ストリーム）に含まれる第２×ａ−１の処理後フレームおよび第２×ａの処理後フレームのうちの一方のフレームとして生成し、前記減算部は、前記一方の処理後ストリームの前記第２×ａ−１の処理後フレーム（フレーム１＋２）および第２×ａの処理後フレーム（フレーム３＋４）が加算された加算フレーム（フレーム１＋２＋３＋４）が、第ａの処理後フレームとして含まれる他方の処理後ストリーム（第ｋ＋１の再生演算入力ストリーム）に含まれる当該ａの処理後フレーム（フレーム１＋２＋３＋４）から、前記一方の処理前フレームの前記第ａの処理前フレームが復号された前記一方のフレーム（フレーム１＋２）を減算して、減算後のフレームを、前記一方の処理後ストリーム（第ｋの再生演算出力ストリーム）の前記第２×ａ−１の処理後フレームおよび前記第２×ａの処理後フレームのうちの他方のフレーム（フレーム３＋４）として生成する再生装置が構成される。

（Ａ９） 前記一方の処理前ストリームおよび前記一方の処理後ストリームは、第ｋの処理前ストリーム（第ｋの再生演算入力ストリーム）および第ｋの処理後ストリーム（第ｋの再生演算出力ストリーム）であり、前記他方の処理後ストリームは、第ｋ＋１の処理後ストリーム（第ｋ＋１の再生演算出力ストリーム）であり（ｋ≧１）、前記復号部は、前記第ｋ＋１の処理前ストリーム（第ｋ＋１の再生演算入力ストリーム）に含まれる第ａの処理前フレームを復号して、復号後のフレーム（フレーム１＋２＋３＋４）を、第ｋ＋１の処理後ストリーム（第ｋ＋１の再生演算出力ストリーム）の第ａの処理後フレームとして生成する第ｋ＋１の復号部（第３の復号部６０１）と、前記第ｖの処理前ストリーム（ｍ≦ｖ≦ｋ）（第ｖの再生演算入力ストリーム）に含まれる第２×ａ−１の処理前フレームと第２×ａの処理前フレームとのうちの一方を復号して、復号後のフレーム（例えばフレーム１＋２）を、第ｖの処理後ストリーム（第ｖの再生演算出力ストリーム）に含まれる第２×ａ−１の処理後フレーム（フレーム１＋２）と第２×ａの処理後フレーム（フレーム３＋４）のうちの一方（フレーム１＋２）として生成する第ｖの復号部（第２の復号部６０４）とを備え、前記減算部は、前記第ｖ＋１の処理後ストリーム（第ｋ＋１の再生演算出力ストリーム）に含まれる第ａの処理後フレームから、第ｖの処理後ストリーム（第ｋの再生演算出力ストリーム）に含まれる第２×ａ−１の処理後フレームと第２×ａの処理後フレームのうちの一方の処理後フレーム（フレーム１＋２）を減算して、減算後のフレームを、第ｖの処理後ストリームの他方の処理後フレーム（フレーム３＋４）として生成する第ｖの減算部（第２の減算部６０６）を備える再生装置が構成される。

（Ａ１０） ｍ＝１であり、第ｋ＋１の処理後ストリーム１つのフレームの期間に、２＾（Ｌ−１）個のフレームを当該再生装置が再生する場合には（１≦Ｌ≦ｋ＋１）、第ｋ＋１の復号部〜第ｋ＋１−（Ｌ−１）の復号部、および第ｋ＋１の減算部〜第ｋ＋１−（Ｌ−１）の減算部のみにより、第ｋ＋１の処理後ストリーム〜第ｋ＋１−（Ｌ−１）の処理後ストリームのみを生成させて、第ｋ＋１−（Ｌ−１）の処理後ストリームに含まれる各処理後ストリームの再生を当該再生装置に行わせる選択部（選択部６１９）を備える再生装置が構成される。

（Ａ１１） 第ｖの処理後ストリームに含まれる処理後フレームが前記一方のフレームか否かを判定して、前記一方のフレームと判定される場合、当該処理後フレームが符号化された符号化後の処理後フレームから前記復号部により復号されるフレームを、判定された前記処理後フレームとして選択し、前記一方のフレームではないと判定される場合、判定された前記処理後フレームが前記他方のフレームとして加算された加算フレームから前記減算部により生成されるフレームを、判定された当該処理後フレームとして選択する判定部（第２の選択部６１７、第１の選択部（選択部６１０、選択部６１８））を備え、前記判定部は、第ｍの判定部〜第ｋの判定部を備え、第ｖの判定部は、第ｖの処理後ストリームについての前記判定および選択を行う再生装置が構成される。

（Ａ１２） 第１の処理ストリームに含まれるＮ個（Ｎ＝２＾ｋ）の処理フレームのうちの奇数フレームを符号化した第１の出力ストリームと、前記第ｕの処理ストリーム（１≦ｕ≦ｋ）の奇数フレームと偶数フレームとを加算した加算フレームを生成し、生成された各加算フレームが含まれる中間ストリームの奇数フレームのみを符号化した第ｕ＋１の出力ストリームを記録することをｋ回繰り返す（１≦ｕ≦ｋ）ことで得られた第２から第ｋ＋１の出力ストリームとである第１の処理前ストリーム〜第ｋ＋１の処理前ストリームを処理し、再生部と、第１の再生処理部〜第ｋ＋１の再生処理部とを備え、前記復号部は、第ｔの再生処理部に設けられた第ｔの復号部が含まれ（１≦ｔ≦ｋ＋１）、前記減算部は、第ｕの再生処理部に設けられた第ｕの減算部が含まれ（１≦ｕ≦ｋ）、第ｋ＋１の記録処理部は、当該第ｋ＋１の記録処理部が備える前記第ｋ＋１の復号部が、第ｋ＋１の処理前ストリームを復号し再構成し、前記再生部は、Ｌ＝１の場合に、前記第ｋ＋１の復号部から得られるフレームを再生し、第ｕの記録処理部は（１≦ｕ≦ｋ）、当該第ｕの記録処理部が備える前記第ｕの復号部が、第ｕの処理前ストリームを復号し再構成し、当該第ｕの記録処理部が備える前記第ｕの減算部が、第ｋ＋１から第ｕ＋１の処理前ストリームから再構成した２＾（ｋ＋１−ｕ）／２（＝２＾（ｋ−ｕ））フレームから、第ｕ＋１の処理前ストリームから前記第ｕの復号部が再構成した、対応する前記奇数フレームを、それぞれ減算し、前記再生部は、Ｌ≧２の場合に、前記第ｋ＋１−（Ｌ−１）の復号部から得られるフレームを奇数フレームとして再生すると共に、前記第ｋ＋１−（Ｌ−１）の減算部から得られるフレームを偶数フレームとして再生し、前記第１の再生処理部〜前記第ｋ＋１の再生処理部とによりｋ＋１段で構成したことを特徴とする再生装置が構成される。

（Ａ１３） 映像と音声の入力インターフェースとしてＣＣＤ周辺部とマイクとを備え、オートフォーカス部を制御するカメラ信号処理手段と、動画像の符号化及び復号化と、音声の符号化及び復号化とをそれぞれ行う信号処理手段と、映像と音声を出力するインターフェースと、記録データを保持するためのインターフェースとを備えたビデオカメラシステムであって、（Ａ３）記載の記録装置と、（Ａ９）記載の再生装置とを備えたことを特徴とするビデオカメラシステムが構成される（図９参照）。

（Ａ１４） チューナからの信号をディジタル変復調する手段、デスクランブルとトランスポートストリームの復号化を行う手段、動画像復号化と音声復号化を行う信号処理手段、映像と音声を出力する手段を備えたディジタルテレビシステムであって、（Ａ９）記載の再生装置を備えたことを特徴とするディジタルテレビシステムが構成される。

また、次の各装置等が構成される（図１０参照）。

（Ｂ１） Ｎ（Ｎは２のべき乗数）フレームに対して、奇数フレームを符号化したビットストリームを記録し、
奇数フレームと偶数フレームを加算したフレームを生成し、前記加算したフレームに対して奇数フレームのみを符号化したビットストリームを記録することをＬｏｇ２Ｎ（底２の対数）回繰り返すことで
Ｌｏｇ２Ｎ＋１個のビットストリームを生成することを特徴とする記録方法が構成される。

（Ｂ２） Ｎ（Ｎは２のべき乗数）フレームに対して、奇数フレームを符号化した第１のビットストリームと、前記符号化対象フレームの奇数フレームと偶数フレームを加算したフレームを生成し、前記加算したフレームに対して奇数フレームのみを符号化したビットストリームを記録することをＬｏｇ２Ｎ（底２の対数）回繰り返すことで得られた第２から第Ｌｏｇ２Ｎ＋１のビットストリーム対して、
Ｎフレーム中の１フレームを再生する場合には、第Ｌｏｇ２Ｎ＋１のビットストリームを復号し再構成したフレームを再生し、
Ｎフレーム中の２フレームを再生する場合には、第Ｌｏｇ２Ｎのビットストリームを復号し再構成したフレームを奇数フレームとして再生し、第Ｌｏｇ２Ｎ＋１のビットストリームから再構成したフレームから前記奇数フレームを減算したフレームを偶数フレームとして再構成し再生し、
Ｎフレーム中のＭフレーム（Ｍは３以上Ｎ以下の２のべき乗の数）を再生する場合には、第Ｌｏｇ２Ｍ＋１のビットストリームを復号し再構成したフレームを奇数フレームとして再生し、第Ｌｏｇ２Ｍから第Ｌｏｇ２Ｎ＋１のビットストリームから再構成したＭ／２フレームから対応する第Ｌｏｇ２Ｍ＋１のビットストリームから再構成した前記奇数フレームを減算したフレームを偶数フレームとして再生することを特徴とする再生方法が構成される。

（Ｂ３） Ｎ（Ｎは２のべき乗数）フレームを入力する入力手段、前記入力手段から得られる奇数フレームと偶数フレームを格納する記憶手段、前記奇数フレームを符号化する符号化手段、前記符号化手段より得られるビットストリームを格納する記憶手段で構成される第1の記録手段と、
奇数フレームと偶数フレームを加算する加算手段、前記加算手段から得られる奇数フレームと偶数フレームを格納する記憶手段、前記加算手段から得られる奇数フレームを符号化する符号化手段、前記符号化手段より得られるビットストリームを格納する記憶手段で構成される第２の記録手段とを備え、
前記第１の記録手段と前記第２の記録手段とがＬｏｇ２Ｎ（底２の対数）段で構成されることを特徴とする記録装置が構成される。

（Ｂ４） Ｎ（Ｎは２のべき乗数）フレームに対して、奇数フレームを符号化した第１のビットストリームと、
前記符号化対象フレームの奇数フレームと偶数フレームを加算したフレームを生成し、前記加算したフレームに対して奇数フレームのみを符号化したビットストリームを記録することをＬｏｇ２Ｎ（底２の対数）回繰り返すことで得られた第２から第Ｌｏｇ２Ｎ＋１のビットストリーム対して、
Ｎフレーム中の１フレームを再生する場合には、第Ｌｏｇ２Ｎ＋１のビットストリームを復号し再構成する復号手段、前記復号手段から得られるフレームを再生する再生手段で構成される第１の再生手段と、
Ｎフレーム中のＭフレーム（Ｍは３以上Ｎ以下の２のべき乗の数）を再生する場合には、第Ｌｏｇ２Ｍ＋１のビットストリームを復号し再構成する復号手段、前記復号手段から得られるフレームを奇数フレームとして再生する再生手段、第Ｌｏｇ２Ｍから第Ｌｏｇ２Ｎ＋１のビットストリームから再構成したＭ／２フレームから対応する第Ｌｏｇ２Ｍ＋１のビットストリームから再構成した前記奇数フレームを減算する減算手段、前記減算手段から得られるフレームを偶数フレームとして再生する再生手段で構成される第２の再生手段とを備え、
前記第１の再生手段と前記第２の再生手段とがＬｏｇ２Ｎ（底２の対数）段で構成したことを特徴とする再生装置が構成される。

（Ｂ５） 映像と音声の入力インターフェースとしてＣＣＤ周辺部とマイクを備え、オートフォーカス部などを制御するカメラ信号処理手段、動画像符号化及び復号化と音声符号化及び復号化を行う信号処理手段と、映像と音声を出力するインターフェース、記録データを保持するためのインターフェースを備えたビデオカメラシステムであって、
前記動画像符号化において、Ｎ（Ｎは２のべき乗数）フレームに対して、奇数フレームを符号化したビットストリームを記録し、
奇数フレームと偶数フレームを加算したフレームを生成し、前記加算したフレームに対して奇数フレームのみを符号化したビットストリームを記録することをＬｏｇ２Ｎ（底２の対数）回繰り返すことでＬｏｇ２Ｎ＋１個のビットストリームを生成する手段を備え、
前記動画像復号化において、Ｎフレームに対して、奇数フレームを符号化した第１のビットストリームと、前記符号化対象フレームの奇数フレームと偶数フレームを加算したフレームを生成し、前記加算したフレームに対して奇数フレームのみを符号化したビットストリームを記録することをＬｏｇ２Ｎ（底２の対数）回繰り返すことで得られた第２から第Ｌｏｇ２Ｎ＋１のビットストリーム対して、
Ｎフレーム中の１フレームを再生する場合には、第Ｌｏｇ２Ｎ＋１のビットストリームを復号し再構成したフレームを再生し、
Ｎフレーム中の２フレームを再生する場合には、第Ｌｏｇ２Ｎのビットストリームを復号し再構成したフレームを奇数フレームとして再生し、
第Ｌｏｇ２Ｎ＋１のビットストリームから再構成したフレームから前記奇数フレームを減算したフレームを偶数フレームとして再構成し再生し、Ｎフレーム中のＭフレーム（Ｍは３以上Ｎ以下の２のべき乗の数）を再生する場合には、第Ｌｏｇ２Ｍ＋１のビットストリームを復号し再構成したフレームを奇数フレームとして再生し、
第Ｌｏｇ２Ｍから第Ｌｏｇ２Ｎ＋１のビットストリームから再構成したＭ／２フレームから対応する第Ｌｏｇ２Ｍ＋１のビットストリームから再構成した前記奇数フレームを減算したフレームを偶数フレームとして再生する手段を備えたことを特徴とするビデオカメラシステムが構成される。

（Ｂ６） チューナからの信号をディジタル変復調する手段、デスクランブルとトランスポートストリームの復号化を行う手段、動画像復号化と音声復号化を行う信号処理手段、映像と音声を出力する手段を備えたディジタルテレビシステムであって、
前記動画像復号化において、Ｎフレームに対して、奇数フレームを符号化した第１のビットストリームと、前記符号化対象フレームの奇数フレームと偶数フレームを加算したフレームを生成し、前記加算したフレームに対して奇数フレームのみを符号化したビットストリームを記録することをＬｏｇ２Ｎ（底２の対数）回繰り返すことで得られた第２から第Ｌｏｇ２Ｎ＋１のビットストリーム対して、
Ｎフレーム中の１フレームを再生する場合には、第Ｌｏｇ２Ｎ＋１のビットストリームを復号し再構成したフレームを再生し、
Ｎフレーム中の２フレームを再生する場合には、第Ｌｏｇ２Ｎのビットストリームを復号し再構成したフレームを奇数フレームとして再生し、
第Ｌｏｇ２Ｎ＋１のビットストリームから再構成したフレームから前記奇数フレームを減算したフレームを偶数フレームとして再構成し再生し、
Ｎフレーム中のＭフレーム（Ｍは３以上Ｎ以下の２のべき乗の数）を再生する場合には、第Ｌｏｇ２Ｍ＋１のビットストリームを復号し再構成したフレームを奇数フレームとして再生し、第Ｌｏｇ２Ｍから第Ｌｏｇ２Ｎ＋１のビットストリームから再構成したＭ／２フレームから対応する第Ｌｏｇ２Ｍ＋１のビットストリームから再構成した前記奇数フレームを減算したフレームを偶数フレームとして再生する手段を備えたことを特徴とするディジタルテレビシステムが構成される。

なお、上記のように、連続する２つのフレームのうちで一方のフレームが符号化される。ここで、符号化される一方のフレームは、それら２つのフレームのうちで、前方側のフレーム（第２×ａ−１のフレーム）ではなく、後方側のフレーム（第２×ａのフレーム）であってもよい。

そして、先述のように、符号化される一方のフレームが、前方側のフレームであれば、後方側のフレームの処理が可能になる時間よりも前に、予め、早く、一方のフレームの符号化の処理が開始できる。このため、一方のフレームを符号化する処理や、その処理の後続の処理を早く終了できて、処理遅延が低減できる。また、後方側のフレームの処理が可能になる時間よりも後に多くの処理がされないようにして、処理負荷を分散できる。

また、一方のフレーム（例えばフレーム１）と他方のフレーム（フレーム２）とが、加算フレーム（フレーム１＋２）へと加算される処理が開始されるよりも後に、一方のフレームの符号化の処理が開始されてもよい。

これに対して、先述のように、加算の処理が開始されるよりも前に、一方のフレームの符号化の処理が早く開始されれば、処理遅延を低減したり、無くしたりできる。また、処理負荷を分散できる。

本発明にかかる記録及び再生方法とその装置においては、高速度撮影を行うムービー、動画像を再生するディジタルテレビにおいて、処理性能が十分でない再生装置においても良好な画質の提供が可能であり、低消費電力化やコストダウンに有用である。

本発明は、高速度撮影における動画像の記録及び再生方法とその装置に関するものである。

動画像における圧縮符号化技術において、ＭＰＥＧがある。近年、普及している主なＭＰＥＧの規格として、ＭＰＥＧ２、ＭＰＥＧ４、ＭＰＥＧ４ＡＶＣなどがある。その圧縮技術の主な特徴は、符号化対象の画像フレーム（以下、符号化対象フレームと呼ぶ）と、既に符号化され再構成された画像フレーム（以下、参照フレームと呼ぶ）との差分に対して、ＤＣＴ（離散コサイン変換）と量子化を行った後に、可変長符号化を行うことである。

図１は、従来の技術を示す図である。

例えば、ＭＰＥＧの符号化装置によって、図１（ａ）に示すような期間Ｔに、２フレームを符号化する場合において、フレーム番号が１〜４で示される符号化対象フレームと、各符号化対象フレームの参照フレームとの関係が、図１（ａ）の各矢印で示されるような参照関係（１と２、２と３、３と４に参照関係がある）で符号化を行う。

図２は、連続表示および間引き表示の例を示す図である。

前述の条件下で符号化されたデータを、ＭＰＥＧの復号装置によって再生する場合において、まず図２（ａ）に示すように、期間Ｔ毎に連続再生する場合は、フレーム１から順番に復号しながら再生する。一方、図２（ｂ）に示すように、期間Ｔ毎にフレーム１、３を間引き再生する場合において、フレーム３はフレーム２と参照関係があるため、フレーム３を再生するためにはフレーム２も復号する必要がある。つまり再生の必要がないフレームにおいても、そのフレームが、参照関係があるフレームであれば、そのフレームの復号は行わなければならない。このため、復号の処理の処理量が多く、期間Ｔに含まれる複数枚のフレームに参照関係が存在する符号化データを期間Ｔ当りに１フレームを復号する能力しかない装置においては、間引き再生は困難であるという課題があった。

この課題に対し、（特許文献１）では、図１（ｂ）の矢印で示されるような参照関係（１と２、１と３、３と４に参照関係がある）で符号化を行う。これによって、復号化装置においてフレーム１、３を間引き再生する場合に、フレーム２の復号をスキップさせることを可能としている。

図３は、従来の技術を示す図である。

そして、特許文献１の技術を高速度撮影時における動画フレームの符号化に適用することで、例えば図３（ａ）に示すような期間Ｔに、通常の４倍のフレーム数が入力される場合において、図３（ｂ）に示すような１／４スロー再生、図３（ｃ）に示すような１／２スロー再生、図３（ｄ）に示すような１／１スロー（等速）再生に対して処理負荷の増加を抑えた再生装置を提供することが可能である。

しかしながら、高速度撮影された動画像に対する間引き再生は、再生速度に対する適当なモーションブラーが欠落しており、等速再生に近いほど不自然な動画像になるという課題と、通常撮影時と比較して露光時間が短いため画質が悪いという課題がある。

図４は、従来の技術を示す図である。

そこで、これら課題の解決するために、特許文献２では、図４（ａ）に示すような期間Ｔに、通常の４倍のフレーム数が入力される場合において、図４（ｂ）〜（ｄ）に示すように１／４、１／２、１／１（等速）に対してフレームを加算しながら再生する。

しかしながら、フレームを加算しながら再生する場合は間引き再生であっても、全てのフレームを復号する必要があるため、再生される速さが、等速再生に近いほど、再生装置に対する負荷は増大する。

特開２００３−２９９１０３号公報 特開２００６−３３２４２号公報

従来の技術では、画質と処理負荷を同時に改善することが困難であり、本発明は、高速度撮影における動画像に対して、良好な画質と処理負荷の増加を抑えることを両立する記録及び再生方法とその装置を提供する。

すなわち、図３の技術によれば、図１（ｂ）のスキップがされる技術により、処理量が小さい処理量にできる一方で、画質が低い。他方、図４の技術によれば、高い画質は実現されるが、加算フレームを得るためにはスキップができず、図１（ｂ）の技術による処理量の低減ができず、処理量が大きい。

本発明は、この点に鑑みてなされたものであり、２つのフレームの両方が再生される通常再生が行われる場合と共に、通常再生の際に２つのフレームの再生によって見せられる表示内容が、１つのフレームの再生のみで見せられる間引き再生が行われる場合があっても、高い画質と小さな処理量とが両立できることを目的とする。

本発明の記録装置は、ストリームに含まれる連続する２つのフレームのうちで一方のフレームを符号化する符号化部と、前記２つのフレームのうちで他方のフレームと、前記一方のフレームとを加算する加算部とを備える記録装置である。また、本発明の再生装置は、一方のフレームが符号化された符号化後のフレームから当該一方のフレームを復号する復号部と、当該一方のフレームと、当該一方のフレームに連続する他方のフレームとが加算された加算フレームから、当該一方のフレームを減算し、減算後のフレームを、前記他方のフレームとして生成する減算部とを備える再生装置である。

これにより、２つのフレームの両方が再生されることにより見られる表示内容が、１つのフレームの再生のみで見られるようにする際（間引き再生の際）には、加算フレームが再生され、例えばモーションブラーの欠落が防げるなどにより、高い画質が実現される。

しかも、加算フレームが再生される際には、単に、加算フレームが復号されるだけで、復号されるフレームの個数は１で足り、少ない個数のフレームの復号で足りる。これにより、処理量が、小さい処理量で足りる。また、２つのフレームの両方が再生される際には、一方のフレームと他方のフレームとの２つのフレームが復号され、復号されるフレームの数が少ない数に維持される。そして、ここで、フレームの減算の処理の処理量は、フレームの復号の処理の処理量と比べれば相対的に小さい。他方、符号化のときにも、単に、一方のフレームが符号化されるのと共に、加算フレームが符号化されるだけで、符号化されるフレームの数が少ない数に維持される。なお、ここで、フレームの加算の処理の処理量も小さい。

したがって、通常再生がされる場合と、間引き再生がされる場合とがあっても、高い画質と小さい処理量とが両立される。

本発明によれば、高速度撮影における動画像に対して、良好な画質と処理負荷の増加を抑えることとを両立する記録及び再生方法と、その装置を提供することが可能となる。

図１は、従来の技術を示す図である。 図２は、（ａ）により連続再生の例を示し、（ｂ）により間引き再生の例を示す図である。 図３は、従来の技術を示す図である。 図４は、従来の技術を示す図である。 図５は、本発明の実施の形態１における記録方式を示す図である。 図６は、本発明の実施の形態２における再生方式を示す図である。 図７は、本発明の実施の形態１における記録装置の構成図である。 図８は、本発明の実施の形態１における再生装置の構成図である。 図９は、ビデオカメラシステムの構成図である。 図１０は、ディジタルテレビシステムの構成図である。 図１１は、記録処理における従来と本実施の形態の演算量の比較を示す図である。 図１２は、再生処理における従来と本実施の形態の演算量の比較を示す図である。 図１３は、プログラムによる処理のフローチャートである。 図１４は、再生部による処理のフローチャートである。 図１５は、ビデオエンコーダの構成を示す図である。 図１６は、多重化ストリームを示す図である。 図１７は、ビデオデコーダの構成を示す図である。 図１８は、ビデオデコーダに入力される多重化ストリームを示す図である。 図１９は、プログラムのヘッダ部の構成を示す図である。 図２０は、エンコード処理呼び出し部が処理を開始させるエンコード処理部の構成を示す図である。 図２１は、デコード処理呼び出し部が呼び出すデコード処理部の構成を示す図である。 図２２は、記録処理呼び出し部が実行を開始させる記録処理部の構成を示す図である。 図２３は、メイン部の再生処理呼び出し部が呼び出す再生処理部の構成を示す図である。 図２４は、プログラムのメイン部の構成を示す図である。 図２５は、ビデオカメラシステムの動作を示す図である。

以下本発明の実施の形態について、図面を参照しながら説明する。

従来からの課題を解決するために、本発明の記録方法においては、Ｎ（Ｎは２のべき乗数）フレームに対して、奇数フレームを符号化したビットストリームを記録し、奇数フレームと偶数フレームを加算したフレームを生成し、前記加算したフレームに対して奇数フレームのみを符号化したビットストリームを記録することをＬｏｇ２Ｎ（底２の対数）回繰り返すことでＬｏｇ２Ｎ＋１個のビットストリームを生成する。

一方、本発明の再生方法においては、Ｎ（Ｎは２のべき乗数）フレームに対して、奇数フレームを符号化した第１のビットストリームと、前記符号化対象フレームの奇数フレームと偶数フレームを加算したフレームを生成し、前記加算したフレームに対して奇数フレームのみを符号化したビットストリームを記録することをＬｏｇ２Ｎ（底２の対数）回繰り返すことで得られた第２から第Ｌｏｇ２Ｎ＋１のビットストリーム対して、Ｎフレーム中の１フレームを再生する場合には、第Ｌｏｇ２Ｎ＋１のビットストリームを復号し再構成したフレームを再生し、Ｎフレーム中の２フレームを再生する場合には、第Ｌｏｇ２Ｎのビットストリームを復号し再構成したフレームを奇数フレームとして再生し、第Ｌｏｇ２Ｎ＋１のビットストリームから再構成したフレームから前記奇数フレームを減算したフレームを偶数フレームとして再構成し再生し、Ｎフレーム中のＭフレーム（Ｍは３以上Ｎ以下の２のべき乗の数）を再生する場合には、第Ｌｏｇ２Ｍ＋１のビットストリームを復号し再構成したフレームを奇数フレームとして再生し、第Ｌｏｇ２Ｍから第Ｌｏｇ２Ｎ＋１のビットストリームから再構成したＭ／２フレームから対応する第Ｌｏｇ２Ｍ＋１のビットストリームから再構成した前記奇数フレームを減算したフレームを偶数フレームとして再生する。

以下、詳しく説明される。

（実施の形態１）
図５は、本発明の実施の形態１における記録方法を示す図である。

以下、説明を簡単化するために高速度撮影時における入力フレームは、図５（１ａ）に示すように、期間Ｔ（単位時間）に４フレームとする。通常撮影時は、期間Ｔに１フレームの記録を行うとすれば、４倍速の記録をしていることになる。

まず、記録方法の概略について図５を用いて説明する。

図５（１ａ）に示すように期間Ｔに、２の２乗の数（４＝２＾ｋ（ｋ＝２、「Ａ＾Ｂ」はＡのＢ乗を示す））のフレーム１，２，３，４が入力され、第１の記録ステップにおいて、図５（１ｂ）に示すように奇数フレーム１、３を符号化した第１のビットストリームを記録する。また、第１の記録ステップにおいて、図５（１ｃ）に示すように奇数フレームと偶数フレームをそれぞれを加算したフレーム１＋２、３＋４を生成する。また、第２の記録ストップにおいて（後述される、図７の第２の記録演算部５１６を参照）、前記加算したフレームに対して奇数フレームすなわちフレーム１＋２を符号化した第２のビットストリームを記録する。また、第２の記録ステップにおいて、図５（１ｄ）に示すように、第１の記録ステップにおいて加算したフレームの奇数フレームと偶数フレームを加算したフレーム１＋２＋３＋４を生成する。そして、第３の記録ステップにおいて、前記フレーム１＋２＋３＋４フレームを符号化した第３のビットストリームを記録する。

図７は、記録部１５１の構成を示す図である。

次に本実施の形態における記録装置（記録部１５１、図９のビデオエンコーダ９００）について、図７を用いて説明する。

入力部５００から得られるフレーム１，２，３，４（図５参照、記録入力ストリームＩＳ（図５、図１５）、第１の記録演算入力ストリーム）は、第１の選択部５０１によって奇数フレーム１，３と、偶数フレーム２，４に振り分けられ、それぞれの記憶部５０２、５０３に格納される。記憶部５０２に格納された奇数フレームは、第１の符号化部５０４によって符号化され、生成された第１のビットストリーム（第１の記録出力ストリームＶａ１）は、記憶部５０５に格納される。

次に記憶部５０２と５０３に格納されている奇数フレームと偶数フレームから第１の加算部５０６によって奇数フレーム１＋２と偶数フレーム３＋４を生成する。加算されたフレーム１＋２、３＋４は（第１の記録演算出力ストリーム）、第２の選択部５０７によってそれぞれの記憶部５０８、５０９に格納される。記憶部５０８に格納された奇数フレームは、第２の符号化部５１０によって符号化され、生成された第２のビットストリーム（第２の記録出力ストリームＶａ２）は、記憶部５１１に格納される。

最後に記憶部５０８と５０９に格納されている奇数フレームと偶数フレームから第２の加算部５１２によってフレーム１＋２＋３＋４を生成する（第２の記録演算出力ストリーム）。加算されたフレーム１＋２＋３＋４は、記憶部５１３に記憶される（第３の記録演算入力ストリーム）。記憶部５１３に格納された奇数フレームは、第３の符号化部５１４によって符号化され、生成された第３のビットストリーム（第３の記録出力ストリームＶａ３）は、記憶部５１５に格納される。

なお、本実施の形態においては、説明の簡単化のために入力フレーム数が４（＝２の２乗＝２＾ｋ）を例に説明したが、Ｎが２のべき乗数の場合においては、処理ブロック（第２の記録演算部５１６）を、Ｌｏｇ２Ｎ個（ｋ個）設けることで対応可能である。なお、符号化部５１４が含まれる第３の記録演算部と合わせて、記録演算部は、Ｌｏｇ２Ｎ＋１（＝ｋ＋１）個も受けられる。なお、ここで、Ｌｏｇ２Ｎは、２を底とするＮの対数を示す。

なお、符号化部５０４、５１０、５１４においては、要求性能を満たせば共有化してもよい。つまり、符号化部５０４、５１０、５１４の各機能を実現する１つの大きな機能ブロックが構成されてもよい。加算部５０６、５１２についても同様に要求性能を満たせば共有化してもよい。

図１１は、記録処理における従来例（図４の技術）と本発明の演算量比較を示す図である。

かかる構成によれば、例えば符号化部（第１の符号化部〜第３の符号化部）における１個のフレームの符号化に要する演算量を１００、加算部（第１の符号化部〜第２の加算部）における１回の、加算フレームの生成に要する演算量を４０とした場合において、従来と本実施の形態１の演算量を比較すると、図１１に示すように、本実施の形態１による演算量は、加算の処理の分だけ、従来例の演算量より若干多くなる。しかし、ｋが大きくなった場合には（図１１のｎが大きくなった場合には）、符号化の処理の処理量と比べて、加算の処理の処理量は小さいので、本実施の形態１の演算量は、従来例の演算量と同等になる。また、実施の形態の例では、符号化部、加算部などを複数個で構成できることから、並列分散化が容易であるため、低消費電力化について、従来例よりも有用である。また、並列分散化が容易であるので、並列分散化による高速化により、本実施の形態１の処理では、処理量は同等でも、従来例よりも高速に処理ができる。

（実施の形態２）
図６は、本発明の実施の形態２における再生方法を示す図である。

以下、説明を簡単化するために高速度撮影時における入力フレームは、図６（２ａ）（図５（１ａ）に示される記録入力ストリームＩＳ）に示すような期間Ｔに４フレームとする。通常撮影時は、期間Ｔに１フレームの記録を行うとすれば、４倍速の記録をしていることになる。

まず、再生方法の概略について図６を用いて説明する。

図６（２ａ）に示すように、期間Ｔに２の２乗の数（４＝２＾ｋ個）のフレーム１，２，３，４に対して、実施の形態１で記載した記録方式によって生成された第１〜第３のビットストリーム（図７に示される第１の記録出力ストリームＶａ１〜第３の記録出力ストリームＶａ３、図８に示される第１の再生入力ストリームＶｂ３〜第３の再生入力ストリームＶｂ１）に対して、本実施の形態の再生方法を適用することを前提とする。なお、後述のように、第１の再生入力ストリームＶｂ３〜第３の再生入力ストリームＶｂ１は、第１の再生演算入力ストリームＶｂ３〜第３の再生演算入力ストリームＶｂ１と別称される。

図６（２ｄ）に示すように、４フレーム中の１フレームを再生する場合、すなわち等速再生（１／１倍のスロー再生、すなわち、１／（２＾（Ｌ−１））倍（Ｌ＝１）のスロー再生）を行う場合には、第３のビットストリーム（図８に示される第３の再生入力ストリームＶｂ３）を復号し再構成したフレームＤ０（フレーム１＋２＋３＋４）を再生する（後述される、第３の再生出力ストリーム）。

図６（２ｃ）に示すように４フレーム中の２フレームを再生する場合、すなわち１／２倍のスロー再生を行う場合には（Ｌ＝２）、第２のビットストリーム（図８に示される第２の再生入力ストリームＶｂ２）を復号し再構成したフレームを奇数フレームＣ０（フレーム１＋２）として再生する。

また、Ｌ＝２の場合には、第３のビットストリーム（図８の第３の再生入力ストリームＶｂ３）から再構成したフレームＤ０（フレーム１＋２＋３＋４）から前記奇数フレームＣ０（フレーム１＋２）を減算したフレームＣ１（フレーム３＋４）を、偶数フレームとして再構成し再生する。

そして、Ｌ＝３の場合、すなわち、図６（２ｂ）に示すように４フレーム中の４フレームを再生する場合、すなわち１／４スロー再生を行う場合には、第１のビットストリーム（図８の第１の再生入力ストリームＶｂ１）を復号し再構成したフレームを奇数フレーム１、３として再生し、第２のビットストリーム（図８の第２の再生入力ストリームＶｂ２）から再構成したフレームＣ０から、奇数フレーム１を減算したフレーム２を生成し、フレームＣ１から奇数フレーム３を減算したフレーム４を生成し、偶数フレームとして再生する。

図８は、再生部１７１の構成を示す図である。

次に本実施の形態における再生装置（再生部１７１、図９のビデオデコーダ９０１）について、図８を用いて説明する。

４フレーム中の１フレームを再生する場合（Ｌ＝１の場合）、すなわち等速再生（１／（２＾（Ｌ−１）倍のスロー再生、Ｌ＝１）を行う場合には、記憶部６００に格納される第３のビットストリーム（第３の再生入力ストリームＶｂ３、図６の第３群参照）を、第３の復号部６０１によって再構成し、再構成フレームを記録部６０２に格納する。これにより、格納される再構成フレームによるストリームとして、等速再生のためのストリームである第３の記録出力ストリームが構成される。

４フレーム中の２フレームを再生する場合（Ｌ＝２の場合）、すなわち１／２スロー再生を行う場合には（１／（２＾（２−１））＝１／（２＾（Ｌ−１）））、記憶部６０３に格納される第２のビットストリーム（第２に再生入力ストリームＶｂ２）を、第２の復号部６０４によって再構成し、再構成フレームを記録部６０５に格納する。そして、記録部６０２に格納されているフレーム１＋２＋３＋４と、この記録部６０５に格納されているフレーム１＋２から、第２の減算部６０６によって、フレーム３＋４を生成し、生成したフレーム３＋４を、記録部６０７に格納する。第２の選択部６１７は、記録部６０５に格納されるフレームを奇数フレーム、記録部６０７に格納されるフレームを偶数フレームとして選択を行う。これにより、第２の選択部６１７により選択される各フレームが構成するストリームとして、１／２スロー再生のためのストリームである第２の記録出力ストリーム（図６（２ｃ）のハッチング付きおよびハッチング無しの各フレームによるストリーム）が構成される。

４フレーム中の４フレームを再生する場合（Ｌ＝３の場合）、すなわち１／４スロー再生を行う場合には、図８右上に示される記憶部６０８に格納される第１のビットストリーム（第１の再生入力ストリームＶｂ１）を第１の復号部６０９によって再構成し、再構成フレームは選択部６１０（第１の選択部の第１部分）によって奇数フレーム、偶数フレームに振り分けられて、記録部６１１、６１２にそれぞれに格納される。そして、記録部６０５に格納されているフレーム１＋２と、記録部６１１に格納されているフレーム１から減算部６１３（第３の減算部の第１部分）によってフレーム２を生成し、生成したフレームを記録部６１４に格納する。記録部６０７に格納されているフレーム３＋４と、記録部６１２に格納されているフレーム３から減算部６１５（第３の減算部の第２部分）によってフレーム４を生成し、生成したフレーム４を、記録部６１６に格納する。選択部６１８（第１の選択部の第２部分）は、記録部６１１に格納されるフレームをフレーム１、記録部６１４に格納されるフレームをフレーム２、記録部６１２に格納されるフレームをフレーム３、記録部６１６に格納されるフレームをフレーム４として順番に選択を行う。これにより、１／４スロー再生のためのストリームである第１の再生出力ストリームが構成される。

選択部６１９は、再生速度に従ったフレームを選択して、再生フレームを格納する記憶部６２０に出力する。なお、例えば、より具体的には、選択部６１９は、上記Ｌの値を１〜３のうちから特定する。そして、特定される値のＬに基いて、上記の選択および出力を行う。

なお、本実施の形態においては、説明の簡単化のために、入力フレーム数が４（＝２の２乗）を例に説明したが（ｋ＝２の場合が具体例にされたが）、Ｎが２のべき乗数の場合においては、処理ブロック（第１の再生演算部６２１）を、Ｌｏｇ２Ｎ個（ｋ個、Ｎ＝２＾ｋ）設けることで対応可能である。なお、第３の復号部６０１が含まれる第ｋ＋１の記録演算部とあわせて、ｋ＋１個の記録演算部により構成される。

なお、復号部６０１、６０４、６０９においては、要求性能を満たせば共有化してもよい。減算部６０６、６１３、６１５についても同様に、要求性能を満たせば共有化してもよい。

図１２は、再生処理における、従来例の演算量と、本実施の形態での演算量との比較を示す図である。

例えば、各復号部による１個のフレームの復号（再構成）に要する演算量を１００、各減算部による１個の加算フレームについての減算に要する演算量を４０とした場合において、従来例における演算量と本実施の形態の演算量とを比較する。図１２に示すように、本実施の形態の演算量は、等速再生に近いときほど（図１２における、より左側のデータほど）、従来例での演算量に比べて、大幅に少ないことが分かる。なぜなら、本実施の形態では、フレームの復号の処理が、再生されるフレームの数と同じ回数（単位時間Ｔについて２＾（Ｌ−１）回）だけしか行われないにも関わらず、従来例では、再生される速度（上記Ｌ参照）に関わらず、単に時間Ｔに関する各フレームが全て復号され（２＾ｋ個のフレームが復号され）、本実施の形態の復号の回数は、従来例での復号の回数よりも少ないからである。従って、処理性能が十分でない再生装置においても再生が可能である。また、簡単な構成の再生装置でも再生ができるなどして、適用範囲が広がる。また、コストダウンに寄与できる。

また、再生速度に対して、その再生速度に合わせた適当なフレームが加算された加算フレームによる動画像を提供するため、自然なモーションブラーを再現するとともに、フレーム加算による露光不足を補うことが可能である。

これにより、高い画質と、少ない処理量とが両立される。

なお、復号部、減算部などは、それぞれ、複数個の復号部等で構成できることから、並列分散化が容易であるため、低消費電力化にも有用である。

図９は、ビデオカメラシステム１の構成図である。

図１０は、ディジタルテレビシステム１ａの構成図である。

なお、図９に示すビデオカメラシステム１は、本実施の形態にかかる上記記録部１５１を有するビデオエンコーダ（記録装置）９００と、再生部１７１を有するビデオデコーダ（再生装置）９０１とが設けられた動画記録再生機器の一例である。また図１０に示すようなディジタルテレビシステム１ａは、本実施の形態にかかる記録部１５１を有するビデオデコーダ（再生装置）１０００が設けられた動画再生機器の一例である。なお、ビデオエンコーダ（記録装置）９００は記録部１５１を備えてもよいし、ビデオエンコーダ（記録装置）９００は、記録部１５１が換言されたブロックであると解されてもよい。同様に、ビデオデコーダ（再生装置）９０１は再生部１７１を備えてもよいし、ビデオデコーダ（再生装置）９０１は再生部１７１が換言されたブロックであってもよい。また、ビデオデコーダ（再生装置）１０００も、再生部１７１を備えてもよいし、ビデオデコーダ（再生装置）１０００は再生部１７１が換言されたブロックであると解されてもよい。

以下では、続けて説明が行われる。ただし、次の説明は、単なる一例である。

図９により、ビデオカメラシステム１の構成が示される。

ビデオカメラシステム１は、ビデオエンコーダ９００と、ビデオデコーダ９０１と、記憶部９０２とを備える。

ビデオカメラシステム１は、動画像を高速撮影する。ここで、高速撮影とは、例えば、通常のフレームレートである６０ｆｐｓよりも多いフレームレートでの撮影である。なお、ここで、６０ｆｐｓは、通常のフレームレートの単なる一例である。通常のフレームレートは、ＮＴＳＣ規格に基いた２９．９７×２＝５９．９４ｆｐｓと解されてもよい。ビデオカメラシステム１の高速撮影のフレームレートは、例えば、（６０×（２＾ｋ））ｆｐｓ（ｋ≧１）である。フレームレートが（６０×（２＾ｋ））ｆｐｓでの高速撮影は、２＾ｋ倍の高速撮影である。

高速撮影された動画像は、通常の場合、より高速に撮影がされたときほど、より遅く再生される。例えば、２＾ｋ倍の速度（２＾ｋ倍のフレームレート）で撮影されれば、１／（２＾ｋ）倍のスロー再生が行われる。すなわち、２＾ｋ倍だけ短い時間間隔で撮影された各フレームが、その時間間隔よりも２＾ｋ倍だけ長い時間間隔で表示される。これにより、各フレームが表示される時間間隔が、人間の視覚に適した時間間隔に調整される。以下、このような、２＾ｋ倍だけ長い時間間隔での再生、すなわち１／（２＾ｋ）倍のスロー再生は、標準スロー速度での再生と呼ばれる。

ビデオエンコーダ９００（図９）は、高速撮影された動画像のストリームを符号化する。

記憶部９０２は、符号化された符号化後ストリームを記憶する。

ビデオデコーダ９０１は、記憶部９０２に記憶された符号化後ストリームが入力されるなどして、高速撮影された動画像の符号化後ストリームが入力されて、入力された符号化後ストリームを復号する。

図１５により、ビデオエンコーダ９００（図９）の構成が示される。

ビデオエンコーダ９００は、記録部１５１（図１５、図７）と、多重化部１５４とを備える。

記録部１５１は、高速撮影された動画像の記録入力ストリームＩＳ（図１５）が入力され、入力された記録入力ストリームＩＳを符号化したｋ+１個の記録出力ストリーム、すなわち第１の記録出力ストリームＶａ１〜第（ｋ＋１）の記録出力ストリームＶａ３（図１５）を生成し、生成された第１の記録出力ストリームＶａ１〜第（ｋ＋１）の記録出力ストリームＶａ３を出力する。

なお、ここで、この実施形態では、ビデオカメラシステムによって、２＾２＝４倍の高速撮影が行われる、ｋ＝２である例が、一例として説明される。

図７により、記録部１５１の構成が示される。

記録部１５１は、入力部５００と、第１の選択部５０１と、第１の符号化部５０４と、第１の加算部５０６と、第２の選択部５０７と、第２の符号化部５１０と、第２の加算部５１２と、第３の符号化部５１４とを備える。

ここで、第ｔの選択部（第２の選択部５０７等）と、第ｔの符号化部（第２の符号化部５１０等）と、第ｔの加算部（第２の加算部５１２等）との全体により、第ｔの記録演算部（第２の記録演算部５１６等）が構成される（１≦ｔ≦ｋ）。

また、第ｋ＋１の記録演算部により、第ｋ＋１の符号化部（第３の符号化部５１４）が構成される。

第ｔの記録演算部（１≦ｔ≦ｋ＋１）は、第ｔの記録演算入力ストリームが入力される。そして、第ｔの記録演算部は、入力される第ｔの記録演算入力ストリームに基いて、第ｔの記録演算出力ストリームを生成し、生成される記録演算出力ストリームを出力する。そして、ここで、出力される第ｔの記録演算出力ストリームは、先述された、記録部１５１が出力する第１の記録出力ストリームＶａ１〜第ｋ＋１の記録出力ストリーム（第３の記録出力ストリームＶａ３）のうちの（図１５参照）、第ｔの記録出力ストリームＶａｔである。

図５により、第ｔの記録演算入力ストリームが示される（１≦ｔ≦ｋ＋１）。

第１の記録演算入力ストリームは、記録部１５１に入力される記録入力ストリームＩＳ（図５（１ａ））である（図５（１ｂ））。第１の記録演算入力ストリームは、図５の第１群のハッチング付きの各フレーム（奇数フレーム）、および、ハッチング無しの各フレーム（偶数フレーム）の両方を含む。

そして、第ｔの記録演算入力ストリームは、図５の第ｔ群の列に示される、第ｔ群ストリームである。ここで、第ｔの記録演算入力ストリーム（第ｔ群ストリーム）は、第ｔ群の各フレームのうちで、ハッチング付きの各フレームと、ハッチング無しの各フレームとの両方を含む。

第ｔの記録演算入力ストリームは、含まれる第ａのフレームが、第ｔの記録演算入力ストリームの第２×ａのフレームと、第２×ａ＋１のフレームとが加算された加算フレームである（ａは整数）。そして、第ｔの記録演算入力ストリームは、含まれる第ａのフレームが、記録入力ストリームＩＳの第ａのフレームである。

そして、第１の記録演算入力ストリームが、標準スロー速度で再生されれば、６０ｆｐｓ等の標準のフレームレートでの動画像の再生が行われる。そして、第ｔの記録演算入力ストリームが、標準スロー速度よりも２＾（ｔ−１）倍速く再生されれば、標準のフレームレートでの再生が行われる（１≦ｔ≦ｋ＋１）。こうした、標準スロー速度（１／（２＾ｋ）倍のスロー再生）よりも、２＾（ｔ−１）倍速い再生は、（１／２＾（ｋ−（ｔ−１）））倍のスロー速度の再生と呼ばれる（１≦ｔ≦ｋ＋１）。そして、標準スロー速度よりも、２＾（（ｋ＋１）−１）倍速い再生（２＾ｋ倍速い再生）、すなわち、１／１＝１倍の速度での再生は、等速度での再生と呼ばれる。

また、高速撮影された動画像の記録入力ストリームＩＳは、単位時間Ｔについて、２＾ｋ個のフレームを含む。動画像における単位時間Ｔの表示内容を見せるのに、２＾ｋ個よりも少ない個数のフレームが表示される再生は、間引き再生と呼ばれる。１／（２＾（ｋ−１））倍のスロー再生（１／２倍のスロー再生）〜１／１倍でのスロー再生（等速度での再生）は、それぞれ、間引き再生である。

第ｔの記録演算入力ストリームは、再生されることにより、１／２＾（ｋ−（ｔ−１））倍のスロー再生がされるストリームである。そして、ここで、再生される各フレームは、記録入力ストリームＩＳにおける、連続する２＾ｔ個のフレームが加算された加算フレームである。このため、単に、２＾ｔ個のフレームのうちの１つが再生される場合（図３の従来例）と比べて、モーションブラーの欠落が防がれるなどして、高い画質が実現される。

なお、加算フレームは、より具体的には、例えば、加算フレームへと加算される各フレームが加算された単純加算フレームであってもよい。また、加算フレームは、単純加算フレームの値を、加算された上記各フレームに含まれるフレームの個数で割った値を、その値として有する平均加算フレームであってもよい。加算フレームが単純加算フレームであれば、割り算を行うのを避けて、割り算による余りの情報の分だけ、情報が欠落してしまうのを避けることができる。

入力部５００は、第１の記録演算部が有する第１の選択部５０１に対して、第１の記録演算入力ストリームとして、記録部１５に入力された記録入力ストリームＩＳを入力する。

第ｋ＋１の符号化部（第３の符号化部５１４）は、第ｋの記録演算部（第２の記録演算部５１６）が第ｋ＋１の記録演算部に入力する第ｋ＋１の記録演算入力ストリームに含まれる各フレームを符号化し、符号化された各フレームが含まれてなる第ｋ＋１の記録演算出力ストリームを生成する。第ｋ＋１の記録演算出力ストリームの第ａのフレームは、第ｋ＋１の記録演算入力ストリームの第ａのフレームが符号化された第ａの符号化後のフレームである。

なお、ここで、第ｉのフレーム（ｉは整数）は、例えば、その第ｉのフレームが含まれるストリームに含まれる予め定められた基準フレーム（例えば先頭のフレーム）のアドレスに対して、その値ｉが加えられたアドレスを有するフレームである。例えば、第２×ａ−１のフレームは、そのストリームの奇数フレームであり、第２×ａのフレームは、偶数フレームである。

第ｕの選択部（１≦ｕ≦ｋ）は、第ｕの記録演算部に入力された第ｕの記録演算入力ストリームに含まれる各フレームにおける、第２×ａ−１のフレーム（一方フレーム、図５のハッチング付きのフレーム）と、第２×ａのフレーム（他方フレーム、図５のハッチングが無いフレーム）とをそれぞれ特定する。

第ｕの符号化部は（１≦ｕ≦ｋ）、第ｕの選択部により特定された第２×ａ−１のフレーム（図５のハッチング付きのフレーム）を符号化する。そして、第ｕの符号化部は、第２×ａ−１のフレームが符号化された第ａの符号化後フレームを第ａのフレームとして有する第ｕの記録演算出力ストリームを生成し、生成される第ｕの記録演算出力ストリームを出力する。なお、図７では、出力される第ｕの記録演算出力ストリームとして、第１の記録演算出力ストリームＶａ１、第２の記録演算出力ストリームＶａ２が図示される。

第ｕの加算部は、第ｕの選択部により特定された第２×ａ−１のフレーム（図５のハッチングの無い残りのフレーム）と、第２×ａのフレーム（図５のハッチングが付されたフレーム）とを加算して、それらが加算された第ａの加算フレームを生成する。図５では、第２×ａ−１のフレーム（例えばフレーム１）と、第２×ａのフレーム（フレーム２）とから、それらが加算された第ａの加算フレーム（フレーム１＋２）へと伸びる矢印線により、この加算の処理が示される。そして、第ｕの加算部は、こうして生成される第ａの加算フレームが第ａのフレームとして含まれる第ｕの記録演算出力ストリームを生成する。生成される第ｕの記録演算出力ストリームは、第ｕ＋１の記録演算入力ストリームとして、第ｕの記録演算部により第ｕ＋１の記録演算部へと入力される。

これにより、第１の記録演算部〜第ｋ＋１の記録演算部は、上記した構成を備える第１の記録演算出力ストリーム〜第ｋ＋１の記録演算出力ストリームをそれぞれ出力する。

そして、記録部１５１は、こうして出力される第１の記録演算出力ストリーム〜第ｋ＋１の記録演算出力ストリームを、第１の記録出力ストリームＶａ１〜第ｋ＋１の記録出力ストリームＶａ（ｋ＋１）として（図１５）、多重化部１５４に出力する。

音声エンコード部１５２（図１５）は、記録部１５１に入力される記録入力ストリームＩＳの高速撮影がされた際にビデオカメラシステム１が録音した音声の音声データを符号化する。音声エンコード部１５２は、音声データを符号化した、符号化音声データを生成し、生成される符号化音声データを多重化部１５４に出力する。

多重化部１５４は、多重化部１５４に出力される第１の記録出力ストリームＶａ１〜第ｋ＋１の記録出力ストリームＶａ（ｋ＋１）と、符号化音声データとに基いて、第１の動画ストリーム１５５１〜第ｋ＋１の動画ストリーム１５５３（多重化ストリームＳ１）を生成する。

第１の動画ストリーム１５５１〜第ｋ＋１の動画ストリーム１５５３は、それぞれ、記録部１５１により出力される第１の記録出力ストリームＶａ１〜第ｋ＋１の記録出力ストリームＶａ（ｋ＋１）が格納される。

また、第１の動画ストリーム１５５１〜第ｋ＋１の動画ストリーム１５５３は、それぞれ、音声エンコード部１５２が生成した符号化音声データを格納する（図１５の第１の動画ストリーム１５５１等にそれぞれ示される記号Ａ）。第１の動画ストリーム１５５１〜第ｋ＋１の動画ストリーム１５５３に格納される符号化音声データは、その内容が互いに同一である。

なお、第１の動画ストリーム１５５１〜第ｋ＋１の動画ストリーム１５５３のうちの一部または全部のストリームは、例えば、ＭＰＥＧ規格などの、予め定められた規格による構造を備えるストリームであってもよい。

規格に従った第ｔの動画ストリームは、その規格に従った再生装置により再生される。汎用の再生装置は、第ｕの動画ストリームに含まれる記録出力ストリームおよび符号化音声データをそれぞれ再生することにより、記録入力ストリームＩＳの高速撮影で撮影された映像および音声を再生する。

そして、第ｔの動画ストリームの再生が汎用の再生装置によりされると（１≦ｔ≦ｋ＋１）、単位時間Ｔの表示内容が、２＾（ｔ―１）個のフレームにより示される再生が行われる（図５参照）。例えば、第１の動画ストリームの再生が汎用の再生装置によりされると、単位時間Ｔの表示内容が、２個のフレームの再生によって表示される。

なお、後で詳しく説明されるように、ビデオカメラシステム１により、多重化ストリームＳ１の再生がされれば、単位時間Ｔの表示内容が、４個のフレームの再生によって表示される再生などが可能である。ビデオカメラシステム１によれば、より高画質な再生ができる。

このように、この実施の形態によれば、汎用の再生装置で、画質が低い再生ができ、汎用の再生装置によっても再生ができる。

なお、この実施の形態では、先述されるように、第１の動画ストリーム１５５１〜第ｋ＋１の動画ストリーム１５５３が、それぞれ、符号化音声データを格納する。このため、汎用の再生機でも、音声が再生できる。

例えば、多重化部１５４は、生成した多重化ストリームＳ１を、記憶部９０２（図９）が有する記憶媒体（図１５参照）に記憶させる。

図１７により、ビデオデコーダ９０１（図９）の構成が示される。

ビデオデコーダ９０１は、分離部１７３と、再生部１７１と、音声デコード部１７２とを備える。

ビデオデコーダ９０１は、多重化ストリームＳ２が入力される。多重化ストリームＳ２は、例えば、上述のようにして、ビデオエンコーダ９００が生成した多重化ストリームＳ１である。多重化ストリームＳ２は、多重化ストリームＳ１が有するデータ構造と同じデータ構造を有するデータである。ビデオデコーダ９０１は、例えば、多重化部１５４が記憶部９０２に記憶された多重化ストリームＳ２（多重化ストリームＳ１）を、記憶部９０２から取得して、取得された多重化ストリームＳ２を当該ビデオデコーダ９０１に入力する。

分離部１７３は、多重化ストリームＳ２に含まれる、第１の再生演算入力ストリーム〜第ｋ＋１の再生演算入力ストリームをそれぞれ特定する（図１７参照）。ここで、第１の再生入力ストリームＶｂ１〜第ｋ＋１の再生入力ストリームＶｂ（ｋ＋１）は、先述された、図１５に示される第１の記録出力ストリームＶａ１〜第ｋ＋１の記録出力ストリームＶａ（ｋ＋１）などである。

また、分離部１７３は、多重化ストリームＳ２に含まれる、符号化音声データを特定する。

より具体的には、例えば、分離部１７３は、多重化ストリームＳ２に含まれる、第１の格納部１７４１〜第ｋ＋１の格納部１７４３（図１５の第１の格納部１５５１〜第ｋ＋１の格納部１５５３など）を特定することによって、特定された第１の格納部１７４１〜第ｋ＋１の格納部１７４３に含まれる第１の再生入力ストリームＶｂ１〜第ｋ＋１の再生入力ストリームＶｂ（ｋ＋１）をそれぞれ特定する。

また、具体的には、例えば、分離部１７３は、第１の格納部１７４１〜第ｋ＋１の格納部１７４３のうちの予め定められた１つの格納部に含まれる符号化音声データを特定する。

そして、分離部１７３は、特定された第１の再生入力ストリームＶｂ１〜第ｋ＋１の再生入力ストリームＶｂ（ｋ＋１）を、それぞれ、再生部１７１に出力する。

また、分離部１７３は、特定された符号化音声データを、音声デコード部１７２（図１７）に出力する。

図８により、再生部１７１の構成が示される。

再生部１７１は、第３の復号部６０１と、第２の復号部６０４と、第２の減算部６０６と、第２の選択部６１７と、第１の復号部６０９と、第１の減算部（減算部６１３及び減算部６１５の全体）と、第１の選択部（選択部６１０および選択部６１８の全体）と、選択部６１９とを備える。

第ｕの再生演算部（例えば第１の再生演算部６２１）は（１≦ｕ≦ｋ）、第ｕの復号部（第１の復号部６０９）と、第ｕの減算部（第１の減算部（減算部６１３及び減算部６１５の全体））と、第ｕの選択部（選択部６１０、選択部６１８）との全体により構成される。

第ｋ＋１の復号部（第３の復号部６０１）によって、第ｋ＋１の再生演算部（第３の再生演算部）が構成される。

第ｔの再生演算部は（１≦ｔ≦ｋ＋１）、上記された分離部１７３により、第ｕの再生入力ストリームＶｂｔ（先述）が第ｕの再生演算入力ストリームＶｂｔとして入力され、入力される第ｔの再生演算入力ストリームＶｂｔに基いて第ｔの再生演算出力ストリームを生成し、生成される第ｔの再生演算出力ストリームを出力する。なお、再生部１７１に入力される第ｕの再生入力ストリームＶｂｔは、第ｔの再生演算部に入力される第ｔの再生演算入力ストリームＶｂｔと同一である。これらのストリームには、いずれも、Ｖｂｔの符号が付される。

第ｔの再生演算出力ストリーム（１≦ｔ≦ｋ＋１）は、１／２＾（ｋ−（ｔ−１））倍のスロー再生のための再生ストリームである。なお、ここで、１／２＾（ｋ−（ｔ−１））倍のスロー再生は、ｔ＝ｋ＋１のときには等速度での再生であり、ｔ＝１のときには標準スロー速度での再生である。

再生部１７１は、ビデオカメラシステム１が１／２＾（Ｌ−１）倍のスロー再生を行うのに際して、第ｔの再生演算出力ストリーム（１≦ｔ≦ｋ＋１）を、再生出力ストリームＯＳ（図１７）として選択する（Ｌ＝ｋ＋１−（ｔ−１））。そして、再生部１７１は、選択される第ｔの再生演算出力ストリームを、再生出力ストリームＯＳとして出力することにより、ビデオカメラシステム１に、出力される再生出力ストリームＯＳを再生させる。

また、音声デコード部１７２は、入力される符号化音声データを復号して、復号された音声データを出力することにより、再生出力ストリームＯＳが再生されるのに際して、復号された音声データを再生させる。

図６により、第３の再生演算部が出力する、標準スロー速度の再生演算出力ストリーム（第１群のストリーム）、第２の再生演算部が出力する、１／２倍のスロー速度の再生演算出力ストリーム（第２群のストリーム）、および、第１の再生演算部が出力する、等速度の再生演算出力ストリーム（第３群のストリーム）がそれぞれ示される。

なお、ここで、これらの３つの再生演算出力ストリームは、それぞれ、その再生演算出力ストリームに対応する群の各フレームのうちで、ハッチング付きの各フレーム（奇数フレーム）と、ハッチング無しの各フレーム（偶数フレーム）との両方を含む。

なお、第ｔの再生演算入力ストリームＶｂｔ（図１７参照、１≦ｔ≦ｋ＋１）は、図６の第ｔ群の各フレームのうちで、ハッチングが付された各フレーム（奇数フレーム）が符号化された符号化後のフレームが含まれるストリームである。

第ｋ＋１の復号部（第３の復号部６０１）は、第ｋ＋１の再生演算入力ストリーム（再生入力ストリーム）Ｖｂ（ｋ＋１）、すなわち、図５の第３群のハッチング付きの各フレームの符号化後のフレームが含まれる第３の再生演算入力ストリーム（再生入力ストリーム）Ｖｂ３が入力される。そして、第ｋ＋１の復号部（第３の復号部６０１）は、第３の再生入力ストリームに含まれる各符号化後のフレーム（例えばフレーム１＋２＋３＋４の符号化後のフレーム）をそれぞれ復号し、各復号後のフレーム（フレーム１＋２＋３＋４）が含まれる第ｋ＋１の再生演算出力ストリームを生成する。すなわち、第ｋ＋１の復号部は、第３の再生入力ストリームの第ａのフレームを復号した第ａの復号後のフレームが、第ａのフレームとして含まれる第ｋ＋１の再生演算出力ストリームを生成する。

第ｔの復号部（第２の復号部６０４、第１の復号部６０９、ｋ＋１−（Ｌ―１）≦ｔ≦ｋ、Ｌ≧２）は、第ｔの再生演算入力ストリームＶｂｔの第２×ａ−１のフレーム（例えばフレーム１＋２の符号化後のフレーム）をそれぞれ復号し、復号された第ａの復号後のフレームが、第２×ａ−１のフレームとして含まれる第ｔの再生演算出力ストリームを生成する。

第ｔの減算部（第２の減算部６０６、第３の減算部（減算部６１３、減算部６１５））は、第ｔ＋１の再生演算部によって生成された第ｔ＋１の再生演算出力ストリームに含まれる第ａのフレーム（例えばフレーム１＋２＋３＋４）から、第ｔの復号部によって復号された第ｔの再生演算出力ストリームの第２×ａ−１のフレーム（例えばフレーム１＋２）を減算して、減算後のフレーム（フレーム３＋４）を、第ｔの再生演算出力ストリームの第２×ａのフレームとして生成する。

第ｔの選択部（第１の選択部（選択部６１０、選択部６１８）、第２の選択部６１７）は、第ｔの再生演算部が出力する、第ｔの再生演算出力ストリームの現在のフレームが第２×ａ−１のフレームか、第２×ａのフレームかを判定する。そして、第ｔの選択部は、第２×ａ−１のフレームと判定される場合、第ｔの再生演算入力ストリームの現在のフレーム（第ａのフレーム）が第ｔの復号部により復号された復号後のフレームを、第ｔの再生演算出力ストリームの現在のフレーム（第２×ａ−１のフレーム）として出力させる。また、第ｔの選択部は、第２×ａのフレームとの判定がされる場合、第ｔの再生演算入力ストリームの現在のフレーム（第ａのフレーム）についての減算を第ｔの減算部が行った減算後のフレームを、第ｔの再生演算出力ストリームの現在のフレーム（第２×ａのフレーム）として出力させる。

選択部６１９は、例えば、ビデオカメラシステム１が１／４倍のスロー再生を行うのに際して、第１の記録演算部により特定された第１の再生演算出力ストリームを、第１の再生出力ストリームＯＳ（図１７）として記録部１６１に出力させるなどする。すなわち、選択部６１９は、ビデオカメラシステム１が１／（２＾（Ｌ−１））倍のスロー再生を行うのに際して、第ｋ＋１−（Ｌ−１）の記録演算部により生成される第ｋ＋１−（Ｌ−１）の再生演算出力ストリームを、第１の再生出力ストリームＯＳ（図１７）として出力させる。選択部６１９は、例えば、ユーザによってビデオカメラシステム１に入力される、上記Ｌの値を指定する入力を取得して、取得された入力により指定される値のＬに基いて、再生部１７１等の動作をさせるものとしてもよい。

そして、ビデオカメラシステム１はコンピュータを備えても良い。そして、ビデオエンコーダ９００の上述の機能（図１５等参照）は、このコンピュータによって予め定められたプログラムが実行されることによって実現されてもよい。ビデオデコーダ９０１の上述の機能（図１７等参照）についても、同様である。

図１９〜図２４により、ビデオエンコーダ９００の機能と、ビデオデコーダ９０１の機能とをコンピュータによって実現するためのプログラムの一例を模式的に示すプログラムＰが示される。なお、以下の説明では、説明の便宜上、プログラムＰの細部については、図面による説明のみに留め、煩雑な文章の説明は省略される。以下の説明では、プログラムＰの特定の部分に特定の処理が記述されることは、その特定の部分により、その特定の処理が行われることと呼ばれる。

図２４は、プログラムＰのメイン部２４の構成を示す図である。

メイン部２４は、プログラムＰを実行するコンピュータが、プログラムＰの実行を開始するのに際して、最初に処理を行う、プログラムＰの部分である。

メイン部２４は、記録処理呼び出し部２４ｒと再生処理呼び出し部２４ｐとを備える。記録処理呼び出し部２４ｒは、記録処理部２２（図２２）の処理をコンピュータに開始させる。再生処理呼び出し部２４ｐは、再生処理部２３（図２３）の実行を開始させる。なお、メイン部２４が備えるその他の部分については、図面のみにより示される。

図２２は、記録処理呼び出し部２４ｒ（図２４）が実行を開始させる記録処理部２２の構成を示す図である。

記録処理部２２は、終了判定部２２ｆと、フレーム取得部２２ｐと、エンコード処理呼び出し部２２ｅとを備える。

終了判定部２２ｆは、撮影された動画像の記録入力ストリームＩＳ（図１５等）の各フレームのうちで、予め定められた複数のフレームの処理を記録処理部２２が終了したか否かを判定する。そして、終了判定部２２ｆは、終了したとの判定がされるまでの間、フレーム取得部２２ｐ等の処理を継続させる。より具体的には、終了判定部２２ｆは、例えば、予め定められた単位時間に撮影される複数のフレームの処理が終了したか否かを判定する。プログラムＰの例では、具体的には、プログラムＰのヘッダ部（図１９：後述）のＭＡＸ＿ＦＲＡＭＥ＿ＮＵＭの#define文により定義された個数のフレームの処理が終了したか否かを判定する。

フレーム取得部２２ｐは、記録入力ストリームＩＳの各フレームのうちで、記録部１５１が処理を終了していないもののなかで、先頭のフレーム（着目フレーム）を特定する。そして、具体的には、プログラムＰの例では、フレーム取得部２２ｐは、予め定められた記憶領域（frame＿buf＿enc[]の先頭の記憶領域）に、特定された着目フレームを格納する。

エンコード処理呼び出し部２２ｅは、エンコード処理部２０（図２０）の処理を開始させる。

図２０は、エンコード処理呼び出し部２２ｅ（図２２）が処理を開始させるエンコード処理部２０の構成を示す図である。

エンコード処理部２０は、その処理が開始される際の引数ｊを有する。引数ｊは、開始される処理でエンコード処理部２０が扱う第ｔの記録出力ストリームのｔを、ｔ＝ｊ＋１として特定する。メイン部２４（図２４）の記録処理呼び出し部２４ｒは、引数０（ｔ＝０＋１＝１）を用いて、エンコード処理部２０に処理を開始させる。また、エンコード処理部は、ｊ≧１の引数が、このエンコード処理部２０の他方フレーム処理部２２Ｅ（後述）に用いられて、他方フレーム処理部２２Ｅにより、その処理が開始される。

エンコード処理部２０は、フレーム判定部２２ａと、符号化側フレーム処理部２２Ｏと、他方フレーム処理部２２Ｅとを備える。

フレーム判定部２２ａは、フレーム取得部２２ｐ（図２２）により特定された着目フレームが、第ｔの記録演算入力ストリーム（ｔ＝ｊ＋１）の各フレーム（図５の第ｔ群のハッチング付きおよびハッチング無しの各フレーム）のうちで、第ｔの記録演算入力ストリームの奇数フレーム（第２×ａ−１のフレーム）であるか否かを判定する。より具体的には、フレーム判定部２２ａは、第ｔの記録演算入力ストリームの各フレームが格納される予め定められた記憶領域（プログラムＰにおけるframe＿buf＿enc[j]）に格納されたフレームの個数が奇数か否かを判定する（プログラムＰの「frame＿buf＿enc[j].size%2 == 1」の条件式を参照）。なお、図２２のフレーム取得部２２ｐは、第１の記録演算入力ストリームのこの記憶領域の先頭に、フレーム取得部２２ｐが特定した着目フレームを格納する。そして、フレーム判定部２２ａは、格納された個数が奇数なら、着目フレームは奇数フレームであると判定する。なお、後で詳しく説明されるように、上記予め定められた記憶領域に格納されたフレームが削除（廃棄）される際には、そのフレームとともに、そのフレームと対になる偶数フレームが削除される。このため、この削除のために、誤った判定がされてしまう結果が生じる、ということはない。

符号化側フレーム処理部２２Ｏは、上記フレーム判定部２２ａにより着目フレームが第２×ａ−１のフレームと判定された場合の処理を行う。例えば、符号化側フレーム処理部２２Ｏは、着目フレームが図５のフレーム１であるときに、ｔ＝１（ｊ＝０）である際に、着目フレームは第２×ａ−１のフレームであると判定されて、その処理を行う。

そして、符号化側フレーム処理部２２Ｏは、符号化部２２Ｏ１と、出力部２２Ｏ２とを備える。

符号化部２２Ｏ１は、着目フレーム（第２×ａ−１のフレーム）を符号化する。なお、図２０に示される、プログラムＰの符号化部２２Ｏ１では、この符号化の処理は模式的に構成される。

出力部２２Ｏ２は、符号化部２２Ｏ１によって符号化された符号化後のフレーム（frame＿odd）を、第ｔの記録出力ストリーム（ｔ＝プログラムＰにおけるｊ＋１）の現在のフレームとして特定する。具体的には、なお、プログラムＰでは、この出力の処理が、記憶領域bitstream＿buf[j]に対して、符号化後のフレームを格納する処理により模式的に示される。

他方フレーム処理部２２Ｅは、上記フレーム判定部２２ａにより、取得されたフレームが偶数フレーム（第２×ａのフレーム）と判定された場合の処理を行う。

他方フレーム処理部２２Ｅは、他方フレーム取得部２２Ｅ１と、符号化側フレーム取得部２２Ｅ２と、加算部２２Ｅ３と、次ストリーム処理呼び出し部２２Ｅ４とを備える。

他方フレーム取得部２２Ｅ１は、判定されたフレーム（第２×ａのフレーム）を取得する。

符号化側フレーム取得部２２Ｅ２は、判定がされたフレーム（第２×ａのフレーム）に対して対になる奇数フレーム（第２×ａ−１のフレーム）を取得する。

なお、このとき、これら他方フレーム取得部２２Ｅ１および符号化側フレーム取得部２２Ｅ２は、上記記憶領域frame＿buf＿enc[j]から、取得されるこれらの第２×ａのフレームおよび第２×ａ−１のフレームをそれぞれ削除（廃棄）する。こうして、１組の第２×ａのフレームおよび第２×ａ−１のフレームは、一方のみが削除されるのではなく、両方が同時に削除される。このため、こうしてフレームが削除されても、フレーム判定部２２ａによる判定が誤ることはない（先述の通り）。

加算部２２Ｅ３は、他方フレーム処理部２２Ｅにより取得された第２×ａ−１のフレームと、符号化側フレーム取得部２２Ｅ２により取得された第２×ａのフレームとを加算する。なお、プログラムＰの例では、この加算の処理が模式的に示される。

そして、加算部２２Ｅ３は、加算後の加算フレームを、後述の次ストリーム処理呼び出し部２２Ｅ４が開始させる、第ｔ＋１の記録出力ストリームを扱う処理の着目フレームとして特定する。具体的には、加算部２２Ｅ３は、図２０に示されるよう、予め定められた記憶領域（frame＿buf＿enc[j+1]の先頭）に、加算フレームを記憶させることにより、この特定を行う。

次ストリーム処理呼び出し部２２Ｅ４は、第ｔ＋１の記録出力ストリームを扱う処理を、エンコード処理部２０（図２０）に開始させる。このため、次ストリーム処理呼び出し部２２Ｅ４は、処理を開始させる際に、図２０に示されるように、ｊ＋１を引数として用いる。開始される処理においては、上記のようにして、先に加算部２２Ｅ３により特定され着目フレームに基いた処理がエンコード処理部２０により行われる。

なお、例えば、図１９のＭＡＸ＿ＦＲＡＭＥ＿ＮＵＭの定義は、４ではなく８であってもよい。このときには、図６のフレーム５＋６＋７＋８が、第ｋ＋１の記録演算入力ストリームの２番目のフレーム（第２×ａのフレーム）である。

そして、他方フレーム処理部２２Ｅは、ｔ＝ｋ＋１すなわち、ｊ＋１＝ｋ＋１の場合には、着目フレームが第２×ａ−１のフレームであるか、第２×ａのフレームであるかに関わらず、着目フレームは第２×ａ−１のフレームであるとみなして、着目フレームは第２×ａ−１のフレームであるとの判定をするものとしてよい。このとき、フレーム５＋６＋７＋８は、符号化側フレーム取得部２２Ｅ２により符号化される。

記録演算部の個数（ｋ＋１）は、例えば、高速撮影のフレームレートが、通常のフレームレートのＮ倍であるときに（図５等の例では、Ｎ＝４）、ｋ＋１＝Ｌｏｇ２Ｎ個（Ｌｏｇ２Ｎは、２を底とするＮの対数）である。こうすれば、第ｋ＋１の記録演算入力ストリームは、１個のフレームを含む。このため、例えば、フレーム５＋６＋７＋８は、第２×ａのフレーム（偶数フレーム）ではなく、第２×ａ−１のフレーム（奇数フレーム）である。よって、上述のようにして、ｔ＝ｋ＋１のときに他方フレーム処理部２２Ｅが例外的な処理を行うという必要がなくなり、処理を簡単にできる。

なお、図７に示される第１の選択部５０１および第２の選択部５０７の全体は、例えば、フレーム判定部２２ａに対応する（例えば、同じ機能を有する）と解されてもよい。また、図７の第１の加算部５０６および第２の加算部５１２の全体は、例えば、図２０の加算部２２Ｅ３に対応すると解されてもよい。図７の第１の符号化部５０４、第２の符号化部５１０、および第３の符号化部５１４の全体は、例えば、図２０の符号化部２２Ｏ１に対応する機能を有すると解されてもよい。

図１３は、プログラムＰの処理のフローチャートである。

ステップＳ１１（ステップＳ１５）では、記録の処理が中止されるか否かが判定されて、中止されると判定されなければ、繰り返し、ステップＳ１２〜Ｓ１５の処理を実行させる。例えば、ユーザによる中止をさせる予め定められた入力がコンピュータに入力された場合などに、中止がされるものとの判定がされる。なお、プログラムＰは、例えば、このステップＳ１１（ステップＳ１５）の処理を行う中止制御部（図略）を備えてもよい。

ステップＳ１２（ステップＳ１６）では、記録処理部２２（図２２）の繰り返し制御部（図２２のfor(input＿frame…の部分が、単位時間（Ｔ）のフレームの個数（図１９のMAX＿FRAME＿NUM）の回数だけ、フレーム取得部２２ｐおよびエンコード処理呼び出し部２２ｅ（図２２）に、それらのブロックの処理を実行させる。

ステップＳ１３では、フレーム取得部２２ｐ（図２２）が、着目フレームを特定する。

ステップＳ１４では、エンコード処理呼び出し部２２ｅ（図２２）が、ステップＳ１３で特定された着目フレームについて、第１の記録演算出力ストリームを扱う処理を、エンコード処理部２０（図２０）に開始させる。

ステップＳ２１等は、エンコード処理部２０による処理を示す。

ステップＳ２１では、フレーム判定部２２ａが、着目フレームが、第２×ａ−１のフレーム（奇数フレーム）であるか否かを判定する。

ステップＳ２２ａでは、ステップＳ２１で第２×ａ−１のフレーム（奇数フレーム）と判定された場合に（ステップＳ２１：ＹＥＳ）、符号化側フレーム処理部２２Ｏの符号化部２２Ｏ１が、着目フレームを符号化する。

ステップＳ２３ａでは、出力部２２Ｏ２が、ステップＳ２２ａで符号化された符号化後のフレームを、第ｔ（＝ｊ＋１）の記録出力ストリーム（図５参照）の現在の出力フレームとして出力する。

ステップＳ２２ｂでは、ステップＳ２１で、着目フレームが第２×ａ−１のフレーム（奇数フレーム）ではないと判定された場合（ステップＳ２１：ＮＯ）、すなわち第２×ａのフレーム（偶数フレーム）と判定された場合に、他方フレーム処理部２２Ｅが、先述の通りに、２つのフレームの加算を、他方フレーム処理部２２Ｅの加算部２２Ｅ３により行う。

ステップＳ２３ｂでは、他方フレーム処理部２２Ｅが、次ストリーム処理呼び出し部２２Ｅ４により、ステップＳ２２ｂで加算された加算フレームを着目フレームとして、第ｔ＋１の記録演算出力ストリームの出力を行う処理を、エンコード処理部２０に開始させる。

図１９は、プログラムＰのヘッダ部１９の構成を示す図である。

ヘッダ部１９は、再生速度特定部１９１を備える。再生速度特定部１９１は、ビデオカメラシステム１によって１／２＾（Ｌ−１）倍のスロー再生（先述）が行われる際における左記の定数Ｌを特定する。具体的には、プログラムＰの例では、再生速度特定部１９１は、#define文によって、プリプロセッサの機能によりＬの値を特定する例が模式的に示される。なお、再生速度特定部１９１は、例えば、ユーザによる、Ｌの値を指定する入力を取得する構成などが採られてもよい。

図２３は、メイン部２４の再生処理呼び出し部２４ｐ（図２４）が呼び出す再生処理部２３の構成を示す図である。

再生処理部２３は、その処理が起動される際の引数target＿stream＿numberを有する。この引数target＿stream＿numberは、上記Ｌの値を、Ｌ＝（ｋ＋１）−target＿stream＿number と特定する。つまり、再生処理部２３は、特定されたＬの値に対応する、１／２＾（Ｌ−１）倍のスロー再生用の記録出力ストリーム（第ｋ＋１−（Ｌ−１））の記録演算出力ストリームを生成して、生成された記録出力ストリームを出力する。

再生処理部２３は、起動部２３１と、デコード処理呼び出し部２３２とを備える。

起動部２３１は、上述の第ｋ＋１−（Ｌ−１）の再生演算出力ストリームの各フレームを順次選択して、選択されたフレーム（着目フレーム）の処理をデコード処理呼び出し部２３２に開始させる。

デコード処理呼び出し部２３２は、起動部２３１により選択された着目フレームについての、第ｋ＋１−（Ｌ−１）の再生演算出力ストリームの処理を、デコード処理部２１（図２１）に開始させる。ここで、第ｋ＋１−（Ｌ−１）の再生演算出力ストリームは、上述のように、記録部１６１が出力するストリームである。

図２１は、デコード処理呼び出し部２３２（図２３）が呼び出すデコード処理部２１の構成を示す図である。

デコード処理呼び出し部２３２は、引数ｊと、引数ｆとを受け取る。

引数ｊは、デコード処理呼び出し部２３２が処理する第ｔの記録演算入力ストリームを、第ｊ＋１の記録演算入力ストリームと特定する。例えば、上述のデコード処理呼び出し部２３２は、第ｋ＋１−（Ｌ−１）の再生演算出力ストリームの処理を開始させるために、引数ｊ＝｛ｋ＋１−（Ｌ−１）｝−１＝ｋ＋１−Ｌ（＝図２３のtarget＿stream＿number）を用いる。

引数ｆは、着目フレームを特定する。具体的には、引数ｆは、着目フレームの、第ｔの記録演算入力ストリームにおけるアドレス（順番、フレーム番号）である。

デコード処理部２１は、フレーム判定部２１ａと、復号側フレーム処理部２１Ｏと、他方フレーム処理部２１Ｅとを備える。

フレーム判定部２１ａは、着目フレームが、デコード処理部２１が処理する第ｔの記録演算入力ストリームのうちの第２×ａ−１のフレーム（奇数フレーム）であるか否かを判定する。具体的には、フレーム判定部２１ａは、図２１に示される通り、着目フレームのフレーム番号の最下位ビット（f & 0x1）が、０であるか否かを判定することによって、判定を行う。

復号側フレーム処理部２１Ｏは、上記フレーム判定部２１ａにより着目フレームが第２×ａ−１のフレーム（奇数フレーム）であると判定された場合に（f&0x1 == 0）、着目フレームの処理を行う。

そして、復号側フレーム処理部２１Ｏは、取得部２１Ｏ１と、復号部２１Ｏ２とを備える。

取得部２１Ｏ１は、着目フレーム（図６のハッチング付きのフレームの符号化後のフレーム）を取得する。

復号部２１Ｏ２は、取得部２１Ｏ１により取得された符号化後のフレームを復号する。この例では、この復号の処理は、模式的に示される。

他方フレーム処理部２１Ｅは、着目フレームが第２×ａのフレーム（偶数フレーム）と判定された場合に、処理を行う。

そして、他方フレーム処理部２１Ｅは、次ストリーム処理呼び出し部２１Ｅ１と、加算フレーム取得部２１Ｅ２と、復号側フレーム取得部２１Ｅ３と、減算部２１Ｅ４と、出力部２１Ｅ５とを備える。

次ストリーム処理呼び出し部２１Ｅ１は、着目フレーム（例えば図６のフレーム２）の加算フレーム（フレーム１＋２）を生成する、第ｔ＋１の記録演算入力ストリームを用いる処理を、デコード処理部２１に開始させる。開始される処理により、着目フレームの加算フレーム（フレーム１＋２）がデコード処理部２１により生成される。ここで、次ストリーム処理呼び出し部２１Ｅ１は、上述のように、第ｔ＋１の記録演算入力ストリームを用いる処理を開始させる。このため、次ストリーム処理呼び出し部２１Ｅ１は、引数ｊとして、ｔ＋１を特定する値（ｊ＋１）を用いる。また、着目フレームが第ｔの記録演算入力ストリームにおける第２×ａのフレームであるのに対応して、生成される加算フレームは、第ｔ＋１の記録演算出力ストリームにおける第ａのフレームである。このため、次ストリーム処理呼び出し部２１Ｅ１は、処理を開始させるのに際して、引数ｆとして、「ａ」を特定する値、すなわちｆ／２（f>>1）を用いる。ここで、「f>>1」は、ｆを１ビット右シフトした値であり、fを２で割った数を示す。

加算フレーム取得部２１Ｅ２は、次ストリーム処理呼び出し部２１Ｅ１が開始させた処理で生成される上記の加算フレーム（例えば、図６のフレーム１＋２）を取得する。

復号側フレーム取得部２１Ｅ３は、第ｔの再生演算入力ストリームの第２×ａ−１のフレームが復号された復号後のフレームを取得する。

減算部２１Ｅ４は、加算フレーム取得部２１Ｅ２により取得された加算フレームから、復号側フレーム取得部２１Ｅ３により取得された復号後のフレームを減算し、減算後のフレームを、着目フレーム（第２×ａのフレーム）と特定する。

出力部２１Ｅ５は、特定された着目フレームを出力する。

なお、図８の第１の復号部６０９、第２の復号部６０４、第３の復号部６０１の全体は、例えば、復号部２１Ｏ２（図２１）に対応すると解されてもよい。また、図８の第２の減算部６０６および第１の減算部（減算部６１３および減算部６１５）の全体は、例えば、減算部２１Ｅ４に対応すると解されてもよい。また、選択部６１７、選択部６１０、選択部６１８、選択部６１９の全体は、例えば、フレーム判定部２１ａに対応すると解されてもよい。

図１４は、プログラムＰによる再生部１７１が行う処理のフローチャートである。

ステップＳ３１（ステップＳ３６）では、再生の処理が中止されるか否かが判定されるなどの処理が、例えば上述の中止制御部等により行われる（図１３のステップＳ１１等）。

ステップＳ３２では、再生処理部２３（図２３）が、再生速度特定部１９１（図１９）によって特定されるＬの値を取得する。具体的には、再生処理部２３は、Ｌの値を特定する引数target＿stream＿numberを取得することにより、Ｌの値を取得する。

ステップＳ３３（ステップＳ３５）では、起動部２３１（図２３）が、順次、フレームを選択して、選択されたフレーム（着目フレーム）の処理を行わせる。

ステップＳ３４では、デコード処理呼び出し部２３２が、ステップＳ３３で選択された着目フレームについての、ステップＳ３２で特定されたＬにより示される第ｋ＋１−（Ｌ−１）の再生演算入力ストリームを用いる処理を、デコード処理部２１に行わせる。

ステップＳ４１等は、デコード処理部２１による処理の内容を示す。

ステップＳ４１では、フレーム判定部２１ａが、着目フレームが、第２×ａ−１のフレームか否かを判定する。

ステップＳ４２ａでは、ステップＳ４１で第２×ａ−１のフレーム（奇数フレーム）と判定された場合に（ステップＳ４１：Ｙｅｓ）、復号側フレーム処理部２１Ｏが、着目フレームの復号を行う。

ステップＳ４３ａでは、復号側フレーム処理部２１Ｏが、ステップＳ４２ａで復号された復号後のフレームを記憶させる。

ステップＳ４２ｂでは、ステップＳ４１で着目フレームが第２×ａのフレーム（偶数フレーム）と判定された場合に（ステップＳ４１：Ｎｏ）、次ストリーム処理呼び出し部２１Ｅ１が、先述された加算フレームを生成する処理を、デコード処理部２１に行わせる。

ステップＳ４３ｂでは、ステップＳ４２ｂで生成された加算フレームに基いて、加算フレーム取得部２１Ｅ２、復号側フレーム取得部２１Ｅ３、減算部２１Ｅ４、及び出力部２１Ｅ５が、減算などの各種の処理を行う。

なお、この例では、説明の便宜上から、再帰処理が実行される例が示されるが、再帰処理が実行されないプログラムが構成されてもよい。

図１０により、ディジタルテレビシステム１ａが示される。

ディジタルテレビシステム１ａは、ビデオデコーダ１０００を備える。ビデオデコーダ１０００は、先述されたビデオデコーダ９０１の機能と同様の機能を有し、例えば図７の構成を有する。図１０のディジタルテレビシステム１ａによる変形例が実施されてもよい。

図１６は、多重化ストリームＳ１ａを示す図である。

多重化ストリームＳ１ａは、複数の保持部を備える。例えば、多重化ストリームＳ１ａは、複数の視点位置からの動画像がそれら複数の保持部によってそれぞれ保持されるストリームである、マルチシーン（マルチチャネル、マルチアングル）のストリームである。

第１の保持部〜第ｋ＋１の保持部は、多重化ストリームＳ１が有する複数の保持部の一部又は全部であり、それぞれ、第１の記録出力ストリームＶａ１〜第ｋ＋１の記録出力ストリームＶａ（ｋ＋１）を保持する。なお、第１の保持部〜第ｋ＋１の保持部は、それぞれ、例えば、保持する記録出力ストリームのフレームのタイムスタンプを有する。タイムスタンプは、そのフレームの時刻と同じ時刻における、他の記録出力ストリームのフレームを特定する。

そして、多重化ストリームＳ１ａは、複数の保持部と共に、符号化音声データを格納する音声記録部を備える（図１６の記号Ａ参照）。

なお、多重化ストリームＳ１ａは、具体的には、例えば、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）の規格により、マルチシーンの形式を有し、かつ、ＭＰＥＧの規格により上記音声記録部を備えるものであってもよい。

これにより、そのマルチシーンの形式のストリームを再生する汎用の再生装置により、第ｕの保持部の記録出力ストリームおよび符号化音声データを再生することにより、先述の場合と同様、比較的画質は低くなるものの、汎用の再生装置で簡単に動画像を再生できる。

多重化部１６４は、記録部１６１が出力する第１の記録出力ストリーム〜第ｋ＋１の記録出力ストリームから、多重化ストリームＳ１ａを生成する。

図１８は、ビデオデコーダ９０１（図９）に入力される多重化ストリームＳ２ａを示す図である。多重化ストリームＳ２ａは、例えば上記多重化ストリームＳ１ａであるなどして、多重化ストリームＳ１ａのデータ構造と同じデータ構造を有する。

分離部１８４は、多重化ストリームＳ１ａから、第１の再生入力ストリームＶｂ１〜第ｋ＋１の再生入力ストリームＶｂ（ｋ＋１）を生成して、生成される第１の再生入力ストリームＶｂ１〜第ｋ＋１の再生入力ストリームＶｂ（ｋ＋１）を、再生部１８１に入力する。なお、生成される第１の再生入力ストリーム〜第ｋ＋１の再生入力ストリームは、例えば、第１の記録出力ストリームＶａ１〜第ｋ＋１の記録出力ストリームＶａ（ｋ＋１）である（図１６参照）。

図２５は、ビデオカメラシステム１の動作を示す図である。図２５では、ビデオカメラシステム１の動作が、図２５の表の第３列に示される。

図２５の表の第１行は、第ｕの記録演算部（例えば第２の記録演算部５１６）に入力される第ｕの記録演算入力ストリームＩｎ（１≦ｕ≦ｋ）を示す。第ｕの記録演算入力ストリームＩｎは、第２×ａ−１のフレームＮＦ（奇数フレーム）と、第２×ａ−１のフレームに対して連続する第２×ａのフレームＳＦ（偶数フレーム）とを含む。

図２５の表の第２行は、第ｕの記録演算部〜第ｋ＋１の記録演算部による、第２×ａ−１のフレームＮＦと、第２×ａのフレームＳＦとの処理を示す。

この処理において、第ｕの記録演算部等は、第２×ａ−１のフレームＮＦ（例えば図５のフレーム１）を、符号化後の第２×ａ−１のフレームＣＦ１へと符号化する。なお、図２５では、符号化されるフレームは、ハッチングを付して示される。また、第ｕの記録演算部等は、第２×ａのフレームＳＦ（フレーム２）と、第２×ａ−１のフレームＮＦ（フレーム１）とを加算する加算処理ＡＰ（図２５）を行い、加算処理ＡＰによる加算がされた加算フレームＡｄｆ（フレーム１＋２）を生成する。生成される加算フレームＡｄｆ（フレーム１＋２）は、第ｕ＋１の記録演算部等により、符号化後の加算フレームＣＦ２ａへと符号化される。ここで、この符号化は、場合によっては、加算フレーム（例えば３＋４）に対して、さらに予め定められたフレーム（フレーム１＋２）が加算された処理後のフレームに対して行われる（フレーム１＋２＋３＋４）。ここで、これら加算の処理の処理量は、符号化の処理の処理量と比べて小さい。

そして、従来例１（図２５の表の第１列、図１（ｂ）参照）、従来例２（図２５の表の第２列、図４）では、上記加算処理ＡＰが行われず、単に、第２×ａ−１のフレームＮＦと第２×ａのフレームＳＦとの２つのフレームがそれぞれ符号化されるだけである。そして、先述のように、行われる加算の処理の処理量は小さい。よって、ビデオカメラシステム１で符号化をする際の処理量は、従来例（従来例１および従来例２）の処理量と、この小さな処理量の分だけ異なるのに過ぎず、実質的に同一に維持される（図１１参照）。

図２５の表の第３行は、例えば、入力ストリームＩｎの第２×ａ−１のフレームＮＦと第２×ａのフレームＳＦとの両方がそれぞれ再生される場合など、両方のフレームが利用される両方フレーム利用の場合におけるビデオカメラシステム１の処理を示す。

ビデオカメラシステム１では、符号化された符号化後の第２×ａ−１のフレームＣＦ１（例えば図６のフレーム１）が復号される。また、符号化後の加算フレームＣＦ２ａ（又は上述した、処理後のフレームが符号化されたもの、図６のフレーム１＋２）が復号され、復号後の加算フレームＣＦ２ａ（又は上述した処理後のフレーム）からの減算の処理が行われる。こうして生成された第２×ａ−１のフレームＮＦ１及び第２×ａのフレームＮＦ２ａにより、両方フレーム利用が行われる。

ここで、従来例（従来例１および従来例２）では、減算処理が行われない点で、上記処理と異なる。そして、ここで、減算の処理の処理量は相対的に小さい。このため、上記されるビデオカメラシステム１において、両方フレーム利用のときの処理量は、従来例の処理量と実質的に同等である。

図２５の表の第４行は、第２×ａ−１のフレームＮＦと第２×ａのフレームＳＦとによる表示内容が、１つのフレームの再生のみにより表示される、間引き利用の場合の処理が示される。

ビデオカメラシステム１では、加算フレーム（例えばフレーム１＋２）が符号化された符号化後のフレームが復号される。これにより、復号されるフレームは１つに減少される一方で、利用されるフレームは、加算フレームであり、画質が高い。

他方、従来例１（図１（ｂ）参照）では、加算フレームが利用されず、モーションブラーが欠落するなどして、画質が低い。

また、従来例２（図４参照）では、上記される間引き利用に際して、加算フレームが生成されるときに、２つ以上のフレームが復号される。例えば、ストリームに含まれる全てのフレームが復号される。

したがって、ディジタルテレビシステム１ａによれば、従来例１、従来例２とは異なって、処理量を小さくしつつも、高い画質が実現されて、小さい処理量と高い画質とが両立される。

上記のようにして、上記の実施の形態により、次の各装置等がそれぞれ構成される。

（Ａ１） ストリーム（例えば、図５の第２群における、第ｋの記録演算入力ストリーム：処理ストリーム）に含まれる連続する２つのフレーム（フレーム１＋２、フレーム３＋４：２つの処理フレーム）のうちで一方のフレーム（フレーム１＋２）を符号化する符号化部（第２の符号化部５１０（および第１の符号化部５０４、第３の符号化部５１４））と、前記２つのフレームのうちで他方のフレームと、前記一方のフレームとを加算する加算部（第２の加算部５１２（および第１の加算部５０６、第３の加算部５１２））とを備える記録装置（ビデオエンコーダ９００、記録部１５１）が構成される。

（Ａ２） 前記符号化部は、一方の処理ストリーム（第ｋの記録演算入力ストリーム：図５の第２群）に含まれる第２×ａ−１の処理フレーム（フレーム１＋２）と第２×ａの処理フレーム（フレーム３＋４）とのうちの一方の処理フレーム（フレーム１＋２）を符号化して（ａは整数）、符号化した符号化後のフレームを、一方の出力ストリーム（第ｋの記録演算出力ストリーム）に含まれる第ａの出力フレームとして生成し、前記加算部は、前記一方の処理ストリーム（第ｋの記録演算入力ストリーム）に含まれる前記第２×ａ−１の処理フレーム（フレーム１＋２）と前記第２×ａの処理フレーム（フレーム３＋４）とが加算された第ａの加算フレーム（フレーム１＋２＋３＋４）を、他方の処理ストリーム（第ｋ＋１の記録演算入力ストリーム）に含まれる第ａのフレームとして生成する記録装置が構成される。

（Ａ３） 前記一方の処理ストリームおよび前記一方の出力ストリームは、第ｋの処理ストリーム（第ｋの記録演算入力ストリーム）および第ｋの出力ストリーム（第ｋの記録演算出力ストリーム）であり、前記他方の処理ストリームは、第ｋ＋１の処理ストリーム（第ｋ＋１の記録演算入力ストリーム）であり（ｋ≧１）、前記符号化部は、第ｋ＋１の処理ストリームに含まれる第２×ａ−１のフレーム（例えばフレーム１＋２＋３＋４）と前記第２×ａのフレーム（フレーム５＋６＋７＋８）とをそれぞれ符号化して、符号化された各符号化後のフレームを、第ｋ＋１の出力ストリーム（第ｋ＋１の記録演算出力ストリーム）に含まれる第２×ａ−１の出力フレームと第２×ａのフレームとして生成する第ｋ＋１の符号化部（第３の符号化部５１４）と、第ｕの処理ストリーム（第ｕの記録演算入力ストリーム）に含まれる第２×ａ−１のフレーム（フレーム１＋２）と前記第２×ａのフレーム（フレーム３＋４）とのうちの一方の処理フレーム（フレーム１＋２）を符号化して、符号化された符号化後のフレームを、第ｕの出力ストリーム（第ｕの記録演算出力ストリーム）に含まれる第２×ａ−１の出力フレームと第２×ａの出力フレームとのうちの一方の出力フレーム（第２×ａ−１の出力フレーム）として生成する第ｕ符号化部（第２の符号化部５１０、第１の符号化部５０４）とを含み（１≦ｕ≦ｋ）、前記加算部は、前記第ｕの処理ストリーム（第ｕの記録演算入力ストリーム）に含まれる第２×ａ−１のフレーム（フレーム１＋２）と前記第２×ａのフレーム（フレーム３＋４）とを加算して、加算された加算後のフレームを、前記第ｕ＋１の処理ストリーム（第ｕ＋１の記録演算入力ストリーム）に含まれる第ａのフレームとして生成する第ｕの加算部（第２の加算部５１２、第１の加算部５０６）を含む記録装置が構成される。

（Ａ４） 第ｕの処理ストリームに含まれる処理フレームが前記一方のフレームか否かを判定して、前記一方のフレームと判定される処理フレームを前記符号化部により符号化させ、前記一方のフレームではないと判定される処理フレームの前記加算フレームを前記加算部に生成させる判定部（第２の選択部５０７、第１の選択部５０１）を備え、前記判定部は、第１の判定部〜第ｋの判定部（第１の選択部５０１〜第２の選択部５０７）を備え、前記第ｕの判定部は、第ｕの処理ストリームについての前記判定を行う記録装置が構成される。

（Ａ５） 前記符号化部は、第ｕの処理ストリームに含まれる第１〜第２＾（ｋ＋１−ｕ）（＝２＾（３−ｕ））の処理フレーム（Ａ＾Ｂは、ＡのＢ乗を示す）のうちの、奇数フレームである処理フレームをそれぞれ符号化し、符号化された２＾（ｋ−ｕ）（２＾（２−ｕ））個の処理フレームが含まれる第ｕの出力ストリーム（第ｕの記録演算出力ストリーム）を生成し、前記加算部は、第ｕの処理ストリームの第１〜第２＾（ｋ＋１−ｕ）の処理フレームから生成した２＾（ｋ−ｕ）個の加算フレームが含まれる第ｕ＋１の処理ストリーム（第ｕ＋１の記録演算出力ストリーム）を生成し、生成される第ｋ＋１の処理ストリーム（ｕ＝ｋ）（第ｋ＋１（＝３）の記録演算出力ストリーム）に含まれる加算フレームは１個（＝ｋ−ｕ）（フレーム１＋２＋３＋４のみ）である記録装置が構成される。

（Ａ６） 前記第１の処理ストリームに含まれるＮ個（Ｎ＝２＾ｋ＝２＾（ｋ＋１−１））の処理フレームを入力する入力手段（入力部５００）と、第１の記録処理部〜第ｋ＋１の記録処理部（第１の記録演算処理部〜第ｋ＋１の記録演算処理部）とを備え、前記符号化部は、前記第ｔの記録処理部に設けられた第ｔの符号化部が含まれ（１≦ｔ≦ｋ＋１）、前記加算部は、第ｔの記録処理部に設けられた第ｔの加算部が含まれ（１≦ｕ≦ｋ）、第１の記録処理部は、前記入力手段から得られる奇数フレームと偶数フレームとを格納する記憶手段を備え、当該第１の記録処理部が有する前記第１の符号化部が、格納された前記奇数フレームを符号化し、前記第１の符号化部より得られるビットストリームを前記第１の出力ストリームとして格納する記憶手段とを備え、当該第１の記録処理部が有する前記第１の加算部が、格納された前記奇数フレームと前記偶数フレームとを加算し、前記第ｑの記録処理部は（２≦ｑ≦ｋ＋１）、前記第ｑ−１の加算部から得られる奇数フレームと偶数フレームとを格納する記憶手段を備え、第ｑの符号化部が、前記第ｑ−１の加算部から得られる、格納された奇数フレームを符号化し、前記第ｑの符号化部より得られるビットストリームを第ｑの出力ストリームとして格納する記憶手段を備え、当該第ｑの記録処理部が備える前記第ｑの加算部が、格納された奇数フレームと偶数フレームとを加算し、前記第１の記録処理部〜前記第ｋ＋１の記録処理部によりｋ＋１段で構成されることを特徴とする記録装置が構成される。

（Ａ７） 一方のフレーム（例えばフレーム１＋２）が符号化された符号化後のフレームから当該一方のフレームを復号する復号部（第２の復号部６０４（および第３の復号部６０１、第１の復号部６０９））と、当該一方のフレームと、当該一方のフレームに連続する他方のフレーム（フレーム３＋４）とが加算された加算フレーム（フレーム１＋２＋３＋４）から、当該一方のフレーム（フレーム１＋２）を減算し、減算後のフレームを、前記他方のフレーム（フレーム３＋４）として生成する減算部（第２の減算部６０６）とを備える再生装置（再生部１７１、ビデオデコーダ９０１）が構成される。

（Ａ８） 前記復号部は、一方の処理前ストリーム（例えば、第ｋの再生演算入力ストリーム）に含まれる第ａの処理前フレーム（例えばフレーム１＋２）を復号し（ａは整数）、復号後のフレームを、一方の処理後ストリーム（第ｋの再生演算出力ストリーム）に含まれる第２×ａ−１の処理後フレームおよび第２×ａの処理後フレームのうちの一方のフレームとして生成し、前記減算部は、前記一方の処理後ストリームの前記第２×ａ−１の処理後フレーム（フレーム１＋２）および第２×ａの処理後フレーム（フレーム３＋４）が加算された加算フレーム（フレーム１＋２＋３＋４）が、第ａの処理後フレームとして含まれる他方の処理後ストリーム（第ｋ＋１の再生演算入力ストリーム）に含まれる当該ａの処理後フレーム（フレーム１＋２＋３＋４）から、前記一方の処理前フレームの前記第ａの処理前フレームが復号された前記一方のフレーム（フレーム１＋２）を減算して、減算後のフレームを、前記一方の処理後ストリーム（第ｋの再生演算出力ストリーム）の前記第２×ａ−１の処理後フレームおよび前記第２×ａの処理後フレームのうちの他方のフレーム（フレーム３＋４）として生成する再生装置が構成される。

（Ａ９） 前記一方の処理前ストリームおよび前記一方の処理後ストリームは、第ｋの処理前ストリーム（第ｋの再生演算入力ストリーム）および第ｋの処理後ストリーム（第ｋの再生演算出力ストリーム）であり、前記他方の処理後ストリームは、第ｋ＋１の処理後ストリーム（第ｋ＋１の再生演算出力ストリーム）であり（ｋ≧１）、前記復号部は、前記第ｋ＋１の処理前ストリーム（第ｋ＋１の再生演算入力ストリーム）に含まれる第ａの処理前フレームを復号して、復号後のフレーム（フレーム１＋２＋３＋４）を、第ｋ＋１の処理後ストリーム（第ｋ＋１の再生演算出力ストリーム）の第ａの処理後フレームとして生成する第ｋ＋１の復号部（第３の復号部６０１）と、前記第ｖの処理前ストリーム（ｍ≦ｖ≦ｋ）（第ｖの再生演算入力ストリーム）に含まれる第２×ａ−１の処理前フレームと第２×ａの処理前フレームとのうちの一方を復号して、復号後のフレーム（例えばフレーム１＋２）を、第ｖの処理後ストリーム（第ｖの再生演算出力ストリーム）に含まれる第２×ａ−１の処理後フレーム（フレーム１＋２）と第２×ａの処理後フレーム（フレーム３＋４）のうちの一方（フレーム１＋２）として生成する第ｖの復号部（第２の復号部６０４）とを備え、前記減算部は、前記第ｖ＋１の処理後ストリーム（第ｋ＋１の再生演算出力ストリーム）に含まれる第ａの処理後フレームから、第ｖの処理後ストリーム（第ｋの再生演算出力ストリーム）に含まれる第２×ａ−１の処理後フレームと第２×ａの処理後フレームのうちの一方の処理後フレーム（フレーム１＋２）を減算して、減算後のフレームを、第ｖの処理後ストリームの他方の処理後フレーム（フレーム３＋４）として生成する第ｖの減算部（第２の減算部６０６）を備える再生装置が構成される。

（Ａ１０） ｍ＝１であり、第ｋ＋１の処理後ストリーム１つのフレームの期間に、２＾（Ｌ−１）個のフレームを当該再生装置が再生する場合には（１≦Ｌ≦ｋ＋１）、第ｋ＋１の復号部〜第ｋ＋１−（Ｌ−１）の復号部、および第ｋ＋１の減算部〜第ｋ＋１−（Ｌ−１）の減算部のみにより、第ｋ＋１の処理後ストリーム〜第ｋ＋１−（Ｌ−１）の処理後ストリームのみを生成させて、第ｋ＋１−（Ｌ−１）の処理後ストリームに含まれる各処理後ストリームの再生を当該再生装置に行わせる選択部（選択部６１９）を備える再生装置が構成される。

（Ａ１１） 第ｖの処理後ストリームに含まれる処理後フレームが前記一方のフレームか否かを判定して、前記一方のフレームと判定される場合、当該処理後フレームが符号化された符号化後の処理後フレームから前記復号部により復号されるフレームを、判定された前記処理後フレームとして選択し、前記一方のフレームではないと判定される場合、判定された前記処理後フレームが前記他方のフレームとして加算された加算フレームから前記減算部により生成されるフレームを、判定された当該処理後フレームとして選択する判定部（第２の選択部６１７、第１の選択部（選択部６１０、選択部６１８））を備え、前記判定部は、第ｍの判定部〜第ｋの判定部を備え、第ｖの判定部は、第ｖの処理後ストリームについての前記判定および選択を行う再生装置が構成される。

（Ａ１２） 第１の処理ストリームに含まれるＮ個（Ｎ＝２＾ｋ）の処理フレームのうちの奇数フレームを符号化した第１の出力ストリームと、前記第ｕの処理ストリーム（１≦ｕ≦ｋ）の奇数フレームと偶数フレームとを加算した加算フレームを生成し、生成された各加算フレームが含まれる中間ストリームの奇数フレームのみを符号化した第ｕ＋１の出力ストリームを記録することをｋ回繰り返す（１≦ｕ≦ｋ）ことで得られた第２から第ｋ＋１の出力ストリームとである第１の処理前ストリーム〜第ｋ＋１の処理前ストリームを処理し、再生部と、第１の再生処理部〜第ｋ＋１の再生処理部とを備え、前記復号部は、第ｔの再生処理部に設けられた第ｔの復号部が含まれ（１≦ｔ≦ｋ＋１）、前記減算部は、第ｕの再生処理部に設けられた第ｕの減算部が含まれ（１≦ｕ≦ｋ）、第ｋ＋１の記録処理部は、当該第ｋ＋１の記録処理部が備える前記第ｋ＋１の復号部が、第ｋ＋１の処理前ストリームを復号し再構成し、前記再生部は、Ｌ＝１の場合に、前記第ｋ＋１の復号部から得られるフレームを再生し、第ｕの記録処理部は（１≦ｕ≦ｋ）、当該第ｕの記録処理部が備える前記第ｕの復号部が、第ｕの処理前ストリームを復号し再構成し、当該第ｕの記録処理部が備える前記第ｕの減算部が、第ｋ＋１から第ｕ＋１の処理前ストリームから再構成した２＾（ｋ＋１−ｕ）／２（＝２＾（ｋ−ｕ））フレームから、第ｕ＋１の処理前ストリームから前記第ｕの復号部が再構成した、対応する前記奇数フレームを、それぞれ減算し、前記再生部は、Ｌ≧２の場合に、前記第ｋ＋１−（Ｌ−１）の復号部から得られるフレームを奇数フレームとして再生すると共に、前記第ｋ＋１−（Ｌ−１）の減算部から得られるフレームを偶数フレームとして再生し、前記第１の再生処理部〜前記第ｋ＋１の再生処理部とによりｋ＋１段で構成したことを特徴とする再生装置が構成される。

（Ａ１３） 映像と音声の入力インターフェースとしてＣＣＤ周辺部とマイクとを備え、オートフォーカス部を制御するカメラ信号処理手段と、動画像の符号化及び復号化と、音声の符号化及び復号化とをそれぞれ行う信号処理手段と、映像と音声を出力するインターフェースと、記録データを保持するためのインターフェースとを備えたビデオカメラシステムであって、（Ａ３）記載の記録装置と、（Ａ９）記載の再生装置とを備えたことを特徴とするビデオカメラシステムが構成される（図９参照）。

（Ａ１４） チューナからの信号をディジタル変復調する手段、デスクランブルとトランスポートストリームの復号化を行う手段、動画像復号化と音声復号化を行う信号処理手段、映像と音声を出力する手段を備えたディジタルテレビシステムであって、（Ａ９）記載の再生装置を備えたことを特徴とするディジタルテレビシステムが構成される。

また、次の各装置等が構成される（図１０参照）。

（Ｂ１） Ｎ（Ｎは２のべき乗数）フレームに対して、奇数フレームを符号化したビットストリームを記録し、
奇数フレームと偶数フレームを加算したフレームを生成し、前記加算したフレームに対して奇数フレームのみを符号化したビットストリームを記録することをＬｏｇ２Ｎ（底２の対数）回繰り返すことで
Ｌｏｇ２Ｎ＋１個のビットストリームを生成することを特徴とする記録方法が構成される。

（Ｂ２） Ｎ（Ｎは２のべき乗数）フレームに対して、奇数フレームを符号化した第１のビットストリームと、前記符号化対象フレームの奇数フレームと偶数フレームを加算したフレームを生成し、前記加算したフレームに対して奇数フレームのみを符号化したビットストリームを記録することをＬｏｇ２Ｎ（底２の対数）回繰り返すことで得られた第２から第Ｌｏｇ２Ｎ＋１のビットストリーム対して、
Ｎフレーム中の１フレームを再生する場合には、第Ｌｏｇ２Ｎ＋１のビットストリームを復号し再構成したフレームを再生し、
Ｎフレーム中の２フレームを再生する場合には、第Ｌｏｇ２Ｎのビットストリームを復号し再構成したフレームを奇数フレームとして再生し、第Ｌｏｇ２Ｎ＋１のビットストリームから再構成したフレームから前記奇数フレームを減算したフレームを偶数フレームとして再構成し再生し、
Ｎフレーム中のＭフレーム（Ｍは３以上Ｎ以下の２のべき乗の数）を再生する場合には、第Ｌｏｇ２Ｍ＋１のビットストリームを復号し再構成したフレームを奇数フレームとして再生し、第Ｌｏｇ２Ｍから第Ｌｏｇ２Ｎ＋１のビットストリームから再構成したＭ／２フレームから対応する第Ｌｏｇ２Ｍ＋１のビットストリームから再構成した前記奇数フレームを減算したフレームを偶数フレームとして再生することを特徴とする再生方法が構成される。

（Ｂ３） Ｎ（Ｎは２のべき乗数）フレームを入力する入力手段、前記入力手段から得られる奇数フレームと偶数フレームを格納する記憶手段、前記奇数フレームを符号化する符号化手段、前記符号化手段より得られるビットストリームを格納する記憶手段で構成される第1の記録手段と、
奇数フレームと偶数フレームを加算する加算手段、前記加算手段から得られる奇数フレームと偶数フレームを格納する記憶手段、前記加算手段から得られる奇数フレームを符号化する符号化手段、前記符号化手段より得られるビットストリームを格納する記憶手段で構成される第２の記録手段とを備え、
前記第１の記録手段と前記第２の記録手段とがＬｏｇ２Ｎ（底２の対数）段で構成されることを特徴とする記録装置が構成される。

（Ｂ４） Ｎ（Ｎは２のべき乗数）フレームに対して、奇数フレームを符号化した第１のビットストリームと、
前記符号化対象フレームの奇数フレームと偶数フレームを加算したフレームを生成し、前記加算したフレームに対して奇数フレームのみを符号化したビットストリームを記録することをＬｏｇ２Ｎ（底２の対数）回繰り返すことで得られた第２から第Ｌｏｇ２Ｎ＋１のビットストリーム対して、
Ｎフレーム中の１フレームを再生する場合には、第Ｌｏｇ２Ｎ＋１のビットストリームを復号し再構成する復号手段、前記復号手段から得られるフレームを再生する再生手段で構成される第１の再生手段と、
Ｎフレーム中のＭフレーム（Ｍは３以上Ｎ以下の２のべき乗の数）を再生する場合には、第Ｌｏｇ２Ｍ＋１のビットストリームを復号し再構成する復号手段、前記復号手段から得られるフレームを奇数フレームとして再生する再生手段、第Ｌｏｇ２Ｍから第Ｌｏｇ２Ｎ＋１のビットストリームから再構成したＭ／２フレームから対応する第Ｌｏｇ２Ｍ＋１のビットストリームから再構成した前記奇数フレームを減算する減算手段、前記減算手段から得られるフレームを偶数フレームとして再生する再生手段で構成される第２の再生手段とを備え、
前記第１の再生手段と前記第２の再生手段とがＬｏｇ２Ｎ（底２の対数）段で構成したことを特徴とする再生装置が構成される。

（Ｂ５） 映像と音声の入力インターフェースとしてＣＣＤ周辺部とマイクを備え、オートフォーカス部などを制御するカメラ信号処理手段、動画像符号化及び復号化と音声符号化及び復号化を行う信号処理手段と、映像と音声を出力するインターフェース、記録データを保持するためのインターフェースを備えたビデオカメラシステムであって、
前記動画像符号化において、Ｎ（Ｎは２のべき乗数）フレームに対して、奇数フレームを符号化したビットストリームを記録し、
奇数フレームと偶数フレームを加算したフレームを生成し、前記加算したフレームに対して奇数フレームのみを符号化したビットストリームを記録することをＬｏｇ２Ｎ（底２の対数）回繰り返すことでＬｏｇ２Ｎ＋１個のビットストリームを生成する手段を備え、
前記動画像復号化において、Ｎフレームに対して、奇数フレームを符号化した第１のビットストリームと、前記符号化対象フレームの奇数フレームと偶数フレームを加算したフレームを生成し、前記加算したフレームに対して奇数フレームのみを符号化したビットストリームを記録することをＬｏｇ２Ｎ（底２の対数）回繰り返すことで得られた第２から第Ｌｏｇ２Ｎ＋１のビットストリーム対して、
Ｎフレーム中の１フレームを再生する場合には、第Ｌｏｇ２Ｎ＋１のビットストリームを復号し再構成したフレームを再生し、
Ｎフレーム中の２フレームを再生する場合には、第Ｌｏｇ２Ｎのビットストリームを復号し再構成したフレームを奇数フレームとして再生し、
第Ｌｏｇ２Ｎ＋１のビットストリームから再構成したフレームから前記奇数フレームを減算したフレームを偶数フレームとして再構成し再生し、Ｎフレーム中のＭフレーム（Ｍは３以上Ｎ以下の２のべき乗の数）を再生する場合には、第Ｌｏｇ２Ｍ＋１のビットストリームを復号し再構成したフレームを奇数フレームとして再生し、
第Ｌｏｇ２Ｍから第Ｌｏｇ２Ｎ＋１のビットストリームから再構成したＭ／２フレームから対応する第Ｌｏｇ２Ｍ＋１のビットストリームから再構成した前記奇数フレームを減算したフレームを偶数フレームとして再生する手段を備えたことを特徴とするビデオカメラシステムが構成される。

（Ｂ６） チューナからの信号をディジタル変復調する手段、デスクランブルとトランスポートストリームの復号化を行う手段、動画像復号化と音声復号化を行う信号処理手段、映像と音声を出力する手段を備えたディジタルテレビシステムであって、
前記動画像復号化において、Ｎフレームに対して、奇数フレームを符号化した第１のビットストリームと、前記符号化対象フレームの奇数フレームと偶数フレームを加算したフレームを生成し、前記加算したフレームに対して奇数フレームのみを符号化したビットストリームを記録することをＬｏｇ２Ｎ（底２の対数）回繰り返すことで得られた第２から第Ｌｏｇ２Ｎ＋１のビットストリーム対して、
Ｎフレーム中の１フレームを再生する場合には、第Ｌｏｇ２Ｎ＋１のビットストリームを復号し再構成したフレームを再生し、
Ｎフレーム中の２フレームを再生する場合には、第Ｌｏｇ２Ｎのビットストリームを復号し再構成したフレームを奇数フレームとして再生し、
第Ｌｏｇ２Ｎ＋１のビットストリームから再構成したフレームから前記奇数フレームを減算したフレームを偶数フレームとして再構成し再生し、
Ｎフレーム中のＭフレーム（Ｍは３以上Ｎ以下の２のべき乗の数）を再生する場合には、第Ｌｏｇ２Ｍ＋１のビットストリームを復号し再構成したフレームを奇数フレームとして再生し、第Ｌｏｇ２Ｍから第Ｌｏｇ２Ｎ＋１のビットストリームから再構成したＭ／２フレームから対応する第Ｌｏｇ２Ｍ＋１のビットストリームから再構成した前記奇数フレームを減算したフレームを偶数フレームとして再生する手段を備えたことを特徴とするディジタルテレビシステムが構成される。

なお、上記のように、連続する２つのフレームのうちで一方のフレームが符号化される。ここで、符号化される一方のフレームは、それら２つのフレームのうちで、前方側のフレーム（第２×ａ−１のフレーム）ではなく、後方側のフレーム（第２×ａのフレーム）であってもよい。

そして、先述のように、符号化される一方のフレームが、前方側のフレームであれば、後方側のフレームの処理が可能になる時間よりも前に、予め、早く、一方のフレームの符号化の処理が開始できる。このため、一方のフレームを符号化する処理や、その処理の後続の処理を早く終了できて、処理遅延が低減できる。また、後方側のフレームの処理が可能になる時間よりも後に多くの処理がされないようにして、処理負荷を分散できる。

また、一方のフレーム（例えばフレーム１）と他方のフレーム（フレーム２）とが、加算フレーム（フレーム１＋２）へと加算される処理が開始されるよりも後に、一方のフレームの符号化の処理が開始されてもよい。

これに対して、先述のように、加算の処理が開始されるよりも前に、一方のフレームの符号化の処理が早く開始されれば、処理遅延を低減したり、無くしたりできる。また、処理負荷を分散できる。

本発明にかかる記録及び再生方法とその装置においては、高速度撮影を行うムービー、動画像を再生するディジタルテレビにおいて、処理性能が十分でない再生装置においても良好な画質の提供が可能であり、低消費電力化やコストダウンに有用である。

５００ 入力部
５０１ 第１の選択部
５０４ 第１の符号化部
５０６ 第１の加算部
５０７ 第２の選択部
５１０ 第２の符号化部
５１２ 第２の加算部
５１４ 第３の符号化部
５１６ 第２の記録演算部

Claims (20)

1. ストリームに含まれる連続する２つのフレームのうちで一方のフレームを符号化する符号化部と、
   前記２つのフレームのうちで他方のフレームと、前記一方のフレームとを加算する加算部とを備える記録装置。
2. 前記符号化部は、一方の処理ストリームに含まれる第２×ａ−１の処理フレームと第２×ａの処理フレームとのうちの一方の処理フレームを符号化して（ａは整数）、符号化した符号化後のフレームを、一方の出力ストリームに含まれる第ａの出力フレームとして生成し、
   前記加算部は、前記一方の処理ストリームに含まれる前記第２×ａ−１の処理フレームと前記第２×ａの処理フレームとが加算された第ａの加算フレームを、他方の処理ストリームに含まれる第ａのフレームとして生成する請求項１記載の記録装置。
3. 前記一方の処理ストリームおよび前記一方の出力ストリームは、第ｋの処理ストリームおよび第ｋの出力ストリームであり、前記他方の処理ストリームは、第ｋ＋１の処理ストリームであり（ｋ≧１）、
   前記符号化部は、
   第ｋ＋１の処理ストリームに含まれる第２×ａ−１のフレームと前記第２×ａのフレームとをそれぞれ符号化して、符号化された各符号化後のフレームを、第ｋ＋１の出力ストリームに含まれる第２×ａ−１の出力フレームと第２×ａのフレームとして生成する第ｋ＋１の符号化部と、
   第ｕの処理ストリームに含まれる第２×ａ−１のフレームと前記第２×ａのフレームとのうちの一方の処理フレームを符号化して、符号化された符号化後のフレームを、第ｕの出力ストリームに含まれる第２×ａ−１の出力フレームと第２×ａの出力フレームとのうちの一方の出力フレームとして生成する第ｕの符号化部とを含み（１≦ｕ≦ｋ）、
   前記加算部は、前記第ｕの処理ストリームに含まれる第２×ａ−１のフレームと前記第２×ａのフレームとを加算して、加算された加算後のフレームを、前記第ｕ＋１の処理ストリームに含まれる第ａのフレームとして生成する第ｕの加算部を含む請求項２記載の記録装置。
4. 第ｕの処理ストリームに含まれる処理フレームが前記一方のフレームか否かを判定して、前記一方のフレームと判定される処理フレームを前記符号化部により符号化させ、前記一方のフレームではないと判定される処理フレームの前記加算フレームを前記加算部に生成させる判定部を備え、
   前記判定部は、第１の判定部〜第ｋの判定部を備え、
   前記第ｕの判定部は、第ｕの処理ストリームについての前記判定を行う請求項３記載の記録装置。
5. 前記符号化部は、第ｕの処理ストリームに含まれる第１〜第２＾（ｋ＋１−ｕ）の処理フレーム（Ａ＾Ｂは、ＡのＢ乗を示す）のうちの、奇数フレームである処理フレームをそれぞれ符号化し、符号化された２＾（ｋ−ｕ）個の処理フレームが含まれる第ｕの出力ストリームを生成し、
   前記加算部は、第ｕの処理ストリームの第１〜第２＾（ｋ＋１−ｕ）の処理フレームから生成した２＾（ｋ−ｕ）個の加算フレームが含まれる第ｕ＋１の処理ストリームを生成し、
   生成される第ｋ＋１の処理ストリーム（ｕ＝ｋ）に含まれる加算フレームは１個（＝ｋ−ｕ）である請求項２記載の記録装置。
6. 請求項２記載の記録装置であって、
   前記第１の処理ストリームに含まれるＮ個（Ｎ＝２＾ｋ＝２＾（ｋ＋１−１））の処理フレームを入力する入力手段と、
   第１の記録処理部〜第ｋ＋１の記録処理部とを備え、前記符号化部は、前記第ｔの記録処理部に設けられた第ｔの符号化部が含まれ（１≦ｔ≦ｋ＋１）、前記加算部は、第ｔの記録処理部に設けられた第ｔの加算部が含まれ（１≦ｕ≦ｋ）、
   第１の記録処理部は、
   前記入力手段から得られる奇数フレームと偶数フレームとを格納する記憶手段を備え、
   当該第１の記録処理部が有する前記第１の符号化部が、格納された前記奇数フレームを符号化し、
   前記第１の符号化部より得られるビットストリームを前記第１の出力ストリームとして格納する記憶手段とを備え、
   当該第１の記録処理部が有する前記第１の加算部が、格納された前記奇数フレームと前記偶数フレームとを加算し、
   前記第ｑの記録処理部は（２≦ｑ≦ｋ＋１）、
   前記第ｑ−１の加算部から得られる奇数フレームと偶数フレームとを格納する記憶手段を備え、
   第ｑの符号化部が、前記第ｑ−１の加算部から得られる、格納された奇数フレームを符号化し、
   前記第ｑの符号化部より得られるビットストリームを第ｑの出力ストリームとして格納する記憶手段を備え、
   当該第ｑの記録処理部が備える前記第ｑの加算部が、格納された奇数フレームと偶数フレームとを加算し、
   前記第１の記録処理部〜前記第ｋ＋１の記録処理部によりｋ＋１段で構成されることを特徴とする記録装置。
7. 一方のフレームが符号化された符号化後のフレームから当該一方のフレームを復号する復号部と、
   当該一方のフレームと、当該一方のフレームに連続する他方のフレームとが加算された加算フレームから、当該一方のフレームを減算し、減算後のフレームを、前記他方のフレームとして生成する減算部とを備える再生装置。
8. 前記復号部は、一方の処理前ストリームに含まれる第ａの処理前フレームを復号し（ａは整数）、復号後のフレームを、一方の処理後ストリームに含まれる第２×ａ−１の処理後フレームおよび第２×ａの処理後フレームのうちの一方のフレームとして生成し、
   前記減算部は、前記一方の処理後ストリームの前記第２×ａ−１の処理後フレームおよび第２×ａの処理後フレームが加算された加算フレームが、第ａの処理後フレームとして含まれる他方の処理後ストリームに含まれる当該ａの処理後フレームから、前記一方の処理前フレームの前記第ａの処理前フレームが復号された前記一方のフレームを減算して、減算後のフレームを、前記一方の処理後ストリームの前記第２×ａ−１の処理後フレームおよび前記第２×ａの処理後フレームのうちの他方のフレームとして生成する請求項７記載の再生装置。
9. 前記一方の処理前ストリームおよび前記一方の処理後ストリームは、第ｋの処理前ストリームおよび第ｋの処理後ストリームであり、前記他方の処理後ストリームは、第ｋ＋１の処理後ストリームであり（ｋ≧１）、
   前記復号部は、
   前記第ｋ＋１の処理前ストリームに含まれる第ａの処理前フレームを復号して、復号後のフレームを、第ｋ＋１の処理後ストリームの第ａの処理後フレームとして生成する第ｋ＋１の復号部と、
   前記第ｖの処理前ストリーム（ｍ≦ｖ≦ｋ）に含まれる第２×ａ−１の処理前フレームと第２×ａの処理前フレームとのうちの一方を復号して、復号後のフレームを、第ｖの処理後ストリームに含まれる第２×ａ−１の処理後フレームと第２×ａの処理後フレームのうちの一方として生成する第ｖの復号部とを備え、
   前記減算部は、前記第ｖ＋１の処理後ストリームに含まれる第ａの処理後フレームから、第ｖの処理後ストリームに含まれる第２×ａ−１の処理後フレームと第２×ａの処理後フレームのうちの一方の処理後フレームを減算して、減算後のフレームを、第ｖの処理後ストリームの他方の処理後フレームとして生成する第ｖの減算部を備える請求項８記載の再生装置。
10. ｍ＝１であり、
    第ｋ＋１の処理後ストリーム１つのフレームの期間に、２＾（Ｌ−１）個のフレームを当該再生装置が再生する場合には（１≦Ｌ≦ｋ＋１）、第ｋ＋１の復号部〜第ｋ＋１−（Ｌ−１）の復号部、および第ｋ＋１の減算部〜第ｋ＋１−（Ｌ−１）の減算部のみにより、第ｋ＋１の処理後ストリーム〜第ｋ＋１−（Ｌ−１）の処理後ストリームのみを生成させて、第ｋ＋１−（Ｌ−１）の処理後ストリームに含まれる各処理後ストリームの再生を当該再生装置に行わせる選択部を備える請求項９記載の再生装置。
11. 第ｖの処理後ストリームに含まれる処理後フレームが前記一方のフレームか否かを判定して、前記一方のフレームと判定される場合、当該処理後フレームが符号化された符号化後の処理後フレームから前記復号部により復号されるフレームを、判定された前記処理後フレームとして選択し、前記一方のフレームではないと判定される場合、判定された前記処理後フレームが前記他方のフレームとして加算された加算フレームから前記減算部により生成されるフレームを、判定された当該処理後フレームとして選択する判定部を備え、
    前記判定部は、第ｍの判定部〜第ｋの判定部を備え、
    第ｖの判定部は、第ｖの処理後ストリームについての前記判定および選択を行う請求項９記載の再生装置。
12. 請求項１０記載の再生装置であって、
    第１の処理ストリームに含まれるＮ個（Ｎ＝２＾ｋ）の処理フレームのうちの奇数フレームを符号化した第１の出力ストリームと、
    前記第ｕの処理ストリーム（１≦ｕ≦ｋ）の奇数フレームと偶数フレームとを加算した加算フレームを生成し、生成された各加算フレームが含まれる中間ストリームの奇数フレームのみを符号化した第ｕ＋１の出力ストリームを記録することをｋ回繰り返す（１≦ｕ≦ｋ）ことで得られた第２から第ｋ＋１の出力ストリームとである第１の処理前ストリーム〜第ｋ＋１の処理前ストリームを処理し、
    再生部と、第１の再生処理部〜第ｋ＋１の再生処理部とを備え、
    前記復号部は、第ｔの再生処理部に設けられた第ｔの復号部が含まれ（１≦ｔ≦ｋ＋１）、
    前記減算部は、第ｕの再生処理部に設けられた第ｕの減算部が含まれ（１≦ｕ≦ｋ）、
    第ｋ＋１の記録処理部は、
    当該第ｋ＋１の記録処理部が備える前記第ｋ＋１の復号部が、第ｋ＋１の処理前ストリームを復号し再構成し、
    前記再生部は、Ｌ＝１の場合に、前記第ｋ＋１の復号部から得られるフレームを再生し、
    第ｕの記録処理部は（１≦ｕ≦ｋ）、
    当該第ｕの記録処理部が備える前記第ｕの復号部が、第ｕの処理前ストリームを復号し再構成し、
    当該第ｕの記録処理部が備える前記第ｕの減算部が、第ｋ＋１から第ｕ＋１の処理前ストリームから再構成した２＾（ｋ＋１−ｕ）／２（＝２＾（ｋ−ｕ））フレームから、第ｕ＋１の処理前ストリームから前記第ｕの復号部が再構成した、対応する前記奇数フレームを、それぞれ減算し、
    前記再生部は、Ｌ≧２の場合に、前記第ｋ＋１−（Ｌ−１）の復号部から得られるフレームを奇数フレームとして再生すると共に、前記第ｋ＋１−（Ｌ−１）の減算部から得られるフレームを偶数フレームとして再生し、
    前記第１の再生処理部〜前記第ｋ＋１の再生処理部とによりｋ＋１段で構成したことを特徴とする再生装置。
13. ストリームに含まれる連続する２つのフレームのうちで一方のフレームを符号化する符号化工程と、
    前記２つのフレームのうちで他方のフレームと、前記一方のフレームとを加算する加算工程とを備える記録方法。
14. 一方のフレームが符号化された符号化後のフレームから当該一方のフレームを復号する復号工程と、
    当該一方のフレームと、当該一方のフレームに連続する他方のフレームとが加算された加算フレームから、当該一方のフレームを減算し、減算後のフレームを、前記他方のフレームとして生成する減算工程とを備える再生方法。
15. ストリームに含まれる連続する２つのフレームのうちで一方のフレームを符号化する符号化部と、
    前記２つのフレームのうちで他方のフレームと、前記一方のフレームとを加算する加算部とを備える集積回路。
16. 一方のフレームが符号化された符号化後のフレームから当該一方のフレームを復号する復号部と、
    当該一方のフレームと、当該一方のフレームに連続する他方のフレームとが加算された加算フレームから、当該一方のフレームを減算し、減算後のフレームを、前記他方のフレームとして生成する減算部とを備える集積回路。
17. ストリームに含まれる連続する２つのフレームのうちで一方のフレームを符号化する符号化部と、
    前記２つのフレームのうちで他方のフレームと、前記一方のフレームとを加算する加算部とをコンピュータに実現させるためのコンピュータプログラム。
18. 一方のフレームが符号化された符号化後のフレームから当該一方のフレームを復号する復号部と、
    当該一方のフレームと、当該一方のフレームに連続する他方のフレームとが加算された加算フレームから、当該一方のフレームを減算し、減算後のフレームを、前記他方のフレームとして生成する減算部とをコンピュータに実現させるためのコンピュータプログラム。
19. 映像と音声の入力インターフェースとしてＣＣＤ周辺部とマイクとを備え、オートフォーカス部を制御するカメラ信号処理手段と、動画像の符号化及び復号化と、音声の符号化及び復号化とをそれぞれ行う信号処理手段と、映像と音声を出力するインターフェースと、記録データを保持するためのインターフェースとを備えたビデオカメラシステムであって、
    請求項３記載の記録装置と、請求項９記載の再生装置とを備えたことを特徴とするビデオカメラシステム。
20. チューナからの信号をディジタル変復調する手段、デスクランブルとトランスポートストリームの復号化を行う手段、動画像復号化と音声復号化を行う信号処理手段、映像と音声を出力する手段を備えたディジタルテレビシステムであって、
    請求項９記載の再生装置を備えたことを特徴とするディジタルテレビシステム。

Images