JP4046844B2 - 画像処理装置及びコンピュータ読み取り可能な記憶媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、映像信号を圧縮符号化して伝送する画像処理装置及びコンピュータ読み取り可能な記憶媒体に関するものである。
【０００２】
【従来の技術】
近年、画像圧縮符号化技術の発達とディジタル通信回線の普及、さらには半導体技術の革新はめざましい。また、蓄積用ビデオ符号化（ＩＳＯ／ＩＥＣ１１１７２（ＭＰＥＧ−１））、蓄積、放送、通信向け汎用ビデオ符号化（ＩＳＯ／ＩＥＣ１３８１８（ＭＰＥＧ−２））、通信用ビデオ符号化（ＩＴＵ−Ｔ勧告 Ｈ．２６１／Ｈ．２６３）などの圧縮あるいは通信規約が勧告され、ＴＶ電話装置やＴＶ会議システムなどをはじめとする様々な映像音声端末装置が提案されている。さらに、動画像情報を直接ディジタル伝送するためには、数百Ｍｂｐｓの伝送速度が必要となるため、伝送速度を低減し伝送コストを軽減する様々な圧縮符号化方式が提案されている。
【０００３】
これらの動画像通信における動画像情報の圧縮符号化方式としては、時間方向の相関を利用して時間的な冗長度を取り除くフレーム間符号化と、空間方向の相関を利用した直交変換符号化で空間的な冗長度を取り除くフレーム内符号化とを組み合わせたハイブリット符号化方式が多く用いられる。フレーム間符号化には、フレーム間の動きを補償する動き補償フレーム間符号化と、動き補償しないフレーム間符号化とがある。
【０００４】
以下、これらの中で、前記Ｈ．２６１勧告による符号化アルゴリズムによる従来の圧縮符号化装置を図７を用いて簡単に説明する。まず、フレーム内符号化では、スイッチ５１１はＡに接続され、入力された符号化対象画像５００が、ＤＣＴ５０３、量子化部５０４において、ブロックサイズ８×８でＤＣＴ変換され、さらに量子化されて圧縮データとなる。そして、圧縮データ（量子化インデックス）は画像符号化データ５０５として生成される。
【０００５】
また、フレーム間符号化では、スイッチ５１１はＢに接続され、入力された符号化対象画像５００が、動きベクトル検出部５０１に入力され、１６画素×１６ラインのマクロブロックと称する正方形のブロックに分割される。動きベクトル検出部５０１では、符号化対象画像５００の中の各マクロブロック毎に、参照画像との間の動き量を検出し、得られた動きベクトルのブロック動き補償処理を行う。ここで、各マクロブロックの動きベクトルは、基準方向ｘおよびそれに垂直な方向ｙの平行移動量として求められる。すなわち、参照画像においては、着目するマクロブロックとのマッチング度が最も高いブロックの座標と着目するマクロブロックの座標との変位として表される。動きベクトルの探索範囲は、着目するマクロブロックの座標とその周囲の±１５画素×±１５ラインに制限される。
【０００６】
次に、動きベクトル検出部５０１では、各マクロブロック毎に動きベクトル分シフトした座標に位置する局部復号画像を当該ブロックの予測値とし、動き補償予測画像を生成する。ここで得られる動き補償予測画像は符号化対象画像５００と共に減算器５０２に入力される。両者の差分すなわち動き補償予測誤差は、ＤＣＴ５０３、量子化部５０４においてＤＣＴ変換され、圧縮差分データとなる。ここでも、ＤＣＴのブロックサイズは８×８である。圧縮差分データ（量子化インデックス）は差分画像符号化データ５０５として生成される。一方、動きベクトルは動きベクトル符号として符号化され、得られた動きベクトル符号化データ５０６は差分画像符号化データ５０５と共に多重化部５１０にて多重化され、多重化データとして伝送される。
【０００７】
なお、復号器と同じ復号画像を符号器内でも得るため、圧縮差分データ（量子化インデックス）５０５は逆量子化部５０６で量子化代表値に戻され、さらに逆ＤＣＴ変換部５０７で逆ＤＣＴされた後、復号差分画像となる。復号差分画像と動き補償画像は加算器５０８で加算され、局部復号画像となる。この局部復号画像はフレームメモリ５０９に蓄積され、次のフレームの符号化時に参照画像として用いられる。前記各制御を行う符号化制御部５１５の制御データも同時に、多重化部５１０に送られる。
【０００８】
Ｈ．２６１勧告では、符号化された画像データの発生量を制御するため、情報源符号器入力前の処理系、量子化器、有意ブロック判定、コマ落とし制御など、いくつかのパラメータは可変となっている。また、フレーム間符号化とフレーム内符号化の選択方法などは、どのように用いられるかは規定されていない。
【０００９】
従来の方法は、図８に示すように、（ａ）が入力画像を表しており、（ｂ）が符号化方法を表し、Ｉがフレーム内符号化、Ｐがフレーム間符号化を表す。（ａ）のＶ１・Ｖ２・Ｖ３・Ｖ４・・・Ｖ５３・・・のフレームが入力された時、まず、Ｖ１をフレーム内符号化を行い、これを参照画面としてＶ４をフレーム間符号化、Ｖ５をフレーム間符号化、Ｖ６をフレーム間符号化・・・と行う。ある一定回数以上のフレーム間符号化を行うか、入力画面間の相関性が著しく低下した場合、再びフレーム内符号化を行い（Ｖ５０）フレーム間符号化を実行する。図８の例では、Ｖ２、Ｖ３、Ｖ５１、Ｖ５２はコマ落とし（伝送されない）フレームを表す。
【００１０】
【発明が解決しようとする課題】
しかしながら、上記従来例の画像圧縮技術を用いても、伝送容量がかなり低い（たとえば６４ｋｂｐｓ程度）条件では、コマ落としが多くなる、あるいは伝送画像の品位がかなり悪くなる。通信により簡易的に相手先の画像を確認するテレビ会議システムなどでは十分な画質も、記録、保存を要求する画質は満足されていない。このため伝送画像枚数と画像品質とのバランスを最適条件にするための提案がいくつかなされているが、いずれも、符号化の処理が複雑になり、処理時間、回路規模が膨大になり、高価で大きいものとなってしまうなど問題が多かった。
【００１１】
従って、本発明の目的は、安価、小回路規模で、保存に耐えうる高画質の画像を、低い伝送容量においても、操作性を損なうことなく伝送することである。
【００１２】
【課題を解決するための手段】
本発明は、入力される映像信号を圧縮符号化する画像処理装置であって、フレーム内符号化手段と、フレーム間符号化手段と、上記映像信号を上記フレーム内符号化手段またはフレーム間符号化手段により圧縮符号化された圧縮データを蓄積する蓄積手段と、上記蓄積手段により蓄積された蓄積圧縮データを出力する出力手段と、上記フレーム内符号化手段と上記フレーム間符号化手段とを用いて上記映像信号を間引き符号化し、上記蓄積手段に蓄積し、上記出力手段より出力する第１の動作モードと、上記フレーム内符号化手段と上記フレーム間符号化手段とを用いて上記映像信号を間引きせずに符号化し、上記蓄積手段に蓄積し、上記出力手段より上記蓄積手段内の上記フレーム内符号化手段により符号化された圧縮データを出力する第２の動作モードと、上記第２の動作モード時に符号化し上記蓄積手段に蓄積した、上記蓄積手段内の残りの圧縮データを、上記第２の動作モードではなくさらに上記残りの圧縮データを有するときに出力する第３の動作モードと、を制御する制御手段と、を備えることを特徴とする。
【００１３】
また、本発明は、入力される映像信号を圧縮符号化する画像処理装置のコンピュータに、フレーム内符号化手順と、フレーム間符号化手順と、上記映像信号を上記フレーム内符号化手順またはフレーム間符号化手順により圧縮符号化された圧縮データを蓄積手段に蓄積する蓄積手順と、上記蓄積手順により蓄積された蓄積圧縮データを出力する出力手順と、上記フレーム内符号化手順と上記フレーム間符号化手順とを用いて上記映像信号を間引き符号化し、上記蓄積手段に蓄積し、上記出力手順より出力する第１の動作モードと、上記フレーム内符号化手順と上記フレーム間符号化手順とを用いて上記映像信号を間引きせずに符号化し、上記蓄積手段に蓄積し、上記出力手順より上記蓄積手段内の上記フレーム内符号化手順により符号化された圧縮データを出力する第２の動作モードと、上記第２の動作モード時に符号化し上記蓄積手段に蓄積した、上記蓄積手段内の残りの圧縮データを、上記第２の動作モードではなくさらに上記残りの圧縮データを有するときに出力する第３の動作モードと、を制御する制御手順と、を実行させるためのプログラムを記憶したコンピュータ読み取り可能な記憶媒体である。
【００１６】
【発明の実施の形態】
以下、本発明の実施の形態を図面と共に説明する。
図１、図２は本発明を適用した画像伝送システムのブロック図であり、図１の１５０は送信側の本発明による画像処理装置としてのカメラ部、図２の２５０は受信側のモニタ部である。カメラ部１５０において、１０１は映像を取り込むレンズ、１０２は映像を結像する撮像素子、１０３は映像をサンプルホールドし適正レベルに増幅するＣＤＳ／ＡＧＣ回路、１０４はレンズ１０１をズーミングあるいはフォーカシングのため駆動するモータドライバである。
【００１７】
１０５は映像信号をデジタル処理するデジタル信号処理回路、１０６はデータを伝送する無線送受信機、１０７は通信を制御するプロトコル回路、１０８はキャラクタ信号を発生させるキャラクタジェネレータ、１１０は映像などを表示するファインダ、１１１はビデオカメラの操作キー、１１２は映像情報の圧縮回路、１０９は圧縮データを蓄積するメモリ、１１３はアンテナ、１１４は映像信号とキャラクタ信号のミックス回路、１１５はシステムを制御するカメラマイコンである。
【００１８】
１１６は本発明を構成する記憶媒体であり、後述する図６、図８の処理を実行するための制御プログラムを格納している。この上記記憶媒体１１６としては、半導体メモリ、光ディスク、光磁気ディスク、磁気媒体等を用いてよく、これらをＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、フロッピディスク、メモリカード、磁気カード等に構成して用いてよい。
【００１９】
モニタ部２５０において、２０１はアンテナ、２０２は映像信号などを送受信する無線送受信機、２０３は通信を制御するプロトコル制御部、２１１は映像情報の伸長回路、２０４はデジタル信号処理回路、２０５は記録再生回路、２０６はシステムを制御するモニタマイコン、２０７はモニタマイコン２０６の操作キー、２０８は映像信号とキャラクタ信号のミックス回路、２０９は映像などを表示するファインダとしての表示器、２１０はキャラクタ信号を発生させるキャラクタジェネレータ、２１２は受信データを蓄積するメモリである。
【００２０】
図３は上記プロトコル回路１０７（２０３も同一構成）の詳細を示したブロック図であり、３０１は制御入出力とシステムデータのシステムインターフェース部、３０２はプロトコルを制御するコントローラ部、３０３はプロトコル回路内のバスとメモリを制御するメモリ／バスコントローラ部、３０６は内部メモリ、３０４は伝送路のデータプロトコルのインターフェースを制御するデータリンクコントローラ部、３０５はエラー検出またはエラー訂正のデータを、生成または処理するＥＣＣエンコーダ／デコード部である。各ブロックは内部アドレスバス、データバスとコントロールバスで接続されている。
【００２１】
図４は図２の伸長回路２１１の詳細を示したブロック図であり、４００は符号化データ入力部、４０１は各ブロックを制御する復号化制御部、４０２は逆量子化部、４０３は逆ＤＣＴ回路部、４０４はデータ合成部、４０５は復号化データ出力部、４０６は予測メモリ、４０７は切り替えスイッチである。
【００２２】
次に動作について説明する。
図１において、カメラ部１５０の各操作は、操作キー１１１により行われ、カメラ部１５０の撮影時には、被写体がレンズ１０１から撮像素子１０２で結像する。映像信号はＣＤＳ／ＡＧＣ回路１０３でサンプル／増幅され、デジタル信号処理回路１０５に入力される。レンズ１０１はズーミングやフォーカシングのために、カメラマイコン１１５の制御命令を受けて、モータドライバ１０４で駆動される。
【００２３】
一方、撮影データ（テープカウンタ、各種警告、撮影モードなど）が、カメラマイコン１１５からキャラクタジェネレータ１０８を介してキャラクタ信号として生成される。デジタル信号処理回路１０５からの映像信号とキャラクタジェネレータ１０８からのキャラクタ信号とがミックス回路１１４で合成されて、ファインダ１１０で表示される。
【００２４】
また、デジタル信号処理回路１０５からの映像信号は、圧縮回路１１２で圧縮され、プロトコル回路１０７あるいはメモリ１０９に送られる。ここで用いる圧縮方法は、従来例で説明した手法と同様であり、フレーム内符号化とフレーム間符号化とを、伝送容量、画質、動きに応じて最適に切り替える方法である。
【００２５】
また、カメラマイコン１１５から送られる各種付加情報もプロトコル回路１０７へ送られる。カメラマイコン１１５によって制御されたプロトコル回路１０７が、後述する伝送プロトコルに従って無線送受信機１０６に送られ、ここで無線送受信機１０６で無線データに変換され、アンテナ１１３を通して伝送される。
【００２６】
この時、カメラ部１５０が、操作キー１１１あるいは動作モード制御信号によって、記録モードと設定された場合は、圧縮データ中のフレーム内符号化データのみを、無線伝送する。このとき圧縮データ中のフレーム間符号化データは、メモリ１０９に蓄積され続ける。
【００２７】
その後、カメラ部１５０が、操作キー１１１あるいは制御信号によって記録モード終了と設定された場合は、メモリ１０９に蓄積されたフレーム間符号化データを随時、無線伝送する。メモリ１０９に蓄積された記録モード中のフレーム間符号化データが送出終了したならば、通常伝送へと移行する。
【００２８】
また、受信時には、アンテナ１１３より受信された無線データは、無線送受信機１０６で復調されてプロトコル回路１０７に送られる。その中で、必要なデータがカメラマイコン１１５へ送られる。この信号の中に、上記動作モード制御信号が含まれる。
【００２９】
次に図２のモニタ部２５０の動作説明の前に、伸長回路２１１の動作について、図４を用いて説明する。符号化データ入力部４００から入力された符号データは、制御信号と画像符号データとに分離され、制御信号は復号化制御部４０１に入力される。まず、フレーム内符号化データであれば、スイッチ４０７がＡに接続され、逆量子化回路４０２で逆量子化され、逆ＤＣＴ回路４０２で逆ＤＣＴされた復号化データが、復号化データ出力部４０５へ出力される。同時に、予測メモリ４０６に参照復号化データとして蓄積される。
【００３０】
フレーム間符号化データの場合は、スイッチ４０７がＢに接続され、逆量子化回路４０２で逆量子化され、逆ＤＣＴ回路４０２で逆ＤＣＴされた差分復号化データが、予測メモリ４０６とデータ合成部４０４で合成され、復号化データ出力部４０５へ出力される。同時に予測メモリ４０６に参照復号化データとして蓄積される。
【００３１】
図２のモニタ部２５０において、アンテナ２０１より受信された無線データは、無線送受信機２０２で復調されてプロトコル回路２０８あるいはメモリ２１２に送られる。通常伝送モードであれば、映像符号化情報は、伸長回路２１１でフレーム内符号化データとフレーム間符号化データとを適切に復号された後、デジタル信号処理回路２０４へ送られ、ミックス回路２０８を通してファインダ２０９に復号画像が表示される。
【００３２】
記録伝送モード（カメラ部１５０が記録モードで、伝送データがフレーム内符号化の時）であれば、受信されたフレーム内符号化データを伸長回路２１１で随時復号して、復号データをメモリ２１２に復号データＡとして蓄積する。一方、復号データは、デジタル信号処理回路２０４へ送られミックス回路２０８を通してファインダ２０９に表示される。
【００３３】
記録伝送モード終了時（カメラ部１５０が記録モード終了で、受信データが記録モード中のフレーム間符号化データの時）であれば、受信されたフレーム間符号化データをメモリ２１２に符号データＢとして蓄積する。そして、通常伝送モードに戻った時、上記記録伝送モード中の復号データＡと符号データＢとを再構成して、デジタル信号処理回路２０４へ送り、記録再生装置２０５で記録される。
【００３４】
この再編成の処理方法は、復号データＡ内のフレーム画像間の符号データＢを復号して中間復号データＣを得る。そして、復号データＡ内のフレーム画像を参照画像として上記復号データＣから記録時の復号データＤを導き出し、復号データＡと復号データＤとを合成する処理で行われる。また、フレーム間符号化データの受信から、データ再構築をして記録までの処理時間が操作性に問題を及ぼす時は、ファインダ２０９に”処理中”などの注意表示を示すことも操作性上有効である。
【００３５】
各種受信付加情報は、モニタマイコン２０６に送られる。表示の付加情報では、キャラクタジェネレータ２１０で発生した信号と映像信号が、ミックス回路２０８でミックスされ、ファインダ２０９で表示される。記録の付加情報では、記録モードであれば記録再生装置２０５に記録される。
【００３６】
また送信時に、モニタマイコン２０６からプロトコル回路２０３に動作モード制御データなどの信号が送られ、無線送受信機２０２で無線データに変換されてアンテナ２０１から送信される。
【００３７】
次に、プロトコル回路１０７及び２０３について、図３を用いて説明する。各マイコン１１５、２０６とは、システムインターフェース３０１を等しく内部バスに接続され、コントローラ３０２と制御、各種付加情報のやりとりを行う。伝送路で送受信するデータもシステムインターフェース３０１から入出力され、内部バスと接続される。メモリ／バスコントローラ部３０３はプロトコル回路内部のバスを制御したり、作業用あるいはバッファメモリなどに使用されるメモリ３０６の詳細なコントロールを行う。
【００３８】
また、ＥＣＣエンコード／デコード３０５は、データのエラー検出あるいはエラー訂正のために動作し、伝送路の送信時においては、情報本体データにパリティ情報の生成付加を行う。伝送路の受信時においては、得られたデータからエラー検出、訂正を行う。ＥＣＣの方式においては、公知のハミング符号、ＢＣＨ符号、リードソロモン符号、ビタビ畳み込み符号などを使用する。コントローラ３０２に制御されたデータリンクコントローラ３０４が、送信時のデータパケットフレームの組立、受信時のデータ抽出など行い、後述する伝送プロトコルで伝送路に対しての送受信を行う。
【００３９】
ここで、本実施の形態による伝送プロトコルについて説明する。ここではキャリアセンス方式とＲＴＳ／ＣＴＳ方式を採用している。まず、キャリアセンスとは、各局が自局の電波と他局からの電波との干渉を避けるために、通信を行う前に他局から電波が出されているか否かを一定時間にチェックすることである。キャリアセンス時間内に他局からの電波が検出されなければ通信を開始し、他局からの電波が検出されれば、さらにキャリアセンスを続ける。キャリアセンス後のプロトコルとして、送信要求信号及び応答信号を用いる。これは送信側の局がキャリアセンスを行った後、先ず送信要求信号ＲＳＴ（ＲＥＱＵＥＳＴ ＴＯ ＳＥＮＤ）を相手局に送り、これに応じて相手局は応答信号ＣＴＳ（ＣＬＥＡＲ ＴＯ ＳＥＮＤ）を送り、送信側の局は所定時間内にＣＴＳを受信した時、データの送信を開始する方式である。
【００４０】
図５は第１の実施の形態による動作を説明するタイミングチャートである。（ａ）は図１のカメラ部１５０の入力画像を示し、Ｖ１０、Ｖ１１、Ｖ１２・・・と連続して入力されている。（画像はフィールド画あるいはフレーム画のどちらでもよい）（ｂ）は各入力画像に対する符号化方法と伝送符号化データを示し、Ｉはフレーム内符号化、Ｐはフレーム間符号化を示す。
【００４１】
まず、通常モードでは、最初の入力画像Ｖ１０をフレーム内符号化した後、伝送容量、画質、動きなどに応じて適切にフレーム間符号化、フレーム内符号化を行う。図５では、Ｖ１３、Ｖ１４はフレーム間符号化を行い、Ｖ５０はフレーム内符号化を行うことを示している。
【００４２】
Ｖ５５において、カメラ部１５０が記録モードに移行した時、記録モード中はＶ５５、Ｖ５９などのフレーム内符号化データのみを伝送して、Ｖ５６、Ｖ５７、Ｖ５８、Ｖ６０、Ｖ６１、Ｖ６２などのフレーム間符号化データは、メモリ１０９に蓄積する。記録モード終了時以降、上記メモリ１０９に蓄積されたフレーム間符号化データＰ５６、Ｐ５７、Ｐ５８、Ｐ６０、Ｐ６１、Ｐ６２をＴ１０期間に伝送する。上記フレーム間符号化データ伝送後、通常伝送モードに移行する。
【００４３】
図６は第１の実施の形態の動作を説明するフローチャートである。Ｓ１００でフレーム内符号化、フレーム間符号化を随時行い、Ｓ１０１で記録モードかを判別する。記録モードならば、Ｓ１０２でフレーム間符号化されたデータをメモリ１０９にストアする。そして、Ｓ１０３でフレーム内符号化データのみを伝送する。Ｓ１０２で記録モードでなければ、Ｓ１０３で、メモリ１０９に蓄積されているフレーム間符号化データが存在するか確認する。存在していればＳ１０５でフレーム間符号化データを伝送する。そうでてければ、Ｓ１０６の通常伝送を行う。
【００４４】
上記第１の実施の形態により、通常伝送中は、伝送容量に適したデータ伝送量でフレーム内符号化、フレーム間符号化を行い、記録モード伝送中は、記録保存に適した高画質を記録することが可能になる。また、記録伝送中の画像も随時表示可能であり、操作性も損なうことがないなどの効果がある。
【００５８】
【発明の効果】
以上説明したように、請求項１、３の発明によれば、通常伝送では互換性の高い圧縮方式を採用することで汎用回線との接続が容易になり、また記録モードのような保存に耐え得る高画質の画像の伝送要求に対しても、安価、小回路規模で実現できる。また、低い伝送容量においても、操作性を損なうことなく伝送することができるなどの効果がある。
【００６０】
さらに、請求項２、４、７、９の発明によれば、高画質伝送中に蓄積した画像を伝送終了後に出力して表示することができる。
【図面の簡単な説明】
【図１】 本発明の実施の形態を示すブロック図である。
【図２】 モニタ部を示すブロック図である。
【図３】 プロトコル回路を示すブロック図である。
【図４】 伸長回路を示すブロック図である。
【図５】 本発明の第１の実施の形態の動作を説明するタイミングチャートである。
【図６】 本発明の第１の実施の形態の動作を説明するフローチャートである。
【図７】 従来の圧縮符号化装置を示すブロック図である。
【図８】 従来の動作を説明するタイミングチャートである。
【符号の説明】
１０５ デジタル信号処理回路
１０６ 無線送受信機
１０７ プロトコル回路
１０９ メモリ
１１１ 操作キー
１１２ 圧縮回路
１１３ アンテナ
１１５ カメラアイコン
１５０ カメラ部

Claims (4)

1. 入力される映像信号を圧縮符号化する画像処理装置であって、
   フレーム内符号化手段と、
   フレーム間符号化手段と、
   上記映像信号を上記フレーム内符号化手段またはフレーム間符号化手段により圧縮符号化された圧縮データを蓄積する蓄積手段と、
   上記蓄積手段により蓄積された蓄積圧縮データを出力する出力手段と、
   上記フレーム内符号化手段と上記フレーム間符号化手段とを用いて上記映像信号を間引き符号化し、上記蓄積手段に蓄積し、上記出力手段より出力する第１の動作モードと、上記フレーム内符号化手段と上記フレーム間符号化手段とを用いて上記映像信号を間引きせずに符号化し、上記蓄積手段に蓄積し、上記出力手段より上記蓄積手段内の上記フレーム内符号化手段により符号化された圧縮データを出力する第２の動作モードと、上記第２の動作モード時に符号化し上記蓄積手段に蓄積した、上記蓄積手段内の残りの圧縮データを、上記第２の動作モードではなくさらに上記残りの圧縮データを有するときに出力する第３の動作モードと、を制御する制御手段と、
   を備えることを特徴とする画像処理装置。
2. 上記第２、第３の動作モードとは、上記出力する蓄積圧縮データを記録するモードであることを特徴とする請求項１記載の画像処理装置。
3. 入力される映像信号を圧縮符号化する画像処理装置のコンピュータに、
   フレーム内符号化手順と、
   フレーム間符号化手順と、
   上記映像信号を上記フレーム内符号化手順またはフレーム間符号化手順により圧縮符号化された圧縮データを蓄積手段に蓄積する蓄積手順と、
   上記蓄積手順により蓄積された蓄積圧縮データを出力する出力手順と、
   上記フレーム内符号化手順と上記フレーム間符号化手順とを用いて上記映像信号を間引き符号化し、上記蓄積手段に蓄積し、上記出力手順より出力する第１の動作モードと、上記フレーム内符号化手順と上記フレーム間符号化手順とを用いて上記映像信号を間引きせずに符号化し、上記蓄積手段に蓄積し、上記出力手順より上記蓄積手段内の上記フレーム内符号化手順により符号化された圧縮データを出力する第２の動作モードと、上記第２の動作モード時に符号化し上記蓄積手段に蓄積した、上記蓄積手段内の残りの圧縮データを、上記第２の動作モードではなくさらに上記残りの圧縮データを有するときに出力する第３の動作モードと、を制御する制御手順と、
   を実行させるためのプログラムを記憶したコンピュータ読み取り可能な記憶媒体。
4. 上記第２、第３の動作モードとは、上記出力する蓄積圧縮データを記録するモードであることを特徴とする請求項３記載のコンピュータ読み取り可能な記憶媒体。

Images