JP4078843B2

JP4078843B2 - Information encoding apparatus and information encoding method, information decoding apparatus and information decoding method, storage medium, and computer program

Info

Publication number: JP4078843B2
Application number: JP2002009236A
Authority: JP
Inventors: 光晴大木
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2002-01-17
Filing date: 2002-01-17
Publication date: 2008-04-23
Anticipated expiration: 2022-01-17
Also published as: JP2003219347A

Description

【０００１】
【発明の属する技術分野】
本発明は、情報の蓄積や伝送のために情報を符号化したり、符号化した情報を再生したり受信して再利用のために復号化する情報符号化装置及び情報符号化方法、情報復号化装置及び情報復号化方法、記憶媒体、並びにコンピュータ・プログラムに係り、特に、動画などの画像情報のための情報符号化装置及び情報符号化方法、情報復号化装置及び情報復号化方法、記憶媒体、並びにコンピュータ・プログラムに関する。
【０００２】
さらに詳しくは、本発明は、ビデオ・テープなどの特定の記録媒体上に格納されている画像情報に関する編集情報を蓄積したり伝送するために情報を符号化したり、符号化した情報を再生したり受信して再利用のために復号化する情報符号化装置及び情報符号化方法、情報復号化装置及び情報復号化方法、記憶媒体、並びにコンピュータ・プログラムに係り、特に、編集情報を元の画像情報と同じ記録媒体上に蓄積したり、同様の方式で転送したりする情報符号化装置及び情報符号化方法、情報復号化装置及び情報復号化方法、記憶媒体、並びにコンピュータ・プログラムに関する。
【０００３】
【従来の技術】
一般に、映像信号の保存にはＶＴＲ（ビデオ・テープ・レコーダ）などの画像記録装置が使用される。また、放送局や映画制作会社などでは、編集作業を行う画像編集装置には、画像情報のソースであるＶＴＲなどの画像記録装置が接続されている。例えば、オリジナル画像が記録してあるテープをＶＴＲで再生して、オリジナル画像を画像編集装置に取り込む。そして、画像編集装置上で画像を編集し、最終的に得たい画像を得る。最終的な画像はＶＴＲに記録される。このように、画像編集装置にはＶＴＲが必要不可欠である。
【０００４】
さて、画像編集は、長い時間かけて、ユーザーにより行われる。もし編集過程において編集装置に不具合が生じてしまい、それまでに行なわれた編集データがすべて消失してしまうと、ユーザは最初から編集作業をやり直さなければならなくなる。このような事態を避けるために、編集過程の情報を同じＶＴＲ上に記録する（すなわち、データをバックアップする）ということが一般的に行われている。
【０００５】
ここで、画像の編集データは、画像データそのものではなく、どの画像にどの処理を施したかを示すデータ（例えば、画像を一意に決定するＩＤと、処理を一意に決定するＩＤの組み合わせからなるデータ）であり、０と１の信号（バイナリーデータ）で構成されるビット・ストリームである。
【０００６】
勿論、この編集過程の情報であるビット・ストリームを、ＶＴＲ（若しくは、元の画像情報と同じ画像記録装置）ではなく別のデータ記録装置（例えば、フレキシブル・ディスクなど）に記録してもよい。しかしながら、画像編集装置にはせっかくＶＴＲが接続されており、このＶＴＲを使用すれば他の記録装置を別途用意する必要がなくなるので、ビット・ストリームをそのままＶＴＲへ記録したいという、ユーザからの強い要望がある。ＶＴＲに編集データを保存することは、画像データと同じ場所に編集データを置くことを意味し、編集データの保管場所が分からなくなる（データが行方不明になる）という不都合も回避することができる。
【０００７】
ところで、画像データは一般にデータ・サイズが膨大である。このため、近年のＶＴＲには画像圧縮技術を利用しているものが多い。ここで、「圧縮」とは、データの冗長性を削除して、ファイルやデータのサイズを小さくすることを言い、「画像圧縮」は画像データに特化した圧縮を行う技術のことである。すなわち、画像を圧縮（エンコード）することで、同じ長さのビデオ・テープ上にはより多くの画像を記録することができるようになる。また、圧縮されたデータを伸張（デコード）すると、圧縮（エンコード）前の画像とほとんど見分けがつかない画像を復元できる。
【０００８】
画像圧縮技術は、
（１）テープの消費量を抑えることができる。
（２）記録して再生したとき、すなわち圧縮と伸張を行ったとき、オリジナル画像と見分けのつかない画像を再生できる。
という２つのメリットがあるため、多くのＶＴＲに採用されるようになった。
【０００９】
画像圧縮には、一般に、時間軸を周波数軸に置き換えるＤＣＴ（Discreet Cosine Transform）処理が適用される。ＤＣＴ自体は単なる座標軸の変換であるが、変換することによって信号電力の大きい周波数領域と少ない周波数領域に分けて重み付け量子化することにより、データ量を削減することができる。
【００１０】
この種の画像圧縮符号化の他の特徴として、不可逆変換であること、すなわち復号化しても完全に元のデータが完全に再現される保証がないということが挙げられる。但し、元の画像が完全に再現されなくても、目視で認識できない程度の画像劣化であれば、特に問題とはならない。
【００１１】
ところが、先に述べた画像編集データのようなバイナリ・データのビット・ストリームをＶＴＲに保存する場合には大いに問題がある。何故なら、バイナリ・データのビット・ストリームは、０と１が乱数的に出現するデータ列であるが、少なくとも一部のビット位置において値が入れ替わるだけでも、データ列全体が編集データとしてはまったく意味を持たなくなってしまう。
【００１２】
編集データを画像に特化した圧縮方法により圧縮並びに伸張処理を適用すると、その不可逆性のために幾つかのデータは正しく再生されなくなる。つまり、０というデータをＶＴＲに記録して再生すると１になることが起こり得る。また、その逆も起こり得る。このような不可逆性は、画像情報の再生には問題とはならないが、編集データにとっては致命的なのである。
【００１３】
【発明が解決しようとする課題】
本発明の目的は、動画などの画像情報の蓄積や伝送のために情報を符号化したり、符号化した情報を再生したり受信して再利用のために復号化することができる、優れた情報符号化装置及び情報符号化方法、情報復号化装置及び情報復号化方法、記憶媒体、並びにコンピュータ・プログラムを提供することにある。
【００１４】
本発明のさらなる目的は、ビデオ・テープなどの特定の記録媒体上に格納されている画像情報に関する編集情報を蓄積したり伝送するために情報を符号化したり、符号化した情報を再生したり受信して再利用のために復号化することができる、優れた情報符号化装置及び情報符号化方法、情報復号化装置及び情報復号化方法、記憶媒体、並びにコンピュータ・プログラムを提供することにある。
【００１５】
本発明のさらなる目的は、編集情報を元の画像情報と同じ記録媒体上に蓄積したり、同様の方式で転送したりすることができる、優れた情報符号化装置及び情報符号化方法、情報復号化装置及び情報復号化方法、記憶媒体、並びにコンピュータ・プログラムを提供することにある。
【００１６】
【課題を解決するための手段及び作用】
本発明は、上記課題を参酌してなされたものであり、その第１の側面は、第１のデータ実空間上の第１のデータを、第２のデータ実空間を符号化してなる第２のデータ符号化空間にマッピングするマッピング手段又はステップを備える、
ことを特徴とする情報符号化装置又は情報符号化方法である。
【００１７】
ここで、第２のデータ実空間上のデータは、例えば、動画像などの画像データである。このような場合、第２のデータ符号化空間は、画像データを離散コサイン変換（ＤＣＴ）してなるＤＣＴ符号化空間である。ＤＣＴ符号化空間は、低周波数から高周波数に至る各周波数帯の成分をそれぞれ表す所定個数（例えば、８×８＝６４個）の基底ベクトルからなる。
【００１８】
また、第１のデータは、画像データに対する編集情報であり、ビット・ストリームで構成される。このような場合、前記マッピング手段又はステップは、該ビット・ストリームのビット値を第２の符号化空間を構成する基底ベクトルにマッピングすることができる。
【００１９】
本発明の第１の側面に係る情報符号化装置又は情報符号化方法は、第２のデータ符号化空間上の符号化データを記録する記録手段又はステップをさらに備えていてもよい。記録手段又はステップは、例えば、動画像を記録するＶＴＲ（ビデオ・テープ・レコード）などであり、画像データをＤＣＴなどにより符号化圧縮してから記録するようになっている。
【００２０】
このように記録手段又はステップが、元の画像データを符号化圧縮されたデータを記録するように構成されている場合には、本発明の第１の側面に係る情報符号化装置又は情報符号化方法は、前記マッピング手段又はステップにより第１のデータ実空間上の第１のデータが第２のデータ符号化空間にマッピングされた擬似的な符号化データを復号化して第２のデータ実空間上の擬似的な第２のデータを生成する擬似データ復号化手段又はステップをさらに備えていればよい。このようにすれば、前記記録手段又はステップでは、この擬似的な第２のデータを符号化してから第２のデータ符号化空間にマッピングされた状態で第１のデータを記録することができる。
【００２１】
既に述べたように、近年のＶＴＲの多くは画像圧縮技術を採用しているが、編集データなどのビット・ストリームをそのままＶＴＲに保存した場合、圧縮〜伸張時の不可逆性のために、元の編集データを再現できなくなってしまう可能性がある。
【００２２】
そこで、本発明の第１の側面に係る情報符号化装置又は情報符号化方法では、再現性を保つために、編集データなどのビット・ストリームをＶＴＲに記録する際には、画像圧縮符号化により変換される符号化空間上にビット・ストリームの各データをマッピングした画像フレームを作成して、この画像をＶＴＲに記録する。すなわち、編集データなどのビット・ストリームを記録する際には、同じ圧縮変換方法で用いられる変換の基底ベクトルの組み合わせパターンに、ビット・ストリームのデータのパターンをマッピングした擬似的な符号化画像を作成して、この符号化画像をＶＴＲに記録する。
【００２３】
ビット・ストリームをＤＣＴ符号化空間にマッピングする際、自然画像では低周波数成分に集中し高周波数成分が丸め込まれるという符号化圧縮の特性を考慮して、低周波数成分側の所定個数までの各基底ベクトル、例えば低周波数成分側から２０個までを使用してビット・ストリームの各データをマッピングすることによって、復号化伸張時におけるビット・ストリームの再現性の維持を図ることができる。
【００２４】
ここで、前記マッピング手段により第２のデータ符号化空間にマッピングされた擬似的な符号化データを復号化してエラーを検出するエラー検出手段又はステップと、該エラー検出結果に応じて、使用する基底ベクトルの周波数帯域を調整する周波数帯域調整手段又はステップとをさらに備えていてもよい。
【００２５】
例えば、ビット・ストリームのマッピングに使用した最も高周波数成分の基底ベクトルにおける再現性をチェックして、エラーが検出されたならば、可逆性が保証されないことになるので、マッピングに使用する基底ベクトルをより低周波数成分に限定することにより、再現性の維持を図るようにする。
【００２６】
あるいは、第２の符号化空間のうち低周波数成分側の所定個数までの各基底ベクトルに対してビット・ストリームの各ビットの値を順次マッピングしていく代わりに、ビット・ストリーム中の連続するｎビットの値を、前記第２の符号化空間のうち低周波数成分側のｍ個の基底ベクトルのうちｋ個に１を代入するとともに残りのｍ−ｋ個に０を代入して表現されたビット・パターンにマッピングするようにしてもよい（但し、２ⁿ＜_mＣ_k）。
【００２７】
例えば第２の符号化空間を構成する２０個の基底ベクトルのうち任意の３個を選ぶ組み合わせ₂₀Ｃ₃は、（２０×１９×１８）÷（３×２×１）＝１１４０通りである。一方、ビット・ストリームを構成する１０ビットのデータ・パターンは２10＝１０２４通りなので、これら１０２４個のパターンの１つずつを、２０個の基底ベクトルの中の３個を選んだパターンに対応させることによって、ビット・ストリームの２０個分のビット列を表現することができる。すなわち、選ばれた３個の基底ベクトルのみ成分に１を代入するとともに、残りの１７個の基底ベクトルの成分を０に設定する。
【００２８】
また、本発明の第２の側面は、第１のデータ実空間上の第１のデータが第２のデータ実空間を符号化した第２のデータ符号化空間にマッピングされてなる符号化データを第１のデータ実空間上に復号化する復号化手段又はステップを備える、
ことを特徴とする情報復号化装置又は情報復号化方法である。
【００２９】
本発明の第２の側面に係る情報復号化装置又は情報復号化方法によれば、本発明の第１の側面に係る情報符号化装置又は情報符号化方法に対応した復号化処理を行なうことができる。
【００３０】
すなわち、本発明の第１の側面に係る情報符号化装置又は情報符号化方法では、第１のデータを構成するビット・ストリームのビット値を第２の符号化空間を構成する基底ベクトルにマッピングされているので、前記復号化手段又はステップは、基底ベクトルにマッピングされたビット値をビット・ストリームに再マッピングするようにすればよい。
【００３１】
例えば、前記第２の符号化空間のうち低周波数成分側の所定個数までの各基底ベクトルに対して該ビット・ストリームの各ビットの値が順次マッピングされている場合には、前記復号化手段は又ステップは、基底ベクトルにマッピングされたビット値を順次ビット・ストリームに再マッピングするようにすればよい。
【００３２】
あるいは、ビット・ストリーム中の連続するｎビットの値が前記第２の符号化空間のうち低周波数成分側のｍ個の基底ベクトルのうちｋ個に１を代入するとともに残りのｍ−ｋ個に０を代入して表現されたビット・パターンにマッピングされている場合には（但し、２ⁿ＜_mＣ_k）、前記復号化手段は又ステップは、ｍ個の基底ベクトルにより表現されたビット・パターンをビット・ストリームの連続するｎビットの値に再マッピングするようにすればよい。
【００３３】
また、本発明の第３の側面は、第１のデータ実空間上の第１のデータを第２の密度を以って第２のデータ実空間に変換するマッピング手段又はステップを備える、
ことを特徴とする情報符号化装置又は情報符号化方法である。
【００３４】
ここで、第２のデータ実空間上のデータは動画像などの画像データである。また、第１のデータは、画像データに対する編集情報であり、ビット・ストリームで構成される。
【００３５】
本発明の第３の側面に係る情報符号化装置又は情報符号化方法は、第１のデータがマッピングされた第２のデータ実空間上の擬似的な第２のデータを符号化して記録する記録手段又はステップをさらに備えていてもよい。記録手段又はステップは、例えば、動画像を記録するＶＴＲ（ビデオ・テープ・レコード）などであり、画像データをＤＣＴなどにより符号化圧縮してから記録するようになっている。
【００３６】
既に述べたように、近年のＶＴＲの多くは画像圧縮技術を採用しているが、編集データなどのビット・ストリームをそのままＶＴＲに保存した場合、圧縮〜伸張時の不可逆性のために、元の編集データを再現できなくなってしまう可能性がある。
【００３７】
そこで、本発明の第３の側面に係る情報符号化装置又は情報符号化方法では、再現性を保つために、編集データなどのビット・ストリームをＶＴＲに記録する際には、ビット・ストリームを第２の密度を以って画像フレームの画素にマッピングし、この擬似的な画像フレームを通常の画像フレームと同様に符号化圧縮してＶＴＲに記録するようにした。
【００３８】
さらに、ビット・ストリームがマッピングされた擬似的な画像フレームに対して符号化及び復号化処理を経た後、ビット・ストリームの復元を試みて、エラーを検出して、エラーが発生しないようにビット・ストリームを画像フレームにマッピングする密度を調整することができる。
【００３９】
例えば、ビット・ストリームを構成する各ビット位置における値を、画像フレーム中で対応する画素位置における１画素あるいはｎ×ｎ画素ブロックの画素値としてマッピングして、一旦擬似的な画像フレームを生成して、さらにこの擬似画像フレームをＤＣＴ符号化圧縮してＶＴＲに記録する。
【００４０】
そして、符号化及び復号化を経た後、ビット・ストリームを再現することができなかった場合には、再現性を高めるために、ビット・ストリームの各ビットをマッピングする画素数を増やす。例えば、ビット・ストリームの各ビット位置の値を擬似画像フレーム中の（ｎ＋１）×（ｎ＋１）画素のブロックを使って記憶させる。このように、ビット・ストリームの各１ビットを、より多くの画素数からなるブロックに割り当てることにより、作成される擬似画像は高周波数成分が抑えられた画像となるので、ＤＣＴによる高周波数成分の劣化の影響を受けずに済む。
【００４１】
また、本発明の第４の側面は、第１のデータ実空間上の第１のデータを第２の密度を以って第２のデータ実空間に変換されてなる符号化データを第１のデータ実空間上に第２の密度の逆数を以って逆変換する復号化手段又はステップを備える、
ことを特徴とする情報復号化装置又は情報復号化方法である。
【００４２】
本発明の第４の側面に係る情報復号化装置又は情報復号化方法によれば、本発明の第３の側面に係る情報符号化装置又は情報符号化方法に対応した復号化処理を行なうことができる。
【００４３】
すなわち、本発明の第３の側面に係る情報符号化装置又は情報符号化方法では、ビット・ストリームの各ビットが第２の密度を以って画像フレームにマッピングされているので、前記復号化手段又はステップは、画像フレーム中の画素値を第２の密度の逆数を以って再マッピングするようにすればよい。
【００４４】
例えば、ビット・ストリームの各ビット値が第２のデータ実空間をｎ×ｎ画素毎に分割されたブロックにマッピングされている場合には、前記復号化手段は又ステップは、第２のデータ実空間上の各ｎ×ｎ画素ブロックの画素値を第１のデータ実空間上に再マッピングするようにすればよい。
【００４５】
また、本発明の第５の側面は、画像以外の第１のデータを符号化する情報符号化装置又は情報符号化方法であって、
第１のデータを画像フレームにマッピングして擬似的な画像フレームを作成するマッピング手段又はステップと、
該擬似的な画像フレームを複数枚連続させる、擬似画像フレーム複製手段又はステップと、
を具備することを特徴とする情報符号化装置又は情報符号化方法である。
【００４６】
ここで、第１のデータは画像データの編集データなどであり、ビット・ストリームで構成される。そして、前記マッピング手段又はステップは、該ビット・ストリームのビット値を画像フレームの画素に所定の密度を以ってマッピングすることができる。
【００４７】
あるいは、前記マッピング手段又はステップは、画像フレームを離散コサイン変換（ＤＣＴ）した符号化空間を構成する基底ベクトルに該ビット・ストリームのビット値をマッピングすることができる。
【００４８】
また、本発明の第５の側面に係る情報符号化装置又は情報符号化方法は、各擬似的な画像フレームが複数枚連続してなる画像フレーム群を動き補償する擬似画像フレーム符号化手段又はステップをさらに備えていてもよい。
【００４９】
動画像の画像圧縮技術においては、「動き補償（Motion Compensation：ＭＣ）」が導入される場合がある。動き補償による圧縮では、時間的に連続する複数の画像をイントラ・ピクチャとノンイントラ・ピクチャの２つのグループに分ける。
【００５０】
ここで、編集データなどのビット・ストリームがマッピングされた擬似的な画像フレームをノンイントラ・ピクチャとして扱った場合、擬似的な画像から他の画像との差分をとってもデータの冗長性を削除することが期待できないばかりか、ノンイントラ・ピクチャ内のデータも不正確になってしまい可逆性が著しく損なわれる。このため、ノンイントラ・ピクチャとして処理された擬似的な画像フレームをＶＴＲに記録した後、元のビット・ストリームを完全に再現できなくなる。
【００５１】
そこで、本発明の第５の側面に係る情報符号化装置又は情報符号化方法においては、ビット・ストリームをマッピングした擬似的な画像フレームがイントラ・ピクチャに割り当てられるようにすることで、動き補償が適用された画像フレームから元のビット・ストリームを最大限正確に取り出すことができるようにする。より具体的には、ビット・ストリームのデータをマッピングした擬似的な画像フレームを作成した後、この画像フレームを複数枚連続してＶＴＲに記録することによって、イントラピクチャにこの擬似的な画像フレームが割り当てられるようにする。
【００５２】
動き補償を適用する画像圧縮器においては、イントラ・ピクチャが出現する周期Ｍを規定していることが多い。このような場合、周期に相当するＭ枚分だけ擬似的な画像フレームを連続させることによって、そのうちの１枚は必ずイントラ・ピクチャに割り当てられるので、この画像フレームを使うことで、データ削減による劣化のない状態でビット・ストリームを取り出すことができる。
【００５３】
また、本発明の第６の側面は、第１のデータを画像フレームにマッピングして生成された擬似的な各画像フレームを複数枚連続させてなる擬似的な画像フレーム群が動き補償により符号化された擬似的な符号化画像から第１のデータを復号化する情報復号化装置又は情報復号化方法であって、
擬似的な符号化画像を動き補償により復号化して擬似的な画像フレーム群を作成する復号化手段又はステップと、
該復号化された画像フレーム群からＭフレーム間隔で画像フレームを取り出して画像フレームの組を形成して、各画像フレームの組毎に画像フレームを第１のデータに再マッピングする再マッピング手段又はステップと、
各画像フレームの組についての再マッピングの結果をエラー検証して、最もエラーの少ない再マッピング結果を復号化された第１のデータとして出力する出力手段又はステップと、
を具備することを特徴とする情報復号化装置又は情報復号化方法である。
【００５４】
本発明の第６の側面に係る情報復号化装置又は情報復号化方法によれば、本発明の第５の側面に係る情報符号化装置又は情報符号化方法に対応した復号化処理を行なうことができる。
【００５５】
すなわち、ビット・ストリームを画像フレームに変換してＶＴＲに記録した後、ＶＴＲからビット・ストリームを再構築する際、ＶＴＲから再生される画像フレーム列のうち、時刻０から始まるＭ枚毎の画像からビットストリームを再構築する（但し、Ｍはイントラ・ピクチャの出現周期であることが好ましい）。また、時刻１から始まるＭ枚毎の画像からビット・ストリームを再構築する。また、時刻２から始まるＭ枚毎の画像からビット・ストリームを再構築する。以降同様に、時刻３から時刻Ｎ−１までのものに対してもビット・ストリームを再構築する。
【００５６】
そして、これらＮ個の再構築されたビット・ストリームの中から最もエラーの少なかったビット・ストリームを選び出して、これをＶＴＲから再現した結果として出力する。最もエラーの少なかったビット・ストリームは、イントラ・ピクチャに割り当てられたＭ枚置きの画像フレームの組から再現されたものと推測される。勿論、エラーの少ないビット・ストリームが再現されることが目的であり、必ずしもイントラ・ピクチャーに割り当てられた画像フレームから再現しなければならないという訳ではない。
【００５７】
また、本発明の第７の側面は、情報を符号化するための情報符号化処理をコンピュータ・システム上で実行するように記述されたコンピュータ・ソフトウェアをコンピュータ可読形式で物理的に格納した記憶媒体であって、前記コンピュータ・ソフトウェアは、
画像フレームを離散コサイン変換（ＤＣＴ）した符号化空間を構成する基底ベクトルのうち所定の周波数帯又は所定個数の基底ベクトルに対して、符号化対象となる情報を構成するビット・ストリームのビットをマッピングするマッピング・ステップと、
該ビット・ストリームがマッピングされた擬似的な符号化画像に対して、復号化／符号化を行なった後、該擬似的な符号化画像を構成する各基底ベクトルを再マッピングしてビット・ストリームを作成する復号化ステップと、
前記復号化されたビット・ストリームのエラーを検証して、該エラー検証結果に応じてビット・ストリームのマッピングに使用する基底ベクトルの周波数帯又は個数を調整する周波数帯調整ステップと、
を具備することを特徴とする記憶媒体である。
【００５８】
また、本発明の第８の側面は、情報を符号化するための情報符号化処理をコンピュータ・システム上で実行するように記述されたコンピュータ・ソフトウェアをコンピュータ可読形式で物理的に格納した記憶媒体であって、前記コンピュータ・ソフトウェアは、
符号化対象となる情報を構成するビット・ストリームのビットを所定の密度を以って画像フレーム上の画素にマッピングするマッピング・ステップと、
該ビット・ストリームがマッピングされた擬似的な画像フレームの画素を前記所定の密度の逆数を以って再マッピングしてビット・ストリームを作成する復号化ステップと、
前記復号化されたビット・ストリームのエラーを検証して、該エラー検証結果に応じてビット・ストリームを画像フレームにマッピングするときの密度を調整する密度調整ステップと、
を具備することを特徴とする記憶媒体である。
【００５９】
また、本発明の第９の側面は、情報を符号化するための情報符号化処理をコンピュータ・システム上で実行するように記述されたコンピュータ・ソフトウェアをコンピュータ可読形式で物理的に格納した記憶媒体であって、前記コンピュータ・ソフトウェアは、
符号化対象となる情報を画像フレームにマッピングして擬似的な画像フレームを作成するマッピング・ステップと、
該擬似的な画像フレームをそれぞれＭ枚連続させる擬似画像フレーム複製ステップと、
各擬似的な画像フレームがＭ枚連続してなる画像フレーム群をＭフレーム周期でイントラ・ピクチャを挿入して動き補償する擬似画像フレーム符号化ステップと、
該符号化された擬似的な画像フレームを動き補償により復号化して擬似的な画像フレーム群を作成する復号化ステップと、
該復号化された画像フレーム群からＭフレーム間隔で画像フレームを取り出して画像フレームの組を形成して、各画像フレームの組毎に画像フレームを第１のデータに再マッピングする再マッピング・ステップと、
各画像フレームの組についての再マッピングの結果をエラー検証して、最もエラーの少ない再マッピング結果を復号化された第１のデータとして出力する出力ステップと、
を具備することを特徴とする記憶媒体である。
【００６０】
本発明の第７乃至第９の各側面の各側面に係る記憶媒体は、例えば、さまざまなプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ・ソフトウェアをコンピュータ可読な形式で提供する媒体である。このような媒体は、例えば、ＤＶＤ（Digital Versatile Disc）、ＣＤ（Compact Disc）やＦＤ（Flexible Disk）、ＭＯ（Magneto-Optical disc）などの着脱自在で可搬性の記憶媒体である。あるいは、ネットワーク（ネットワークは無線、有線の区別を問わない）などの伝送媒体などを経由してコンピュータ・ソフトウェアを特定のコンピュータ・システムに提供することも技術的に可能である。
【００６１】
本発明の第７乃至第９の各側面に係る記憶媒体は、コンピュータ・システム上で所定のコンピュータ・ソフトウェアの機能を実現するための、コンピュータ・ソフトウェアと記憶媒体との構造上又は機能上の協働的関係を定義したものである。換言すれば、本発明の第７乃至第９の各側面に係る記憶媒体を介して所定のコンピュータ・ソフトウェアをコンピュータ・システムにインストールすることによって、コンピュータ・システム上では協働的作用が発揮され、本発明の第１、第３、第５の各側面に係る情報符号化装置又は情報符号化方法とそれぞれ同様の作用効果を得ることができる。
【００６２】
また、本発明の第１０の側面は、情報を符号化するための情報符号化処理をコンピュータ・システム上で実行するように記述されたコンピュータ・プログラムであって、
画像フレームを離散コサイン変換（ＤＣＴ）した符号化空間を構成する基底ベクトルのうち所定の周波数帯の所定個数の基底ベクトルに対して、符号化対象となる情報を構成するビット・ストリームのビットをマッピングするマッピング・ステップと、
該ビット・ストリームがマッピングされた擬似的な符号化画像に対して、復号化／符号化を行なった後、該擬似的な符号化画像を構成する各基底ベクトルを再マッピングしてビット・ストリームを作成する復号化ステップと、
前記復号化されたビット・ストリームのエラーを検証して、該エラー検証結果に応じてビット・ストリームのマッピングに使用する基底ベクトルの周波数帯又は個数を調整する周波数帯調整ステップと、
を具備することを特徴とするコンピュータ・プログラムである。
【００６３】
また、本発明の第１１の側面は、情報を符号化するための情報符号化処理をコンピュータ・システム上で実行するように記述されたコンピュータ・プログラムであって、
符号化対象となる情報を構成するビット・ストリームのビットを所定の密度を以って画像フレーム上の画素にマッピングするマッピング・ステップと、
該ビット・ストリームがマッピングされた擬似的な画像フレームの画素を前記所定の密度の逆数を以って再マッピングしてビット・ストリームを作成する復号化ステップと、
前記復号化されたビット・ストリームのエラーを検証して、該エラー検証結果に応じてビット・ストリームを画像フレームにマッピングするときの密度を調整する密度調整ステップと、
を具備することを特徴とするコンピュータ・プログラムである。
【００６４】
また、本発明の第１２の側面は、情報を符号化するための情報符号化処理をコンピュータ・システム上で実行するように記述されたコンピュータ・プログラムであって、
符号化対象となる情報を画像フレームにマッピングして擬似的な画像フレームを作成するマッピング・ステップと、
該擬似的な画像フレームをそれぞれＭ枚連続させる擬似画像フレーム複製ステップと、
各擬似的な画像フレームがＭ枚連続してなる画像フレーム群をＭフレーム周期でイントラ・ピクチャを挿入して動き補償する擬似画像フレーム符号化ステップと、
該符号化された擬似的な画像フレームを動き補償により復号化して擬似的な画像フレーム群を作成する復号化ステップと、
該復号化された画像フレーム群からＭフレーム間隔で画像フレームを取り出して画像フレームの組を形成して、各画像フレームの組毎に画像フレームを第１のデータに再マッピングする再マッピング・ステップと、
各画像フレームの組についての再マッピングの結果をエラー検証して、最もエラーの少ない再マッピング結果を復号化された第１のデータとして出力する出力ステップと、
を具備することを特徴とするコンピュータ・プログラムである。
【００６５】
本発明の第１０乃至第１２の各側面に係るコンピュータ・プログラムは、コンピュータ・システム上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータ・プログラムを定義したものである。換言すれば、本発明の第１０乃至第１２の各側面に係るコンピュータ・プログラムをコンピュータ・システムにインストールすることによって、コンピュータ・システム上では協働的作用が発揮され、本発明の第１、第３、第５の各側面に係る情報符号化装置又は情報符号化方法とそれぞれ同様の作用効果を得ることができる。
【００６６】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【００６７】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施形態について詳解する。
【００６８】
第１の実施形態：
本発明は、ＶＴＲ上に格納されている画像情報に関する編集データを同じＶＴＲ上に保存することによって、ユーザの便宜を図るものである。
【００６９】
既に述べたように、近年のＶＴＲの多くは画像圧縮技術を採用しているが、編集データなどのビット・ストリームをそのままＶＴＲに保存した場合、圧縮〜伸張時の不可逆性のために、元の編集データを再現できなくなってしまう可能性がある。そこで、本発明では、再現性が最大限維持されるようにビット・ストリームを画像圧縮にかけるようにする。
【００７０】
本発明の第１の実施形態では、再現性を保つために、編集データなどのビット・ストリームをＶＴＲに記録する際には、画像圧縮符号化により変換される符号化空間上にビット・ストリームの各データをマッピングした画像フレームを作成して、この画像をＶＴＲに記録するようにした。
【００７１】
ここで、画像圧縮には、一般に、時間軸を周波数軸に置き換えるＤＣＴ（Discreet Cosine Transform）処理が適用される。ＤＣＴ処理は、画像フレームを例えば８×８のブロックに分割し、それぞれのブロックに対して周波数空間へ変換する。すなわち、ＤＣＴにより変換符号化された符号化空間は、図１に示すように、ランダムに分布していた画素値が低周波数成分から高周波数成分に至る６４個の周波数項（変換係数）Ｖ₁〜Ｖ₆₄で表される（但し、Ｖ_iは添え字ｉが小さいほど低周波数成分を、大きいほど高周波数成分を表す）。すなわち、ＤＣＴ符号化空間は、Ｖ₁〜Ｖ₆₄を成分に持つ「基底ベクトル」として表現することができる。一般的な画像では高周波数成分が含まれていないので、このＤＣＴの処理により周波数空間に変換されたデータは低周波数成分に集中することを利用して、データ量を減らすことができる。
【００７２】
本実施形態では、編集データなどのビット・ストリームを記録する際には、同じ圧縮変換方法で用いられる変換の基底ベクトルの組み合わせパターンに、ビット・ストリームのデータのパターンをマッピングした擬似的な符号化画像を作成して、この符号化画像をＶＴＲに記録する。
【００７３】
また、本実施形態では、ビット・ストリームをＤＣＴ符号化空間にマッピングする際、自然画像では低周波数成分に集中し高周波数成分が丸め込まれるという符号化圧縮の特性を考慮して、例えば基底ベクトルのうちＶ₁〜Ｖ₂₀までの低周波数成分側のみを使用してビット・ストリームの各データをマッピングすることによって、復号化伸張時におけるビット・ストリームの再現性の維持を図るようにした。
【００７４】
図２には、本実施形態において、ビット・ストリームをＶＴＲに保存しさらに再生するためのデータ処理の流れを模式的に示している。
【００７５】
ビット・ストリームは、画像の編集データであり、どの画像にどの処理を施したかを示すデータ（例えば、画像を一意に決定するＩＤと、処理を一意に決定するＩＤの組み合わせからなるデータ）であり、０と１の信号（バイナリーデータ）で構成される（前述）。
【００７６】
また、画像圧縮のために画像が変換されるＤＣＴ符号化空間は、低周波数成分から高周波数成分まで、８×８＝６４個の成分Ｖ₁〜Ｖ₆₄からなる基底ベクトルである（図１を参照のこと）。このうち高周波数成分は圧縮により無視される可能性が高いので、低周波数成分側の例えば２０個の成分Ｖ₁〜Ｖ₂₀をビット・ストリームをマッピングするために使用する。
【００７７】
ビット・ストリームの先頭（すなわち、第１番目）のデータが０である場合にはＶ₁成分を０とし、１である場合にはＶ₁成分を１とする。また、第２番目のデータが０である場合にはＶ₂成分は０とし、１である場合にはＶ₂成分は１とする。同様に、第ｉ（ｉ＝３〜２０）番目のデータが０である場合にはＶ_i成分を０とし、１である場合にはＶ_i成分を１とする。このようにして、ビット・ストリームの先頭の２０個のデータの値により、基底ベクトルのうち低周波数側の２０個の成分Ｖ₁からＶ₂₀が決定される。また、第２１番目以降の高周波数側の成分Ｖ₂₁〜Ｖ₆₄には０を代入する。このような周波数成分をもつ８×８ブロックの基底ベクトルからなる擬似的なＤＣＴ符号化画像を作成する。
【００７８】
同様に、ビット・ストリームの第２１番目から第４０番目までのデータに対応した８×８の符号化空間を作成し、この８×８の符号化空間を１つのブロックと考える。また、第４１番目以降に関しても、同様に、ビット・ストリームの次の２０個のデータの値により基底ベクトルのうち低周波数側の２０個の成分Ｖ₁からＶ₂₀が決定することによって、次フレームに相当する擬似的なＤＣＴ符号化空間を作成していく。
【００７９】
これら８×８のブロック群よりなるデータ群は、ＤＣＴにより符号化を行なった圧縮画像に相当するので、そのまま通常の圧縮画像とともにＶＴＲに記録してもよい。
【００８０】
あるいは、図２に示すように、ＤＣＴ処理器を内蔵するＶＴＲに記録する場合には、上述したように編集データのビット・ストリームから得られた擬似的な符号化圧縮画像をＩＤＣＴ（Inverse Discreet Cosine Transform：逆離散コサイン変換）して擬似的な原画像フレームを生成してから、ＶＴＲに投入してビデオ・テープ上に記録するようにする。
【００８１】
このように記録したＶＴＲから画像を再生するときには、ＶＴＲ内でＩＤＣＴによる復号化伸張処理が行なわれて、画像情報が再現される。
【００８２】
また、画像情報ではなくビット・ストリームからなる擬似的な画像情報である場合には、さらにＤＣＴ処理することにより、低周波数成分側の成分Ｖ₁〜Ｖ₂₀にビット・ストリームがマッピングされた擬似的な符号化圧縮画像が得られる。
【００８３】
あるいは、ＶＴＲ内でＩＤＣＴを行わない場合には、ＶＴＲで再生された符号化圧縮画像からそのままＶ₁〜Ｖ₂₀にビット・ストリームがマッピングされた擬似的な符号化画像フレームを得ることができる。
【００８４】
ビット・ストリームをＶＴＲに記録するときには、Ｎビット毎に分割されたビット列のうちｊ番目のビット位置におけるビット値がＤＣＴ符号化空間の基底ベクトルにおける低周波数成分側のｊ番目の成分Ｖ_j（ｊ＝１〜２０）に順次マッピングされる。
【００８５】
したがって、これらＶ₁、Ｖ₂、…、Ｖ₂₀の成分があるかどうかで、ビット・ストリーム内の各データが０か１であるかを復元することができる。そして、記録時とは逆に、ＤＣＴ符号化空間の基底ベクトルのうち低周波数側のｊ番目の成分ベクトルＶ_j（ｊ＝１〜２０）の値を、Ｎビット毎に分割されたビット列のｊ番目のビット位置に順次マッピングしていくことで、元のビット・ストリームを再現することができる。
【００８６】
さらに、ビット・ストリームを一度ＶＴＲに記録した後にその再生を試みて、ビット・ストリームの再現性を検証するようにしてもよい。例えば、記録時にビット・ストリームにエラー訂正用のパリティを付加しておき、再生されたビット・ストリームと互いのエラー数をチェックするようにしてもよい。
【００８７】
あるいは、ビット・ストリームのマッピングに使用した最も高周波数成分に相当する周波数項Ｖ₂₀の値が０あるいは１にほぼ等しいかどうかをチェックすることによっても、ビット・ストリームの再現性を検証してみることも考えられる。
【００８８】
周波数項Ｖ₂₀の値をチェックしてみた結果、例えば、「Ｖ₂₀の成分として０．５前後の値が観測された」、あるいは、「Ｖ₂₀の成分は１として記録したにもかかわらず、再生してみると０として観測された」という事態が検出されたならば、それはＶ₂₀が既に高周波数成分の領域に相当し可逆性が保証されないこと、すなわち圧縮によりＶ₂₀の成分が信用できない値になったことを意味する。
【００８９】
このような場合、Ｖ₂₀はビット・ストリームの記録には使わないようにする。すなわち、ビット・ストリームを２０ビットではなく１９ビット毎に区切り、それぞれを画像フレームのＤＣＴ符号化空間の基底ベクトルのうち低周波数側の１９個までの成分Ｖ₁〜Ｖ₁₉に割り当てて、Ｖ₂₀は使わないようにして、再度ビット・ストリームをＶＴＲに記録し直すようにしてもよい。
【００９０】
このようにして記録したＶＴＲを再生するとき、ＶＴＲ内でＩＤＣＴによる復号化伸張処理が行なわれて、画像情報が再現される。画像情報ではなくビット・ストリームからなる擬似的な画像情報である場合には、さらにＤＣＴ処理することにより、低周波数成分側の成分Ｖ₁〜Ｖ₁₉にビット・ストリームがマッピングされた擬似的な符号化圧縮画像が得られる（同上）。そして、これらＶ₁、Ｖ₂、…、Ｖ₁₉の成分があるかどうかで、ビット・ストリーム内の各データが０か１であるかを復元することができる。
【００９１】
勿論、この場合にも、さらに、ビット・ストリームを一度ＶＴＲに記録した後に再生を試みて、Ｖ₁₉の成分が０あるいは１にほぼ等しいかどうか、すなわち可逆性をチェックしてみてもよい。そして、もしも可逆性が保証されない場合には、ビット・ストリームを１９ビットではなく１８ビット毎に区切り、それぞれを画像フレームのＤＣＴ符号化空間の基底ベクトルのうち低周波数側の１８個までの成分Ｖ₁〜Ｖ₁₈に割り当てて、Ｖ₁₉は使わないようにする。
【００９２】
上述した例では、編集データを構成するビット・ストリームを例えば２０ビット毎に区切って、ＤＣＴ符号化空間の基底ベクトルのうち例えば低周波数側の２０個までの成分Ｖ₁〜Ｖ₂₀に１ビットずつ順次マッピングしていくようにしている。すなわち、ビット・ストリームの各ビットをそれぞれ基底ベクトルの１個の成分に逐次マッピングしているが、ビット・ストリームをＤＣＴ符号化空間にマッピングする方法はこれに限定されるものではない。ビット・ストリームをＤＣＴ符号化空間にマッピングする他の方法について、以下に説明する。
【００９３】
例えば、ＤＣＴ符号化空間を構成する基底ベクトルは、低周波数から高周波数まで８×８＝６４個の成分からなる。このうち高周波数成分は圧縮により無視される可能性があるので、例えば、低周波数成分側の２０個を使うことにする（同上）。この２０個の成分をＶ₁、Ｖ₂、…、Ｖ₂₀とする。
【００９４】
このＶ₁〜Ｖ₂₀の中から、任意の３個を選ぶ組み合わせ₂₀Ｃ₃は、（２０×１９×１８）÷（３×２×１）＝１１４０通りである。ここで、ビット・ストリームの先頭の１０個のデータのパターンは２¹⁰＝１０２４通りなので、これら１０２４個のパターンの１つずつを、「Ｖ₁からＶ₂₀の中の３個を選んだパターン」に対応させることによって、ビット・ストリームの１０個分のビット列を表現することができる。すなわち、選ばれた３個のＶ_i（但し、ｉ＝１〜２０）のみ成分に１を代入するとともに、残りの１７個のＶ_iの成分を０に設定する。
【００９５】
このようにして、まず、ビット・ストリームの先頭の１０個分のビット値により、Ｖ₁からＶ₂₀までの低周波数側の成分を決定するとともに、Ｖ₂₁以降の高周波数側の成分に０を代入することによって、８×８ブロックからなる擬似的なＤＣＴ符号化画像を作成する。
【００９６】
同様に、ビット・ストリームの第１１番目から第２０番目までのビット列に対応した８×８の擬似的なＤＣＴ符号化画像を作成し、この８×８の画像を１つのブロックと考える。第２１番目以降も同様にして、８×８のブロックを作成していく。
【００９７】
これら８×８のブロック群よりなるデータ群は、ＤＣＴにより符号化圧縮を行なった画像に相当するので、そのまま圧縮画像とともに保存してもよい。
【００９８】
あるいは、図２に示すように、ＤＣＴ処理器を内蔵するＶＴＲに保存する場合には、上述したように編集データのビット・ストリームから得られた擬似的な符号化圧縮画像を一旦ＩＤＣＴ（Inverse Discreet Cosine Transform：逆離散コサイン変換）して擬似的な原画像フレームを生成してから、ＶＴＲに投入してビデオ・テープ上に記録するようにする。
【００９９】
このように記録したＶＴＲを再生するとき、ＶＴＲ内でＩＤＣＴによる復号化伸張処理が行なわれて、画像情報が再現される。画像情報ではなくビット・ストリームからなる擬似的な画像情報である場合には、さらにＤＣＴ処理することにより、選ばれた３個のＶ_i（但し、ｉ＝１〜２０）のみ成分に１を代入するとともに、残りの１７個のＶｉの成分を０に設定されている擬似的な符号化圧縮画像を得ることができる。そして、Ｖ₁からＶ₂₀のうちでどの成分が１になっているかによって、元の１０個分のビット列を復元することができる。
【０１００】
図３には、本実施形態に適用可能な画像処理装置１００のハードウェア構成を模式的に示している。
【０１０１】
この画像処理装置１００には、画像情報のソースであるＶＴＲなどの画像記録装置が接続されている。そして、オリジナル画像が記録してあるテープをＶＴＲで再生して取り込み、画像処理装置１００上では画像編集を行うとともに、編集過程の画像編集データをこのＶＴＲ上に記録する。また、画像処理装置１００は、画像圧縮・伸張時における不可逆性のために編集データが損なわれないようにするために、編集データのビット・ストリームをＤＣＴ符号化空間の低周波数帯域にマッピングしてからＶＴＲに記録する。
【０１０２】
以下、図３を参照しながら、画像処理装置１００内の各部について説明する。
【０１０３】
システム１００のメイン・コントローラであるＣＰＵ（Central Processing Unit）１０１は、オペレーティング・システム（ＯＳ）の制御下で、各種のアプリケーションを実行する。ＣＰＵ１０１は、例えば、ＶＴＲから再生された画像の編集処理を行うためのオーサリング・アプリケーションや、画像編集過程の編集データであるビット・ストリームをＶＴＲに記録するための処理を行うアプリケーション・プログラムを実行することができる。図示の通り、ＣＰＵ１０１は、バス１０８によって他の機器類（後述）と相互接続されている。
【０１０４】
メモリ１０２は、ＣＰＵ１０１において実行されるプログラム・コードを格納したり、実行中の作業データを一時保管するために使用される記憶装置である。同図に示すメモリ１０２は、ＲＯＭなどの不揮発性メモリ及びＤＲＡＭなどの揮発性メモリの双方を含むものと理解されたい。
【０１０５】
ディスプレイ・コントローラ１０３は、ＣＰＵ１０１が発行する描画命令を実際に処理するための専用コントローラである。ディスプレイ・コントローラ１０３において処理された描画データは、例えばフレーム・バッファ（図示しない）に一旦書き込まれた後、ディスプレイ１１１によって画面出力される。例えば、ＶＴＲから再生された画像やその編集内容はディスプレイ１１１で画面表示されて、確認を行なうことができる。
【０１０６】
入力機器インターフェース１０４は、キーボード１１２やマウス１１３などのユーザ入力機器をコンピュータ・システム１００に接続するための装置である。ユーザは、キーボード１１２やマウス１１４を介して、画像編集のためのデータやコマンドを入力することができる。
【０１０７】
ネットワーク・インターフェース１０５は、Ｅｔｈｅｒｎｅｔ（登録商標）などの所定の通信プロトコルに従って、システム１００をＬＡＮ（Local Area Network）などの局所的ネットワーク、さらにはインターネットのような広域ネットワークに接続することができる。
【０１０８】
ネットワーク上では、複数のホスト端末（図示しない）がトランスペアレントな状態で接続され、分散コンピューティング環境が構築されている。ネットワーク上では、ソフトウェア・プログラムやデータ・コンテンツなどの配信サービスを行うことができる。例えば、ＶＴＲから再生された画像の編集処理を行うためのオーサリング・アプリケーションや、画像編集過程の編集データであるビット・ストリームをＶＴＲに記録するための処理を行うアプリケーション・プログラムを、ネットワーク経由でダウンロードすることができる。
【０１０９】
外部機器インターフェース１０７は、ハード・ディスク・ドライブ（ＨＤＤ）１１４やメディア・ドライブ１１５などの外部装置をシステム１００に接続するための装置である。
【０１１０】
ＨＤＤ１１４は、記憶担体としての磁気ディスクを固定的に搭載した外部記憶装置であり（周知）、記憶容量やデータ転送速度などの点で他の外部記憶装置よりも優れている。ソフトウェア・プログラムを実行可能な状態でＨＤＤ１１４上に置くことをプログラムのシステムへの「インストール」と呼ぶ。通常、ＨＤＤ１１４には、ＣＰＵ１０１が実行すべきオペレーティング・システムのプログラム・コードや、アプリケーション・プログラム、デバイス・ドライバなどが不揮発的に格納されている。例えば、ＶＴＲから再生された画像の編集処理を行うためのオーサリング・アプリケーションや、画像編集過程の編集データであるビット・ストリームをＶＴＲに記録するための処理を行うアプリケーション・プログラムを、ＨＤＤ１１４上にインストールすることができる。
【０１１１】
メディア・ドライブ１１５は、ＣＤ（Compact Disc）やＭＯ（Magneto-Optical disc）、ＤＶＤ（Digital Versatile Disc）などの可搬型メディアを装填して、そのデータ記録面にアクセスするための装置である。
【０１１２】
可搬型メディアは、主として、ソフトウェア・プログラムやデータ・ファイルなどをコンピュータ可読形式のデータとしてバックアップすることや、これらをシステム間で移動（すなわち販売・流通・配布を含む）する目的で使用される。ＶＴＲから再生された画像の編集処理を行うためのオーサリング・アプリケーションや、画像編集過程の編集データであるビット・ストリームをＶＴＲに記録するための処理を行うアプリケーション・プログラムを、これら可搬型メディアを利用して複数の機器間で物理的に流通・配布することができる。
【０１１３】
ＶＴＲインターフェース１０９は、ＶＴＲから再生されるビデオ信号を画像処理装置１００内に取り込むための装置である。
【０１１４】
なお、図３に示すような画像処理装置１００の一例は、米ＩＢＭ社のパーソナル・コンピュータ"ＰＣ／ＡＴ（Personal Computer/Advanced Technology）"の互換機又は後継機である。勿論、他のアーキテクチャを備えたコンピュータを、本実施形態に係る画像処理装置１００として適用することも可能である。
【０１１５】
図４及び図５には、この画像処理装置１００上で実行される、画像編集データとしてのビット・ストリームをＶＴＲに記録し、並びにＶＴＲから再生するための処理手順をそれぞれフローチャートの形式でそれぞれ示している。
【０１１６】
本実施形態では、ビット・ストリームをＶＴＲに記録する際には、ビット・ストリームの再現性を最大限に維持するために、ビット・ストリームをＤＣＴ符号化空間の低周波数帯域にマッピングしてからＶＴＲに記録する。
【０１１７】
このような処理は、実際には、ＣＰＵ１０１が所定のプログラム・コードを実行するという形態で実現される。以下、図４及び図５に示されている各フローチャートを参照しながら、この処理手順について説明する。
【０１１８】
ビット・ストリームを入力すると（ステップＳ１）、まず、この入力ビット・ストリームに対してパリティ・ビットを付加して、エラー訂正可能なパリティ付きビット・ストリームを作成する（ステップＳ２）。但し、パリティ・ビットの付加は本実施形態における必須の要件ではない。
【０１１９】
次いで、変数Ｎに初期値２０を代入する（ステップＳ３）。この変数Ｎは、画像のＤＣＴ符号化空間の基底ベクトルを構成する成分６４個のうち低周波数成分側の何個をビット・ストリームのマッピングに使用するかを決定する（図１を参照のこと）。
【０１２０】
次いで、パリティ付きビット・ストリームを、Ｎビットずつに分割する（ステップＳ４）。そして、分割された各Ｎビットのデータを、それぞれＤＣＴ符号化空間の基底ベクトルのうち低周波数側のＮ個の成分にマッピングしていく（ステップＳ５）。
【０１２１】
ＤＣＴ符号化空間の基底ベクトルは６４個の成分Ｖ_i（ｉ＝１〜６４）で構成されている。ステップＳ５では、分割されたＮビットのデータ中のｊ番目のビット位置におけるビット値をＤＣＴ符号化空間の低周波数側のｊ番目の成分Ｖ_ｊ（ｊ＝１〜２０）に順次マッピングしていく。
【０１２２】
さらに、ＤＣＴ符号化空間を構成する基底ベクトルのＮ＋１番目以降の高周波数側の成分に０を代入することによって、８×８ブロックからなる擬似的な符号化画像を作成する（ステップＳ６）。但し、８×８ブロックが５２８０個集まって、ＮＴＳＣ（National Television System Committee）の画像１フレームを構成する。
【０１２３】
ビット・ストリームをＮ個毎に分割して、Ｎビットのビット列の塊が（Ｋ÷５２８０）個できたとすると、このような８×８ブロックが５２８０個集まってできる擬似的な符号化画像フレームがＫフレームだけ作成される。なお、ここでは１フレームは７０４画素×４８０画素よりなると仮定している。すなわち、５２８０個の８×８ブロックより１フレームは構成されるとしている。この擬似的な符号化画像フレームを、通常の画像フレームをＤＣＴ符号化して得た圧縮画像とともに、ＶＴＲに記録する（ステップＳ７）。
【０１２４】
ここで、ＶＴＲが画像圧縮機能を装備している場合には、ＶＴＲ内部でのＤＣＴ処理をスキップするか、又は、ステップＳ６で生成された擬似的な符号化画像を一旦ＩＤＣＴ処理して擬似的な原画像にした後、ＶＴＲに投入して、ＤＣＴ処理を経て記録するようにすればよい。
【０１２５】
図６には、上記のステップＳ５及びＳ６において、ビット・ストリームのＮビットのデータをマッピングして８×８ブロックの擬似的な符号化画像を生成するための処理手順をさらに詳細に示している。
【０１２６】
まず変数ｉに初期値１を代入する（ステップＳ５−１）。
【０１２７】
次いで、パリティ付きビット・ストリームから分割されたＮビットのビット列うち、ｉ番目のビット値をチェックする（ステップＳ５−２，Ｓ５−３）。
【０１２８】
ビット列のｉ番目のビット値が０である場合には、ＤＣＴ符号化空間を構成する基底ベクトルの低周波数側のｉ番目の成分Ｖ_iを０にする（ステップＳ５−４）。また、ビット列のｉ番目のビット値が０である場合には、ＤＣＴ符号化空間を構成する基底ベクトルの低周波数側のｉ番目の成分Ｖ_iを１にする（ステップＳ５−５）。
【０１２９】
次いで、ｉがＮに到達したかどうかをチェックする（ステップＳ５−６）。Ｎは、画像のＤＣＴ符号化空間の基底ベクトルを構成する６４個の成分のうち低周波数成分側の何個をビット・ストリームのマッピングに使用するかを決定する変数である（前述）。
【０１３０】
ｉがまだＮに到達していない場合には、ステップＳ５−７においてｉを１だけインクリメントした後、ステップＳ５−２に戻り、パリティ付きビット・ストリームから分割されたＮビットのビット列うち、ｉ番目のビット値を基底ベクトルの次の成分にマッピングする処理を繰り返し実行する。
【０１３１】
また、ｉがＮに到達した場合には、次ステップＳ６−１に進んで、ＤＣＴ符号化空間を構成する基底ベクトルのうち、低周波数成分側から数えてＮ＋１番目以降６４番目までの残りのすべての高周波数側成分を０にする。
【０１３２】
そして、上述のようにして作成された基底ベクトルの成分を持つ８×８ブロックの擬似的な符号化画像を作成する（ステップＳ６−２）
【０１３３】
次いで、ＶＴＲから画像を再生する処理、すなわちビット・ストリームを再現する処理について説明する。
【０１３４】
まず、ＶＴＲを再生して、ビット・ストリームを含んだ擬似的な画像を取り出す（ステップＳ１１）。
【０１３５】
次いで、再生された擬似的な画像に対してさらにＤＣＴ処理を適用することによって、符号化画像を取り出す（ステップＳ１２）。ここで取り出される符号化画像は、基底ベクトルのうち低周波数成分側の２０番目までの成分Ｖ_j（ｊ＝１〜２０）にビット・ストリームがマッピングされた８×８ブロックの擬似的な符号化画像である。
【０１３６】
ここで、ＶＴＲが画像圧縮機能を装備している場合には、ＶＴＲ内部でのＩＤＣＴ処理をスキップするか、又は、符号化画像を一旦ＩＤＣＴ処理してＶＴＲが出力する擬似的な原画像に対して、さらにＤＣＴ処理を適用することによって、基底ベクトルのうち低周波数成分側の２０番目までの成分Ｖ_j（ｊ＝１〜２０）にビット・ストリームがマッピングされた８×８ブロックの擬似的な符号化画像を取り出すことができる。
【０１３７】
図４に示したＶＴＲ記録時には、Ｎ（＝２０）ビット毎に分割されたビット列のうちｊ番目のビット位置におけるビット値が、ＤＣＴ符号化空間を構成する６４個の基底ベクトルの低周波数側からｊ番目の成分Ｖ_j（ｊ＝１〜２０）に順次マッピングされている。したがって、再生時には逆に、この基底ベクトルの低周波数成分側のｊ番目の成分Ｖ_j（ｊ＝１〜２０）の値を、Ｎビット毎に分割されたビット列のｊ番目のビット位置にマッピングする（ステップＳ１３）。さらに、基底ベクトルの低周波数成分が順次マッピングされたこれらＮビット毎のビット列をまとめることで、ビット・ストリームを作成する（ステップＳ１４）。
【０１３８】
次いで、このビット・ストリームの再現性を検証する。この例では、図４のステップＳ２において生成した記録時のパリティ付きビット・ストリームと比較して、互いのエラー数をチェックする（ステップＳ１５）。そして、エラー数が少ないかをチェックする（ステップＳ１６）。
【０１３９】
ステップＳ１４において作成されたビット・ストリームのエラー数が少なければ、ビット・ストリームは正しく再現されたものとして、この再生処理ルーチンを終了する。
【０１４０】
他方、ステップＳ１４において作成されたビット・ストリームのエラー数が少なくない場合には、Ｎを１だけデクリメントして（ステップＳ１７）、再現性が確保されるように、ビット・ストリームのマッピングに使用する基底ベクトルの成分をさらに低周波数成分側に制限する。そして、図４のステップＳ４に戻って、ビット・ストリームの記録処理を繰り返し実行する。
【０１４１】
なお、ステップＳ１５及びＳ１６におけるビット・ストリームの再現性の検証処理としては、エラー訂正用のパリティを使用する以外に、ビット・ストリームのマッピングに使用した基底ベクトルの成分のうち最も高周波数となる成分の値の確からしさによって検証する方法（前述）を適用することができる。
【０１４２】
図７には、上記のステップＳ１３及びＳ１４において、８×８ブロックの擬似的な符号化画像を構成する基底ベクトルのうち低周波数成分側のＮ個をビット・ストリーム中のＮビットのデータにマッピングして、ビット・ストリームを作成するための処理手順をさらに詳細に示している。
【０１４３】
まず、８×８ブロックの画像をＤＣＴ処理して、擬似的な符号化空間を構成する基底ベクトルの６４個の成分Ｖ₁〜Ｖ₆₄を求める（ステップＳ１３−１）。先行するステップＳ１２又はＳ１３により既に擬似的なＤＣＴ符号化空間が得られている場合には当該ステップをスキップしてもよい。
【０１４４】
次いで、変数ｉに初期値１を代入する（ステップＳ１３−２）。
【０１４５】
次いで、基底ベクトルの低周波数成分側のｉ番目の成分Ｖ_iをチェックする（ステップＳ１３−３，Ｓ１３−４）。
【０１４６】
基底ベクトルのｉ番目の成分Ｖ_iの値が０．５未満である場合には、作成しようとしているビット・ストリームのデータのｉ番目の値を０にする（ステップＳ１３−５）。また、基底ベクトルのｉ番目の成分Ｖ_iの値が０．５以上である場合には、作成しようとしているビット・ストリームのデータのｉ番目の値を０にする（ステップＳ１３−６）。
【０１４７】
次いで、ｉがＮに到達したかどうかをチェックする（ステップＳ１３−７）。Ｎは、画像のＤＣＴ符号化空間の基底ベクトルを構成する６４個の成分のうち低周波数成分側の何個をビット・ストリームのマッピングに使用するかを決定する変数である（前述）。
【０１４８】
ｉがまだＮに到達していない場合には、ステップＳ１３−８においてｉを１だけインクリメントした後、ステップＳ１３−３に戻り、基底ベクトルの低周波数成分側のｉ番目の成分からビット・ストリームの作成中のデータのｉ番目のビット値を求める処理を繰り返し実行する。
【０１４９】
また、ｉがＮに到達した場合には、次ステップＳ１４−１に進んで、作成されたＮビットからなる各データをまとめて最終的なビット・ストリームとして出力する。
【０１５０】
また、図８及び図９には、画像編集データとしてのビット・ストリームをＶＴＲに記録し、並びにＶＴＲから再生するための処理手順の変形例をそれぞれフローチャートの形式で示している。図４及び図５に示した例ではビット・ストリームの各ビットをそれぞれＤＣＴ符号化空間を構成する基底ベクトルの１個の成分に逐次マッピングしているが、ビット・ストリームを１０ビット毎に分割して得られるデータのパターンを、基底ベクトルの低周波数成分側の２０個の成分Ｖ₁〜Ｖ₂₀で表現された₂₀Ｃ_k通りのビット・パターンにマッピングするようにしている（但し、ｋは２０個の基底ベクトルのうち１を代入するものの個数）。このような処理は、実際には、ＣＰＵ１０１が所定のプログラム・コードを実行するという形態で実現される。以下、このフローチャートを参照しながら、この処理手順について説明する。
【０１５１】
まず、ビット・ストリームを入力する（ステップＳ２１）。次いで、ビット・ストリームを、１０ビットずつに分割する（ステップＳ２３）。
【０１５２】
そして、この１０ビット毎のデータのパターンを、ＤＣＴ符号化空間を構成する基底ベクトルの低周波数成分側の２０個の成分Ｖ₁〜Ｖ₂₀のなすビット・パターンにマッピングする（ステップＳ２３）。
【０１５３】
２０個の成分Ｖ₁〜Ｖ₂₀の中から任意の３個を選ぶ組み合わせ₂₀Ｃ₃は、（２０×１９×１８）÷（３×２×１）＝１１４０通りである。一方、ビット・ストリームの先頭の１０個のデータのパターンは２¹⁰＝１０２４通りなので、これら１０２４個のパターンをそれぞれＶ₁からＶ₂₀の中の３個を選んだパターンに対応させることによって、ビット・ストリームの１０個分のビット列を表現することができる。すなわち、選ばれた３個のＶ_i（但し、ｉ＝１〜２０）のみ成分に１を代入するとともに、残りの１７個のＶ_iの成分を０に設定する。
【０１５４】
さらに、ＤＣＴ符号化空間を構成する基底ベクトルの２１番目以降の高周波数成分側の成分に０を代入することによって、８×８ブロックからなる擬似的な符号化画像を作成する（ステップＳ２４）。
【０１５５】
ビット・ストリームを１０個毎に分割して、１０ビットのビット列の塊が（Ｍ’÷５２８０）個できたとすると、このような８×８ブロックが５２８０個集まってできる擬似的な符号化画像フレームがＭ’フレームだけ作成される。なお、ここでは１フレームは７０４画素×４８０画素よりなるとかていしている。すなわち、５２８０個の８×８ブロックより１フレームは構成されるとしている。この擬似的な符号化画像フレームを、通常の画像フレームをＤＣＴ符号化して得た圧縮画像とともに、ＶＴＲに記録する（ステップＳ２５）
【０１５６】
ここで、ＶＴＲが画像圧縮機能を装備している場合には、ＶＴＲ内部でのＤＣＴ処理をスキップするか、又は、ステップＳ２４で生成された擬似的な符号化画像を一旦ＩＤＣＴ処理して擬似的な原画像にした後、ＶＴＲに投入して、ＤＣＴ処理を経て記録するようにすればよい。
【０１５７】
次いで、ＶＴＲから画像を再生する処理、すなわちビット・ストリームを再現する処理について説明する。
【０１５８】
まず、ＶＴＲを再生して、ビット・ストリームを含んだ擬似的な画像を取り出す（ステップＳ３１）。
【０１５９】
次いで、再生された擬似的な画像に対してさらにＤＣＴ処理を適用することによって、ビット・ストリームの１０ビット毎のデータのパターンが基底ベクトルの低周波数成分側の２０個の成分Ｖ₁〜Ｖ₂₀によるビット・パターンにマッピングされた８×８ブロックの擬似的な符号化画像を取り出す（ステップＳ３２）。
【０１６０】
ここで、ＶＴＲが画像圧縮機能を装備している場合には、ＶＴＲ内部でのＩＤＣＴ処理をスキップするか、又は、符号化画像フレームを一旦ＩＤＣＴ処理してＶＴＲが出力する擬似的な原画像に対して、さらにＤＣＴ処理を適用することによって、基底ベクトルの低周波数成分側の２０個の成分Ｖ₁〜Ｖ₂₀のなすビット・パターンにマッピングされた８×８ブロックの擬似的な符号化画像を取り出すことができる。
【０１６１】
図８に示した記録時には、ビット・ストリームを分割してできた各１０個のビットによる１０２４個のデータ・パターンをそれぞれＶ₁からＶ₂₀の中の３個を選んだパターンに対応させて、ビット・ストリームの１０ビットを表現することにより、ビット・ストリームをＤＣＴ符号化空間にマッピングさせている。したがって、再生時には逆に、ＤＣＴ符号化空間の低周波数成分側のＶ₁からＶ₂₀までで表現されたデータ・パターンを基に、対応する１０ビットのデータ・パターンを割り出す（ステップＳ３３）。
【０１６２】
さらに、これらの１０ビット毎のビット列をまとめることで、ビット・ストリームを作成して、本処理ルーチン全体を終了する（ステップＳ３４）。
【０１６３】
第２の実施形態：
本発明は、ＶＴＲ上に格納されている画像情報に関する編集データを同じＶＴＲ上に保存することによって、ユーザの便宜を図るものである。
【０１６４】
上述した本発明の第１の実施形態では、編集データからなるビット・ストリームの各ビットを、画像のＤＣＴ符号化空間を構成する基底ベクトルのうち低周波数成分側の成分にマッピングして、擬似的な符号化画像を生成することにより、ＤＣＴ符号化圧縮してＶＴＲに記録した際における再現性を最大限維持できるようにした。
【０１６５】
これに対し、本実施形態では、編集データからなるビット・ストリームを構成する各ビット位置における値を、画像フレーム中で対応する画素位置における１画素あるいはｎ×ｍ画素ブロックの画素値としてマッピングして、一旦擬似的な画像フレームを生成して、さらにこの擬似画像フレームをＤＣＴ符号化圧縮してＶＴＲに記録するようにした。ビット・ストリームの１ビットをｎ×ｍ画素ブロックにマッピングすることは、記録密度を変換することに相当する。
【０１６６】
図１０には、本実施形態において、ビット・ストリームをＶＴＲに保存しさらに再生するためのデータ処理の流れを模式的に示している。
【０１６７】
ビット・ストリームは、画像の編集データであり、どの画像にどの処理を施したかを示すデータ（例えば、画像を一意に決定するＩＤと、処理を一意に決定するＩＤの組み合わせからなるデータ）であり、０と１の信号（バイナリーデータ）で構成される（前述）。
【０１６８】
ビット・ストリームの先頭（すなわち、第１番目）のデータが０である場合には、擬似的な画像フレーム上の第１画素目の値を０とし、また、１である場合にはこれを１とする。次いで、ビット・ストリームの第２番目のデータが０である場合には擬似的な画像フレームの第２画素目の値を０とし、１である場合にはこれを１とする。同様に、ビット・ストリームの第ｉ番目のデータが０である場合には擬似的な画像フレームの第ｉ画素目の値を０とし、１である場合にはこれを１とする。
【０１６９】
つまり、擬似的な画像フレームの１画素を使ってビット・ストリームの各１ビットの値をマッピングしていくことによって、ビット・ストリームを記録するための擬似的な画像フレームを完成させる。そして、ＶＴＲでは、この擬似画像をＤＣＴにより符号化圧縮処理してからビデオ・テープに記録する。
【０１７０】
次いで、擬似画像フレームをＤＣＴにより符号化圧縮して一旦記録した後、ビデオ・テープから再生し、さらにＩＤＣＴにより復号化伸張処理する。そして、各画素の値が０あるいは１にほぼ等しいかどうか、すなわちビット・ストリームの再現性をチェックしてみる。
【０１７１】
復号化伸張処理した画像フレームをチェックしてみて、例えば、「ある画素の成分として０．５前後の値が観測された」、あるいは、「ある画素の成分は１として記録したにもかかわらず、再生してみると０として観測された」という事態が検出されたならば、それは圧縮により各画素の値が信用できない値になったこと、すなわち圧縮符号化が不可逆であったことを意味する。
【０１７２】
ビット・ストリームを再現できなかった場合には、再現性を高めるために、ビット・ストリームの各ビットをマッピングする画素数を増やす。例えば、ビット・ストリームの各ビット位置の値を擬似画像フレーム中の２×２画素のブロックを使って記憶させる。言い換えれば、ビット・ストリームの１ビットを画像フレームにマッピングする密度を低下させる。
【０１７３】
より具体的に言えば、ビット・ストリームをマッピングする擬似画像フレームを２×２のブロックに分割するとともに、各ブロック内の全画素をビット・ストリームの１ビットの値を対応させる。例えば、ビット・ストリームの先頭（すなわち、第1番目）のデータが０である場合には、擬似画像フレーム中の第１番目の２×２ブロック内の４画素の値をすべて０とする。また１である場合には、第１番目の２×２ブロック内の４画素の値をすべて１とする。また、ビット・ストリームの第２番目のデータが０である場合には擬似画像フレーム中の第２番目の２×２ブロック内の４画素の値をすべて０とし、１である場合には第２番目の２×２ブロック内の４画素の値をすべて１とする。同様に、ビット・ストリームの第ｉ番目のデータが０である場合には擬似画像フレーム中の第ｉ番目の２×２ブロック内の４画素の値をすべて０とし、１である場合には第ｉ番目の２×２ブロック内の４画素の値をすべて１とする。
【０１７４】
このように、ビット・ストリームの各１ビットを擬似画像フレームの１画素に割り当てるのではなく、２×２画素ブロックに１ビットを割り当てる（あるいは画素ブロックの画素数をさらに増大させていく）。この結果、作成される擬似画像は高周波数成分が抑えられた画像となるので、ＤＣＴによる高周波数成分の劣化の影響を受けずに済む。
【０１７５】
このようにして、ビット・ストリームから作成された擬似画像をＶＴＲに記録しさらにＶＴＲから再生すると、ＤＣＴによる符号化圧縮、並びにＩＤＣＴによる復号化伸張がそれぞれ１度ずつ行われるが、２×２画素ブロック毎に記録された画素の値はＤＣＴによる高周波数成分の劣化の影響を受けずに復元することができる。そして、これら画素の値が０であるか１であるかにより、ビット・ストリーム内の対応するビット位置のデータが０か１であるかを再現することができる。ビット・ストリームの１ビットを２×２画素ブロックにマッピングしても、なお可逆性が保証されない場合には、マッピング時の密度をさらに低下させるようにしてもよい。
【０１７６】
図３に示した画像処理装置１００は、本実施形態にも適用されるので、その装置構成についてはここでは説明しない。この画像処理装置１００には、画像情報のソースであるＶＴＲなどの画像記録装置が接続されている。そして、オリジナル画像が記録してあるテープをＶＴＲで再生して取り込み、画像処理装置１００上では画像編集を行うとともに、編集過程の画像編集データをこのＶＴＲ上に記録する。また、画像処理装置１００は、画像圧縮・伸張時における不可逆性のために編集データが損なわれないようにするために、編集データのビット・ストリームをＤＣＴ符号化空間の低周波数帯域にマッピングしてからＶＴＲに記録する（同上）。
【０１７７】
図１１及び図１２には、本実施形態において、画像編集データとしてのビット・ストリームをＶＴＲに記録し、並びにＶＴＲから再生するための処理手順をフローチャートの形式でそれぞれ示している。
【０１７８】
本実施形態では、ビット・ストリームを画像フレームにマッピングして、この擬似的に画像フレームをＶＴＲに記録する。このとき、ビット・ストリームの１ビットにＮ×Ｎ画素の画素ブロックを割り当てることにより、高周波数成分が抑えられた画像を作成する。この結果、ＶＴＲに記録する際に、ＤＣＴによる高周波数成分の劣化の影響を受けずに済む。このような処理は、実際には、ＣＰＵ１０１が所定のプログラム・コードを実行するという形態で実現される。ここで、変数Ｎは、ビット・ストリームの１ビットを画像フレームにマッピングするときの密度に相当する。
【０１７９】
以下、図１１及び図１２に示したフローチャートを参照しながら、本実施形態におけるビット・ストリームのＶＴＲへの記録及び再生の処理手順について説明する。
【０１８０】
ビット・ストリームを入力すると（ステップＳ４１）、まず、この入力ビット・ストリームに対してパリティ・ビットを付加して、エラー訂正可能なパリティ付きビット・ストリームを作成する（ステップＳ４２）。但し、パリティの付加は本発明に必須の要件ではない。
【０１８１】
次いで、変数Ｎに初期値１を代入する（ステップＳ４３）。この変数Ｎは、ビット・ストリームの１ビットをマッピングするのに使用するＮ×Ｎ画素ブロックのサイズを決定する。変数Ｎはビット・ストリームの１ビットを画像フレームにマッピングするときの密度に相当する。Ｎが大きくなるほど、画像フレームにマッピングされたデータは冗長となりメモリ効率が低下するが、作成される擬似画像フレームの高周波成分が抑えられるので、ＤＣＴによるデータの劣化の影響を受けずに済む。
【０１８２】
次いで、ビット・ストリームをマッピングするための擬似的な画像フレームをＮ×Ｎ画素ブロックの領域に分割していく（ステップＳ４４）。そして、パリティ付きビット・ストリームを構成する各ビットの値を、Ｎ×Ｎ画素ブロック領域に対応付ける（ステップＳ４５）。このとき、ビット・ストリーム側のビットが０であれば、対応するＮ×Ｎ画素ブロック内のすべての画素値を０にする。また、ビット・ストリーム側のビットが１であれば、対応するＮ×Ｎ画素ブロック内のすべての画素値を１にする。
【０１８３】
このようにして、パリティ付きビット・ストリームの各ビットを順次Ｎ×Ｎ画素ブロックに割り当てていくと、高周波成分が抑制された擬似的な画像フレームを作成することができる。この擬似的な画像フレームを、通常の画像フレームと同様に、ＶＴＲに記録する（ステップＳ４６）。ＶＴＲに記録する際に、ＤＣＴによる高周波数成分の劣化の影響を受けずに済む。
【０１８４】
次いで、ＶＴＲから画像を再生する処理、すなわちビット・ストリームを再現する処理について説明する。
【０１８５】
まず、ＶＴＲを再生して、ビット・ストリームを含んだ擬似的な画像を取り出す（ステップＳ５１）。
【０１８６】
次いで、取り出した擬似的な画像フレームをＮ×Ｎ画素ブロックの領域に分割していく（ステップＳ５２）。
【０１８７】
次いで、各Ｎ×Ｎ画素ブロックからビット値を再現して、これらをつなぎ合わせてビット・ストリームを作成する（ステップＳ５３）。Ｎ×Ｎ画素ブロックからビット値を再現する際、ブロック内の画素値の平均を求め、平均値が０．５未満であれば０とし、０．５以上であれば１として、ビット・ストリームの対応するビット位置に書き込む。
【０１８８】
次いで、このビット・ストリームの再現性を検証する。この例では、図１１のステップＳ４２において生成した記録時のパリティ付きビット・ストリームと比較して、互いのエラー数をチェックする（ステップＳ５４）。そして、エラー数が少ないかをチェックする（ステップＳ５５）。
【０１８９】
ステップＳ４３において作成されたビット・ストリームのエラー数が少なければ、ビット・ストリームは正しく再現されたものとして、この再生処理ルーチンを終了する。
【０１９０】
他方、ステップＳ５３において作成されたビット・ストリームのエラー数が少なくない場合には、Ｎを１だけインクリメントして（ステップＳ５６）、再現性が確保されるように、ビット・ストリームのマッピングに使用する基底ベクトルの成分をさらに低周波数成分側に制限する。Ｎをインクリメントすることは、ビット・ストリームのビットを画像フレームにマッピングするための密度を低下させることを意味する。そして、図１１のステップＳ４４に戻って、ビット・ストリームの記録処理を繰り返し実行する。
【０１９１】
Ｎを１だけインクリメントすることによって、画像フレームにマッピングされたデータの冗長度が増してメモリの使用効率が低下するが、作成される擬似画像フレームの高周波成分が抑えられるので、ＤＣＴによるデータの劣化の影響をさらに抑制することができる。
【０１９２】
第３の実施形態：
本発明は、ＶＴＲ上に格納されている画像情報に関する編集データを同じＶＴＲ上に保存することによって、ユーザの便宜を図るものである。
【０１９３】
上述した本発明の第１の実施形態では、編集データからなるビット・ストリームの各ビットを基底ベクトルのうち低周波数成分側にマッピングした擬似的な符号化画像を生成することにより、ＶＴＲに記録した際における再現性を最大限維持できるようにした。また、第２の実施形態では、ビット・ストリームの１ビットにＮ×Ｎ画素の画素ブロックを割り当てることにより、高周波数成分が抑えられた画像を作成することにより、ＶＴＲに記録する際に、ＤＣＴによる高周波数成分の劣化の影響を抑制するようにした。
【０１９４】
要約すれば、上記の各実施形態においては、ＤＣＴによるデータの劣化の影響が少なくなるようにビット・ストリームを画像フレームにマッピングするための方法に関するものである。
【０１９５】
他方、動画像の画像圧縮技術においては、「動き補償（Motion Compensation：ＭＣ）」が導入される場合がある。この動き補償とは、連続する画像フレーム間で、データがどの方向へ動いたのかを考慮して圧縮・展開を行うものである。上述したＤＣＴなどの直交変換は画像フレームにおける空間方向の冗長度を削減して圧縮を行うのに対して、動き補償は時間方向の冗長度を削減する。
【０１９６】
動き補償による圧縮では、時間的に連続する複数の画像をイントラ・ピクチャとノンイントラ・ピクチャの２つのグループに分ける。
【０１９７】
イントラ・ピクチャ（Intra-Picture）すなわちＩピクチャに対しては、ＤＣＴなどの処理により、イントラ符号化（フレーム内予測）のみによる圧縮が行われる。
【０１９８】
他方、ノンイントラ・ピクチャに対しては、別の画像との相関を調べ、似ている部分との差分をとる。ノンイントラ・ピクチャは、動きの差分をとることにより、ほぼ０になるので、データ量を減らすことができる。ノンイントラ・ピクチャには、（Intra-Picture）フレーム間順方向予測により生成されるＰピクチャ（Predictive-Picture）、フレーム間双方向予測により生成されるＢピクチャ（Bidirectionally predictive Picture）の２種類がある。
【０１９９】
ここで、上述した本発明の第１の実施形態又は第２の実施形態により編集データなどのビット・ストリームがマッピングされた擬似的な画像フレームに対して、動き補償による圧縮が適用された場合について考察してみる。
【０２００】
動き補償による圧縮の過程で、擬似的な画像フレームがイントラ・ピクチャとして扱われる場合には、ＤＣＴ処理が適用されるだけなので、上述した各実施形態で既に述べた手法を適用することにより、高周波成分による劣化の影響を抑制することができるので、符号化による不可逆性の問題を解消して、ビット・ストリームの再現性を最大限に維持することができる。
【０２０１】
これに対し、ＰピクチャやＢピクチャなどのノンイントラ・ピクチャは、他の画像（ピクチャ）から似ている部分との差分をとっている。ビット・ストリームのデータにより作成された乱数的なデータである画像では、画像間で似ている部分はほとんどない。このため、擬似的な画像から他の画像との差分をとってもデータの冗長性を削除することが期待できないばかりか、ノンイントラ・ピクチャ内のデータも不正確になってしまい可逆性が著しく損なわれる。したがって、ノンイントラ・ピクチャとして処理された擬似的な画像フレームをＶＴＲに記録した後、元のビット・ストリームを完全に再現できなくなると推測される。
【０２０２】
本発明の第３の実施形態は、ビット・ストリームをマッピングした擬似的な画像フレームがイントラ・ピクチャに割り当てられるようにすることで、動き補償が適用された画像フレームから元のビット・ストリームを最大限正確に取り出すことができるようにする。より具体的には、ビット・ストリームのデータをマッピングした擬似的な画像フレームを作成した後、この画像フレームを複数枚連続してＶＴＲに記録することによって、イントラピクチャにこの擬似的な画像フレームが割り当てられるようにする。
【０２０３】
動き補償を適用する画像圧縮器においては、イントラ・ピクチャが出現する周期Ｍを規定していることが多い。このような場合、周期に相当するＭ枚分だけ擬似的な画像フレームを連続させることによって、そのうちの１枚は必ずイントラ・ピクチャに割り当てられるので、この画像フレームを使うことで、データ削減による劣化のない状態でビット・ストリームを取り出すことができる。
【０２０４】
ビット・ストリームを画像フレームに変換してＶＴＲに記録した後、ＶＴＲからビット・ストリームを再構築する際、ＶＴＲから再生される画像フレーム列のうち、時刻０から始まるＭ枚毎の画像からビットストリームを再構築する（但し、Ｍはイントラ・ピクチャの出現周期であることが好ましい）。また、時刻１から始まるＭ枚毎の画像からビット・ストリームを再構築する。また、時刻２から始まるＭ枚毎の画像からビット・ストリームを再構築する。以降同様に、時刻３から時刻Ｍ−１までのものに対してもビット・ストリームを再構築する。
【０２０５】
そして、これらＭ個の再構築されたビット・ストリームの中から最もエラーの少なかったビット・ストリームを選び出して、これをＶＴＲから再現した結果として出力する。
【０２０６】
勿論、エラーの少ないビット・ストリームが再現されることが目的であり、必ずしもイントラ・ピクチャーに割り当てられた画像フレームからビット・ストリームを再現しなければならないという訳ではない。
【０２０７】
また、ビット・ストリームのデータを画像データに直接マッピングする（第２の実施形態）のではなく、ＤＣＴ符号化空間の基底ベクトルにビット・ストリームをマッピングした後、このＤＣＴ符号化画像をＩＤＣＴ処理して擬似的な画像フレームを作成するようにした場合（第１の実施形態）であっても、本発明の第３の実施形態を適用することができる。
【０２０８】
図１３には、本実施形態において、ビット・ストリームをＶＴＲに保存しさらに再生するためのデータ処理の流れを模式的に示している。
【０２０９】
ビット・ストリームは、画像の編集データであり、どの画像にどの処理を施したかを示すデータ（例えば、画像を一意に決定するＩＤと、処理を一意に決定するＩＤの組み合わせからなるデータ）であり、０と１の信号（バイナリーデータ）で構成される（前述）。
【０２１０】
まず、ビット・ストリームの第ｉ番目のデータが０である場合には擬似的な画像フレームの第ｉ画素目の値を０とし、１である場合にはこれを１とする、という処理を繰り返し実行することによって、擬似的な画像フレームの１画素を使ってビット・ストリームの各１ビットの値をマッピングして、ビット・ストリームを記録するための擬似的な画像フレームを完成させる。
【０２１１】
ついで、作成された各画像フレームを複数枚連続させる。図１３に示すＶＴＲでは、イントラ・ピクチャが出現する周期Ｍが３に設定されている。この場合、イントラ・ピクチャとして圧縮される画像が２枚おきに現れるので、画像を３フレーム間隔で記録していけばよい。
【０２１２】
ビットストリームから作成された画像がＡ，Ｂ，Ｃ，及びＤの計４枚あったとする。この場合、これら４枚のうち最初の画像Ａを３回重複させて時刻０と１と２の画像とする。次いで、２枚目の画像Ｂも３回重複させて、時刻３と４と５の画像とする。以下同様に、３枚目の画像Ｃも３回重複させて時刻６と７と８の画像ととともに、最後の画像Ｄも３回重複させて時刻９と１０と１１の画像とする。この結果、合計１２枚の連続する画像が生成されて、ＶＴＲに投入される。
【０２１３】
ＶＴＲでは、イントラ・ピクチャに対してＤＣＴ処理を行なうＤＣＴ器と、ノンイントラ・ピクチャに対して動き補償処理を行なうＭＣ器が装備されている。そして、所定の周期Ｍ＝３フレーム毎に入力画像をＤＣＴ器に接続してイントラ・ピクチャとしてＤＣＴ処理し、それ以外の入力画像についてはＭＣ器に接続して動き補償処理してから、それぞれビデオ・テープに記録する。
【０２１４】
このようにＶＴＲに記録すれば、周期Ｍ＝３フレーム毎にイントラ・ピクチャが出現することから、「時刻０と３と６と９の４枚よりなる画像の組」、あるいは、「時刻１と４と７と１０の４枚よりなる画像の組」、あるいは、「時刻２と５と８と１１の４枚よりなる画像の組」というＭ＝３通りの組み合わせのうちいずれか１つの組は、イントラ・ピクチャで構成されている。
【０２１５】
このように記録されたＶＴＲからビット・ストリームのデータを復元するには、まず、記録時とは逆に、イントラ・ピクチャに対してはＩＤＣＴ処理を行うとともにノンイントラ・ピクチャに対して動き補償処理を行なって、ビデオ・テープからこれら１２枚の画像を再生する。
【０２１６】
そして、この１２枚の画像を、「時刻０と３と６と９の４枚よりなる画像の組（以下、「第１の組」とする）」、「時刻１と４と７と１０の４枚よりなる画像の組（以下、「第２の組」とする）」、「時刻２と５と８と１１の４枚よりなる画像の組（以下、「第３の組」とする。）」という３つの画像フレームの組に分ける。
【０２１７】
次いで、ビット・ストリームを画像フレームにマッピングしたときとは逆の手順により、第１の組からビット・ストリームを復元することを試みる。このときのエラーを「第１のエラー」とする。次いで、第２の組からビット・ストリームを復元することを試み、このときのエラーを「第２のエラー」とする。同様に、第３の組からビット・ストリームを復元することを試み、このときのエラーを「第３のエラー」とする。
【０２１８】
次いで、これら第１、第２、３のエラーの中で最もエラーの小さかったものを選択する。そして、これに対応する画像フレームの組（第１あるいは第２あるいは第３の組）から実際にビット・ストリームのデータを復元すればよい。何故ならば、エラーが小さいということは、その組の画像はイントラ・ピクチャで構成されていたと推測され、正確にビット・ストリームを再現していると判断されるからである。勿論、ビット・ストリームを再現するにあたり、イントラ・ピクチャを用いて復元することよりも、エラーが最も小さい画像の組を使用することの方が重要である。
【０２１９】
なお、エラーの量は、以下のようにして計測できる。例えば、ビット・ストリームのデータにより画像フレーム内の画素に０又は１の値を割り当てることによって画像を作成してＶＴＲに記録したとする。このような状況で、ＶＴＲを再生して、ある画素の値として０．５前後の値が観測された場合は、誤差が大きいと判断できる。あるいは、例えば、ＶＴＲに記録する際にビット・ストリームにパリティ・ビットを加えている場合、ＶＴＲを再生して、パリティ・エラーの起こる割合が大きければ、誤差が大きいと判断することができる。
【０２２０】
図３に示した画像処理装置１００は、本実施形態にも適用されるので、その装置構成についてはここでは説明しない。この画像処理装置１００には、画像情報のソースであるＶＴＲなどの画像記録装置が接続されている。そして、オリジナル画像が記録してあるテープをＶＴＲで再生して取り込み、画像処理装置１００上では画像編集を行うとともに、編集過程の画像編集データをこのＶＴＲ上に記録する。また、画像処理装置１００は、画像圧縮・伸張時における不可逆性のために編集データが損なわれないようにするために、編集データのビット・ストリームをＤＣＴ符号化空間の低周波数帯域にマッピングしてからＶＴＲに記録する（同上）。
【０２２１】
図１４及び図１５には、本実施形態において、画像編集データとしてのビット・ストリームをＶＴＲに記録し、並びにＶＴＲから再生するための処理手順をフローチャートの形式でそれぞれ示している。
【０２２２】
本実施形態では、ビット・ストリームがマッピングされた画像フレームを複数枚連続してＶＴＲに記録することによって、イントラ・ピクチャにこの擬似的な画像フレームが割り当てられるようにする。但し、ここでは、上述した第１の実施形態と同様にビット・ストリームをＤＣＴ符号化空間の基底ベクトルにマッピングするものとする。
【０２２３】
このような処理は、実際には、ＣＰＵ１０１が所定のプログラム・コードを実行するという形態で実現される。以下、図１４及び図１５に示されている各フローチャートを参照しながら、この処理手順について説明する。
【０２２４】
ビット・ストリームを入力すると（ステップＳ６１）、まず、この入力ビット・ストリームに対してパリティ・ビットを付加して、エラー訂正可能なパリティ付きビット・ストリームを作成する（ステップＳ６２）。
【０２２５】
次いで、変数Ｎに初期値２０を代入する（ステップＳ６３）。この変数Ｎは、画像のＤＣＴ符号化空間の基底ベクトルを構成する成分６４個のうち低周波数成分側の何個をビット・ストリームのマッピングに使用するかを決定する（図１を参照のこと）。
【０２２６】
次いで、パリティ付きビット・ストリームを、Ｎビットずつに分割する（ステップＳ６４）。そして、分割された各Ｎビットのデータを、それぞれＤＣＴ符号化空間の基底ベクトルのうち低周波数側のＮ個の成分にマッピングしていき、さらに、ＤＣＴ符号化空間を構成する基底ベクトルのＮ＋１番目以降の高周波数側の成分に０を代入することによって、８×８ブロックからなる擬似的な符号化画像を作成する。なお、ＶＴＲ内部でイントラ・ピクチャに対してＤＣＴ処理を行なうのが一般的であるが、このＶＴＲ内部でのＤＣＴ処理をスキップさせることができない場合には、上述した第１の実施形態と同様に、上記の擬似的な符号化画像を一旦ＩＤＣＴ処理して擬似的な原画像にする（ステップＳ６５）。
【０２２７】
上記のステップＳ６５において、ビット・ストリームのＮビットのデータをマッピングして８×８ブロックの擬似的な符号化画像を生成するための処理は図６にフローチャートの形式で示した手順に従って行なうことができる。
【０２２８】
ビット・ストリームをＮ個毎に分割して、Ｎビットのビット列の塊が（Ｋ÷５２８０）個できたとすると、このような８×８ブロックが５２８０個集まってできる擬似的な符号化画像フレームがＫフレームだけ作成される。なお、ここでは、１フレームは７０４画素×４８０画素よりなると仮定している。すなわち、５２８０個の８×８ブロックより１フレームは構成されるとしている（ステップＳ６６）。
【０２２９】
次いで、Ｋ枚の各画像フレームを、動き補償においてイントラ・ピクチャが出現する周期Ｍに相当する数だけ連続させて、時刻０から時刻Ｍ×Ｋ−１までの合計Ｍ×Ｋ枚の画像を作成して、ＶＴＲに記録する（ステップＳ６７）。但し、時刻３ｉ−２，３ｉ−２，３ｉ−１（ｉ＝０〜Ｋ）の画像は、ステップＳ６６により作成された第ｉ番目の画像とまったく同じ画像である。また、ＶＴＲでは、周期Ｍ毎にイントラ・ピクチャとして画像をＤＣＴ処理し、その他の画像は動き補償処理を適用する。
【０２３０】
次いで、ＶＴＲを再生して、ビット・ストリームを含んだ擬似的な画像を取り出す（ステップＳ６８）。すなわち、時刻０から時刻Ｍ×Ｋ−１までの画像を取り出す。
【０２３１】
ここで、エラー・チェックのために使用する変数ｐに初期値０を代入する（ステップＳ６９）。変数ｐ（＝０〜Ｍ−１）は、ビット・ストリームをマッピングした画像フレームをイントラ・ピクチャに割り当てるために形成された画像の組を指定するために使用される。
【０２３２】
ＶＴＲ記録時には、Ｎ（＝２０）ビット毎に分割されたビット列のうちｊ番目のビット位置におけるビット値が、ＤＣＴ符号化空間を構成する６４個の基底ベクトルの低周波数側からｊ番目の成分Ｖ_j（ｊ＝１〜２０）に順次マッピングされている。また、イントラ・ピクチャの周期Ｍに相当する間隔で、時刻ｐ，Ｍ＋ｐ，２Ｍ＋ｐ…，Ｍ×（Ｋ−１）＋ｐの画像からなる第ｐの画像の組が形成されている。
【０２３３】
したがって、再生時には、第ｐの画像の組すなわち時刻ｐ，Ｍ＋ｐ，２Ｍ＋ｐ…，Ｍ×（Ｋ−１）＋ｐの画像をそれぞれ８×８ブロックに分割して、それぞれ基底ベクトルの低周波数成分側のｊ番目の成分Ｖ_j（ｊ＝１〜２０）の値を、Ｎビット毎に分割されたビット列のｊ番目のビット位置にマッピングする。さらに、基底ベクトルの低周波数成分が順次マッピングされたこれらＮビット毎のビット列をまとめることで、ビット・ストリームを作成する（ステップＳ７０）。
【０２３４】
上記のステップＳ７０において、時刻ｐ，Ｍ＋ｐ，２Ｍ＋ｐ…，Ｍ×（Ｋ−１）＋ｐの画像の組からビット・ストリームを生成するための処理は図７にフローチャートの形式で示した手順に従って行なうことができる。
【０２３５】
次いで、ステップＳ６２において生成した記録時のパリティ付きビット・ストリームと比較して、互いのエラー数をチェックする（ステップＳ７１）。そして、エラー数が少ないかをチェックする（ステップＳ７２）。
【０２３６】
ステップＳ７２において作成されたビット・ストリームのエラー数が少なければ、ビット・ストリームは正しく再現されたものとして、このＶＴＲ記録処理ルーチンを終了する。
【０２３７】
他方、ステップＳ７２において作成されたビット・ストリームのエラー数が少なくない場合には、ｐを１だけインクリメントして（ステップＳ７３）、ｐがイントラ・ピクチャの周期すなわち同じ画像の連続枚数Ｍ未満かどうかをチェックする（ステップＳ７４）。
【０２３８】
ｐがＭ未満であれば、ステップＳ７０に戻り、次の第ｐ番目の画像の組を用いてビット・ストリームを作成し、そのエラー・チェックを繰り返し実行する。
【０２３９】
また、ｐがＭに到達した場合には、Ｎを１だけデクリメントして（ステップＳ７５）、再現性が確保されるように、ビット・ストリームのマッピングに使用する基底ベクトルの成分をさらに低周波数成分側に制限する。そして、ステップＳ６４に戻って、ビット・ストリームの記録処理を改めて実行する。
【０２４０】
次いで、ＶＴＲから画像を再生する処理、すなわちビット・ストリームを再現する処理について説明する。
【０２４１】
まず、ＶＴＲを再生して、ビット・ストリームを含んだ擬似的な画像を取り出す（ステップＳ８１）。すなわち、時刻０から時刻Ｍ×Ｋ−１までの画像を取り出す。
【０２４２】
ここで、エラー・チェックのために使用する変数ｐに初期値０を代入する（ステップＳ８２）。変数ｐ（＝０〜Ｍ−１）は、ビット・ストリームをマッピングした画像フレームをイントラ・ピクチャに割り当てるために形成された画像の組を指定するために使用される。
【０２４３】
ＶＴＲ記録時には、Ｎ（＝２０）ビット毎に分割されたビット列のうちｊ番目のビット位置におけるビット値が、ＤＣＴ符号化空間を構成する６４個の基底ベクトルの低周波数側からｊ番目の成分Ｖ_j（ｊ＝１〜２０）に順次マッピングされている。また、イントラ・ピクチャの周期Ｍに相当する間隔で、時刻ｐ，Ｍ＋ｐ，２Ｍ＋ｐ…，Ｍ×（Ｋ−１）＋ｐの画像からなる第ｐの画像の組が形成されている。
【０２４４】
したがって、再生時には、第ｐの画像の組すなわち時刻ｐ，Ｍ＋ｐ，２Ｍ＋ｐ…，Ｍ×（Ｋ−１）＋ｐの画像をそれぞれ８×８ブロックに分割して、それぞれ基底ベクトルの低周波数成分側のｊ番目の成分Ｖ_j（ｊ＝１〜２０）の値を、Ｎビット毎に分割されたビット列のｊ番目のビット位置にマッピングする。さらに、基底ベクトルの低周波数成分が順次マッピングされたこれらＮビット毎のビット列をまとめることで、第ｐ番目のビット・ストリームを作成する（ステップＳ８３）。
【０２４５】
上記のステップＳ８３において、時刻ｐ，Ｍ＋ｐ，２Ｍ＋ｐ…，Ｍ×（Ｋ−１）＋ｐの画像の組からビット・ストリームを生成するための処理は図７にフローチャートの形式で示した手順に従って行なうことができる。
【０２４６】
次いで、この第ｐ番目のビット・ストリームに対して、パリティ・エラーの量をチェックする（ステップＳ８４）。このエラー量を「第ｐ番目のエラー量」とする。
【０２４７】
次いで、ｐを１だけインクリメントして（ステップＳ８５）、ｐがイントラ・ピクチャの周期すなわち同じ画像の連続枚数Ｍ未満かどうかをチェックする（ステップＳ８６）。
【０２４８】
ｐがＭ未満であれば、ステップＳ８３に戻り、次の第ｐ番目の画像の組を用いてビット・ストリームを作成し、そのエラー量の検出を繰り返し実行する。
【０２４９】
また、ｐがＭに到達した場合には、第０番目から第（Ｍ−１）番目のエラー量の中で最もエラー量が小さくなるものの番号ｐ_minを選択する。エラーが最も小さくなる第ｐ_min番目の画像の組は、イントラ・ピクチャで構成されていたと推測される。
【０２５０】
そして、最もエラー量が小さくなる第ｐmin番目の画像の組によって生成される第ｐ_min番目のビット・ストリームを、パリティ付きのビット・ストリームであると推定して、エラー訂正を行い、訂正後のビット・ストリームを出力する（ステップＳ８７）。
【０２５１】
エラーが小さい画像の組はイントラ・ピクチャで構成されていたと推測されるが、勿論、ビット・ストリームを再現するにあたり、イントラ・ピクチャを用いて復元することよりも、エラーが最も小さい画像の組を使用することの方が重要である。
【０２５２】
［追補］
以上、特定の実施形態を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【０２５３】
【発明の効果】
以上詳記したように、本発明によれば、動画などの画像情報の蓄積や伝送のために情報を符号化したり、符号化した情報を再生したり受信して再利用のために復号化することができる、優れた情報符号化装置及び情報符号化方法、情報復号化装置及び情報復号化方法、記憶媒体、並びにコンピュータ・プログラムを提供することができる。
【０２５４】
また、本発明によれば、ビデオ・テープなどの特定の記録媒体上に格納されている画像情報に関する編集情報を蓄積や伝送のために情報を符号化したり、符号化した情報を再生したり受信して再利用のために復号化することができる、優れた情報符号化装置及び情報符号化方法、情報復号化装置及び情報復号化方法、記憶媒体、並びにコンピュータ・プログラムを提供することができる。
【０２５５】
また、本発明によれば、編集情報を元の画像情報と同じ記録媒体上に蓄積したり、同様の方式で転送したりすることができる、優れた情報符号化装置及び情報符号化方法、情報復号化装置及び情報復号化方法、記憶媒体、並びにコンピュータ・プログラムを提供することができる。
【図面の簡単な説明】
【図１】ＤＣＴにより変換符号化された符号化空間の構成を模式的に示した図である。
【図２】本発明の第１の実施形態において、ビット・ストリームをＶＴＲに保存しさらに再生するためのデータ処理の流れを模式的に示した図である。
【図３】本実施形態に適用可能な画像処理装置１００のハードウェア構成を模式的に示した図である。
【図４】画像編集データとしてのビット・ストリームをＶＴＲに記録するための処理手順をフローチャートの形式で示した図である。
【図５】画像編集データとしてのビット・ストリームをＶＴＲから再生するための処理手順をフローチャートの形式で示した図である。
【図６】図４に示したフローチャート中のステップＳ５及びＳ６における、ビット・ストリームのＮビットのデータをマッピングして８×８ブロックの擬似的な符号化画像を生成するための処理手順をさらに詳細に示したフローチャートである。
【図７】図５に示したフローチャート中のステップＳ１４及びＳ１５において、８×８ブロックの擬似的な符号化画像を構成する基底ベクトルのうち低周波数成分側のＮ個をビット・ストリーム中のＮビットのデータにマッピングして、ビット・ストリームを作成するための処理手順をさらに詳細に示したフローチャートである。
【図８】画像編集データとしてのビット・ストリームをＶＴＲに記録するための処理手順の変形例をフローチャートの形式で示した図である。
【図９】画像編集データとしてのビット・ストリームをＶＴＲから再生するための処理手順の変形例をフローチャートの形式で示した図である。
【図１０】本発明の第２の実施形態における、ビット・ストリームをＶＴＲに保存しさらに再生するためのデータ処理の流れを模式的に示した図である。
【図１１】本発明の第２の実施形態における、画像編集データとしてのビット・ストリームをＶＴＲに記録するための処理手順を示したフローチャートである。
【図１２】本発明の第２の実施形態における、ＶＴＲから再生してビット・ストリームを取得するための処理手順を示したフローチャートである。
【図１３】本発明の第３の実施形態において、ビット・ストリームをＶＴＲに保存しさらに再生するためのデータ処理の流れを模式的に示した図である。
【図１４】本発明の第３の実施形態における、画像編集データとしてのビット・ストリームをＶＴＲに記録するための処理手順を示したフローチャートである。
【図１５】本発明の第３の実施形態における、ＶＴＲから再生してビット・ストリームを取得するための処理手順を示したフローチャートである。
【符号の説明】
１００…画像処理装置
１０１…ＣＰＵ，１０２…メモリ
１０３…ディスプレイ・コントローラ
１０４…入力機器インターフェース
１０５…ネットワーク・インターフェース
１０７…外部機器インターフェース，１０８…バス
１０９…ＶＴＲインターフェース
１１１…ディスプレイ
１１２…キーボード，１１３…マウス
１１４…ハード・ディスク装置
１１５…メディア・ドライブ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an information encoding apparatus, information encoding method, and information decoding for encoding information for storage and transmission of information, reproducing or receiving encoded information, and decoding for reuse The present invention relates to an apparatus, an information decoding method, a storage medium, and a computer program, and in particular, an information encoding apparatus and information encoding method for image information such as a moving image, an information decoding apparatus, an information decoding method, a storage medium, And a computer program.
[0002]
More specifically, the present invention encodes information to store or transmit editing information related to image information stored on a specific recording medium such as a video tape, and reproduces the encoded information. The present invention relates to an information encoding apparatus and an information encoding method, an information decoding apparatus and an information decoding method, a storage medium, and a computer program that are received and decoded for reuse. The present invention relates to an information encoding apparatus and information encoding method, an information decoding apparatus and an information decoding method, a storage medium, and a computer program that are stored on the same recording medium or transferred in the same manner.
[0003]
[Prior art]
In general, an image recording device such as a VTR (video tape recorder) is used for storing a video signal. In broadcast stations and movie production companies, an image recording apparatus such as a VTR that is a source of image information is connected to an image editing apparatus that performs editing work. For example, a tape on which an original image is recorded is reproduced by a VTR, and the original image is taken into an image editing apparatus. Then, the image is edited on the image editing apparatus to finally obtain the desired image. The final image is recorded on the VTR. Thus, a VTR is indispensable for an image editing apparatus.
[0004]
Now, image editing is performed by the user over a long period of time. If a problem occurs in the editing apparatus during the editing process, and all of the editing data that has been performed is lost, the user has to start editing from the beginning. In order to avoid such a situation, it is a common practice to record editing process information on the same VTR (that is, to back up data).
[0005]
Here, the image editing data is not the image data itself, but data indicating which processing has been performed on which image (for example, data consisting of a combination of an ID that uniquely determines an image and an ID that uniquely determines the processing) ) And is a bit stream composed of 0 and 1 signals (binary data).
[0006]
Of course, the bit stream which is information of this editing process may be recorded not on the VTR (or the same image recording apparatus as the original image information) but on another data recording apparatus (for example, a flexible disk). However, a VTR is connected to the image editing apparatus, and if this VTR is used, there is no need to prepare another recording apparatus separately. Therefore, there is a strong demand from the user to record a bit stream directly to the VTR. There is. Saving the edit data in the VTR means that the edit data is placed at the same location as the image data, and the inconvenience that the edit data storage location is not known (data is lost) can be avoided.
[0007]
By the way, image data is generally enormous in data size. For this reason, many recent VTRs use image compression technology. Here, “compression” means to delete data redundancy to reduce the size of a file or data, and “image compression” is a technique for performing compression specialized for image data. That is, by compressing (encoding) an image, more images can be recorded on a video tape of the same length. Further, when the compressed data is expanded (decoded), an image that is almost indistinguishable from the image before compression (encoding) can be restored.
[0008]
Image compression technology
(1) Tape consumption can be reduced.
(2) When recording and reproducing, that is, when compression and expansion are performed, an image indistinguishable from the original image can be reproduced.
Because it has two merits, it has been adopted by many VTRs.
[0009]
In general, DCT (Discreet Cosine Transform) processing for replacing the time axis with the frequency axis is applied to the image compression. The DCT itself is simply a transformation of coordinate axes, but the amount of data can be reduced by weighting and quantizing the frequency domain where the signal power is large and the frequency domain where the signal power is small.
[0010]
Another feature of this type of image compression coding is that it is an irreversible transformation, that is, there is no guarantee that the original data will be completely reproduced even after decoding. However, even if the original image is not completely reproduced, there is no particular problem as long as the image deterioration is such that it cannot be recognized visually.
[0011]
However, there is a great problem when a bit stream of binary data such as the image editing data described above is stored in the VTR. This is because the bit stream of binary data is a data string in which 0 and 1 appear randomly, but even if the values are switched at least at some bit positions, the entire data string is completely meaningful as edit data. Will no longer have.
[0012]
When compression and decompression processing is applied to the editing data by an image-specific compression method, some data cannot be reproduced correctly due to its irreversibility. That is, when data of 0 is recorded on the VTR and played back, it may become 1. The reverse is also possible. Such irreversibility is not a problem for the reproduction of image information, but is fatal for editing data.
[0013]
[Problems to be solved by the invention]
The object of the present invention is to provide excellent information that can be encoded for the storage and transmission of image information such as moving images, and the encoded information can be reproduced and received and decoded for reuse. An encoding device, an information encoding method, an information decoding device, an information decoding method, a storage medium, and a computer program are provided.
[0014]
A further object of the present invention is to encode information for storing and transmitting editing information relating to image information stored on a specific recording medium such as a video tape, to reproduce or receive the encoded information. The present invention provides an excellent information encoding device and information encoding method, information decoding device and information decoding method, storage medium, and computer program that can be decoded for reuse.
[0015]
A further object of the present invention is to provide an excellent information encoding apparatus, information encoding method, and information decoding capable of storing editing information on the same recording medium as the original image information or transferring it in the same manner. An information processing apparatus, an information decoding method, a storage medium, and a computer program are provided.
[0016]
[Means and Actions for Solving the Problems]
The present invention has been made in consideration of the above-mentioned problems. The first aspect of the present invention is the second data obtained by encoding the first data on the first data real space and the second data real space. Mapping means or steps for mapping to the data coding space of
This is an information encoding apparatus or information encoding method.
[0017]
Here, the data in the second data real space is, for example, image data such as a moving image. In such a case, the second data coding space is a DCT coding space formed by performing discrete cosine transform (DCT) on image data. The DCT coding space is composed of a predetermined number (for example, 8 × 8 = 64) of base vectors representing components of each frequency band from low frequency to high frequency.
[0018]
The first data is editing information for the image data, and is composed of a bit stream. In such a case, the mapping means or step can map the bit values of the bit stream to the basis vectors constituting the second coding space.
[0019]
The information encoding apparatus or the information encoding method according to the first aspect of the present invention may further include a recording unit or a step for recording the encoded data on the second data encoding space. The recording means or step is, for example, a VTR (video tape record) for recording a moving image, and the image data is recorded after being encoded and compressed by DCT or the like.
[0020]
As described above, when the recording unit or step is configured to record the data obtained by encoding and compressing the original image data, the information encoding device or the information encoding according to the first aspect of the present invention is used. The method decodes the pseudo encoded data in which the first data on the first data real space is mapped to the second data encoding space by the mapping means or step to generate the second data on the second data real space. It is only necessary to further include pseudo data decoding means or step for generating the pseudo second data. In this way, the recording means or step can record the first data in a state in which the pseudo second data is encoded and mapped in the second data encoding space.
[0021]
As described above, most of recent VTRs employ an image compression technique. However, when a bit stream such as edit data is stored in the VTR as it is, the original VTR has the original irreversibility at the time of compression to expansion. There is a possibility that the edited data cannot be reproduced.
[0022]
Therefore, in the information encoding device or the information encoding method according to the first aspect of the present invention, in order to maintain reproducibility, when recording a bit stream such as edit data in a VTR, image compression encoding is used. An image frame is created by mapping each bit stream data on the coding space to be converted, and this image is recorded in the VTR. In other words, when recording a bit stream such as edited data, a pseudo-encoded image is created by mapping the bit stream data pattern to the combination pattern of the basis vectors of the conversion used in the same compression conversion method. Then, this encoded image is recorded in the VTR.
[0023]
When mapping a bit stream to the DCT coding space, each base up to a predetermined number on the low frequency component side is considered in consideration of coding compression characteristics that a natural image concentrates on a low frequency component and a high frequency component is rounded off. By mapping each data of the bit stream using vectors, for example, up to 20 from the low frequency component side, it is possible to maintain the reproducibility of the bit stream at the time of decoding expansion.
[0024]
Here, an error detection means or step for detecting an error by decoding the pseudo encoded data mapped to the second data encoding space by the mapping means, and a base to be used according to the error detection result A frequency band adjusting means or step for adjusting the frequency band of the vector may be further provided.
[0025]
For example, if the reproducibility of the basis vector of the highest frequency component used for mapping the bit stream is checked and an error is detected, the reversibility is not guaranteed. The reproducibility is maintained by limiting to lower frequency components.
[0026]
Alternatively, instead of sequentially mapping the value of each bit of the bit stream to a predetermined number of base vectors on the low frequency component side in the second coding space, consecutive n in the bit stream Bit value expressed by substituting 1 for k out of m basis vectors on the low frequency component side in the second coding space and substituting 0 for the remaining m−k -You may make it map to a pattern (however, 2ⁿ<_mC_k).
[0027]
For example, a combination of selecting any three of the 20 basis vectors constituting the second coding space₂₀C_ThreeIs (20 × 19 × 18) ÷ (3 × 2 × 1) = 1140. On the other hand, since there are 2 <10> = 1024 10-bit data patterns that make up the bit stream, each of these 1024 patterns should correspond to a pattern selected from 3 of the 20 basis vectors. Thus, 20 bit strings of the bit stream can be expressed. That is, 1 is substituted into the components of only the three selected basis vectors, and the remaining 17 basis vector components are set to 0.
[0028]
According to a second aspect of the present invention, there is provided encoded data obtained by mapping the first data on the first data real space to the second data encoding space obtained by encoding the second data real space. Decoding means or steps for decoding on the first data real space,
An information decoding apparatus or an information decoding method characterized by the above.
[0029]
According to the information decoding apparatus or the information decoding method according to the second aspect of the present invention, the decoding process corresponding to the information encoding apparatus or the information encoding method according to the first aspect of the present invention can be performed. it can.
[0030]
That is, in the information encoding device or the information encoding method according to the first aspect of the present invention, the bit value of the bit stream constituting the first data is mapped to the basis vector constituting the second coding space. Therefore, the decoding means or step may re-map the bit value mapped to the base vector to the bit stream.
[0031]
For example, when the value of each bit of the bit stream is sequentially mapped to each base vector up to a predetermined number on the low frequency component side in the second coding space, the decoding means includes: The step may be such that the bit values mapped to the basis vectors are sequentially remapped to the bit stream.
[0032]
Alternatively, consecutive n-bit values in the bit stream substitute 1 for k out of m basis vectors on the low frequency component side in the second coding space, and the remaining m−k values. When mapped to a bit pattern expressed by substituting 0 (however, 2ⁿ<_mC_kThe decoding means may also re-map the bit pattern represented by m basis vectors to successive n-bit values of the bit stream.
[0033]
The third aspect of the present invention includes mapping means or a step for converting the first data on the first data real space into the second data real space with the second density.
This is an information encoding apparatus or information encoding method.
[0034]
Here, the data in the second data real space is image data such as a moving image. The first data is editing information for the image data, and is composed of a bit stream.
[0035]
The information encoding device or the information encoding method according to the third aspect of the present invention encodes and records pseudo second data in the second data real space to which the first data is mapped. Means or steps may be further provided. The recording means or step is, for example, a VTR (video tape record) for recording a moving image, and the image data is recorded after being encoded and compressed by DCT or the like.
[0036]
As described above, most of recent VTRs employ an image compression technique. However, when a bit stream such as edit data is stored in the VTR as it is, the original VTR has the original irreversibility at the time of compression to expansion. There is a possibility that the edited data cannot be reproduced.
[0037]
Therefore, in the information encoding apparatus or the information encoding method according to the third aspect of the present invention, in order to maintain reproducibility, when recording a bit stream such as edit data on the VTR, The pseudo image frame is encoded and compressed in the same manner as a normal image frame and is recorded in the VTR.
[0038]
Furthermore, after the pseudo image frame to which the bit stream is mapped is subjected to encoding and decoding processing, the bit stream is restored by trying to recover the bit stream so that the error does not occur. The density of mapping the stream to image frames can be adjusted.
[0039]
  For example, a value at each bit position constituting the bit stream is mapped as a pixel value of one pixel or an n × n pixel block at a corresponding pixel position in the image frame, and a pseudo image frame is generated once. ,furtherThisThe pseudo image frame is DCT-encoded and recorded in the VTR.
[0040]
If the bit stream cannot be reproduced after encoding and decoding, the number of pixels to which each bit of the bit stream is mapped is increased in order to improve the reproducibility. For example, the value of each bit position in the bit stream is stored using a block of (n + 1) × (n + 1) pixels in the pseudo image frame. In this way, by assigning each bit of the bit stream to a block having a larger number of pixels, the created pseudo image becomes an image in which high frequency components are suppressed. It is not affected by deterioration.
[0041]
According to a fourth aspect of the present invention, encoded data obtained by converting the first data in the first data real space into the second data real space with the second density is converted into the first data. Decoding means or step for performing inverse transformation on the data real space with the inverse of the second density,
An information decoding apparatus or an information decoding method characterized by the above.
[0042]
According to the information decoding apparatus or the information decoding method according to the fourth aspect of the present invention, it is possible to perform the decoding process corresponding to the information encoding apparatus or the information encoding method according to the third aspect of the present invention. it can.
[0043]
That is, in the information encoding device or the information encoding method according to the third aspect of the present invention, since each bit of the bit stream is mapped to the image frame with the second density, the decoding means Alternatively, the step may be such that the pixel values in the image frame are remapped with the reciprocal of the second density.
[0044]
For example, if each bit value of the bit stream is mapped to a block in which the second data real space is divided by n × n pixels, the decoding means also includes the step of the second data real The pixel value of each n × n pixel block on the space may be remapped onto the first data real space.
[0045]
The fifth aspect of the present invention is an information encoding device or information encoding method for encoding first data other than an image,
Mapping means or step for mapping the first data to an image frame to create a pseudo image frame;
A pseudo image frame duplicating means or step for making a plurality of the pseudo image frames continuous;
An information encoding device or an information encoding method characterized by comprising:
[0046]
Here, the first data is image data edit data or the like, and is composed of a bit stream. The mapping means or step can map the bit value of the bit stream to the pixels of the image frame with a predetermined density.
[0047]
Alternatively, the mapping means or step can map the bit value of the bit stream to a basis vector constituting an encoding space obtained by performing discrete cosine transform (DCT) on an image frame.
[0048]
The information encoding apparatus or information encoding method according to the fifth aspect of the present invention is a pseudo image frame encoding means or step for performing motion compensation on an image frame group in which a plurality of pseudo image frames are continuous. May be further provided.
[0049]
In an image compression technique for moving images, “Motion Compensation (MC)” may be introduced. In compression by motion compensation, a plurality of temporally continuous images are divided into two groups of intra pictures and non-intra pictures.
[0050]
Here, when a pseudo image frame to which a bit stream such as edit data is mapped is treated as a non-intra picture, the redundancy of the data is deleted even if a difference from the other image is taken from the pseudo image. Cannot be expected, the data in the non-intra picture is also inaccurate, and the reversibility is significantly impaired. For this reason, after a pseudo image frame processed as a non-intra picture is recorded on the VTR, the original bit stream cannot be completely reproduced.
[0051]
Therefore, in the information encoding device or the information encoding method according to the fifth aspect of the present invention, motion compensation is performed by assigning a pseudo image frame to which a bit stream is mapped to an intra picture. It allows the original bit stream to be extracted from the applied image frame as accurately as possible. More specifically, after creating a pseudo image frame in which bit stream data is mapped, a plurality of the image frames are continuously recorded in the VTR, so that the pseudo image frame is included in the intra picture. To be assigned.
[0052]
In an image compressor to which motion compensation is applied, a period M in which an intra picture appears is often defined. In such a case, by continuing M pseudo image frames corresponding to the period, one of them is always assigned to an intra picture. Therefore, by using this image frame, degradation due to data reduction is achieved. The bit stream can be taken out without any problem.
[0053]
According to a sixth aspect of the present invention, a pseudo image frame group formed by mapping a plurality of pseudo image frames generated by mapping the first data to image frames is encoded by motion compensation. An information decoding device or an information decoding method for decoding first data from a pseudo encoded image,
Decoding means or step for decoding a pseudo encoded image by motion compensation to create a pseudo image frame group;
A remapping means or step for extracting image frames from the decoded image frame group at intervals of M frames to form image frame sets, and remapping the image frames to the first data for each image frame set When,
An output means or step for error-verifying a remapping result for each set of image frames and outputting a remapping result with the least error as the decoded first data;
An information decoding apparatus or an information decoding method.
[0054]
According to the information decoding apparatus or the information decoding method according to the sixth aspect of the present invention, the decoding process corresponding to the information encoding apparatus or the information encoding method according to the fifth aspect of the present invention can be performed. it can.
[0055]
That is, after a bit stream is converted into an image frame and recorded in the VTR, when the bit stream is reconstructed from the VTR, the image frame sequence reproduced from the VTR is read from every M images starting from time 0. Reconstruct the bitstream (where M is the intra picture appearance period). Also, a bit stream is reconstructed from every M images starting from time 1. Also, a bit stream is reconstructed from every M images starting from time 2. Similarly, the bit stream is reconstructed for those from time 3 to time N-1.
[0056]
Then, the bit stream with the least error is selected from these N reconstructed bit streams, and this is output as a result of reproduction from the VTR. It is inferred that the bit stream with the least error was reproduced from a set of every M picture frames assigned to an intra picture. Of course, the purpose is to reproduce a bit stream with few errors, and it does not necessarily have to be reproduced from an image frame assigned to an intra picture.
[0057]
According to a seventh aspect of the present invention, there is provided a storage medium that physically stores computer software written in a computer-readable format so that information encoding processing for encoding information is executed on the computer system. And the computer software is
The bit stream bits constituting the information to be encoded are mapped to a predetermined frequency band or a predetermined number of base vectors constituting a coding space obtained by performing discrete cosine transform (DCT) on an image frame. Mapping step to
After decoding / encoding the pseudo-encoded image to which the bit stream is mapped, each base vector constituting the pseudo-encoded image is remapped to generate a bit stream. A decryption step to create;
A frequency band adjusting step of verifying an error of the decoded bit stream and adjusting a frequency band or a number of base vectors used for mapping of the bit stream according to the error verification result;
It is a storage medium characterized by comprising.
[0058]
According to an eighth aspect of the present invention, there is provided a storage medium that physically stores in a computer-readable format computer software described to execute an information encoding process for encoding information on a computer system. And the computer software is
A mapping step for mapping the bits of the bit stream constituting the information to be encoded to pixels on the image frame with a predetermined density;
A decoding step of remapping the pixels of the pseudo image frame to which the bit stream is mapped to create a bit stream by re-mapping with a reciprocal of the predetermined density;
A density adjustment step of verifying errors of the decoded bit stream and adjusting a density when mapping the bit stream to an image frame according to the error verification result;
It is a storage medium characterized by comprising.
[0059]
According to a ninth aspect of the present invention, there is provided a storage medium that physically stores in a computer-readable format computer software described to execute an information encoding process for encoding information on a computer system. And the computer software is
A mapping step of mapping information to be encoded to an image frame to create a pseudo image frame;
A pseudo image frame duplicating step in which each of the pseudo image frames is M consecutive, and
A pseudo image frame encoding step for performing motion compensation by inserting an intra picture in an M frame period into an image frame group in which each pseudo image frame is M consecutively;
A decoding step of decoding the encoded pseudo image frame by motion compensation to create a group of pseudo image frames;
A remapping step of extracting image frames from the decoded image frame group at M frame intervals to form image frame sets, and remapping the image frames to first data for each set of image frames; ,
An output step of error-verifying a result of remapping for each set of image frames and outputting a remapping result with the least error as decoded first data;
It is a storage medium characterized by comprising.
[0060]
The storage medium according to each aspect of the seventh to ninth aspects of the present invention provides computer software in a computer-readable format for a general-purpose computer system capable of executing various program codes, for example. It is a medium. Such a medium is a removable and portable storage medium such as a DVD (Digital Versatile Disc), a CD (Compact Disc), an FD (Flexible Disk), or an MO (Magneto-Optical disc). Alternatively, it is technically possible to provide computer software to a specific computer system via a transmission medium such as a network (whether the network is wireless or wired).
[0061]
The storage medium according to each of the seventh to ninth aspects of the present invention is a structural or functional cooperation between the computer software and the storage medium for realizing a predetermined computer software function on the computer system. It defines a dynamic relationship. In other words, by installing predetermined computer software in the computer system via the storage media according to the seventh to ninth aspects of the present invention, a cooperative action is exhibited on the computer system, The same operational effects as those of the information encoding device or the information encoding method according to the first, third, and fifth aspects of the present invention can be obtained.
[0062]
According to a tenth aspect of the present invention, there is provided a computer program written to execute an information encoding process for encoding information on a computer system.
The bits of the bit stream constituting the information to be encoded are mapped to a predetermined number of base vectors in a predetermined frequency band among the base vectors constituting the encoding space obtained by performing discrete cosine transform (DCT) on the image frame Mapping step to
After decoding / encoding the pseudo-encoded image to which the bit stream is mapped, each base vector constituting the pseudo-encoded image is remapped to generate a bit stream. A decryption step to create;
A frequency band adjusting step of verifying an error of the decoded bit stream and adjusting a frequency band or a number of base vectors used for mapping of the bit stream according to the error verification result;
A computer program characterized by comprising:
[0063]
An eleventh aspect of the present invention is a computer program written to execute an information encoding process for encoding information on a computer system,
A mapping step for mapping the bits of the bit stream constituting the information to be encoded to pixels on the image frame with a predetermined density;
A decoding step of remapping the pixels of the pseudo image frame to which the bit stream is mapped to create a bit stream by re-mapping with a reciprocal of the predetermined density;
A density adjustment step of verifying errors of the decoded bit stream and adjusting a density when mapping the bit stream to an image frame according to the error verification result;
A computer program characterized by comprising:
[0064]
According to a twelfth aspect of the present invention, there is provided a computer program written to execute an information encoding process for encoding information on a computer system,
A mapping step of mapping information to be encoded to an image frame to create a pseudo image frame;
A pseudo image frame duplicating step in which each of the pseudo image frames is M consecutive, and
A pseudo image frame encoding step for performing motion compensation by inserting an intra picture in an M frame period into an image frame group in which each pseudo image frame is M consecutively;
A decoding step of decoding the encoded pseudo image frame by motion compensation to create a group of pseudo image frames;
A remapping step of extracting image frames from the decoded image frame group at M frame intervals to form image frame sets, and remapping the image frames to first data for each set of image frames; ,
An output step of error-verifying a result of remapping for each set of image frames and outputting a remapping result with the least error as decoded first data;
A computer program characterized by comprising:
[0065]
The computer program according to each of the tenth to twelfth aspects of the present invention defines a computer program described in a computer-readable format so as to realize predetermined processing on a computer system. In other words, by installing the computer program according to each of the tenth to twelfth aspects of the present invention in the computer system, a cooperative action is exhibited on the computer system. The same operational effects as those of the information encoding device or the information encoding method according to the third and fifth aspects can be obtained.
[0066]
Other objects, features, and advantages of the present invention will become apparent from more detailed description based on embodiments of the present invention described later and the accompanying drawings.
[0067]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
[0068]
First embodiment:
According to the present invention, editing data relating to image information stored on a VTR is saved on the same VTR for the convenience of the user.
[0069]
As described above, most of recent VTRs employ an image compression technique. However, when a bit stream such as edit data is stored in the VTR as it is, the original VTR has the original irreversibility at the time of compression to expansion. There is a possibility that the edited data cannot be reproduced. Therefore, in the present invention, the bit stream is subjected to image compression so as to maintain the maximum reproducibility.
[0070]
In the first embodiment of the present invention, in order to maintain reproducibility, when a bit stream such as edit data is recorded on a VTR, the bit stream is encoded on an encoding space converted by image compression encoding. An image frame in which each data is mapped is created, and this image is recorded on the VTR.
[0071]
Here, generally, DCT (Discreet Cosine Transform) processing for replacing the time axis with the frequency axis is applied to the image compression. In DCT processing, an image frame is divided into, for example, 8 × 8 blocks, and each block is converted into a frequency space. That is, as shown in FIG. 1, the coding space transformed and encoded by DCT has 64 frequency terms (transform coefficients) V in which pixel values distributed at random range from a low frequency component to a high frequency component.₁~ V₆₄(However, V_iRepresents a low frequency component as the subscript i is small, and a high frequency component as it is large). That is, the DCT coding space is V₁~ V₆₄Can be expressed as a “basic vector”. Since a high-frequency component is not included in a general image, the amount of data can be reduced by utilizing the fact that the data converted into the frequency space by the DCT processing concentrates on the low-frequency component.
[0072]
In this embodiment, when recording a bit stream such as edit data, a pseudo-encoding in which a bit stream data pattern is mapped to a combination pattern of basis vectors for conversion used in the same compression conversion method. An image is created and this encoded image is recorded on the VTR.
[0073]
Further, in this embodiment, when mapping a bit stream to a DCT coding space, for example, a base image of a base vector is considered in consideration of the characteristics of coding compression that a natural image is concentrated on low frequency components and high frequency components are rounded. V₁~ V₂₀By mapping each data of the bit stream using only the low frequency component side up to the above, the reproducibility of the bit stream at the time of decoding and decompression is maintained.
[0074]
FIG. 2 schematically shows a flow of data processing for storing a bit stream in a VTR and further reproducing it in the present embodiment.
[0075]
The bit stream is image editing data and data indicating which processing has been performed on which image (for example, data composed of a combination of an ID for uniquely determining an image and an ID for uniquely determining a processing). , 0 and 1 signals (binary data) (described above).
[0076]
Also, the DCT coding space into which an image is converted for image compression has 8 × 8 = 64 components V from low frequency components to high frequency components.₁~ V₆₄(See FIG. 1). Of these, high frequency components are likely to be ignored by compression, so for example 20 components V on the low frequency component side₁~ V₂₀Is used to map the bit stream.
[0077]
V if the first (ie, first) data in the bit stream is 0₁If component is 0 and 1 then V₁The component is 1. If the second data is 0, V₂The component is 0, and if it is 1, V₂The component is 1. Similarly, when the i-th (i = 3 to 20) -th data is 0, V_iIf component is 0 and 1 then V_iThe component is 1. In this way, the 20 components V on the low frequency side of the basis vector are determined according to the values of the top 20 data in the bit stream.₁To V₂₀Is determined. Also, the 21st and subsequent high frequency components V_{twenty one}~ V₆₄Substitute 0 for. A pseudo DCT encoded image composed of 8 × 8 block basis vectors having such frequency components is created.
[0078]
Similarly, an 8 × 8 coding space corresponding to the 21st to 40th data of the bit stream is created, and this 8 × 8 coding space is considered as one block. Similarly, with respect to the 41st and later, the 20 components V on the low frequency side of the basis vector are similarly determined by the values of the next 20 data of the bit stream.₁To V₂₀Is determined, a pseudo DCT coding space corresponding to the next frame is created.
[0079]
Since the data group consisting of these 8 × 8 block groups corresponds to a compressed image encoded by DCT, it may be recorded in the VTR as it is together with a normal compressed image.
[0080]
Alternatively, as shown in FIG. 2, in the case of recording in a VTR having a built-in DCT processor, a pseudo encoded compressed image obtained from a bit stream of edited data as described above is converted into an IDCT (Inverse Discreet Cosine Transform: Inverse discrete cosine transform) to generate a pseudo original image frame, which is then input into a VTR and recorded on a video tape.
[0081]
When an image is reproduced from the recorded VTR as described above, decoding / decompression processing by IDCT is performed in the VTR to reproduce image information.
[0082]
If the image information is not image information but pseudo image information composed of a bit stream, the DCT process is performed to further reduce the component V on the low frequency component side.₁~ V₂₀A pseudo-encoded compressed image in which the bit stream is mapped to is obtained.
[0083]
Alternatively, when IDCT is not performed in the VTR, the VCT is used as it is from the encoded compressed image reproduced in the VTR.₁~ V₂₀A pseudo-encoded image frame in which the bit stream is mapped to can be obtained.
[0084]
When the bit stream is recorded in the VTR, the bit value at the j-th bit position in the bit string divided every N bits is the j-th component V on the low frequency component side in the basis vector of the DCT coding space._jMapping is performed sequentially (j = 1 to 20).
[0085]
Therefore, these V₁, V₂... V₂₀Whether or not each data in the bit stream is 0 or 1 can be restored. Contrary to recording, the j-th component vector V on the lower frequency side of the basis vectors in the DCT coding space is used._jBy sequentially mapping the value of (j = 1 to 20) to the j-th bit position of the bit string divided every N bits, the original bit stream can be reproduced.
[0086]
Further, after the bit stream is once recorded on the VTR, the reproduction may be attempted to verify the reproducibility of the bit stream. For example, parity for error correction may be added to the bit stream during recording, and the reproduced bit stream and the number of errors with each other may be checked.
[0087]
Alternatively, the frequency term V corresponding to the highest frequency component used for bit stream mapping.₂₀It is also possible to verify the reproducibility of the bit stream by checking whether the value of is substantially equal to 0 or 1.
[0088]
  Frequency term V₂₀As a result of checking the value of, for example, “V₂₀A value of around 0.5 was observed as a component of "" or "V₂₀Was recorded as 1, but when it was reproduced, it was observed as 0 ".₂₀Already corresponds to the region of high frequency components and reversibility is not guaranteed, ie, V₂₀Means that the value of has become unreliable.
[0089]
In such a case, V₂₀Should not be used to record bit streams. That is, the bit stream is divided into 19 bits instead of 20 bits, and each is divided into up to 19 components V on the low frequency side of the basis vectors of the DCT coding space of the image frame.₁~ V₁₉Assigned to V₂₀May not be used, and the bit stream may be recorded again on the VTR.
[0090]
When the recorded VTR is reproduced, decoding / decompression processing by IDCT is performed in the VTR to reproduce the image information. If the image information is pseudo image information made up of a bit stream rather than image information, the component V on the low frequency component side is further processed by DCT processing.₁~ V₁₉A pseudo-encoded compressed image in which the bit stream is mapped to the above is obtained (same as above). And these V₁, V₂... V₁₉Whether or not each data in the bit stream is 0 or 1 can be restored.
[0091]
Of course, in this case, the bit stream is once recorded in the VTR and then played back.₁₉It is also possible to check whether or not the component is substantially equal to 0 or 1, that is, reversibility. If reversibility is not guaranteed, the bit stream is divided into 18 bits instead of 19 bits, and each is divided into up to 18 components V on the low frequency side of the basis vectors in the DCT coding space of the image frame.₁~ V₁₈Assigned to V₁₉Do not use.
[0092]
In the above-described example, the bit stream constituting the editing data is divided, for example, every 20 bits, and up to 20 components V on the low frequency side, for example, among the basis vectors of the DCT coding space.₁~ V₂₀Each bit is mapped one bit at a time. That is, each bit of the bit stream is sequentially mapped to one component of the basis vector, but the method of mapping the bit stream to the DCT coding space is not limited to this. Other methods for mapping the bit stream to the DCT coding space are described below.
[0093]
For example, the basis vector constituting the DCT coding space is composed of 8 × 8 = 64 components from low frequency to high frequency. Of these, since high frequency components may be ignored by compression, for example, 20 low frequency components are used (same as above). These 20 components are V₁, V₂... V₂₀And
[0094]
This V₁~ V₂₀Combination that chooses arbitrary three from₂₀C_ThreeIs (20 × 19 × 18) ÷ (3 × 2 × 1) = 1140. Here, the pattern of the top 10 data of the bit stream is 2^Ten= 1024, so each of these 1024 patterns is represented by “V₁To V₂₀10 bits of the bit stream can be expressed by corresponding to “a pattern in which three of the three are selected”. That is, the three selected V_i(However, i = 1 to 20) Only 1 is substituted into the component and the remaining 17 V_iIs set to 0.
[0095]
In this way, first, the first 10 bit values of the bit stream are used to calculate V₁To V₂₀To determine the low frequency component up to V_{twenty one}By substituting 0 for the subsequent high frequency components, a pseudo DCT encoded image composed of 8 × 8 blocks is created.
[0096]
Similarly, an 8 × 8 pseudo DCT encoded image corresponding to the 11th to 20th bit strings of the bit stream is created, and this 8 × 8 image is considered as one block. In the same way for the 21st and subsequent blocks, 8 × 8 blocks are created.
[0097]
A data group made up of these 8 × 8 block groups corresponds to an image that has been encoded and compressed by DCT, and may therefore be stored together with the compressed image.
[0098]
Alternatively, as shown in FIG. 2, when the data is stored in a VTR having a built-in DCT processor, a pseudo coded compressed image obtained from the bit stream of the edited data is temporarily stored in an IDCT (Inverse Discreet) as described above. A pseudo original image frame is generated by Cosine Transform (Inverse Discrete Cosine Transform), and then input into a VTR to be recorded on a video tape.
[0099]
When the recorded VTR is reproduced, decoding / decompression processing by IDCT is performed in the VTR to reproduce the image information. If the image information is not image information but pseudo image information including a bit stream, the selected three VVs are further processed by DCT processing._iIt is possible to obtain a pseudo coded compressed image in which 1 is substituted for only the component (i = 1 to 20) and the remaining 17 Vi components are set to 0. And V₁To V₂₀The original 10 bit strings can be restored depending on which of the components is 1.
[0100]
FIG. 3 schematically shows a hardware configuration of the image processing apparatus 100 applicable to the present embodiment.
[0101]
The image processing apparatus 100 is connected to an image recording apparatus such as a VTR that is a source of image information. Then, the tape on which the original image is recorded is reproduced and captured by the VTR, image editing is performed on the image processing apparatus 100, and image editing data in the editing process is recorded on this VTR. Also, the image processing apparatus 100 maps the bit stream of the edit data to the low frequency band of the DCT encoding space so that the edit data is not damaged due to irreversibility at the time of image compression / decompression. To VTR.
[0102]
Hereinafter, each unit in the image processing apparatus 100 will be described with reference to FIG.
[0103]
A central processing unit (CPU) 101 that is a main controller of the system 100 executes various applications under the control of an operating system (OS). The CPU 101 executes, for example, an authoring application for performing editing processing of an image reproduced from the VTR, or an application program for performing processing for recording a bit stream that is editing data in the image editing process on the VTR. be able to. As illustrated, the CPU 101 is interconnected with other devices (described later) by a bus 108.
[0104]
The memory 102 is a storage device used for storing program codes executed by the CPU 101 and temporarily storing work data being executed. It should be understood that the memory 102 shown in the figure includes both a nonvolatile memory such as a ROM and a volatile memory such as a DRAM.
[0105]
The display controller 103 is a dedicated controller for actually processing drawing commands issued by the CPU 101. The drawing data processed in the display controller 103 is temporarily written in, for example, a frame buffer (not shown) and then output on the screen by the display 111. For example, an image reproduced from the VTR and its editing content are displayed on the screen of the display 111 and can be confirmed.
[0106]
The input device interface 104 is a device for connecting user input devices such as a keyboard 112 and a mouse 113 to the computer system 100. The user can input data and commands for image editing via the keyboard 112 and the mouse 114.
[0107]
The network interface 105 can connect the system 100 to a local network such as a LAN (Local Area Network) or a wide area network such as the Internet according to a predetermined communication protocol such as Ethernet (registered trademark).
[0108]
On the network, a plurality of host terminals (not shown) are connected in a transparent state to construct a distributed computing environment. On the network, distribution services such as software programs and data contents can be provided. For example, an authoring application for editing an image reproduced from a VTR or an application program for recording a bit stream, which is editing data in an image editing process, is downloaded via a network. can do.
[0109]
The external device interface 107 is a device for connecting external devices such as a hard disk drive (HDD) 114 and a media drive 115 to the system 100.
[0110]
The HDD 114 is an external storage device in which a magnetic disk as a storage carrier is fixedly mounted (well-known), and is superior to other external storage devices in terms of storage capacity and data transfer speed. Placing the software program on the HDD 114 in an executable state is called “installation” of the program in the system. Normally, the HDD 114 stores program codes of an operating system to be executed by the CPU 101, application programs, device drivers, and the like in a nonvolatile manner. For example, an authoring application for editing an image reproduced from a VTR and an application program for performing processing for recording a bit stream, which is editing data in an image editing process, on the VTR are installed on the HDD 114. can do.
[0111]
The media drive 115 is a device for loading portable media such as CD (Compact Disc), MO (Magneto-Optical disc), DVD (Digital Versatile Disc) and the like and accessing the data recording surface.
[0112]
The portable media is mainly used for the purpose of backing up software programs, data files, and the like as data in a computer-readable format, and for moving them between systems (that is, including sales, distribution, and distribution). Using these portable media, authoring applications for editing images played back from a VTR, and application programs for recording a bit stream, which is editing data in the image editing process, on the VTR Can be physically distributed and distributed among a plurality of devices.
[0113]
The VTR interface 109 is a device for taking a video signal reproduced from the VTR into the image processing apparatus 100.
[0114]
An example of the image processing apparatus 100 as shown in FIG. 3 is a compatible machine or a successor of IBM's personal computer “PC / AT (Personal Computer / Advanced Technology)”. Of course, a computer having another architecture can be applied as the image processing apparatus 100 according to the present embodiment.
[0115]
FIGS. 4 and 5 show a processing procedure for recording a bit stream as image editing data, which is executed on the image processing apparatus 100, in the VTR, and reproducing from the VTR, in the form of flowcharts. ing.
[0116]
In this embodiment, when a bit stream is recorded on a VTR, the bit stream is mapped to a low frequency band of the DCT coding space before the VTR in order to maintain the reproducibility of the bit stream to the maximum. To record.
[0117]
Such processing is actually realized in a form in which the CPU 101 executes a predetermined program code. Hereinafter, this processing procedure will be described with reference to the flowcharts shown in FIGS. 4 and 5.
[0118]
When a bit stream is input (step S1), first, a parity bit is added to the input bit stream to create a bit stream with parity capable of error correction (step S2). However, the addition of parity bits is not an essential requirement in this embodiment.
[0119]
Next, the initial value 20 is substituted for the variable N (step S3). This variable N determines how many of the 64 components constituting the basis vector of the DCT coding space of the image are used for mapping the bit stream (see FIG. 1). .
[0120]
Next, the parity bit stream is divided into N bits (step S4). The divided N-bit data is mapped to N components on the low frequency side of the basis vectors in the DCT coding space (step S5).
[0121]
The basis vector of the DCT coding space has 64 components V_i(I = 1 to 64). In step S5, the bit value at the j-th bit position in the divided N-bit data is converted into the j-th component V on the low frequency side of the DCT coding space._jThe mapping is sequentially performed on (j = 1 to 20).
[0122]
Further, by substituting 0 for the N + 1th and higher frequency components of the basis vectors constituting the DCT coding space, a pseudo coded image consisting of 8 × 8 blocks is created (step S6). However, 5280 8 × 8 blocks are collected to constitute one image frame of NTSC (National Television System Committee).
[0123]
Assuming that the bit stream is divided into N pieces and N-bit bit string chunks are formed (K ÷ 5280), a pseudo encoded image frame formed by 5280 such 8 × 8 blocks is obtained. Only K frames are created. Here, it is assumed that one frame consists of 704 pixels × 480 pixels. That is, one frame is composed of 5280 8 × 8 blocks. The pseudo encoded image frame is recorded in the VTR together with the compressed image obtained by DCT encoding the normal image frame (step S7).
[0124]
Here, if the VTR is equipped with an image compression function, the DCT processing inside the VTR is skipped, or the pseudo coded image generated in step S6 is temporarily IDCT processed to perform pseudo After the original image is made, it may be inserted into the VTR and recorded through DCT processing.
[0125]
FIG. 6 shows in more detail the processing procedure for generating a pseudo encoded image of 8 × 8 blocks by mapping the N-bit data of the bit stream in the above steps S5 and S6. .
[0126]
First, the initial value 1 is substituted for the variable i (step S5-1).
[0127]
Next, the i-th bit value of the N-bit bit string divided from the bit stream with parity is checked (steps S5-2 and S5-3).
[0128]
When the i-th bit value of the bit string is 0, the i-th component V on the low frequency side of the basis vector constituting the DCT coding space_iIs set to 0 (step S5-4). Further, when the i-th bit value of the bit string is 0, the i-th component V on the low frequency side of the basis vector constituting the DCT coding space._iIs set to 1 (step S5-5).
[0129]
Next, it is checked whether i has reached N (step S5-6). N is a variable that determines how many of the 64 components constituting the basis vector of the DCT coding space of the image are to be used for bit stream mapping (described above).
[0130]
If i has not yet reached N, i is incremented by 1 in step S5-7, and then the process returns to step S5-2, where the i-th bit string of N bits divided from the bit stream with parity The process of mapping the bit value of to the next component of the basis vector is repeatedly executed.
[0131]
On the other hand, if i reaches N, the process proceeds to the next step S6-1, and among the basis vectors constituting the DCT coding space, all the remaining N + 1 to 64th counting from the low frequency component side. The high frequency side component of is set to zero.
[0132]
Then, a pseudo encoded image of 8 × 8 blocks having the basis vector components created as described above is created (step S6-2).
[0133]
Next, processing for reproducing an image from a VTR, that is, processing for reproducing a bit stream will be described.
[0134]
First, a VTR is reproduced to extract a pseudo image including a bit stream (step S11).
[0135]
Next, an encoded image is extracted by further applying DCT processing to the reproduced pseudo image (step S12). The encoded image taken out here is the 20th component V on the low frequency component side of the basis vector._jThis is a pseudo encoded image of 8 × 8 blocks in which a bit stream is mapped to (j = 1 to 20).
[0136]
Here, when the VTR is equipped with an image compression function, the IDCT processing in the VTR is skipped, or the encoded image is temporarily IDCT processed and the pseudo original image output by the VTR is output. Further, by applying the DCT processing, up to the 20th component V on the low frequency component side of the basis vector._jIt is possible to extract an 8 × 8 block pseudo encoded image in which a bit stream is mapped to (j = 1 to 20).
[0137]
At the time of VTR recording shown in FIG. 4, the bit value at the j-th bit position in the bit string divided every N (= 20) bits is obtained from the low frequency side of the 64 basis vectors constituting the DCT coding space. j-th component V_j(J = 1 to 20) are sequentially mapped. Therefore, at the time of reproduction, conversely, the j-th component V on the low frequency component side of this basis vector_jThe value of (j = 1 to 20) is mapped to the jth bit position of the bit string divided every N bits (step S13). Further, a bit stream is created by collecting the bit sequences of every N bits to which the low-frequency components of the basis vectors are sequentially mapped (step S14).
[0138]
The bit stream reproducibility is then verified. In this example, the number of errors of each other is checked in comparison with the bit stream with parity generated at step S2 in FIG. 4 (step S15). Then, it is checked whether the number of errors is small (step S16).
[0139]
If the number of errors in the bit stream created in step S14 is small, it is assumed that the bit stream has been correctly reproduced, and this reproduction processing routine is terminated.
[0140]
On the other hand, if the number of errors in the bit stream created in step S14 is not small, N is decremented by 1 (step S17) and used for bit stream mapping so as to ensure reproducibility. The base vector component is further limited to the low frequency component side. Returning to step S4 in FIG. 4, the bit stream recording process is repeatedly executed.
[0141]
In addition, in the verification process of the reproducibility of the bit stream in steps S15 and S16, the component having the highest frequency among the base vector components used for the bit stream mapping is used in addition to the error correction parity. It is possible to apply a method of verifying with the certainty of the value (described above).
[0142]
In FIG. 7, in the above steps S13 and S14, N on the low frequency component side among the basis vectors constituting the 8 × 8 block pseudo coded image are mapped to N-bit data in the bit stream. The processing procedure for creating the bit stream is shown in more detail.
[0143]
First, the 8 × 8 block image is subjected to DCT processing, and 64 components V of the basis vectors constituting the pseudo coding space₁~ V₆₄Is obtained (step S13-1). If a pseudo DCT coding space has already been obtained in the preceding step S12 or S13, this step may be skipped.
[0144]
Next, the initial value 1 is substituted into the variable i (step S13-2).
[0145]
Next, the i-th component V on the low frequency component side of the basis vector_iIs checked (steps S13-3 and S13-4).
[0146]
I-th component V of basis vector_iIs less than 0.5, the i-th value of the data of the bit stream to be created is set to 0 (step S13-5). In addition, the i-th component V of the basis vector_iIs equal to or greater than 0.5, the i-th value of the data of the bit stream to be created is set to 0 (step S13-6).
[0147]
Next, it is checked whether i has reached N (step S13-7). N is a variable that determines how many of the 64 components constituting the basis vector of the DCT coding space of the image are to be used for bit stream mapping (described above).
[0148]
If i has not yet reached N, i is incremented by 1 in step S13-8, and the process returns to step S13-3 to start the bit stream from the i-th component on the low frequency component side of the basis vector. The process for obtaining the i-th bit value of the data being created is repeatedly executed.
[0149]
If i reaches N, the process proceeds to the next step S14-1, where the generated data consisting of N bits are collectively output as a final bit stream.
[0150]
8 and 9 each show a modification of the processing procedure for recording the bit stream as the image editing data in the VTR and reproducing it from the VTR in the form of a flowchart. In the example shown in FIGS. 4 and 5, each bit of the bit stream is sequentially mapped to one component of the basis vector constituting the DCT coding space, but the bit stream is divided every 10 bits. The data pattern obtained in this way is expressed by 20 components V on the low frequency component side of the basis vector.₁~ V₂₀Expressed in₂₀C_kMapping is made to street bit patterns (where k is the number of 20 basis vectors to which 1 is substituted). Such processing is actually realized in a form in which the CPU 101 executes a predetermined program code. Hereinafter, this processing procedure will be described with reference to this flowchart.
[0151]
First, a bit stream is input (step S21). Next, the bit stream is divided into 10 bits (step S23).
[0152]
Then, the data pattern for each 10 bits is converted into 20 components V on the low frequency component side of the basis vector constituting the DCT coding space.₁~ V₂₀(Step S23).
[0153]
  20 components V₁~ V₂₀Combination that chooses arbitrary three from₂₀C_ThreeIs (20 × 19 × 18) ÷ (3 × 2 × 1) = 1140. On the other hand, the pattern of the top 10 data in the bit stream is 2^Ten= 1024 Since these are 1024 patterns, V₁To V₂₀By associating three of the patterns with the selected pattern, 10 bit strings of the bit stream can be expressed. That is, the three selected V_i(However, i = 1 to 20) Only 1 is substituted into the component and the remaining 17 V_iIs set to 0.
[0154]
Furthermore, by substituting 0 into the 21st and higher high frequency component side components of the basis vectors constituting the DCT coding space, a pseudo coded image consisting of 8 × 8 blocks is created (step S24).
[0155]
Assuming that a bit stream is divided into 10 pieces and a block of 10-bit bit strings is (M ′ ÷ 5280) pieces, a pseudo encoded image frame formed by collecting 5280 pieces of such 8 × 8 blocks. Only M 'frames are created. Here, one frame is composed of 704 pixels × 480 pixels. That is, one frame is composed of 5280 8 × 8 blocks. This pseudo encoded image frame is recorded in the VTR together with the compressed image obtained by DCT encoding the normal image frame (step S25).
[0156]
Here, when the VTR is equipped with an image compression function, the DCT processing in the VTR is skipped, or the pseudo coded image generated in step S24 is temporarily IDCT processed to perform pseudo After the original image is made, it may be inserted into the VTR and recorded through DCT processing.
[0157]
Next, processing for reproducing an image from a VTR, that is, processing for reproducing a bit stream will be described.
[0158]
First, the VTR is reproduced to extract a pseudo image including a bit stream (step S31).
[0159]
Next, by further applying DCT processing to the reproduced pseudo image, the data pattern for every 10 bits of the bit stream becomes the 20 components V on the low frequency component side of the basis vector.₁~ V₂₀A pseudo encoded image of 8 × 8 blocks mapped to the bit pattern is extracted (step S32).
[0160]
Here, when the VTR is equipped with an image compression function, the IDCT processing in the VTR is skipped, or the encoded image frame is temporarily subjected to IDCT processing to be a pseudo original image output by the VTR. On the other hand, by further applying DCT processing, 20 components V on the low frequency component side of the basis vector are obtained.₁~ V₂₀A pseudo encoded image of 8 × 8 blocks mapped to the bit pattern formed by
[0161]
At the time of recording shown in FIG. 8, 1024 data patterns of 10 bits each obtained by dividing the bit stream are respectively represented by V₁To V₂₀The bit stream is mapped to the DCT coding space by representing 10 bits of the bit stream in correspondence with the selected pattern of the three. Therefore, on the contrary, VD on the low frequency component side of the DCT coding space is reversed during reproduction.₁To V₂₀A corresponding 10-bit data pattern is determined on the basis of the data pattern expressed as described above (step S33).
[0162]
Further, a bit stream is created by collecting these 10-bit bit strings, and the entire processing routine is terminated (step S34).
[0163]
Second embodiment:
According to the present invention, editing data relating to image information stored on a VTR is saved on the same VTR for the convenience of the user.
[0164]
In the first embodiment of the present invention described above, each bit of the bit stream made up of edit data is mapped to a component on the low frequency component side of the basis vector constituting the DCT coding space of the image, and the pseudo By generating an encoded image, it is possible to maintain the maximum reproducibility when DCT-encoded and recorded on a VTR.
[0165]
On the other hand, in this embodiment, the value at each bit position constituting the bit stream composed of the edit data is mapped as a pixel value of one pixel or n × m pixel block at the corresponding pixel position in the image frame. First, a pseudo image frame is generated, and the pseudo image frame is further DCT-encoded and recorded in the VTR. Mapping one bit of a bit stream to an n × m pixel block is equivalent to converting the recording density.
[0166]
FIG. 10 schematically shows a flow of data processing for storing a bit stream in the VTR and further reproducing it in the present embodiment.
[0167]
The bit stream is image editing data and data indicating which processing has been performed on which image (for example, data composed of a combination of an ID for uniquely determining an image and an ID for uniquely determining a processing). , 0 and 1 signals (binary data) (described above).
[0168]
When the first (that is, first) data of the bit stream is 0, the value of the first pixel on the pseudo image frame is set to 0, and when it is 1, this is set to 1. And Next, when the second data of the bit stream is 0, the value of the second pixel of the pseudo image frame is 0, and when it is 1, this is 1. Similarly, when the i-th data of the bit stream is 0, the value of the i-th pixel of the pseudo image frame is 0, and when it is 1, this is 1.
[0169]
That is, by mapping one bit value of the bit stream using one pixel of the pseudo image frame, a pseudo image frame for recording the bit stream is completed. In the VTR, the pseudo image is encoded and compressed by DCT and then recorded on a video tape.
[0170]
Next, the pseudo image frame is encoded and compressed by DCT, recorded once, then reproduced from a video tape, and further decoded and expanded by IDCT. Then, check whether the value of each pixel is substantially equal to 0 or 1, that is, the reproducibility of the bit stream.
[0171]
  Checking the decoded and decompressed image frame, for example, “a value of about 0.5 was observed as a component of a pixel” or “even though a component of a pixel was recorded as 1, If it was detected that it was observed as 0 when it was played back, it means that the value of each pixel became unreliable due to compression, that is, compression encoding was irreversible.thingMeans.
[0172]
If the bit stream cannot be reproduced, the number of pixels to which each bit of the bit stream is mapped is increased in order to improve the reproducibility. For example, the value of each bit position in the bit stream is stored using a 2 × 2 pixel block in the pseudo image frame. In other words, the density of mapping one bit of the bit stream to an image frame is reduced.
[0173]
More specifically, the pseudo image frame for mapping the bit stream is divided into 2 × 2 blocks, and all the pixels in each block are associated with the 1-bit value of the bit stream. For example, when the top (that is, the first) data of the bit stream is 0, all the values of 4 pixels in the first 2 × 2 block in the pseudo image frame are set to 0. If it is 1, all the values of 4 pixels in the first 2 × 2 block are set to 1. When the second data of the bit stream is 0, all the values of the four pixels in the second 2 × 2 block in the pseudo image frame are set to 0. All the values of 4 pixels in the 2nd 2 × 2 block are set to 1. Similarly, when the i-th data of the bit stream is 0, all the values of 4 pixels in the i-th 2 × 2 block in the pseudo image frame are set to 0, and when the i-th data is 1, All the values of the four pixels in the i-th 2 × 2 block are set to 1.
[0174]
Thus, instead of assigning each bit of the bit stream to one pixel of the pseudo image frame, one bit is assigned to the 2 × 2 pixel block (or the number of pixels of the pixel block is further increased). As a result, the created pseudo image is an image in which the high frequency component is suppressed, and thus it is not affected by the deterioration of the high frequency component due to DCT.
[0175]
In this way, when the pseudo image created from the bit stream is recorded in the VTR and then reproduced from the VTR, encoding compression by DCT and decoding expansion by IDCT are each performed once, but 2 × 2 pixels Pixel values recorded for each block can be restored without being affected by deterioration of high frequency components due to DCT. Whether the data of the corresponding bit position in the bit stream is 0 or 1 can be reproduced depending on whether the value of these pixels is 0 or 1. If reversibility is not guaranteed even if one bit of the bit stream is mapped to a 2 × 2 pixel block, the density at the time of mapping may be further reduced.
[0176]
Since the image processing apparatus 100 shown in FIG. 3 is also applied to this embodiment, the apparatus configuration will not be described here. The image processing apparatus 100 is connected to an image recording apparatus such as a VTR that is a source of image information. Then, the tape on which the original image is recorded is reproduced and captured by the VTR, image editing is performed on the image processing apparatus 100, and image editing data in the editing process is recorded on this VTR. Also, the image processing apparatus 100 maps the bit stream of the edit data to the low frequency band of the DCT encoding space so that the edit data is not damaged due to irreversibility at the time of image compression / decompression. To VTR (same as above).
[0177]
FIG. 11 and FIG. 12 show a processing procedure for recording a bit stream as image editing data in the VTR and reproducing from the VTR in the present embodiment in the form of flowcharts.
[0178]
In this embodiment, a bit stream is mapped to an image frame, and this image frame is recorded on the VTR in a pseudo manner. At this time, by assigning a pixel block of N × N pixels to one bit of the bit stream, an image in which high frequency components are suppressed is created. As a result, when recording in the VTR, it is not affected by the deterioration of the high frequency component due to DCT. Such processing is actually realized in a form in which the CPU 101 executes a predetermined program code. Here, the variable N corresponds to the density when one bit of the bit stream is mapped to the image frame.
[0179]
Hereinafter, the processing procedure for recording and reproducing the bit stream in the VTR according to the present embodiment will be described with reference to the flowcharts shown in FIGS.
[0180]
When a bit stream is input (step S41), first, a parity bit is added to the input bit stream to create a bit stream with parity that can be corrected for errors (step S42). However, the addition of parity is not an essential requirement for the present invention.
[0181]
Next, the initial value 1 is substituted into the variable N (step S43). This variable N determines the size of the N × N pixel block used to map one bit of the bit stream. The variable N corresponds to the density when mapping one bit of the bit stream to an image frame. As N increases, the data mapped to the image frame becomes redundant and the memory efficiency decreases. However, since the high-frequency component of the created pseudo image frame is suppressed, it is not affected by the data deterioration due to DCT.
[0182]
Next, the pseudo image frame for mapping the bit stream is divided into N × N pixel block regions (step S44). Then, the value of each bit constituting the bit stream with parity is associated with the N × N pixel block area (step S45). At this time, if the bit on the bit stream side is 0, all the pixel values in the corresponding N × N pixel block are set to 0. If the bit on the bit stream side is 1, all pixel values in the corresponding N × N pixel block are set to 1.
[0183]
In this way, by sequentially assigning each bit of the bit stream with parity to the N × N pixel block, a pseudo image frame in which high-frequency components are suppressed can be created. The pseudo image frame is recorded in the VTR in the same manner as the normal image frame (step S46). When recording to the VTR, it is not necessary to be affected by deterioration of high frequency components due to DCT.
[0184]
Next, processing for reproducing an image from a VTR, that is, processing for reproducing a bit stream will be described.
[0185]
First, a VTR is reproduced to extract a pseudo image including a bit stream (step S51).
[0186]
Next, the extracted pseudo image frame is divided into N × N pixel block regions (step S52).
[0187]
Next, a bit value is reproduced from each N × N pixel block and connected to create a bit stream (step S53). When reproducing bit values from an N × N pixel block, the average of the pixel values in the block is obtained, and if the average value is less than 0.5, it is 0, and if it is 0.5 or more, it is 1 Write to the corresponding bit position.
[0188]
The bit stream reproducibility is then verified. In this example, the number of errors of each other is checked in comparison with the bit stream with parity at the time of recording generated in step S42 of FIG. 11 (step S54). Then, it is checked whether the number of errors is small (step S55).
[0189]
If the number of errors in the bit stream created in step S43 is small, it is assumed that the bit stream has been correctly reproduced, and this reproduction processing routine is terminated.
[0190]
On the other hand, if the number of errors in the bit stream created in step S53 is not small, N is incremented by 1 (step S56) and used for bit stream mapping to ensure reproducibility. The base vector component is further limited to the low frequency component side. Incrementing N means reducing the density for mapping the bits of the bit stream to image frames. Then, the process returns to step S44 of FIG. 11 to repeatedly execute the bit stream recording process.
[0191]
Incrementing N by 1 increases the redundancy of the data mapped to the image frame and decreases the use efficiency of the memory. However, since the high-frequency component of the created pseudo image frame is suppressed, data degradation due to DCT Can be further suppressed.
[0192]
Third embodiment:
According to the present invention, editing data relating to image information stored on a VTR is saved on the same VTR for the convenience of the user.
[0193]
In the first embodiment of the present invention described above, a pseudo encoded image is generated by mapping each bit of the bit stream composed of edited data to the low frequency component side of the basis vector, and is recorded in the VTR. The maximum reproducibility was ensured. Further, in the second embodiment, when an N × N pixel block is allocated to one bit of a bit stream, an image in which a high frequency component is suppressed is generated, and DCT is recorded when recording on a VTR. The influence of deterioration of high frequency components due to was suppressed.
[0194]
In summary, each of the above embodiments relates to a method for mapping a bit stream to an image frame so that the effect of data degradation due to DCT is reduced.
[0195]
On the other hand, in the image compression technology for moving images, “Motion Compensation (MC)” may be introduced. In this motion compensation, compression / decompression is performed in consideration of the direction in which data moves between successive image frames. The orthogonal transform such as DCT described above performs compression by reducing the redundancy in the spatial direction in the image frame, whereas the motion compensation reduces the redundancy in the time direction.
[0196]
In compression by motion compensation, a plurality of temporally continuous images are divided into two groups of intra pictures and non-intra pictures.
[0197]
Intra-pictures, that is, I-pictures are compressed only by intra-coding (intraframe prediction) by processing such as DCT.
[0198]
On the other hand, for a non-intra picture, the correlation with another image is examined, and a difference from a similar part is obtained. A non-intra picture becomes almost zero by taking a difference in motion, so that the amount of data can be reduced. There are two types of non-intra pictures: (Intra-Picture) P picture (Predictive-Picture) generated by inter-frame forward prediction and B picture (Bidirectionally predictive picture) generated by inter-frame bi-directional prediction. .
[0199]
Here, a case where compression by motion compensation is applied to a pseudo image frame to which a bit stream such as edit data is mapped according to the first embodiment or the second embodiment of the present invention described above. Let's consider it.
[0200]
In the process of compression by motion compensation, when a pseudo image frame is treated as an intra picture, only DCT processing is applied. Therefore, by applying the method already described in each of the above-described embodiments, Since the influence of deterioration due to components can be suppressed, the problem of irreversibility due to encoding can be solved and the reproducibility of the bit stream can be maintained to the maximum.
[0201]
On the other hand, a non-intra picture such as a P picture or a B picture takes a difference from a similar part from another picture (picture). In an image that is random data created from bit stream data, there is almost no similarity between the images. For this reason, it cannot be expected that the redundancy of the data will be deleted even if the difference from the pseudo image is taken with other images, and the data in the non-intra picture will also be inaccurate, and the reversibility will be significantly impaired. . Therefore, it is presumed that after the pseudo image frame processed as a non-intra picture is recorded on the VTR, the original bit stream cannot be completely reproduced.
[0202]
The third embodiment of the present invention maximizes the original bit stream from the image frame to which motion compensation is applied by assigning a pseudo image frame to which the bit stream is mapped to an intra picture. To be able to take out as accurately as possible. More specifically, after creating a pseudo image frame in which bit stream data is mapped, a plurality of the image frames are continuously recorded in the VTR, so that the pseudo image frame is included in the intra picture. To be assigned.
[0203]
In an image compressor to which motion compensation is applied, a period M in which an intra picture appears is often defined. In such a case, by continuing M pseudo image frames corresponding to the period, one of them is always assigned to an intra picture. Therefore, by using this image frame, degradation due to data reduction is achieved. The bit stream can be taken out without any problem.
[0204]
After the bit stream is converted into an image frame and recorded in the VTR, when the bit stream is reconstructed from the VTR, the bit stream is generated from every M frames starting from time 0 in the image frame sequence reproduced from the VTR. (Where M is the intra-picture appearance period). Also, a bit stream is reconstructed from every M images starting from time 1. Also, a bit stream is reconstructed from every M images starting from time 2. In the same manner, the bit stream is reconstructed from time 3 to time M-1.
[0205]
Then, the bit stream with the least error is selected from these M reconstructed bit streams, and this is output as a result of reproduction from the VTR.
[0206]
Of course, the purpose is to reproduce a bit stream with few errors, and the bit stream does not necessarily have to be reproduced from an image frame assigned to an intra picture.
[0207]
Also, instead of mapping the bit stream data directly to the image data (second embodiment), after the bit stream is mapped to the basis vector of the DCT coding space, this DCT coded image is subjected to IDCT processing. Even when a pseudo image frame is created (first embodiment), the third embodiment of the present invention can be applied.
[0208]
FIG. 13 schematically shows a flow of data processing for storing a bit stream in a VTR and further reproducing it in the present embodiment.
[0209]
The bit stream is image editing data and data indicating which processing has been performed on which image (for example, data composed of a combination of an ID for uniquely determining an image and an ID for uniquely determining a processing). , 0 and 1 signals (binary data) (described above).
[0210]
First, when the i-th data of the bit stream is 0, the value of the i-th pixel of the pseudo image frame is set to 0, and when it is 1, the process is set to 1. Execution completes a pseudo image frame for recording a bit stream by mapping each 1-bit value of the bit stream using one pixel of the pseudo image frame.
[0211]
Next, a plurality of created image frames are continued. In the VTR shown in FIG. 13, the period M in which an intra picture appears is set to 3. In this case, every second image to be compressed as an intra picture appears, so it is only necessary to record the image at intervals of three frames.
[0212]
Assume that there are a total of four images A, B, C, and D created from the bitstream. In this case, the first image A of these four images is overlapped three times to obtain images at times 0, 1 and 2. Next, the second image B is also overlapped three times to obtain images at times 3, 4, and 5. Similarly, the third image C is overlapped three times with the images at times 6, 7 and 8, and the last image D is overlapped three times to be the images at times 9, 10, and 11. As a result, a total of 12 consecutive images are generated and input to the VTR.
[0213]
The VTR is equipped with a DCT device that performs DCT processing on intra pictures and an MC device that performs motion compensation processing on non-intra pictures. Then, the input image is connected to the DCT device every predetermined period M = 3 frames and DCT processing is performed as an intra picture, and the other input images are connected to the MC device and subjected to motion compensation processing.・ Record on tape.
[0214]
If recorded in the VTR in this manner, an intra picture appears every cycle M = 3 frames, so that “a set of four images of time 0, 3, 6, and 9” or “time 1 and Any one of the M = 3 combinations of “a set of four images 4, 7 and 10” or “a set of four images of time 2, 5, 8 and 11” is Intra pictures are used.
[0215]
In order to restore bit stream data from a VTR recorded in this way, first, contrary to the recording, IDCT processing is performed on intra pictures and motion compensation processing is performed on non-intra pictures. To reproduce these 12 images from the video tape.
[0216]
Then, these 12 images are referred to as “a set of four images at times 0, 3, 6, and 9 (hereinafter referred to as“ first set ”)”, “at times 1, 4, 7, and 10”. A set of four images (hereinafter referred to as “second set”) and a set of four images of time 2, 5, 8, and 11 (hereinafter referred to as “third set”). ) ”.
[0217]
An attempt is then made to recover the bit stream from the first set by reversing the procedure for mapping the bit stream to image frames. This error is referred to as a “first error”. Next, an attempt is made to restore the bit stream from the second set, and the error at this time is referred to as a “second error”. Similarly, an attempt is made to restore the bit stream from the third set, and the error at this time is referred to as a “third error”.
[0218]
Next, the smallest error among the first, second, and third errors is selected. Then, it is only necessary to actually restore the bit stream data from the corresponding set of image frames (first, second, or third set). This is because the error is small because it is presumed that the set of images was composed of intra pictures, and it is determined that the bit stream is accurately reproduced. Of course, in reproducing a bit stream, it is more important to use a set of images with the least error than to restore using an intra picture.
[0219]
The amount of error can be measured as follows. For example, it is assumed that an image is created by assigning a value of 0 or 1 to a pixel in an image frame according to bit stream data and recorded in a VTR. In such a situation, when the VTR is reproduced and a value of about 0.5 is observed as the value of a certain pixel, it can be determined that the error is large. Alternatively, for example, when a parity bit is added to the bit stream when recording to the VTR, it can be determined that the error is large if the VTR is reproduced and the rate of occurrence of the parity error is large.
[0220]
Since the image processing apparatus 100 shown in FIG. 3 is also applied to this embodiment, the apparatus configuration will not be described here. The image processing apparatus 100 is connected to an image recording apparatus such as a VTR that is a source of image information. Then, the tape on which the original image is recorded is reproduced and captured by the VTR, image editing is performed on the image processing apparatus 100, and image editing data in the editing process is recorded on this VTR. Also, the image processing apparatus 100 maps the bit stream of the edit data to the low frequency band of the DCT encoding space so that the edit data is not damaged due to irreversibility at the time of image compression / decompression. To VTR (same as above).
[0221]
FIG. 14 and FIG. 15 show, in the form of flowcharts, processing procedures for recording a bit stream as image editing data in the VTR and reproducing from the VTR in the present embodiment.
[0222]
In the present embodiment, a plurality of image frames to which a bit stream is mapped are continuously recorded in the VTR so that the pseudo image frames are assigned to the intra picture. However, here, it is assumed that the bit stream is mapped to the basis vector of the DCT coding space, as in the first embodiment described above.
[0223]
Such processing is actually realized in a form in which the CPU 101 executes a predetermined program code. Hereinafter, this processing procedure will be described with reference to the flowcharts shown in FIGS.
[0224]
When a bit stream is input (step S61), first, a parity bit is added to the input bit stream to create a bit stream with parity that can be corrected for errors (step S62).
[0225]
Next, the initial value 20 is substituted for the variable N (step S63). This variable N determines how many of the 64 components constituting the basis vector of the DCT coding space of the image are used for mapping the bit stream (see FIG. 1). .
[0226]
Next, the parity bit stream is divided into N bits (step S64). The divided N-bit data is mapped to N components on the low frequency side of the basis vectors in the DCT coding space, and further, the N + 1th basis vector constituting the DCT coding space. By substituting 0 for the subsequent high frequency components, a pseudo encoded image consisting of 8 × 8 blocks is created. In general, DCT processing is performed on an intra picture in the VTR. However, if the DCT processing in the VTR cannot be skipped, as in the first embodiment described above. The pseudo encoded image is once subjected to IDCT processing to form a pseudo original image (step S65).
[0227]
In step S65 described above, the process for mapping the N-bit data of the bit stream to generate a pseudo encoded image of 8 × 8 blocks can be performed according to the procedure shown in the form of a flowchart in FIG. it can.
[0228]
Assuming that the bit stream is divided into N pieces and N-bit bit string chunks are formed (K ÷ 5280), a pseudo encoded image frame formed by 5280 such 8 × 8 blocks is obtained. Only K frames are created. Here, it is assumed that one frame is composed of 704 pixels × 480 pixels. That is, one frame is composed of 5280 8 × 8 blocks (step S66).
[0229]
Next, a total of M × K images from time 0 to time M × K−1 are created by continuing the K image frames by the number corresponding to the period M in which the intra picture appears in motion compensation. Then, it is recorded in the VTR (step S67). However, the images at times 3i-2, 3i-2, 3i-1 (i = 0 to K) are exactly the same as the i-th image created in step S66. In the VTR, the image is DCT-processed as an intra picture every period M, and motion compensation processing is applied to the other images.
[0230]
Next, the VTR is reproduced, and a pseudo image including the bit stream is extracted (step S68). That is, images from time 0 to time M × K−1 are extracted.
[0231]
Here, the initial value 0 is substituted into the variable p used for error checking (step S69). The variable p (= 0 to M−1) is used to specify a set of images formed for assigning an image frame to which a bit stream is mapped to an intra picture.
[0232]
At the time of VTR recording, the bit value at the j-th bit position in the bit string divided every N (= 20) bits is the j-th component V from the low frequency side of the 64 basis vectors constituting the DCT coding space._j(J = 1 to 20) are sequentially mapped. Also, a set of p-th images composed of images at times p, M + p, 2M + p..., M × (K−1) + p is formed at intervals corresponding to the intra picture period M.
[0233]
Therefore, at the time of reproduction, the p-th set of images, that is, the images at times p, M + p, 2M + p,..., M × (K−1) + p are divided into 8 × 8 blocks, j-th component V_jThe value of (j = 1 to 20) is mapped to the jth bit position of the bit string divided every N bits. Further, a bit stream is created by collecting the bit sequences of every N bits to which the low-frequency components of the basis vectors are sequentially mapped (step S70).
[0234]
In step S70, the process for generating a bit stream from the set of images at times p, M + p, 2M + p..., M × (K−1) + p is performed according to the procedure shown in the form of a flowchart in FIG. Can do.
[0235]
Next, the number of errors is checked against the bit stream with parity generated at the time of recording in step S62 (step S71). Then, it is checked whether the number of errors is small (step S72).
[0236]
If the number of errors in the bit stream created in step S72 is small, it is assumed that the bit stream has been correctly reproduced, and this VTR recording processing routine is terminated.
[0237]
On the other hand, if the number of errors in the bit stream created in step S72 is not small, p is incremented by 1 (step S73), and whether p is less than the period of an intra picture, that is, the continuous number M of the same image. Is checked (step S74).
[0238]
If p is less than M, the process returns to step S70, a bit stream is created using the next set of pth images, and the error check is repeatedly executed.
[0239]
Further, when p reaches M, N is decremented by 1 (step S75), and the base vector component used for bit stream mapping is further reduced to a low frequency component so as to ensure reproducibility. Restrict to the side. Then, the process returns to step S64, and the bit stream recording process is executed again.
[0240]
Next, processing for reproducing an image from a VTR, that is, processing for reproducing a bit stream will be described.
[0241]
First, the VTR is reproduced to extract a pseudo image including a bit stream (step S81). That is, images from time 0 to time M × K−1 are extracted.
[0242]
Here, the initial value 0 is substituted into the variable p used for error checking (step S82). The variable p (= 0 to M−1) is used to specify a set of images formed for assigning an image frame to which a bit stream is mapped to an intra picture.
[0243]
At the time of VTR recording, the bit value at the j-th bit position in the bit string divided every N (= 20) bits is the j-th component V from the low frequency side of the 64 basis vectors constituting the DCT coding space._j(J = 1 to 20) are sequentially mapped. Also, a set of p-th images composed of images at times p, M + p, 2M + p..., M × (K−1) + p is formed at intervals corresponding to the intra picture period M.
[0244]
Therefore, at the time of reproduction, the p-th set of images, that is, the images at times p, M + p, 2M + p,..., M × (K−1) + p are divided into 8 × 8 blocks, j-th component V_jThe value of (j = 1 to 20) is mapped to the jth bit position of the bit string divided every N bits. Furthermore, the p-th bit stream is created by putting together these bit sequences of every N bits to which the low frequency components of the basis vectors are sequentially mapped (step S83).
[0245]
In the above step S83, the process for generating the bit stream from the set of images at times p, M + p, 2M + p..., M × (K−1) + p is performed according to the procedure shown in the form of a flowchart in FIG. Can do.
[0246]
Next, the parity error amount is checked for the p-th bit stream (step S84). Let this error amount be the “p-th error amount”.
[0247]
Next, p is incremented by 1 (step S85), and it is checked whether p is less than the period of the intra picture, that is, the continuous number M of the same images (step S86).
[0248]
If p is less than M, the process returns to step S83, a bit stream is created using the next set of pth images, and the error amount is repeatedly detected.
[0249]
When p reaches M, the number p of the smallest error amount among the 0th to (M−1) th error amounts is p._minSelect. The p-th error is the smallest_minIt is inferred that the second set of images was composed of intra pictures.
[0250]
The pth generated by the set of the pminth images with the smallest error amount._minThe first bit stream is estimated to be a bit stream with parity, error correction is performed, and the corrected bit stream is output (step S87).
[0251]
It is presumed that the set of images with the smallest error was composed of intra pictures, but of course, when reproducing the bit stream, the set of images with the smallest error was restored rather than using the intra pictures. It is more important to use it.
[0252]
[Supplement]
The present invention has been described in detail above with reference to specific embodiments. However, it is obvious that those skilled in the art can make modifications and substitutions of the embodiment without departing from the gist of the present invention. That is, the present invention has been disclosed in the form of exemplification, and the contents described in the present specification should not be interpreted in a limited manner. In order to determine the gist of the present invention, the claims section described at the beginning should be considered.
[0253]
【The invention's effect】
As described in detail above, according to the present invention, information is encoded for storage and transmission of image information such as moving images, and the encoded information is reproduced and received and decoded for reuse. An excellent information encoding apparatus and information encoding method, information decoding apparatus and information decoding method, storage medium, and computer program can be provided.
[0254]
In addition, according to the present invention, editing information relating to image information stored on a specific recording medium such as a video tape is encoded for storing or transmitting information, and the encoded information is reproduced or received. Thus, it is possible to provide an excellent information encoding apparatus and information encoding method, information decoding apparatus and information decoding method, storage medium, and computer program that can be decoded for reuse.
[0255]
Further, according to the present invention, an excellent information encoding apparatus, information encoding method, and information capable of accumulating editing information on the same recording medium as the original image information or transferring it in the same manner. A decoding device, an information decoding method, a storage medium, and a computer program can be provided.
[Brief description of the drawings]
FIG. 1 is a diagram schematically showing a configuration of a coding space that is transform-coded by DCT.
FIG. 2 is a diagram schematically showing a flow of data processing for storing a bit stream in a VTR and further reproducing it in the first embodiment of the present invention.
FIG. 3 is a diagram schematically illustrating a hardware configuration of an image processing apparatus 100 applicable to the present embodiment.
FIG. 4 is a flowchart showing a processing procedure for recording a bit stream as image editing data on a VTR.
FIG. 5 is a flowchart showing a processing procedure for reproducing a bit stream as image editing data from a VTR.
6 further shows a processing procedure for generating a pseudo coded image of 8 × 8 blocks by mapping N-bit data of the bit stream in steps S5 and S6 in the flowchart shown in FIG. It is the flowchart shown in detail.
FIG. 7 shows that N of the low-frequency component side N bits in the bit stream among the basis vectors constituting the 8 × 8 block pseudo encoded image in steps S14 and S15 in the flowchart shown in FIG. It is the flowchart which showed in detail the process sequence for mapping to the data of a bit and producing a bit stream.
FIG. 8 is a flowchart showing a modified example of a processing procedure for recording a bit stream as image editing data in a VTR.
FIG. 9 is a flowchart showing a modified example of a processing procedure for reproducing a bit stream as image editing data from a VTR.
FIG. 10 is a diagram schematically showing a flow of data processing for storing a bit stream in a VTR and further reproducing it in the second embodiment of the present invention.
FIG. 11 is a flowchart showing a processing procedure for recording a bit stream as image editing data in a VTR according to the second embodiment of the present invention.
FIG. 12 is a flowchart showing a processing procedure for acquiring a bit stream by reproducing from a VTR according to the second embodiment of the present invention.
FIG. 13 is a diagram schematically showing a data processing flow for storing a bit stream in a VTR and further reproducing it in the third embodiment of the present invention.
FIG. 14 is a flowchart showing a processing procedure for recording a bit stream as image editing data in a VTR according to the third embodiment of the present invention.
FIG. 15 is a flowchart showing a processing procedure for acquiring a bit stream by reproducing from a VTR according to the third embodiment of the present invention.
[Explanation of symbols]
100: Image processing apparatus
101 ... CPU, 102 ... memory
103 ... Display controller
104: Input device interface
105 ... Network interface
107: External device interface, 108: Bus
109 ... VTR interface
111 ... Display
112 ... Keyboard, 113 ... Mouse
114. Hard disk device
115 ... Media drive

Claims

Mapping means for mapping the first data on the first data real space to a second data encoding space obtained by encoding the second data real space;
The data in the second data real space is image data,
The second data coding space is a DCT coding space comprising a predetermined number of basis vectors respectively representing components in each frequency band from low frequency to high frequency, obtained by discrete cosine transform (DCT) of image data. And
The first data in the first data real space is editing information for image data composed of a bit stream,
The mapping means divides the bit stream into bit sequences of predetermined bits, maps the bit sequences to N of the basis vectors constituting the second encoding space, and generates a pseudo encoded compressed image. obtain,
An information encoding apparatus characterized by that.

The mapping means, when mapping the bit stream to the data encoding space, performs mapping of the bit stream using each of the N basis vectors from the low frequency component side.
The information encoding apparatus according to claim 1.

The mapping means maps a bit value at each bit position of the bit stream of the first data to each component of the N basis vectors to generate a pseudo encoded compressed image.
The information encoding apparatus according to claim 1.

The mapping means generates a pseudo encoded compressed image representing a bit string of a predetermined number of bits of a bit stream by a pattern in which a predetermined number is selected from the N basis vectors;
The information encoding apparatus according to claim 1.

Means for recording the pseudo encoded compressed image obtained by the mapping unit together with a normal encoded compressed image obtained by discrete cosine transform of image data in the second data real space;
The information encoding apparatus according to claim 1.

The pseudo coded compressed image obtained by the mapping means is subjected to inverse discrete cosine transform (IDCT) to generate pseudo image data, and then the discrete cosine is obtained in the same manner as the image data in the second data real space. Means for converting and recording as a pseudo-encoded compressed image;
The information encoding apparatus according to claim 1.

The mapping means further comprises means for checking the reproducibility of the bit stream by checking the value of the basis vector corresponding to the highest frequency component among the N basis vectors used for mapping the bit stream.
The information encoding apparatus according to claim 2.

When the reproducibility is not guaranteed for the value of the basis vector corresponding to the highest frequency component, the mapping means sets (N−1) basis vectors on the lower frequency component side than the highest frequency component to bit · To be used for stream mapping,
The information encoding apparatus according to claim 7.

Mapping a first data on the first data real space to a second data encoding space obtained by encoding the second data real space;
The data in the second data real space is image data,
The second data coding space is a DCT coding space comprising a predetermined number of basis vectors respectively representing components in each frequency band from low frequency to high frequency, obtained by discrete cosine transform (DCT) of image data. And
The first data in the first data real space is editing information for image data composed of a bit stream,
In the mapping step, the bit stream is mapped to each basis vector constituting the second encoding space to obtain a pseudo encoded compressed image.
An information encoding method characterized by the above.

An information decoding apparatus for decoding information encoded by the information encoding apparatus according to claim 1,
Map the N basis vector values used for mapping of bit stream in the pseudo coded compressed image to each bit position of the bit string divided for each predetermined bit, and collect the bit string for each predetermined bit. A decoding means for reproducing the original bit stream,
An information decoding apparatus characterized by that.

An information decoding method for decoding information encoded by the information encoding method according to claim 2, comprising:
Map N bit base vector values used for bit stream mapping in the pseudo coded compressed image to each bit position of the bit string divided for each predetermined bit, and collect the bit string for each predetermined bit. A decoding step to reproduce the original bit stream,
An information decoding method characterized by the above.