本特許出願に係る発明(以後、「本発明」という)は、有線あるいは無線の各種ネットワークを使って、個別にあるいは同報的に送信される映像情報を受信し、受信した映像情報を記録する、映像情報記録装置、映像情報記録方法、映像情報記録プログラム、及び映像情報記録プログラムを記録した記録媒体に関するものである。
従来の、有線あるいは無線の各種ネットワークを使って、個別にあるいは同報的に送信される映像情報を受信し、受信した映像情報を記録する、映像情報記録装置、映像情報記録方法、映像情報記録プログラム、映像情報記録プログラムを記録した記録媒体に関する技術には、例えば、下記特許文献1に記載の動画符号化方式変換装置があった。
図8に、この従来の動画符号化方式変換装置900の概略構成図を示し、図9に、この従来の動画符号化方式変換装置900が符号化方式変換を行う時の手順を示す。なお、図8では、本発明に直接関係する部分だけを示し、それ以外の部分は省略している。
まず、この従来の動画符号化方式変換装置900は、受信部901で放送された映像情報を受信する(S901)。次に、この受信した映像情報から、選局・復号部904が番組コンテンツを選局し、復号化する(S902)。次に、制御部902が、選局・復号化した番組コンテンツをMPEG−2形式に符号化し(S903)、MPEG−2形式に符号化した番組コンテンツ941を記録部903に記録する(S904)。
この時、必ずしもMPEG−2形式に限らず、MPEG−4形式に符号化した番組コンテンツ942を記録部903に記録しても構わないし、MPEG−2形式に符号化した番組コンテンツ941とMPEG−4形式に符号化した番組コンテンツ942との両方を記録部903に記録しても構わない。
しかしながら、著作権管理や記録部903の容量的な問題等によって、MPEG−2形式に符号化した番組コンテンツ941とMPEG−4形式に符号化した番組コンテンツ942との両方を記録部903に記録できないこともあり、そのようなケースではどちらか一方のコンテンツだけを記録部903に記録する。
また、このような時、各番組コンテンツを暗号・復号鍵944を使って暗号化して、記録部903に記録しても構わないし、この暗号・復号鍵は、番組コンテンツ毎に異なる鍵であっても構わないし、幾つかの番組コンテンツに共通の鍵であっても構わないし、暗号化と復号化が共通の鍵であっても構わないし、暗号化と復号化とが異なる鍵であっても構わない。
次に、このような番組コンテンツ941を記録している動画符号化方式変換装置900以外の他の機器931で、この番組コンテンツ941を利用するケースを考える。ここで、動画符号化方式変換装置900は、著作権管理の都合、あるいは他の何らかの事情によって、MPEG−2形式で符号化された番組コンテンツ941だけを記録部903に記録しており、他の機器931ではMPEG−4形式で符号化された番組コンテンツだけが利用可能であると仮定する。
このようなケースでは、MPEG−2形式で符号化された番組コンテンツ941をMPEG−4形式で符号化された番組コンテンツ942に変換することが必要になる。そこで、動画符号化方式変換装置900の制御部902は、記録部903からMPEG−2形式で符号化された番組コンテンツ941を読み出して一旦復号化する(S905)。次に、制御部902は、復号化された番組コンテンツをMPEG−4形式の番組コンテンツ942に符号化する(S906)。
この時、同時にあるいは所定時間後に種々の方法で暗号化することも可能である。また、暗号化の鍵は、暗号・復号鍵944と同じものであっても構わないし、異なる鍵であっても構わないし、各種の鍵を使用することができることは、上記と同様であるから詳細な説明は省略する。
そして、制御部902は、このMPEG−4形式の番組コンテンツ942をSDメモリカード922に入出力部905を経由して書き出す(S907)。このSDメモリカード922に記録されたMPEG−4形式の番組コンテンツ942を他の機器931で利用することができる(S908)。
なお、ステップS907においては、著作権管理その他の事情によって、MPEG−4形式の番組コンテンツ942をSDメモリカード922に入出力部905を経由して書き出すと同時に、制御部902は、記録部903に記録しているMPEG−2形式で符号化された番組コンテンツ941を削除することもある。あるいは、著作権管理その他の事情によって必ずしも削除しないこともある。
また、特許文献2には、MPEG−2の動きベクトル情報からMPEG−4の動きベクトル情報を生成する画像情報変換装置が開示されている。この画像情報変換装置では、MPEG−2形式で符号化された符号化データをMPEG−4形式で符号化された符号化データに変換する際、MPEG−2でPフレームであったデータをMPEG−4のP−VOPに変換するときは、MPEG−2の動きベクトル情報からMPEG−4の動きベクトル情報を生成し、MPEG−2でIフレームであったデータをMPEG−4のP−VOPに変換するときは、直前のP−VOPの動きベクトル情報を用いて当該P−VOPの動きベクトル情報を算出し、動きベクトル演算の演算量を削減している。
しかしながら、前者の動画符号化方式変換装置900では、動画符号化方式変換装置900に記録しているMPEG−2形式の番組コンテンツ941を他の機器で利用する時に、MPEG−2形式の番組コンテンツ941からMPEG−4形式の番組コンテンツ942に変換することが必要になる。このMPEG−2形式の番組コンテンツ941からMPEG−4形式の番組コンテンツ942への変換には実時間を要するため、例えばこの番組コンテンツ941が1時間の番組であったならば、MPEG−2形式の番組コンテンツ941からMPEG−4形式の番組コンテンツ942への変換に1時間を要する。従って、MPEG−4形式の番組コンテンツ942をSDメモリカードに書き出して他の機器931で利用するまで1時間を要し、この時間待っていなければならないという課題があった。
なお、予めMPEG−4形式の番組コンテンツ942を動画符号化方式変換装置900で作成し、記録部903に記録しておけば、このような問題は生じないが、MPEG−2形式の番組コンテンツ941とMPEG−4形式の番組コンテンツ942との両方を記録しておくことは、著作権管理上の制約や記録部903の容量的な問題等によって許されないケースがある。
また、後者の画像情報変換装置には以下の課題がある。図10は、MPEG−2の動き補償に用いられるマクロブロックを示す模式図、図11は、MPEG−4の動き補償に用いられるマクロブロックを示す模式図、図12は、H.264の参照フレームを示す模式図である。図10に示すように、MPEG−2では、16×16画素のマクロブロックR1を用いて動き補償が行われ、図11に示すように、MPEG−4では、色的により近いマクロブロックを検索することができ、8×8画素のマクロブロックR2を用いて動き補償が行われ、使用されるマクロブロックが符号化方式によって異なる。
また、H.264では、図12の上段に示すように、直前もしくはGOP(GROUP OF PICTURES)のフレームを参照フレームとし、マクロブロックR3を用いて動き補償が行われるだけでなく、図12の下段に示すように、Iフレームを超えて広範囲のフレームを参照フレームとし、マクロブロックR4を用いて動き補償を行うこともでき、より効果的な画像圧縮を行うことができる。この場合、従来の動きベクトルを用いて動き予測を行うことができず、動き予測をやり直す必要がある。
このように、MPEG−2、MPEG−4、H.264等の各符号化方式における動きベクトル演算では、符号化方式により参照フレームの範囲、動き補償の単位、及び任意形状符号化のサポートの有無等が異なる。このため、上記の画像情報変換装置では、変換後の符号化方式に最適化された動きベクトル情報を求めることができない。この結果、上記の画像情報変換装置でも、変換後の符号化方式に最適化された動きベクトル情報を求めるためには、変換後の符号化方式に基づいた動きベクトル演算を再度行う必要があり、この演算に長時間を要することとなる。
特開平9−84011号公報 特開2002−152752号公報
本発明の目的は、著作権管理又は記録容量等の制約により、同一のコンテンツを異なる符号化方法で符号化した複数の映像情報を重複して記録することができない場合でも、一の符号化方法で符号化された映像情報から他の符号化方法で符号化された映像情報を極めて高速に生成して他の機器で利用することができる映像情報記録装置、映像情報記録方法、映像情報記録プログラム、映像情報記録プログラムを記録した記録媒体を提供することである。
本発明の一の局面に従う映像情報記録装置は、あるコンテンツを含む映像情報を第1の符号化方法で符号化した第1の符号化情報を記録する記録手段と、前記第1の符号化方法と異なる第2の符号化方法で符号化され且つ前記コンテンツを含む第2の符号化情報を前記第1の符号化情報を基に作成するための部分情報を作成する作成手段とを備え、前記記録手段は、前記第1の符号化情報とともに、前記作成手段により作成された部分情報を記録するものである。
この映像情報記録装置においては、第1の符号化情報とともに、第1の符号化方法と異なる第2の符号化方法で符号化され且つ同一コンテンツを含む第2の符号化情報を第1の符号化情報を基に作成するための部分情報を記録しているので、第1の符号化情報及び部分情報を用いて第2の符号化情報を生成することができる。この結果、著作権管理又は記録容量等の制約により、同一のコンテンツを異なる符号化方法で符号化した複数の映像情報を重複して記録することができない場合でも、一の符号化方法で符号化された映像情報から他の符号化方法で符号化された映像情報を極めて高速に生成して他の機器で利用することができる。
本発明の一実施の形態によるデジタル放送受信機の概略構成図である。
図1に示すデジタル放送受信機が符号化方式変換を行う時の手順を示すフローチャートである。
MPEG−4形式に符号化した番組コンテンツを記録するための主要構成部を示す回路ブロック図である。
図1に示すデジタル放送受信機の制御部においてMPEG−4形式に符号化するために必要な情報の一部を記録部に記録するための主要構成部を示す回路ブロック図である。
図1に示すデジタル放送受信機の制御部においてMPEG−2形式で符号化された番組コンテンツをMPEG−4形式で符号化された番組コンテンツに変換するための主要構成部を示す回路ブロック図である。
SDメモリカードに記録される番組コンテンツの一例を示す模式図である。
MPEG−4形式のストリームとフレーム画像との関係を示す図である。
従来の動画符号化方式変換装置の概略構成図である。
従来の動画符号化方式変換装置が符号化方式変換を行う時の手順を示す図である。
MPEG−2の動き補償に用いられるマクロブロックを示す模式図である。
MPEG−4の動き補償に用いられるマクロブロックを示す模式図である。
H.264の参照フレームを示す模式図である。
以下に、有線あるいは無線の各種ネットワークを使って、個別にあるいは同報的に送信される映像情報を受信し、受信した映像情報を記録する、映像情報記録装置、映像情報記録方法、映像情報記録プログラム、及び映像情報記録プログラムを記録した記録媒体についての本発明の一実施の形態であるデジタル放送受信機について図面を参照して説明する。
図1は、本発明の一実施の形態によるデジタル放送受信機の概略構成図である。なお、図1では、本発明の本質に直接関係する部分だけを示し、それ以外の部分は省略している。
図1に示すように、デジタル放送受信機100は、受信部101、選局・復号部104、制御部102、記録部103、及び入出力部105を備える。デジタル放送受信機100は、映像情報を受信して番組コンテンツをMPEG−2形式に符号化し、MPEG−2形式に符号化した番組コンテンツ141を記録部103に記録するとともに、MPEG−4形式の符号化又はその一部を行って動きベクトルを求め、動きベクトルストリーム147を記録部103に記録する。
また、デジタル放送受信機100は、記録部103からMPEG−2形式で符号化された番組コンテンツ141を読み出して一旦復号化し、復号化された番組コンテンツをMPEG−4形式の番組コンテンツ142に符号化するときに、記録部103に記録されている動きベクトルストリーム147を用いて、復号化された番組コンテンツからMPEG−4形式で符号化した番組コンテンツを作成する。
入出力部105は、SDメモリカード122を装着可能に構成され、デジタル放送受信機100は、入出力部105に装着されたSDメモリカード122にMPEG−4形式で符号化した番組コンテンツを記録する。SDメモリカード122は、デジタル放送受信機100から取り外された後、他の機器131に装着され、他の機器131は、SDメモリカード122に記録されているMPEG−4形式の番組コンテンツを再生する。
図2は、図1に示すデジタル放送受信機100が番組コンテンツを受信し、それを記録し、他の機器で利用するための手順を示すフローチャートである。
図2に示すように、まず、このデジタル放送受信機100の受信部101は、有線あるいは無線の各種ネットワークを使って、個別にあるいは同報的に放送された映像情報を受信する(S101)。次に、操作者の指示に従って、選局・復号部104は、この受信した映像情報から番組コンテンツを選局し、選局した番組コンテンツを復号化する(S102)。次に、制御部102は、番組コンテンツをMPEG−2形式に符号化し(S103)、MPEG−2形式に符号化した番組コンテンツ141を記録部103に記録する(S104)。
この時、必ずしもMPEG−2形式に限らず、MPEG−4形式に符号化した番組コンテンツ142を記録部103に記録しても構わないし、MPEG−2形式に符号化した番組コンテンツ141とMPEG−4形式に符号化した番組コンテンツ142との両方を記録部103に記録しても構わない。また、受信した番組コンテンツが既にMPEG−2形式に符号化されている場合、制御部102は、番組コンテンツをMPEG−2形式に符号化することなく、受信したMPEG−2形式の番組コンテンツ141をそのまま記録部103に記録するようにしてもよい。
また、このような時、制御部102は、各番組コンテンツを暗号・復号鍵144を使って暗号化して、記録部103に記録しても構わない。この暗号・復号鍵144は、番組コンテンツ毎に異なる鍵であっても構わないし、幾つかの番組コンテンツに共通の鍵であっても構わないし、暗号化と復号化が共通の鍵であっても構わないし、暗号化と復号化とが異なる鍵であっても構わない。
さらに、上記受信部101により受信され、選局・復号部104により選局及び復号化される番組コンテンツは、MPEG−2形式やMPEG−4形式のように圧縮された情報でなくても構わないし、この圧縮されていない番組コンテンツをそのまま記録部103に記録しても構わない。ここまでについては、上記従来の動画符号化方式変換装置900と実質的には同一である。
しかしながら、著作権管理等によって、MPEG−2形式に符号化した番組コンテンツ141と、MPEG−4形式に符号化した番組コンテンツ142との両方を記録部103に記録できないこともあり、そのようなケースではどちらか一方のコンテンツだけを記録部103に記録する。
本発明の特徴が発揮されるのは、上記の通り、著作権管理等によって、MPEG−2形式に符号化した番組コンテンツ141と、MPEG−4形式に符号化した番組コンテンツ142との両方を記録部103に記録できない場合であり、そのようなケースでどちらか一方のコンテンツだけを記録部103に記録する時である。
このような時、一般的には、MPEG−4形式とMPEG−2形式とを比較すると、MPEG−2形式では、番組コンテンツが通常のテレビ画質あるいはハイビジョン画質で記録され、MPEG−4形式では、番組コンテンツが携帯電話等のモバイル機器で再生できるようにCIF(Common Intermediate Format)画質等で記録される。よって、MPEG−2形式の方が画質的には優れていると考えられるため、このデジタル放送受信機100は、記録部103にMPEG−2形式の番組コンテンツ141だけを記録したと仮定する。
しかしながら、それでは、上記課題に示す通り、MPEG−2形式の番組コンテンツ141を他の機器で利用する時に、MPEG−2形式の番組コンテンツ141からMPEG−4形式の番組コンテンツに変換することが必要になり、なおかつこのMPEG−2形式の番組コンテンツ141からMPEG−4形式の番組コンテンツへの変換には、実時間を要する。このため、例えばこの番組コンテンツ141が1時間の番組であったならば、MPEG−2形式の番組コンテンツ141からMPEG−4形式の番組コンテンツへの変換に1時間を要し、従って、MPEG−4形式の番組コンテンツをSDメモリカード122に書き出して他の機器131で利用するまで1時間を要し、ユーザはこの時間待っていなければならない。
そこで、本発明の実施の形態であるデジタル放送受信機100では、制御部102が、番組コンテンツをMPEG−2形式に符号化し(S103)、MPEG−2形式に符号化した番組コンテンツ141を記録部103に記録する(S104)のと並行して、MPEG−4形式の符号化、あるいはその一部を行い、動きベクトルを求め(S103)、求めた動きベクトルを動きベクトルストリーム147として記録部103に記録する(S104)。
なお、上記MPEG−4形式の符号化処理と動きベクトルの算出処理は、必ずしも、MPEG−2形式に符号化された情報から行う必要はなく、MPEG−2形式に符号化する前の、受信部101により受信され、選局・復号部104により選局及び復号化された番組コンテンツから行っても構わない。あるいは、MPEG−2形式に符号化された情報を一旦復号化し、復号化された情報から上記MPEG−4形式の符号化と動きベクトルを求めても構わない。
また、必ずしも制御部102が番組コンテンツをMPEG−2形式に符号化することは必要でなく、受信部101により受信され、選局・復号部104により選局及び復号化された番組コンテンツが、すでにMPEG−2形式に符号化されたものであっても構わない。
上記の処理により、記録部103に記録された動きベクトルストリーム147は、動きベクトル情報だけを含んでおり、DCT係数を含んでいないため、それ単独では番組コンテンツを再生することができず、著作権管理等に反することもない。また、動きベクトル情報は、一般的にDCT情報よりもデータサイズが小さいので、記録部103の記録容量が小さい時には、動きベクトル情報を予め計算して記録部103に記録しておくことが有効である。
ここで、MPEG−4形式の符号化、あるいはその一部を行い(S103)、動きベクトルを求め、求めた動きベクトルを動きベクトルストリーム147として記録部103に記録する(S104)ための手順をより詳細に説明する。
まず、動きベクトルストリーム147を記録部103に記録するための手順の理解を容易にするために、番組コンテンツをMPEG−4形式に符号化し、MPEG−4形式に符号化した番組コンテンツを記録する手順を、図1に示すデジタル放送受信機100の制御部102を例に図3によって説明する。
図3は、MPEG−4形式に符号化した番組コンテンツ142を記録部103に記録する場合における主要構成部を示す回路ブロック図である。なお、以下の説明は、図4を用いて後述する、動きベクトルストリーム147を記録部103に記録するための手順の説明を容易にするために便宜的に行うものであり、本実施の形態によるデジタル放送受信機100では、著作権管理又は記録容量等の制約がない場合を除き、MPEG−2形式に符号化した番組コンテンツ141と、MPEG−4形式に符号化した番組コンテンツ142とを同時に記録部103に記録することはしない。
まず、デジタルテレビ放送信号は、受信部101により受信され、選局・復号部104により選局及び復号される。ここまでは、上記の通りである。選局及び復号化が行われた番組コンテンツは、MPEG−2エンコーダ311によりMPEG−2形式の番組コンテンツ141に符号化され、記録部103に記録される。これも上記の通りであり、MPEG−2エンコーダ311については、本発明の本質とは直接関係しないので、詳細な説明は省略する。
次に、選局及び復号化が行われた番組コンテンツが、MPEG−4形式の番組コンテンツ142に符号化されて記録部103に記録される手順を説明する。
まず、選局・復号部104により選局及び復号化された番組コンテンツは、制御部102において、VOP(ビデオ・オブジェクト・プレーン、フレーム)毎に基本処理単位であるマクロブロックに分割される。番組コンテンツは、このマクロブロック単位で差分演算部321へ送られ、後述する動き補償された最適な予測マクロブロックとの差分が求められる。
この差分信号がDCT部323へ送られ、DCT部323で離散コサイン変換(DCT:Discrete Cosine Transform)が行われる。DCTによって得られたDCT係数が、量子化部325へ送られ、DCT係数の量子化が行われる。具体的には、DCT係数を所定の値で割り算し、より小さな数で表現することによって符号化量の削減が行われる。
そして、この量子化されたDCT係数に対して、係数予測部327で、隣接するマクロブロックのDC成分及びAC成分に応じて適応的に予測値及び予測誤差が計算され、符号化量の更なる削減が行われる。
可変長符号化部349では、後述する動きベクトル予測部346で予測が行われた動きベクトルや形状符号化部345で生成された形状符号化情報と共に、予測済みDCT係数が可変長符号化され、MPEG−4形式の番組コンテンツ142が生成されて記録部103に記録される。
また、量子化部325で量子化されたDCT係数は、逆量子化部331で量子化前のDCT係数に戻され、逆DCT部333で離散コサイン変換前の状態に戻される。さらに、加算部335で、差分をとった予測マクロブロックのデータが、離散コサイン変換前の状態に戻された情報に加算されて、元のマクロブロックが復元され、この情報がメモリ部337に記録される。
また、各VOPの分割された各マクロブロックは、動き検出部341に送られて、先のVOPからのみ予測する前方予測、あるいは先のVOPと後のVOPとの両方から予測する双方向予測等、時間的に近傍のVOPの中から、ブロックマッチングを初めとする動き検出方法で、誤差の小さい動きベクトルが検出される。さらに、この誤差が最も小さい予測マクロブロックへの動きを示す信号として、動き検出部341において、動きベクトル情報が生成される。
この動きベクトル情報は、動きベクトル予測部346へ送られ、動きベクトル予測部346では、隣接するマクロブロックの動きベクトルを用いて予測値が計算され、その予測値とこの動きベクトル情報とから、予測済みの動きベクトル情報が生成される。
この予測済み動きベクトル情報は、上記の通り、係数予測部327で生成された予測済みDCT係数や、後述する形状符号化部345で生成された形状符号化情報と共に、可変長符号化部349で可変長符号化され、MPEG−4形式の番組コンテンツ142が生成されて記録部103に記録される。
また、動き検出部341で生成された動きベクトル情報は、動き補償部339へも送られ、メモリ部337に記録しているマクロブロック情報を使って動き補償が行われる。MPEG−4では、マクロブロックを構成する4つの輝度成分(Y)のブロックに対して、それぞれの動きベクトルを使って予測信号を動き補償することができる。また、ブロック単位で動き補償する場合には、1マクロブロックあたり4つの動きベクトルがあり、この4つの動きベクトルを平均化して色差信号の動きベクトルとして使用する。この動き補償部339で動き補償された最適な予測マクロブロックは、差分演算部321へ送られ、次のVOPのマクロブロックの入力に対して、上記差分を求めるために使用される。
さらに、各VOPの分割された各マクロブロックは、形状符号化(CAE)部345へも送られ、形状符号化(CAE)部345では、このマクロブロックが完全にVOP外(ALL 0)あるいは完全にVOP内(ALL 256)でない時、各画素が物体内あるいは物体外のどちらであるかによって定まる形状情報が、CAE(Context−based Arithmetic Encoding)と呼ばれる算術符号化方法で符号化される。
これと同時に、動き検出部341では、上記輝度信号の動きベクトルとは別に、形状情報用の動きベクトルが検出され、この形状情報用の動きベクトルが動き補償部343へ送られて、メモリ部347に記録されている先のVOPのCAE符号化形状情報と共に、動き補償が行われ、この動き補償が行われた形状情報は、形状符号化(CAE)部345に送られる。
形状符号化(CAE)部345では、上記現在のVOPのCAE符号化された形状情報と、この動き補償された先のVOPのCAE符号化された形状情報とを使い、VOP間予測が行われる。このようにCAE符号化され、VOP間予測が行われた形状符号化情報は、可変長符号化部349へ送られ、可変長符号化部349では、上記の通り、DCT係数や動きベクトルと共に、可変長符号化され、MPEG−4形式の番組コンテンツ142が生成されて記録部103に記録される。
次に、上記のMPEG−4形式の符号化、あるいはその一部だけを行い、動きベクトルを求め(S103)、求めた動きベクトルを動きベクトルストリーム147として記録部103に記録する(S104)ための手順を、図4を使って説明する。
図4は、図1に示すデジタル放送受信機100の制御部102においてMPEG−4形式に符号化するために必要な情報の一部を記録部103に記録するための主要構成部を示す回路ブロック図である。
図4に示す通り、MPEG−4形式の符号化、あるいはその一部だけを行い、動きベクトルを求め(S103)、求めた動きベクトルを動きベクトルストリーム147として記録部103に記録する(S104)ための手順も、そのほとんどの部分は、上記MPEG−4形式で符号化された番組コンテンツ142を生成し、記録部103に記録する時と同様であるから、その同様の部分については説明を省略し、異なる部分だけを説明する。
各VOPの分割された各マクロブロックは、動き検出部341に送られて、先のVOPからのみ予測する前方予測、あるいは先のVOPと後のVOPとの両方から予測する双方向予測等、時間的に近傍のVOPの中から、ブロックマッチングを初めとする動き検出方法で、誤差の小さい動きベクトルが検出される。さらに、この誤差が最も小さい予測マクロブロックへの動きを示す信号として、動き検出部341において、動きベクトル情報が生成される。
この動きベクトル情報は、動きベクトル予測部346へ送られ、動きベクトル予測部346では、隣接するマクロブロックの動きベクトルを用いて予測値が計算され、その予測値とこの動きベクトル情報とから、予測済みの動きベクトル情報が生成される。動きベクトル予測部346で予測が行われた予測済み動きベクトルは、そのまま、あるいは何らかの符号化やフォーマット化が行われて、動きベクトルストリーム147として記録部103に記録される。
なお、動きベクトルストリーム147を生成し、記録部103に記録するときに、動きベクトル情報が可変長符号化部349に送られ、この予測が行われた動きベクトル情報が、可変長符号化部349でDCT係数や形状符号化情報と共に可変長符号化される処理が行われても構わない。
同様に、MPEG−4形式で符号化された番組コンテンツ142を生成し記録部103に記録する時のその他の処理、例えば、DCT、DCT係数の量子化、動き補償、DCT係数の予測、この予測済みのDCT係数を含む可変長符号化、CAE符号化された形状情報の生成や動き補償、この形状情報の予測、この予測済みのCAE符号化形状情報を含む可変長符号化等が、行われても構わないし、行われなくても構わない。
一般的には、これらの処理を行わない場合は、消費電力を低減するのに有効であり、一方、これらの処理を行う場合は、MPEG−4形式で符号化された番組コンテンツ142を生成し記録部103に記録する時との整合性を確保するのに有効と考えられるが、必ずしもそうでないこともあり、それぞれ最適な実施の形態を選ぶことができる。
いずれにしても、可変長符号化部349で可変長符号化されたMPEG−4形式の番組コンテンツ142が生成されることはあってもなくても構わないが、少なくともこの番組コンテンツ142が、記録部103に記録されることはない。
次に、このような番組コンテンツ141を記録しているデジタル放送受信機100以外の他の機器131でこの番組コンテンツ141を利用するケースを考える。
ここで、デジタル放送受信機100は、著作権管理の都合、あるいは他の何らかの事情によって、MPEG−2形式で符号化された番組コンテンツ141と動きベクトルストリーム147とだけを記録部103に記録しており、他の機器131では、MPEG−4形式で符号化された番組コンテンツだけが利用可能であると仮定する。このようなケースでは、MPEG−2形式で符号化された番組コンテンツ141をMPEG−4形式で符号化された番組コンテンツ142に変換することが必要になり、以下の処理が実行される。
再び、図2を参照して、デジタル放送受信機100の制御部102は、記録部103からMPEG−2形式で符号化された番組コンテンツ141を読み出して一旦復号化する(S105)。次に、制御部102は、復号化された番組コンテンツをMPEG−4形式の番組コンテンツ142に符号化する(S106)。なお、MPEG−4形式の番組コンテンツ142は、同時にあるいは所定時間後に種々の方法で暗号化することも可能である(S106)。
この時、制御部102は、記録部103から動きベクトルストリーム147を読み出して、復号化された番組コンテンツをMPEG−4形式の番組コンテンツ142に符号化するために利用する。この予め求めてある動きベクトルストリーム147を利用することによって、番組コンテンツをMPEG−4形式の番組コンテンツ142に符号化するために要する時間を大幅に短縮することができる。
上記の通り、番組コンテンツをMPEG−4形式の番組コンテンツ142に符号化するためには実時間を必要とするが、より詳細に処理内容を見ると、その実時間を必要とするのは、動き検出、動き補償、予測誤差計算等の動きベクトルを求める処理である。
そして上記の通り、制御部102が、番組コンテンツをMPEG−2形式に符号化し(S103)、MPEG−2形式に符号化した番組コンテンツ141を記録部103に記録する(S104)のと並行して、MPEG−4形式の符号化も行い(S103)、動きベクトルを求めるならば、映像情報は通常実時間で放送されていると考えられるので、全く超過時間を必要とすることもない。
また、MPEG−2形式で符号化した番組コンテンツ141とMPEG−4形式で符号化した番組コンテンツ142との画面サイズが同じであるなら、MPEG−2形式で符号化した番組コンテンツ141のIフレームのDCT係数を流用することができるので、さらに高速化が可能となる。
そして、制御部102は、このMPEG−4形式の番組コンテンツ142を、入出力部105を経由してSDメモリカード122に書き出す(S107)。この結果、ユーザは、このSDメモリカード122に記録されたMPEG−4形式の番組コンテンツ142を他の機器131で利用することができる(S108)。
ここで、MPEG−2形式で符号化された番組コンテンツ141をMPEG−4形式で符号化された番組コンテンツ142に変換するための手順を、図5を使って説明する。
図5は、図1に示すデジタル放送受信機100の制御部102においてMPEG−2形式で符号化された番組コンテンツ141をMPEG−4形式で符号化された番組コンテンツ142に変換するための主要構成部を示す回路ブロック図である。
まず、制御部102のMPEG−2デコーダ351は、記録部103からMPEG−2形式で符号化された番組コンテンツ141を読み出して復号化し、マクロブロック単位で差分演算部321及び形状符号化(CAE)部347へ出力する。
次に、差分演算部321は、各VOPの分割された各マクロブロックと、動き補償された最適な予測マクロブロックとの差分を求め、DCT部323は、離散コサイン変換を実行する。また、量子化部325は、DCT係数の量子化を行い、係数予測部327は、隣接するマクロブロックのDC成分及びAC成分に応じて適応的に予測値及び予測誤差を計算し、予測済みDCT係数を可変長符号化部349へ出力する。
このとき、逆量子化部331は、量子化部325で量子化されたDCT係数を量子化前のDCT係数に戻し、逆DCT部333は、量子化前のDCT係数を離散コサイン変換前の状態に戻す。加算部335は、差分をとった予測マクロブロックのデータを離散コサイン変換前の状態に戻された情報に加算し、元のマクロブロックが復元され、この情報がメモリ部337に記録される。
また、動きベクトル復元部351は、記録部103から動きベクトルストリーム147を読み出し、予測済みの動きベクトル情報を動きベクトル情報に復元して動き補償部339へ出力する。動き補償部339は、メモリ部337に記録しているマクロブロック情報を使って動き補償を行い、差分演算部321は、次のVOPのマクロブロックと、動き補償された最適な予測マクロブロックとの差分を求める。
これと同時に、動きベクトル復元部351は、上記輝度信号の動きベクトルとは別に、形状情報用の動きベクトルを復元し、動き補償部343は、この形状情報用の動きベクトルと、メモリ部347に記録されている先のVOPのCAE符号化形状情報とを用いて、動き補償を行い、この動き補償が行われた形状情報を形状符号化(CAE)部345へ出力する。
形状符号化(CAE)部345は、現在のVOPのCAE符号化された形状情報と、上記の動き補償された先のVOPのCAE符号化された形状情報とを用いてVOP間予測を行い、形状符号化情報をメモリ部347及び可変長符号化部349へ出力する。
可変長符号化部349は、記録部103から動きベクトルストリーム147を読み出し、この動きベクトルストリーム147と、係数予測部327から出力されるDCT情報と、形状符号化(CAE)部345から出力される形状符号化情報とを可変長符号化し、MPEG−4形式の番組コンテンツを生成して入出力部105へ出力する。入出力部105は、このMPEG−4形式の番組コンテンツをSDメモリカード122に記録する。この結果、ユーザは、SDメモリカード122に記録されたMPEG−4形式の番組コンテンツ142を他の機器131で利用することができる。
なお、上記の説明では、MPEG−2形式で符号化された番組コンテンツ141をMPEG−4形式で符号化された番組コンテンツ142に変換するデジタル放送受信機100において行う例を説明したが、MPEG−2形式で符号化された番組コンテンツ141及び動きベクトルストリーム147をSDメモリカード122に記録し、SDメモリカード122に記録されているMPEG−2形式で符号化された番組コンテンツ141及び動きベクトルストリーム147を用いて、他の機器131で上記の処理を実行するようにしてもよい。
上記の説明では、番組コンテンツをMPEG−2形式に符号化し(S103)、MPEG−2形式に符号化した番組コンテンツ141を記録部103に記録する(S104)のと並行して、MPEG−4形式の符号化、あるいはその一部を行い(S103)、記録部103に記録する情報として、動きベクトルストリーム147だけを記録する場合について説明した。
しかしながら、MPEG−2形式に符号化した番組コンテンツ141を記録部103に記録するのと並行して、MPEG−4形式の符号化、あるいはその一部を行い、記録部103に記録する情報は、必ずしも動きベクトルストリーム147に限るものではない。
すなわち、上記説明からわかる通り、後でMPEG−2形式で符号化された番組コンテンツ141を元にMPEG−4形式の符号化を行う時に、そのMPEG−4符号化を高速実行するために有効な情報であり、なおかつ、その情報だけでは番組コンテンツを復元できない情報であるならば、何であっても構わない。
上記第1の条件が必要とされる理由は、この情報によって後でMPEG−4符号化を高速に行うことが目的だからであり、上記第2の条件が必要とされる理由は、著作権管理の要請から、この情報だけで番組コンテンツを復元可能であってはならないからである。このような、2つの条件を満たす情報の具体的な例として、上記動きベクトルストリーム147以外に、DCT情報と、形状符号化情報とを挙げることができる。
以下に、これらのDCT情報と、形状符号化情報とを、上記動きベクトルストリーム147に代えて、あるいは、動きベクトルストリーム147と共に、記録部103に記録する手順を、図4を使って説明する。
まず、DCT情報167を記録部103に記録する処理について説明する。図4に示す通り、MPEG−4形式の符号化、あるいはその一部だけを行い、DCT係数を求め、求めたDCT係数をDCT情報167として記録部103に記録するための手順も、そのほとんどの部分は、上記MPEG−4形式で符号化された番組コンテンツ142を生成し、記録部103に記録する時と同様である。
各VOPの分割された各マクロブロックは、差分演算部321へ送られ、動き補償された最適な予測マクロブロックとの差分が求められる。この差分信号がDCT部323へ送られ、DCT部323で離散コサイン変換が行われる。DCTによって得られたDCT係数は、量子化部325へ送られ、DCT係数の量子化が行われる。
そして、この量子化されたDCT係数に対して、係数予測部327で、隣接するマクロブロックのDC成分及びAC成分に応じて適応的に予測値及び予測誤差が計算され、符号化量の更なる削減が行われる。係数予測部327で予測が行われた予測済みDCT係数は、そのまま、あるいは何らかの符号化やフォーマット化が行われて、DCT情報167として記録部103に記録される。
なお、DCT情報167を生成し、記録部103に記録するときに、DCT係数が可変長符号化部349に送られ、この予測が行われたDCT係数が、可変長符号化部349で動きベクトルや形状符号化情報と共に可変長符号化される処理が行われても構わない。
同様に、MPEG−4形式で符号化された番組コンテンツ142を生成し記録部103に記録する時のその他の処理、例えば、動きベクトルの計算、動き補償、動きベクトルの予測、この予測済みの動きベクトルを含む可変長符号化、CAE符号化された形状情報の生成や動き補償、この形状情報の予測、この予測済みのCAE符号化形状情報を含む可変長符号化等が、行われても構わないし、行われなくても構わない。
また、DCT情報167が記録部103に記録されていたとしても、動きベクトルがなければ、正確な映像として再生されないので、著作権上の問題を生じる可能性が低くなる。さらに、DCT情報167を非圧縮映像に復元する際に必要な量子化テーブル及びハフマンテーブルの何れか又は両方を記録せずにおけば、DCT情報167の復元が非常に困難となるため、著作権上の問題を生じる可能性がさらに低くなる。
次に、形状符号化情報165を記録部103に記録する処理について説明する。図4に示す通り、MPEG−4形式の符号化、あるいはその一部だけを行い、形状符号化情報165を求め、求めた形状符号化情報165を記録部103に記録するための手順も、そのほとんどの部分は、上記MPEG−4形式で符号化された番組コンテンツ142を生成し、記録部103に記録する時と同様である。
各VOPの分割された各マクロブロックは、形状符号化(CAE)部345へ送られ、形状符号化(CAE)部345では、このマクロブロックが完全にVOP外(ALL 0)あるいは完全にVOP内(ALL 256)でない時、各画素が物体内あるいは物体外のどちらであるかによって定まる形状情報が、CAEと呼ばれる算術符号化方法で符号化される。
これと同時に、動き検出部341では、上記輝度信号の動きベクトルとは別に、形状情報用の動きベクトルが検出され、この形状情報用の動きベクトルが動き補償部343へ送られて、メモリ部347に記録されている先のVOPのCAE符号化形状情報と共に、動き補償が行われ、この動き補償が行われた形状情報は、形状符号化(CAE)部345に送られる。
形状符号化(CAE)部345では、上記現在のVOPのCAE符号化された形状情報と、この動き補償された先のVOPのCAE符号化された形状情報とを使い、VOP間予測が行われる。形状符号化(CAE)部345で予測が行われた予測済み形状符号化情報は、そのまま、あるいは何らかの符号化やフォーマット化が行われ、形状符号化情報165として記録部103に記録される。
なお、形状符号化情報165を生成し、記録部103に記録するときに、形状符号化情報が可変長符号化部349に送られ、この予測が行われた形状符号化情報が、可変長符号化部349でDCT係数や動きベクトル情報と共に可変長符号化される処理が行われても構わない。
同様に、MPEG−4形式で符号化された番組コンテンツ142を生成し記録部103に記録する時のその他の処理、例えば、DCT係数の計算、動き補償、DCT係数の予測、この予測済みのDCT係数を含む可変長符号化、動きベクトルの計算、動き補償、動きベクトルの予測、この予測済みの動きベクトルを含む可変長符号化等が、行われても構わないし、行われなくても構わない。
このように、上記動きベクトルストリーム147に代えて、DCT情報167や形状符号化情報165を記録部103に記録する例では、後で、MPEG−2形式で符号化された番組コンテンツ141を元にMPEG−4形式の符号化を行う時に、そのMPEG−4符号化を高速実行するために、この記録部103に記録されているDCT情報167や形状符号化情報165を使用する。
なお、後でMPEG−2形式で符号化された番組コンテンツ141を元にMPEG−4形式の符号化を行う時に、そのMPEG−4符号化を高速実行するために有効な情報であり、なおかつ、その情報だけでは番組コンテンツを復元できない情報として、上記の通り、動きベクトルストリーム147、DCT情報167、形状符号化情報165の3つについて説明したが、これら以外の情報であっても構わないし、これらの幾つかを組み合わせたものであっても構わない。
また、上記の情報としては、動きベクトルストリーム147、DCT情報167、形状符号化情報165に特に限定されず、例えば、H.264等のMPEG以外の他の動画圧縮規格において、当該圧縮規格に特有の計算時間を要する情報であって且つその情報のみでは完全な映像を再現できない情報であれば、種々の情報を記録することができ、例えば、エラーリカバリー用のデータ、中間データ等を記録するようにしてもよい。
上記の情報の選択は、デジタル放送受信機が有する記録部103又はSDメモリカード122の記録可能な容量に応じて行うことができる。また、この記録部103又はSDメモリカード122の記録可能な容量が比較的少ない時には、動きベクトルストリーム147を優先的に選択することも、有効な方法の1つである。
同様の方法として、PフレームやBフレームについてのみ予め計算して記録部103に記録しておき、その後、MPEG−2形式で符号化された番組コンテンツ141を元にMPEG−4形式の符号化を行う時には、Iフレームについてのみ計算を行っても構わない。
また、著作権上の制限により、動きベクトルストリーム及び形状符号化情報を記録することはできるが、DCT情報をすべては記録できない場合、SDメモリカード122の記憶容量に応じて、DCT係数の記録データ量を変更するようにしてもよい。図6は、SDメモリカード122に記録される番組コンテンツの一例を示す模式図である。
図6に示すように、SDメモリカード122には、ある番組G全体のMPEG−2形式の番組コンテンツ151と、番組Gの一部であるMPEG−4形式の番組コンテンツ161(番組コンテンツ151をMPEG−4形式の番組コンテンツへ高速に変換するときに利用される情報)が記録されている。番組コンテンツ151は、番組Gの再生に必要なすべてのDCT情報152と、番組Gの再生に必要なDCT情報以外の、動きベクトル等の情報153とから構成され、番組コンテンツ161は、番組Gの一部のDCT情報162と、番組Gの再生に必要なDCT情報以外の、動きベクトル等の情報163とから構成されている。
制御部102は、入出力部150を用いて、SDメモリカード122の空記憶容量を検出し、検出した空記憶容量に応じて、以下の選択方法により選択されたDCT情報162を記録させる。
(1)映像情報の時間的な位置によってDCT情報を選択する。例えば、SDメモリカード122の空記憶容量を基に記憶可能と判断した容量に対応する番組Gの再生時間を算出し、当該再生時間までのDCT情報をSDメモリカード122に記録させ、この再生時間以降のDCT情報を記録させないようにしてもよい。なお、時間的な位置を基準に判断する方法は、この例に特に限定されず、例えば、ある数の倍数となる再生時間のDCT情報を記録しないようにしてもよい。
(2)映像情報の空間的な位置によってDCT情報を選択する。例えば、SDメモリカード122の空記憶容量を基に記憶可能と判断した容量に対応する番組Gの各フレームの特定部分を算出し、各フレームの特定部分のDCT情報をSDメモリカード122に記録させ、特定分以外の部分のDCT情報を記録させないようにしてもよい。
(3)映像情報の色成分によってDCT情報を選択する。例えば、YUV成分の映像信号が用いられている場合、UV成分のDCT情報をSDメモリカード122に記録させ、Y成分のDCT情報を記録させないようにしてもよい。
(4)情報の計算時間によって記録する情報を選択する。例えば、計算に時間がかかる情報を高優先で記録させ、計算に時間がかからない情報を低優先で記録するようにしてもよい。
次に、上記の変換処理により作成されたMPEG−4形式の番組コンテンツを、制御部102がSDメモリカード122に書き込み中に、ユーザがデジタル放送受信機100の電源をオフした場合の対処方法について説明する。図7は、MPEG−4形式のストリームとフレーム画像との関係を示す図である。
図7に示すように、MPEG−4形式の番組コンテンツであるストリーム171が電源断前にSDメモリカード122に記録され、ストリーム171のフレームnの原画像172のあるマクロブロックをMBa、マクロブロックMBaに対応するストリーム171の動きベクトル及び差分をMVaとする。
その後、ユーザがデジタル放送受信機100の電源を再びオンしたとき、制御部102は、フレームnのエンコードに際し、SDメモリカード122からストリーム171を読み出し、内部のMPEG−4デコーダ(図示省略)を用いてストリーム171をデコードし、動きベクトル及び差分MVaから得られる画像と、フレームnの原画像173のマクロブロックMBaとを比較する。両者の差が所定の閾値以下の場合、制御部102は、動きベクトル及び差分MVaを妥当と判断し、原画像173のマクロブロックMBaの動き予測処理を実行することなく、動きベクトル及び差分MVaを使用する。この結果、エンコード時に最も時間のかかる動き予測処理を省略することができるので、電源断による不慮のエンコード中断が発生したとしても、その後のエンコードのやり直し時間を大幅に短縮することができる。
なお、本実施の形態では、MPEG−2形式の番組コンテンツ141と、MPEG−4形式の符号化を行うための動きベクトルストリーム147とを予め作成して記録しておくことによって、その後、MPEG−2形式で符号化された番組コンテンツ141を元にMPEG−4形式の符号化を行う時に、そのMPEG−4符号化を高速実行する手法について説明した。しかしながら、本発明は必ずしもこのような例に限るものではなく、種々の符号化形式で符号化された番組コンテンツ情報を元に、他の符号化形式で符号化された番組コンテンツ情報を生成する時にも、同様に適用することができる。
例えば、予め、MPEG−4形式で符号化された番組コンテンツ情報と、この番組コンテンツ情報からMPEG−2形式で符号化された番組コンテンツ情報を生成するために必要な情報、特に生成に長時間を要する情報、例えばMPEG−2形式の符号化のための動きベクトル情報を予め作成して記録しておくことによって、その後、MPEG−4形式で符号化された番組コンテンツを元にMPEG−2形式の符号化を行う時に、そのMPEG−2符号化を高速実行することができる。
特に、デジタル放送受信機100が、モバイル機器あるいは可搬型機器等であった場合、モバイル機器等であることによる仕様上・性能上の制約から、MPEG−4形式で番組コンテンツ情報等が記録されることが多く、さらに記録部103の容量が限られていることが多い。このような場合、予め作成し、記録しておく動きベクトル情報はデータサイズが比較的小さいので、モバイル機器等においても、記録部103の記憶容量を圧迫することがなく、MPEG−4形式からMPEG−2形式への符号化処理を高速に実行したり、あるいは高速実行に必要な情報を記録しておくことが可能となる。
なお、このデジタル放送受信機100が番組コンテンツを受信し、それを記録し、他の機器で利用するための手順は、本特許出願に係る映像情報記録方法の実施の形態であり、このデジタル放送受信機100及び制御部102は、マイクロコンピュータとその動作を制御するプログラムによって実現されてもよい。また、このプログラムは、本特許出願に係る映像情報記録プログラムの実施の形態であり、RAM/ROM等の半導体メモリやHDD/DVD等、磁気方式、光方式、これらの組み合わせ、あるいはその他の各種方式で情報を記録する何らかの記録媒体に記録保持され、この記録媒体は本発明に係る映像情報記録プログラムを記録した記録媒体の実施の形態である。
また、本実施の形態では、同じデジタル放送受信機100において、番組コンテンツをMPEG−2形式に符号化し、MPEG−2形式に符号化した番組コンテンツ141を記録部103に記録する処理と並行して、MPEG−4形式の符号化、あるいはその一部を行い、動きベクトルを求める処理と、記録部103からMPEG−2形式で符号化された番組コンテンツ141を読み出して一旦復号化し、復号化された番組コンテンツをMPEG−4形式の番組コンテンツ142に符号化する時、記録部103から動きベクトルストリーム147を読み出して、復号化された番組コンテンツをMPEG−4形式の番組コンテンツ142に符号化するために利用する処理とを実行する場合について説明したが、これら処理をそれぞれ異なる装置や機器が実行するようにしてもよい。
上記のように、本発明に係る映像情報記録装置は、あるコンテンツを含む映像情報を第1の符号化方法で符号化した第1の符号化情報を記録する記録手段と、前記第1の符号化方法と異なる第2の符号化方法で符号化され且つ前記コンテンツを含む第2の符号化情報を前記第1の符号化情報から生成するために使用される部分情報を作成する作成手段とを備え、前記記録手段は、前記第1の符号化情報とともに、前記作成手段により作成された部分情報を記録するものである。
本発明に係る映像情報記録方法は、あるコンテンツを含む映像情報を第1の符号化方法で符号化した第1の符号化情報を記録手段に記録するステップと、前記第1の符号化方法と異なる第2の符号化方法で符号化され且つ前記コンテンツを含む第2の符号化情報を前記第1の符号化情報から生成するために使用される部分情報を作成するステップと、作成された部分情報を前記第1の符号化情報とともに前記記録手段に記録するステップとを含むものである。
本発明に係る映像情報記録プログラムは、あるコンテンツを含む映像情報を第1の符号化方法で符号化した第1の符号化情報を記録する記録手段と、前記第1の符号化方法と異なる第2の符号化方法で符号化され且つ前記コンテンツを含む第2の符号化情報を前記第1の符号化情報から生成するために使用される部分情報を作成する作成手段としてコンピュータを機能させ、前記記録手段は、前記第1の符号化情報とともに、前記作成手段により作成された部分情報を記録するものである。
本発明に係る記録媒体は、あるコンテンツを含む映像情報を第1の符号化方法で符号化した第1の符号化情報を記録する記録手段と、前記第1の符号化方法と異なる第2の符号化方法で符号化され且つ前記コンテンツを含む第2の符号化情報を前記第1の符号化情報から生成するために使用される部分情報を作成する作成手段としてコンピュータを機能させ、前記記録手段は、前記第1の符号化情報とともに、前記作成手段により作成された部分情報を記録することを特徴とする映像情報記録プログラムを記録したコンピュータ読み取り可能な記録媒体である。
上記の各構成により、第1の符号化情報とともに、第1の符号化方法と異なる第2の符号化方法で符号化され且つ同一コンテンツを含む第2の符号化情報を第1の符号化情報から生成するために使用される部分情報を記録しているので、第1の符号化情報及び部分情報を用いて第2の符号化情報を生成することができる。この結果、著作権管理又は記録容量等の制約により、同一のコンテンツを異なる符号化方法で符号化した複数の映像情報を重複して記録することができない場合でも、一の符号化方法で符号化された映像情報から他の符号化方法で符号化された映像情報を極めて高速に生成して他の機器で利用することができる。
例えば、MPEG−2形式の番組コンテンツとMPEG−4形式の番組コンテンツとの両方を記録しておくことは著作権管理上の制約や記録部の容量的な問題等によって許されないような条件下でも、極めて高速に、MPEG−2形式の番組コンテンツからMPEG−4形式の番組コンテンツを生成し、他の機器で利用することが可能となる。
前記映像情報記録装置は、第1の符号化情報を受信する受信手段をさらに備え、前記記録手段は、前記受信手段により受信された第1の符号化情報とともに、前記作成手段により作成された部分情報を記録することが好ましい。
この場合、第1の符号化情報が受信され、受信された第1の符号化情報とともに、作成された部分情報が記録されるので、第1の符号化情報及び部分情報を用いて第2の符号化情報を生成することができる。
前記作成手段は、前記第1の受信手段による前記第1の符号化情報の受信処理、及び前記記録手段による前記第1の符号化情報の記録処理のうち少なくとも一つの処理と並行して前記部分情報を作成することが好ましい。
この場合、第1の符号化情報の受信処理及び第1の符号化情報の記録処理のうち少なくとも一つの処理と並行して部分情報の作成処理が実行されるので、第1の符号化情報を記録する時間内に部分情報を作成することができ、部分情報を作成するために余分な時間を浪費することを防止することができる。
前記映像情報記録装置は、前記コンテンツを含む映像情報を受信する受信手段と、前記受信手段により受信された映像情報を前記第1の符号化方法で符号化して第1の符号化情報を作成する符号化手段とをさらに備え、前記記録手段は、前記符号化手段により作成された第1の符号化情報とともに、前記作成手段により作成された部分情報を記録することが好ましい。
この場合、コンテンツを含む映像情報が受信され、受信された映像情報から第1の符号化情報が作成され、作成された第1の符号化情報とともに、部分情報が記録されるので、第1の符号化情報及び部分情報を用いて第2の符号化情報を生成することができる。
前記作成手段は、前記受信手段による前記映像情報の受信処理、前記符号化手段による前記第1の符号化情報の符号化処理、及び前記記録手段による前記第1の符号化情報の記録処理のうち少なくとも一つの処理と並行して前記部分情報を作成することが好ましい。
この場合、映像情報の受信処理、第1の符号化情報の符号化処理、及び第1の符号化情報の記録処理のうち少なくとも一つの処理と並行して部分情報の作成処理が実行されるので、第1の符号化情報を記録する時間内に部分情報を作成することができ、部分情報を作成するために余分な時間を浪費することを防止することができる。
前記映像情報記録装置は、前記第1及び第2の符号化方法と異なる第3の符号化方法で符号化され且つ前記コンテンツを含む第3の符号化情報を受信する受信手段と、前記受信手段により受信された第3の符号化情報を前記第1の符号化方法で符号化して第1の符号化情報を作成する符号化手段とをさらに備え、前記記録手段は、前記符号化手段により作成された第1の符号化情報とともに、前記作成手段により作成された部分情報を記録することが好ましい。
この場合、第3の符号化方法で符号化され且つコンテンツを含む第3の符号化情報が受信され、受信された第3の符号化情報から第1の符号化情報が作成され、作成された第1の符号化情報とともに、部分情報が記録されるので、第1の符号化情報及び部分情報を用いて第2の符号化情報を生成することができる。
前記作成手段は、前記受信手段による前記第3の符号化情報の受信処理、前記符号化手段による前記第1の符号化情報の符号化処理、及び前記記録手段による前記第1の符号化情報の記録処理のうち少なくとも一つの処理と並行して前記部分情報を作成することが好ましい。
この場合、第3の符号化情報の受信処理、第1の符号化情報の符号化処理、及び第1の符号化情報の記録処理のうち少なくとも一つの処理と並行して部分情報の作成処理が実行されるので、第1の符号化情報を記録する時間内に部分情報を作成することができ、部分情報を作成するために余分な時間を浪費することを防止することができる。
前記映像情報記録装置は、前記記録手段に記録されている前記第1の符号化情報及び前記部分情報を用いて前記第2の符号化情報を生成する生成手段をさらに備えることが好ましい。
この場合、第1の符号化情報及び部分情報を用いて第2の符号化情報を生成しているので、第1の符号化情報及び部分情報を用いて第2の符号化情報を極めて高速に生成することができる。
本発明に係る他の映像情報記録装置は、あるコンテンツを含む映像情報を第1の符号化方法で符号化した第1の符号化情報と、前記第1の符号化方法と異なる第2の符号化方法で符号化され且つ前記コンテンツを含む第2の符号化情報を前記第1の符号化情報から生成するために使用される部分情報とを記録する記録手段と、前記記録手段に記録されている前記第1の符号化情報及び前記部分情報を用いて前記第2の符号化情報を生成する生成手段を備えるものである。
上記の構成により、第1の符号化情報と、第1の符号化方法と異なる第2の符号化方法で符号化され且つ同一コンテンツを含む第2の符号化情報を第1の符号化情報から生成するために使用される部分情報とを用いて第2の符号化情報を生成することができるので、著作権管理又は記録容量等の制約により、同一のコンテンツを異なる符号化方法で符号化した複数の映像情報を重複して記録することができない場合でも、一の符号化方法で符号化された映像情報から他の符号化方法で符号化された映像情報を極めて高速に生成して他の機器で利用することができる。
前記映像情報記録装置は、前記生成手段により生成された前記第2の符号化情報を記録する記録手段をさらに備え、前記生成手段は、前記第2の符号化情報を生成する生成処理が中断され、その後に生成処理を再開する場合、前記記録手段に既に記録されている第2の符号化情報を用いて、中断後の第2の符号化情報を生成することが好ましい。
この場合、既に記録されている第2の符号化情報を用いて、中断後の第2の符号化情報を生成しているので、時間の要する処理を再度実行する必要がなくなり、電源断等による不慮の生成中断が発生したとしても、その後の生成処理のやり直し時間を大幅に短縮することができる。
前記第1の符号化方法は、映像情報を圧縮する符号化方法であることが好ましい。この場合、少ない記録容量で第1の符号化情報を記録することができるので、記録容量の少ない記憶手段を用いて第2の符号化情報を作成することができる。
前記第1の符号化情報は、MPEG−2に準拠する符号化情報及びMPEG−4に準拠する符号化情報のうちの一方であり、前記第2の符号化情報は、他方であることが好ましい。
この場合、MPEG−2形式の番組コンテンツとMPEG−4形式の番組コンテンツとの両方を記録しておくことは著作権管理上の制約や記録部の容量的な問題等によって許されないような条件下でも、極めて高速に、MPEG−2形式の番組コンテンツからMPEG−4形式の番組コンテンツを、又は、MPEG−4形式の番組コンテンツからMPEG−2形式の番組コンテンツを生成し、他の機器で利用することが可能となる。
前記第1の符号化方法は、映像情報を圧縮しない符号化方法であってもよい。この場合、圧縮されていない高精細な映像情報を用いて第2の符号化情報を作成することができるので、高精細な第2の符号化情報を作成することができる。
前記部分情報は、動きベクトル情報を含むことが好ましい。この場合、第1の符号化情報から動きベクトルを作成する必要がなくなるので、処理時間が他の処理時間より2桁余計に処理時間を要する動きベクトル演算を実行する必要がなくなり、第1の符号化情報及び部分情報を用いて第2の符号化情報を極めて高速に生成することができる。
前記部分情報は、DCT情報を含むことが好ましい。この場合、第1の符号化情報からDCT情報を作成する必要がなくなるので、DCT情報の作成処理を実行する必要がなくなり、第1の符号化情報及び部分情報を用いて第2の符号化情報を極めて高速に生成することができる。
前記部分情報は、量子化テーブル及びハフマンテーブルのうち少なくとも一方を有していないことが好ましい。この場合、DCT情報の復元が困難になるので、著作権上の問題が生じる可能性をより低くすることができる。
前記部分情報は、形状符号化情報を含むことが好ましい。この場合、第1の符号化情報から形状符号化情報を作成する必要がなくなるので、形状符号化情報の作成処理を実行する必要がなくなり、第1の符号化情報及び部分情報を用いて第2の符号化情報を極めて高速に生成することができる。
前記部分情報は、前記コンテンツを含む映像情報のフレーム間圧縮フレームにおける情報であることが好ましい。この場合、フレーム間圧縮フレームに関する演算処理を実行する必要がなくなるので、第1の符号化情報及び部分情報を用いて第2の符号化情報を極めて高速に生成することができる。
前記部分情報は、前記第2の符号化情報を前記第1の符号化情報から生成するために使用される他の情報より計算時間を要する情報であって且つ当該部分情報のみでは元の映像を再現できない情報であることが好ましい。この場合、著作権上の問題を発生することなく、一の符号化方法で符号化された映像情報から他の符号化方法で符号化された映像情報を極めて高速に生成することができる。
前記第1及び第2の符号化情報の少なくとも一方は、H.264に準拠する符号化情報であることが好ましい。
この場合、H.264形式の番組コンテンツと他の形式の番組コンテンツ(H.264形式では、プロファイル等に応じ符号化方法が異なるため、H.264形式の異なる符号化形式の番組コンテンツを含む)との両方を記録しておくことは著作権管理上の制約や記録部の容量的な問題等によって許されないような条件下でも、極めて高速に、H.264形式の番組コンテンツから他の形式の番組コンテンツ(H.264形式の異なる符号化形式の番組コンテンツを含む)を、又は、他の形式の番組コンテンツ(H.264形式の異なる符号化形式の番組コンテンツを含む)からH.264形式の番組コンテンツを生成し、他の機器で利用することが可能となる。
前記映像情報記録装置は、前記記録手段の記録可能容量に応じて、前記部分情報として記録する情報を選択する選択手段をさらに備え、前記記録手段は、前記第1の符号化情報とともに、前記選択手段により選択された情報を前記部分情報として記録することが好ましい。
この場合、記録手段の記録可能容量に応じて、部分情報として記録する情報が選択されるので、記録可能容量に適した部分情報を記録することができる。
前記選択手段は、動きベクトル情報を優先して選択することが好ましい。この場合、最も処理時間に影響する動きベクトル情報を優先して記録することができるので、第1の符号化情報及び動きベクトル情報を用いて第2の符号化情報を極めて高速に生成することができる。
前記選択手段は、前記部分情報として記録する情報を、当該情報の時間的な位置を基に選択することが好ましい。この場合、記録手段の記録可能容量だけでなく、情報の時間的な位置を基準に部分情報として記録する情報が選択されるので、記録可能容量及び情報の時間的な位置に応じて最適な部分情報を選択して記録することができる。
前記選択手段は、前記部分情報として記録する情報を、当該情報の空間的な位置を基に選択することが好ましい。この場合、記録手段の記録可能容量だけでなく、情報の空間的な位置を基準に部分情報として記録する情報が選択されるので、記録可能容量及び情報の空間的な位置に応じて最適な部分情報を選択して記録することができる。
前記選択手段は、前記部分情報として記録する情報を、当該情報の色成分を基に選択することが好ましい。この場合、記録手段の記録可能容量だけでなく、情報の色成分を基準に部分情報として記録する情報が選択されるので、記録可能容量及び情報の色成分に応じて最適な部分情報を選択して記録することができる。
前記選択手段は、前記部分情報として記録する情報を、当該情報の計算時間を基に選択することが好ましい。この場合、記録手段の記録可能容量だけでなく、情報の計算時間を基準に部分情報として記録する情報が選択されるので、記録可能容量及び情報の計算時間に応じて最適な部分情報を選択して記録することができる。
前記第1の符号化方法は、暗号化処理及び復号化処理の一方を含むことが好ましい。この場合、あるコンテンツを含む映像情報を暗号化又は復号化して第1の符号化情報として記録することができる。
本発明によれば、例えば、MPEG−2形式の番組コンテンツとMPEG−4形式の番組コンテンツとの両方を記録しておくことは著作権管理上の制約や記録部の容量的な問題等によって許されないような条件下でも、極めて高速に、MPEG−2形式の番組コンテンツからMPEG−4形式の番組コンテンツを生成し、他の機器で利用することが可能となり、産業上の利用可能性は極めて高い。
本特許出願に係る発明(以後、「本発明」という)は、有線あるいは無線の各種ネットワークを使って、個別にあるいは同報的に送信される映像情報を受信し、受信した映像情報を記録する、映像情報記録装置、映像情報記録方法、映像情報記録プログラム、及び映像情報記録プログラムを記録した記録媒体に関するものである。
従来の、有線あるいは無線の各種ネットワークを使って、個別にあるいは同報的に送信される映像情報を受信し、受信した映像情報を記録する、映像情報記録装置、映像情報記録方法、映像情報記録プログラム、映像情報記録プログラムを記録した記録媒体に関する技術には、例えば、下記特許文献1に記載の動画符号化方式変換装置があった。
図8に、この従来の動画符号化方式変換装置900の概略構成図を示し、図9に、この従来の動画符号化方式変換装置900が符号化方式変換を行う時の手順を示す。なお、図8では、本発明に直接関係する部分だけを示し、それ以外の部分は省略している。
まず、この従来の動画符号化方式変換装置900は、受信部901で放送された映像情報を受信する(S901)。次に、この受信した映像情報から、選局・復号部904が番組コンテンツを選局し、復号化する(S902)。次に、制御部902が、選局・復号化した番組コンテンツをMPEG−2形式に符号化し(S903)、MPEG−2形式に符号化した番組コンテンツ941を記録部903に記録する(S904)。
この時、必ずしもMPEG−2形式に限らず、MPEG−4形式に符号化した番組コンテンツ942を記録部903に記録しても構わないし、MPEG−2形式に符号化した番組コンテンツ941とMPEG−4形式に符号化した番組コンテンツ942との両方を記録部903に記録しても構わない。
しかしながら、著作権管理や記録部903の容量的な問題等によって、MPEG−2形式に符号化した番組コンテンツ941とMPEG−4形式に符号化した番組コンテンツ942との両方を記録部903に記録できないこともあり、そのようなケースではどちらか一方のコンテンツだけを記録部903に記録する。
また、このような時、各番組コンテンツを暗号・復号鍵944を使って暗号化して、記録部903に記録しても構わないし、この暗号・復号鍵は、番組コンテンツ毎に異なる鍵であっても構わないし、幾つかの番組コンテンツに共通の鍵であっても構わないし、暗号化と復号化が共通の鍵であっても構わないし、暗号化と復号化とが異なる鍵であっても構わない。
次に、このような番組コンテンツ941を記録している動画符号化方式変換装置900以外の他の機器931で、この番組コンテンツ941を利用するケースを考える。ここで、動画符号化方式変換装置900は、著作権管理の都合、あるいは他の何らかの事情によって、MPEG−2形式で符号化された番組コンテンツ941だけを記録部903に記録しており、他の機器931ではMPEG−4形式で符号化された番組コンテンツだけが利用可能であると仮定する。
このようなケースでは、MPEG−2形式で符号化された番組コンテンツ941をMPEG−4形式で符号化された番組コンテンツ942に変換することが必要になる。そこで、動画符号化方式変換装置900の制御部902は、記録部903からMPEG−2形式で符号化された番組コンテンツ941を読み出して一旦復号化する(S905)。次に、制御部902は、復号化された番組コンテンツをMPEG−4形式の番組コンテンツ942に符号化する(S906)。
この時、同時にあるいは所定時間後に種々の方法で暗号化することも可能である。また、暗号化の鍵は、暗号・復号鍵944と同じものであっても構わないし、異なる鍵であっても構わないし、各種の鍵を使用することができることは、上記と同様であるから詳細な説明は省略する。
そして、制御部902は、このMPEG−4形式の番組コンテンツ942をSDメモリカード922に入出力部905を経由して書き出す(S907)。このSDメモリカード922に記録されたMPEG−4形式の番組コンテンツ942を他の機器931で利用することができる(S908)。
なお、ステップS907においては、著作権管理その他の事情によって、MPEG−4形式の番組コンテンツ942をSDメモリカード922に入出力部905を経由して書き出すと同時に、制御部902は、記録部903に記録しているMPEG−2形式で符号化された番組コンテンツ941を削除することもある。あるいは、著作権管理その他の事情によって必ずしも削除しないこともある。
また、特許文献2には、MPEG−2の動きベクトル情報からMPEG−4の動きベクトル情報を生成する画像情報変換装置が開示されている。この画像情報変換装置では、MPEG−2形式で符号化された符号化データをMPEG−4形式で符号化された符号化データに変換する際、MPEG−2でPフレームであったデータをMPEG−4のP-VOPに変換するときは、MPEG−2の動きベクトル情報からMPEG−4の動きベクトル情報を生成し、MPEG−2でIフレームであったデータをMPEG−4のP-VOPに変換するときは、直前のP−VOPの動きベクトル情報を用いて当該P-VOPの動きベクトル情報を算出し、動きベクトル演算の演算量を削減している。
特開平9−84011号公報
特開2002−152752号公報
しかしながら、前者の動画符号化方式変換装置900では、動画符号化方式変換装置900に記録しているMPEG−2形式の番組コンテンツ941を他の機器で利用する時に、MPEG−2形式の番組コンテンツ941からMPEG−4形式の番組コンテンツ942に変換することが必要になる。このMPEG−2形式の番組コンテンツ941からMPEG−4形式の番組コンテンツ942への変換には実時間を要するため、例えばこの番組コンテンツ941が1時間の番組であったならば、MPEG−2形式の番組コンテンツ941からMPEG−4形式の番組コンテンツ942への変換に1時間を要する。従って、MPEG−4形式の番組コンテンツ942をSDメモリカードに書き出して他の機器931で利用するまで1時間を要し、この時間待っていなければならないという課題があった。
なお、予めMPEG−4形式の番組コンテンツ942を動画符号化方式変換装置900で作成し、記録部903に記録しておけば、このような問題は生じないが、MPEG−2形式の番組コンテンツ941とMPEG−4形式の番組コンテンツ942との両方を記録しておくことは、著作権管理上の制約や記録部903の容量的な問題等によって許されないケースがある。
また、後者の画像情報変換装置には以下の課題がある。図10は、MPEG−2の動き補償に用いられるマクロブロックを示す模式図、図11は、MPEG−4の動き補償に用いられるマクロブロックを示す模式図、図12は、H.264の参照フレームを示す模式図である。図10に示すように、MPEG−2では、16×16画素のマクロブロックR1を用いて動き補償が行われ、図11に示すように、MPEG−4では、色的により近いマクロブロックを検索することができ、8×8画素のマクロブロックR2を用いて動き補償が行われ、使用されるマクロブロックが符号化方式によって異なる。
また、H.264では、図12の上段に示すように、直前もしくはGOP(GROUP OF PICTURES)のフレームを参照フレームとし、マクロブロックR3を用いて動き補償が行われるだけでなく、図12の下段に示すように、Iフレームを超えて広範囲のフレームを参照フレームとし、マクロブロックR4を用いて動き補償を行うこともでき、より効果的な画像圧縮を行うことができる。この場合、従来の動きベクトルを用いて動き予測を行うことができず、動き予測をやり直す必要がある。
このように、MPEG−2、MPEG−4、H.264等の各符号化方式における動きベクトル演算では、符号化方式により参照フレームの範囲、動き補償の単位、及び任意形状符号化のサポートの有無等が異なる。このため、上記の画像情報変換装置では、変換後の符号化方式に最適化された動きベクトル情報を求めることができない。この結果、上記の画像情報変換装置でも、変換後の符号化方式に最適化された動きベクトル情報を求めるためには、変換後の符号化方式に基づいた動きベクトル演算を再度行う必要があり、この演算に長時間を要することとなる。
本発明の目的は、著作権管理又は記録容量等の制約により、同一のコンテンツを異なる符号化方法で符号化した複数の映像情報を重複して記録することができない場合でも、一の符号化方法で符号化された映像情報から他の符号化方法で符号化された映像情報を極めて高速に生成して他の機器で利用することができる映像情報記録装置、映像情報記録方法、映像情報記録プログラム、映像情報記録プログラムを記録した記録媒体を提供することである。
本発明の一の局面に従う映像情報記録装置は、あるコンテンツを含む映像情報を第1の符号化方法で符号化した第1の符号化情報を記録する記録手段と、前記第1の符号化方法と異なる第2の符号化方法で符号化され且つ前記コンテンツを含む第2の符号化情報を前記第1の符号化情報を基に作成するための部分情報を作成する作成手段とを備え、前記記録手段は、前記第1の符号化情報とともに、前記作成手段により作成された部分情報を記録するものである。
この映像情報記録装置においては、第1の符号化情報とともに、第1の符号化方法と異なる第2の符号化方法で符号化され且つ同一コンテンツを含む第2の符号化情報を第1の符号化情報を基に作成するための部分情報を記録しているので、第1の符号化情報及び部分情報を用いて第2の符号化情報を生成することができる。この結果、著作権管理又は記録容量等の制約により、同一のコンテンツを異なる符号化方法で符号化した複数の映像情報を重複して記録することができない場合でも、一の符号化方法で符号化された映像情報から他の符号化方法で符号化された映像情報を極めて高速に生成して他の機器で利用することができる。
以下に、有線あるいは無線の各種ネットワークを使って、個別にあるいは同報的に送信される映像情報を受信し、受信した映像情報を記録する、映像情報記録装置、映像情報記録方法、映像情報記録プログラム、及び映像情報記録プログラムを記録した記録媒体についての本発明の一実施の形態であるデジタル放送受信機について図面を参照して説明する。
図1は、本発明の一実施の形態によるデジタル放送受信機の概略構成図である。なお、図1では、本発明の本質に直接関係する部分だけを示し、それ以外の部分は省略している。
図1に示すように、デジタル放送受信機100は、受信部101、選局・復号部104、制御部102、記録部103、及び入出力部105を備える。デジタル放送受信機100は、映像情報を受信して番組コンテンツをMPEG−2形式に符号化し、MPEG−2形式に符号化した番組コンテンツ141を記録部103に記録するとともに、MPEG−4形式の符号化又はその一部を行って動きベクトルを求め、動きベクトルストリーム147を記録部103に記録する。
また、デジタル放送受信機100は、記録部103からMPEG−2形式で符号化された番組コンテンツ141を読み出して一旦復号化し、復号化された番組コンテンツをMPEG−4形式の番組コンテンツ142に符号化するときに、記録部103に記録されている動きベクトルストリーム147を用いて、復号化された番組コンテンツからMPEG−4形式で符号化した番組コンテンツを作成する。
入出力部105は、SDメモリカード122を装着可能に構成され、デジタル放送受信機100は、入出力部105に装着されたSDメモリカード122にMPEG−4形式で符号化した番組コンテンツを記録する。SDメモリカード122は、デジタル放送受信機100から取り外された後、他の機器131に装着され、他の機器131は、SDメモリカード122に記録されているMPEG−4形式の番組コンテンツを再生する。
図2は、図1に示すデジタル放送受信機100が番組コンテンツを受信し、それを記録し、他の機器で利用するための手順を示すフローチャートである。
図2に示すように、まず、このデジタル放送受信機100の受信部101は、有線あるいは無線の各種ネットワークを使って、個別にあるいは同報的に放送された映像情報を受信する(S101)。次に、操作者の指示に従って、選局・復号部104は、この受信した映像情報から番組コンテンツを選局し、選局した番組コンテンツを復号化する(S102)。次に、制御部102は、番組コンテンツをMPEG−2形式に符号化し(S103)、MPEG−2形式に符号化した番組コンテンツ141を記録部103に記録する(S104)。
この時、必ずしもMPEG−2形式に限らず、MPEG−4形式に符号化した番組コンテンツ142を記録部103に記録しても構わないし、MPEG−2形式に符号化した番組コンテンツ141とMPEG−4形式に符号化した番組コンテンツ142との両方を記録部103に記録しても構わない。また、受信した番組コンテンツが既にMPEG−2形式に符号化されている場合、制御部102は、番組コンテンツをMPEG−2形式に符号化することなく、受信したMPEG−2形式の番組コンテンツ141をそのまま記録部103に記録するようにしてもよい。
また、このような時、制御部102は、各番組コンテンツを暗号・復号鍵144を使って暗号化して、記録部103に記録しても構わない。この暗号・復号鍵144は、番組コンテンツ毎に異なる鍵であっても構わないし、幾つかの番組コンテンツに共通の鍵であっても構わないし、暗号化と復号化が共通の鍵であっても構わないし、暗号化と復号化とが異なる鍵であっても構わない。
さらに、上記受信部101により受信され、選局・復号部104により選局及び復号化される番組コンテンツは、MPEG−2形式やMPEG−4形式のように圧縮された情報でなくても構わないし、この圧縮されていない番組コンテンツをそのまま記録部103に記録しても構わない。ここまでについては、上記従来の動画符号化方式変換装置900と実質的には同一である。
しかしながら、著作権管理等によって、MPEG−2形式に符号化した番組コンテンツ141と、MPEG−4形式に符号化した番組コンテンツ142との両方を記録部103に記録できないこともあり、そのようなケースではどちらか一方のコンテンツだけを記録部103に記録する。
本発明の特徴が発揮されるのは、上記の通り、著作権管理等によって、MPEG−2形式に符号化した番組コンテンツ141と、MPEG−4形式に符号化した番組コンテンツ142との両方を記録部103に記録できない場合であり、そのようなケースでどちらか一方のコンテンツだけを記録部103に記録する時である。
このような時、一般的には、MPEG−4形式とMPEG−2形式とを比較すると、MPEG−2形式では、番組コンテンツが通常のテレビ画質あるいはハイビジョン画質で記録され、MPEG−4形式では、番組コンテンツが携帯電話等のモバイル機器で再生できるようにCIF(Common Intermediate Format)画質等で記録される。よって、MPEG−2形式の方が画質的には優れていると考えられるため、このデジタル放送受信機100は、記録部103にMPEG−2形式の番組コンテンツ141だけを記録したと仮定する。
しかしながら、それでは、上記課題に示す通り、MPEG−2形式の番組コンテンツ141を他の機器で利用する時に、MPEG−2形式の番組コンテンツ141からMPEG−4形式の番組コンテンツに変換することが必要になり、なおかつこのMPEG−2形式の番組コンテンツ141からMPEG−4形式の番組コンテンツへの変換には、実時間を要する。このため、例えばこの番組コンテンツ141が1時間の番組であったならば、MPEG−2形式の番組コンテンツ141からMPEG−4形式の番組コンテンツへの変換に1時間を要し、従って、MPEG−4形式の番組コンテンツをSDメモリカード122に書き出して他の機器131で利用するまで1時間を要し、ユーザはこの時間待っていなければならない。
そこで、本発明の実施の形態であるデジタル放送受信機100では、制御部102が、番組コンテンツをMPEG−2形式に符号化し(S103)、MPEG−2形式に符号化した番組コンテンツ141を記録部103に記録する(S104)のと並行して、MPEG−4形式の符号化、あるいはその一部を行い、動きベクトルを求め(S103)、求めた動きベクトルを動きベクトルストリーム147として記録部103に記録する(S104)。
なお、上記MPEG−4形式の符号化処理と動きベクトルの算出処理は、必ずしも、MPEG−2形式に符号化された情報から行う必要はなく、MPEG−2形式に符号化する前の、受信部101により受信され、選局・復号部104により選局及び復号化された番組コンテンツから行っても構わない。あるいは、MPEG−2形式に符号化された情報を一旦復号化し、復号化された情報から上記MPEG−4形式の符号化と動きベクトルを求めても構わない。
また、必ずしも制御部102が番組コンテンツをMPEG−2形式に符号化することは必要でなく、受信部101により受信され、選局・復号部104により選局及び復号化された番組コンテンツが、すでにMPEG−2形式に符号化されたものであっても構わない。
上記の処理により、記録部103に記録された動きベクトルストリーム147は、動きベクトル情報だけを含んでおり、DCT係数を含んでいないため、それ単独では番組コンテンツを再生することができず、著作権管理等に反することもない。また、動きベクトル情報は、一般的にDCT情報よりもデータサイズが小さいので、記録部103の記録容量が小さい時には、動きベクトル情報を予め計算して記録部103に記録しておくことが有効である。
ここで、MPEG−4形式の符号化、あるいはその一部を行い(S103)、動きベクトルを求め、求めた動きベクトルを動きベクトルストリーム147として記録部103に記録する(S104)ための手順をより詳細に説明する。
まず、動きベクトルストリーム147を記録部103に記録するための手順の理解を容易にするために、番組コンテンツをMPEG−4形式に符号化し、MPEG−4形式に符号化した番組コンテンツを記録する手順を、図1に示すデジタル放送受信機100の制御部102を例に図3によって説明する。
図3は、MPEG−4形式に符号化した番組コンテンツ142を記録部103に記録する場合における主要構成部を示す回路ブロック図である。なお、以下の説明は、図4を用いて後述する、動きベクトルストリーム147を記録部103に記録するための手順の説明を容易にするために便宜的に行うものであり、本実施の形態によるデジタル放送受信機100では、著作権管理又は記録容量等の制約がない場合を除き、MPEG−2形式に符号化した番組コンテンツ141と、MPEG−4形式に符号化した番組コンテンツ142とを同時に記録部103に記録することはしない。
まず、デジタルテレビ放送信号は、受信部101により受信され、選局・復号部104により選局及び復号される。ここまでは、上記の通りである。選局及び復号化が行われた番組コンテンツは、MPEG−2エンコーダ311によりMPEG−2形式の番組コンテンツ141に符号化され、記録部103に記録される。これも上記の通りであり、MPEG−2エンコーダ311については、本発明の本質とは直接関係しないので、詳細な説明は省略する。
次に、選局及び復号化が行われた番組コンテンツが、MPEG−4形式の番組コンテンツ142に符号化されて記録部103に記録される手順を説明する。
まず、選局・復号部104により選局及び復号化された番組コンテンツは、制御部102において、VOP(ビデオ・オブジェクト・プレーン、フレーム)毎に基本処理単位であるマクロブロックに分割される。番組コンテンツは、このマクロブロック単位で差分演算部321へ送られ、後述する動き補償された最適な予測マクロブロックとの差分が求められる。
この差分信号がDCT部323へ送られ、DCT部323で離散コサイン変換(DCT:Discrete Cosine Transform)が行われる。DCTによって得られたDCT係数が、量子化部325へ送られ、DCT係数の量子化が行われる。具体的には、DCT係数を所定の値で割り算し、より小さな数で表現することによって符号化量の削減が行われる。
そして、この量子化されたDCT係数に対して、係数予測部327で、隣接するマクロブロックのDC成分及びAC成分に応じて適応的に予測値及び予測誤差が計算され、符号化量の更なる削減が行われる。
可変長符号化部349では、後述する動きベクトル予測部346で予測が行われた動きベクトルや形状符号化部345で生成された形状符号化情報と共に、予測済みDCT係数が可変長符号化され、MPEG−4形式の番組コンテンツ142が生成されて記録部103に記録される。
また、量子化部325で量子化されたDCT係数は、逆量子化部331で量子化前のDCT係数に戻され、逆DCT部333で離散コサイン変換前の状態に戻される。さらに、加算部335で、差分をとった予測マクロブロックのデータが、離散コサイン変換前の状態に戻された情報に加算されて、元のマクロブロックが復元され、この情報がメモリ部337に記録される。
また、各VOPの分割された各マクロブロックは、動き検出部341に送られて、先のVOPからのみ予測する前方予測、あるいは先のVOPと後のVOPとの両方から予測する双方向予測等、時間的に近傍のVOPの中から、ブロックマッチングを初めとする動き検出方法で、誤差の小さい動きベクトルが検出される。さらに、この誤差が最も小さい予測マクロブロックへの動きを示す信号として、動き検出部341において、動きベクトル情報が生成される。
この動きベクトル情報は、動きベクトル予測部346へ送られ、動きベクトル予測部346では、隣接するマクロブロックの動きベクトルを用いて予測値が計算され、その予測値とこの動きベクトル情報とから、予測済みの動きベクトル情報が生成される。
この予測済み動きベクトル情報は、上記の通り、係数予測部327で生成された予測済みDCT係数や、後述する形状符号化部345で生成された形状符号化情報と共に、可変長符号化部349で可変長符号化され、MPEG−4形式の番組コンテンツ142が生成されて記録部103に記録される。
また、動き検出部341で生成された動きベクトル情報は、動き補償部339へも送られ、メモリ部337に記録しているマクロブロック情報を使って動き補償が行われる。MPEG−4では、マクロブロックを構成する4つの輝度成分(Y)のブロックに対して、それぞれの動きベクトルを使って予測信号を動き補償することができる。また、ブロック単位で動き補償する場合には、1マクロブロックあたり4つの動きベクトルがあり、この4つの動きベクトルを平均化して色差信号の動きベクトルとして使用する。この動き補償部339で動き補償された最適な予測マクロブロックは、差分演算部321へ送られ、次のVOPのマクロブロックの入力に対して、上記差分を求めるために使用される。
さらに、各VOPの分割された各マクロブロックは、形状符号化(CAE)部345へも送られ、形状符号化(CAE)部345では、このマクロブロックが完全にVOP外(ALL 0)あるいは完全にVOP内(ALL 256)でない時、各画素が物体内あるいは物体外のどちらであるかによって定まる形状情報が、CAE(Context−based Arithmetic Encoding)と呼ばれる算術符号化方法で符号化される。
これと同時に、動き検出部341では、上記輝度信号の動きベクトルとは別に、形状情報用の動きベクトルが検出され、この形状情報用の動きベクトルが動き補償部343へ送られて、メモリ部347に記録されている先のVOPのCAE符号化形状情報と共に、動き補償が行われ、この動き補償が行われた形状情報は、形状符号化(CAE)部345に送られる。
形状符号化(CAE)部345では、上記現在のVOPのCAE符号化された形状情報と、この動き補償された先のVOPのCAE符号化された形状情報とを使い、VOP間予測が行われる。このようにCAE符号化され、VOP間予測が行われた形状符号化情報は、可変長符号化部349へ送られ、可変長符号化部349では、上記の通り、DCT係数や動きベクトルと共に、可変長符号化され、MPEG−4形式の番組コンテンツ142が生成されて記録部103に記録される。
次に、上記のMPEG−4形式の符号化、あるいはその一部だけを行い、動きベクトルを求め(S103)、求めた動きベクトルを動きベクトルストリーム147として記録部103に記録する(S104)ための手順を、図4を使って説明する。
図4は、図1に示すデジタル放送受信機100の制御部102においてMPEG−4形式に符号化するために必要な情報の一部を記録部103に記録するための主要構成部を示す回路ブロック図である。
図4に示す通り、MPEG−4形式の符号化、あるいはその一部だけを行い、動きベクトルを求め(S103)、求めた動きベクトルを動きベクトルストリーム147として記録部103に記録する(S104)ための手順も、そのほとんどの部分は、上記MPEG−4形式で符号化された番組コンテンツ142を生成し、記録部103に記録する時と同様であるから、その同様の部分については説明を省略し、異なる部分だけを説明する。
各VOPの分割された各マクロブロックは、動き検出部341に送られて、先のVOPからのみ予測する前方予測、あるいは先のVOPと後のVOPとの両方から予測する双方向予測等、時間的に近傍のVOPの中から、ブロックマッチングを初めとする動き検出方法で、誤差の小さい動きベクトルが検出される。さらに、この誤差が最も小さい予測マクロブロックへの動きを示す信号として、動き検出部341において、動きベクトル情報が生成される。
この動きベクトル情報は、動きベクトル予測部346へ送られ、動きベクトル予測部346では、隣接するマクロブロックの動きベクトルを用いて予測値が計算され、その予測値とこの動きベクトル情報とから、予測済みの動きベクトル情報が生成される。動きベクトル予測部346で予測が行われた予測済み動きベクトルは、そのまま、あるいは何らかの符号化やフォーマット化が行われて、動きベクトルストリーム147として記録部103に記録される。
なお、動きベクトルストリーム147を生成し、記録部103に記録するときに、動きベクトル情報が可変長符号化部349に送られ、この予測が行われた動きベクトル情報が、可変長符号化部349でDCT係数や形状符号化情報と共に可変長符号化される処理が行われても構わない。
同様に、MPEG−4形式で符号化された番組コンテンツ142を生成し記録部103に記録する時のその他の処理、例えば、DCT、DCT係数の量子化、動き補償、DCT係数の予測、この予測済みのDCT係数を含む可変長符号化、CAE符号化された形状情報の生成や動き補償、この形状情報の予測、この予測済みのCAE符号化形状情報を含む可変長符号化等が、行われても構わないし、行われなくても構わない。
一般的には、これらの処理を行わない場合は、消費電力を低減するのに有効であり、一方、これらの処理を行う場合は、MPEG−4形式で符号化された番組コンテンツ142を生成し記録部103に記録する時との整合性を確保するのに有効と考えられるが、必ずしもそうでないこともあり、それぞれ最適な実施の形態を選ぶことができる。
いずれにしても、可変長符号化部349で可変長符号化されたMPEG−4形式の番組コンテンツ142が生成されることはあってもなくても構わないが、少なくともこの番組コンテンツ142が、記録部103に記録されることはない。
次に、このような番組コンテンツ141を記録しているデジタル放送受信機100以外の他の機器131でこの番組コンテンツ141を利用するケースを考える。
ここで、デジタル放送受信機100は、著作権管理の都合、あるいは他の何らかの事情によって、MPEG−2形式で符号化された番組コンテンツ141と動きベクトルストリーム147とだけを記録部103に記録しており、他の機器131では、MPEG−4形式で符号化された番組コンテンツだけが利用可能であると仮定する。このようなケースでは、MPEG−2形式で符号化された番組コンテンツ141をMPEG−4形式で符号化された番組コンテンツ142に変換することが必要になり、以下の処理が実行される。
再び、図2を参照して、デジタル放送受信機100の制御部102は、記録部103からMPEG−2形式で符号化された番組コンテンツ141を読み出して一旦復号化する(S105)。次に、制御部102は、復号化された番組コンテンツをMPEG−4形式の番組コンテンツ142に符号化する(S106)。なお、MPEG−4形式の番組コンテンツ142は、同時にあるいは所定時間後に種々の方法で暗号化することも可能である(S106)。
この時、制御部102は、記録部103から動きベクトルストリーム147を読み出して、復号化された番組コンテンツをMPEG−4形式の番組コンテンツ142に符号化するために利用する。この予め求めてある動きベクトルストリーム147を利用することによって、番組コンテンツをMPEG−4形式の番組コンテンツ142に符号化するために要する時間を大幅に短縮することができる。
上記の通り、番組コンテンツをMPEG−4形式の番組コンテンツ142に符号化するためには実時間を必要とするが、より詳細に処理内容を見ると、その実時間を必要とするのは、動き検出、動き補償、予測誤差計算等の動きベクトルを求める処理である。
そして上記の通り、制御部102が、番組コンテンツをMPEG−2形式に符号化し(S103)、MPEG−2形式に符号化した番組コンテンツ141を記録部103に記録する(S104)のと並行して、MPEG−4形式の符号化も行い(S103)、動きベクトルを求めるならば、映像情報は通常実時間で放送されていると考えられるので、全く超過時間を必要とすることもない。
また、MPEG−2形式で符号化した番組コンテンツ141とMPEG−4形式で符号化した番組コンテンツ142との画面サイズが同じであるなら、MPEG−2形式で符号化した番組コンテンツ141のIフレームのDCT係数を流用することができるので、さらに高速化が可能となる。
そして、制御部102は、このMPEG−4形式の番組コンテンツ142を、入出力部105を経由してSDメモリカード122に書き出す(S107)。この結果、ユーザは、このSDメモリカード122に記録されたMPEG−4形式の番組コンテンツ142を他の機器131で利用することができる(S108)。
ここで、MPEG−2形式で符号化された番組コンテンツ141をMPEG−4形式で符号化された番組コンテンツ142に変換するための手順を、図5を使って説明する。
図5は、図1に示すデジタル放送受信機100の制御部102においてMPEG−2形式で符号化された番組コンテンツ141をMPEG−4形式で符号化された番組コンテンツ142に変換するための主要構成部を示す回路ブロック図である。
まず、制御部102のMPEG−2デコーダ351は、記録部103からMPEG−2形式で符号化された番組コンテンツ141を読み出して復号化し、マクロブロック単位で差分演算部321及び形状符号化(CAE)部347へ出力する。
次に、差分演算部321は、各VOPの分割された各マクロブロックと、動き補償された最適な予測マクロブロックとの差分を求め、DCT部323は、離散コサイン変換を実行する。また、量子化部325は、DCT係数の量子化を行い、係数予測部327は、隣接するマクロブロックのDC成分及びAC成分に応じて適応的に予測値及び予測誤差を計算し、予測済みDCT係数を可変長符号化部349へ出力する。
このとき、逆量子化部331は、量子化部325で量子化されたDCT係数を量子化前のDCT係数に戻し、逆DCT部333は、量子化前のDCT係数を離散コサイン変換前の状態に戻す。加算部335は、差分をとった予測マクロブロックのデータを離散コサイン変換前の状態に戻された情報に加算し、元のマクロブロックが復元され、この情報がメモリ部337に記録される。
また、動きベクトル復元部351は、記録部103から動きベクトルストリーム147を読み出し、予測済みの動きベクトル情報を動きベクトル情報に復元して動き補償部339へ出力する。動き補償部339は、メモリ部337に記録しているマクロブロック情報を使って動き補償を行い、差分演算部321は、次のVOPのマクロブロックと、動き補償された最適な予測マクロブロックとの差分を求める。
これと同時に、動きベクトル復元部351は、上記輝度信号の動きベクトルとは別に、形状情報用の動きベクトルを復元し、動き補償部343は、この形状情報用の動きベクトルと、メモリ部347に記録されている先のVOPのCAE符号化形状情報とを用いて、動き補償を行い、この動き補償が行われた形状情報を形状符号化(CAE)部345へ出力する。
形状符号化(CAE)部345は、現在のVOPのCAE符号化された形状情報と、上記の動き補償された先のVOPのCAE符号化された形状情報とを用いてVOP間予測を行い、形状符号化情報をメモリ部347及び可変長符号化部349へ出力する。
可変長符号化部349は、記録部103から動きベクトルストリーム147を読み出し、この動きベクトルストリーム147と、係数予測部327から出力されるDCT情報と、形状符号化(CAE)部345から出力される形状符号化情報とを可変長符号化し、MPEG−4形式の番組コンテンツを生成して入出力部105へ出力する。入出力部105は、このMPEG−4形式の番組コンテンツをSDメモリカード122に記録する。この結果、ユーザは、SDメモリカード122に記録されたMPEG−4形式の番組コンテンツ142を他の機器131で利用することができる。
なお、上記の説明では、MPEG−2形式で符号化された番組コンテンツ141をMPEG−4形式で符号化された番組コンテンツ142に変換するデジタル放送受信機100において行う例を説明したが、MPEG−2形式で符号化された番組コンテンツ141及び動きベクトルストリーム147をSDメモリカード122に記録し、SDメモリカード122に記録されているMPEG−2形式で符号化された番組コンテンツ141及び動きベクトルストリーム147を用いて、他の機器131で上記の処理を実行するようにしてもよい。
上記の説明では、番組コンテンツをMPEG−2形式に符号化し(S103)、MPEG−2形式に符号化した番組コンテンツ141を記録部103に記録する(S104)のと並行して、MPEG−4形式の符号化、あるいはその一部を行い(S103)、記録部103に記録する情報として、動きベクトルストリーム147だけを記録する場合について説明した。
しかしながら、MPEG−2形式に符号化した番組コンテンツ141を記録部103に記録するのと並行して、MPEG−4形式の符号化、あるいはその一部を行い、記録部103に記録する情報は、必ずしも動きベクトルストリーム147に限るものではない。
すなわち、上記説明からわかる通り、後でMPEG−2形式で符号化された番組コンテンツ141を元にMPEG−4形式の符号化を行う時に、そのMPEG−4符号化を高速実行するために有効な情報であり、なおかつ、その情報だけでは番組コンテンツを復元できない情報であるならば、何であっても構わない。
上記第1の条件が必要とされる理由は、この情報によって後でMPEG−4符号化を高速に行うことが目的だからであり、上記第2の条件が必要とされる理由は、著作権管理の要請から、この情報だけで番組コンテンツを復元可能であってはならないからである。このような、2つの条件を満たす情報の具体的な例として、上記動きベクトルストリーム147以外に、DCT情報と、形状符号化情報とを挙げることができる。
以下に、これらのDCT情報と、形状符号化情報とを、上記動きベクトルストリーム147に代えて、あるいは、動きベクトルストリーム147と共に、記録部103に記録する手順を、図4を使って説明する。
まず、DCT情報167を記録部103に記録する処理について説明する。図4に示す通り、MPEG−4形式の符号化、あるいはその一部だけを行い、DCT係数を求め、求めたDCT係数をDCT情報167として記録部103に記録するための手順も、そのほとんどの部分は、上記MPEG−4形式で符号化された番組コンテンツ142を生成し、記録部103に記録する時と同様である。
各VOPの分割された各マクロブロックは、差分演算部321へ送られ、動き補償された最適な予測マクロブロックとの差分が求められる。この差分信号がDCT部323へ送られ、DCT部323で離散コサイン変換が行われる。DCTによって得られたDCT係数は、量子化部325へ送られ、DCT係数の量子化が行われる。
そして、この量子化されたDCT係数に対して、係数予測部327で、隣接するマクロブロックのDC成分及びAC成分に応じて適応的に予測値及び予測誤差が計算され、符号化量の更なる削減が行われる。係数予測部327で予測が行われた予測済みDCT係数は、そのまま、あるいは何らかの符号化やフォーマット化が行われて、DCT情報167として記録部103に記録される。
なお、DCT情報167を生成し、記録部103に記録するときに、DCT係数が可変長符号化部349に送られ、この予測が行われたDCT係数が、可変長符号化部349で動きベクトルや形状符号化情報と共に可変長符号化される処理が行われても構わない。
同様に、MPEG−4形式で符号化された番組コンテンツ142を生成し記録部103に記録する時のその他の処理、例えば、動きベクトルの計算、動き補償、動きベクトルの予測、この予測済みの動きベクトルを含む可変長符号化、CAE符号化された形状情報の生成や動き補償、この形状情報の予測、この予測済みのCAE符号化形状情報を含む可変長符号化等が、行われても構わないし、行われなくても構わない。
また、DCT情報167が記録部103に記録されていたとしても、動きベクトルがなければ、正確な映像として再生されないので、著作権上の問題を生じる可能性が低くなる。さらに、DCT情報167を非圧縮映像に復元する際に必要な量子化テーブル及びハフマンテーブルの何れか又は両方を記録せずにおけば、DCT情報167の復元が非常に困難となるため、著作権上の問題を生じる可能性がさらに低くなる。
次に、形状符号化情報165を記録部103に記録する処理について説明する。図4に示す通り、MPEG−4形式の符号化、あるいはその一部だけを行い、形状符号化情報165を求め、求めた形状符号化情報165を記録部103に記録するための手順も、そのほとんどの部分は、上記MPEG−4形式で符号化された番組コンテンツ142を生成し、記録部103に記録する時と同様である。
各VOPの分割された各マクロブロックは、形状符号化(CAE)部345へ送られ、形状符号化(CAE)部345では、このマクロブロックが完全にVOP外(ALL 0)あるいは完全にVOP内(ALL 256)でない時、各画素が物体内あるいは物体外のどちらであるかによって定まる形状情報が、CAEと呼ばれる算術符号化方法で符号化される。
これと同時に、動き検出部341では、上記輝度信号の動きベクトルとは別に、形状情報用の動きベクトルが検出され、この形状情報用の動きベクトルが動き補償部343へ送られて、メモリ部347に記録されている先のVOPのCAE符号化形状情報と共に、動き補償が行われ、この動き補償が行われた形状情報は、形状符号化(CAE)部345に送られる。
形状符号化(CAE)部345では、上記現在のVOPのCAE符号化された形状情報と、この動き補償された先のVOPのCAE符号化された形状情報とを使い、VOP間予測が行われる。形状符号化(CAE)部345で予測が行われた予測済み形状符号化情報は、そのまま、あるいは何らかの符号化やフォーマット化が行われ、形状符号化情報165として記録部103に記録される。
なお、形状符号化情報165を生成し、記録部103に記録するときに、形状符号化情報が可変長符号化部349に送られ、この予測が行われた形状符号化情報が、可変長符号化部349でDCT係数や動きベクトル情報と共に可変長符号化される処理が行われても構わない。
同様に、MPEG−4形式で符号化された番組コンテンツ142を生成し記録部103に記録する時のその他の処理、例えば、DCT係数の計算、動き補償、DCT係数の予測、この予測済みのDCT係数を含む可変長符号化、動きベクトルの計算、動き補償、動きベクトルの予測、この予測済みの動きベクトルを含む可変長符号化等が、行われても構わないし、行われなくても構わない。
このように、上記動きベクトルストリーム147に代えて、DCT情報167や形状符号化情報165を記録部103に記録する例では、後で、MPEG−2形式で符号化された番組コンテンツ141を元にMPEG−4形式の符号化を行う時に、そのMPEG−4符号化を高速実行するために、この記録部103に記録されているDCT情報167や形状符号化情報165を使用する。
なお、後でMPEG−2形式で符号化された番組コンテンツ141を元にMPEG−4形式の符号化を行う時に、そのMPEG−4符号化を高速実行するために有効な情報であり、なおかつ、その情報だけでは番組コンテンツを復元できない情報として、上記の通り、動きベクトルストリーム147、DCT情報167、形状符号化情報165の3つについて説明したが、これら以外の情報であっても構わないし、これらの幾つかを組み合わせたものであっても構わない。
また、上記の情報としては、動きベクトルストリーム147、DCT情報167、形状符号化情報165に特に限定されず、例えば、H.264等のMPEG以外の他の動画圧縮規格において、当該圧縮規格に特有の計算時間を要する情報であって且つその情報のみでは完全な映像を再現できない情報であれば、種々の情報を記録することができ、例えば、エラーリカバリー用のデータ、中間データ等を記録するようにしてもよい。
上記の情報の選択は、デジタル放送受信機が有する記録部103又はSDメモリカード122の記録可能な容量に応じて行うことができる。また、この記録部103又はSDメモリカード122の記録可能な容量が比較的少ない時には、動きベクトルストリーム147を優先的に選択することも、有効な方法の1つである。
同様の方法として、PフレームやBフレームについてのみ予め計算して記録部103に記録しておき、その後、MPEG−2形式で符号化された番組コンテンツ141を元にMPEG−4形式の符号化を行う時には、Iフレームについてのみ計算を行っても構わない。
また、著作権上の制限により、動きベクトルストリーム及び形状符号化情報を記録することはできるが、DCT情報をすべては記録できない場合、SDメモリカード122の記憶容量に応じて、DCT係数の記録データ量を変更するようにしてもよい。図6は、SDメモリカード122に記録される番組コンテンツの一例を示す模式図である。
図6に示すように、SDメモリカード122には、ある番組G全体のMPEG−2形式の番組コンテンツ151と、番組Gの一部であるMPEG−4形式の番組コンテンツ161(番組コンテンツ151をMPEG−4形式の番組コンテンツへ高速に変換するときに利用される情報)が記録されている。番組コンテンツ151は、番組Gの再生に必要なすべてのDCT情報152と、番組Gの再生に必要なDCT情報以外の、動きベクトル等の情報153とから構成され、番組コンテンツ161は、番組Gの一部のDCT情報162と、番組Gの再生に必要なDCT情報以外の、動きベクトル等の情報163とから構成されている。
制御部102は、入出力部150を用いて、SDメモリカード122の空記憶容量を検出し、検出した空記憶容量に応じて、以下の選択方法により選択されたDCT情報162を記録させる。
(1)映像情報の時間的な位置によってDCT情報を選択する。例えば、SDメモリカード122の空記憶容量を基に記憶可能と判断した容量に対応する番組Gの再生時間を算出し、当該再生時間までのDCT情報をSDメモリカード122に記録させ、この再生時間以降のDCT情報を記録させないようにしてもよい。なお、時間的な位置を基準に判断する方法は、この例に特に限定されず、例えば、ある数の倍数となる再生時間のDCT情報を記録しないようにしてもよい。
(2)映像情報の空間的な位置によってDCT情報を選択する。例えば、SDメモリカード122の空記憶容量を基に記憶可能と判断した容量に対応する番組Gの各フレームの特定部分を算出し、各フレームの特定部分のDCT情報をSDメモリカード122に記録させ、特定分以外の部分のDCT情報を記録させないようにしてもよい。
(3)映像情報の色成分によってDCT情報を選択する。例えば、YUV成分の映像信号が用いられている場合、UV成分のDCT情報をSDメモリカード122に記録させ、Y成分のDCT情報を記録させないようにしてもよい。
(4)情報の計算時間によって記録する情報を選択する。例えば、計算に時間がかかる情報を高優先で記録させ、計算に時間がかからない情報を低優先で記録するようにしてもよい。
次に、上記の変換処理により作成されたMPEG−4形式の番組コンテンツを、制御部102がSDメモリカード122に書き込み中に、ユーザがデジタル放送受信機100の電源をオフした場合の対処方法について説明する。図7は、MPEG−4形式のストリームとフレーム画像との関係を示す図である。
図7に示すように、MPEG−4形式の番組コンテンツであるストリーム171が電源断前にSDメモリカード122に記録され、ストリーム171のフレームnの原画像172のあるマクロブロックをMBa、マクロブロックMBaに対応するストリーム171の動きベクトル及び差分をMVaとする。
その後、ユーザがデジタル放送受信機100の電源を再びオンしたとき、制御部102は、フレームnのエンコードに際し、SDメモリカード122からストリーム171を読み出し、内部のMPEG−4デコーダ(図示省略)を用いてストリーム171をデコードし、動きベクトル及び差分MVaから得られる画像と、フレームnの原画像173のマクロブロックMBaとを比較する。両者の差が所定の閾値以下の場合、制御部102は、動きベクトル及び差分MVaを妥当と判断し、原画像173のマクロブロックMBaの動き予測処理を実行することなく、動きベクトル及び差分MVaを使用する。この結果、エンコード時に最も時間のかかる動き予測処理を省略することができるので、電源断による不慮のエンコード中断が発生したとしても、その後のエンコードのやり直し時間を大幅に短縮することができる。
なお、本実施の形態では、MPEG−2形式の番組コンテンツ141と、MPEG−4形式の符号化を行うための動きベクトルストリーム147とを予め作成して記録しておくことによって、その後、MPEG−2形式で符号化された番組コンテンツ141を元にMPEG−4形式の符号化を行う時に、そのMPEG−4符号化を高速実行する手法について説明した。しかしながら、本発明は必ずしもこのような例に限るものではなく、種々の符号化形式で符号化された番組コンテンツ情報を元に、他の符号化形式で符号化された番組コンテンツ情報を生成する時にも、同様に適用することができる。
例えば、予め、MPEG−4形式で符号化された番組コンテンツ情報と、この番組コンテンツ情報からMPEG−2形式で符号化された番組コンテンツ情報を生成するために必要な情報、特に生成に長時間を要する情報、例えばMPEG−2形式の符号化のための動きベクトル情報を予め作成して記録しておくことによって、その後、MPEG−4形式で符号化された番組コンテンツを元にMPEG−2形式の符号化を行う時に、そのMPEG−2符号化を高速実行することができる。
特に、デジタル放送受信機100が、モバイル機器あるいは可搬型機器等であった場合、モバイル機器等であることによる仕様上・性能上の制約から、MPEG−4形式で番組コンテンツ情報等が記録されることが多く、さらに記録部103の容量が限られていることが多い。このような場合、予め作成し、記録しておく動きベクトル情報はデータサイズが比較的小さいので、モバイル機器等においても、記録部103の記憶容量を圧迫することがなく、MPEG−4形式からMPEG−2形式への符号化処理を高速に実行したり、あるいは高速実行に必要な情報を記録しておくことが可能となる。
なお、このデジタル放送受信機100が番組コンテンツを受信し、それを記録し、他の機器で利用するための手順は、本特許出願に係る映像情報記録方法の実施の形態であり、このデジタル放送受信機100及び制御部102は、マイクロコンピュータとその動作を制御するプログラムによって実現されてもよい。また、このプログラムは、本特許出願に係る映像情報記録プログラムの実施の形態であり、RAM/ROM等の半導体メモリやHDD/DVD等、磁気方式、光方式、これらの組み合わせ、あるいはその他の各種方式で情報を記録する何らかの記録媒体に記録保持され、この記録媒体は本発明に係る映像情報記録プログラムを記録した記録媒体の実施の形態である。
また、本実施の形態では、同じデジタル放送受信機100において、番組コンテンツをMPEG−2形式に符号化し、MPEG−2形式に符号化した番組コンテンツ141を記録部103に記録する処理と並行して、MPEG−4形式の符号化、あるいはその一部を行い、動きベクトルを求める処理と、記録部103からMPEG−2形式で符号化された番組コンテンツ141を読み出して一旦復号化し、復号化された番組コンテンツをMPEG−4形式の番組コンテンツ142に符号化する時、記録部103から動きベクトルストリーム147を読み出して、復号化された番組コンテンツをMPEG−4形式の番組コンテンツ142に符号化するために利用する処理とを実行する場合について説明したが、これら処理をそれぞれ異なる装置や機器が実行するようにしてもよい。
上記のように、本発明に係る映像情報記録装置は、あるコンテンツを含む映像情報を第1の符号化方法で符号化した第1の符号化情報を記録する記録手段と、前記第1の符号化方法と異なる第2の符号化方法で符号化され且つ前記コンテンツを含む第2の符号化情報を前記第1の符号化情報から生成するために使用される部分情報を作成する作成手段とを備え、前記記録手段は、前記第1の符号化情報とともに、前記作成手段により作成された部分情報を記録するものである。
本発明に係る映像情報記録方法は、あるコンテンツを含む映像情報を第1の符号化方法で符号化した第1の符号化情報を記録手段に記録するステップと、前記第1の符号化方法と異なる第2の符号化方法で符号化され且つ前記コンテンツを含む第2の符号化情報を前記第1の符号化情報から生成するために使用される部分情報を作成するステップと、作成された部分情報を前記第1の符号化情報とともに前記記録手段に記録するステップとを含むものである。
本発明に係る映像情報記録プログラムは、あるコンテンツを含む映像情報を第1の符号化方法で符号化した第1の符号化情報を記録する記録手段と、前記第1の符号化方法と異なる第2の符号化方法で符号化され且つ前記コンテンツを含む第2の符号化情報を前記第1の符号化情報から生成するために使用される部分情報を作成する作成手段としてコンピュータを機能させ、前記記録手段は、前記第1の符号化情報とともに、前記作成手段により作成された部分情報を記録するものである。
本発明に係る記録媒体は、あるコンテンツを含む映像情報を第1の符号化方法で符号化した第1の符号化情報を記録する記録手段と、前記第1の符号化方法と異なる第2の符号化方法で符号化され且つ前記コンテンツを含む第2の符号化情報を前記第1の符号化情報から生成するために使用される部分情報を作成する作成手段としてコンピュータを機能させ、前記記録手段は、前記第1の符号化情報とともに、前記作成手段により作成された部分情報を記録することを特徴とする映像情報記録プログラムを記録したコンピュータ読み取り可能な記録媒体である。
上記の各構成により、第1の符号化情報とともに、第1の符号化方法と異なる第2の符号化方法で符号化され且つ同一コンテンツを含む第2の符号化情報を第1の符号化情報から生成するために使用される部分情報を記録しているので、第1の符号化情報及び部分情報を用いて第2の符号化情報を生成することができる。この結果、著作権管理又は記録容量等の制約により、同一のコンテンツを異なる符号化方法で符号化した複数の映像情報を重複して記録することができない場合でも、一の符号化方法で符号化された映像情報から他の符号化方法で符号化された映像情報を極めて高速に生成して他の機器で利用することができる。
例えば、MPEG−2形式の番組コンテンツとMPEG−4形式の番組コンテンツとの両方を記録しておくことは著作権管理上の制約や記録部の容量的な問題等によって許されないような条件下でも、極めて高速に、MPEG−2形式の番組コンテンツからMPEG−4形式の番組コンテンツを生成し、他の機器で利用することが可能となる。
前記映像情報記録装置は、第1の符号化情報を受信する受信手段をさらに備え、前記記録手段は、前記受信手段により受信された第1の符号化情報とともに、前記作成手段により作成された部分情報を記録することが好ましい。
この場合、第1の符号化情報が受信され、受信された第1の符号化情報とともに、作成された部分情報が記録されるので、第1の符号化情報及び部分情報を用いて第2の符号化情報を生成することができる。
前記作成手段は、前記受信手段による前記第1の符号化情報の受信処理、及び前記記録手段による前記第1の符号化情報の記録処理のうち少なくとも一つの処理と並行して前記部分情報を作成することが好ましい。
この場合、第1の符号化情報の受信処理及び第1の符号化情報の記録処理のうち少なくとも一つの処理と並行して部分情報の作成処理が実行されるので、第1の符号化情報を記録する時間内に部分情報を作成することができ、部分情報を作成するために余分な時間を浪費することを防止することができる。
前記映像情報記録装置は、前記コンテンツを含む映像情報を受信する受信手段と、前記受信手段により受信された映像情報を前記第1の符号化方法で符号化して第1の符号化情報を作成する符号化手段とをさらに備え、前記記録手段は、前記符号化手段により作成された第1の符号化情報とともに、前記作成手段により作成された部分情報を記録することが好ましい。
この場合、コンテンツを含む映像情報が受信され、受信された映像情報から第1の符号化情報が作成され、作成された第1の符号化情報とともに、部分情報が記録されるので、第1の符号化情報及び部分情報を用いて第2の符号化情報を生成することができる。
前記作成手段は、前記受信手段による前記映像情報の受信処理、前記符号化手段による前記第1の符号化情報の符号化処理、及び前記記録手段による前記第1の符号化情報の記録処理のうち少なくとも一つの処理と並行して前記部分情報を作成することが好ましい。
この場合、映像情報の受信処理、第1の符号化情報の符号化処理、及び第1の符号化情報の記録処理のうち少なくとも一つの処理と並行して部分情報の作成処理が実行されるので、第1の符号化情報を記録する時間内に部分情報を作成することができ、部分情報を作成するために余分な時間を浪費することを防止することができる。
前記映像情報記録装置は、前記第1及び第2の符号化方法と異なる第3の符号化方法で符号化され且つ前記コンテンツを含む第3の符号化情報を受信する受信手段と、前記受信手段により受信された第3の符号化情報を前記第1の符号化方法で符号化して第1の符号化情報を作成する符号化手段とをさらに備え、前記記録手段は、前記符号化手段により作成された第1の符号化情報とともに、前記作成手段により作成された部分情報を記録することが好ましい。
この場合、第3の符号化方法で符号化され且つコンテンツを含む第3の符号化情報が受信され、受信された第3の符号化情報から第1の符号化情報が作成され、作成された第1の符号化情報とともに、部分情報が記録されるので、第1の符号化情報及び部分情報を用いて第2の符号化情報を生成することができる。
前記作成手段は、前記受信手段による前記第3の符号化情報の受信処理、前記符号化手段による前記第1の符号化情報の符号化処理、及び前記記録手段による前記第1の符号化情報の記録処理のうち少なくとも一つの処理と並行して前記部分情報を作成することが好ましい。
この場合、第3の符号化情報の受信処理、第1の符号化情報の符号化処理、及び第1の符号化情報の記録処理のうち少なくとも一つの処理と並行して部分情報の作成処理が実行されるので、第1の符号化情報を記録する時間内に部分情報を作成することができ、部分情報を作成するために余分な時間を浪費することを防止することができる。
前記映像情報記録装置は、前記記録手段に記録されている前記第1の符号化情報及び前記部分情報を用いて前記第2の符号化情報を生成する生成手段をさらに備えることが好ましい。
この場合、第1の符号化情報及び部分情報を用いて第2の符号化情報を生成しているので、第1の符号化情報及び部分情報を用いて第2の符号化情報を極めて高速に生成することができる。
本発明に係る他の映像情報記録装置は、あるコンテンツを含む映像情報を第1の符号化方法で符号化した第1の符号化情報と、前記第1の符号化方法と異なる第2の符号化方法で符号化され且つ前記コンテンツを含む第2の符号化情報を前記第1の符号化情報から生成するために使用される部分情報とを記録する記録手段と、前記記録手段に記録されている前記第1の符号化情報及び前記部分情報を用いて前記第2の符号化情報を生成する生成手段とを備えるものである。
上記の構成により、第1の符号化情報と、第1の符号化方法と異なる第2の符号化方法で符号化され且つ同一コンテンツを含む第2の符号化情報を第1の符号化情報から生成するために使用される部分情報とを用いて第2の符号化情報を生成することができるので、著作権管理又は記録容量等の制約により、同一のコンテンツを異なる符号化方法で符号化した複数の映像情報を重複して記録することができない場合でも、一の符号化方法で符号化された映像情報から他の符号化方法で符号化された映像情報を極めて高速に生成して他の機器で利用することができる。
前記映像情報記録装置は、前記生成手段により生成された前記第2の符号化情報を記録する第2の符号化情報用記録手段をさらに備え、前記生成手段は、前記第2の符号化情報を生成する生成処理が中断され、その後に生成処理を再開する場合、前記第2の符号化情報用記録手段に既に記録されている第2の符号化情報を用いて、中断後の第2の符号化情報を生成することが好ましい。
この場合、既に記録されている第2の符号化情報を用いて、中断後の第2の符号化情報を生成しているので、時間の要する処理を再度実行する必要がなくなり、電源断等による不慮の生成中断が発生したとしても、その後の生成処理のやり直し時間を大幅に短縮することができる。
前記第1の符号化方法は、映像情報を圧縮する符号化方法であることが好ましい。この場合、少ない記録容量で第1の符号化情報を記録することができるので、記録容量の少ない記憶手段を用いて第2の符号化情報を作成することができる。
前記第1の符号化情報は、MPEG−2に準拠する符号化情報及びMPEG−4に準拠する符号化情報のうちの一方であり、前記第2の符号化情報は、他方であることが好ましい。
この場合、MPEG−2形式の番組コンテンツとMPEG−4形式の番組コンテンツとの両方を記録しておくことは著作権管理上の制約や記録部の容量的な問題等によって許されないような条件下でも、極めて高速に、MPEG−2形式の番組コンテンツからMPEG−4形式の番組コンテンツを、又は、MPEG−4形式の番組コンテンツからMPEG−2形式の番組コンテンツを生成し、他の機器で利用することが可能となる。
前記第1の符号化方法は、映像情報を圧縮しない符号化方法であってもよい。この場合、圧縮されていない高精細な映像情報を用いて第2の符号化情報を作成することができるので、高精細な第2の符号化情報を作成することができる。
前記部分情報は、動きベクトル情報を含むことが好ましい。この場合、第1の符号化情報から動きベクトルを作成する必要がなくなるので、処理時間が他の処理時間より2桁余計に処理時間を要する動きベクトル演算を実行する必要がなくなり、第1の符号化情報及び部分情報を用いて第2の符号化情報を極めて高速に生成することができる。
前記部分情報は、DCT情報を含むことが好ましい。この場合、第1の符号化情報からDCT情報を作成する必要がなくなるので、DCT情報の作成処理を実行する必要がなくなり、第1の符号化情報及び部分情報を用いて第2の符号化情報を極めて高速に生成することができる。
前記部分情報は、量子化テーブル及びハフマンテーブルのうち少なくとも一方を有していないことが好ましい。この場合、DCT情報の復元が困難になるので、著作権上の問題が生じる可能性をより低くすることができる。
前記部分情報は、形状符号化情報を含むことが好ましい。この場合、第1の符号化情報から形状符号化情報を作成する必要がなくなるので、形状符号化情報の作成処理を実行する必要がなくなり、第1の符号化情報及び部分情報を用いて第2の符号化情報を極めて高速に生成することができる。
前記部分情報は、前記コンテンツを含む映像情報のフレーム間圧縮フレームにおける情報であることが好ましい。この場合、フレーム間圧縮フレームに関する演算処理を実行する必要がなくなるので、第1の符号化情報及び部分情報を用いて第2の符号化情報を極めて高速に生成することができる。
前記部分情報は、前記第2の符号化情報を前記第1の符号化情報から生成するために使用される他の情報より計算時間を要する情報であって且つ当該部分情報のみでは元の映像を再現できない情報であることが好ましい。この場合、著作権上の問題を発生することなく、一の符号化方法で符号化された映像情報から他の符号化方法で符号化された映像情報を極めて高速に生成することができる。
前記第1及び第2の符号化情報の少なくとも一方は、H.264に準拠する符号化情報であることが好ましい。
この場合、H.264形式の番組コンテンツと他の形式の番組コンテンツ(H.264形式では、プロファイル等に応じ符号化方法が異なるため、H.264形式の異なる符号化形式の番組コンテンツを含む)との両方を記録しておくことは著作権管理上の制約や記録部の容量的な問題等によって許されないような条件下でも、極めて高速に、H.264形式の番組コンテンツから他の形式の番組コンテンツ(H.264形式の異なる符号化形式の番組コンテンツを含む)を、又は、他の形式の番組コンテンツ(H.264形式の異なる符号化形式の番組コンテンツを含む)からH.264形式の番組コンテンツを生成し、他の機器で利用することが可能となる。
前記映像情報記録装置は、前記記録手段の記録可能容量に応じて、前記部分情報として記録する情報を選択する選択手段をさらに備え、前記記録手段は、前記第1の符号化情報とともに、前記選択手段により選択された情報を前記部分情報として記録することが好ましい。
この場合、記録手段の記録可能容量に応じて、部分情報として記録する情報が選択されるので、記録可能容量に適した部分情報を記録することができる。
前記選択手段は、動きベクトル情報を優先して選択することが好ましい。この場合、最も処理時間に影響する動きベクトル情報を優先して記録することができるので、第1の符号化情報及び動きベクトル情報を用いて第2の符号化情報を極めて高速に生成することができる。
前記選択手段は、前記部分情報として記録する情報を、当該情報の時間的な位置を基に選択することが好ましい。この場合、記録手段の記録可能容量だけでなく、情報の時間的な位置を基準に部分情報として記録する情報が選択されるので、記録可能容量及び情報の時間的な位置に応じて最適な部分情報を選択して記録することができる。
前記選択手段は、前記部分情報として記録する情報を、当該情報の空間的な位置を基に選択することが好ましい。この場合、記録手段の記録可能容量だけでなく、情報の空間的な位置を基準に部分情報として記録する情報が選択されるので、記録可能容量及び情報の空間的な位置に応じて最適な部分情報を選択して記録することができる。
前記選択手段は、前記部分情報として記録する情報を、当該情報の色成分を基に選択することが好ましい。この場合、記録手段の記録可能容量だけでなく、情報の色成分を基準に部分情報として記録する情報が選択されるので、記録可能容量及び情報の色成分に応じて最適な部分情報を選択して記録することができる。
前記選択手段は、前記部分情報として記録する情報を、当該情報の計算時間を基に選択することが好ましい。この場合、記録手段の記録可能容量だけでなく、情報の計算時間を基準に部分情報として記録する情報が選択されるので、記録可能容量及び情報の計算時間に応じて最適な部分情報を選択して記録することができる。
前記第1の符号化方法は、暗号化処理及び復号化処理の一方を含むことが好ましい。この場合、あるコンテンツを含む映像情報を暗号化又は復号化して第1の符号化情報として記録することができる。
本発明によれば、例えば、MPEG−2形式の番組コンテンツとMPEG−4形式の番組コンテンツとの両方を記録しておくことは著作権管理上の制約や記録部の容量的な問題等によって許されないような条件下でも、極めて高速に、MPEG−2形式の番組コンテンツからMPEG−4形式の番組コンテンツを生成し、他の機器で利用することが可能となり、産業上の利用可能性は極めて高い。
本発明の一実施の形態によるデジタル放送受信機の概略構成図である。
図1に示すデジタル放送受信機が符号化方式変換を行う時の手順を示すフローチャートである。
MPEG−4形式に符号化した番組コンテンツを記録するための主要構成部を示す回路ブロック図である。
図1に示すデジタル放送受信機の制御部においてMPEG−4形式に符号化するために必要な情報の一部を記録部に記録するための主要構成部を示す回路ブロック図である。
図1に示すデジタル放送受信機の制御部においてMPEG−2形式で符号化された番組コンテンツをMPEG−4形式で符号化された番組コンテンツに変換するための主要構成部を示す回路ブロック図である。
SDメモリカードに記録される番組コンテンツの一例を示す模式図である。
MPEG−4形式のストリームとフレーム画像との関係を示す図である。
従来の動画符号化方式変換装置の概略構成図である。
従来の動画符号化方式変換装置が符号化方式変換を行う時の手順を示す図である。
MPEG−2の動き補償に用いられるマクロブロックを示す模式図である。
MPEG−4の動き補償に用いられるマクロブロックを示す模式図である。
H.264の参照フレームを示す模式図である。