JP4148679B2 - 画像編集装置および方法 - Google Patents
画像編集装置および方法 Download PDFInfo
- Publication number
- JP4148679B2 JP4148679B2 JP2001395747A JP2001395747A JP4148679B2 JP 4148679 B2 JP4148679 B2 JP 4148679B2 JP 2001395747 A JP2001395747 A JP 2001395747A JP 2001395747 A JP2001395747 A JP 2001395747A JP 4148679 B2 JP4148679 B2 JP 4148679B2
- Authority
- JP
- Japan
- Prior art keywords
- gop
- data
- editing
- mpeg stream
- caption data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、クローズドキャプションデータを含むＭＰＥＧストリームなどの圧縮符号化映像ストリームの編集を行う画像編集装置および方法に関する。
【０００２】
【従来の技術】
ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）は、国際標準化機構（ＩＳＯ）で標準化された動画圧縮技術に関する国際標準規格の１つであって、映像データを高圧縮率・高品位画質で圧縮・再生できる点において、通信メディアに留まらず、蓄積メディアの利用分野にも大きく拡大されてきている。
【０００３】
このＭＰＥＧは、基準となる映像フレーム（Ｉピクチャ：Ｉｎｔｒａ−Ｐｉｃｔｕｒｅ）と基準となる映像フレームからの差分フレーム（Ｂピクチャ：Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ Ｐｒｅｄｉｃｔｉｖｅ−Ｐｉｃｔｕｒｅ、Ｐピクチャ：Ｐｒｅｄｉｃｔｉｖｅ−Ｐｉｃｔｕｒｅ）とからなり、通常、基準となる映像フレームと差分フレームとからなる１５フレーム（０．５秒）を１つの単位として構成されている。この１５フレームのまとまりをＧＯＰ（Ｇｒｏｕｐ ｏｆＰｉｃｔｕｒｅ）と呼んでいる。このＧＯＰには、途中からの再生を可能とするためのシーケンス・ヘッダ（ＳＨ）が付き、シーケンス・ヘッダには画像の大きさ、画素縦横比など、データの再生に必要とする初期データやユーザーデータが入っている。ＭＰＥＧストリームは、シーケンス・ヘッダとＧＯＰのつながりにより連続的な映像が作成されている。そのため、ＧＯＰ単位での編集が容易に行うことができる。
【０００４】
ＤＶＤ−Ｖｉｄｅｏ規格（ＤＶＤ Ｓｐｅｃｉｆｉｃａｔｉｏｎｓ ｆｏｒ Ｒｅａｄ−Ｏｎｌｙ Ｄｉｓｃ Ｖｅｒｓｉｏｎ １．０）において、ビデオデータは上述したＭＰＥＧ方式にて圧縮符号化される。このＤＶＤ−Ｖｉｄｅｏ規格を用いて蓄積されたコンテンツの中にはＴＶ映像信号で広く用いられているＥＩＡ−６０８規格にあるクローズドキャプション（ＣＣ）情報を含むものがある。このＣＣ情報などのような有効画像領域以外のＶＢＩ（Ｖｉｄｅｏ Ｂｌａｎｋｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ）は、ＤＶＤ−Ｖｉｄｅｏ規格では、ＭＰＥＧデータ内のＧＯＰ層のユーザーデータ領域に記録するよう定義されている。このＤＶＤ−Ｖｉｄｅｏ規格におけるＣＣ情報の記録・再生については特開２０００−３６９４０号公報、特開２０００−９２４５６号公報、特開２００１−６９４３９号公報などに開示がなされている。
【０００５】
【発明が解決しようとする課題】
ＭＰＥＧストリームはＧＯＰ単位での編集が容易であるが、ＣＣ情報を含むＭＰＥＧストリームの削除などの編集を行うと、複数のＧＯＰにまたがってそのユーザデータ領域に記録されたＣＣ情報の一部が削除され、ＣＣ情報が正確には表示できなくなっていた。そこで、従来のＣＣ情報を含むＭＰＥＧストリームの編集においては、映像データを編集し終えた後にＣＣ情報を再度所望の画面に同期するように記録し直す必要があるという問題があった。
【０００６】
本発明は上記課題に鑑み、ＭＰＥＧストリームの編集の際に、同時にＣＣ情報を所望の画面に同期するように修正する画像編集装置および方法を提供することを目的とする。
【０００７】
本発明の画像編集装置は、クローズドキャプションデータを含むＧＯＰから構成されるＭＰＥＧストリームの編集を行う編集装置において、前記ＭＰＥＧストリームを格納する格納手段と、前記格納手段に格納された前記ＭＰＥＧストリームを解析し、少なくともＧＯＰタイムコードを取得する解析手段と、前記解析手段により取得した前記ＧＯＰタイムコードにより任意のＧＯＰを選んで編集リストを作成する編集リスト作成手段と、前記編集リストは任意の前記ＧＯＰを選んでいるため不連続点が発生し、この不連続点直後のＧＯＰを補正する場合、再生不可能なピクチャのフィールド数を取得した後にこの取得したフィールド数を切り取り、前記不連続点直後のＧＯＰの前記クローズドキャプションデータは開始コードが存在しない場合全てダミーデータに補正し、また、不連続点直前のＧＯＰを補正する場合、この不連続点直前のＧＯＰのクローズドキャプションデータに消去コードを追加し、さらにこのＧＯＰの最終ピクチャのフィールド数を調整する補正情報作成手段と、前記編集リスト作成手段が作成した前記編集リストと前記補正情報作成手段により補正された前記クローズドキャプションデータを基に、新規ＭＰＥＧストリームを作成するＭＰＥＧストリーム作成手段とを備えている。
【０００８】
また、本発明の画像編集方法は、クローズドキャプションデータを含むＧＯＰから構成されるＭＰＥＧストリームの編集を行う編集方法において、前記ＭＰＥＧストリームを格納し、前記格納された前記ＭＰＥＧストリームを解析し、少なくともＧＯＰタイムコードを取得し、取得した前記ＧＯＰタイムコードにより任意のＧＯＰを選んで編集リストを作成し、前記編集リストは任意の前記ＧＯＰを選んでいるため不連続点が発生し、この不連続点直後のＧＯＰを補正する場合、再生不可能なピクチャのフィールド数を取得した後にこの取得したフィールド数を切り取り、前記不連続点直後のＧＯＰの前記クローズドキャプションデータは開始コードが存在しない場合全てダミーデータに補正し、また、不連続点直前のＧＯＰを補正する場合、この不連続点直前のＧＯＰのクローズドキャプションデータに消去コードを追加し、さらにこのＧＯＰの最終ピクチャのフィールド数を調整し、前記編集リストと補正された前記クローズドキャプションデータを基に、新規ＭＰＥＧストリームを作成する。
【０００９】
本発明により、ＭＰＥＧストリームの編集の際に同時にＣＣ情報を所望の画面に同期するように修正することが可能になる。
【００１０】
【発明の実施の形態】
以下、図面を参照して、本発明の実施形態を説明する。
【００１１】
まず、クローズドキャプションの方式について説明する。
【００１２】
クローズドキャプションは、映像信号の垂直帰線期間のライン２１にキャプション信号（文字情報）を多重化される。通常のキャプションデータでは、キャプションモード（ＰＯＰＯＮ，ＰＡＩＮＴＯＮ，ＲＯＬＬＵＰ）、ＴＥＸＴモードを表すコード、表示位置のアドレス及び文字色などを表すＰｒｅａｍｂｌｅ−Ａｄｄｒｅｓｓ−Ｃｏｄｅに続き、文字を表すデータコードが続く。これに加えて、開始・終了を制御する表示メモリ消去、非表示メモリ消去、フリップメモリコード、さらにカーソル移動、バックスペース、フラッシュオン、改行、行終了間での削除などのコントロールコードが必要に応じて挿入されている。これらのコントロールコードは、1バイトのペア（２バイト）から成り、正しく受信するために２度挿入される。
【００１３】
ここで、クローズドキャプションコードデコーダについて説明する。
【００１４】
図１はクローズドキャプションコードデコーダの基本構成を示すブロック図である。入力部１１からＣＣコードデコーダ１２にＣＣコードデータが入力しデコードされる。デコードされたデータは、書込みメモリ選択信号にしたがいメモリＡ１３またはメモリＢ１４のいずれか一方に書き込まれる。そして、読出しメモリ選択信号にしたがいメモリＡ１３またはメモリＢ１４のいずれか一方のデータがセレクタ１５により選択されてディスプレイに表示される。
【００１５】
ＰＡＩＮＴＯＮモードでは、クローズドキャプションコードデコーダは読み出されるメモリ（表示メモリ）に対してデータの書き込みを行う。例えばメモリＡ１３にデータが書き込まれ、メモリＡ１３からデータが読み出される。よって、デコードしたデータがすぐに表示されることになる。
【００１６】
ＰＯＰＯＮモードでは、クローズドキャプションコードデコーダは読み出されていない方のメモリ（非表示メモリ）に対してデータの書き込みを行う。例えばメモリＡ１３にデータの書き込み、メモリＢ１４からはデータの読み出しが行われる。そしてフリップメモリコードにより、読み出し・書き込みのメモリが切り換え制御され、それまでに書き込んだデータ内容が一度に表示され（この例ではメモリＡ１３の内容）、その後のデータの書き込みはメモリＢ１４に対して行われる。
【００１７】
図２はクローズドキャプションデータの例を説明する図である。
【００１８】
図２の例では、クローズドキャプションデータが第１フィールド、第２フィールドの順で記述されてあり、第１５行にＡＢＣＤＥ、切り換わって同じく第１５行にＦＧＨＩＪＫＬＭＮＯが表示される例を示している。"１４ ２０""１４ ２０"によりキャプションデータのローディングを行なえと言う命令が実行される。次に、"１４ ７２""１４ ７２"により表示開始位置は１５行、４列であることが確定される。次のデータ"４１"、"４２"、"４３"、"４４"、"４５"は、文字ＡＢＣＤＥに対応する。次の"１４ ２Ｃ""１４ ２Ｃ"は表示メモリを消去し、これによりディスプレイに表示されていた文字は消える。次に"１４ ２Ｆ""１４ ２Ｆ"でメモリＡ、Ｂの切り換えと言う命令が実行される。そして、ディスプレイ上に"ＡＢＣＤＥ"の文字が表示される。
【００１９】
次に、ＭＰＥＧストリームとクローズドキャプションデータの関係について説明する。
【００２０】
クローズドキャプションシステムは、映像信号の垂直帰線期間のライン２１に多重される形で規格化されているが、MＰＥＧ規格ではその情報を記述するユーザー・データ領域が確保されている。ＤＶＤにＣＣ情報が記録される場合は、ＭＰＥＧ規格におけるＧＯＰ層のユーザーデータ領域にライン２１データを記述するように規格化されている。
【００２１】
ここで、ＭＰＥＧ規格におけるＧＯＰ層のユーザデータ領域のフォーマットを説明する。
【００２２】
図３はユーザーデータ領域に記述されるフォーマットを説明するための図である。図３において、ｕｓｅｒ＿ｄａｔａ＿ｓｔａｒｔ＿ｃｏｄｅは値０００００１Ｂ２ｈと規定されている。ｌｉｎｅ２＿Ｉｎｄｉｃａｔｏｒは、後に続くデータがユーザー・データであることを示す固定値である。ｔｏｐ＿ｆｉｅｌｄ＿ｆｌａｇ＿ｏｆ＿ｇｏｐは、ＧＯＰ内の第１ピクチャーの先頭表示フィールドがトップフィールドの場合は"１ｂ" ボトムフィールドの場合は"０ｂ"と記述される。ｎｕｍｂｅｒ＿ｏｆ＿ｄｉｓｐｌａｙｅｄ＿ｆｉｅｌｄ＿ｇｏｐは、ＧＯＰ内の表示フィールド数を示し、続いて繰り返し記録されたライン２１データの数と同じである。
【００２３】
ｍａｒｋｅｒ＿ｂｉｔｓは固定値、ｌｉｎｅ２１＿ｓｗｉｔｃｈは"１ｂ"のとき続くライン２１データが有効でＥＩＡ−６０８規格に適合していることを示す。"０ｂ"のときは続くライン２１データが無効であることを示す。ライン２１フィールド１データかフィールド２データかのいずれかを含む。
【００２４】
ｌｉｎｅ２１＿ｄａｔａ（）は図４に示すフォーマットで規定されている。図４はｌｉｎｅ２１＿ｄａｔａ（）のフォーマットを説明するための図である。ｌｉｎｅ２１＿ｄａｔａ１はＭＳＢが奇数パリティービットであり、７ビットがＥＩＡ−６０８で規定されるキャラクタ１のデータを表す。ｌｉｎｅ２１＿ｄａｔａ２はＭＳＢが奇数パリティービットであり、７ビットがＥＩＡ−６０８で規定されるキャラクタ２のデータを表す。
【００２５】
図５はある画像とその画像を含むＧＯＰとそのＧＯＰのＧＯＰ層ユーザーデータ領域のＣＣデータとの関係を説明するための図である。図５に示す例はＧＯＰ内の１２フレーム目に表示される画像に対する１２番目のＣＣデータを表している。
【００２６】
次にＣＣデータを含むＭＰＥＧストリームの編集について図２のデータを用いて説明する。
【００２７】
図２のＣＣデータをユーザーデータ領域に記述されるようにＧＯＰ毎に書き換えた際のＣＣデータの構成を図６に示す。図７には各ＧＯＰとそのＧＯＰに記述してあるＣＣデータ（ＧＯＰ＿ＣＣ）とＣＣデータの表示期間との関係を表す。
【００２８】
ここで、図６、図７においてＧＯＰ３を削除するという編集を行なう。ＧＯＰ３＿ＣＣにはコントロールコードである"１４ ２０""１４ ２０"（キャプションモード）と、表示開始位置を示す"１４ ７０"が記述されてある。このＧＯＰ３＿ＣＣを削除すると編集後のデータは図８になる。
【００２９】
ＧＯＰ４＿ＣＣには一連のＣＣデータの途中から始まっているためキャプションモードは認識できない。また、表示開始位置を示す"１４ ７０"は２度挿入されていないためこちらも正しく認識できない。さらに、図２に示すようにキャプションモードコード、表示位置のアドレス及び文字色などを表すＰｒｅａｍｂｌｅ−Ａｄｄｒｅｓｓ−Ｃｏｄｅに続き文字を表すデータコードが続かないので、メモリ切り換えが行なわれても再生画面には意図とするＣＣデータは表示されない。
【００３０】
また、ＧＯＰ３、ＧＯＰ４、ＧＯＰ１、ＧＯＰ２の順に並び替える編集を行なったデータの例を図９に、またその構成を図１０に示す。図１０によると、ＧＯＰ１の再生画像に対してＧＯＰ３＿ＣＣ、ＧＯＰ４＿ＣＣのデータが表示され、全く再生画像と一致しないＣＣデータが表示されることとなる。
【００３１】
そこで、本発明はＭＰＥＧストリームの編集の際に同時にＣＣ情報を所望の画面に同期するように修正する。
【００３２】
図１１は本発明の一実施例に係るＣＣデータを含むＭＰＥＧストリームの編集を行う画像編集装置の構成を示すブロック図である。
【００３３】
画像編集装置は編集元のＭＰＥＧストリーム（１）が格納されたファイル１、同じく編集元のＭＰＥＧストリーム（２）が格納されたファイル２、編集処理装置３、編集処理装置３により新たに作成されるＭＰＥＧストリームを格納するファイル４および再生装置５によって構成される。
【００３４】
編集処理装置３はＭＰＥＧストリーム解析部６、編集リスト作成部７、補正情報作成部８、ＭＰＥＧストリーム作成部９を備えている。ＭＰＥＧストリーム解析部６は編集元ファイル１、２に格納されているＭＰＥＧストリームの画像サイズ、画像レートなど一連の同じ属性を持つ画面グループの情報、ユーザーデータの有無、ＧＯＰタイムコードなどを取得する。編集リスト作成部７はＭＰＥＧストリーム解析部６が得たＧＯＰタイムコードにより任意のＧＯＰを選んで編集リストを作成する。補正情報作成部８は編集リスト作成部７が作成した編集リストに基づき表示する画像に対応するＣＣデータとなるような補正処理を行なう。ＭＰＥＧストリーム作成部９は編集リスト作成部７が生成した編集リストと補正情報作成部８により補正されたＣＣデータを基に新規ＭＰＥＧストリームを作成する。再生装置５はＭＰＥＧストリーム作成部９で生成されたデータを表示し、表示データの確認を可能にする。
【００３５】
次に、以上のように構成された画像編集装置の動作を、編集元ファイル１、２に格納されているＭＰＥＧストリーム（１）、（２）を使用し編集処理装置３により新しいＭＰＥＧストリーム４を作成する例を用いて説明する。
【００３６】
まず、ＭＰＥＧストリーム解析部６が編集元ファイル１、２に格納されているＭＰＥＧストリーム（１）、（２）の解析を行い、画像サイズ、画像レートなど一連の同じ属性を持つ画面グループの情報、ビットレート、ユーザー領域に記述されてあるＣＣデータの確認およびＧＯＰタイムコードを取得する。編集リスト作成部７はＭＰＥＧストリーム解析部６が得たＧＯＰタイムコードより編集リストを作成する。ＭＰＥＧストリーム（１）、（２）より任意のＧＯＰを選択し作成した編集リストの例を図１２に示す。図１３は図１２で説明した編集例をブロック図で示したものである。図１３において、任意のＧＯＰを選択して作成されたＭＰＥＧストリーム（３）はデータ（１）、（２）、（１）の順で各２ＧＯＰの構成となっている。なお、図１３において点（ａ）、（ｂ）は不連続点を示している。
【００３７】
補正情報作成部８は編集リスト作成部７で作成された編集リストの結果を基に、不連続点（ａ）（ｂ）前後のＧＯＰのユーザーデータ領域に記述されたＣＣデータに関して補正を行なう。
【００３８】
以下、補正情報作成部８について詳細に説明する。なお、ＣＣデータのキャプションモードは一般的に映画などで使われているＰＯＰＯＮモードとする。
【００３９】
まず、不連続点直前のＧＯＰの補正について説明する。現在このＧＯＰのユーザーデータ領域に記述あるＣＣデータは、次のフリップメモリコードが確認されメモリの切り換えによりディスプレイに表示されることを示す。このＧＯＰ内にフリップメモリコードが記述されていなければ次またはそれ以降のＧＯＰでの表示となる。現在、編集により次のＧＯＰは全く別の内容の画像となっている。このことより、補正情報作成部８はＣＣデータの最後の部分に表示メモリ消去コード、非表示メモリコードを追加するまたは書き換える処理を行う。
【００４０】
次に、不連続点（ａ）（ｂ）の後ろのＧＯＰの補正について説明する。ＣＣデータは図２に示したようにキャプションモードコード、表示位置のアドレス及び文字色などを表すＰｒｅａｍｂｌｅ−Ａｄｄｒｅｓｓ−Ｃｏｄｅに続き文字を表すデータコードが続く。そのため、ユーザーデータ領域に記述あるＣＣデータがキャプションモードコードから記述されていないと、メモリ切り換えが行なわれてもディスプレイに正しく表示されない。そこで、補正情報作成部８はＣＣデータをダミーデータ"００"に変更する。
【００４１】
また、ＧＯＰ単位の編集として、不連続点の後ろのＧＯＰは独立再生可能なＩピクチャから始まっていない場合には再生が不可能である。そこで、補正情報作成部８はIピクチャが再生されるまでのピクチャの切り取り処理を行う。また、この切り取り処理によって不連続点の直前のＧＯＰとの接続に問題が起こらないように、補正情報作成部８は不連続点（ａ）（ｂ）直前のＧＯＰの最後のピクチャのフィールド数の調整処理も同時に行なう。
【００４２】
ここで、図６のＣＣデータを用い不連続点の処理について具体的に説明をする。
【００４３】
図１４に示すように、ＧＯＰ１、ＧＯＰ２、ＧＯＰ３、ＧＯＰ４のうちＧＯＰ３をカットし、ＧＯＰ１、ＧＯＰ２、ＧＯＰ４という新規のＭＰＥＧストリームを作成する。
【００４４】
まず、不連続点直後のＧＯＰ４において、再度エンコード処理を施さないため再生不可能なピクチャのフィールド数を取得する。あわせて、不連続点直前のＧＯＰ２とのつなぎ目の処理を行なう。
【００４５】
本例では、ＧＯＰ４は再生単位のＢＢＩＢＢＰＢＢＰＢＢＰＢＢＰ各フレーム前後の相関関係が失われることよりこのままでは再生できない。そこで再エンコードなしで不連続点の処理を行なう方法として、独立再生可能なIピクチャより前に再生されるＢピクチャ２枚を切り取る方法をとる。そして、図５で示すように切り取る２枚のＢピクチャ１、２に相当するＣＣデータも切り取り表示時間を合わせる。次に、ＧＯＰ４のＣＣデータの内容は途中から記述されており正確に表示することはできないので全てダミーデータ"００"に置き換える。
【００４６】
次に、不連続点直前のＧＯＰ２の処理を説明する。現在ディスプレイに表示されているデータおよび次に表示されるデータの消去コードを追加すると図１５のようになる。図１５において、"１４ ２Ｅ""１４ ２Ｅ"は非表示メモリ消去コード、"１４ ２C""１４ ２C"は表示メモリ消去コードである。この表示メモリ消去コードにより、図１のメモリＡ１３、メモリＢ１４の両方のメモリに読み込まれたデータが全て消去される。そして、ＧＯＰ2とＧＯＰ4が問題なく接続できるようにＧＯＰ２の最終ピクチャのフィールド数の調整が行なわれる。
【００４７】
補正情報作成部８で生成されたＣＣデータ補正情報は、図１６の形式でＭＰＥＧストリーム作成部９に供給される。ＭＰＥＧストリーム作成部９は補正情報作成部８で生成された編集後のＣＣデータと編集リスト作成部７で作成された編集リストにより、ＭＰＥＧストリーム（１）、（２）から新規のＭＰＥＧストリームを作成する。このようにして生成したＭＰＥＧストリームを再生装置５により再生確認を行なう。
【００４８】
本実施例の画像編集装置によれば、ユーザーデータ領域にＣＣデータが記述されてあるとしても、編集点で再生画面と矛盾するＣＣデータを表示することなく、スムーズなCCデータを得ることができる。また、矛盾データ表示を防ぐために再度ＣＣデータを入れ直す必要も無く、作業時間を抑えることが可能となる。
【００４９】
しかし、矛盾するデータを表示しないために不連続点の後ろのＧＯＰに対し、ダミーデータ"００"に置き換えてしまうことにより、画面に表示されない期間が生じてしまう。そこで、その表示されない期間を短時間とし、さらにスムーズなＣＣデータの表示を可能とする方法を以下に説明する。
【００５０】
図１７は本発明の他の実施形態の構成を示すブロック図である。図１７において図１１と同一の構成要素には同一符合を付して説明を省略する。本実施形態では補正情報作成部１０の補正情報作成方法が第１の実施形態と異なる。
【００５１】
ここで図１７、図１８を用いて第２の実施形態の補正情報作成部１０での補正情報作成方法を説明する。なお、図１８は第２の実施形態の編集方法を説明するための図である。
【００５２】
まず、不連続点直後のＧＯＰ４において、再度エンコード処理を施さないため再生不可能なピクチャのフィールド数を取得する。あわせて不連続点直前のＧＯＰ２とのつなぎ目の処理を行なう。本例では、第１の実施形態と同様にＧＯＰ４は再生単位のＢＢＩＢＢＰＢＢＰＢＢＰＢＢＰ各フレーム前後の相関関係が失われるため、Ｉピクチャより前に再生されるＢピクチャ２枚を切り取る。そして、図５で示すようにピクチャ１、２に相当するＣＣデータも切り取り表示時間を合わせる。
【００５３】
次に、ＧＯＰ４はＣＣデータの内容が途中から記述されているため正確に表示することができない。そこで、不連続点直前のＧＯＰ２のＣＣデータ内容をチェックする。ＧＯＰ２＿ＣＣには意味を持つＣＣデータが存在していないことより、ＧＯＰ３＿ＣＣの内容をＧＯＰ２＿ＣＣに書き換える。なお、この際ＧＯＰ４＿ＣＣの補正は行なわない。
【００５４】
次にＧＯＰ２の処理を説明する。上記に説明したとおりＧＯＰ２＿ＣＣデータに意味を持つＣＣデータが存在していないため、ＧＯＰ３＿ＣＣの内容をＧＯＰ２＿ＣＣに書き換える。そのとき、不連続点以降の再生画面と矛盾するＣＣデータが表示されないように、ＧＯＰ２＿ＣＣデータの最後に表示メモリ消去コードを追加する。同時に、ＧＯＰ2とＧＯＰ4が問題なく接続できるようにＧＯＰ２の最終ピクチャのフィールド数の調整を行なう。図１９に補正情報作成部１０による補正後のＣＣデータを示す。この補正情報作成部１０で生成されたＣＣデータ補正情報は図１６の形式でＭＰＥＧストリーム作成部９に供給される。
【００５５】
ＭＰＥＧストリーム作成部９は補正情報作成部１０で生成された編集後のＣＣデータと編集リスト作成部７で作成された編集リストにより、ＭＰＥＧストリーム（１）、（２）から新規のＭＰＥＧストリームを作成する。このようにして生成されたＭＰＥＧストリームは再生装置５に供給され再生確認が行なわれる。
【００５６】
以上、本実施形態の画像編集装置によれば、ユーザーデータ領域にＣＣデータが記述されてあっても編集点で再生画面と矛盾するＣＣデータを表示することなく、ＣＣデータをスムーズに再生することができる。また、矛盾データ表示を防ぐために再度ＣＣデータを入れ直す必要も無く、作業時間を抑えることが可能となる。さらに、第１の実施形態よりＣＣデータの表示されない期間を短時間にし、さらにスムーズなＣＣデータを得ることができる。
【００５７】
なお、第１および第２の実施形態では、ＧＯＰ層のユーザーデータ領域にＣＣデータが記述ある場合について説明したが、本発明は他の層のユーザーデータ領域にＣＣデータの記述ある場合でも同様に処理することができる。また、第１および第２実施形態では、編集単位をＧＯＰ単位としたが、本発明はピクチャ単位であっても他のＧＯＰ単位の編集であっても同様に処理することができる。
【００５８】
【発明の効果】
本発明によれば、ＭＰＥＧストリームの編集の際に、同時にＣＣ情報を所望の画面に同期するように修正することが可能になる。
【図面の簡単な説明】
【図１】 クローズドキャプションコードデコーダの基本構成を示すブロック図。
【図２】 クローズドキャプションデータの例を説明する図。
【図３】 ユーザーデータ領域に記述されるフォーマットを説明するための図。
【図４】 ｌｉｎｅ２１＿ｄａｔａ（）のフォーマットを説明するための図。
【図５】 ある画像とその画像を含むＧＯＰとそのＧＯＰのＧＯＰ層ユーザーデータ領域のＣＣデータとの関係を説明するための図。
【図６】 ＣＣデータをユーザーデータ領域に記述されるようにＧＯＰ毎に書き換えた際のＣＣデータの構成を説明するための図。
【図７】 各ＧＯＰとそのＧＯＰに記述してあるＣＣデータ（ＧＯＰ＿ＣＣ）とＣＣデータの表示期間との関係を表す図。
【図８】 ＧＯＰ３＿ＣＣを削除する編集後のデータを説明するための図。
【図９】 ＧＯＰの並び替える編集を行なった際のデータの説明するための図。
【図１０】 ＧＯＰの並び替える編集を行なった際のデータの構造を説明するための図。
【図１１】 画像編集装置の構成を示すブロック図。
【図１２】 ＭＰＥＧストリーム（１）、（２）より任意のＧＯＰを選択し作成した編集リストの例を説明するための図。
【図１３】 ＭＰＥＧストリーム（１）、（２）より任意のＧＯＰを選択し作成した編集例を説明するための図。
【図１４】 ＧＯＰ３をカットし、ＧＯＰ１、ＧＯＰ２、ＧＯＰ４という新規のＭＰＥＧストリームを作成した際の構成を説明する図。
【図１５】 不連続点直前のＧＯＰ２のＣＣデータに現在ディスプレイに表示されているデータおよび次に表示されるデータの消去コードを追加した際のＣＣデータを説明するための図。
【図１６】 生成されたＣＣデータ補正情報を示す図。
【図１７】 他の実施形態の構成を示すブロック図。
【図１８】 第２の実施形態の編集方法を説明するための図。
【図１９】 補正情報作成部による補正後のＣＣデータを示す図。
【符号の説明】
１、２、４ ファイル
３ 編集処理装置
５ 再生装置
６ ＭＰＥＧストリーム解析部
７ 編集リスト作成部
８、１０ 補正情報作成部
９ ＭＰＥＧストリーム作成部
【発明の属する技術分野】
本発明は、クローズドキャプションデータを含むＭＰＥＧストリームなどの圧縮符号化映像ストリームの編集を行う画像編集装置および方法に関する。
【０００２】
【従来の技術】
ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）は、国際標準化機構（ＩＳＯ）で標準化された動画圧縮技術に関する国際標準規格の１つであって、映像データを高圧縮率・高品位画質で圧縮・再生できる点において、通信メディアに留まらず、蓄積メディアの利用分野にも大きく拡大されてきている。
【０００３】
このＭＰＥＧは、基準となる映像フレーム（Ｉピクチャ：Ｉｎｔｒａ−Ｐｉｃｔｕｒｅ）と基準となる映像フレームからの差分フレーム（Ｂピクチャ：Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ Ｐｒｅｄｉｃｔｉｖｅ−Ｐｉｃｔｕｒｅ、Ｐピクチャ：Ｐｒｅｄｉｃｔｉｖｅ−Ｐｉｃｔｕｒｅ）とからなり、通常、基準となる映像フレームと差分フレームとからなる１５フレーム（０．５秒）を１つの単位として構成されている。この１５フレームのまとまりをＧＯＰ（Ｇｒｏｕｐ ｏｆＰｉｃｔｕｒｅ）と呼んでいる。このＧＯＰには、途中からの再生を可能とするためのシーケンス・ヘッダ（ＳＨ）が付き、シーケンス・ヘッダには画像の大きさ、画素縦横比など、データの再生に必要とする初期データやユーザーデータが入っている。ＭＰＥＧストリームは、シーケンス・ヘッダとＧＯＰのつながりにより連続的な映像が作成されている。そのため、ＧＯＰ単位での編集が容易に行うことができる。
【０００４】
ＤＶＤ−Ｖｉｄｅｏ規格（ＤＶＤ Ｓｐｅｃｉｆｉｃａｔｉｏｎｓ ｆｏｒ Ｒｅａｄ−Ｏｎｌｙ Ｄｉｓｃ Ｖｅｒｓｉｏｎ １．０）において、ビデオデータは上述したＭＰＥＧ方式にて圧縮符号化される。このＤＶＤ−Ｖｉｄｅｏ規格を用いて蓄積されたコンテンツの中にはＴＶ映像信号で広く用いられているＥＩＡ−６０８規格にあるクローズドキャプション（ＣＣ）情報を含むものがある。このＣＣ情報などのような有効画像領域以外のＶＢＩ（Ｖｉｄｅｏ Ｂｌａｎｋｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ）は、ＤＶＤ−Ｖｉｄｅｏ規格では、ＭＰＥＧデータ内のＧＯＰ層のユーザーデータ領域に記録するよう定義されている。このＤＶＤ−Ｖｉｄｅｏ規格におけるＣＣ情報の記録・再生については特開２０００−３６９４０号公報、特開２０００−９２４５６号公報、特開２００１−６９４３９号公報などに開示がなされている。
【０００５】
【発明が解決しようとする課題】
ＭＰＥＧストリームはＧＯＰ単位での編集が容易であるが、ＣＣ情報を含むＭＰＥＧストリームの削除などの編集を行うと、複数のＧＯＰにまたがってそのユーザデータ領域に記録されたＣＣ情報の一部が削除され、ＣＣ情報が正確には表示できなくなっていた。そこで、従来のＣＣ情報を含むＭＰＥＧストリームの編集においては、映像データを編集し終えた後にＣＣ情報を再度所望の画面に同期するように記録し直す必要があるという問題があった。
【０００６】
本発明は上記課題に鑑み、ＭＰＥＧストリームの編集の際に、同時にＣＣ情報を所望の画面に同期するように修正する画像編集装置および方法を提供することを目的とする。
【０００７】
本発明の画像編集装置は、クローズドキャプションデータを含むＧＯＰから構成されるＭＰＥＧストリームの編集を行う編集装置において、前記ＭＰＥＧストリームを格納する格納手段と、前記格納手段に格納された前記ＭＰＥＧストリームを解析し、少なくともＧＯＰタイムコードを取得する解析手段と、前記解析手段により取得した前記ＧＯＰタイムコードにより任意のＧＯＰを選んで編集リストを作成する編集リスト作成手段と、前記編集リストは任意の前記ＧＯＰを選んでいるため不連続点が発生し、この不連続点直後のＧＯＰを補正する場合、再生不可能なピクチャのフィールド数を取得した後にこの取得したフィールド数を切り取り、前記不連続点直後のＧＯＰの前記クローズドキャプションデータは開始コードが存在しない場合全てダミーデータに補正し、また、不連続点直前のＧＯＰを補正する場合、この不連続点直前のＧＯＰのクローズドキャプションデータに消去コードを追加し、さらにこのＧＯＰの最終ピクチャのフィールド数を調整する補正情報作成手段と、前記編集リスト作成手段が作成した前記編集リストと前記補正情報作成手段により補正された前記クローズドキャプションデータを基に、新規ＭＰＥＧストリームを作成するＭＰＥＧストリーム作成手段とを備えている。
【０００８】
また、本発明の画像編集方法は、クローズドキャプションデータを含むＧＯＰから構成されるＭＰＥＧストリームの編集を行う編集方法において、前記ＭＰＥＧストリームを格納し、前記格納された前記ＭＰＥＧストリームを解析し、少なくともＧＯＰタイムコードを取得し、取得した前記ＧＯＰタイムコードにより任意のＧＯＰを選んで編集リストを作成し、前記編集リストは任意の前記ＧＯＰを選んでいるため不連続点が発生し、この不連続点直後のＧＯＰを補正する場合、再生不可能なピクチャのフィールド数を取得した後にこの取得したフィールド数を切り取り、前記不連続点直後のＧＯＰの前記クローズドキャプションデータは開始コードが存在しない場合全てダミーデータに補正し、また、不連続点直前のＧＯＰを補正する場合、この不連続点直前のＧＯＰのクローズドキャプションデータに消去コードを追加し、さらにこのＧＯＰの最終ピクチャのフィールド数を調整し、前記編集リストと補正された前記クローズドキャプションデータを基に、新規ＭＰＥＧストリームを作成する。
【０００９】
本発明により、ＭＰＥＧストリームの編集の際に同時にＣＣ情報を所望の画面に同期するように修正することが可能になる。
【００１０】
【発明の実施の形態】
以下、図面を参照して、本発明の実施形態を説明する。
【００１１】
まず、クローズドキャプションの方式について説明する。
【００１２】
クローズドキャプションは、映像信号の垂直帰線期間のライン２１にキャプション信号（文字情報）を多重化される。通常のキャプションデータでは、キャプションモード（ＰＯＰＯＮ，ＰＡＩＮＴＯＮ，ＲＯＬＬＵＰ）、ＴＥＸＴモードを表すコード、表示位置のアドレス及び文字色などを表すＰｒｅａｍｂｌｅ−Ａｄｄｒｅｓｓ−Ｃｏｄｅに続き、文字を表すデータコードが続く。これに加えて、開始・終了を制御する表示メモリ消去、非表示メモリ消去、フリップメモリコード、さらにカーソル移動、バックスペース、フラッシュオン、改行、行終了間での削除などのコントロールコードが必要に応じて挿入されている。これらのコントロールコードは、1バイトのペア（２バイト）から成り、正しく受信するために２度挿入される。
【００１３】
ここで、クローズドキャプションコードデコーダについて説明する。
【００１４】
図１はクローズドキャプションコードデコーダの基本構成を示すブロック図である。入力部１１からＣＣコードデコーダ１２にＣＣコードデータが入力しデコードされる。デコードされたデータは、書込みメモリ選択信号にしたがいメモリＡ１３またはメモリＢ１４のいずれか一方に書き込まれる。そして、読出しメモリ選択信号にしたがいメモリＡ１３またはメモリＢ１４のいずれか一方のデータがセレクタ１５により選択されてディスプレイに表示される。
【００１５】
ＰＡＩＮＴＯＮモードでは、クローズドキャプションコードデコーダは読み出されるメモリ（表示メモリ）に対してデータの書き込みを行う。例えばメモリＡ１３にデータが書き込まれ、メモリＡ１３からデータが読み出される。よって、デコードしたデータがすぐに表示されることになる。
【００１６】
ＰＯＰＯＮモードでは、クローズドキャプションコードデコーダは読み出されていない方のメモリ（非表示メモリ）に対してデータの書き込みを行う。例えばメモリＡ１３にデータの書き込み、メモリＢ１４からはデータの読み出しが行われる。そしてフリップメモリコードにより、読み出し・書き込みのメモリが切り換え制御され、それまでに書き込んだデータ内容が一度に表示され（この例ではメモリＡ１３の内容）、その後のデータの書き込みはメモリＢ１４に対して行われる。
【００１７】
図２はクローズドキャプションデータの例を説明する図である。
【００１８】
図２の例では、クローズドキャプションデータが第１フィールド、第２フィールドの順で記述されてあり、第１５行にＡＢＣＤＥ、切り換わって同じく第１５行にＦＧＨＩＪＫＬＭＮＯが表示される例を示している。"１４ ２０""１４ ２０"によりキャプションデータのローディングを行なえと言う命令が実行される。次に、"１４ ７２""１４ ７２"により表示開始位置は１５行、４列であることが確定される。次のデータ"４１"、"４２"、"４３"、"４４"、"４５"は、文字ＡＢＣＤＥに対応する。次の"１４ ２Ｃ""１４ ２Ｃ"は表示メモリを消去し、これによりディスプレイに表示されていた文字は消える。次に"１４ ２Ｆ""１４ ２Ｆ"でメモリＡ、Ｂの切り換えと言う命令が実行される。そして、ディスプレイ上に"ＡＢＣＤＥ"の文字が表示される。
【００１９】
次に、ＭＰＥＧストリームとクローズドキャプションデータの関係について説明する。
【００２０】
クローズドキャプションシステムは、映像信号の垂直帰線期間のライン２１に多重される形で規格化されているが、MＰＥＧ規格ではその情報を記述するユーザー・データ領域が確保されている。ＤＶＤにＣＣ情報が記録される場合は、ＭＰＥＧ規格におけるＧＯＰ層のユーザーデータ領域にライン２１データを記述するように規格化されている。
【００２１】
ここで、ＭＰＥＧ規格におけるＧＯＰ層のユーザデータ領域のフォーマットを説明する。
【００２２】
図３はユーザーデータ領域に記述されるフォーマットを説明するための図である。図３において、ｕｓｅｒ＿ｄａｔａ＿ｓｔａｒｔ＿ｃｏｄｅは値０００００１Ｂ２ｈと規定されている。ｌｉｎｅ２＿Ｉｎｄｉｃａｔｏｒは、後に続くデータがユーザー・データであることを示す固定値である。ｔｏｐ＿ｆｉｅｌｄ＿ｆｌａｇ＿ｏｆ＿ｇｏｐは、ＧＯＰ内の第１ピクチャーの先頭表示フィールドがトップフィールドの場合は"１ｂ" ボトムフィールドの場合は"０ｂ"と記述される。ｎｕｍｂｅｒ＿ｏｆ＿ｄｉｓｐｌａｙｅｄ＿ｆｉｅｌｄ＿ｇｏｐは、ＧＯＰ内の表示フィールド数を示し、続いて繰り返し記録されたライン２１データの数と同じである。
【００２３】
ｍａｒｋｅｒ＿ｂｉｔｓは固定値、ｌｉｎｅ２１＿ｓｗｉｔｃｈは"１ｂ"のとき続くライン２１データが有効でＥＩＡ−６０８規格に適合していることを示す。"０ｂ"のときは続くライン２１データが無効であることを示す。ライン２１フィールド１データかフィールド２データかのいずれかを含む。
【００２４】
ｌｉｎｅ２１＿ｄａｔａ（）は図４に示すフォーマットで規定されている。図４はｌｉｎｅ２１＿ｄａｔａ（）のフォーマットを説明するための図である。ｌｉｎｅ２１＿ｄａｔａ１はＭＳＢが奇数パリティービットであり、７ビットがＥＩＡ−６０８で規定されるキャラクタ１のデータを表す。ｌｉｎｅ２１＿ｄａｔａ２はＭＳＢが奇数パリティービットであり、７ビットがＥＩＡ−６０８で規定されるキャラクタ２のデータを表す。
【００２５】
図５はある画像とその画像を含むＧＯＰとそのＧＯＰのＧＯＰ層ユーザーデータ領域のＣＣデータとの関係を説明するための図である。図５に示す例はＧＯＰ内の１２フレーム目に表示される画像に対する１２番目のＣＣデータを表している。
【００２６】
次にＣＣデータを含むＭＰＥＧストリームの編集について図２のデータを用いて説明する。
【００２７】
図２のＣＣデータをユーザーデータ領域に記述されるようにＧＯＰ毎に書き換えた際のＣＣデータの構成を図６に示す。図７には各ＧＯＰとそのＧＯＰに記述してあるＣＣデータ（ＧＯＰ＿ＣＣ）とＣＣデータの表示期間との関係を表す。
【００２８】
ここで、図６、図７においてＧＯＰ３を削除するという編集を行なう。ＧＯＰ３＿ＣＣにはコントロールコードである"１４ ２０""１４ ２０"（キャプションモード）と、表示開始位置を示す"１４ ７０"が記述されてある。このＧＯＰ３＿ＣＣを削除すると編集後のデータは図８になる。
【００２９】
ＧＯＰ４＿ＣＣには一連のＣＣデータの途中から始まっているためキャプションモードは認識できない。また、表示開始位置を示す"１４ ７０"は２度挿入されていないためこちらも正しく認識できない。さらに、図２に示すようにキャプションモードコード、表示位置のアドレス及び文字色などを表すＰｒｅａｍｂｌｅ−Ａｄｄｒｅｓｓ−Ｃｏｄｅに続き文字を表すデータコードが続かないので、メモリ切り換えが行なわれても再生画面には意図とするＣＣデータは表示されない。
【００３０】
また、ＧＯＰ３、ＧＯＰ４、ＧＯＰ１、ＧＯＰ２の順に並び替える編集を行なったデータの例を図９に、またその構成を図１０に示す。図１０によると、ＧＯＰ１の再生画像に対してＧＯＰ３＿ＣＣ、ＧＯＰ４＿ＣＣのデータが表示され、全く再生画像と一致しないＣＣデータが表示されることとなる。
【００３１】
そこで、本発明はＭＰＥＧストリームの編集の際に同時にＣＣ情報を所望の画面に同期するように修正する。
【００３２】
図１１は本発明の一実施例に係るＣＣデータを含むＭＰＥＧストリームの編集を行う画像編集装置の構成を示すブロック図である。
【００３３】
画像編集装置は編集元のＭＰＥＧストリーム（１）が格納されたファイル１、同じく編集元のＭＰＥＧストリーム（２）が格納されたファイル２、編集処理装置３、編集処理装置３により新たに作成されるＭＰＥＧストリームを格納するファイル４および再生装置５によって構成される。
【００３４】
編集処理装置３はＭＰＥＧストリーム解析部６、編集リスト作成部７、補正情報作成部８、ＭＰＥＧストリーム作成部９を備えている。ＭＰＥＧストリーム解析部６は編集元ファイル１、２に格納されているＭＰＥＧストリームの画像サイズ、画像レートなど一連の同じ属性を持つ画面グループの情報、ユーザーデータの有無、ＧＯＰタイムコードなどを取得する。編集リスト作成部７はＭＰＥＧストリーム解析部６が得たＧＯＰタイムコードにより任意のＧＯＰを選んで編集リストを作成する。補正情報作成部８は編集リスト作成部７が作成した編集リストに基づき表示する画像に対応するＣＣデータとなるような補正処理を行なう。ＭＰＥＧストリーム作成部９は編集リスト作成部７が生成した編集リストと補正情報作成部８により補正されたＣＣデータを基に新規ＭＰＥＧストリームを作成する。再生装置５はＭＰＥＧストリーム作成部９で生成されたデータを表示し、表示データの確認を可能にする。
【００３５】
次に、以上のように構成された画像編集装置の動作を、編集元ファイル１、２に格納されているＭＰＥＧストリーム（１）、（２）を使用し編集処理装置３により新しいＭＰＥＧストリーム４を作成する例を用いて説明する。
【００３６】
まず、ＭＰＥＧストリーム解析部６が編集元ファイル１、２に格納されているＭＰＥＧストリーム（１）、（２）の解析を行い、画像サイズ、画像レートなど一連の同じ属性を持つ画面グループの情報、ビットレート、ユーザー領域に記述されてあるＣＣデータの確認およびＧＯＰタイムコードを取得する。編集リスト作成部７はＭＰＥＧストリーム解析部６が得たＧＯＰタイムコードより編集リストを作成する。ＭＰＥＧストリーム（１）、（２）より任意のＧＯＰを選択し作成した編集リストの例を図１２に示す。図１３は図１２で説明した編集例をブロック図で示したものである。図１３において、任意のＧＯＰを選択して作成されたＭＰＥＧストリーム（３）はデータ（１）、（２）、（１）の順で各２ＧＯＰの構成となっている。なお、図１３において点（ａ）、（ｂ）は不連続点を示している。
【００３７】
補正情報作成部８は編集リスト作成部７で作成された編集リストの結果を基に、不連続点（ａ）（ｂ）前後のＧＯＰのユーザーデータ領域に記述されたＣＣデータに関して補正を行なう。
【００３８】
以下、補正情報作成部８について詳細に説明する。なお、ＣＣデータのキャプションモードは一般的に映画などで使われているＰＯＰＯＮモードとする。
【００３９】
まず、不連続点直前のＧＯＰの補正について説明する。現在このＧＯＰのユーザーデータ領域に記述あるＣＣデータは、次のフリップメモリコードが確認されメモリの切り換えによりディスプレイに表示されることを示す。このＧＯＰ内にフリップメモリコードが記述されていなければ次またはそれ以降のＧＯＰでの表示となる。現在、編集により次のＧＯＰは全く別の内容の画像となっている。このことより、補正情報作成部８はＣＣデータの最後の部分に表示メモリ消去コード、非表示メモリコードを追加するまたは書き換える処理を行う。
【００４０】
次に、不連続点（ａ）（ｂ）の後ろのＧＯＰの補正について説明する。ＣＣデータは図２に示したようにキャプションモードコード、表示位置のアドレス及び文字色などを表すＰｒｅａｍｂｌｅ−Ａｄｄｒｅｓｓ−Ｃｏｄｅに続き文字を表すデータコードが続く。そのため、ユーザーデータ領域に記述あるＣＣデータがキャプションモードコードから記述されていないと、メモリ切り換えが行なわれてもディスプレイに正しく表示されない。そこで、補正情報作成部８はＣＣデータをダミーデータ"００"に変更する。
【００４１】
また、ＧＯＰ単位の編集として、不連続点の後ろのＧＯＰは独立再生可能なＩピクチャから始まっていない場合には再生が不可能である。そこで、補正情報作成部８はIピクチャが再生されるまでのピクチャの切り取り処理を行う。また、この切り取り処理によって不連続点の直前のＧＯＰとの接続に問題が起こらないように、補正情報作成部８は不連続点（ａ）（ｂ）直前のＧＯＰの最後のピクチャのフィールド数の調整処理も同時に行なう。
【００４２】
ここで、図６のＣＣデータを用い不連続点の処理について具体的に説明をする。
【００４３】
図１４に示すように、ＧＯＰ１、ＧＯＰ２、ＧＯＰ３、ＧＯＰ４のうちＧＯＰ３をカットし、ＧＯＰ１、ＧＯＰ２、ＧＯＰ４という新規のＭＰＥＧストリームを作成する。
【００４４】
まず、不連続点直後のＧＯＰ４において、再度エンコード処理を施さないため再生不可能なピクチャのフィールド数を取得する。あわせて、不連続点直前のＧＯＰ２とのつなぎ目の処理を行なう。
【００４５】
本例では、ＧＯＰ４は再生単位のＢＢＩＢＢＰＢＢＰＢＢＰＢＢＰ各フレーム前後の相関関係が失われることよりこのままでは再生できない。そこで再エンコードなしで不連続点の処理を行なう方法として、独立再生可能なIピクチャより前に再生されるＢピクチャ２枚を切り取る方法をとる。そして、図５で示すように切り取る２枚のＢピクチャ１、２に相当するＣＣデータも切り取り表示時間を合わせる。次に、ＧＯＰ４のＣＣデータの内容は途中から記述されており正確に表示することはできないので全てダミーデータ"００"に置き換える。
【００４６】
次に、不連続点直前のＧＯＰ２の処理を説明する。現在ディスプレイに表示されているデータおよび次に表示されるデータの消去コードを追加すると図１５のようになる。図１５において、"１４ ２Ｅ""１４ ２Ｅ"は非表示メモリ消去コード、"１４ ２C""１４ ２C"は表示メモリ消去コードである。この表示メモリ消去コードにより、図１のメモリＡ１３、メモリＢ１４の両方のメモリに読み込まれたデータが全て消去される。そして、ＧＯＰ2とＧＯＰ4が問題なく接続できるようにＧＯＰ２の最終ピクチャのフィールド数の調整が行なわれる。
【００４７】
補正情報作成部８で生成されたＣＣデータ補正情報は、図１６の形式でＭＰＥＧストリーム作成部９に供給される。ＭＰＥＧストリーム作成部９は補正情報作成部８で生成された編集後のＣＣデータと編集リスト作成部７で作成された編集リストにより、ＭＰＥＧストリーム（１）、（２）から新規のＭＰＥＧストリームを作成する。このようにして生成したＭＰＥＧストリームを再生装置５により再生確認を行なう。
【００４８】
本実施例の画像編集装置によれば、ユーザーデータ領域にＣＣデータが記述されてあるとしても、編集点で再生画面と矛盾するＣＣデータを表示することなく、スムーズなCCデータを得ることができる。また、矛盾データ表示を防ぐために再度ＣＣデータを入れ直す必要も無く、作業時間を抑えることが可能となる。
【００４９】
しかし、矛盾するデータを表示しないために不連続点の後ろのＧＯＰに対し、ダミーデータ"００"に置き換えてしまうことにより、画面に表示されない期間が生じてしまう。そこで、その表示されない期間を短時間とし、さらにスムーズなＣＣデータの表示を可能とする方法を以下に説明する。
【００５０】
図１７は本発明の他の実施形態の構成を示すブロック図である。図１７において図１１と同一の構成要素には同一符合を付して説明を省略する。本実施形態では補正情報作成部１０の補正情報作成方法が第１の実施形態と異なる。
【００５１】
ここで図１７、図１８を用いて第２の実施形態の補正情報作成部１０での補正情報作成方法を説明する。なお、図１８は第２の実施形態の編集方法を説明するための図である。
【００５２】
まず、不連続点直後のＧＯＰ４において、再度エンコード処理を施さないため再生不可能なピクチャのフィールド数を取得する。あわせて不連続点直前のＧＯＰ２とのつなぎ目の処理を行なう。本例では、第１の実施形態と同様にＧＯＰ４は再生単位のＢＢＩＢＢＰＢＢＰＢＢＰＢＢＰ各フレーム前後の相関関係が失われるため、Ｉピクチャより前に再生されるＢピクチャ２枚を切り取る。そして、図５で示すようにピクチャ１、２に相当するＣＣデータも切り取り表示時間を合わせる。
【００５３】
次に、ＧＯＰ４はＣＣデータの内容が途中から記述されているため正確に表示することができない。そこで、不連続点直前のＧＯＰ２のＣＣデータ内容をチェックする。ＧＯＰ２＿ＣＣには意味を持つＣＣデータが存在していないことより、ＧＯＰ３＿ＣＣの内容をＧＯＰ２＿ＣＣに書き換える。なお、この際ＧＯＰ４＿ＣＣの補正は行なわない。
【００５４】
次にＧＯＰ２の処理を説明する。上記に説明したとおりＧＯＰ２＿ＣＣデータに意味を持つＣＣデータが存在していないため、ＧＯＰ３＿ＣＣの内容をＧＯＰ２＿ＣＣに書き換える。そのとき、不連続点以降の再生画面と矛盾するＣＣデータが表示されないように、ＧＯＰ２＿ＣＣデータの最後に表示メモリ消去コードを追加する。同時に、ＧＯＰ2とＧＯＰ4が問題なく接続できるようにＧＯＰ２の最終ピクチャのフィールド数の調整を行なう。図１９に補正情報作成部１０による補正後のＣＣデータを示す。この補正情報作成部１０で生成されたＣＣデータ補正情報は図１６の形式でＭＰＥＧストリーム作成部９に供給される。
【００５５】
ＭＰＥＧストリーム作成部９は補正情報作成部１０で生成された編集後のＣＣデータと編集リスト作成部７で作成された編集リストにより、ＭＰＥＧストリーム（１）、（２）から新規のＭＰＥＧストリームを作成する。このようにして生成されたＭＰＥＧストリームは再生装置５に供給され再生確認が行なわれる。
【００５６】
以上、本実施形態の画像編集装置によれば、ユーザーデータ領域にＣＣデータが記述されてあっても編集点で再生画面と矛盾するＣＣデータを表示することなく、ＣＣデータをスムーズに再生することができる。また、矛盾データ表示を防ぐために再度ＣＣデータを入れ直す必要も無く、作業時間を抑えることが可能となる。さらに、第１の実施形態よりＣＣデータの表示されない期間を短時間にし、さらにスムーズなＣＣデータを得ることができる。
【００５７】
なお、第１および第２の実施形態では、ＧＯＰ層のユーザーデータ領域にＣＣデータが記述ある場合について説明したが、本発明は他の層のユーザーデータ領域にＣＣデータの記述ある場合でも同様に処理することができる。また、第１および第２実施形態では、編集単位をＧＯＰ単位としたが、本発明はピクチャ単位であっても他のＧＯＰ単位の編集であっても同様に処理することができる。
【００５８】
【発明の効果】
本発明によれば、ＭＰＥＧストリームの編集の際に、同時にＣＣ情報を所望の画面に同期するように修正することが可能になる。
【図面の簡単な説明】
【図１】 クローズドキャプションコードデコーダの基本構成を示すブロック図。
【図２】 クローズドキャプションデータの例を説明する図。
【図３】 ユーザーデータ領域に記述されるフォーマットを説明するための図。
【図４】 ｌｉｎｅ２１＿ｄａｔａ（）のフォーマットを説明するための図。
【図５】 ある画像とその画像を含むＧＯＰとそのＧＯＰのＧＯＰ層ユーザーデータ領域のＣＣデータとの関係を説明するための図。
【図６】 ＣＣデータをユーザーデータ領域に記述されるようにＧＯＰ毎に書き換えた際のＣＣデータの構成を説明するための図。
【図７】 各ＧＯＰとそのＧＯＰに記述してあるＣＣデータ（ＧＯＰ＿ＣＣ）とＣＣデータの表示期間との関係を表す図。
【図８】 ＧＯＰ３＿ＣＣを削除する編集後のデータを説明するための図。
【図９】 ＧＯＰの並び替える編集を行なった際のデータの説明するための図。
【図１０】 ＧＯＰの並び替える編集を行なった際のデータの構造を説明するための図。
【図１１】 画像編集装置の構成を示すブロック図。
【図１２】 ＭＰＥＧストリーム（１）、（２）より任意のＧＯＰを選択し作成した編集リストの例を説明するための図。
【図１３】 ＭＰＥＧストリーム（１）、（２）より任意のＧＯＰを選択し作成した編集例を説明するための図。
【図１４】 ＧＯＰ３をカットし、ＧＯＰ１、ＧＯＰ２、ＧＯＰ４という新規のＭＰＥＧストリームを作成した際の構成を説明する図。
【図１５】 不連続点直前のＧＯＰ２のＣＣデータに現在ディスプレイに表示されているデータおよび次に表示されるデータの消去コードを追加した際のＣＣデータを説明するための図。
【図１６】 生成されたＣＣデータ補正情報を示す図。
【図１７】 他の実施形態の構成を示すブロック図。
【図１８】 第２の実施形態の編集方法を説明するための図。
【図１９】 補正情報作成部による補正後のＣＣデータを示す図。
【符号の説明】
１、２、４ ファイル
３ 編集処理装置
５ 再生装置
６ ＭＰＥＧストリーム解析部
７ 編集リスト作成部
８、１０ 補正情報作成部
９ ＭＰＥＧストリーム作成部
Claims (2)
- クローズドキャプションデータを含むＧＯＰから構成されるＭＰＥＧストリームの編集を行う編集装置において、
前記ＭＰＥＧストリームを格納する格納手段と、
前記格納手段に格納された前記ＭＰＥＧストリームを解析し、少なくともＧＯＰタイムコードを取得する解析手段と、
前記解析手段により取得した前記ＧＯＰタイムコードにより任意のＧＯＰを選んで編集リストを作成する編集リスト作成手段と、
前記編集リストは任意の前記ＧＯＰを選んでいるため不連続点が発生し、この不連続点直後のＧＯＰを補正する場合、再生不可能なピクチャのフィールド数を取得した後にこの取得したフィールド数を切り取り、前記不連続点直後のＧＯＰの前記クローズドキャプションデータは開始コードが存在しない場合全てダミーデータに補正し、また、不連続点直前のＧＯＰを補正する場合、この不連続点直前のＧＯＰのクローズドキャプションデータに消去コードを追加し、さらにこのＧＯＰの最終ピクチャのフィールド数を調整する補正情報作成手段と、
前記編集リスト作成手段が作成した前記編集リストと前記補正情報作成手段により補正された前記クローズドキャプションデータを基に、新規ＭＰＥＧストリームを作成するＭＰＥＧストリーム作成手段とを備えたことを特徴とする画像編集装置。 - クローズドキャプションデータを含むＧＯＰから構成されるＭＰＥＧストリームの編集を行う編集方法において、
前記ＭＰＥＧストリームを格納し、
前記格納された前記ＭＰＥＧストリームを解析し、少なくともＧＯＰタイムコードを取得し、
取得した前記ＧＯＰタイムコードにより任意のＧＯＰを選んで編集リストを作成し、
前記編集リストは任意の前記ＧＯＰを選んでいるため不連続点が発生し、この不連続点直後のＧＯＰを補正する場合、再生不可能なピクチャのフィールド数を取得した後にこの取得したフィールド数を切り取り、前記不連続点直後のＧＯＰの前記クローズドキャプションデータは開始コードが存在しない場合全てダミーデータに補正し、また、不連続点直前のＧＯＰを補正する場合、この不連続点直前のＧＯＰのクローズドキャプションデータに消去コードを追加し、さらにこのＧＯＰの最終ピクチャのフィールド数を調整し、
前記編集リストと補正された前記クローズドキャプションデータを基に、新規ＭＰＥＧストリームを作成することを特徴とする画像編集方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001395747A JP4148679B2 (ja) | 2001-12-27 | 2001-12-27 | 画像編集装置および方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001395747A JP4148679B2 (ja) | 2001-12-27 | 2001-12-27 | 画像編集装置および方法 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2003199057A JP2003199057A (ja) | 2003-07-11 |
| JP2003199057A5 JP2003199057A5 (ja) | 2005-07-07 |
| JP4148679B2 true JP4148679B2 (ja) | 2008-09-10 |
Family
ID=27602044
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001395747A Expired - Fee Related JP4148679B2 (ja) | 2001-12-27 | 2001-12-27 | 画像編集装置および方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4148679B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050276548A1 (en) * | 2004-06-10 | 2005-12-15 | Jiang Fu | Transcoding closed captioning data from broadcast DTV onto DVD |
| JP4229149B2 (ja) | 2006-07-13 | 2009-02-25 | ソニー株式会社 | ビデオ信号処理装置およびビデオ信号処理方法、ビデオ信号符号化装置およびビデオ信号符号化方法、並びにプログラム |
| JP4978582B2 (ja) * | 2008-08-01 | 2012-07-18 | 富士通株式会社 | ストリーム作成装置 |
| WO2015105037A1 (ja) * | 2014-01-10 | 2015-07-16 | パナソニックＩｐマネジメント株式会社 | ファイル生成方法、ファイル生成装置および記録媒体 |
| JP6467680B2 (ja) | 2014-01-10 | 2019-02-13 | パナソニックＩｐマネジメント株式会社 | ファイル生成方法およびファイル生成装置 |
-
2001
- 2001-12-27 JP JP2001395747A patent/JP4148679B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003199057A (ja) | 2003-07-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7742678B2 (en) | Encoded signal characteristic point processing apparatus | |
| KR101009864B1 (ko) | 데이터 관리 방법 | |
| US20100266265A1 (en) | Information storage medium containing subtitle data for multiple languages using text data and downloadable fonts and apparatus therefor | |
| KR100657241B1 (ko) | 동영상 기록/재생 장치와 방법 및 기록 매체 | |
| KR20000023495A (ko) | 기록 장치 및 방법, 재생 장치 및 방법, 및 기록 매체 | |
| JP4823688B2 (ja) | テキストデータとダウンロードフォントとを利用した多国語支援用サブタイトルデータが記録された情報保存媒体及びその装置 | |
| US7477831B2 (en) | Apparatus and method for video editing | |
| US20050008330A1 (en) | Moving image editing apparatus and its control method | |
| JP4148679B2 (ja) | 画像編集装置および方法 | |
| JP2004153791A (ja) | 動画像・音声記録装置及び動画像・音声記録方法 | |
| US7149409B2 (en) | Reproduction apparatus and reproduction method | |
| US8676032B2 (en) | Playback apparatus | |
| JP6742515B2 (ja) | 符号化映像再生装置および符号化映像再生方法 | |
| JP2010010964A (ja) | 電子機器 | |
| JP2007266808A (ja) | 映像音声記録装置及びハードディスクレコーダ | |
| KR20060082380A (ko) | 기록 데이터의 편집을 위한 정보를 관리하는 방법 및 장치 | |
| JP3607681B2 (ja) | 副映像データ編集装置および編集方法 | |
| JP2004153793A (ja) | 動画像・音声記録装置及び動画像・音声再生装置 | |
| KR100953517B1 (ko) | 대화형 광디스크의 리얼타임 데이터 스트리밍 관리 및재생방법 | |
| JP3876943B2 (ja) | ストリーム編集装置および方法、並びに、ストリーム復号装置および方法 | |
| JP3948068B2 (ja) | 情報信号処理装置及び情報信号処理方法 | |
| JP2009105477A (ja) | 再生装置及び再生方法 | |
| JP2001266459A (ja) | 蓄積媒体の再生装置および方法 | |
| US20090161500A1 (en) | Storage apparatus and method for storing data | |
| JP4861221B2 (ja) | 記録装置、記録方法、映像記録再生装置、および、その録画ファイル加工方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041101 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041101 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20050414 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20050606 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070206 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070703 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070828 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080620 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080624 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110704 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110704 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120704 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130704 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |