JP5863244B2 - 編集装置、制御方法及びプログラム - Google Patents

Description

本発明は、Video符号を編集する編集装置、制御方法及びプログラムに関する。

TS（Transport Stream）符号のカット編集としては、GOP（Group Of Picture）単位で行うカット編集（図５（a）参照）、フレーム単位で行うカット編集（図５（b）参照）がある。

GOP単位のカット編集は、DIT（Discontinue Information Table）をカット点に挿入することで、TS符号の分離処理（TS符号をAudio符号とVideo符号とに分離する処理）や再多重化処理（Audio符号とVideo符号とを再多重化する処理）を行わずに、TS符号の編集を行う処理である。GOP単位のカット編集は、Video符号のGOP単位で元符号を再利用するため、簡単な構成で実現することができるメリットがある。しかし、GOPの途中でカットすることができないデメリットがある。

フレーム単位のカット編集は、TS符号をVideo符号とAudio符号とに分離し、Video符号は、映像シーン毎に先頭部分と末尾部分とで再圧縮する（先頭部分と末尾部分以外の中央部分は再圧縮しない）。そして、そのVideo符号とAudio符号とを再多重化する処理である。フレーム単位のカット編集は、Video符号のフレーム単位で編集した後に再多重化処理を行うため、GOPの途中でもカットすることができるメリットがある。しかし、カット編集時に使用するデコーダ、エンコーダでサポートされていない識別子の符号が元符号に存在する場合は、そのサポートされていない識別子の符号がカット編集後に元符号から消えてしまうデメリットがある。

例えば、2D/3D識別子のように新規に定義された識別子の符号は、図６（a）に示すように、ピクチャヘッダの拡張符号で示すことにしている。2D/3D識別子は、Video符号が2Dか3Dかを識別するためのものである。しかし、2D/3D識別子の符号は、カット編集時に使用するデコーダ、エンコーダでサポートされていないため、その2D/3D識別子の符号をデコーダ、エンコーダで認識することができない。その結果、図６（b）に示すように、カット編集後は、2D/3D識別子の符号が元符号から消えてしまうことになる。

このようなことから、編集時に使用するデコーダ、エンコーダでサポートされていない識別子の符号を元符号に残したままの状態にすることが可能な仕組みの開発が必要視されることになる。

なお、本発明より先に出願された技術文献として、特許文献１：特開2002-218390号公報には、MPEG（Moving Picture Expert Group）規格のビデオを編集するときに、GOPがどのようなフレーム構成であっても正しく伸張を行えるようにする技術について開示されている。上記特許文献１では、編集するMPEGビデオデータの先頭のGOPのヘッダ情報を解析し、先頭のGOPがClosed GOPであるか否かを判定し、Closed GOPでない場合は、編集前に、MPEGビデオデータの先頭付近をClosed GOPであるGOP、または、Bピクチャを含まないGOPに変換することにしている。

また、上記特許文献２：特開平6-334916号公報には、圧縮情報の異なる画像・音声ファイルを併合、挿入又は削除の処理によって生じる画像と音声との再生速度の不一致を防止し、かつ、画像および音声のコピー元の出所を示す履歴を保持する技術について開示されている。

また、特許文献３：特開2005-217875号公報には、映像情報を含んだコンテンツ情報とチャプタ情報とを独立して管理し、チャプタ情報を自在に編集したり、別のコンテンツ情報に再利用したりすることを可能にする技術について開示されている。

特開２００２−２１８３９０号公報 特開平６−３３４９１６号公報 特開２００５−２１７８７５号公報

しかし、上記特許文献１〜３には、2D/3D識別子のように新規に定義された識別子の符号を元符号に残したままの状態にするための技術については何ら記載も示唆もされていない。

本発明は、上記事情に鑑みてなされたものであり、編集時に使用するデコーダ、エンコーダでサポートされていない識別子の符号を元符号に残したままの状態にすることが可能な編集装置、制御方法及びプログラムを提供することを目的とする。

かかる目的を達成するために、本発明は、以下の特徴を有することとする。

＜編集装置＞
本発明にかかる編集装置は、
Video符号を編集する編集装置であって、
デコーダとエンコーダとでサポートされていない識別子を含む入力Video符号を前記デコーダに出力する前に、前記入力Video符号に含まれる前記識別子を取得し、該取得した前記識別子を、前記入力Video符号を前記デコーダでデコードして生成されるデコード画像の表示順に対応させて配列して管理し、前記表示順に配列した前記識別子を参照し、前記エンコーダから出力された出力Video符号に対し、当該出力Video符号の表示順に対応する前記識別子を挿入することを特徴とする。

＜制御方法＞
本発明にかかる制御方法は、
Video符号を編集する編集装置で行う制御方法であって、
デコーダとエンコーダとでサポートされていない識別子を含む入力Video符号を前記デコーダに出力する前に、前記入力Video符号を解析し、前記入力Video符号に含まれる識別子を取得し、該取得した前記識別子を、前記入力Video符号を前記デコーダでデコードして生成されるデコード画像の表示順に対応させて配列して管理する解析工程と、
前記解析工程により前記表示順に配列した前記識別子を参照し、前記エンコーダから出力された出力Video符号に対し、当該出力Video符号の表示順に対応する前記識別子を挿入する挿入工程と、
を有することを特徴とする。

＜プログラム＞
本発明にかかるプログラムは、
Video符号を編集する編集装置のコンピュータに実行させるプログラムであって、
デコーダとエンコーダとでサポートされていない識別子を含む入力Video符号を前記デコーダに出力する前に、前記入力Video符号を解析し、前記入力Video符号に含まれる識別子を取得し、該取得した前記識別子を、前記入力Video符号を前記デコーダでデコードして生成されるデコード画像の表示順に対応させて配列して管理する解析処理と、
前記解析処理により前記表示順に配列した前記識別子を参照し、前記エンコーダから出力された出力Video符号に対し、当該出力Video符号の表示順に対応する前記識別子を挿入する挿入処理と、
を、前記コンピュータに実行させることを特徴とする。

本発明によれば、編集時に使用するデコーダ、エンコーダでサポートされていない識別子の符号を元符号に残したままの状態にすることができる。

本実施形態の編集装置100の構成例を示す図である。 本実施形態の編集装置100のカット編集部1011の構成例及び処理動作例を説明するための図である。 カット編集部1011の処理動作例を示す図である。 カット編集部1011の処理動作例を説明するための図である。 GOP単位で行うカット編集（a）と、フレーム単位で行うカット編集（b）と、を説明するための図である。 カット編集時に発生する問題状況を説明するための図である。

＜本実施形態の編集装置100の概要＞
まず、図１、図２を参照しながら、本実施形態の編集装置100の概要について説明する。

本実施形態の編集装置100は、Video符号を編集する編集装置100である。

本実施形態の編集装置100は、図２に示すように、編集時に使用するデコーダ（Video符号デコーダ15に相当）でデコードする前の第１のVideo符号を解析し、その第１のVideo符号に含まれる識別子を、その第１のVideo符号をデコーダ15でデコードして生成されるデコード画像の表示順に対応させて配列して管理する解析部（Video符号識別子解析部14に相当）と、解析部14により表示順に配列した識別子を参照し、編集時に使用するエンコーダ（Video符号エンコーダ16に相当）でデコード画像をエンコードして生成される第２のVideo符号に対し、その第２のVideo符号の表示順に対応する識別子を挿入する挿入部（Video符号識別子挿入部17に相当）と、を有することを特徴とする。

これにより、本実施形態の編集装置100は、編集時に使用するデコーダ15、エンコーダ16でサポートされていない識別子の符号を元符号に残したままの状態にすることができる。以下、添付図面を参照しながら、本実施形態の編集装置100について詳細に説明する。

＜本実施形態の編集装置100の構成例＞
まず、図１、図２を参照しながら、本実施形態の編集装置100の構成例について説明する。

本実施形態の編集装置100は、図１に示すように、制御部101と、記憶部102と、を有して構成している。

記憶部102は、各種情報を記憶する部分である。記憶部102は、MPEG2ファイル1021を記憶する。MPEG2ファイル1021は、MPEG2規格のTS符号を格納したファイルである。

制御部101は、編集装置100全体の制御を司る部分である。本実施形態の制御部101は、カット編集部1011を有して構成する。カット編集部1011は、MPEG2ファイル1021に格納されているTS符号をVideo符号とAudio符号とに分離し、Video符号は、映像シーン毎に先頭部分と末尾部分とで再圧縮する（先頭部分と末尾部分以外の中央部分は再圧縮しない）。そして、そのVideo符号とAudio符号とを再多重化する。カット編集部1011は、図２に示すように、Audio符号検索部10と、Audio符号抜取部11と、Video符号検索部12と、Video符号抜取部13と、Video符号識別子解析部14と、Video符号デコーダ15と、Video符号エンコーダ16と、Video符号識別子挿入部17と、再多重化部18と、を有して構成する。

Audio符号検索部10は、TS符号に含まれるAudio符号を検索する。

Audio符号抜取部11は、Audio符号検索部10の検索結果を基に、TS符号に含まれるAudio符号を抜き取る。

Video符号検索部12は、TS符号に含まれるVideo符号を検索する。

Video符号抜取部13は、Video符号検索部12の検索結果を基に、TS符号に含まれるVideo符号を抜き取る。

Video符号識別子解析部14は、Video符号抜取部13で抜き取ったVideo符号を解析し、Video符号に含まれる2D/3D識別子を、Video符号デコーダ15で生成したデコード画像の表示順に配列する。2D/3D識別子は、Video符号が2Dか3Dかを識別するためのものである。これにより、Video符号デコーダ15で生成したデコード画像の表示順に対応させて2D/3D識別子を配列することができる。

Video符号デコーダ15は、Video符号抜取部13で抜き取ったVideo符号をデコードし、デコード画像を生成する。Video符号デコーダ15で生成したデコード画像は表示順になっている。

Video符号エンコーダ16は、Video符号デコーダ15でデコードして生成したデコード画像をエンコードし、Video符号を生成する。Video符号エンコーダ16で生成したVideo符号は符号順になっている。

Video符号識別子挿入部17は、Video符号識別子解析部14において表示順に配列した2D/3D識別子を基に、Video符号エンコーダ16でエンコードして生成したVideo符号に対し、そのVideo符号の表示順に対応する2D/3D識別子を挿入する。

再多重化部18は、Audio符号抜取部11で抜き取ったAudio符号と、Video符号識別子挿入部17で2D/3D識別子を挿入したVideo符号と、を再多重化し、TS符号を生成する。

＜カット編集部1011の処理動作例＞
次に、図２を参照しながら、カット編集部1011の処理動作例について説明する。

Audio符号検索部10は、TS符号に含まれるAudio符号を検索し、その検索結果をAudio符号抜取部11に通知する（ステップS10）。

Audio符号抜取部11は、Audio符号検索部10から受け付けた検索結果を基に、TS符号に含まれるAudio符号を抜き取り、その抜き取ったAudio符号を再多重化部18に出力する（ステップS11）。

Video符号検索部12は、TS符号に含まれるVideo符号を検索し、その検索結果をVideo符号抜取部13に通知する（ステップS12）。

Video符号抜取部13は、Video符号検索部12から受け付けた検索結果を基に、TS符号に含まれるVideo符号を抜き取り、その抜き取ったVideo符号をVideo符号識別子解析部14に出力する（ステップS13）。

Video符号識別子解析部14は、Video符号抜取部13で抜き取ったVideo符号を解析し、Video符号に含まれる2D/3D識別子を、Video符号デコーダ15で生成したデコード画像の表示順に配列し、その表示順に配列した2D/3D識別子をVideo符号識別子挿入部17に通知する（ステップS14）。また、解析後のVideo符号をVideo符号デコーダ15に出力する（ステップS15）。

Video符号デコーダ15は、Video符号識別子解析部14で解析したVideo符号をデコードしてデコード画像を生成し、該生成したデコード画像をVideo符号エンコーダ16に出力する（ステップS16）。

Video符号エンコーダ16は、Video符号デコーダ15で生成したデコード画像をエンコードしてVideo符号を生成し、該生成したVideo符号をVideo符号識別子挿入部17に出力する（ステップS17）。

Video符号識別子挿入部17は、Video符号識別子解析部14から通知された表示順に配列された2D/3D識別子を基に、Video符号エンコーダ16で生成したVideo符号に対し、そのVideo符号の表示順に対応する2D/3D識別子を挿入し、2D/3D識別子を挿入したVideo符号を再多重化部18に出力する（ステップS18）。

再多重化部18は、Audio符号抜取部12から受け付けたAudio符号と、Video符号識別子挿入部17から受け付けた2D/3D識別子が挿入されたVideo符号と、を再多重化し、TS符号を生成する（ステップS19）。この場合、再多重化部18は、ステップS12〜ステップS18の処理を行った再圧縮後のVideo符号と、ステップS12〜ステップS18の処理を行っていない再圧縮前のVideo符号と、を再多重化する。これにより、再圧縮後のVideo符号の中で消えてしまったVideo符号を含めて再多重化を行うことができる。

＜本実施形態のカット編集部1011の具体的な処理動作例＞
次に、図２〜図４を参照しながら、本実施形態のカット編集部1011の具体的な処理動作例について説明する。図３は、カット編集部1011で行う処理動作例を示し、図４は、カット編集部1011で行う処理動作例を説明するための図である。

まず、Video符号識別子解析部14は、１フレームの入力Video符号を解析し、入力Video符号に含まれる2D/3D識別子とテンポラリリファレンスとを取得する（ステップA1）。

Video符号識別子解析部14は、ステップA1で取得したテンポラリリファレンスを基に、入力Video符号の表示番号を以下の（式１）を用いて算出する（ステップA2）。

InDispNo=GopFisrtCnt+PicTmpRef・・・（式１）
但し、GopFisrtCnt：現GOP直前までのフレーム数
PicTmpRef：ピクチャのテンポラリリファレンス（0から始まるGOP内の表示順に増える値）
InDispNo：入力Video符号の表示番号

次に、Video符号識別子解析部14は、ステップA1で取得した2D/3D識別子を、ステップA2で算出した表示番号順に配列する（ステップA3）。

これにより、Video符号識別子解析部14は、図４（a）に示す入力Video符号に含まれるテンポラリリファレンスを基に、表示番号を算出し（ステップA2）、図４（c）に示すように表示番号順に2D/3D識別子を配列することができる（ステップA3）。図４（a）は、入力Video符号を示しており、図４（c）は、入力Video符号に含まれる2D/3D識別子を表示番号順に配列した状態を示している。

Video符号デコーダ15は、Video符号識別子解析部14で解析後の１フレームの入力Video符号をデコードし、図４（b）に示す１フレームのデコード画像を生成する（ステップA4）。図４（b）は、図４（a）に示す入力Video符号をデコードして生成したデコード画像を示しており、表示番号順になっている。

次に、Video符号エンコーダ16は、図４（d）に示すデコード画像をエンコードし、図４（e）に示す出力Video符号を生成する（ステップA5）。図４（d）は、カット編集後のデコード画像を示し、図４（e）は、図４（d）に示すカット編集後のデコード画像をエンコードして生成した出力Video符号を示している。図４（d）では、最初の３つのフレームをカットしている。

次に、Video符号識別子挿入部17は、図４（e）に示す出力Video符号を解析し、出力Video符号に含まれるテンポラリリファレンスを取得し（ステップA6）、再圧縮を開始する表示番号と、テンポラリリファレンスと、を基に、出力Video符号の表示番号を以下の（式２）を用いて算出する（ステップA7）。

OutDispNo=EncStartNo+GopFisrtCnt+PicTmpRef・・・（式２）
但し、EncStartNo：再圧縮を開始する表示番号
GopFisrtCnt：現GOP直前までのフレーム数
PicTmpRef：ピクチャのテンポラリリファレンス（0から始まるGOP内の表示順に増える値）
OutDispNo：出力Video符号の表示番号

次に、Video符号識別子挿入部17は、表示番号順に配列した2D/3D識別子を参照し、ステップA7で算出した表示番号に対応する2D/3D識別子を出力Video符号に挿入する（ステップA8）。これにより、図４（e）に示すように、2D/3D識別子を挿入した出力Video符号を得ることができる。図４（e）は、2D/3D識別子を挿入した出力Video符号を示している。

カット編集部1011は、圧縮が終了したか否かを判定し（ステップA9）、圧縮が終了した場合は（ステップA9/Yes）、処理を終了する（End）。また、圧縮が終了していない場合は、ステップA1に戻り、再び、ステップA1〜A8までの一連の処理を行う。

＜本実施形態の編集装置100の作用・効果＞
このように、本実施形態の編集装置100は、カット編集時に使用するVideo符号デコーダ15でデコードする前のVideo符号を解析し、そのVideo符号に含まれる識別子を、そのVideo符号をVideo符号デコーダ15でデコードして生成されるデコード画像の表示順に対応させて配列して管理する。そして、その表示順に配列した識別子を参照し、カット編集時に使用するVideo符号エンコーダ16でデコード画像をエンコードして生成されるVideo符号に対し、そのVideo符号の表示順に対応する識別子を挿入する。これにより、本実施形態の編集装置100は、カット編集時に使用するVideo符号デコーダ15、Video符号エンコーダ16でサポートされていない識別子の符号を元符号に残したままの状態にすることができる。

なお、上述する実施形態は、本発明の好適な実施形態であり、上記実施形態のみに本発明の範囲を限定するものではなく、本発明の要旨を逸脱しない範囲において種々の変更を施した形態での実施が可能である。

例えば、上述した実施形態では、カット編集時に使用するVideo符号デコーダ15や、Video符号エンコーダ16でサポートされていない識別子として、2D/3D識別子を例にして説明した。しかし、本実施形態は2D/3D識別子に限定するものではなく、カット編集時に使用するVideo符号デコーダ15や、Video符号エンコーダ16でサポートされていない識別子であれば、あらゆる識別子が適用可能である。

また、上述した実施形態では、MPEG2の符号を例として説明した。しかし、本実施形態は、MPEG2の符号に限定せず、例えば、H.264等の符号にも適用可能である。この場合は、Video符号に含まれるテンポラリレファレンスを基に、H.264に則した計算式を用いて表示番号を算出し、その算出した表示番号を用いて、2D/3D識別子をVideo符号に挿入することになる。

また、上述した実施形態では、TS符号のカット編集について説明した。しかし、本実施形態は、TS符号のカット編集だけでなく、PS（Program Stream）符号やVideo符号のみの編集にも適用可能である。

また、上述した本実施形態における編集装置100を構成する各装置における制御動作は、ハードウェア、または、ソフトウェア、あるいは、両者の複合構成を用いて実行することも可能である。

なお、ソフトウェアを用いて処理を実行する場合には、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれているコンピュータ内のメモリにインストールして実行させることが可能である。あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは、記録媒体としてのハードディスクやROM（Read Only Memory）に予め記録しておくことが可能である。あるいは、プログラムは、リムーバブル記録媒体に、一時的、あるいは、永続的に格納（記録）しておくことが可能である。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することが可能である。なお、リムーバブル記録媒体としては、フロッピー（登録商標）ディスク、CD-ROM（Compact Disc Read Only Memory）、MO（Magneto optical）ディスク、DVD（Digital Versatile Disc）、磁気ディスク、半導体メモリなどが挙げられる。

なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールすることになる。また、ダウンロードサイトから、コンピュータに無線転送することになる。また、ネットワークを介して、コンピュータに有線で転送することになる。

また、本実施形態における編集装置100は、上記実施形態で説明した処理動作に従って時系列的に実行されるのみならず、処理を実行する装置の処理能力、あるいは、必要に応じて並列的にあるいは個別に実行するように構築することも可能である。

本発明は、Video符号の編集時に好適である。

１００ 編集装置
１０１ 制御部
１０１１ カット編集部
１０２ 記憶部
１０２１ ＭＰＥＧ２ファイル
１０ Ａｕｄｉｏ符号検索部
１１ Ａｕｄｉｏ符号抜取部
１２ Ｖｉｄｅｏ符号検索部
１３ Ｖｉｄｅｏ符号抜取部
１４ Ｖｉｄｅｏ符号識別子解析部（解析手段）
１５ Ｖｉｄｅｏ符号デコーダ（デコーダ）
１６ Ｖｉｄｅｏ符号エンコーダ（エンコーダ）
１７ Ｖｉｄｅｏ符号識別子挿入部（挿入手段）
１８ 再多重化部

Claims (6)

1. Video符号を編集する編集装置であって、
   デコーダとエンコーダとでサポートされていない識別子を含む入力Video符号を前記デコーダに出力する前に、前記入力Video符号に含まれる前記識別子を取得し、該取得した前記識別子を、前記入力Video符号を前記デコーダでデコードして生成されるデコード画像の表示順に対応させて配列して管理し、前記表示順に配列した前記識別子を参照し、前記エンコーダから出力された出力Video符号に対し、当該出力Video符号の表示順に対応する前記識別子を挿入することを特徴とする編集装置。
2. 前記識別子は、ピクチャヘッダの拡張領域に含まれている、ことを特徴とする請求項１記載の編集装置。
3. 前記デコーダに出力する前の前記入力Video符号を解析し、前記入力Video符号に含まれる識別子を取得し、該取得した前記識別子を、前記入力Video符号を前記デコーダでデコードして生成されるデコード画像の表示順に対応させて配列して管理する解析手段と、
   前記解析手段により前記表示順に配列した前記識別子を参照し、前記エンコーダから出力された前記出力Video符号に対し、当該出力Video符号の表示順に対応する前記識別子を挿入する挿入手段と、を有し、
   前記解析手段は、前記入力Video符号を解析し、前記入力Video符号に含まれる前記識別子とテンポラリリファレンスとを取得し、該取得したテンポラリリファレンスを基に、前記入力Video符号の表示番号を算出し、前記入力Video符号に含まれる前記識別子を、前記表示番号の表示順で配列し、
   前記挿入手段は、前記出力Video符号を解析し、前記出力Video符号に含まれるテンポラリリファレンスを取得し、該取得したテンポラリリファレンスと再圧縮を開始する表示番号と、を基に、前記出力Video符号の表示番号を算出し、前記解析手段により前記表示順に配列した前記識別子を参照し、前記算出した表示番号の表示順に対応する前記識別子を前記出力Video符号に挿入することを特徴とする請求項１または２記載の編集装置。
4. 前記識別子は、２Ｄ／３Ｄ識別子であり、
   ２Ｄ識別子を前記出力Video符号に挿入すると２Ｄ画像になり、
   ３Ｄ識別子を前記出力Video符号に挿入すると３Ｄ画像になる、ことを特徴とする請求項１から３の何れか１項に記載の編集装置。
5. Video符号を編集する編集装置で行う制御方法であって、
   デコーダとエンコーダとでサポートされていない識別子を含む入力Video符号を前記デコーダに出力する前に、前記入力Video符号を解析し、前記入力Video符号に含まれる識別子を取得し、該取得した前記識別子を、前記入力Video符号を前記デコーダでデコードして生成されるデコード画像の表示順に対応させて配列して管理する解析工程と、
   前記解析工程により前記表示順に配列した前記識別子を参照し、前記エンコーダから出力された出力Video符号に対し、当該出力Video符号の表示順に対応する前記識別子を挿入する挿入工程と、
   を有することを特徴とする制御方法。
6. Video符号を編集する編集装置のコンピュータに実行させるプログラムであって、
   デコーダとエンコーダとでサポートされていない識別子を含む入力Video符号を前記デコーダに出力する前に、前記入力Video符号を解析し、前記入力Video符号に含まれる識別子を取得し、該取得した前記識別子を、前記入力Video符号を前記デコーダでデコードして生成されるデコード画像の表示順に対応させて配列して管理する解析処理と、
   前記解析処理により前記表示順に配列した前記識別子を参照し、前記エンコーダから出力された出力Video符号に対し、当該出力Video符号の表示順に対応する前記識別子を挿入する挿入処理と、
   を、前記コンピュータに実行させることを特徴とするプログラム。

Images