JP3325464B2 - 動画像処理装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ストリームの分割
編集を行う動画像処理装置に関し、詳細には、ＭＰＥＧ
ビデオ・ストリームの分割、生成と編集を行う動画像処
理装置に関する。

【０００２】

【従来の技術】動画像、特に、蓄積メディア用の動画像
符号化の国際標準としては、ＭＰＥＧ（Moving Picture
Expert Group）がある。

【０００３】ＭＰＥＧは、ＭＰＥＧI，ＭＰＥＧII，Ｍ
ＰＥＧIVの３レベルの規格案が検討されている。ＭＰＥ
ＧIでは、１．５Ｍｂｐｓの通信回線で伝送できる動画
像圧縮を目的としており、おもにテレビ電話やテレビ会
議などで使用することが考えられている。ＭＰＥＧIで
は、現行のＮＴＳＣ方式のビデオ画像を３２０×２４０
ピクセルの解像度として扱い、１フレームを構成する２
フィールドのうち１フィールドのみのデータを用いる。
ＭＰＥＧIIでは、１０Ｍｂｐｓを超える通信回線で伝送
できる圧縮が目標で、ＩＳＤＮなどによる動画像伝送や
ディジタル・ビデオがターゲットとされている。そし
て、ＭＰＥＧIVは、低ビットレートを対象としている。

【０００４】ＭＰＥＧの特徴は、静止画圧縮では不要で
あった「動き補償（ＭＣ：MotionCompensation）」を行
うこと、及び動画像圧縮の前提条件としてフレームのラ
ンダム・アクセスができること、早送りによる再生や巻
戻し再生（逆方向）ができることがあげられている。

【０００５】すなわち、画像データは、一般に膨大であ
り、そのまま伝送したのでは、大きな帯域を必要とする
だけでなく、そのまま蓄積したのでは、膨大な記憶容量
を必要とする。一方、動画では、大体同じ形態が移動す
ることが多いので、この同じ形態の移動予測を行うこと
により、１コマ１コマを圧縮する必要が無くなり、伝送
や蓄積において有利となる。

【０００６】そこで、ＭＰＥＧでは、ＤＣＴ（Discrete
Cosine Transform：離散コサイン変換）による静止画
像圧縮に加えて、時間軸方向の圧縮のための動き補償を
行っている。

【０００７】ＭＰＥＧのデータ構造は、下位の層から、
ブロック層、マクロブロック層、スライス層、ピクチャ
層、ＧＯＰ（Group of Pictures）層及びビデオシーケ
ンス層となっており、その内容は、以下のとおりであ
る。

【０００８】ブロック層は、輝度または色差の隣り合っ
た８ライン×８画素の画素から構成され、ＤＣＴは、こ
の単位で実行される。

【０００９】マクロブロック層は、左右及び上下に隣り
合った４つの輝度ブロックＹ０、Ｙ１、Ｙ２、Ｙ３と、
画像上では同じ位置にあたるＣｂ、Ｃｒそれぞれの色差
ブロックの全部で６つのブロックで構成される。上記動
きベクトルは、このマクロブロック単位で取り扱われ
る。

【００１０】スライス層は、画像の走査順に連なる１つ
又は複数のマクロブロックで構成される。

【００１１】ピクチャ層は、上記少なくとも１つ又は複
数のスライスから構成され、その符号化される方式によ
り、上記Ｉピクチャ、Ｐピクチャ及びＢピクチャ等に分
類される。

【００１２】ＧＯＰ層は、１枚または複数枚のＩピクチ
ャと０枚または複数枚の非Ｉピクチャから構成される。

【００１３】ビデオシーケンス層は、画像サイズ、画像
レートなどが同じ１又は複数のＧＯＰから構成される。

【００１４】また、ＭＰＥＧでは、上述のように、早送
り、巻き戻し、途中からの再生が基本となっているた
め、ある単位の動画像をまとめてＧＯＰ（Group of Pic
tures）を形成し、その単位での独立再生ができるよう
にしている。

【００１５】このＧＯＰでは、途中からの再生を可能に
するため、シーケンス・ヘッダ（ＳＨ）を付けることが
可能であり、シーケンス・ヘッダには、画像の大きさ、
画素縦横比など、データの再生に必要とする初期データ
が入っている。

【００１６】そして、ＭＰＥＧでは、上記ＧＯＰ内の画
面の予測構造として、動画のフレームを意味する１枚１
枚の画像（ピクチャ）、Ｉ、Ｂ、Ｐピクチャを用いる。

【００１７】上記ピクチャは、符号化される方式に従っ
て以下のタイプに分類される。

【００１８】Ｉピクチャ（Intra-coded picture：イ
ントラ符号化画像） 符号化されるときその画像１枚の中だけで閉じた情報の
みを使う。換言すれば、復号化するときＩピクチャ自身
の情報のみで画像が再構成できる。実際には、他の画像
との差分をとらずそのままＤＣＴして符号化する。この
符号化方式は、一般に効率が悪いが、これを随所に入れ
てＩピクチャだけを復号すればランダムアクセスや高速
再生が可能となる。さらに、Ｉピクチャを復号してメモ
リに蓄え、逆方向に読み出すことを繰り返せば逆転再生
をも可能となる。

【００１９】Ｐピクチャ（Predictive-coded pictur
e：前方予測符号化画像） Ｐピクチャは、予測画像（差分をとる基準となる画像）
として、入力で時間的に前に位置し既に復号化されたＩ
ピクチャまたはＰピクチャを使う。すなわち、図５に示
すように過去から現在の一方向に予測されるフレームで
ある。実際には動き補償された予測画像との差を符号化
するか差分をとらずに符号化する（イントラ符号化）か
効率のよい方をマクロブロック単位で選択できる。

【００２０】Ｂピクチャ（Bidirectionally predicti
ve-coded picture：両方向予測符号化画像） Ｂピクチャは、予測画像として時間的に前に位置し既に
復号化されＩピクチャまたはＰピクチャ、時間的に後ろ
に位置するすでに復号化されたＩピクチャまたはＰピク
チャ、及びその両方から作られた補間画像の３種類を使
う。ここで、補間フレームの場合は両方向から予測を行
うが、動き補償の予測モードは大きく分類して３つあ
る。過去から現在を予測する順方向動き補償、未来から
現在を予測する逆方向動き補償、過去と未来の両方から
現在を予測する補間動き補償である。上記順方向動き補
償と逆方向動き補償とは、一つの参照フレームから読み
出したブロックとマッチングをとるという点で、通常の
動き補償（ＭＣ）と同じ処理である。また、上記補間動
き補償は、２つの参照フレームから読み出したブロック
を、現在のフレームと参照フレームとの時間距離を考慮
した重みづけをして合成し、予測信号を得るものであ
る。

【００２１】上記３種類の動き補償後の差分の符号化と
イントラ符号化の中で一番効率のよいものをマクロブロ
ック単位に選択できる。

【００２２】そして、ＧＯＰにおいて、Ｂピクチャを符
号化または復号化するには、その予測画像となる時間的
には後方にあるＩピクチャまたはＰピクチャが先に符号
化されていなくてはならないため、ＧＯＰを構成するに
はＩピクチャ、Ｐピクチャ、Ｂピクチャは所定の順序が
必要であるが、Ｉピクチャの間隔、及びＰピクチャの間
隔は自由でＧＯＰの内部でも変わってもよい。

【００２３】ところで、ＭＰＥＧビデオやＭＰＥＧオー
ディオの符号化されたストリーム（ビット列）、さらに
他の符号化ストリームも含めて実際のアプリケーション
に適用する場合には、同期を含めて統合し１本化すると
ともに、そのストリームを蓄積メディアやネットワーク
等が持つ、固有の物理フォーマットやプロトコルに適合
したデータ形式にする必要がある。

【００２４】ＭＰＥＧストリームは、１ビットのフラグ
も多数あるがヘッダなどの各単位ごとにバイト整列され
たバイト・ストリームである。ＭＰＥＧシステム全体に
共通した構造として固定長でないデータ部分には、長さ
を示す情報が先行して置かれ、不要な場合はその部分を
スキップしたり、次のデータ群の先頭を確認して信頼性
の高い分離処理ができるデータ構造となっている。

【００２５】

【発明が解決しようとする課題】上述したように、ΜＰ
ＥＧストリームはその構造上ＧＯＰ単位で分割編集され
るように設計されており、これをピクチャ単位で分割編
集するようには設計されていない。

【００２６】したがって、従来のシステムでは既存のΜ
ＰＥＧビデオストリームをＧＯＰ単位で分割することは
可能であっても、ピクチャ単位で分割することはストリ
ームの構造上不可能であり、きめ細かくＭＰＥＧビデオ
ストリームを編集できないという問題点があった。

【００２７】本発明は、ΜＰＥＧビデオストリームをピ
クチャ単位で分割して編集を行うことができ、きめ細か
くＭＰＥＧビデオストリームを編集することができる動
画像処理装置を提供することを目的としている。

【００２８】

【課題を解決するための手段】本発明に係る動画像処理
装置は、Ｉピクチャ、Ｐピクチャ、Ｂピクチャが時間軸
方向に所定の順序で並ぶＧＯＰ構造の動画像情報を符号
化して得られるデータ列をストリームとして処理する動
画像処理装置において、前記ストリームの分割点を、選
択されたピクチャに基づいて指定する分割点指定手段
と、指定された分割点で前記ストリームを分割するスト
リーム分割手段とを備え、前記ストリーム分割手段は、
前記分割点が１つのＧＯＰのピクチャ間にある場合、 （１）指定された分割点が１つのＧＯＰ内のＢピクチャ
と該Ｂピクチャの直後に位置するＰピクチャとの間にあ
るときには、前記ストリームを該ストリームの始めから
前記Ｐピクチャまでの先行ストリームと、該１つのＧＯ
Ｐから前記ストリームの最後までの後続ストリームとに
分割し、 （２）指定された分割点が１つのＧＯＰ内の連続する２
つのＢピクチャの間にあるときには、該指定された分割
点を前記連続する２つのＢピクチャの後の次のＰピクチ
ャと該Ｐピクチャの直前に位置するＢピクチャとの間に
変更するとともに、前記ストリームを、該ストリームの
始めから前記Ｐピクチャまでの先行ストリームと、該１
つのＧＯＰから前記ストリームの最後までの後続ストリ
ームとに分割することを特徴とする。

【００２９】 本発明に係る他の動画像処理装置は、Ｉ
ピクチャ、Ｐピクチャ、Ｂピクチャが時間軸方向に所定
の順序で並ぶＧＯＰ構造の動画像情報を符号化して得ら
れるデータ列をストリームとして処理する動画像処理装
置んいおいて、前記ストリームの分割点を、該ストリー
ムの中から選択されたピクチャに基づいて指定する分割
点指定手段と、指定された分割点で前記ストリームを分
割するストリーム分割手段とを備え、前記ストリーム分
割手段は、指定された分割点が１つのＧＯＰのピクチャ
間にある場合、前記指定された分割点を含むＧＯＰの最
初のピクチャから前記選択されたピクチャまでの再生を
可能にする第１のＧＯＰ及び前記選択されたピクチャか
ら前記指定された分割点を含むＧＯＰの最後のピクチャ
までの再生を可能にする第２のＧＯＰを新たに生成する
エンコード手段と、前記ストリームを、該ストリームの
始めから前記指定された分割点を含むＧＯＰの直前まで
のＧＯＰ列の最後に前記新たに生成された第１のＧＯＰ
を付加した先行ストリームと、前記指定された分割点を
含むＧＯＰの直後のＧＯＰから前記ストリームの終わり
までのＧＯＰ列の先頭に前記第２のＧＯＰを付加した後
続ストリームとに分割する手段とを有することを特徴と
する。

【００３０】 前記先行ストリームにシーケンスエンド
コードを付加するエンドコード付加手段と、前記後続ス
トリームにシーケンススタートコードを付加するスター
トコード付加手段とを備えて構成してもよい。

【００３１】ＧＯＰが、Ｉピクチャと次のＩピクチャの
直前のピクチャまでのピクチャを含む擬似ＧＯＰであっ
てもよい。

【００３２】

【発明の実施の形態】

具体例１ 本発明に係る動画像処理装置は、ＭＰＥＧビデオ・スト
リームの分割、生成と編集を行う動画像処理装置に適用
することができる。

【００３３】図１は本発明の実施形態に係る動画像処理
装置の構成を示すブロック図である。図１に示す動画像
処理装置は、ＭＰＥＧシステムとして本体にワークステ
ーションやパーソナルコンピュータを適用した例であ
る。

【００３４】図１において、動画像処理装置は、ワーク
ステーション、パーソナルコンピュータからなるコンピ
ュータ本体１と、本体１に接続されたキーボード２、Ｃ
ＲＴ等のディスプレイ３、及びΜＰＥＧデータが記憶さ
れたハードディスク（ＨＤ）４から構成される。

【００３５】上記キーボード２は、英数字、平仮名等を
入力するキーや、カーソル移動キー、実行キー等のファ
ンクションキーが配置された操作盤であり、操作盤上の
いずれかのキーが操作された場合、図示しないキーボー
ドコントローラによってそのキーに対応する所定のキー
コードに変換され、コンピュータ本体１に出力される。

【００３６】上記コンピュータ本体１は、ΜＰＥＧスト
リーム複製機能部５、ΜＰＥＧストリーム解析機能部６
（ストリーム解析手段）、ΜＰＥＧストリーム分割機能
部７（ストリーム分割手段）、ＭＰＥＧストリーム再生
機能部８（ストリーム再生手段）、ΜＰＥＧストリーム
付加機能部９及びメモリ１０から構成される。

【００３７】上記キーボード２、ディスプレイ３、及び
コンピュータ本体１の例えば、ΜＰＥＧストリーム複製
機能部５は、全体として再生したピクチャに対してスト
リームを分割する分割点を指定する指定手段１１を構成
する。

【００３８】上記ΜＰＥＧストリーム複製機能部５は、
選択されたＭＰＥＧストリームを複製用ΜＰＥＧストリ
ームとしてハードディスク４から読み込む。

【００３９】上記ΜＰＥＧストリーム解析機能部６は、
選択されたＭＰＥＧストリームの構造情報を作成する。

【００４０】上記ΜＰＥＧストリーム分割機能部７は、
ＭＰＥＧストリームの構造情報に従って分割点でストリ
ームを分割する。

【００４１】上記ＭＰＥＧストリーム再生機能部８は、
分割した前のストリーム、後ろのストリームを独立した
ΜＰＥＧストリームに再生する処理を行う。

【００４２】上記ΜＰＥＧストリーム付加機能部９は、
再生処理されたストリームの最初、及び最後にシーケン
スコード等を付加する。

【００４３】上記メモリ１０は、ΜＰＥＧストリームを
分割する時に参照するΜＰＥＧストリームの各シーケン
ス、ＧＯＰ、ピクチャのスタートコードのオフセットを
記録するΜＰＥＧストリームの構造情報を記憶する。

【００４４】次に、上述のように構成された動画像処理
装置の動作を説明する。

【００４５】図２はＭＰＥＧビデオ・ストリームの分割
するための処理フローであり、図中ＳＴはフローの各ス
テップを示す。

【００４６】まず、ステップＳＴ１で選択されたＭＰＥ
Ｇストリームをハードディスク４から読み込み、ステッ
プＳＴ２でストリームの構造情報を作成し、それを利用
して分割点となる各ピクチャをディスプレイ３に表示す
る。

【００４７】次いで、ステップＳＴ３で利用者が選択、
入力したピクチャを読み取りストリームの構造情報を元
に、そのピクチャのストリーム中の位置からストリーム
のどの部分で分割するかを決定し、ステップＳＴ４でΜ
ＰＥＧストリーム分割機能部７はその分割点でストリー
ムを分割する。

【００４８】次いで、ステップＳＴ５でＭＰＥＧストリ
ーム再生機能部８は分割した前のストリーム、後ろのス
トリームを独立したΜＰＥＧストリームにする処理を施
し、ハードディスク４にセーブし、ステップＳＴ６で新
たにストリームを分割するか否かを利用者に問い、新た
にストリームを分割する場合はステップＳＴ１に戻って
上記処理を繰り返し、ストリームを分割しない場合は本
フローの処理を終了する。

【００４９】上記ＭＰＥＧビデオストリームの分割処理
について更に詳細に説明する。

【００５０】以下、ＭＰＥＧシステム全体の処理を１．
〜１０．の項目で順に述べ、後記８．のＭＰＥＧストリ
ームの分割では、（ａ）ストリームがＧＯＰを内包して
いる場合と、（ｂ）ストリームがＧＯＰを内包していな
い場合とに分けて分割方法を具体的に詳述する。

【００５１】１．まず、利用者は分割するΜＰＥＧスト
リームをキーボード２で選択する。

【００５２】２．ΜＰＥＧストリーム複製機能部５は、
選択されたΜＰＥＧストリームをハードディスク３から
読み込む（図２のステップＳＴ１の処理）。

【００５３】３．ΜＰＥＧストリーム解析機能部６は、
読み込んだΜＰＥＧストリームを解析し、ΜＰＥＧスト
リームを分割する時に参照するΜＰＥＧストリームの各
シーケンス、ＧＯＰ、ピクチャのスタートコードのオフ
セットを記録するΜＰＥＧストリームの構造情報をメモ
リ１０に記録する。

【００５４】４．利用者にストリームのどの部分で分割
を行うかの大まかな位置を決定させるため、システムは
各ＧＯＰから１ピクチャをデコード再生してディスプレ
イ３に表示する（図２のステップＳＴ２の処理）。

【００５５】５．利用者はディスプレイ３に表示された
ピクチャの中から何番目のＧＯＰでストリームを分割す
るかを決定し、何番目のＧＯＰを選択するかをキーボー
ド２からＭＰＥＧシステムに入力する。

【００５６】６．選択したＧＯＰ内のどのピクチャでス
トリームを分割するかを利用者に決定させるために、シ
ステムはＧＯＰ内のピクチャを１枚ずつデコード再生し
てディスプレイ３に表示する。

【００５７】７．利用者がストリームを分割するピクチ
ャを何番目のピクチャにするかをキーボード２から入力
する。

【００５８】８．これにより、ΜＰＥＧストリーム分割
機能部７は該当ピクチャの前か後ろのどちらをストリー
ムの分割点とするかをキーボード２からの入力により選
択して、ストリームを分割する（図２のステップＳＴ３
〜ステップＳＴ５の処理）。

【００５９】ストリームを分割する方式は、ＭＰＥＧス
トリームがＧＯＰを内包している場合としていない場合
とで以下の２つの場合（ａ）（ｂ）に分かれる。

【００６０】（ａ）ストリームがＧＯＰを内包している
場合 図３はＧＯＰ内包時にΜＰＥＧストリーム分割を説明す
るための図であり、ΜＰＥＧストリーム中の各Ι、Ｐ、
ΒピクチャをΜＰＥＧストリーム中の並び順で示したも
のである。

【００６１】ストリーム上のピクチャが分割されるパタ
ーンは、さらに以下の４つの場合(i)〜(iv)に分けられ
る。

【００６２】(i)分割点が連続した、あるいは連続して
いない前のＢピクチャと後の参照ピクチャの間にある場
合 前のストリームはストリームの始まりからその分割点ま
でのストリームとする。最後のＧＯＰ中の最後の参照ピ
クチャは最後のΒピクチャよりも時間的に後に表示され
るために表示する必要がないが、最後のＢピクチャの参
照フレームのために含む必要がある。そして、ストリー
ムの最後にはシーケンスエンドコードを付加する。

【００６３】後のストリームは、その分割点を含むＧＯ
Ｐの始まりからストリームの最後までのストリームとす
る。分割点を含むＧＯＰ全てを後のストリームに含ませ
る。なぜなら、ＧＯＰ中のピクチャをその途中からだけ
残すことは困難なため、そのＧＯＰ内の分割点以降のピ
クチャを後のストリームが含まない場合、ピクチャの欠
落が視聴者に不自然な感覚を与えるためである。

【００６４】また、最初のＧＯＰのヘッダ部にあるｂｒ
ｏｋｅｎフラグが立っていない場合はこれを修正して立
てる。そして、最初のＧＯＰ中の分割する以前、前にあ
ったＧＯＰ中のピクチャを参照するピクチャはセーブし
ない。さらに、ストリームの最初にはシーケンススター
トコードを付加する。これは前のストリームが持ってい
るものと同一である。

【００６５】(ii)分割点が連続したΒピクチャの間にあ
る場合 分割点を上記(i)の場合の連続した前のΒピクチャと後
の参照ピクチャの間に変更する。前のストリームはスト
リームの始まりからその分割点までのストリームとす
る。最後のＧＯΡ中の最後の参照ピクチャは意図した分
割点の直前のＢピクチャよりも時間的に後に表示される
ために表示する必要がないが、最後のΒピクチャの参照
フレームのために含む必要がある。

【００６６】そして、意図した分割点以降のΒピクチャ
は時間的には最後の参照フレームの前に並び、これがな
いと最後の参照ピクチャの前に欠落したピクチャができ
てしまう。欠落したフレームがあれば視聴者に不自然な
感覚を与える。そのため利用者が意図した分割点以降の
時間的に参照フレームの前に並ぶΒピクチャも前のスト
リームに含ませる。

【００６７】そして、ストリームの最後にはシーケンス
エンドコードを付加する。後のストリームはその分割点
を含むＧＯＰの始まりからストリームの最後までのスト
リームとする。また、最初のＧＯＰのヘッダ部にあるｂ
ｒｏｋｅｎフラグが立っていない場合はこれを修正して
立てる。そして、最初のＧＯＰ中の分割する以前、前に
あったＧＯＰ中のピクチャを参照するピクチャはセーブ
しない。ストリームの最初にはシーケンススタートコー
ドを付加する。これは前のストリームが持っているもの
と同一である。

【００６８】(iii)分割点が連続するＧＯＰの間にある
場合 前のストリームは元のストリームの最初から分割点まで
とする。さらに、ストリームの最後にシーケンスエンド
コードを付加する。後のストリームはストリームの分割
点から元のストリームの最後までとする。また、最初の
ＧＯＰのヘッダ部にあるｂｒｏｋｅｎフラグが立ってい
ない場合はこれを修正して立ててセーブする。そして、
最初のＧＯＰ中の分割する以前、前にあったＧＯＰ中の
ピクチャを参照するピクチャはセーブしない。さらに、
ストリームの最初にシーケンススタートコードを付加す
る。

【００６９】(iv)分割点が連続するシーケンスの間にあ
る場合 前のストリームは元のストリームの最初から分割点まで
とする。さらに、ストリームの最後にシーケンスエンド
コードを付加する。後のストリームはストリームの分割
点から元のストリームの最後までとする。

【００７０】（ｂ）ストリームがＧＯＰを内包していな
い場合 図４はＧＯＰ非内包時にΜＰＥＧストリーム分割を説明
するための図であり、ΜＰＥＧストリーム中の各Ι、
Ｐ、ΒピクチャをΜＰＥＧストリーム中の並び順で示し
たものである。

【００７１】ストリーム上のピクチャが分割されるパタ
ーンは、さらに以下の４つの場合(i)〜(iv)に分けられ
る。

【００７２】また、あるΙピクチャと次のΙピクチャの
直前のピクチャで挟まれたピクチャ群を説明の便宜上
「疑似ＧＯＰ」と呼ぶ。

【００７３】(i)分割点が連続した、または連続してい
ない前のΒピクチャと後の参照ピクチャの間にある場合 前のストリームはストリームの始まりからその分割点ま
でのストリームとする。最後の疑似ＧＯＰ中の最後の参
照ピクチャは最後のΒピクチャよりも時間的に後に表示
されるために表示する必要がないが、最後のＢピクチャ
の参照フレームのために含む必要がある。

【００７４】そして、ストリームの最後にはシーケンス
エンドコードを付加する。後のストリームはその分割点
を含む疑似ＧＯＰの始まりからストリームの最後までの
ストリームとする。分割点を含む疑似ＧＯＰ全てを後の
ストリームに含ませる。なぜなら、ＧＯＰ中のピクチャ
をその途中からだけ残すことは困難なため、そのＧＯＰ
内の分割点以降のピクチャを後のストリームが含まない
場合、ピクチャの欠落が視聴者に不自然な感覚を与える
のを防ぐためである。

【００７５】そして、最初の疑似ＧＯＰ中の分割する以
前、前にあった疑似ＧＯＰ中のピクチャを参照するピク
チャはセーブしない。さらに、ストリームの最初にはシ
ーケンススタートコードを付加する。これは前のストリ
ームが持っているものと同一である。

【００７６】(ii)分割点が連続したΒピクチャの間にあ
る場合 分割点を（１）の場合の連続した前のＢピクチャと後の
参照ピクチャの間に変更する。前のストリームはストリ
ームの始まりからその分割点までのストリームとする。
最後の疑似ＧＯＰ中の最後の参照ピクチャは意図した分
割点の直前のΒピクチャよりも時間的に後に表示される
ために表示する必要がないが、最後のΒピクチャの参照
フレームのために含む必要がある。

【００７７】そして、意図した分割点以降のΒピクチャ
は時間的には最後の参照フレームの前に並び、これがな
いと最後の参照ピクチャの前に欠落したピクチャができ
てしまう。欠落したフレームがあれば視聴者に不自然な
感覚を与える。そのため利用者が意図した分割点以降の
時間的に参照フレームの前に並ぶΒピクチャも前のスト
リームに含ませる。

【００７８】そして、ストリームの最後にはシーケンス
エンドコードを付加する。後のストリームはその分割点
を含む疑似ＧＯΡの始まりからストリームの最後までの
ストリームとする。そして、最初の疑似ＧＯＰ中の分割
する以前、前にあった疑似ＧＯＰ中のピクチヤを参照す
るピクチャはセーブしない。ストリームの最初にはシー
ケンススタートコードを付加する。これは前のストリー
ムが持っているものと同一である。

【００７９】(iii)分割点が連続する疑似ＧＯＰの間に
ある場合 前のストリームは元のストリームの最初から分割点まで
とする。さらに、ストリームの最後にシーケンスエンド
コードを付加する。後のストリームはストリームの分割
点から元のストリームの最後までとする。

【００８０】そして、最初の疑似ＧＯＰ中の分割する以
前、前にあった疑似ＧＯＰ中のピクチャを参照するピク
チャはセーブしない。さらに、ストリームの最初にシー
ケンススタートコードを付加する。

【００８１】(iv)分割点が連続するシーケンスの間にあ
る場合 前のストリームは元のストリームの最初から分割点まで
とする。さらに、ストリームの最後にシーケンスエンド
コードを付加する。後のストリームはストリームの分割
点から元のストリームの最後までとする。

【００８２】以上により、ストリーム分割、ストリーム
再生が実現される。

【００８３】９．システムは新たにΜＰＥＧストリーム
を分割するかを利用者に入力要求する（図２のステップ
ＳＴ６の処理）。

【００８４】１０．ここで、もし新たに分割するΜＰＥ
Ｇストリームがあればそのストリームを利用者に入力要
求する。なければシステムの動作を終了する。

【００８５】ストリームが終了するか、利用者がストリ
ームのカットを止めるまで、上記１．〜１０．の手順を
繰り返す。

【００８６】具体例２ 本発明による第２の具体例を以下に説明する。具体例２
における構成は具体例１と同様であるが、さらにΜＰＥ
Ｇビデオエンコーダを備えている。具体例１と同様な処
理を、分割点を指定する（具体例１の８．に相当する）
まで行う。以下には、分割点の指定により分割が行われ
る処理を詳細に述べる。また、具体例２においては、２
分割ではなく所望するストリームの取り出し（分割点が
２箇所）の場合を例に挙げる。

【００８７】８．利用者はディスプレイ３に表示された
ピクチャの中から分割して取り出す、連続するピクチャ
の中から最初のピクチャと最後のピクチャを選択し、キ
ーボード２からシステムに入力する。

【００８８】最初のピクチャの直前と最後のピクチャの
直後のポイントを分割するポイントとし、そのポイント
でΜＰＥＧビデオストリームを分割する。

【００８９】分割の方法の中で想定されるケースを以下
に（ａ）〜（ｆ）の６通り示す。

【００９０】（ａ）先頭かつ後部の分割点がＧＯＰの切
れ目にあり、先行するＧＯＰから独立している場合 予めサーチしておいたシーケンスヘッダ情報を利用し
て、シーケンスヘッダを作成し、分割したΜＰＥＧビデ
オストリームの先頭に付加する。もし途中のＧＯＰから
シーケンスヘッダ情報が変化している場合は内容を変更
してシーケンスヘッダを同様に付加する。ＭＰＥＧビデ
オストリームの最後にはシーケンスエンドコードを付加
する。

【００９１】（ｂ）分割点よりも先行するピクチャの中
で分割点以降のピクチャよりも時間的に後に表示される
ピクチャがある場合 分割点よりも先行するピクチャの中で分割点以降のピク
チャよりも時間的に後に表示されるピクチャがあれば、
そのピクチャが正常に再生できるまでストリームの前方
まで遡ってΜＰＥＧデコーダ１０を用いて再生する。再
生したピクチャをΜＰＥＧエンコーダ９に入力してエン
コードし、独立したＧＯΡを生成する。ΜＰＥＧビデオ
エンコーダ９に入力する最初のピクチャはユーザが指定
した最初のピクチャとする。ΜＰＥＧビデオエンコーダ
９に入力するピクチャは最初のピクチャを含むＧＯＰ中
の表示順最後のピクチャまでとする。新しいＧＯＰの
Ι，Ｐ，Ｂピクチャの配分は後続のＧＯＰに参照され
る、または参照されないことを考慮して決定する。参照
されるピクチャが含まれる場合はそのピクチャをＩピク
チャ、またはＰピクチャとしてエンコードする。

【００９２】作成された独立したＧＯＰを後続のＧＯＰ
の先頭に接続する。予めサーチしておいたシーケンスヘ
ッダ情報を利用して、シーケンスヘッダを作成し、分割
したΜＰＥＧビデオストリームの先頭に付加する。もし
途中のＧＯＰからシーケンスヘッダ情報が変化している
場合は内容を変更してシーケンスヘッダを同様に付加す
る。ΜＰＥＧビデオストリームの最後にはシーケンスエ
ンドコードを付加する。

【００９３】（ｃ）分割点よりも先行するピクチャの中
で分割点以降のピクチャを参照するピクチャがある場合 最初のピクチャが正常に再生できるまでΜＰＥＧビデオ
ストリームを遡り、再生を始め、そのピクチャを含むＧ
ＯＰの最後まで再生する。ユーザが指定した最初のピク
チャからＧＯＰの最後までをΜＰＥＧビデオエンコーダ
９の入力とし、独立したＧＯＰを生成する。ΜＰＥＧビ
デオエンコーダ９に入力する最初のピクチャはユーザが
指定した最初のピクチャとする。ΜＰＥＧビデオエンコ
ーダ９に入力するピクチャは最初のピクチャを含むＧＯ
Ｐ中の表示順最後のピクチヤまでとする。新しいＧＯＰ
のΙ，Ｐ，Ｂピクチャの配分は後続のＧＯＰに参照され
る、または参照されないことを考慮して決定する。参照
されるピクチャが含まれる場合はそのピクチャをΙピク
チャ、またはＰピクチャとしてエンコードする。

【００９４】作成された独立したＧＯＰを後続のＧＯＰ
の先頭に接続する。予めサーチしておいたシーケンスヘ
ッダ情報を利用して、シーケンスヘッダを作成し、分割
したΜＰＥＧビデオストリームの先頭に付加する。もし
途中のＧＯＰからシーケンスヘッダ情報が変化している
場合は内容を変更してシーケンスヘッダを同様に付加す
る。ΜＰＥＧビデオストリームの最後にはシーケンスエ
ンドコードを付加する。

【００９５】（ｄ）先頭の分割点以後に、表示しない
（表示順が前の）ピクチャが存在する場合 最初のピクチヤが正常に再生できるまでΜＰＥＧビデオ
ストリームを遡り、再生を始め、そのピクチャを含むＧ
ＯＰの最後まで再生する。ユーザが指定した最初のピク
チャからＧＯＰの最後までをΜＰＥＧビデオエンコーダ
９の入力とし、独立したＧＯＰを生成する。新しいＧＯ
ＰのΙ，Ｐ，Ｂピクチャの配分は後続のＧＯＰに参照さ
れる、または参照されないことを考慮して決定する。参
照されるピクチャが含まれる場合はそのピクチャをΙピ
クチャ、またはＰピクチャとしてエンコードする。

【００９６】作成された独立したＧＯＰを後続のＧＯＰ
の先頭に接続する。予めサーチしておいたシーケンスヘ
ッダ情報を利用して、シーケンスヘッダを作成し、分割
したΜＰＥＧビデオストリームの先頭に付加する。もし
途中のＧＯＰからシーケンスヘッダ情報が変化している
場合は内容を変更してシーケンスヘッダを同様に付加す
る。ΜＰＥＧビデオストリームの最後にはシーケンスエ
ンドコードを付加する。

【００９７】（ｅ）後部の分割点以前に、表示しない
（表示順が後の）ピクチャが存在する、あるいは分割点
以降に表示する（時間的に前の）ピクチャが存在する場
合 分割点の直前のＧＯＰの最初まで遡り、ΜＰＥＧデコー
ダ１０を用いて再生する。もしそのＧＯＰがさらに以前
のＧＯＰを参照している場合はそのＧＯＰが正常に再生
できるまでストリームの前方まで遡って再生する。再生
したピクチャをΜＰＥＧビデオエンコーダ９に入力して
独立したＧＯＰを生成する。ΜＰＥＧビデオエンコーダ
９に入力するピクチャはユーザが指定した最後のピクチ
ャを含むＧＯＰ中の表示順最初のピクチャから、表示順
でユーザが指定した最後のピクチャまでとする。

【００９８】作成された独立したＧＯＰを先行するＧＯ
Ｐの後部に接続する。予めサーチしておいたシーケンス
ヘッダ情報を利用して、シーケンスヘッダを作成し、分
割したΜＰＥＧビデオストリームの先頭に付加する。も
し途中のＧＯＰからシーケンスヘッダ情報が変化してい
る場合は内容を変更してシーケンスヘッダを同様に付加
する。ΜＰＥＧビデオストリームの最後にはシーケンス
エンドコードを付加する。

【００９９】（ｆ）表示する（表示順が前の）ピクチャ
が分割点以降に存在する場合あるいはメディア順で分割
点以前に表示しないピクチャが存在する場合 分割点の直前のＧＯＰの最初まで遡り、ΜＰＥＧデコー
ダ１０を用いて再生する。もしそのＧＯＰがさらに以前
のＧＯＰを参照している場合はそのＧＯＰが正常に再生
できるまでストリームの前方まで遡って再生する。再生
したピクチャをΜＰＥＧビデオエンコーダ９に入力して
独立したＧＯＰを生成する。ＭＰＥＧビデオエンコーダ
９に入力するピクチャはユーザが指定した最後のピクチ
ャを含むＧＯＰ中の表示順最初のピクチャから、表示順
でユーザが指定した最後のピクチャまでとする。

【０１００】作成された独立したＧＯＰを先行するＧＯ
Ｐの後部に接続する。予めサーチしておいたシーケンス
ヘッダ情報を利用して、シーケンスヘッダを作成し、分
割したΜＰＥＧビデオストリームの先頭に付加する。も
し途中のＧＯＰからシーケンスヘッダ情報が変化してい
る場合は内容を変更してシーケンスヘッダを同様に付加
する。ΜＰＥＧビデオストリームの最後にはシーケンス
エンドコードを付加する。

【０１０１】以上により、ストリームの分割（取り出
し）が実現される。

【０１０２】以下は具体例１と同様の処理が行われる。

【０１０３】具体例２においては、具体例１の構成に加
えてさらにΜＰＥＧビデオエンコーダ１０を備えたた
め、所望するストリームをデコードし、これをエンコー
ドすることにより本来のＧＯＰの構造を組み替えた形で
エンコード処理が施すことができるようになる。このた
め、所望するストリームを分割する際に問題となるＧＯ
Ｐ構造を任意に組み替えることが可能になり、所望する
ストリームをピクチャの単位で正確に分割することがで
きるという効果を奏する。このことにより、ΜＰＥＧビ
デオストリームを利用者の好みの点で分割することが、
単純な操作で簡単に行える。また、ＶＯＤのサンプルや
シヨータイトル、コマーシャル、デモ、または関連する
ものの見本として用いるためにストリーム中のある部分
を抜き出す際には、必要なストリームだけ正確に分割が
できるため資源、時間の節約を図ることが可能となる。

【０１０４】以上説明したように、本実施形態に係る動
画像処理装置は、コンピュータ本体１、キーボード２、
ディスプレイ３及びΜＰＥＧデータが記憶されたハード
ディスク（ＨＤ）４を備え、本体１は、再生したピクチ
ャに対してストリームを分割する分割点を指定する指定
手段１１と、選択されたＭＰＥＧストリームを複製用Μ
ＰＥＧストリームとしてハードディスク４から読み込む
ΜＰＥＧストリーム複製機能部５と、読み込んだストリ
ームを解析するΜＰＥＧストリーム解析機能部６と、指
定した分割点とピクチャ、ＧＯＰ及びストリームの構造
情報との対応関係に従ってストリームを分割するΜＰＥ
Ｇストリーム分割機能部７と、分割したストリームの前
のストリーム及び後ろのストリームが独立したストリー
ムになるようにストリームを再生するΜＰＥＧストリー
ム再生機能部８と、シーケンスコード等を付加するΜＰ
ＥＧストリーム付加機能部９と、ΜＰＥＧストリームの
構造情報等を記憶するメモリ１０とを備え、動画像処理
装置が、指定した分割点とピクチャ、ＧＯＰ及びΜＰＥ
Ｇストリームの構造情報との対応関係を、複数の組み合
わせに場合分けし、該場合分けした組み合わせに基づい
てΜＰＥＧストリームの分割及び再生を行うように構成
しているので、従来、ＧＯＰ単位でしかΜＰＥＧビデオ
ストリームが編集できなかったものが、本実施形態では
ピクチャ単位で分割して編集を行えるようになり、きめ
細かくＭＰＥＧビデオストリームを編集できるようにな
る。また、ΜΡＥＧストリームを利用者の好みの点で分
割することは、人が手作業で行うには非常な重労働であ
るが、これを本システムを使用すると、利用者にとって
単純な操作で簡単にできるようになる。

【０１０５】したがって、上記優れた特長を有する動画
像処理装置を、例えば、既存のΜＰＥＧストリーム中の
特定の部分のみを抜き出した独立したΜＰＥＧビデオス
トリームを生成する時、これをピクチャ単位で取り出す
時に用いるΜＰＥＧビデオストリームに適用して好適で
ある。ΜＰＥＧストリームとしては映画やＴＶ番組をΜ
ＰＥＧストリーム化したものが考えられる。これらの中
からＶＯＤ（ビデオ・オン・デマンド）のサンプルやシ
ョータイトル、コマーシャル、デモ、または関連するも
のの見本として用いるためにストリーム中のある部分を
抜き出す時にこの手法を用いることができる。

【０１０６】この手法を実現するために必要な環境とし
ては図１で示したコンピュータ以外にΜＰＥＧデコーダ
などを外付けにした専用マシンも考えられる。

【０１０７】なお、上記実施形態においては、ＭＰＥＧ
ビデオ・ストリームの分割、生成と編集を行う動画像処
理装置に適用しているが、ＭＰＥＧビデオ・ストリーム
に限るものでなく、他の動画像処理装置、例えばＭＰＥ
Ｇオーディオ・ストリームに適用できることは言うまで
もない。

【０１０８】また、本実施形態ではＭＰＥＧシステム
を、コンピュータ本体により行っているが、ＭＰＥＧア
ルゴリズムに基づく動画像圧縮装置にはすべて適用で
き、例えばこの手法を実現するために必要な環境として
はコンピュータ以外にΜＰＥＧデコーダなどを外付けに
した専用マシンでもよい。

【０１０９】また、ＭＰＥＧストリーム分割再生を、本
実施形態では、特にＢピクチャ、ＧＯＰ等に着目してい
るが、時間軸方向前方側のＩピクチャあるいはＰピクチ
ャにおける距離を採用してもよい。

【０１１０】さらに、上記動画像処理装置を構成する回
路や部材の数、種類などは前述した実施形態に限られな
いことは言うまでもなく、ソフトウェアにより実現する
ようにしてもよい。

【０１１１】

【発明の効果】本発明に係る動画像処理装置は、再生し
たピクチャに対してストリームを分割する分割点を指定
する指定手段と、指定した分割点とピクチャ、ＧＯＰ及
びストリームの構造情報との対応関係に従ってストリー
ムを分割するストリーム分割手段とを備えて構成してい
るので、ピクチャ単位で分割して編集を行うことがで
き、きめ細かくＭＰＥＧビデオストリームを編集できる
ようになる。また、ΜΡＥＧストリームを利用者の好み
の点で分割することができ、利用者にとって単純な操作
で簡単にできるようになる。

【図面の簡単な説明】

【図１】本発明を適用した実施形態に係る動画像処理装
置の構成を示すブロック図である。

【図２】上記動画像処理装置のＭＰＥＧストリームを分
割するフローチャートである。

【図３】上記動画像処理装置のＧＯＰ内包時にＭＰＥＧ
ストリームの分割を説明するための図である。

【図４】上記動画像処理装置のＧＯＰ非内包時にＭＰＥ
Ｇストリームの分割を説明するための図である。

【符号の説明】

１ コンピュータ本体、２ キーボード、３ ディスプ
レイ、４ ハードディスク（ＨＤ）、５ ΜＰＥＧスト
リーム複製機能部、６ ΜＰＥＧストリーム解析機能部
（ストリーム解析手段）、７ ΜＰＥＧストリーム分割
機能部（ストリーム分割手段）、８ ＭＰＥＧストリー
ム再生機能部（ストリーム再生手段）、９ ΜＰＥＧス
トリーム付加機能部、１０ メモリ、１１ 指定手段

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/24 - 7/68

Claims (4)

(57)【特許請求の範囲】
1. 【請求項１】 Ｉピクチャ、Ｐピクチャ、Ｂピクチャが
   時間軸方向に所定の順序で並ぶＧＯＰ構造の動画像情報
   を符号化して得られるデータ列をストリームとして処理
   する動画像処理装置において、 前記ストリームの分割点を、選択されたピクチャに基づ
   いて指定する分割点指定手段と、指定された分割点で前記ストリームを分割するストリー
   ム分割手段とを備え、前記ストリーム分割手段は、前記
   分割点が１つのＧＯＰ内のピクチャ間にある場合、 （１）指定された分割点が１つのＧＯＰ内のＢピクチャ
   と該Ｂピクチャの直後に位置するＰピクチャとの間にあ
   るときには、前記ストリームを該ストリームの始めから
   前記Ｐピクチャまでの先行ストリームと、該１つのＧＯ
   Ｐから前記ストリームの最後までの後続ストリームとに
   分割し、 （２）指定された分割点が１つのＧＯＰ内の連続する２
   つのＢピクチャの間にあるときには、該指定された分割
   点を前記連続する２つのＢピクチャの後の次のＰピクチ
   ャと該Ｐピクチャの直前に位置するＢピクチャとの間に
   変更するとともに、前記ストリームを、該ストリームの
   始めから前記Ｐピクチャまでの先行ストリームと、該１
   つのＧＯＰから前記ストリームの最後までの後続ストリ
   ームとに分割する ことを特徴とする動画像処理装置。
2. 【請求項２】 Ｉピクチャ、Ｐピクチャ、Ｂピクチャが
   時間軸方向に所定の順序で並ぶＧＯＰ構造の動画像情報
   を符号化して得られるデータ列をストリームとして処理
   する動画像処理装置において、 前記ストリームの分割点を、選択されたピクチャに基づ
   いて指定する分割点指定手段と、 指定された分割点で前記ストリームを分割するストリー
   ム分割手段とを備え、前記ストリーム分割手段は、 指定された分割点が１つのＧＯＰ内のピクチャ間にある
   場合、前記指定された分割点を含むＧＯＰの最初のピク
   チャから前記選択されたピクチャまでの再生を 可能にす
   る第１のＧＯＰ及び前記選択されたピクチャから前記指
   定された分割点を含むＧＯＰの最後のピクチャまでの再
   生を可能にする第２のＧＯＰを新たに生成するエンコー
   ド手段と、 前記ストリームを、該ストリームの始めから前記指定さ
   れた分割点を含むＧＯＰの直前までのＧＯＰ列の最後に
   前記新たに生成された第１のＧＯＰを付加した先行スト
   リームと、前記指定された分割点を含むＧＯＰの直後の
   ＧＯＰから前記ストリームの終わりまでのＧＯＰ列の先
   頭に前記第２のＧＯＰを付加した後続ストリームとに分
   割する手段とを有する ことを特徴とする 動画像処理装
   置。
3. 【請求項３】 前記先行ストリームにシーケンスエンド
   コードを付加するエンドコード付加手段と、 前記後続ストリームにシーケンススタートコードを付加
   するスタートコード付加手段とを更に備えた ことを特徴
   とする請求項１又は２の何れかに記載の動画像処理装
   置。
4. 【請求項４】 ＧＯＰが、Ｉピクチャと次のＩピクチャ
   の直前のピクチャまでのピクチャを含む擬似ＧＯＰであ
   ることを特徴とする請求項１から３の何れか一項に記載
   の動画像処理装置。