JPH1032826A - 動画像処理装置 - Google Patents

動画像処理装置

Info

Publication number
JPH1032826A
JPH1032826A JP18910196A JP18910196A JPH1032826A JP H1032826 A JPH1032826 A JP H1032826A JP 18910196 A JP18910196 A JP 18910196A JP 18910196 A JP18910196 A JP 18910196A JP H1032826 A JPH1032826 A JP H1032826A
Authority
JP
Japan
Prior art keywords
stream
picture
gop
point
dividing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP18910196A
Other languages
English (en)
Other versions
JP3325464B2 (ja
Inventor
Eiki Bun
瑛毅 文
Mitsuyuki Ida
充之 井田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP18910196A priority Critical patent/JP3325464B2/ja
Publication of JPH1032826A publication Critical patent/JPH1032826A/ja
Application granted granted Critical
Publication of JP3325464B2 publication Critical patent/JP3325464B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】 ΜPEGビデオストリームをピクチャ単位で
分割して編集を行うことができ、きめ細かくMPEGビ
デオストリームを編集することができる動画像処理装置
を提供する。 【解決手段】 動画像処理装置は、再生したピクチャに
対してストリームを分割する分割点を指定する指定手段
11と、選択されたMPEGストリームを複製用ΜPE
Gストリームとしてハードディスク4から読み込むΜP
EGストリーム複製機能部5と、読み込んだストリーム
を解析するΜPEGストリーム解析機能部6と、指定し
た分割点とピクチャ、GOP及びストリームの構造情報
との対応関係に従ってストリームを分割するΜPEGス
トリーム分割機能部7と、分割したストリームの前のス
トリーム及び後ろのストリームが独立したストリームに
なるようにストリームを再生するΜPEGストリーム再
生機能部8と、シーケンスコード等を付加するΜPEG
ストリーム付加機能部9と、ΜPEGストリームの構造
情報等を記憶するメモリ10とを備える。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、ストリームの分割
編集を行う動画像処理装置に関し、詳細には、MPEG
ビデオ・ストリームの分割、生成と編集を行う動画像処
理装置に関する。
【0002】
【従来の技術】動画像、特に、蓄積メディア用の動画像
符号化の国際標準としては、MPEG(Moving Picture
Expert Group)がある。
【0003】MPEGは、MPEGI,MPEGII,M
PEGIVの3レベルの規格案が検討されている。MPE
GIでは、1.5Mbpsの通信回線で伝送できる動画
像圧縮を目的としており、おもにテレビ電話やテレビ会
議などで使用することが考えられている。MPEGIで
は、現行のNTSC方式のビデオ画像を320×240
ピクセルの解像度として扱い、1フレームを構成する2
フィールドのうち1フィールドのみのデータを用いる。
MPEGIIでは、10Mbpsを超える通信回線で伝送
できる圧縮が目標で、ISDNなどによる動画像伝送や
ディジタル・ビデオがターゲットとされている。そし
て、MPEGIVは、低ビットレートを対象としている。
【0004】MPEGの特徴は、静止画圧縮では不要で
あった「動き補償(MC:MotionCompensation)」を行
うこと、及び動画像圧縮の前提条件としてフレームのラ
ンダム・アクセスができること、早送りによる再生や巻
戻し再生(逆方向)ができることがあげられている。
【0005】すなわち、画像データは、一般に膨大であ
り、そのまま伝送したのでは、大きな帯域を必要とする
だけでなく、そのまま蓄積したのでは、膨大な記憶容量
を必要とする。一方、動画では、大体同じ形態が移動す
ることが多いので、この同じ形態の移動予測を行うこと
により、1コマ1コマを圧縮する必要が無くなり、伝送
や蓄積において有利となる。
【0006】そこで、MPEGでは、DCT(Discrete
Cosine Transform:離散コサイン変換)による静止画
像圧縮に加えて、時間軸方向の圧縮のための動き補償を
行っている。
【0007】MPEGのデータ構造は、下位の層から、
ブロック層、マクロブロック層、スライス層、ピクチャ
層、GOP(Group of Pictures)層及びビデオシーケ
ンス層となっており、その内容は、以下のとおりであ
る。
【0008】ブロック層は、輝度または色差の隣り合っ
た8ライン×8画素の画素から構成され、DCTは、こ
の単位で実行される。
【0009】マクロブロック層は、左右及び上下に隣り
合った4つの輝度ブロックY0、Y1、Y2、Y3と、
画像上では同じ位置にあたるCb、Crそれぞれの色差
ブロックの全部で6つのブロックで構成される。上記動
きベクトルは、このマクロブロック単位で取り扱われ
る。
【0010】スライス層は、画像の走査順に連なる1つ
又は複数のマクロブロックで構成される。
【0011】ピクチャ層は、上記少なくとも1つ又は複
数のスライスから構成され、その符号化される方式によ
り、上記Iピクチャ、Pピクチャ及びBピクチャ等に分
類される。
【0012】GOP層は、1枚または複数枚のIピクチ
ャと0枚または複数枚の非Iピクチャから構成される。
【0013】ビデオシーケンス層は、画像サイズ、画像
レートなどが同じ1又は複数のGOPから構成される。
【0014】また、MPEGでは、上述のように、早送
り、巻き戻し、途中からの再生が基本となっているた
め、ある単位の動画像をまとめてGOP(Group of Pic
tures)を形成し、その単位での独立再生ができるよう
にしている。
【0015】このGOPでは、途中からの再生を可能に
するため、シーケンス・ヘッダ(SH)を付けることが
可能であり、シーケンス・ヘッダには、画像の大きさ、
画素縦横比など、データの再生に必要とする初期データ
が入っている。
【0016】そして、MPEGでは、上記GOP内の画
面の予測構造として、動画のフレームを意味する1枚1
枚の画像(ピクチャ)、I、B、Pピクチャを用いる。
【0017】上記ピクチャは、符号化される方式に従っ
て以下のタイプに分類される。
【0018】Iピクチャ(Intra-coded picture:イ
ントラ符号化画像) 符号化されるときその画像1枚の中だけで閉じた情報の
みを使う。換言すれば、復号化するときIピクチャ自身
の情報のみで画像が再構成できる。実際には、他の画像
との差分をとらずそのままDCTして符号化する。この
符号化方式は、一般に効率が悪いが、これを随所に入れ
てIピクチャだけを復号すればランダムアクセスや高速
再生が可能となる。さらに、Iピクチャを復号してメモ
リに蓄え、逆方向に読み出すことを繰り返せば逆転再生
をも可能となる。
【0019】Pピクチャ(Predictive-coded pictur
e:前方予測符号化画像) Pピクチャは、予測画像(差分をとる基準となる画像)
として、入力で時間的に前に位置し既に復号化されたI
ピクチャまたはPピクチャを使う。すなわち、図5に示
すように過去から現在の一方向に予測されるフレームで
ある。実際には動き補償された予測画像との差を符号化
するか差分をとらずに符号化する(イントラ符号化)か
効率のよい方をマクロブロック単位で選択できる。
【0020】Bピクチャ(Bidirectionally predicti
ve-coded picture:両方向予測符号化画像) Bピクチャは、予測画像として時間的に前に位置し既に
復号化されIピクチャまたはPピクチャ、時間的に後ろ
に位置するすでに復号化されたIピクチャまたはPピク
チャ、及びその両方から作られた補間画像の3種類を使
う。ここで、補間フレームの場合は両方向から予測を行
うが、動き補償の予測モードは大きく分類して3つあ
る。過去から現在を予測する順方向動き補償、未来から
現在を予測する逆方向動き補償、過去と未来の両方から
現在を予測する補間動き補償である。上記順方向動き補
償と逆方向動き補償とは、一つの参照フレームから読み
出したブロックとマッチングをとるという点で、通常の
動き補償(MC)と同じ処理である。また、上記補間動
き補償は、2つの参照フレームから読み出したブロック
を、現在のフレームと参照フレームとの時間距離を考慮
した重みづけをして合成し、予測信号を得るものであ
る。
【0021】上記3種類の動き補償後の差分の符号化と
イントラ符号化の中で一番効率のよいものをマクロブロ
ック単位に選択できる。
【0022】そして、GOPにおいて、Bピクチャを符
号化または復号化するには、その予測画像となる時間的
には後方にあるIピクチャまたはPピクチャが先に符号
化されていなくてはならないため、GOPを構成するに
はIピクチャ、Pピクチャ、Bピクチャは所定の順序が
必要であるが、Iピクチャの間隔、及びPピクチャの間
隔は自由でGOPの内部でも変わってもよい。
【0023】ところで、MPEGビデオやMPEGオー
ディオの符号化されたストリーム(ビット列)、さらに
他の符号化ストリームも含めて実際のアプリケーション
に適用する場合には、同期を含めて統合し1本化すると
ともに、そのストリームを蓄積メディアやネットワーク
等が持つ、固有の物理フォーマットやプロトコルに適合
したデータ形式にする必要がある。
【0024】MPEGストリームは、1ビットのフラグ
も多数あるがヘッダなどの各単位ごとにバイト整列され
たバイト・ストリームである。MPEGシステム全体に
共通した構造として固定長でないデータ部分には、長さ
を示す情報が先行して置かれ、不要な場合はその部分を
スキップしたり、次のデータ群の先頭を確認して信頼性
の高い分離処理ができるデータ構造となっている。
【0025】
【発明が解決しようとする課題】上述したように、ΜP
EGストリームはその構造上GOP単位で分割編集され
るように設計されており、これをピクチャ単位で分割編
集するようには設計されていない。
【0026】したがって、従来のシステムでは既存のΜ
PEGビデオストリームをGOP単位で分割することは
可能であっても、ピクチャ単位で分割することはストリ
ームの構造上不可能であり、きめ細かくMPEGビデオ
ストリームを編集できないという問題点があった。
【0027】本発明は、ΜPEGビデオストリームをピ
クチャ単位で分割して編集を行うことができ、きめ細か
くMPEGビデオストリームを編集することができる動
画像処理装置を提供することを目的としている。
【0028】
【課題を解決するための手段】本発明に係る動画像処理
装置は、Iピクチャ、Pピクチャ及びBピクチャが時間
軸方向に所定の順序で並んだGOP構造を備え、上記各
ピクチャを予測元の画像として所定の順序で用いること
により予測を行うとともに、所定データ構造のデータ列
をストリームとして処理する動画像処理装置において、
再生したピクチャに対してストリームを分割する分割点
を指定する指定手段と、指定した分割点とピクチャ、G
OP及びストリームの構造情報との対応関係に従ってス
トリームを分割するストリーム分割手段とを備えて構成
する。
【0029】また、ストリーム分割手段によって分割さ
れて生成される、分割点前のストリームにシーケンスエ
ンドコードを付加するエンドコード付加手段と、分割点
後のストリームにシーケンススタートコードを付加する
スタートコード付加手段とを備えて構成してもよい。
【0030】また、ストリーム分割手段は、指定した分
割点が連続した、あるいは連続していない前のΒピクチ
ャと後の参照ピクチャの間にある場合は、前のストリー
ムはストリームの始まりからその分割点までのストリー
ムとして、後のストリームはその分割点を含むGOP又
は疑似GOPの始まりからストリームの最後までのスト
リームとして分割するものであってもよく、ストリーム
分割手段は、指定した分割点が連続したΒピクチャの間
にある場合は、分割点を連続した前のBピクチャと後の
参照ピクチャの間に変更するとともに、前のストリーム
はストリームの始まりからその分割点までのストリーム
として、後のストリームはその分割点を含むGOP又は
疑似GOPの始まりからストリームの最後までのストリ
ームとして分割するものであってもよい。
【0031】また、指定手段によって指定される分割点
の属するGOPを所定の構造を持つGOPにエンコード
するエンコード手段を備えて構成してもよい。
【0032】
【発明の実施の形態】
具体例1 本発明に係る動画像処理装置は、MPEGビデオ・スト
リームの分割、生成と編集を行う動画像処理装置に適用
することができる。
【0033】図1は本発明の実施形態に係る動画像処理
装置の構成を示すブロック図である。図1に示す動画像
処理装置は、MPEGシステムとして本体にワークステ
ーションやパーソナルコンピュータを適用した例であ
る。
【0034】図1において、動画像処理装置は、ワーク
ステーション、パーソナルコンピュータからなるコンピ
ュータ本体1と、本体1に接続されたキーボード2、C
RT等のディスプレイ3、及びΜPEGデータが記憶さ
れたハードディスク(HD)4から構成される。
【0035】上記キーボード2は、英数字、平仮名等を
入力するキーや、カーソル移動キー、実行キー等のファ
ンクションキーが配置された操作盤であり、操作盤上の
いずれかのキーが操作された場合、図示しないキーボー
ドコントローラによってそのキーに対応する所定のキー
コードに変換され、コンピュータ本体1に出力される。
【0036】上記コンピュータ本体1は、ΜPEGスト
リーム複製機能部5、ΜPEGストリーム解析機能部6
(ストリーム解析手段)、ΜPEGストリーム分割機能
部7(ストリーム分割手段)、MPEGストリーム再生
機能部8(ストリーム再生手段)、ΜPEGストリーム
付加機能部9及びメモリ10から構成される。
【0037】上記キーボード2、ディスプレイ3、及び
コンピュータ本体1の例えば、ΜPEGストリーム複製
機能部5は、全体として再生したピクチャに対してスト
リームを分割する分割点を指定する指定手段11を構成
する。
【0038】上記ΜPEGストリーム複製機能部5は、
選択されたMPEGストリームを複製用ΜPEGストリ
ームとしてハードディスク4から読み込む。
【0039】上記ΜPEGストリーム解析機能部6は、
選択されたMPEGストリームの構造情報を作成する。
【0040】上記ΜPEGストリーム分割機能部7は、
MPEGストリームの構造情報に従って分割点でストリ
ームを分割する。
【0041】上記MPEGストリーム再生機能部8は、
分割した前のストリーム、後ろのストリームを独立した
ΜPEGストリームに再生する処理を行う。
【0042】上記ΜPEGストリーム付加機能部9は、
再生処理されたストリームの最初、及び最後にシーケン
スコード等を付加する。
【0043】上記メモリ10は、ΜPEGストリームを
分割する時に参照するΜPEGストリームの各シーケン
ス、GOP、ピクチャのスタートコードのオフセットを
記録するΜPEGストリームの構造情報を記憶する。
【0044】次に、上述のように構成された動画像処理
装置の動作を説明する。
【0045】図2はMPEGビデオ・ストリームの分割
するための処理フローであり、図中STはフローの各ス
テップを示す。
【0046】まず、ステップST1で選択されたMPE
Gストリームをハードディスク4から読み込み、ステッ
プST2でストリームの構造情報を作成し、それを利用
して分割点となる各ピクチャをディスプレイ3に表示す
る。
【0047】次いで、ステップST3で利用者が選択、
入力したピクチャを読み取りストリームの構造情報を元
に、そのピクチャのストリーム中の位置からストリーム
のどの部分で分割するかを決定し、ステップST4でΜ
PEGストリーム分割機能部7はその分割点でストリー
ムを分割する。
【0048】次いで、ステップST5でMPEGストリ
ーム再生機能部8は分割した前のストリーム、後ろのス
トリームを独立したΜPEGストリームにする処理を施
し、ハードディスク4にセーブし、ステップST6で新
たにストリームを分割するか否かを利用者に問い、新た
にストリームを分割する場合はステップST1に戻って
上記処理を繰り返し、ストリームを分割しない場合は本
フローの処理を終了する。
【0049】上記MPEGビデオストリームの分割処理
について更に詳細に説明する。
【0050】以下、MPEGシステム全体の処理を1.
〜10.の項目で順に述べ、後記8.のMPEGストリ
ームの分割では、(a)ストリームがGOPを内包して
いる場合と、(b)ストリームがGOPを内包していな
い場合とに分けて分割方法を具体的に詳述する。
【0051】1.まず、利用者は分割するΜPEGスト
リームをキーボード2で選択する。
【0052】2.ΜPEGストリーム複製機能部5は、
選択されたΜPEGストリームをハードディスク3から
読み込む(図2のステップST1の処理)。
【0053】3.ΜPEGストリーム解析機能部6は、
読み込んだΜPEGストリームを解析し、ΜPEGスト
リームを分割する時に参照するΜPEGストリームの各
シーケンス、GOP、ピクチャのスタートコードのオフ
セットを記録するΜPEGストリームの構造情報をメモ
リ10に記録する。
【0054】4.利用者にストリームのどの部分で分割
を行うかの大まかな位置を決定させるため、システムは
各GOPから1ピクチャをデコード再生してディスプレ
イ3に表示する(図2のステップST2の処理)。
【0055】5.利用者はディスプレイ3に表示された
ピクチャの中から何番目のGOPでストリームを分割す
るかを決定し、何番目のGOPを選択するかをキーボー
ド2からMPEGシステムに入力する。
【0056】6.選択したGOP内のどのピクチャでス
トリームを分割するかを利用者に決定させるために、シ
ステムはGOP内のピクチャを1枚ずつデコード再生し
てディスプレイ3に表示する。
【0057】7.利用者がストリームを分割するピクチ
ャを何番目のピクチャにするかをキーボード2から入力
する。
【0058】8.これにより、ΜPEGストリーム分割
機能部7は該当ピクチャの前か後ろのどちらをストリー
ムの分割点とするかをキーボード2からの入力により選
択して、ストリームを分割する(図2のステップST3
〜ステップST5の処理)。
【0059】ストリームを分割する方式は、MPEGス
トリームがGOPを内包している場合としていない場合
とで以下の2つの場合(a)(b)に分かれる。
【0060】(a)ストリームがGOPを内包している
場合 図3はGOP内包時にΜPEGストリーム分割を説明す
るための図であり、ΜPEGストリーム中の各Ι、P、
ΒピクチャをΜPEGストリーム中の並び順で示したも
のである。
【0061】ストリーム上のピクチャが分割されるパタ
ーンは、さらに以下の4つの場合(i)〜(iv)に分けられ
る。
【0062】(i)分割点が連続した、あるいは連続して
いない前のBピクチャと後の参照ピクチャの間にある場
合 前のストリームはストリームの始まりからその分割点ま
でのストリームとする。最後のGOP中の最後の参照ピ
クチャは最後のΒピクチャよりも時間的に後に表示され
るために表示する必要がないが、最後のBピクチャの参
照フレームのために含む必要がある。そして、ストリー
ムの最後にはシーケンスエンドコードを付加する。
【0063】後のストリームは、その分割点を含むGO
Pの始まりからストリームの最後までのストリームとす
る。分割点を含むGOP全てを後のストリームに含ませ
る。なぜなら、GOP中のピクチャをその途中からだけ
残すことは困難なため、そのGOP内の分割点以降のピ
クチャを後のストリームが含まない場合、ピクチャの欠
落が視聴者に不自然な感覚を与えるためである。
【0064】また、最初のGOPのヘッダ部にあるbr
okenフラグが立っていない場合はこれを修正して立
てる。そして、最初のGOP中の分割する以前、前にあ
ったGOP中のピクチャを参照するピクチャはセーブし
ない。さらに、ストリームの最初にはシーケンススター
トコードを付加する。これは前のストリームが持ってい
るものと同一である。
【0065】(ii)分割点が連続したΒピクチャの間にあ
る場合 分割点を上記(i)の場合の連続した前のΒピクチャと後
の参照ピクチャの間に変更する。前のストリームはスト
リームの始まりからその分割点までのストリームとす
る。最後のGOΡ中の最後の参照ピクチャは意図した分
割点の直前のBピクチャよりも時間的に後に表示される
ために表示する必要がないが、最後のΒピクチャの参照
フレームのために含む必要がある。
【0066】そして、意図した分割点以降のΒピクチャ
は時間的には最後の参照フレームの前に並び、これがな
いと最後の参照ピクチャの前に欠落したピクチャができ
てしまう。欠落したフレームがあれば視聴者に不自然な
感覚を与える。そのため利用者が意図した分割点以降の
時間的に参照フレームの前に並ぶΒピクチャも前のスト
リームに含ませる。
【0067】そして、ストリームの最後にはシーケンス
エンドコードを付加する。後のストリームはその分割点
を含むGOPの始まりからストリームの最後までのスト
リームとする。また、最初のGOPのヘッダ部にあるb
rokenフラグが立っていない場合はこれを修正して
立てる。そして、最初のGOP中の分割する以前、前に
あったGOP中のピクチャを参照するピクチャはセーブ
しない。ストリームの最初にはシーケンススタートコー
ドを付加する。これは前のストリームが持っているもの
と同一である。
【0068】(iii)分割点が連続するGOPの間にある
場合 前のストリームは元のストリームの最初から分割点まで
とする。さらに、ストリームの最後にシーケンスエンド
コードを付加する。後のストリームはストリームの分割
点から元のストリームの最後までとする。また、最初の
GOPのヘッダ部にあるbrokenフラグが立ってい
ない場合はこれを修正して立ててセーブする。そして、
最初のGOP中の分割する以前、前にあったGOP中の
ピクチャを参照するピクチャはセーブしない。さらに、
ストリームの最初にシーケンススタートコードを付加す
る。
【0069】(iv)分割点が連続するシーケンスの間にあ
る場合 前のストリームは元のストリームの最初から分割点まで
とする。さらに、ストリームの最後にシーケンスエンド
コードを付加する。後のストリームはストリームの分割
点から元のストリームの最後までとする。
【0070】(b)ストリームがGOPを内包していな
い場合 図4はGOP非内包時にΜPEGストリーム分割を説明
するための図であり、ΜPEGストリーム中の各Ι、
P、ΒピクチャをΜPEGストリーム中の並び順で示し
たものである。
【0071】ストリーム上のピクチャが分割されるパタ
ーンは、さらに以下の4つの場合(i)〜(iv)に分けられ
る。
【0072】また、あるΙピクチャと次のΙピクチャの
直前のピクチャで挟まれたピクチャ群を説明の便宜上
「疑似GOP」と呼ぶ。
【0073】(i)分割点が連続した、または連続してい
ない前のΒピクチャと後の参照ピクチャの間にある場合 前のストリームはストリームの始まりからその分割点ま
でのストリームとする。最後の疑似GOP中の最後の参
照ピクチャは最後のΒピクチャよりも時間的に後に表示
されるために表示する必要がないが、最後のBピクチャ
の参照フレームのために含む必要がある。
【0074】そして、ストリームの最後にはシーケンス
エンドコードを付加する。後のストリームはその分割点
を含む疑似GOPの始まりからストリームの最後までの
ストリームとする。分割点を含む疑似GOP全てを後の
ストリームに含ませる。なぜなら、GOP中のピクチャ
をその途中からだけ残すことは困難なため、そのGOP
内の分割点以降のピクチャを後のストリームが含まない
場合、ピクチャの欠落が視聴者に不自然な感覚を与える
のを防ぐためである。
【0075】そして、最初の疑似GOP中の分割する以
前、前にあった疑似GOP中のピクチャを参照するピク
チャはセーブしない。さらに、ストリームの最初にはシ
ーケンススタートコードを付加する。これは前のストリ
ームが持っているものと同一である。
【0076】(ii)分割点が連続したΒピクチャの間にあ
る場合 分割点を(1)の場合の連続した前のBピクチャと後の
参照ピクチャの間に変更する。前のストリームはストリ
ームの始まりからその分割点までのストリームとする。
最後の疑似GOP中の最後の参照ピクチャは意図した分
割点の直前のΒピクチャよりも時間的に後に表示される
ために表示する必要がないが、最後のΒピクチャの参照
フレームのために含む必要がある。
【0077】そして、意図した分割点以降のΒピクチャ
は時間的には最後の参照フレームの前に並び、これがな
いと最後の参照ピクチャの前に欠落したピクチャができ
てしまう。欠落したフレームがあれば視聴者に不自然な
感覚を与える。そのため利用者が意図した分割点以降の
時間的に参照フレームの前に並ぶΒピクチャも前のスト
リームに含ませる。
【0078】そして、ストリームの最後にはシーケンス
エンドコードを付加する。後のストリームはその分割点
を含む疑似GOΡの始まりからストリームの最後までの
ストリームとする。そして、最初の疑似GOP中の分割
する以前、前にあった疑似GOP中のピクチヤを参照す
るピクチャはセーブしない。ストリームの最初にはシー
ケンススタートコードを付加する。これは前のストリー
ムが持っているものと同一である。
【0079】(iii)分割点が連続する疑似GOPの間に
ある場合 前のストリームは元のストリームの最初から分割点まで
とする。さらに、ストリームの最後にシーケンスエンド
コードを付加する。後のストリームはストリームの分割
点から元のストリームの最後までとする。
【0080】そして、最初の疑似GOP中の分割する以
前、前にあった疑似GOP中のピクチャを参照するピク
チャはセーブしない。さらに、ストリームの最初にシー
ケンススタートコードを付加する。
【0081】(iv)分割点が連続するシーケンスの間にあ
る場合 前のストリームは元のストリームの最初から分割点まで
とする。さらに、ストリームの最後にシーケンスエンド
コードを付加する。後のストリームはストリームの分割
点から元のストリームの最後までとする。
【0082】以上により、ストリーム分割、ストリーム
再生が実現される。
【0083】9.システムは新たにΜPEGストリーム
を分割するかを利用者に入力要求する(図2のステップ
ST6の処理)。
【0084】10.ここで、もし新たに分割するΜPE
Gストリームがあればそのストリームを利用者に入力要
求する。なければシステムの動作を終了する。
【0085】ストリームが終了するか、利用者がストリ
ームのカットを止めるまで、上記1.〜10.の手順を
繰り返す。
【0086】具体例2 本発明による第2の具体例を以下に説明する。具体例2
における構成は具体例1と同様であるが、さらにΜPE
Gビデオエンコーダを備えている。具体例1と同様な処
理を、分割点を指定する(具体例1の8.に相当する)
まで行う。以下には、分割点の指定により分割が行われ
る処理を詳細に述べる。また、具体例2においては、2
分割ではなく所望するストリームの取り出し(分割点が
2箇所)の場合を例に挙げる。
【0087】8.利用者はディスプレイ3に表示された
ピクチャの中から分割して取り出す、連続するピクチャ
の中から最初のピクチャと最後のピクチャを選択し、キ
ーボード2からシステムに入力する。
【0088】最初のピクチャの直前と最後のピクチャの
直後のポイントを分割するポイントとし、そのポイント
でΜPEGビデオストリームを分割する。
【0089】分割の方法の中で想定されるケースを以下
に(a)〜(f)の6通り示す。
【0090】(a)先頭かつ後部の分割点がGOPの切
れ目にあり、先行するGOPから独立している場合 予めサーチしておいたシーケンスヘッダ情報を利用し
て、シーケンスヘッダを作成し、分割したΜPEGビデ
オストリームの先頭に付加する。もし途中のGOPから
シーケンスヘッダ情報が変化している場合は内容を変更
してシーケンスヘッダを同様に付加する。MPEGビデ
オストリームの最後にはシーケンスエンドコードを付加
する。
【0091】(b)分割点よりも先行するピクチャの中
で分割点以降のピクチャよりも時間的に後に表示される
ピクチャがある場合 分割点よりも先行するピクチャの中で分割点以降のピク
チャよりも時間的に後に表示されるピクチャがあれば、
そのピクチャが正常に再生できるまでストリームの前方
まで遡ってΜPEGデコーダ10を用いて再生する。再
生したピクチャをΜPEGエンコーダ9に入力してエン
コードし、独立したGOΡを生成する。ΜPEGビデオ
エンコーダ9に入力する最初のピクチャはユーザが指定
した最初のピクチャとする。ΜPEGビデオエンコーダ
9に入力するピクチャは最初のピクチャを含むGOP中
の表示順最後のピクチャまでとする。新しいGOPの
Ι,P,Bピクチャの配分は後続のGOPに参照され
る、または参照されないことを考慮して決定する。参照
されるピクチャが含まれる場合はそのピクチャをIピク
チャ、またはPピクチャとしてエンコードする。
【0092】作成された独立したGOPを後続のGOP
の先頭に接続する。予めサーチしておいたシーケンスヘ
ッダ情報を利用して、シーケンスヘッダを作成し、分割
したΜPEGビデオストリームの先頭に付加する。もし
途中のGOPからシーケンスヘッダ情報が変化している
場合は内容を変更してシーケンスヘッダを同様に付加す
る。ΜPEGビデオストリームの最後にはシーケンスエ
ンドコードを付加する。
【0093】(c)分割点よりも先行するピクチャの中
で分割点以降のピクチャを参照するピクチャがある場合 最初のピクチャが正常に再生できるまでΜPEGビデオ
ストリームを遡り、再生を始め、そのピクチャを含むG
OPの最後まで再生する。ユーザが指定した最初のピク
チャからGOPの最後までをΜPEGビデオエンコーダ
9の入力とし、独立したGOPを生成する。ΜPEGビ
デオエンコーダ9に入力する最初のピクチャはユーザが
指定した最初のピクチャとする。ΜPEGビデオエンコ
ーダ9に入力するピクチャは最初のピクチャを含むGO
P中の表示順最後のピクチヤまでとする。新しいGOP
のΙ,P,Bピクチャの配分は後続のGOPに参照され
る、または参照されないことを考慮して決定する。参照
されるピクチャが含まれる場合はそのピクチャをΙピク
チャ、またはPピクチャとしてエンコードする。
【0094】作成された独立したGOPを後続のGOP
の先頭に接続する。予めサーチしておいたシーケンスヘ
ッダ情報を利用して、シーケンスヘッダを作成し、分割
したΜPEGビデオストリームの先頭に付加する。もし
途中のGOPからシーケンスヘッダ情報が変化している
場合は内容を変更してシーケンスヘッダを同様に付加す
る。ΜPEGビデオストリームの最後にはシーケンスエ
ンドコードを付加する。
【0095】(d)先頭の分割点以後に、表示しない
(表示順が前の)ピクチャが存在する場合 最初のピクチヤが正常に再生できるまでΜPEGビデオ
ストリームを遡り、再生を始め、そのピクチャを含むG
OPの最後まで再生する。ユーザが指定した最初のピク
チャからGOPの最後までをΜPEGビデオエンコーダ
9の入力とし、独立したGOPを生成する。新しいGO
PのΙ,P,Bピクチャの配分は後続のGOPに参照さ
れる、または参照されないことを考慮して決定する。参
照されるピクチャが含まれる場合はそのピクチャをΙピ
クチャ、またはPピクチャとしてエンコードする。
【0096】作成された独立したGOPを後続のGOP
の先頭に接続する。予めサーチしておいたシーケンスヘ
ッダ情報を利用して、シーケンスヘッダを作成し、分割
したΜPEGビデオストリームの先頭に付加する。もし
途中のGOPからシーケンスヘッダ情報が変化している
場合は内容を変更してシーケンスヘッダを同様に付加す
る。ΜPEGビデオストリームの最後にはシーケンスエ
ンドコードを付加する。
【0097】(e)後部の分割点以前に、表示しない
(表示順が後の)ピクチャが存在する、あるいは分割点
以降に表示する(時間的に前の)ピクチャが存在する場
合 分割点の直前のGOPの最初まで遡り、ΜPEGデコー
ダ10を用いて再生する。もしそのGOPがさらに以前
のGOPを参照している場合はそのGOPが正常に再生
できるまでストリームの前方まで遡って再生する。再生
したピクチャをΜPEGビデオエンコーダ9に入力して
独立したGOPを生成する。ΜPEGビデオエンコーダ
9に入力するピクチャはユーザが指定した最後のピクチ
ャを含むGOP中の表示順最初のピクチャから、表示順
でユーザが指定した最後のピクチャまでとする。
【0098】作成された独立したGOPを先行するGO
Pの後部に接続する。予めサーチしておいたシーケンス
ヘッダ情報を利用して、シーケンスヘッダを作成し、分
割したΜPEGビデオストリームの先頭に付加する。も
し途中のGOPからシーケンスヘッダ情報が変化してい
る場合は内容を変更してシーケンスヘッダを同様に付加
する。ΜPEGビデオストリームの最後にはシーケンス
エンドコードを付加する。
【0099】(f)表示する(表示順が前の)ピクチャ
が分割点以降に存在する場合あるいはメディア順で分割
点以前に表示しないピクチャが存在する場合 分割点の直前のGOPの最初まで遡り、ΜPEGデコー
ダ10を用いて再生する。もしそのGOPがさらに以前
のGOPを参照している場合はそのGOPが正常に再生
できるまでストリームの前方まで遡って再生する。再生
したピクチャをΜPEGビデオエンコーダ9に入力して
独立したGOPを生成する。MPEGビデオエンコーダ
9に入力するピクチャはユーザが指定した最後のピクチ
ャを含むGOP中の表示順最初のピクチャから、表示順
でユーザが指定した最後のピクチャまでとする。
【0100】作成された独立したGOPを先行するGO
Pの後部に接続する。予めサーチしておいたシーケンス
ヘッダ情報を利用して、シーケンスヘッダを作成し、分
割したΜPEGビデオストリームの先頭に付加する。も
し途中のGOPからシーケンスヘッダ情報が変化してい
る場合は内容を変更してシーケンスヘッダを同様に付加
する。ΜPEGビデオストリームの最後にはシーケンス
エンドコードを付加する。
【0101】以上により、ストリームの分割(取り出
し)が実現される。
【0102】以下は具体例1と同様の処理が行われる。
【0103】具体例2においては、具体例1の構成に加
えてさらにΜPEGビデオエンコーダ10を備えたた
め、所望するストリームをデコードし、これをエンコー
ドすることにより本来のGOPの構造を組み替えた形で
エンコード処理が施すことができるようになる。このた
め、所望するストリームを分割する際に問題となるGO
P構造を任意に組み替えることが可能になり、所望する
ストリームをピクチャの単位で正確に分割することがで
きるという効果を奏する。このことにより、ΜPEGビ
デオストリームを利用者の好みの点で分割することが、
単純な操作で簡単に行える。また、VODのサンプルや
シヨータイトル、コマーシャル、デモ、または関連する
ものの見本として用いるためにストリーム中のある部分
を抜き出す際には、必要なストリームだけ正確に分割が
できるため資源、時間の節約を図ることが可能となる。
【0104】以上説明したように、本実施形態に係る動
画像処理装置は、コンピュータ本体1、キーボード2、
ディスプレイ3及びΜPEGデータが記憶されたハード
ディスク(HD)4を備え、本体1は、再生したピクチ
ャに対してストリームを分割する分割点を指定する指定
手段11と、選択されたMPEGストリームを複製用Μ
PEGストリームとしてハードディスク4から読み込む
ΜPEGストリーム複製機能部5と、読み込んだストリ
ームを解析するΜPEGストリーム解析機能部6と、指
定した分割点とピクチャ、GOP及びストリームの構造
情報との対応関係に従ってストリームを分割するΜPE
Gストリーム分割機能部7と、分割したストリームの前
のストリーム及び後ろのストリームが独立したストリー
ムになるようにストリームを再生するΜPEGストリー
ム再生機能部8と、シーケンスコード等を付加するΜP
EGストリーム付加機能部9と、ΜPEGストリームの
構造情報等を記憶するメモリ10とを備え、動画像処理
装置が、指定した分割点とピクチャ、GOP及びΜPE
Gストリームの構造情報との対応関係を、複数の組み合
わせに場合分けし、該場合分けした組み合わせに基づい
てΜPEGストリームの分割及び再生を行うように構成
しているので、従来、GOP単位でしかΜPEGビデオ
ストリームが編集できなかったものが、本実施形態では
ピクチャ単位で分割して編集を行えるようになり、きめ
細かくMPEGビデオストリームを編集できるようにな
る。また、ΜΡEGストリームを利用者の好みの点で分
割することは、人が手作業で行うには非常な重労働であ
るが、これを本システムを使用すると、利用者にとって
単純な操作で簡単にできるようになる。
【0105】したがって、上記優れた特長を有する動画
像処理装置を、例えば、既存のΜPEGストリーム中の
特定の部分のみを抜き出した独立したΜPEGビデオス
トリームを生成する時、これをピクチャ単位で取り出す
時に用いるΜPEGビデオストリームに適用して好適で
ある。ΜPEGストリームとしては映画やTV番組をΜ
PEGストリーム化したものが考えられる。これらの中
からVOD(ビデオ・オン・デマンド)のサンプルやシ
ョータイトル、コマーシャル、デモ、または関連するも
のの見本として用いるためにストリーム中のある部分を
抜き出す時にこの手法を用いることができる。
【0106】この手法を実現するために必要な環境とし
ては図1で示したコンピュータ以外にΜPEGデコーダ
などを外付けにした専用マシンも考えられる。
【0107】なお、上記実施形態においては、MPEG
ビデオ・ストリームの分割、生成と編集を行う動画像処
理装置に適用しているが、MPEGビデオ・ストリーム
に限るものでなく、他の動画像処理装置、例えばMPE
Gオーディオ・ストリームに適用できることは言うまで
もない。
【0108】また、本実施形態ではMPEGシステム
を、コンピュータ本体により行っているが、MPEGア
ルゴリズムに基づく動画像圧縮装置にはすべて適用で
き、例えばこの手法を実現するために必要な環境として
はコンピュータ以外にΜPEGデコーダなどを外付けに
した専用マシンでもよい。
【0109】また、MPEGストリーム分割再生を、本
実施形態では、特にBピクチャ、GOP等に着目してい
るが、時間軸方向前方側のIピクチャあるいはPピクチ
ャにおける距離を採用してもよい。
【0110】さらに、上記動画像処理装置を構成する回
路や部材の数、種類などは前述した実施形態に限られな
いことは言うまでもなく、ソフトウェアにより実現する
ようにしてもよい。
【0111】
【発明の効果】本発明に係る動画像処理装置は、再生し
たピクチャに対してストリームを分割する分割点を指定
する指定手段と、指定した分割点とピクチャ、GOP及
びストリームの構造情報との対応関係に従ってストリー
ムを分割するストリーム分割手段とを備えて構成してい
るので、ピクチャ単位で分割して編集を行うことがで
き、きめ細かくMPEGビデオストリームを編集できる
ようになる。また、ΜΡEGストリームを利用者の好み
の点で分割することができ、利用者にとって単純な操作
で簡単にできるようになる。
【図面の簡単な説明】
【図1】本発明を適用した実施形態に係る動画像処理装
置の構成を示すブロック図である。
【図2】上記動画像処理装置のMPEGストリームを分
割するフローチャートである。
【図3】上記動画像処理装置のGOP内包時にMPEG
ストリームの分割を説明するための図である。
【図4】上記動画像処理装置のGOP非内包時にMPE
Gストリームの分割を説明するための図である。
【符号の説明】
1 コンピュータ本体、2 キーボード、3 ディスプ
レイ、4 ハードディスク(HD)、5 ΜPEGスト
リーム複製機能部、6 ΜPEGストリーム解析機能部
(ストリーム解析手段)、7 ΜPEGストリーム分割
機能部(ストリーム分割手段)、8 MPEGストリー
ム再生機能部(ストリーム再生手段)、9 ΜPEGス
トリーム付加機能部、10 メモリ、11 指定手段

Claims (5)

    【特許請求の範囲】
  1. 【請求項1】 Iピクチャ、Pピクチャ及びBピクチャ
    が時間軸方向に所定の順序で並んだGOP構造を備え、 上記各ピクチャを予測元の画像として所定の順序で用い
    ることにより予測を行うとともに、所定データ構造のデ
    ータ列をストリームとして処理する動画像処理装置にお
    いて、 再生したピクチャに対してストリームを分割する分割点
    を指定する指定手段と、 前記指定した分割点とピクチャ、GOP及びストリーム
    の構造情報との対応関係に従ってストリームを分割する
    ストリーム分割手段とを備えたことを特徴とする動画像
    処理装置。
  2. 【請求項2】 前記ストリーム分割手段によって分割さ
    れて生成される、分割点前のストリームにシーケンスエ
    ンドコードを付加するエンドコード付加手段と、 分割点後のストリームにシーケンススタートコードを付
    加するスタートコード付加手段とを備えたことを特徴と
    する請求項1記載の動画像処理装置。
  3. 【請求項3】 前記ストリーム分割手段は、前記指定し
    た分割点が連続した、あるいは連続していない前のΒピ
    クチャと後の参照ピクチャの間にある場合は、 前のストリームはストリームの始まりからその分割点ま
    でのストリームとして、 後のストリームはその分割点を含むGOP又は疑似GO
    Pの始まりからストリームの最後までのストリームとし
    て分割することを特徴とする請求項1又は2の何れかに
    記載の動画像処理装置。
  4. 【請求項4】 前記ストリーム分割手段は、前記指定し
    た分割点が連続したΒピクチャの間にある場合は、 分割点を前記連続した前のBピクチャと後の参照ピクチ
    ャの間に変更するとともに、前のストリームはストリー
    ムの始まりからその分割点までのストリームとして、 後のストリームはその分割点を含むGOP又は疑似GO
    Pの始まりからストリームの最後までのストリームとし
    て分割することを特徴とする請求項1又は2の何れかに
    記載の動画像処理装置。
  5. 【請求項5】 前記指定手段によって指定される分割点
    の属するGOPを所定の構造を持つGOPにエンコード
    するエンコード手段を備えたことを特徴とする請求項1
    記載の動画像処理装置。
JP18910196A 1996-07-18 1996-07-18 動画像処理装置 Expired - Fee Related JP3325464B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP18910196A JP3325464B2 (ja) 1996-07-18 1996-07-18 動画像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP18910196A JP3325464B2 (ja) 1996-07-18 1996-07-18 動画像処理装置

Publications (2)

Publication Number Publication Date
JPH1032826A true JPH1032826A (ja) 1998-02-03
JP3325464B2 JP3325464B2 (ja) 2002-09-17

Family

ID=16235379

Family Applications (1)

Application Number Title Priority Date Filing Date
JP18910196A Expired - Fee Related JP3325464B2 (ja) 1996-07-18 1996-07-18 動画像処理装置

Country Status (1)

Country Link
JP (1) JP3325464B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2364428A (en) * 2000-03-27 2002-01-23 Sony Corp Editing apparatus with playback state evaluation
JP2003514419A (ja) * 1999-11-10 2003-04-15 トムソン ライセンシング ソシエテ アノニム 書き換え可能なdvd向けの、mpegビットストリームの復号化及び再符号化することのない画像の編集
US6587506B1 (en) 1999-11-02 2003-07-01 Matsushita Electric Industrial Co., Ltd. Video editing apparatus, video editing method, and data storage medium for a video editing program
EP1596396A1 (en) * 2004-05-15 2005-11-16 Deutsche Thomson-Brandt Gmbh Method for splitting a data stream
WO2006033279A1 (ja) * 2004-09-24 2006-03-30 Matsushita Electric Industrial Co., Ltd. データ処理装置
EP1596397A3 (en) * 2004-05-15 2010-12-15 Thomson Licensing Method for splitting a data stream

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6587506B1 (en) 1999-11-02 2003-07-01 Matsushita Electric Industrial Co., Ltd. Video editing apparatus, video editing method, and data storage medium for a video editing program
JP2003514419A (ja) * 1999-11-10 2003-04-15 トムソン ライセンシング ソシエテ アノニム 書き換え可能なdvd向けの、mpegビットストリームの復号化及び再符号化することのない画像の編集
GB2364428A (en) * 2000-03-27 2002-01-23 Sony Corp Editing apparatus with playback state evaluation
GB2364428B (en) * 2000-03-27 2004-01-21 Sony Corp Editing apparatus and editing method
EP1596396A1 (en) * 2004-05-15 2005-11-16 Deutsche Thomson-Brandt Gmbh Method for splitting a data stream
JP2005327453A (ja) * 2004-05-15 2005-11-24 Thomson Licensing データストリーム分割方法
EP1596397A3 (en) * 2004-05-15 2010-12-15 Thomson Licensing Method for splitting a data stream
WO2006033279A1 (ja) * 2004-09-24 2006-03-30 Matsushita Electric Industrial Co., Ltd. データ処理装置

Also Published As

Publication number Publication date
JP3325464B2 (ja) 2002-09-17

Similar Documents

Publication Publication Date Title
US6229850B1 (en) Multiple resolution video compression
US6005621A (en) Multiple resolution video compression
US6323914B1 (en) Compressed video recording device with integrated effects processing
US6337880B1 (en) Indexing for motion video that is compressed using interframe and intraframe techniques
US7340150B2 (en) Digital video signal record and playback device and method for selectively reproducing desired video information from an optical disk
US6058141A (en) Varied frame rate video
US7295757B2 (en) Advancing playback of video data based on parameter values of video data
US5796438A (en) Methods and apparatus for interpolating picture information
US5739862A (en) Reverse playback of MPEG video
WO2000014741A1 (fr) Procede et dispositif de gestion de fichier multimedia
US6115076A (en) Compressed video recording device with non-destructive effects addition
AU752363B2 (en) Multimedia information coding apparatus, coding method of multimedia information, and recording media storing data coded by the same method
JP3331351B2 (ja) 画像データ符号化方法及び装置
JP3147792B2 (ja) 高速再生のためのビデオデータの復号化方法及びその装置
EP0840517A2 (en) Video data stream decoding method and apparatus
JP3325464B2 (ja) 動画像処理装置
JP3308129B2 (ja) 画像信号復号化方法及び画像信号復号化装置
US6754272B2 (en) Picture signal processing method and apparatus, picture signal recording method and apparatus and recording medium
JPH0795536A (ja) 動画像逆再生装置及び方法
JP3233232B2 (ja) 動画像復号化方法および装置
JPH08149408A (ja) ディジタル動画編集方法及び装置
JP3506504B2 (ja) ディジタル映像信号記録再生装置
JP3045696B2 (ja) 復号化方法及びその装置
JP3541910B2 (ja) 映像信号処理装置
JPH0879703A (ja) 画像情報処理方法及び装置

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20020625

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080705

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090705

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100705

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110705

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120705

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130705

Year of fee payment: 11

LAPS Cancellation because of no payment of annual fees