JP3325464B2 - 動画像処理装置 - Google Patents

動画像処理装置

Info

Publication number
JP3325464B2
JP3325464B2 JP18910196A JP18910196A JP3325464B2 JP 3325464 B2 JP3325464 B2 JP 3325464B2 JP 18910196 A JP18910196 A JP 18910196A JP 18910196 A JP18910196 A JP 18910196A JP 3325464 B2 JP3325464 B2 JP 3325464B2
Authority
JP
Japan
Prior art keywords
stream
picture
gop
point
dividing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP18910196A
Other languages
English (en)
Other versions
JPH1032826A (ja
Inventor
瑛毅 文
充之 井田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP18910196A priority Critical patent/JP3325464B2/ja
Publication of JPH1032826A publication Critical patent/JPH1032826A/ja
Application granted granted Critical
Publication of JP3325464B2 publication Critical patent/JP3325464B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、ストリームの分割
編集を行う動画像処理装置に関し、詳細には、MPEG
ビデオ・ストリームの分割、生成と編集を行う動画像処
理装置に関する。
【0002】
【従来の技術】動画像、特に、蓄積メディア用の動画像
符号化の国際標準としては、MPEG(Moving Picture
Expert Group)がある。
【0003】MPEGは、MPEGI,MPEGII,M
PEGIVの3レベルの規格案が検討されている。MPE
GIでは、1.5Mbpsの通信回線で伝送できる動画
像圧縮を目的としており、おもにテレビ電話やテレビ会
議などで使用することが考えられている。MPEGIで
は、現行のNTSC方式のビデオ画像を320×240
ピクセルの解像度として扱い、1フレームを構成する2
フィールドのうち1フィールドのみのデータを用いる。
MPEGIIでは、10Mbpsを超える通信回線で伝送
できる圧縮が目標で、ISDNなどによる動画像伝送や
ディジタル・ビデオがターゲットとされている。そし
て、MPEGIVは、低ビットレートを対象としている。
【0004】MPEGの特徴は、静止画圧縮では不要で
あった「動き補償(MC:MotionCompensation)」を行
うこと、及び動画像圧縮の前提条件としてフレームのラ
ンダム・アクセスができること、早送りによる再生や巻
戻し再生(逆方向)ができることがあげられている。
【0005】すなわち、画像データは、一般に膨大であ
り、そのまま伝送したのでは、大きな帯域を必要とする
だけでなく、そのまま蓄積したのでは、膨大な記憶容量
を必要とする。一方、動画では、大体同じ形態が移動す
ることが多いので、この同じ形態の移動予測を行うこと
により、1コマ1コマを圧縮する必要が無くなり、伝送
や蓄積において有利となる。
【0006】そこで、MPEGでは、DCT(Discrete
Cosine Transform:離散コサイン変換)による静止画
像圧縮に加えて、時間軸方向の圧縮のための動き補償を
行っている。
【0007】MPEGのデータ構造は、下位の層から、
ブロック層、マクロブロック層、スライス層、ピクチャ
層、GOP(Group of Pictures)層及びビデオシーケ
ンス層となっており、その内容は、以下のとおりであ
る。
【0008】ブロック層は、輝度または色差の隣り合っ
た8ライン×8画素の画素から構成され、DCTは、こ
の単位で実行される。
【0009】マクロブロック層は、左右及び上下に隣り
合った4つの輝度ブロックY0、Y1、Y2、Y3と、
画像上では同じ位置にあたるCb、Crそれぞれの色差
ブロックの全部で6つのブロックで構成される。上記動
きベクトルは、このマクロブロック単位で取り扱われ
る。
【0010】スライス層は、画像の走査順に連なる1つ
又は複数のマクロブロックで構成される。
【0011】ピクチャ層は、上記少なくとも1つ又は複
数のスライスから構成され、その符号化される方式によ
り、上記Iピクチャ、Pピクチャ及びBピクチャ等に分
類される。
【0012】GOP層は、1枚または複数枚のIピクチ
ャと0枚または複数枚の非Iピクチャから構成される。
【0013】ビデオシーケンス層は、画像サイズ、画像
レートなどが同じ1又は複数のGOPから構成される。
【0014】また、MPEGでは、上述のように、早送
り、巻き戻し、途中からの再生が基本となっているた
め、ある単位の動画像をまとめてGOP(Group of Pic
tures)を形成し、その単位での独立再生ができるよう
にしている。
【0015】このGOPでは、途中からの再生を可能に
するため、シーケンス・ヘッダ(SH)を付けることが
可能であり、シーケンス・ヘッダには、画像の大きさ、
画素縦横比など、データの再生に必要とする初期データ
が入っている。
【0016】そして、MPEGでは、上記GOP内の画
面の予測構造として、動画のフレームを意味する1枚1
枚の画像(ピクチャ)、I、B、Pピクチャを用いる。
【0017】上記ピクチャは、符号化される方式に従っ
て以下のタイプに分類される。
【0018】Iピクチャ(Intra-coded picture:イ
ントラ符号化画像) 符号化されるときその画像1枚の中だけで閉じた情報の
みを使う。換言すれば、復号化するときIピクチャ自身
の情報のみで画像が再構成できる。実際には、他の画像
との差分をとらずそのままDCTして符号化する。この
符号化方式は、一般に効率が悪いが、これを随所に入れ
てIピクチャだけを復号すればランダムアクセスや高速
再生が可能となる。さらに、Iピクチャを復号してメモ
リに蓄え、逆方向に読み出すことを繰り返せば逆転再生
をも可能となる。
【0019】Pピクチャ(Predictive-coded pictur
e:前方予測符号化画像) Pピクチャは、予測画像(差分をとる基準となる画像)
として、入力で時間的に前に位置し既に復号化されたI
ピクチャまたはPピクチャを使う。すなわち、図5に示
すように過去から現在の一方向に予測されるフレームで
ある。実際には動き補償された予測画像との差を符号化
するか差分をとらずに符号化する(イントラ符号化)か
効率のよい方をマクロブロック単位で選択できる。
【0020】Bピクチャ(Bidirectionally predicti
ve-coded picture:両方向予測符号化画像) Bピクチャは、予測画像として時間的に前に位置し既に
復号化されIピクチャまたはPピクチャ、時間的に後ろ
に位置するすでに復号化されたIピクチャまたはPピク
チャ、及びその両方から作られた補間画像の3種類を使
う。ここで、補間フレームの場合は両方向から予測を行
うが、動き補償の予測モードは大きく分類して3つあ
る。過去から現在を予測する順方向動き補償、未来から
現在を予測する逆方向動き補償、過去と未来の両方から
現在を予測する補間動き補償である。上記順方向動き補
償と逆方向動き補償とは、一つの参照フレームから読み
出したブロックとマッチングをとるという点で、通常の
動き補償(MC)と同じ処理である。また、上記補間動
き補償は、2つの参照フレームから読み出したブロック
を、現在のフレームと参照フレームとの時間距離を考慮
した重みづけをして合成し、予測信号を得るものであ
る。
【0021】上記3種類の動き補償後の差分の符号化と
イントラ符号化の中で一番効率のよいものをマクロブロ
ック単位に選択できる。
【0022】そして、GOPにおいて、Bピクチャを符
号化または復号化するには、その予測画像となる時間的
には後方にあるIピクチャまたはPピクチャが先に符号
化されていなくてはならないため、GOPを構成するに
はIピクチャ、Pピクチャ、Bピクチャは所定の順序が
必要であるが、Iピクチャの間隔、及びPピクチャの間
隔は自由でGOPの内部でも変わってもよい。
【0023】ところで、MPEGビデオやMPEGオー
ディオの符号化されたストリーム(ビット列)、さらに
他の符号化ストリームも含めて実際のアプリケーション
に適用する場合には、同期を含めて統合し1本化すると
ともに、そのストリームを蓄積メディアやネットワーク
等が持つ、固有の物理フォーマットやプロトコルに適合
したデータ形式にする必要がある。
【0024】MPEGストリームは、1ビットのフラグ
も多数あるがヘッダなどの各単位ごとにバイト整列され
たバイト・ストリームである。MPEGシステム全体に
共通した構造として固定長でないデータ部分には、長さ
を示す情報が先行して置かれ、不要な場合はその部分を
スキップしたり、次のデータ群の先頭を確認して信頼性
の高い分離処理ができるデータ構造となっている。
【0025】
【発明が解決しようとする課題】上述したように、ΜP
EGストリームはその構造上GOP単位で分割編集され
るように設計されており、これをピクチャ単位で分割編
集するようには設計されていない。
【0026】したがって、従来のシステムでは既存のΜ
PEGビデオストリームをGOP単位で分割することは
可能であっても、ピクチャ単位で分割することはストリ
ームの構造上不可能であり、きめ細かくMPEGビデオ
ストリームを編集できないという問題点があった。
【0027】本発明は、ΜPEGビデオストリームをピ
クチャ単位で分割して編集を行うことができ、きめ細か
くMPEGビデオストリームを編集することができる動
画像処理装置を提供することを目的としている。
【0028】
【課題を解決するための手段】本発明に係る動画像処理
装置は、Iピクチャ、Pピクチャ、Bピクチャが時間軸
方向に所定の順序で並ぶGOP構造の動画像情報を符号
化して得られるデータ列をストリームとして処理する動
画像処理装置において、前記ストリームの分割点を、選
択されたピクチャに基づいて指定する分割点指定手段
と、指定された分割点で前記ストリームを分割するスト
リーム分割手段とを備え、前記ストリーム分割手段は、
前記分割点が1つのGOPのピクチャ間にある場合、 (1)指定された分割点が1つのGOP内のBピクチャ
と該Bピクチャの直後に位置するPピクチャとの間にあ
るときには、前記ストリームを該ストリームの始めから
前記Pピクチャまでの先行ストリームと、該1つのGO
Pから前記ストリームの最後までの後続ストリームとに
分割し、 (2)指定された分割点が1つのGOP内の連続する2
つのBピクチャの間にあるときには、該指定された分割
点を前記連続する2つのBピクチャの後の次のPピクチ
ャと該Pピクチャの直前に位置するBピクチャとの間に
変更するとともに、前記ストリームを、該ストリームの
始めから前記Pピクチャまでの先行ストリームと、該1
つのGOPから前記ストリームの最後までの後続ストリ
ームとに分割することを特徴とする。
【0029】 本発明に係る他の動画像処理装置は、I
ピクチャ、Pピクチャ、Bピクチャが時間軸方向に所定
の順序で並ぶGOP構造の動画像情報を符号化して得ら
れるデータ列をストリームとして処理する動画像処理装
置んいおいて、前記ストリームの分割点を、該ストリー
ムの中から選択されたピクチャに基づいて指定する分割
点指定手段と、指定された分割点で前記ストリームを分
割するストリーム分割手段とを備え、前記ストリーム分
割手段は、指定された分割点が1つのGOPのピクチャ
間にある場合、前記指定された分割点を含むGOPの最
初のピクチャから前記選択されたピクチャまでの再生を
可能にする第1のGOP及び前記選択されたピクチャか
ら前記指定された分割点を含むGOPの最後のピクチャ
までの再生を可能にする第2のGOPを新たに生成する
エンコード手段と、前記ストリームを、該ストリームの
始めから前記指定された分割点を含むGOPの直前まで
のGOP列の最後に前記新たに生成された第1のGOP
を付加した先行ストリームと、前記指定された分割点を
含むGOPの直後のGOPから前記ストリームの終わり
までのGOP列の先頭に前記第2のGOPを付加した後
続ストリームとに分割する手段とを有することを特徴と
する。
【0030】 前記先行ストリームにシーケンスエンド
コードを付加するエンドコード付加手段と、前記後続ス
トリームにシーケンススタートコードを付加するスター
トコード付加手段とを備えて構成してもよい。
【0031】GOPが、Iピクチャと次のIピクチャの
直前のピクチャまでのピクチャを含む擬似GOPであっ
てもよい。
【0032】
【発明の実施の形態】
具体例1 本発明に係る動画像処理装置は、MPEGビデオ・スト
リームの分割、生成と編集を行う動画像処理装置に適用
することができる。
【0033】図1は本発明の実施形態に係る動画像処理
装置の構成を示すブロック図である。図1に示す動画像
処理装置は、MPEGシステムとして本体にワークステ
ーションやパーソナルコンピュータを適用した例であ
る。
【0034】図1において、動画像処理装置は、ワーク
ステーション、パーソナルコンピュータからなるコンピ
ュータ本体1と、本体1に接続されたキーボード2、C
RT等のディスプレイ3、及びΜPEGデータが記憶さ
れたハードディスク(HD)4から構成される。
【0035】上記キーボード2は、英数字、平仮名等を
入力するキーや、カーソル移動キー、実行キー等のファ
ンクションキーが配置された操作盤であり、操作盤上の
いずれかのキーが操作された場合、図示しないキーボー
ドコントローラによってそのキーに対応する所定のキー
コードに変換され、コンピュータ本体1に出力される。
【0036】上記コンピュータ本体1は、ΜPEGスト
リーム複製機能部5、ΜPEGストリーム解析機能部6
(ストリーム解析手段)、ΜPEGストリーム分割機能
部7(ストリーム分割手段)、MPEGストリーム再生
機能部8(ストリーム再生手段)、ΜPEGストリーム
付加機能部9及びメモリ10から構成される。
【0037】上記キーボード2、ディスプレイ3、及び
コンピュータ本体1の例えば、ΜPEGストリーム複製
機能部5は、全体として再生したピクチャに対してスト
リームを分割する分割点を指定する指定手段11を構成
する。
【0038】上記ΜPEGストリーム複製機能部5は、
選択されたMPEGストリームを複製用ΜPEGストリ
ームとしてハードディスク4から読み込む。
【0039】上記ΜPEGストリーム解析機能部6は、
選択されたMPEGストリームの構造情報を作成する。
【0040】上記ΜPEGストリーム分割機能部7は、
MPEGストリームの構造情報に従って分割点でストリ
ームを分割する。
【0041】上記MPEGストリーム再生機能部8は、
分割した前のストリーム、後ろのストリームを独立した
ΜPEGストリームに再生する処理を行う。
【0042】上記ΜPEGストリーム付加機能部9は、
再生処理されたストリームの最初、及び最後にシーケン
スコード等を付加する。
【0043】上記メモリ10は、ΜPEGストリームを
分割する時に参照するΜPEGストリームの各シーケン
ス、GOP、ピクチャのスタートコードのオフセットを
記録するΜPEGストリームの構造情報を記憶する。
【0044】次に、上述のように構成された動画像処理
装置の動作を説明する。
【0045】図2はMPEGビデオ・ストリームの分割
するための処理フローであり、図中STはフローの各ス
テップを示す。
【0046】まず、ステップST1で選択されたMPE
Gストリームをハードディスク4から読み込み、ステッ
プST2でストリームの構造情報を作成し、それを利用
して分割点となる各ピクチャをディスプレイ3に表示す
る。
【0047】次いで、ステップST3で利用者が選択、
入力したピクチャを読み取りストリームの構造情報を元
に、そのピクチャのストリーム中の位置からストリーム
のどの部分で分割するかを決定し、ステップST4でΜ
PEGストリーム分割機能部7はその分割点でストリー
ムを分割する。
【0048】次いで、ステップST5でMPEGストリ
ーム再生機能部8は分割した前のストリーム、後ろのス
トリームを独立したΜPEGストリームにする処理を施
し、ハードディスク4にセーブし、ステップST6で新
たにストリームを分割するか否かを利用者に問い、新た
にストリームを分割する場合はステップST1に戻って
上記処理を繰り返し、ストリームを分割しない場合は本
フローの処理を終了する。
【0049】上記MPEGビデオストリームの分割処理
について更に詳細に説明する。
【0050】以下、MPEGシステム全体の処理を1.
〜10.の項目で順に述べ、後記8.のMPEGストリ
ームの分割では、(a)ストリームがGOPを内包して
いる場合と、(b)ストリームがGOPを内包していな
い場合とに分けて分割方法を具体的に詳述する。
【0051】1.まず、利用者は分割するΜPEGスト
リームをキーボード2で選択する。
【0052】2.ΜPEGストリーム複製機能部5は、
選択されたΜPEGストリームをハードディスク3から
読み込む(図2のステップST1の処理)。
【0053】3.ΜPEGストリーム解析機能部6は、
読み込んだΜPEGストリームを解析し、ΜPEGスト
リームを分割する時に参照するΜPEGストリームの各
シーケンス、GOP、ピクチャのスタートコードのオフ
セットを記録するΜPEGストリームの構造情報をメモ
リ10に記録する。
【0054】4.利用者にストリームのどの部分で分割
を行うかの大まかな位置を決定させるため、システムは
各GOPから1ピクチャをデコード再生してディスプレ
イ3に表示する(図2のステップST2の処理)。
【0055】5.利用者はディスプレイ3に表示された
ピクチャの中から何番目のGOPでストリームを分割す
るかを決定し、何番目のGOPを選択するかをキーボー
ド2からMPEGシステムに入力する。
【0056】6.選択したGOP内のどのピクチャでス
トリームを分割するかを利用者に決定させるために、シ
ステムはGOP内のピクチャを1枚ずつデコード再生し
てディスプレイ3に表示する。
【0057】7.利用者がストリームを分割するピクチ
ャを何番目のピクチャにするかをキーボード2から入力
する。
【0058】8.これにより、ΜPEGストリーム分割
機能部7は該当ピクチャの前か後ろのどちらをストリー
ムの分割点とするかをキーボード2からの入力により選
択して、ストリームを分割する(図2のステップST3
〜ステップST5の処理)。
【0059】ストリームを分割する方式は、MPEGス
トリームがGOPを内包している場合としていない場合
とで以下の2つの場合(a)(b)に分かれる。
【0060】(a)ストリームがGOPを内包している
場合 図3はGOP内包時にΜPEGストリーム分割を説明す
るための図であり、ΜPEGストリーム中の各Ι、P、
ΒピクチャをΜPEGストリーム中の並び順で示したも
のである。
【0061】ストリーム上のピクチャが分割されるパタ
ーンは、さらに以下の4つの場合(i)〜(iv)に分けられ
る。
【0062】(i)分割点が連続した、あるいは連続して
いない前のBピクチャと後の参照ピクチャの間にある場
合 前のストリームはストリームの始まりからその分割点ま
でのストリームとする。最後のGOP中の最後の参照ピ
クチャは最後のΒピクチャよりも時間的に後に表示され
るために表示する必要がないが、最後のBピクチャの参
照フレームのために含む必要がある。そして、ストリー
ムの最後にはシーケンスエンドコードを付加する。
【0063】後のストリームは、その分割点を含むGO
Pの始まりからストリームの最後までのストリームとす
る。分割点を含むGOP全てを後のストリームに含ませ
る。なぜなら、GOP中のピクチャをその途中からだけ
残すことは困難なため、そのGOP内の分割点以降のピ
クチャを後のストリームが含まない場合、ピクチャの欠
落が視聴者に不自然な感覚を与えるためである。
【0064】また、最初のGOPのヘッダ部にあるbr
okenフラグが立っていない場合はこれを修正して立
てる。そして、最初のGOP中の分割する以前、前にあ
ったGOP中のピクチャを参照するピクチャはセーブし
ない。さらに、ストリームの最初にはシーケンススター
トコードを付加する。これは前のストリームが持ってい
るものと同一である。
【0065】(ii)分割点が連続したΒピクチャの間にあ
る場合 分割点を上記(i)の場合の連続した前のΒピクチャと後
の参照ピクチャの間に変更する。前のストリームはスト
リームの始まりからその分割点までのストリームとす
る。最後のGOΡ中の最後の参照ピクチャは意図した分
割点の直前のBピクチャよりも時間的に後に表示される
ために表示する必要がないが、最後のΒピクチャの参照
フレームのために含む必要がある。
【0066】そして、意図した分割点以降のΒピクチャ
は時間的には最後の参照フレームの前に並び、これがな
いと最後の参照ピクチャの前に欠落したピクチャができ
てしまう。欠落したフレームがあれば視聴者に不自然な
感覚を与える。そのため利用者が意図した分割点以降の
時間的に参照フレームの前に並ぶΒピクチャも前のスト
リームに含ませる。
【0067】そして、ストリームの最後にはシーケンス
エンドコードを付加する。後のストリームはその分割点
を含むGOPの始まりからストリームの最後までのスト
リームとする。また、最初のGOPのヘッダ部にあるb
rokenフラグが立っていない場合はこれを修正して
立てる。そして、最初のGOP中の分割する以前、前に
あったGOP中のピクチャを参照するピクチャはセーブ
しない。ストリームの最初にはシーケンススタートコー
ドを付加する。これは前のストリームが持っているもの
と同一である。
【0068】(iii)分割点が連続するGOPの間にある
場合 前のストリームは元のストリームの最初から分割点まで
とする。さらに、ストリームの最後にシーケンスエンド
コードを付加する。後のストリームはストリームの分割
点から元のストリームの最後までとする。また、最初の
GOPのヘッダ部にあるbrokenフラグが立ってい
ない場合はこれを修正して立ててセーブする。そして、
最初のGOP中の分割する以前、前にあったGOP中の
ピクチャを参照するピクチャはセーブしない。さらに、
ストリームの最初にシーケンススタートコードを付加す
る。
【0069】(iv)分割点が連続するシーケンスの間にあ
る場合 前のストリームは元のストリームの最初から分割点まで
とする。さらに、ストリームの最後にシーケンスエンド
コードを付加する。後のストリームはストリームの分割
点から元のストリームの最後までとする。
【0070】(b)ストリームがGOPを内包していな
い場合 図4はGOP非内包時にΜPEGストリーム分割を説明
するための図であり、ΜPEGストリーム中の各Ι、
P、ΒピクチャをΜPEGストリーム中の並び順で示し
たものである。
【0071】ストリーム上のピクチャが分割されるパタ
ーンは、さらに以下の4つの場合(i)〜(iv)に分けられ
る。
【0072】また、あるΙピクチャと次のΙピクチャの
直前のピクチャで挟まれたピクチャ群を説明の便宜上
「疑似GOP」と呼ぶ。
【0073】(i)分割点が連続した、または連続してい
ない前のΒピクチャと後の参照ピクチャの間にある場合 前のストリームはストリームの始まりからその分割点ま
でのストリームとする。最後の疑似GOP中の最後の参
照ピクチャは最後のΒピクチャよりも時間的に後に表示
されるために表示する必要がないが、最後のBピクチャ
の参照フレームのために含む必要がある。
【0074】そして、ストリームの最後にはシーケンス
エンドコードを付加する。後のストリームはその分割点
を含む疑似GOPの始まりからストリームの最後までの
ストリームとする。分割点を含む疑似GOP全てを後の
ストリームに含ませる。なぜなら、GOP中のピクチャ
をその途中からだけ残すことは困難なため、そのGOP
内の分割点以降のピクチャを後のストリームが含まない
場合、ピクチャの欠落が視聴者に不自然な感覚を与える
のを防ぐためである。
【0075】そして、最初の疑似GOP中の分割する以
前、前にあった疑似GOP中のピクチャを参照するピク
チャはセーブしない。さらに、ストリームの最初にはシ
ーケンススタートコードを付加する。これは前のストリ
ームが持っているものと同一である。
【0076】(ii)分割点が連続したΒピクチャの間にあ
る場合 分割点を(1)の場合の連続した前のBピクチャと後の
参照ピクチャの間に変更する。前のストリームはストリ
ームの始まりからその分割点までのストリームとする。
最後の疑似GOP中の最後の参照ピクチャは意図した分
割点の直前のΒピクチャよりも時間的に後に表示される
ために表示する必要がないが、最後のΒピクチャの参照
フレームのために含む必要がある。
【0077】そして、意図した分割点以降のΒピクチャ
は時間的には最後の参照フレームの前に並び、これがな
いと最後の参照ピクチャの前に欠落したピクチャができ
てしまう。欠落したフレームがあれば視聴者に不自然な
感覚を与える。そのため利用者が意図した分割点以降の
時間的に参照フレームの前に並ぶΒピクチャも前のスト
リームに含ませる。
【0078】そして、ストリームの最後にはシーケンス
エンドコードを付加する。後のストリームはその分割点
を含む疑似GOΡの始まりからストリームの最後までの
ストリームとする。そして、最初の疑似GOP中の分割
する以前、前にあった疑似GOP中のピクチヤを参照す
るピクチャはセーブしない。ストリームの最初にはシー
ケンススタートコードを付加する。これは前のストリー
ムが持っているものと同一である。
【0079】(iii)分割点が連続する疑似GOPの間に
ある場合 前のストリームは元のストリームの最初から分割点まで
とする。さらに、ストリームの最後にシーケンスエンド
コードを付加する。後のストリームはストリームの分割
点から元のストリームの最後までとする。
【0080】そして、最初の疑似GOP中の分割する以
前、前にあった疑似GOP中のピクチャを参照するピク
チャはセーブしない。さらに、ストリームの最初にシー
ケンススタートコードを付加する。
【0081】(iv)分割点が連続するシーケンスの間にあ
る場合 前のストリームは元のストリームの最初から分割点まで
とする。さらに、ストリームの最後にシーケンスエンド
コードを付加する。後のストリームはストリームの分割
点から元のストリームの最後までとする。
【0082】以上により、ストリーム分割、ストリーム
再生が実現される。
【0083】9.システムは新たにΜPEGストリーム
を分割するかを利用者に入力要求する(図2のステップ
ST6の処理)。
【0084】10.ここで、もし新たに分割するΜPE
Gストリームがあればそのストリームを利用者に入力要
求する。なければシステムの動作を終了する。
【0085】ストリームが終了するか、利用者がストリ
ームのカットを止めるまで、上記1.〜10.の手順を
繰り返す。
【0086】具体例2 本発明による第2の具体例を以下に説明する。具体例2
における構成は具体例1と同様であるが、さらにΜPE
Gビデオエンコーダを備えている。具体例1と同様な処
理を、分割点を指定する(具体例1の8.に相当する)
まで行う。以下には、分割点の指定により分割が行われ
る処理を詳細に述べる。また、具体例2においては、2
分割ではなく所望するストリームの取り出し(分割点が
2箇所)の場合を例に挙げる。
【0087】8.利用者はディスプレイ3に表示された
ピクチャの中から分割して取り出す、連続するピクチャ
の中から最初のピクチャと最後のピクチャを選択し、キ
ーボード2からシステムに入力する。
【0088】最初のピクチャの直前と最後のピクチャの
直後のポイントを分割するポイントとし、そのポイント
でΜPEGビデオストリームを分割する。
【0089】分割の方法の中で想定されるケースを以下
に(a)〜(f)の6通り示す。
【0090】(a)先頭かつ後部の分割点がGOPの切
れ目にあり、先行するGOPから独立している場合 予めサーチしておいたシーケンスヘッダ情報を利用し
て、シーケンスヘッダを作成し、分割したΜPEGビデ
オストリームの先頭に付加する。もし途中のGOPから
シーケンスヘッダ情報が変化している場合は内容を変更
してシーケンスヘッダを同様に付加する。MPEGビデ
オストリームの最後にはシーケンスエンドコードを付加
する。
【0091】(b)分割点よりも先行するピクチャの中
で分割点以降のピクチャよりも時間的に後に表示される
ピクチャがある場合 分割点よりも先行するピクチャの中で分割点以降のピク
チャよりも時間的に後に表示されるピクチャがあれば、
そのピクチャが正常に再生できるまでストリームの前方
まで遡ってΜPEGデコーダ10を用いて再生する。再
生したピクチャをΜPEGエンコーダ9に入力してエン
コードし、独立したGOΡを生成する。ΜPEGビデオ
エンコーダ9に入力する最初のピクチャはユーザが指定
した最初のピクチャとする。ΜPEGビデオエンコーダ
9に入力するピクチャは最初のピクチャを含むGOP中
の表示順最後のピクチャまでとする。新しいGOPの
Ι,P,Bピクチャの配分は後続のGOPに参照され
る、または参照されないことを考慮して決定する。参照
されるピクチャが含まれる場合はそのピクチャをIピク
チャ、またはPピクチャとしてエンコードする。
【0092】作成された独立したGOPを後続のGOP
の先頭に接続する。予めサーチしておいたシーケンスヘ
ッダ情報を利用して、シーケンスヘッダを作成し、分割
したΜPEGビデオストリームの先頭に付加する。もし
途中のGOPからシーケンスヘッダ情報が変化している
場合は内容を変更してシーケンスヘッダを同様に付加す
る。ΜPEGビデオストリームの最後にはシーケンスエ
ンドコードを付加する。
【0093】(c)分割点よりも先行するピクチャの中
で分割点以降のピクチャを参照するピクチャがある場合 最初のピクチャが正常に再生できるまでΜPEGビデオ
ストリームを遡り、再生を始め、そのピクチャを含むG
OPの最後まで再生する。ユーザが指定した最初のピク
チャからGOPの最後までをΜPEGビデオエンコーダ
9の入力とし、独立したGOPを生成する。ΜPEGビ
デオエンコーダ9に入力する最初のピクチャはユーザが
指定した最初のピクチャとする。ΜPEGビデオエンコ
ーダ9に入力するピクチャは最初のピクチャを含むGO
P中の表示順最後のピクチヤまでとする。新しいGOP
のΙ,P,Bピクチャの配分は後続のGOPに参照され
る、または参照されないことを考慮して決定する。参照
されるピクチャが含まれる場合はそのピクチャをΙピク
チャ、またはPピクチャとしてエンコードする。
【0094】作成された独立したGOPを後続のGOP
の先頭に接続する。予めサーチしておいたシーケンスヘ
ッダ情報を利用して、シーケンスヘッダを作成し、分割
したΜPEGビデオストリームの先頭に付加する。もし
途中のGOPからシーケンスヘッダ情報が変化している
場合は内容を変更してシーケンスヘッダを同様に付加す
る。ΜPEGビデオストリームの最後にはシーケンスエ
ンドコードを付加する。
【0095】(d)先頭の分割点以後に、表示しない
(表示順が前の)ピクチャが存在する場合 最初のピクチヤが正常に再生できるまでΜPEGビデオ
ストリームを遡り、再生を始め、そのピクチャを含むG
OPの最後まで再生する。ユーザが指定した最初のピク
チャからGOPの最後までをΜPEGビデオエンコーダ
9の入力とし、独立したGOPを生成する。新しいGO
PのΙ,P,Bピクチャの配分は後続のGOPに参照さ
れる、または参照されないことを考慮して決定する。参
照されるピクチャが含まれる場合はそのピクチャをΙピ
クチャ、またはPピクチャとしてエンコードする。
【0096】作成された独立したGOPを後続のGOP
の先頭に接続する。予めサーチしておいたシーケンスヘ
ッダ情報を利用して、シーケンスヘッダを作成し、分割
したΜPEGビデオストリームの先頭に付加する。もし
途中のGOPからシーケンスヘッダ情報が変化している
場合は内容を変更してシーケンスヘッダを同様に付加す
る。ΜPEGビデオストリームの最後にはシーケンスエ
ンドコードを付加する。
【0097】(e)後部の分割点以前に、表示しない
(表示順が後の)ピクチャが存在する、あるいは分割点
以降に表示する(時間的に前の)ピクチャが存在する場
合 分割点の直前のGOPの最初まで遡り、ΜPEGデコー
ダ10を用いて再生する。もしそのGOPがさらに以前
のGOPを参照している場合はそのGOPが正常に再生
できるまでストリームの前方まで遡って再生する。再生
したピクチャをΜPEGビデオエンコーダ9に入力して
独立したGOPを生成する。ΜPEGビデオエンコーダ
9に入力するピクチャはユーザが指定した最後のピクチ
ャを含むGOP中の表示順最初のピクチャから、表示順
でユーザが指定した最後のピクチャまでとする。
【0098】作成された独立したGOPを先行するGO
Pの後部に接続する。予めサーチしておいたシーケンス
ヘッダ情報を利用して、シーケンスヘッダを作成し、分
割したΜPEGビデオストリームの先頭に付加する。も
し途中のGOPからシーケンスヘッダ情報が変化してい
る場合は内容を変更してシーケンスヘッダを同様に付加
する。ΜPEGビデオストリームの最後にはシーケンス
エンドコードを付加する。
【0099】(f)表示する(表示順が前の)ピクチャ
が分割点以降に存在する場合あるいはメディア順で分割
点以前に表示しないピクチャが存在する場合 分割点の直前のGOPの最初まで遡り、ΜPEGデコー
ダ10を用いて再生する。もしそのGOPがさらに以前
のGOPを参照している場合はそのGOPが正常に再生
できるまでストリームの前方まで遡って再生する。再生
したピクチャをΜPEGビデオエンコーダ9に入力して
独立したGOPを生成する。MPEGビデオエンコーダ
9に入力するピクチャはユーザが指定した最後のピクチ
ャを含むGOP中の表示順最初のピクチャから、表示順
でユーザが指定した最後のピクチャまでとする。
【0100】作成された独立したGOPを先行するGO
Pの後部に接続する。予めサーチしておいたシーケンス
ヘッダ情報を利用して、シーケンスヘッダを作成し、分
割したΜPEGビデオストリームの先頭に付加する。も
し途中のGOPからシーケンスヘッダ情報が変化してい
る場合は内容を変更してシーケンスヘッダを同様に付加
する。ΜPEGビデオストリームの最後にはシーケンス
エンドコードを付加する。
【0101】以上により、ストリームの分割(取り出
し)が実現される。
【0102】以下は具体例1と同様の処理が行われる。
【0103】具体例2においては、具体例1の構成に加
えてさらにΜPEGビデオエンコーダ10を備えたた
め、所望するストリームをデコードし、これをエンコー
ドすることにより本来のGOPの構造を組み替えた形で
エンコード処理が施すことができるようになる。このた
め、所望するストリームを分割する際に問題となるGO
P構造を任意に組み替えることが可能になり、所望する
ストリームをピクチャの単位で正確に分割することがで
きるという効果を奏する。このことにより、ΜPEGビ
デオストリームを利用者の好みの点で分割することが、
単純な操作で簡単に行える。また、VODのサンプルや
シヨータイトル、コマーシャル、デモ、または関連する
ものの見本として用いるためにストリーム中のある部分
を抜き出す際には、必要なストリームだけ正確に分割が
できるため資源、時間の節約を図ることが可能となる。
【0104】以上説明したように、本実施形態に係る動
画像処理装置は、コンピュータ本体1、キーボード2、
ディスプレイ3及びΜPEGデータが記憶されたハード
ディスク(HD)4を備え、本体1は、再生したピクチ
ャに対してストリームを分割する分割点を指定する指定
手段11と、選択されたMPEGストリームを複製用Μ
PEGストリームとしてハードディスク4から読み込む
ΜPEGストリーム複製機能部5と、読み込んだストリ
ームを解析するΜPEGストリーム解析機能部6と、指
定した分割点とピクチャ、GOP及びストリームの構造
情報との対応関係に従ってストリームを分割するΜPE
Gストリーム分割機能部7と、分割したストリームの前
のストリーム及び後ろのストリームが独立したストリー
ムになるようにストリームを再生するΜPEGストリー
ム再生機能部8と、シーケンスコード等を付加するΜP
EGストリーム付加機能部9と、ΜPEGストリームの
構造情報等を記憶するメモリ10とを備え、動画像処理
装置が、指定した分割点とピクチャ、GOP及びΜPE
Gストリームの構造情報との対応関係を、複数の組み合
わせに場合分けし、該場合分けした組み合わせに基づい
てΜPEGストリームの分割及び再生を行うように構成
しているので、従来、GOP単位でしかΜPEGビデオ
ストリームが編集できなかったものが、本実施形態では
ピクチャ単位で分割して編集を行えるようになり、きめ
細かくMPEGビデオストリームを編集できるようにな
る。また、ΜΡEGストリームを利用者の好みの点で分
割することは、人が手作業で行うには非常な重労働であ
るが、これを本システムを使用すると、利用者にとって
単純な操作で簡単にできるようになる。
【0105】したがって、上記優れた特長を有する動画
像処理装置を、例えば、既存のΜPEGストリーム中の
特定の部分のみを抜き出した独立したΜPEGビデオス
トリームを生成する時、これをピクチャ単位で取り出す
時に用いるΜPEGビデオストリームに適用して好適で
ある。ΜPEGストリームとしては映画やTV番組をΜ
PEGストリーム化したものが考えられる。これらの中
からVOD(ビデオ・オン・デマンド)のサンプルやシ
ョータイトル、コマーシャル、デモ、または関連するも
のの見本として用いるためにストリーム中のある部分を
抜き出す時にこの手法を用いることができる。
【0106】この手法を実現するために必要な環境とし
ては図1で示したコンピュータ以外にΜPEGデコーダ
などを外付けにした専用マシンも考えられる。
【0107】なお、上記実施形態においては、MPEG
ビデオ・ストリームの分割、生成と編集を行う動画像処
理装置に適用しているが、MPEGビデオ・ストリーム
に限るものでなく、他の動画像処理装置、例えばMPE
Gオーディオ・ストリームに適用できることは言うまで
もない。
【0108】また、本実施形態ではMPEGシステム
を、コンピュータ本体により行っているが、MPEGア
ルゴリズムに基づく動画像圧縮装置にはすべて適用で
き、例えばこの手法を実現するために必要な環境として
はコンピュータ以外にΜPEGデコーダなどを外付けに
した専用マシンでもよい。
【0109】また、MPEGストリーム分割再生を、本
実施形態では、特にBピクチャ、GOP等に着目してい
るが、時間軸方向前方側のIピクチャあるいはPピクチ
ャにおける距離を採用してもよい。
【0110】さらに、上記動画像処理装置を構成する回
路や部材の数、種類などは前述した実施形態に限られな
いことは言うまでもなく、ソフトウェアにより実現する
ようにしてもよい。
【0111】
【発明の効果】本発明に係る動画像処理装置は、再生し
たピクチャに対してストリームを分割する分割点を指定
する指定手段と、指定した分割点とピクチャ、GOP及
びストリームの構造情報との対応関係に従ってストリー
ムを分割するストリーム分割手段とを備えて構成してい
るので、ピクチャ単位で分割して編集を行うことがで
き、きめ細かくMPEGビデオストリームを編集できる
ようになる。また、ΜΡEGストリームを利用者の好み
の点で分割することができ、利用者にとって単純な操作
で簡単にできるようになる。
【図面の簡単な説明】
【図1】本発明を適用した実施形態に係る動画像処理装
置の構成を示すブロック図である。
【図2】上記動画像処理装置のMPEGストリームを分
割するフローチャートである。
【図3】上記動画像処理装置のGOP内包時にMPEG
ストリームの分割を説明するための図である。
【図4】上記動画像処理装置のGOP非内包時にMPE
Gストリームの分割を説明するための図である。
【符号の説明】
1 コンピュータ本体、2 キーボード、3 ディスプ
レイ、4 ハードディスク(HD)、5 ΜPEGスト
リーム複製機能部、6 ΜPEGストリーム解析機能部
(ストリーム解析手段)、7 ΜPEGストリーム分割
機能部(ストリーム分割手段)、8 MPEGストリー
ム再生機能部(ストリーム再生手段)、9 ΜPEGス
トリーム付加機能部、10 メモリ、11 指定手段
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7,DB名) H04N 7/24 - 7/68

Claims (4)

    (57)【特許請求の範囲】
  1. 【請求項1】 Iピクチャ、Pピクチャ、Bピクチャが
    時間軸方向に所定の順序で並ぶGOP構造の動画像情報
    を符号化して得られるデータ列をストリームとして処理
    する動画像処理装置において、 前記ストリームの分割点を、選択されたピクチャに基づ
    いて指定する分割点指定手段と、指定された分割点で前記ストリームを分割するストリー
    ム分割手段とを備え、前記ストリーム分割手段は、前記
    分割点が1つのGOP内のピクチャ間にある場合、 (1)指定された分割点が1つのGOP内のBピクチャ
    と該Bピクチャの直後に位置するPピクチャとの間にあ
    るときには、前記ストリームを該ストリームの始めから
    前記Pピクチャまでの先行ストリームと、該1つのGO
    Pから前記ストリームの最後までの後続ストリームとに
    分割し、 (2)指定された分割点が1つのGOP内の連続する2
    つのBピクチャの間にあるときには、該指定された分割
    点を前記連続する2つのBピクチャの後の次のPピクチ
    ャと該Pピクチャの直前に位置するBピクチャとの間に
    変更するとともに、前記ストリームを、該ストリームの
    始めから前記Pピクチャまでの先行ストリームと、該1
    つのGOPから前記ストリームの最後までの後続ストリ
    ームとに分割する ことを特徴とする動画像処理装置。
  2. 【請求項2】 Iピクチャ、Pピクチャ、Bピクチャが
    時間軸方向に所定の順序で並ぶGOP構造の動画像情報
    を符号化して得られるデータ列をストリームとして処理
    する動画像処理装置において、 前記ストリームの分割点を、選択されたピクチャに基づ
    いて指定する分割点指定手段と、 指定された分割点で前記ストリームを分割するストリー
    ム分割手段とを備え、前記ストリーム分割手段は、 指定された分割点が1つのGOP内のピクチャ間にある
    場合、前記指定された分割点を含むGOPの最初のピク
    チャから前記選択されたピクチャまでの再生を 可能にす
    る第1のGOP及び前記選択されたピクチャから前記指
    定された分割点を含むGOPの最後のピクチャまでの再
    生を可能にする第2のGOPを新たに生成するエンコー
    ド手段と、 前記ストリームを、該ストリームの始めから前記指定さ
    れた分割点を含むGOPの直前までのGOP列の最後に
    前記新たに生成された第1のGOPを付加した先行スト
    リームと、前記指定された分割点を含むGOPの直後の
    GOPから前記ストリームの終わりまでのGOP列の先
    頭に前記第2のGOPを付加した後続ストリームとに分
    割する手段とを有する ことを特徴とする 動画像処理装
    置。
  3. 【請求項3】 前記先行ストリームにシーケンスエンド
    コードを付加するエンドコード付加手段と、 前記後続ストリームにシーケンススタートコードを付加
    するスタートコード付加手段とを更に備えた ことを特徴
    とする請求項1又は2の何れかに記載の動画像処理装
    置。
  4. 【請求項4】 GOPが、Iピクチャと次のIピクチャ
    の直前のピクチャまでのピクチャを含む擬似GOPであ
    ことを特徴とする請求項1から3の何れか一項に記載
    の動画像処理装置。
JP18910196A 1996-07-18 1996-07-18 動画像処理装置 Expired - Fee Related JP3325464B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP18910196A JP3325464B2 (ja) 1996-07-18 1996-07-18 動画像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP18910196A JP3325464B2 (ja) 1996-07-18 1996-07-18 動画像処理装置

Publications (2)

Publication Number Publication Date
JPH1032826A JPH1032826A (ja) 1998-02-03
JP3325464B2 true JP3325464B2 (ja) 2002-09-17

Family

ID=16235379

Family Applications (1)

Application Number Title Priority Date Filing Date
JP18910196A Expired - Fee Related JP3325464B2 (ja) 1996-07-18 1996-07-18 動画像処理装置

Country Status (1)

Country Link
JP (1) JP3325464B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6587506B1 (en) 1999-11-02 2003-07-01 Matsushita Electric Industrial Co., Ltd. Video editing apparatus, video editing method, and data storage medium for a video editing program
US6707778B1 (en) * 1999-11-10 2004-03-16 Thomson Licensing S.A. Edit to picture without decoding and re-encoding of MPEG bit stream for recordable DVD
JP4348821B2 (ja) * 2000-03-27 2009-10-21 ソニー株式会社 編集装置、編集方法
EP1596396A1 (en) * 2004-05-15 2005-11-16 Deutsche Thomson-Brandt Gmbh Method for splitting a data stream
EP1596397B1 (en) * 2004-05-15 2014-07-02 Thomson Licensing Method for splitting a data stream
JPWO2006033279A1 (ja) * 2004-09-24 2008-05-15 松下電器産業株式会社 データ処理装置

Also Published As

Publication number Publication date
JPH1032826A (ja) 1998-02-03

Similar Documents

Publication Publication Date Title
US6229850B1 (en) Multiple resolution video compression
KR100729541B1 (ko) 부호화 히스토리 정보를 이용하는 트랜스코딩 시스템
US6005621A (en) Multiple resolution video compression
US7340150B2 (en) Digital video signal record and playback device and method for selectively reproducing desired video information from an optical disk
US6337880B1 (en) Indexing for motion video that is compressed using interframe and intraframe techniques
US6323914B1 (en) Compressed video recording device with integrated effects processing
US5796438A (en) Methods and apparatus for interpolating picture information
WO2000014741A1 (fr) Procede et dispositif de gestion de fichier multimedia
JPH0759047A (ja) トリックプレイ機能を備えたデジタル高精細度テレビ映像記録装置
US5739862A (en) Reverse playback of MPEG video
US6115076A (en) Compressed video recording device with non-destructive effects addition
AU752363B2 (en) Multimedia information coding apparatus, coding method of multimedia information, and recording media storing data coded by the same method
JP3147792B2 (ja) 高速再生のためのビデオデータの復号化方法及びその装置
US6330365B1 (en) Decoding method and apparatus using bitstreams and a hierarchical structure
US5999657A (en) Recording and reproducing apparatus for digital image information
JP3325464B2 (ja) 動画像処理装置
JPH08256308A (ja) ディジタルビデオテ−プレコ−ダのビットストリ−ム配置/復元方法およびそれに適合なデ−タ圧縮装置および伸長装置
US6373905B1 (en) Decoding apparatus and decoding method
US6754272B2 (en) Picture signal processing method and apparatus, picture signal recording method and apparatus and recording medium
JPH08149408A (ja) ディジタル動画編集方法及び装置
JP3233232B2 (ja) 動画像復号化方法および装置
JPH0795536A (ja) 動画像逆再生装置及び方法
JP3506504B2 (ja) ディジタル映像信号記録再生装置
JP3045696B2 (ja) 復号化方法及びその装置
JP3541910B2 (ja) 映像信号処理装置

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20020625

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080705

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090705

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100705

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110705

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120705

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130705

Year of fee payment: 11

LAPS Cancellation because of no payment of annual fees