JPH1032826A - 動画像処理装置 - Google Patents
動画像処理装置Info
- Publication number
- JPH1032826A JPH1032826A JP18910196A JP18910196A JPH1032826A JP H1032826 A JPH1032826 A JP H1032826A JP 18910196 A JP18910196 A JP 18910196A JP 18910196 A JP18910196 A JP 18910196A JP H1032826 A JPH1032826 A JP H1032826A
- Authority
- JP
- Japan
- Prior art keywords
- stream
- picture
- gop
- point
- dividing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
分割して編集を行うことができ、きめ細かくMPEGビ
デオストリームを編集することができる動画像処理装置
を提供する。 【解決手段】 動画像処理装置は、再生したピクチャに
対してストリームを分割する分割点を指定する指定手段
11と、選択されたMPEGストリームを複製用ΜPE
Gストリームとしてハードディスク4から読み込むΜP
EGストリーム複製機能部5と、読み込んだストリーム
を解析するΜPEGストリーム解析機能部6と、指定し
た分割点とピクチャ、GOP及びストリームの構造情報
との対応関係に従ってストリームを分割するΜPEGス
トリーム分割機能部7と、分割したストリームの前のス
トリーム及び後ろのストリームが独立したストリームに
なるようにストリームを再生するΜPEGストリーム再
生機能部8と、シーケンスコード等を付加するΜPEG
ストリーム付加機能部9と、ΜPEGストリームの構造
情報等を記憶するメモリ10とを備える。
Description
編集を行う動画像処理装置に関し、詳細には、MPEG
ビデオ・ストリームの分割、生成と編集を行う動画像処
理装置に関する。
符号化の国際標準としては、MPEG(Moving Picture
Expert Group)がある。
PEGIVの3レベルの規格案が検討されている。MPE
GIでは、1.5Mbpsの通信回線で伝送できる動画
像圧縮を目的としており、おもにテレビ電話やテレビ会
議などで使用することが考えられている。MPEGIで
は、現行のNTSC方式のビデオ画像を320×240
ピクセルの解像度として扱い、1フレームを構成する2
フィールドのうち1フィールドのみのデータを用いる。
MPEGIIでは、10Mbpsを超える通信回線で伝送
できる圧縮が目標で、ISDNなどによる動画像伝送や
ディジタル・ビデオがターゲットとされている。そし
て、MPEGIVは、低ビットレートを対象としている。
あった「動き補償(MC:MotionCompensation)」を行
うこと、及び動画像圧縮の前提条件としてフレームのラ
ンダム・アクセスができること、早送りによる再生や巻
戻し再生(逆方向)ができることがあげられている。
り、そのまま伝送したのでは、大きな帯域を必要とする
だけでなく、そのまま蓄積したのでは、膨大な記憶容量
を必要とする。一方、動画では、大体同じ形態が移動す
ることが多いので、この同じ形態の移動予測を行うこと
により、1コマ1コマを圧縮する必要が無くなり、伝送
や蓄積において有利となる。
Cosine Transform:離散コサイン変換)による静止画
像圧縮に加えて、時間軸方向の圧縮のための動き補償を
行っている。
ブロック層、マクロブロック層、スライス層、ピクチャ
層、GOP(Group of Pictures)層及びビデオシーケ
ンス層となっており、その内容は、以下のとおりであ
る。
た8ライン×8画素の画素から構成され、DCTは、こ
の単位で実行される。
合った4つの輝度ブロックY0、Y1、Y2、Y3と、
画像上では同じ位置にあたるCb、Crそれぞれの色差
ブロックの全部で6つのブロックで構成される。上記動
きベクトルは、このマクロブロック単位で取り扱われ
る。
又は複数のマクロブロックで構成される。
数のスライスから構成され、その符号化される方式によ
り、上記Iピクチャ、Pピクチャ及びBピクチャ等に分
類される。
ャと0枚または複数枚の非Iピクチャから構成される。
レートなどが同じ1又は複数のGOPから構成される。
り、巻き戻し、途中からの再生が基本となっているた
め、ある単位の動画像をまとめてGOP(Group of Pic
tures)を形成し、その単位での独立再生ができるよう
にしている。
するため、シーケンス・ヘッダ(SH)を付けることが
可能であり、シーケンス・ヘッダには、画像の大きさ、
画素縦横比など、データの再生に必要とする初期データ
が入っている。
面の予測構造として、動画のフレームを意味する1枚1
枚の画像(ピクチャ)、I、B、Pピクチャを用いる。
て以下のタイプに分類される。
ントラ符号化画像) 符号化されるときその画像1枚の中だけで閉じた情報の
みを使う。換言すれば、復号化するときIピクチャ自身
の情報のみで画像が再構成できる。実際には、他の画像
との差分をとらずそのままDCTして符号化する。この
符号化方式は、一般に効率が悪いが、これを随所に入れ
てIピクチャだけを復号すればランダムアクセスや高速
再生が可能となる。さらに、Iピクチャを復号してメモ
リに蓄え、逆方向に読み出すことを繰り返せば逆転再生
をも可能となる。
e:前方予測符号化画像) Pピクチャは、予測画像(差分をとる基準となる画像)
として、入力で時間的に前に位置し既に復号化されたI
ピクチャまたはPピクチャを使う。すなわち、図5に示
すように過去から現在の一方向に予測されるフレームで
ある。実際には動き補償された予測画像との差を符号化
するか差分をとらずに符号化する(イントラ符号化)か
効率のよい方をマクロブロック単位で選択できる。
ve-coded picture:両方向予測符号化画像) Bピクチャは、予測画像として時間的に前に位置し既に
復号化されIピクチャまたはPピクチャ、時間的に後ろ
に位置するすでに復号化されたIピクチャまたはPピク
チャ、及びその両方から作られた補間画像の3種類を使
う。ここで、補間フレームの場合は両方向から予測を行
うが、動き補償の予測モードは大きく分類して3つあ
る。過去から現在を予測する順方向動き補償、未来から
現在を予測する逆方向動き補償、過去と未来の両方から
現在を予測する補間動き補償である。上記順方向動き補
償と逆方向動き補償とは、一つの参照フレームから読み
出したブロックとマッチングをとるという点で、通常の
動き補償(MC)と同じ処理である。また、上記補間動
き補償は、2つの参照フレームから読み出したブロック
を、現在のフレームと参照フレームとの時間距離を考慮
した重みづけをして合成し、予測信号を得るものであ
る。
イントラ符号化の中で一番効率のよいものをマクロブロ
ック単位に選択できる。
号化または復号化するには、その予測画像となる時間的
には後方にあるIピクチャまたはPピクチャが先に符号
化されていなくてはならないため、GOPを構成するに
はIピクチャ、Pピクチャ、Bピクチャは所定の順序が
必要であるが、Iピクチャの間隔、及びPピクチャの間
隔は自由でGOPの内部でも変わってもよい。
ディオの符号化されたストリーム(ビット列)、さらに
他の符号化ストリームも含めて実際のアプリケーション
に適用する場合には、同期を含めて統合し1本化すると
ともに、そのストリームを蓄積メディアやネットワーク
等が持つ、固有の物理フォーマットやプロトコルに適合
したデータ形式にする必要がある。
も多数あるがヘッダなどの各単位ごとにバイト整列され
たバイト・ストリームである。MPEGシステム全体に
共通した構造として固定長でないデータ部分には、長さ
を示す情報が先行して置かれ、不要な場合はその部分を
スキップしたり、次のデータ群の先頭を確認して信頼性
の高い分離処理ができるデータ構造となっている。
EGストリームはその構造上GOP単位で分割編集され
るように設計されており、これをピクチャ単位で分割編
集するようには設計されていない。
PEGビデオストリームをGOP単位で分割することは
可能であっても、ピクチャ単位で分割することはストリ
ームの構造上不可能であり、きめ細かくMPEGビデオ
ストリームを編集できないという問題点があった。
クチャ単位で分割して編集を行うことができ、きめ細か
くMPEGビデオストリームを編集することができる動
画像処理装置を提供することを目的としている。
装置は、Iピクチャ、Pピクチャ及びBピクチャが時間
軸方向に所定の順序で並んだGOP構造を備え、上記各
ピクチャを予測元の画像として所定の順序で用いること
により予測を行うとともに、所定データ構造のデータ列
をストリームとして処理する動画像処理装置において、
再生したピクチャに対してストリームを分割する分割点
を指定する指定手段と、指定した分割点とピクチャ、G
OP及びストリームの構造情報との対応関係に従ってス
トリームを分割するストリーム分割手段とを備えて構成
する。
れて生成される、分割点前のストリームにシーケンスエ
ンドコードを付加するエンドコード付加手段と、分割点
後のストリームにシーケンススタートコードを付加する
スタートコード付加手段とを備えて構成してもよい。
割点が連続した、あるいは連続していない前のΒピクチ
ャと後の参照ピクチャの間にある場合は、前のストリー
ムはストリームの始まりからその分割点までのストリー
ムとして、後のストリームはその分割点を含むGOP又
は疑似GOPの始まりからストリームの最後までのスト
リームとして分割するものであってもよく、ストリーム
分割手段は、指定した分割点が連続したΒピクチャの間
にある場合は、分割点を連続した前のBピクチャと後の
参照ピクチャの間に変更するとともに、前のストリーム
はストリームの始まりからその分割点までのストリーム
として、後のストリームはその分割点を含むGOP又は
疑似GOPの始まりからストリームの最後までのストリ
ームとして分割するものであってもよい。
の属するGOPを所定の構造を持つGOPにエンコード
するエンコード手段を備えて構成してもよい。
リームの分割、生成と編集を行う動画像処理装置に適用
することができる。
装置の構成を示すブロック図である。図1に示す動画像
処理装置は、MPEGシステムとして本体にワークステ
ーションやパーソナルコンピュータを適用した例であ
る。
ステーション、パーソナルコンピュータからなるコンピ
ュータ本体1と、本体1に接続されたキーボード2、C
RT等のディスプレイ3、及びΜPEGデータが記憶さ
れたハードディスク(HD)4から構成される。
入力するキーや、カーソル移動キー、実行キー等のファ
ンクションキーが配置された操作盤であり、操作盤上の
いずれかのキーが操作された場合、図示しないキーボー
ドコントローラによってそのキーに対応する所定のキー
コードに変換され、コンピュータ本体1に出力される。
リーム複製機能部5、ΜPEGストリーム解析機能部6
(ストリーム解析手段)、ΜPEGストリーム分割機能
部7(ストリーム分割手段)、MPEGストリーム再生
機能部8(ストリーム再生手段)、ΜPEGストリーム
付加機能部9及びメモリ10から構成される。
コンピュータ本体1の例えば、ΜPEGストリーム複製
機能部5は、全体として再生したピクチャに対してスト
リームを分割する分割点を指定する指定手段11を構成
する。
選択されたMPEGストリームを複製用ΜPEGストリ
ームとしてハードディスク4から読み込む。
選択されたMPEGストリームの構造情報を作成する。
MPEGストリームの構造情報に従って分割点でストリ
ームを分割する。
分割した前のストリーム、後ろのストリームを独立した
ΜPEGストリームに再生する処理を行う。
再生処理されたストリームの最初、及び最後にシーケン
スコード等を付加する。
分割する時に参照するΜPEGストリームの各シーケン
ス、GOP、ピクチャのスタートコードのオフセットを
記録するΜPEGストリームの構造情報を記憶する。
装置の動作を説明する。
するための処理フローであり、図中STはフローの各ス
テップを示す。
Gストリームをハードディスク4から読み込み、ステッ
プST2でストリームの構造情報を作成し、それを利用
して分割点となる各ピクチャをディスプレイ3に表示す
る。
入力したピクチャを読み取りストリームの構造情報を元
に、そのピクチャのストリーム中の位置からストリーム
のどの部分で分割するかを決定し、ステップST4でΜ
PEGストリーム分割機能部7はその分割点でストリー
ムを分割する。
ーム再生機能部8は分割した前のストリーム、後ろのス
トリームを独立したΜPEGストリームにする処理を施
し、ハードディスク4にセーブし、ステップST6で新
たにストリームを分割するか否かを利用者に問い、新た
にストリームを分割する場合はステップST1に戻って
上記処理を繰り返し、ストリームを分割しない場合は本
フローの処理を終了する。
について更に詳細に説明する。
〜10.の項目で順に述べ、後記8.のMPEGストリ
ームの分割では、(a)ストリームがGOPを内包して
いる場合と、(b)ストリームがGOPを内包していな
い場合とに分けて分割方法を具体的に詳述する。
リームをキーボード2で選択する。
選択されたΜPEGストリームをハードディスク3から
読み込む(図2のステップST1の処理)。
読み込んだΜPEGストリームを解析し、ΜPEGスト
リームを分割する時に参照するΜPEGストリームの各
シーケンス、GOP、ピクチャのスタートコードのオフ
セットを記録するΜPEGストリームの構造情報をメモ
リ10に記録する。
を行うかの大まかな位置を決定させるため、システムは
各GOPから1ピクチャをデコード再生してディスプレ
イ3に表示する(図2のステップST2の処理)。
ピクチャの中から何番目のGOPでストリームを分割す
るかを決定し、何番目のGOPを選択するかをキーボー
ド2からMPEGシステムに入力する。
トリームを分割するかを利用者に決定させるために、シ
ステムはGOP内のピクチャを1枚ずつデコード再生し
てディスプレイ3に表示する。
ャを何番目のピクチャにするかをキーボード2から入力
する。
機能部7は該当ピクチャの前か後ろのどちらをストリー
ムの分割点とするかをキーボード2からの入力により選
択して、ストリームを分割する(図2のステップST3
〜ステップST5の処理)。
トリームがGOPを内包している場合としていない場合
とで以下の2つの場合(a)(b)に分かれる。
場合 図3はGOP内包時にΜPEGストリーム分割を説明す
るための図であり、ΜPEGストリーム中の各Ι、P、
ΒピクチャをΜPEGストリーム中の並び順で示したも
のである。
ーンは、さらに以下の4つの場合(i)〜(iv)に分けられ
る。
いない前のBピクチャと後の参照ピクチャの間にある場
合 前のストリームはストリームの始まりからその分割点ま
でのストリームとする。最後のGOP中の最後の参照ピ
クチャは最後のΒピクチャよりも時間的に後に表示され
るために表示する必要がないが、最後のBピクチャの参
照フレームのために含む必要がある。そして、ストリー
ムの最後にはシーケンスエンドコードを付加する。
Pの始まりからストリームの最後までのストリームとす
る。分割点を含むGOP全てを後のストリームに含ませ
る。なぜなら、GOP中のピクチャをその途中からだけ
残すことは困難なため、そのGOP内の分割点以降のピ
クチャを後のストリームが含まない場合、ピクチャの欠
落が視聴者に不自然な感覚を与えるためである。
okenフラグが立っていない場合はこれを修正して立
てる。そして、最初のGOP中の分割する以前、前にあ
ったGOP中のピクチャを参照するピクチャはセーブし
ない。さらに、ストリームの最初にはシーケンススター
トコードを付加する。これは前のストリームが持ってい
るものと同一である。
る場合 分割点を上記(i)の場合の連続した前のΒピクチャと後
の参照ピクチャの間に変更する。前のストリームはスト
リームの始まりからその分割点までのストリームとす
る。最後のGOΡ中の最後の参照ピクチャは意図した分
割点の直前のBピクチャよりも時間的に後に表示される
ために表示する必要がないが、最後のΒピクチャの参照
フレームのために含む必要がある。
は時間的には最後の参照フレームの前に並び、これがな
いと最後の参照ピクチャの前に欠落したピクチャができ
てしまう。欠落したフレームがあれば視聴者に不自然な
感覚を与える。そのため利用者が意図した分割点以降の
時間的に参照フレームの前に並ぶΒピクチャも前のスト
リームに含ませる。
エンドコードを付加する。後のストリームはその分割点
を含むGOPの始まりからストリームの最後までのスト
リームとする。また、最初のGOPのヘッダ部にあるb
rokenフラグが立っていない場合はこれを修正して
立てる。そして、最初のGOP中の分割する以前、前に
あったGOP中のピクチャを参照するピクチャはセーブ
しない。ストリームの最初にはシーケンススタートコー
ドを付加する。これは前のストリームが持っているもの
と同一である。
場合 前のストリームは元のストリームの最初から分割点まで
とする。さらに、ストリームの最後にシーケンスエンド
コードを付加する。後のストリームはストリームの分割
点から元のストリームの最後までとする。また、最初の
GOPのヘッダ部にあるbrokenフラグが立ってい
ない場合はこれを修正して立ててセーブする。そして、
最初のGOP中の分割する以前、前にあったGOP中の
ピクチャを参照するピクチャはセーブしない。さらに、
ストリームの最初にシーケンススタートコードを付加す
る。
る場合 前のストリームは元のストリームの最初から分割点まで
とする。さらに、ストリームの最後にシーケンスエンド
コードを付加する。後のストリームはストリームの分割
点から元のストリームの最後までとする。
い場合 図4はGOP非内包時にΜPEGストリーム分割を説明
するための図であり、ΜPEGストリーム中の各Ι、
P、ΒピクチャをΜPEGストリーム中の並び順で示し
たものである。
ーンは、さらに以下の4つの場合(i)〜(iv)に分けられ
る。
直前のピクチャで挟まれたピクチャ群を説明の便宜上
「疑似GOP」と呼ぶ。
ない前のΒピクチャと後の参照ピクチャの間にある場合 前のストリームはストリームの始まりからその分割点ま
でのストリームとする。最後の疑似GOP中の最後の参
照ピクチャは最後のΒピクチャよりも時間的に後に表示
されるために表示する必要がないが、最後のBピクチャ
の参照フレームのために含む必要がある。
エンドコードを付加する。後のストリームはその分割点
を含む疑似GOPの始まりからストリームの最後までの
ストリームとする。分割点を含む疑似GOP全てを後の
ストリームに含ませる。なぜなら、GOP中のピクチャ
をその途中からだけ残すことは困難なため、そのGOP
内の分割点以降のピクチャを後のストリームが含まない
場合、ピクチャの欠落が視聴者に不自然な感覚を与える
のを防ぐためである。
前、前にあった疑似GOP中のピクチャを参照するピク
チャはセーブしない。さらに、ストリームの最初にはシ
ーケンススタートコードを付加する。これは前のストリ
ームが持っているものと同一である。
る場合 分割点を(1)の場合の連続した前のBピクチャと後の
参照ピクチャの間に変更する。前のストリームはストリ
ームの始まりからその分割点までのストリームとする。
最後の疑似GOP中の最後の参照ピクチャは意図した分
割点の直前のΒピクチャよりも時間的に後に表示される
ために表示する必要がないが、最後のΒピクチャの参照
フレームのために含む必要がある。
は時間的には最後の参照フレームの前に並び、これがな
いと最後の参照ピクチャの前に欠落したピクチャができ
てしまう。欠落したフレームがあれば視聴者に不自然な
感覚を与える。そのため利用者が意図した分割点以降の
時間的に参照フレームの前に並ぶΒピクチャも前のスト
リームに含ませる。
エンドコードを付加する。後のストリームはその分割点
を含む疑似GOΡの始まりからストリームの最後までの
ストリームとする。そして、最初の疑似GOP中の分割
する以前、前にあった疑似GOP中のピクチヤを参照す
るピクチャはセーブしない。ストリームの最初にはシー
ケンススタートコードを付加する。これは前のストリー
ムが持っているものと同一である。
ある場合 前のストリームは元のストリームの最初から分割点まで
とする。さらに、ストリームの最後にシーケンスエンド
コードを付加する。後のストリームはストリームの分割
点から元のストリームの最後までとする。
前、前にあった疑似GOP中のピクチャを参照するピク
チャはセーブしない。さらに、ストリームの最初にシー
ケンススタートコードを付加する。
る場合 前のストリームは元のストリームの最初から分割点まで
とする。さらに、ストリームの最後にシーケンスエンド
コードを付加する。後のストリームはストリームの分割
点から元のストリームの最後までとする。
再生が実現される。
を分割するかを利用者に入力要求する(図2のステップ
ST6の処理)。
Gストリームがあればそのストリームを利用者に入力要
求する。なければシステムの動作を終了する。
ームのカットを止めるまで、上記1.〜10.の手順を
繰り返す。
における構成は具体例1と同様であるが、さらにΜPE
Gビデオエンコーダを備えている。具体例1と同様な処
理を、分割点を指定する(具体例1の8.に相当する)
まで行う。以下には、分割点の指定により分割が行われ
る処理を詳細に述べる。また、具体例2においては、2
分割ではなく所望するストリームの取り出し(分割点が
2箇所)の場合を例に挙げる。
ピクチャの中から分割して取り出す、連続するピクチャ
の中から最初のピクチャと最後のピクチャを選択し、キ
ーボード2からシステムに入力する。
直後のポイントを分割するポイントとし、そのポイント
でΜPEGビデオストリームを分割する。
に(a)〜(f)の6通り示す。
れ目にあり、先行するGOPから独立している場合 予めサーチしておいたシーケンスヘッダ情報を利用し
て、シーケンスヘッダを作成し、分割したΜPEGビデ
オストリームの先頭に付加する。もし途中のGOPから
シーケンスヘッダ情報が変化している場合は内容を変更
してシーケンスヘッダを同様に付加する。MPEGビデ
オストリームの最後にはシーケンスエンドコードを付加
する。
で分割点以降のピクチャよりも時間的に後に表示される
ピクチャがある場合 分割点よりも先行するピクチャの中で分割点以降のピク
チャよりも時間的に後に表示されるピクチャがあれば、
そのピクチャが正常に再生できるまでストリームの前方
まで遡ってΜPEGデコーダ10を用いて再生する。再
生したピクチャをΜPEGエンコーダ9に入力してエン
コードし、独立したGOΡを生成する。ΜPEGビデオ
エンコーダ9に入力する最初のピクチャはユーザが指定
した最初のピクチャとする。ΜPEGビデオエンコーダ
9に入力するピクチャは最初のピクチャを含むGOP中
の表示順最後のピクチャまでとする。新しいGOPの
Ι,P,Bピクチャの配分は後続のGOPに参照され
る、または参照されないことを考慮して決定する。参照
されるピクチャが含まれる場合はそのピクチャをIピク
チャ、またはPピクチャとしてエンコードする。
の先頭に接続する。予めサーチしておいたシーケンスヘ
ッダ情報を利用して、シーケンスヘッダを作成し、分割
したΜPEGビデオストリームの先頭に付加する。もし
途中のGOPからシーケンスヘッダ情報が変化している
場合は内容を変更してシーケンスヘッダを同様に付加す
る。ΜPEGビデオストリームの最後にはシーケンスエ
ンドコードを付加する。
で分割点以降のピクチャを参照するピクチャがある場合 最初のピクチャが正常に再生できるまでΜPEGビデオ
ストリームを遡り、再生を始め、そのピクチャを含むG
OPの最後まで再生する。ユーザが指定した最初のピク
チャからGOPの最後までをΜPEGビデオエンコーダ
9の入力とし、独立したGOPを生成する。ΜPEGビ
デオエンコーダ9に入力する最初のピクチャはユーザが
指定した最初のピクチャとする。ΜPEGビデオエンコ
ーダ9に入力するピクチャは最初のピクチャを含むGO
P中の表示順最後のピクチヤまでとする。新しいGOP
のΙ,P,Bピクチャの配分は後続のGOPに参照され
る、または参照されないことを考慮して決定する。参照
されるピクチャが含まれる場合はそのピクチャをΙピク
チャ、またはPピクチャとしてエンコードする。
の先頭に接続する。予めサーチしておいたシーケンスヘ
ッダ情報を利用して、シーケンスヘッダを作成し、分割
したΜPEGビデオストリームの先頭に付加する。もし
途中のGOPからシーケンスヘッダ情報が変化している
場合は内容を変更してシーケンスヘッダを同様に付加す
る。ΜPEGビデオストリームの最後にはシーケンスエ
ンドコードを付加する。
(表示順が前の)ピクチャが存在する場合 最初のピクチヤが正常に再生できるまでΜPEGビデオ
ストリームを遡り、再生を始め、そのピクチャを含むG
OPの最後まで再生する。ユーザが指定した最初のピク
チャからGOPの最後までをΜPEGビデオエンコーダ
9の入力とし、独立したGOPを生成する。新しいGO
PのΙ,P,Bピクチャの配分は後続のGOPに参照さ
れる、または参照されないことを考慮して決定する。参
照されるピクチャが含まれる場合はそのピクチャをΙピ
クチャ、またはPピクチャとしてエンコードする。
の先頭に接続する。予めサーチしておいたシーケンスヘ
ッダ情報を利用して、シーケンスヘッダを作成し、分割
したΜPEGビデオストリームの先頭に付加する。もし
途中のGOPからシーケンスヘッダ情報が変化している
場合は内容を変更してシーケンスヘッダを同様に付加す
る。ΜPEGビデオストリームの最後にはシーケンスエ
ンドコードを付加する。
(表示順が後の)ピクチャが存在する、あるいは分割点
以降に表示する(時間的に前の)ピクチャが存在する場
合 分割点の直前のGOPの最初まで遡り、ΜPEGデコー
ダ10を用いて再生する。もしそのGOPがさらに以前
のGOPを参照している場合はそのGOPが正常に再生
できるまでストリームの前方まで遡って再生する。再生
したピクチャをΜPEGビデオエンコーダ9に入力して
独立したGOPを生成する。ΜPEGビデオエンコーダ
9に入力するピクチャはユーザが指定した最後のピクチ
ャを含むGOP中の表示順最初のピクチャから、表示順
でユーザが指定した最後のピクチャまでとする。
Pの後部に接続する。予めサーチしておいたシーケンス
ヘッダ情報を利用して、シーケンスヘッダを作成し、分
割したΜPEGビデオストリームの先頭に付加する。も
し途中のGOPからシーケンスヘッダ情報が変化してい
る場合は内容を変更してシーケンスヘッダを同様に付加
する。ΜPEGビデオストリームの最後にはシーケンス
エンドコードを付加する。
が分割点以降に存在する場合あるいはメディア順で分割
点以前に表示しないピクチャが存在する場合 分割点の直前のGOPの最初まで遡り、ΜPEGデコー
ダ10を用いて再生する。もしそのGOPがさらに以前
のGOPを参照している場合はそのGOPが正常に再生
できるまでストリームの前方まで遡って再生する。再生
したピクチャをΜPEGビデオエンコーダ9に入力して
独立したGOPを生成する。MPEGビデオエンコーダ
9に入力するピクチャはユーザが指定した最後のピクチ
ャを含むGOP中の表示順最初のピクチャから、表示順
でユーザが指定した最後のピクチャまでとする。
Pの後部に接続する。予めサーチしておいたシーケンス
ヘッダ情報を利用して、シーケンスヘッダを作成し、分
割したΜPEGビデオストリームの先頭に付加する。も
し途中のGOPからシーケンスヘッダ情報が変化してい
る場合は内容を変更してシーケンスヘッダを同様に付加
する。ΜPEGビデオストリームの最後にはシーケンス
エンドコードを付加する。
し)が実現される。
えてさらにΜPEGビデオエンコーダ10を備えたた
め、所望するストリームをデコードし、これをエンコー
ドすることにより本来のGOPの構造を組み替えた形で
エンコード処理が施すことができるようになる。このた
め、所望するストリームを分割する際に問題となるGO
P構造を任意に組み替えることが可能になり、所望する
ストリームをピクチャの単位で正確に分割することがで
きるという効果を奏する。このことにより、ΜPEGビ
デオストリームを利用者の好みの点で分割することが、
単純な操作で簡単に行える。また、VODのサンプルや
シヨータイトル、コマーシャル、デモ、または関連する
ものの見本として用いるためにストリーム中のある部分
を抜き出す際には、必要なストリームだけ正確に分割が
できるため資源、時間の節約を図ることが可能となる。
画像処理装置は、コンピュータ本体1、キーボード2、
ディスプレイ3及びΜPEGデータが記憶されたハード
ディスク(HD)4を備え、本体1は、再生したピクチ
ャに対してストリームを分割する分割点を指定する指定
手段11と、選択されたMPEGストリームを複製用Μ
PEGストリームとしてハードディスク4から読み込む
ΜPEGストリーム複製機能部5と、読み込んだストリ
ームを解析するΜPEGストリーム解析機能部6と、指
定した分割点とピクチャ、GOP及びストリームの構造
情報との対応関係に従ってストリームを分割するΜPE
Gストリーム分割機能部7と、分割したストリームの前
のストリーム及び後ろのストリームが独立したストリー
ムになるようにストリームを再生するΜPEGストリー
ム再生機能部8と、シーケンスコード等を付加するΜP
EGストリーム付加機能部9と、ΜPEGストリームの
構造情報等を記憶するメモリ10とを備え、動画像処理
装置が、指定した分割点とピクチャ、GOP及びΜPE
Gストリームの構造情報との対応関係を、複数の組み合
わせに場合分けし、該場合分けした組み合わせに基づい
てΜPEGストリームの分割及び再生を行うように構成
しているので、従来、GOP単位でしかΜPEGビデオ
ストリームが編集できなかったものが、本実施形態では
ピクチャ単位で分割して編集を行えるようになり、きめ
細かくMPEGビデオストリームを編集できるようにな
る。また、ΜΡEGストリームを利用者の好みの点で分
割することは、人が手作業で行うには非常な重労働であ
るが、これを本システムを使用すると、利用者にとって
単純な操作で簡単にできるようになる。
像処理装置を、例えば、既存のΜPEGストリーム中の
特定の部分のみを抜き出した独立したΜPEGビデオス
トリームを生成する時、これをピクチャ単位で取り出す
時に用いるΜPEGビデオストリームに適用して好適で
ある。ΜPEGストリームとしては映画やTV番組をΜ
PEGストリーム化したものが考えられる。これらの中
からVOD(ビデオ・オン・デマンド)のサンプルやシ
ョータイトル、コマーシャル、デモ、または関連するも
のの見本として用いるためにストリーム中のある部分を
抜き出す時にこの手法を用いることができる。
ては図1で示したコンピュータ以外にΜPEGデコーダ
などを外付けにした専用マシンも考えられる。
ビデオ・ストリームの分割、生成と編集を行う動画像処
理装置に適用しているが、MPEGビデオ・ストリーム
に限るものでなく、他の動画像処理装置、例えばMPE
Gオーディオ・ストリームに適用できることは言うまで
もない。
を、コンピュータ本体により行っているが、MPEGア
ルゴリズムに基づく動画像圧縮装置にはすべて適用で
き、例えばこの手法を実現するために必要な環境として
はコンピュータ以外にΜPEGデコーダなどを外付けに
した専用マシンでもよい。
実施形態では、特にBピクチャ、GOP等に着目してい
るが、時間軸方向前方側のIピクチャあるいはPピクチ
ャにおける距離を採用してもよい。
路や部材の数、種類などは前述した実施形態に限られな
いことは言うまでもなく、ソフトウェアにより実現する
ようにしてもよい。
たピクチャに対してストリームを分割する分割点を指定
する指定手段と、指定した分割点とピクチャ、GOP及
びストリームの構造情報との対応関係に従ってストリー
ムを分割するストリーム分割手段とを備えて構成してい
るので、ピクチャ単位で分割して編集を行うことがで
き、きめ細かくMPEGビデオストリームを編集できる
ようになる。また、ΜΡEGストリームを利用者の好み
の点で分割することができ、利用者にとって単純な操作
で簡単にできるようになる。
置の構成を示すブロック図である。
割するフローチャートである。
ストリームの分割を説明するための図である。
Gストリームの分割を説明するための図である。
レイ、4 ハードディスク(HD)、5 ΜPEGスト
リーム複製機能部、6 ΜPEGストリーム解析機能部
(ストリーム解析手段)、7 ΜPEGストリーム分割
機能部(ストリーム分割手段)、8 MPEGストリー
ム再生機能部(ストリーム再生手段)、9 ΜPEGス
トリーム付加機能部、10 メモリ、11 指定手段
Claims (5)
- 【請求項1】 Iピクチャ、Pピクチャ及びBピクチャ
が時間軸方向に所定の順序で並んだGOP構造を備え、 上記各ピクチャを予測元の画像として所定の順序で用い
ることにより予測を行うとともに、所定データ構造のデ
ータ列をストリームとして処理する動画像処理装置にお
いて、 再生したピクチャに対してストリームを分割する分割点
を指定する指定手段と、 前記指定した分割点とピクチャ、GOP及びストリーム
の構造情報との対応関係に従ってストリームを分割する
ストリーム分割手段とを備えたことを特徴とする動画像
処理装置。 - 【請求項2】 前記ストリーム分割手段によって分割さ
れて生成される、分割点前のストリームにシーケンスエ
ンドコードを付加するエンドコード付加手段と、 分割点後のストリームにシーケンススタートコードを付
加するスタートコード付加手段とを備えたことを特徴と
する請求項1記載の動画像処理装置。 - 【請求項3】 前記ストリーム分割手段は、前記指定し
た分割点が連続した、あるいは連続していない前のΒピ
クチャと後の参照ピクチャの間にある場合は、 前のストリームはストリームの始まりからその分割点ま
でのストリームとして、 後のストリームはその分割点を含むGOP又は疑似GO
Pの始まりからストリームの最後までのストリームとし
て分割することを特徴とする請求項1又は2の何れかに
記載の動画像処理装置。 - 【請求項4】 前記ストリーム分割手段は、前記指定し
た分割点が連続したΒピクチャの間にある場合は、 分割点を前記連続した前のBピクチャと後の参照ピクチ
ャの間に変更するとともに、前のストリームはストリー
ムの始まりからその分割点までのストリームとして、 後のストリームはその分割点を含むGOP又は疑似GO
Pの始まりからストリームの最後までのストリームとし
て分割することを特徴とする請求項1又は2の何れかに
記載の動画像処理装置。 - 【請求項5】 前記指定手段によって指定される分割点
の属するGOPを所定の構造を持つGOPにエンコード
するエンコード手段を備えたことを特徴とする請求項1
記載の動画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP18910196A JP3325464B2 (ja) | 1996-07-18 | 1996-07-18 | 動画像処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP18910196A JP3325464B2 (ja) | 1996-07-18 | 1996-07-18 | 動画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH1032826A true JPH1032826A (ja) | 1998-02-03 |
JP3325464B2 JP3325464B2 (ja) | 2002-09-17 |
Family
ID=16235379
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP18910196A Expired - Fee Related JP3325464B2 (ja) | 1996-07-18 | 1996-07-18 | 動画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3325464B2 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2364428A (en) * | 2000-03-27 | 2002-01-23 | Sony Corp | Editing apparatus with playback state evaluation |
JP2003514419A (ja) * | 1999-11-10 | 2003-04-15 | トムソン ライセンシング ソシエテ アノニム | 書き換え可能なdvd向けの、mpegビットストリームの復号化及び再符号化することのない画像の編集 |
US6587506B1 (en) | 1999-11-02 | 2003-07-01 | Matsushita Electric Industrial Co., Ltd. | Video editing apparatus, video editing method, and data storage medium for a video editing program |
EP1596396A1 (en) * | 2004-05-15 | 2005-11-16 | Deutsche Thomson-Brandt Gmbh | Method for splitting a data stream |
WO2006033279A1 (ja) * | 2004-09-24 | 2006-03-30 | Matsushita Electric Industrial Co., Ltd. | データ処理装置 |
EP1596397A3 (en) * | 2004-05-15 | 2010-12-15 | Thomson Licensing | Method for splitting a data stream |
-
1996
- 1996-07-18 JP JP18910196A patent/JP3325464B2/ja not_active Expired - Fee Related
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6587506B1 (en) | 1999-11-02 | 2003-07-01 | Matsushita Electric Industrial Co., Ltd. | Video editing apparatus, video editing method, and data storage medium for a video editing program |
JP2003514419A (ja) * | 1999-11-10 | 2003-04-15 | トムソン ライセンシング ソシエテ アノニム | 書き換え可能なdvd向けの、mpegビットストリームの復号化及び再符号化することのない画像の編集 |
GB2364428A (en) * | 2000-03-27 | 2002-01-23 | Sony Corp | Editing apparatus with playback state evaluation |
GB2364428B (en) * | 2000-03-27 | 2004-01-21 | Sony Corp | Editing apparatus and editing method |
EP1596396A1 (en) * | 2004-05-15 | 2005-11-16 | Deutsche Thomson-Brandt Gmbh | Method for splitting a data stream |
JP2005327453A (ja) * | 2004-05-15 | 2005-11-24 | Thomson Licensing | データストリーム分割方法 |
EP1596397A3 (en) * | 2004-05-15 | 2010-12-15 | Thomson Licensing | Method for splitting a data stream |
WO2006033279A1 (ja) * | 2004-09-24 | 2006-03-30 | Matsushita Electric Industrial Co., Ltd. | データ処理装置 |
Also Published As
Publication number | Publication date |
---|---|
JP3325464B2 (ja) | 2002-09-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6229850B1 (en) | Multiple resolution video compression | |
US6005621A (en) | Multiple resolution video compression | |
US6323914B1 (en) | Compressed video recording device with integrated effects processing | |
US6337880B1 (en) | Indexing for motion video that is compressed using interframe and intraframe techniques | |
US7340150B2 (en) | Digital video signal record and playback device and method for selectively reproducing desired video information from an optical disk | |
US6058141A (en) | Varied frame rate video | |
US7295757B2 (en) | Advancing playback of video data based on parameter values of video data | |
US5796438A (en) | Methods and apparatus for interpolating picture information | |
US5739862A (en) | Reverse playback of MPEG video | |
WO2000014741A1 (fr) | Procede et dispositif de gestion de fichier multimedia | |
US6115076A (en) | Compressed video recording device with non-destructive effects addition | |
AU752363B2 (en) | Multimedia information coding apparatus, coding method of multimedia information, and recording media storing data coded by the same method | |
JP3331351B2 (ja) | 画像データ符号化方法及び装置 | |
JP3147792B2 (ja) | 高速再生のためのビデオデータの復号化方法及びその装置 | |
EP0840517A2 (en) | Video data stream decoding method and apparatus | |
JP3325464B2 (ja) | 動画像処理装置 | |
JP3308129B2 (ja) | 画像信号復号化方法及び画像信号復号化装置 | |
US6754272B2 (en) | Picture signal processing method and apparatus, picture signal recording method and apparatus and recording medium | |
JPH0795536A (ja) | 動画像逆再生装置及び方法 | |
JP3233232B2 (ja) | 動画像復号化方法および装置 | |
JPH08149408A (ja) | ディジタル動画編集方法及び装置 | |
JP3506504B2 (ja) | ディジタル映像信号記録再生装置 | |
JP3045696B2 (ja) | 復号化方法及びその装置 | |
JP3541910B2 (ja) | 映像信号処理装置 | |
JPH0879703A (ja) | 画像情報処理方法及び装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20020625 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080705 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090705 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100705 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110705 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120705 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130705 Year of fee payment: 11 |
|
LAPS | Cancellation because of no payment of annual fees |