JP3979768B2 - デジタル映像分割方法及びその装置 - Google Patents
デジタル映像分割方法及びその装置 Download PDFInfo
- Publication number
- JP3979768B2 JP3979768B2 JP2000182123A JP2000182123A JP3979768B2 JP 3979768 B2 JP3979768 B2 JP 3979768B2 JP 2000182123 A JP2000182123 A JP 2000182123A JP 2000182123 A JP2000182123 A JP 2000182123A JP 3979768 B2 JP3979768 B2 JP 3979768B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- region
- divided
- dividing
- tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
Description
【０００１】
【発明の属する技術分野】
本発明は映像分割方法に係り、より詳細には、デジタル映像をオブジェクト単位に処理するために前記デジタル映像を分割するデジタル映像分割方法に関する。さらに、本発明は、前記のような方法によって分割された映像において領域をトラッキングする方法及び該映像分割方法を具現するデジタル映像分割装置に関する。
【０００２】
【従来の技術】
映像分割は、デジタル映像をオブジェクト単位に処理するにあたって欠かせない技術である。しかし、今までは、リアルタイムにて満足のいく結果を提供する映像分割方法は開発されていない。
【０００３】
【発明が解決しようとする課題】
本発明の目的は、デジタル映像をオブジェクト単位に処理するために高速で映像を分割するデジタル映像分割方法を提供することである。
本発明の他の目的は、前記のような方法によって分割された映像において領域を高速でトラッキングする方法を提供することである。
本発明のさらに他の目的は、前記映像分割方法を具現するデジタル映像分割装置を提供することである。
【０００４】
【課題を解決するための手段】
前記目的を達成するため、本発明に係るデジタル映像分割方法は、（ａ）複数枚のデジタル映像フレームのうち任意の１フレームをＩフレームとして設定し、残余フレームはＰフレームとして設定する段階と、（ｂ）前記Ｉフレームを複数個の領域に分割する段階と、（ｃ）前記Ｉフレームの分割領域を前記Ｐフレームに対して動き予測して動きベクトルを得、該得られた動きベクトル分だけＩフレームの分割領域を移動して前記Ｐフレームの分割領域として設定することにより前記Ｐフレームを分割する段階とを含むことを特徴とする。
【０００５】
さらに、好ましくは、前記方法は、前記（ａ）段階前に、（ｐ−ａ−１）入力された映像データストリームを複数個のフレーム群に群分けする段階をさらに含み、前記（ａ）段階は、フレーム群内において任意の１フレームをＩフレームとして設定し、前記フレーム群内の残余フレームはＰフレームとして設定する段階である。
【０００６】
さらに、好ましくは、前記（ｃ）段階は、分割されたＩフレーム領域をＰフレームに対して所定の変位分だけ移動してその差分が最小となる領域を類似マッチング領域として設定する段階と、Ｉフレーム領域に対するＰフレームの類似マッチング領域の変位を表わす動きベクトルを求める段階と、分割されたＩフレーム領域をＰフレーム上において前記動きベクトル分だけ移動してＰフレーム領域として設定する段階とを含む。
【０００７】
さらに、好ましくは、前記（ｃ）段階後に、分割されたＩフレーム領域が最後の領域であるかを判別する段階と、前記判別段階で、分割されたＩフレーム領域が最後の領域でないと判別されれば、Ｐフレーム領域分割段階に戻す段階とをさらに含んで、全ての分割されたＩフレーム領域に対して順次Ｐフレーム分割を行なう。
【０００８】
前記他の目的を達成するために、本発明に係る分割されたデジタル映像の領域トラッキング方法は、前記デジタル分割方法によって分割された映像内において領域をトラッキングする方法であって、各フレーム群間で分割された１つのＩフレーム領域を他のＩフレームに対して所定の変位分だけ移動してその差分が最小となる領域を類似マッチング領域として設定する類似動き補償を施すことによりＩフレームに対する領域トラッキングを行なう段階と、各フレーム群内においてＩフレームに対して動き予測を行ない、分割されたＰフレーム分割領域をトラッキングする段階とを含むことを特徴とする。
【０００９】
前記さらに他の目的を達成するために、本発明に係るデジタル映像分割装置は、映像データストリームを複数個の連続フレーム群に群分けし、フレーム群内において任意の１フレームをＩフレームとして設定し、残余フレームはＰフレームとして設定して出力する群分け手段と、前記Ｉフレームを入力されて複数個の領域に分割することにより分割されたＩフレームを出力し、分割されたＩフレーム領域を順次出力するＩフレーム分割手段と、前記Ｉフレーム領域及びＰフレームを入力されて類似マッチング方法により動き予測を行なうことにより動きベクトルを出力する類似マッチング手段と、Ｐフレーム及び動きベクトルを入力されて分割されたＩフレーム領域を前記動きベクトルに対応して移動することによりＰフレームを分割するＰフレーム分割手段とを含むことを特徴とする。
【００１０】
【発明の実施の形態】
以下、添付した図面に基づき、本発明に係る映像分割方法と、分割された映像において領域をトラッキングする方法、及びデジタル映像分割装置の望ましい実施形態について詳細に説明する。
【００１１】
図１は、本発明の実施形態によるデジタル映像分割方法のフローチャートである。図１を参照すれば、本発明に係るデジタル映像分割方法は、先ず、映像データストリームを複数個の連続フレーム群に群分けする（段階１０２）。図２は、本発明の実施形態によるデジタル映像分割方法において、フレーム群分け段階を説明するための図である。すなわち、フレーム群分け段階（１０２）では、多数枚のフレームを複数個の連続フレーム群に群分けして第１群Ｇ０、第２群Ｇ１、第３群Ｇ２、及び第４群Ｇ３を形成する。ＭＰＥＧコーディングの場合には、例えば、"ＩＢＢＰＢＢＰＢＢＰＢＢＩ"のように、１３枚のフレームを１つの群にまとめることができる。
【００１２】
次に、前記フレーム群内において、任意の１フレームをＩフレームとして設定し、前記フレーム群内の残余フレームはＰフレームとして設定する（段階１０４）。 図３は、前記段階１０４におけるＩ及びＰフレームの設定例である。ここで、任意の１フレームをＩフレームとして設定しても良いが、ＭＰＥＧ-２標準でのように、デジタル映像フレームの管理情報に基づき決定されたイントラフレームをＩフレームとして設定しても良い。フレーム群内においてＩフレームとして設定されてない残余フレームはＰフレームとして設定される。
【００１３】
次に、前記Ｉフレームを複数個の領域に分割する（段階１２２）。この分割段階（１２２）では、当業者にとって知られている各種の方法が使用可能である。
次に、分割されたＩフレームからどれか１つの領域を選択する（段階１２４）。分割されたＩフレームのうち段階１２４で選択された領域をＰフレームに対して動き予測して動きベクトルを得、該得られた動きベクトル分だけＩフレームの分割領域を移動してＰフレームの分割領域として設定することによりＰフレームを分割する（段階１４）。また、このＰフレーム分割段階（１４）は、以下のサブ段階（１４２、１４４、１４６）を行なう。段階１４２では、分割されたＩフレーム領域をＰフレームに対して所定の変位だけ移動して分割されたＩフレーム領域とＰフレーム領域との差分が最小となる領域を類似マッチング領域として設定する。段階１４４では、Ｉフレーム領域に対するＰフレームの類似マッチング領域の変位量を表わす動きベクトルを得る。段階１４６では、分割されたＩフレーム領域をＰフレーム上で前記動きベクトル分だけ移動してＰフレーム領域として設定することによりＰフレーム分割がなされる。
【００１４】
図４は、本発明の実施形態による映像分割方法において、分割されたＩフレームのある領域を使ってＰフレームを分割する過程を説明するための図面である。以下、図４を参照し、Ｐフレームを分割する過程について詳細に説明する。まず、分割されたＩフレームの各領域のうちある領域Ｓｉが設定される。次に、領域Ｓｉの周辺で、所定の変位量だけ離隔され、前記領域Ｓｉに対応する他の領域Ｓｉ'を定義した後に、前記領域Ｓｉとの差分を計算する。ここで、差分を計算する方法は、その映像が白黒映像か、またはカラー映像かによって異なる。映像が白黒映像の場合には、例えば、輝度差が計算され、カラー映像の場合には、例えば、輝度差及び色度差が計算される。この計算は、例えば、全ての座標に対して行った上で合算しても良い。与えられたＩフレーム領域を所定変位量だけ移動して設定されたＩフレーム領域との差分が最小となるＰフレーム領域を類似マッチング領域として設定する。このとき、領域Ｓｉとその差分が最小となる領域Ｓｉ'までの方向及び距離を動きベクトル（ＭＶ）と定義する。次に、Ｉフレームの分割領域を動きベクトル（ＭＶ）分だけ移動してＰフレームの分割領域Ｓｉ'として設定する。この過程は、Ｉフレームの領域をＰフレームに対して動き予測することであって、ＭＰＥＧ-２の動き予測方法に類している。
【００１５】
さらに、本実施形態によれば、Ｐフレーム分割段階後に分割されたＩフレーム領域が最後の領域であるかを判別（段階１８２）し、前記判別段階（１８２）で分割されたＩフレーム領域が最後の領域でないと判別されれば、次の領域を選択（段階１８４）し、Ｐフレーム領域分割段階（１４）を再度行なう。従って、全ての分割されたＩフレーム領域に対して順次Ｐフレーム分割を行なう。これにより、Ｉフレームの分割をＰフレームに適用して分割することになり、全てのフレームに対して時間が過度に要される従来のような分割過程を行なわなくても良い。
【００１６】
前記のような方法によって分割された映像フレーム群は、本発明による分割されたデジタル映像の領域トラッキング方法によって迅速に領域トラッキングが行える。図５は、本発明に係る分割されたデジタル映像の領域トラッキング方法によって領域トラッキングを行なう過程を示す図である。本発明の分割されたデジタル映像の領域トラッキング方法の実施形態によれば、前記方法によって分割された映像の各フレーム群間で分割された１つのＩフレーム領域を他の群のＩフレームに対して所定変位量だけ移動してその差分が最小となる領域を類似マッチング領域として設定する類似動き補償を施すことによりＩフレームに対する領域トラッキングを行なう。このとき、領域を間違って選定することを防止するためには、テキスチャー及びサイズ特性を併用することが好ましい。各フレーム群内における領域トラッキングに利用される動きベクトル（Ｉフレーム領域に対する P フレーム領域の類似マッチング領域の変位―段落００１３参照）は、空間分割過程において既に求められた状態である。従って、各フレーム群内においてはＩフレームに対して前記動きベクトルを用いて移動することによって P フレームにおける該当領域を探して P フレームに対する領域トラッキングが行える。前述のような本発明に係る分割されたデジタル映像の領域トラッキング方法は、全ての領域に対してトラッキングを行わず、オブジェクト単位にトラッキングを行なうので、領域トラッキングが容易且つ迅速になされる。
【００１７】
このような本発明に係るデジタル映像分割方法及び分割されたデジタル映像の領域トラッキング方法は、コンピュータにて実行可能なプログラムにて作成可能である。そして、コンピュータにて使用される媒体から前記プログラムを動作させる汎用のディジタルコンピューターにて具現可能である。前記媒体は、フロッピーディスク（ＦＤ）やハードディスク（ＨＤ）などの磁気記録媒体、ＣＤ-ＲＯＭやＤＶＤなどの光記録媒体、及びインターネットを通した伝送に使用されるキャリアウェーブなどの記憶媒体を含む。また、このような機能的なプログラム、コード及びコードセグメントは、本発明が属する技術分野のプログラマによって容易に推論できる。
【００１８】
さらに、本発明に係る映像分割方法は装置にて具現可能である。この装置は、デジタルカメラやデジタルカムコーダなどのデジタル映像を処理する装置において映像の編集のための映像検索装置として使用できる。
【００１９】
図６は、本発明の実施形態による映像分割装置のブロック構成図である。図６を参照すれば、本発明に係る映像分割装置は、群分け手段６０、Ｉフレーム分割手段６２、類似マッチング手段６４、及びＰフレーム分割手段６６を具備する。
【００２０】
群分け手段６０は、映像データストリームを入力されてそれを複数個の連続フレーム群に群分けし、群内において任意の１フレームをＩフレームとして設定し、残余フレームはＰフレームとして設定して出力する。Ｉフレーム分割手段６２は、前記Ｉフレームを入力されてそれを複数個の領域に分割することによって分割されたＩフレームを出力し、分割されたＩフレーム領域Ｒｉを順次出力する。類似マッチング手段６４は、前記Ｉフレーム領域Ｒｉ及びＰフレームを入力されて図４に基づき述べたように、各群間において分割された１つのＩフレーム領域を他のＩフレームに対して所定量移動してその差分が最小となる領域を類似マッチング領域として設定する類似マッチング方法によって動き予測を行なうことによって動きベクトルＭＶを出力する。Ｐフレーム分割手段６６は、Ｐフレーム及び動きベクトルを入力されて分割されたＩフレーム領域を前記動きベクトルＭＶに対応するように移動することによってＰフレームを分割する。
【００２１】
【発明の効果】
以上述べたように、本発明に係るデジタル映像分割方法及びその装置は、Ｉフレームの分割をＰフレームに適用して分割することになり、全てのフレームに対して時間が過度に掛かっていた従来のような分割過程を行わなくても良いので、分割が迅速に行える。
さらに、本発明に係る分割されたデジタル映像の領域トラッキング方法は、全ての領域に対してトラッキングを行わず、オブジェクト単位にトラッキングを行なうので、領域トラッキングが容易且つ迅速に行える。
【図面の簡単な説明】
【図１】 本発明の実施形態によるデジタル映像分割方法のフローチャートである。
【図２】 本発明の実施形態によるデジタル映像分割方法において、フレーム群分け段階を説明するための図面である。
【図３】 本発明の実施形態によるデジタル映像分割方法において、Ｉフレーム設定段階を説明するための図面である。
【図４】 本発明の実施形態によるデジタル映像分割方法において、分割されたＩフレームのある領域を使ってＰフレームを分割する過程を説明するための図面である。
【図５】 本発明による方法によって分割された映像フレーム群において領域トラッキングする過程を説明するための図面である。
【図６】 本発明の実施形態によるデジタル映像分割装置のブロック構成図である。
【符号の説明】
６０…群分け手段
６２…Ｉフレーム分割手段
６４…類似マッチング手段
６６…Ｐフレーム分割手段
【発明の属する技術分野】
本発明は映像分割方法に係り、より詳細には、デジタル映像をオブジェクト単位に処理するために前記デジタル映像を分割するデジタル映像分割方法に関する。さらに、本発明は、前記のような方法によって分割された映像において領域をトラッキングする方法及び該映像分割方法を具現するデジタル映像分割装置に関する。
【０００２】
【従来の技術】
映像分割は、デジタル映像をオブジェクト単位に処理するにあたって欠かせない技術である。しかし、今までは、リアルタイムにて満足のいく結果を提供する映像分割方法は開発されていない。
【０００３】
【発明が解決しようとする課題】
本発明の目的は、デジタル映像をオブジェクト単位に処理するために高速で映像を分割するデジタル映像分割方法を提供することである。
本発明の他の目的は、前記のような方法によって分割された映像において領域を高速でトラッキングする方法を提供することである。
本発明のさらに他の目的は、前記映像分割方法を具現するデジタル映像分割装置を提供することである。
【０００４】
【課題を解決するための手段】
前記目的を達成するため、本発明に係るデジタル映像分割方法は、（ａ）複数枚のデジタル映像フレームのうち任意の１フレームをＩフレームとして設定し、残余フレームはＰフレームとして設定する段階と、（ｂ）前記Ｉフレームを複数個の領域に分割する段階と、（ｃ）前記Ｉフレームの分割領域を前記Ｐフレームに対して動き予測して動きベクトルを得、該得られた動きベクトル分だけＩフレームの分割領域を移動して前記Ｐフレームの分割領域として設定することにより前記Ｐフレームを分割する段階とを含むことを特徴とする。
【０００５】
さらに、好ましくは、前記方法は、前記（ａ）段階前に、（ｐ−ａ−１）入力された映像データストリームを複数個のフレーム群に群分けする段階をさらに含み、前記（ａ）段階は、フレーム群内において任意の１フレームをＩフレームとして設定し、前記フレーム群内の残余フレームはＰフレームとして設定する段階である。
【０００６】
さらに、好ましくは、前記（ｃ）段階は、分割されたＩフレーム領域をＰフレームに対して所定の変位分だけ移動してその差分が最小となる領域を類似マッチング領域として設定する段階と、Ｉフレーム領域に対するＰフレームの類似マッチング領域の変位を表わす動きベクトルを求める段階と、分割されたＩフレーム領域をＰフレーム上において前記動きベクトル分だけ移動してＰフレーム領域として設定する段階とを含む。
【０００７】
さらに、好ましくは、前記（ｃ）段階後に、分割されたＩフレーム領域が最後の領域であるかを判別する段階と、前記判別段階で、分割されたＩフレーム領域が最後の領域でないと判別されれば、Ｐフレーム領域分割段階に戻す段階とをさらに含んで、全ての分割されたＩフレーム領域に対して順次Ｐフレーム分割を行なう。
【０００８】
前記他の目的を達成するために、本発明に係る分割されたデジタル映像の領域トラッキング方法は、前記デジタル分割方法によって分割された映像内において領域をトラッキングする方法であって、各フレーム群間で分割された１つのＩフレーム領域を他のＩフレームに対して所定の変位分だけ移動してその差分が最小となる領域を類似マッチング領域として設定する類似動き補償を施すことによりＩフレームに対する領域トラッキングを行なう段階と、各フレーム群内においてＩフレームに対して動き予測を行ない、分割されたＰフレーム分割領域をトラッキングする段階とを含むことを特徴とする。
【０００９】
前記さらに他の目的を達成するために、本発明に係るデジタル映像分割装置は、映像データストリームを複数個の連続フレーム群に群分けし、フレーム群内において任意の１フレームをＩフレームとして設定し、残余フレームはＰフレームとして設定して出力する群分け手段と、前記Ｉフレームを入力されて複数個の領域に分割することにより分割されたＩフレームを出力し、分割されたＩフレーム領域を順次出力するＩフレーム分割手段と、前記Ｉフレーム領域及びＰフレームを入力されて類似マッチング方法により動き予測を行なうことにより動きベクトルを出力する類似マッチング手段と、Ｐフレーム及び動きベクトルを入力されて分割されたＩフレーム領域を前記動きベクトルに対応して移動することによりＰフレームを分割するＰフレーム分割手段とを含むことを特徴とする。
【００１０】
【発明の実施の形態】
以下、添付した図面に基づき、本発明に係る映像分割方法と、分割された映像において領域をトラッキングする方法、及びデジタル映像分割装置の望ましい実施形態について詳細に説明する。
【００１１】
図１は、本発明の実施形態によるデジタル映像分割方法のフローチャートである。図１を参照すれば、本発明に係るデジタル映像分割方法は、先ず、映像データストリームを複数個の連続フレーム群に群分けする（段階１０２）。図２は、本発明の実施形態によるデジタル映像分割方法において、フレーム群分け段階を説明するための図である。すなわち、フレーム群分け段階（１０２）では、多数枚のフレームを複数個の連続フレーム群に群分けして第１群Ｇ０、第２群Ｇ１、第３群Ｇ２、及び第４群Ｇ３を形成する。ＭＰＥＧコーディングの場合には、例えば、"ＩＢＢＰＢＢＰＢＢＰＢＢＩ"のように、１３枚のフレームを１つの群にまとめることができる。
【００１２】
次に、前記フレーム群内において、任意の１フレームをＩフレームとして設定し、前記フレーム群内の残余フレームはＰフレームとして設定する（段階１０４）。 図３は、前記段階１０４におけるＩ及びＰフレームの設定例である。ここで、任意の１フレームをＩフレームとして設定しても良いが、ＭＰＥＧ-２標準でのように、デジタル映像フレームの管理情報に基づき決定されたイントラフレームをＩフレームとして設定しても良い。フレーム群内においてＩフレームとして設定されてない残余フレームはＰフレームとして設定される。
【００１３】
次に、前記Ｉフレームを複数個の領域に分割する（段階１２２）。この分割段階（１２２）では、当業者にとって知られている各種の方法が使用可能である。
次に、分割されたＩフレームからどれか１つの領域を選択する（段階１２４）。分割されたＩフレームのうち段階１２４で選択された領域をＰフレームに対して動き予測して動きベクトルを得、該得られた動きベクトル分だけＩフレームの分割領域を移動してＰフレームの分割領域として設定することによりＰフレームを分割する（段階１４）。また、このＰフレーム分割段階（１４）は、以下のサブ段階（１４２、１４４、１４６）を行なう。段階１４２では、分割されたＩフレーム領域をＰフレームに対して所定の変位だけ移動して分割されたＩフレーム領域とＰフレーム領域との差分が最小となる領域を類似マッチング領域として設定する。段階１４４では、Ｉフレーム領域に対するＰフレームの類似マッチング領域の変位量を表わす動きベクトルを得る。段階１４６では、分割されたＩフレーム領域をＰフレーム上で前記動きベクトル分だけ移動してＰフレーム領域として設定することによりＰフレーム分割がなされる。
【００１４】
図４は、本発明の実施形態による映像分割方法において、分割されたＩフレームのある領域を使ってＰフレームを分割する過程を説明するための図面である。以下、図４を参照し、Ｐフレームを分割する過程について詳細に説明する。まず、分割されたＩフレームの各領域のうちある領域Ｓｉが設定される。次に、領域Ｓｉの周辺で、所定の変位量だけ離隔され、前記領域Ｓｉに対応する他の領域Ｓｉ'を定義した後に、前記領域Ｓｉとの差分を計算する。ここで、差分を計算する方法は、その映像が白黒映像か、またはカラー映像かによって異なる。映像が白黒映像の場合には、例えば、輝度差が計算され、カラー映像の場合には、例えば、輝度差及び色度差が計算される。この計算は、例えば、全ての座標に対して行った上で合算しても良い。与えられたＩフレーム領域を所定変位量だけ移動して設定されたＩフレーム領域との差分が最小となるＰフレーム領域を類似マッチング領域として設定する。このとき、領域Ｓｉとその差分が最小となる領域Ｓｉ'までの方向及び距離を動きベクトル（ＭＶ）と定義する。次に、Ｉフレームの分割領域を動きベクトル（ＭＶ）分だけ移動してＰフレームの分割領域Ｓｉ'として設定する。この過程は、Ｉフレームの領域をＰフレームに対して動き予測することであって、ＭＰＥＧ-２の動き予測方法に類している。
【００１５】
さらに、本実施形態によれば、Ｐフレーム分割段階後に分割されたＩフレーム領域が最後の領域であるかを判別（段階１８２）し、前記判別段階（１８２）で分割されたＩフレーム領域が最後の領域でないと判別されれば、次の領域を選択（段階１８４）し、Ｐフレーム領域分割段階（１４）を再度行なう。従って、全ての分割されたＩフレーム領域に対して順次Ｐフレーム分割を行なう。これにより、Ｉフレームの分割をＰフレームに適用して分割することになり、全てのフレームに対して時間が過度に要される従来のような分割過程を行なわなくても良い。
【００１６】
前記のような方法によって分割された映像フレーム群は、本発明による分割されたデジタル映像の領域トラッキング方法によって迅速に領域トラッキングが行える。図５は、本発明に係る分割されたデジタル映像の領域トラッキング方法によって領域トラッキングを行なう過程を示す図である。本発明の分割されたデジタル映像の領域トラッキング方法の実施形態によれば、前記方法によって分割された映像の各フレーム群間で分割された１つのＩフレーム領域を他の群のＩフレームに対して所定変位量だけ移動してその差分が最小となる領域を類似マッチング領域として設定する類似動き補償を施すことによりＩフレームに対する領域トラッキングを行なう。このとき、領域を間違って選定することを防止するためには、テキスチャー及びサイズ特性を併用することが好ましい。各フレーム群内における領域トラッキングに利用される動きベクトル（Ｉフレーム領域に対する P フレーム領域の類似マッチング領域の変位―段落００１３参照）は、空間分割過程において既に求められた状態である。従って、各フレーム群内においてはＩフレームに対して前記動きベクトルを用いて移動することによって P フレームにおける該当領域を探して P フレームに対する領域トラッキングが行える。前述のような本発明に係る分割されたデジタル映像の領域トラッキング方法は、全ての領域に対してトラッキングを行わず、オブジェクト単位にトラッキングを行なうので、領域トラッキングが容易且つ迅速になされる。
【００１７】
このような本発明に係るデジタル映像分割方法及び分割されたデジタル映像の領域トラッキング方法は、コンピュータにて実行可能なプログラムにて作成可能である。そして、コンピュータにて使用される媒体から前記プログラムを動作させる汎用のディジタルコンピューターにて具現可能である。前記媒体は、フロッピーディスク（ＦＤ）やハードディスク（ＨＤ）などの磁気記録媒体、ＣＤ-ＲＯＭやＤＶＤなどの光記録媒体、及びインターネットを通した伝送に使用されるキャリアウェーブなどの記憶媒体を含む。また、このような機能的なプログラム、コード及びコードセグメントは、本発明が属する技術分野のプログラマによって容易に推論できる。
【００１８】
さらに、本発明に係る映像分割方法は装置にて具現可能である。この装置は、デジタルカメラやデジタルカムコーダなどのデジタル映像を処理する装置において映像の編集のための映像検索装置として使用できる。
【００１９】
図６は、本発明の実施形態による映像分割装置のブロック構成図である。図６を参照すれば、本発明に係る映像分割装置は、群分け手段６０、Ｉフレーム分割手段６２、類似マッチング手段６４、及びＰフレーム分割手段６６を具備する。
【００２０】
群分け手段６０は、映像データストリームを入力されてそれを複数個の連続フレーム群に群分けし、群内において任意の１フレームをＩフレームとして設定し、残余フレームはＰフレームとして設定して出力する。Ｉフレーム分割手段６２は、前記Ｉフレームを入力されてそれを複数個の領域に分割することによって分割されたＩフレームを出力し、分割されたＩフレーム領域Ｒｉを順次出力する。類似マッチング手段６４は、前記Ｉフレーム領域Ｒｉ及びＰフレームを入力されて図４に基づき述べたように、各群間において分割された１つのＩフレーム領域を他のＩフレームに対して所定量移動してその差分が最小となる領域を類似マッチング領域として設定する類似マッチング方法によって動き予測を行なうことによって動きベクトルＭＶを出力する。Ｐフレーム分割手段６６は、Ｐフレーム及び動きベクトルを入力されて分割されたＩフレーム領域を前記動きベクトルＭＶに対応するように移動することによってＰフレームを分割する。
【００２１】
【発明の効果】
以上述べたように、本発明に係るデジタル映像分割方法及びその装置は、Ｉフレームの分割をＰフレームに適用して分割することになり、全てのフレームに対して時間が過度に掛かっていた従来のような分割過程を行わなくても良いので、分割が迅速に行える。
さらに、本発明に係る分割されたデジタル映像の領域トラッキング方法は、全ての領域に対してトラッキングを行わず、オブジェクト単位にトラッキングを行なうので、領域トラッキングが容易且つ迅速に行える。
【図面の簡単な説明】
【図１】 本発明の実施形態によるデジタル映像分割方法のフローチャートである。
【図２】 本発明の実施形態によるデジタル映像分割方法において、フレーム群分け段階を説明するための図面である。
【図３】 本発明の実施形態によるデジタル映像分割方法において、Ｉフレーム設定段階を説明するための図面である。
【図４】 本発明の実施形態によるデジタル映像分割方法において、分割されたＩフレームのある領域を使ってＰフレームを分割する過程を説明するための図面である。
【図５】 本発明による方法によって分割された映像フレーム群において領域トラッキングする過程を説明するための図面である。
【図６】 本発明の実施形態によるデジタル映像分割装置のブロック構成図である。
【符号の説明】
６０…群分け手段
６２…Ｉフレーム分割手段
６４…類似マッチング手段
６６…Ｐフレーム分割手段
Claims (1)
- 映像データストリームを複数個のフレーム群に群分けする段階と、フレーム群内において任意の１フレームをＩフレームとして設定し前記フレーム群内の残余フレームはＰフレームとして設定する段階と、Ｉフレームを複数個の領域に分割する段階と、Ｉフレームの分割領域をＰフレームに対して動き予測して動きベクトルを得、該得られた動きベクトル分だけＩフレームの分割領域を移動してＰフレームの分割領域として設定することによりＰフレームを分割する段階とを含む方法によって分割された映像内において領域をトラッキングする方法であって、
各フレーム群間で分割された複数個のＩフレーム領域の中でトラッキングしようとする一つのIフレーム領域を他の群のＩフレームに対して所定の変位分だけ移動してその差分が最小となる領域を類似マッチング領域として設定する類似動き補償を施すことによりＩフレームに対する領域トラッキングを行なう段階と、
各フレーム群内においてトラッキングされた一つのＩフレーム領域を前記 P フレームを分割する段階で抽出した動きベクトルを用いて移動することによって P フレームにおける該当領域を探して P フレームに対する領域トラッキングを行う段階とを含むことを特徴とする分割されたデジタル映像の領域トラッキング方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US09/334,632 US6553069B1 (en) | 1999-06-17 | 1999-06-17 | Digital image segmenting method and device |
| US334.632 | 1999-06-17 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001036907A JP2001036907A (ja) | 2001-02-09 |
| JP3979768B2 true JP3979768B2 (ja) | 2007-09-19 |
Family
ID=23308084
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000182123A Expired - Fee Related JP3979768B2 (ja) | 1999-06-17 | 2000-06-16 | デジタル映像分割方法及びその装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US6553069B1 (ja) |
| JP (1) | JP3979768B2 (ja) |
| KR (1) | KR100644574B1 (ja) |
| CN (1) | CN1147130C (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6665342B1 (en) * | 1999-07-02 | 2003-12-16 | International Business Machines Corporation | System and method for producing a still image representation of a motion video |
| KR20070026360A (ko) * | 2004-01-16 | 2007-03-08 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 비디오 정보를 압축／압축해제하기 위한 방법 |
| KR100652703B1 (ko) * | 2004-12-08 | 2006-12-01 | 엘지전자 주식회사 | 휴대단말기의 동영상 검색장치 및 방법 |
| CN100414999C (zh) * | 2005-03-07 | 2008-08-27 | 明基电通股份有限公司 | 处理视讯信号的方法及装置 |
| US9258519B2 (en) * | 2005-09-27 | 2016-02-09 | Qualcomm Incorporated | Encoder assisted frame rate up conversion using various motion models |
| KR101328199B1 (ko) * | 2012-11-05 | 2013-11-13 | 넥스트리밍(주) | 동영상 편집 방법 및 그 단말기 그리고 기록매체 |
| US11212521B2 (en) * | 2018-11-07 | 2021-12-28 | Avago Technologies International Sales Pte. Limited | Control of memory bandwidth consumption of affine mode in versatile video coding |
| CN113873328B (zh) * | 2021-09-27 | 2023-06-27 | 四川效率源信息安全技术股份有限公司 | 多摄像头融合视频文件拆分为多个单摄像头视频文件的方法 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6226327B1 (en) * | 1992-06-29 | 2001-05-01 | Sony Corporation | Video coding method and apparatus which select between frame-based and field-based predictive modes |
| JP2576771B2 (ja) * | 1993-09-28 | 1997-01-29 | 日本電気株式会社 | 動き補償予測装置 |
| US5592226A (en) * | 1994-01-26 | 1997-01-07 | Btg Usa Inc. | Method and apparatus for video data compression using temporally adaptive motion interpolation |
| JP2798035B2 (ja) * | 1996-01-17 | 1998-09-17 | 日本電気株式会社 | 適応動きベクトル補間による動き補償フレーム間予測方法 |
| GB9623573D0 (en) * | 1996-11-13 | 1997-01-08 | Philips Electronics Nv | Image segmentation |
| US6285361B1 (en) * | 1996-11-15 | 2001-09-04 | Futuretel, Inc. | Method and apparatus for clipping video segments from an audiovisual file |
| US6272180B1 (en) * | 1997-11-21 | 2001-08-07 | Sharp Laboratories Of America, Inc. | Compression and decompression of reference frames in a video decoder |
| KR100327103B1 (ko) * | 1998-06-03 | 2002-09-17 | 한국전자통신연구원 | 사용자의조력및물체추적에의한영상객체분할방법 |
| US6295089B1 (en) * | 1999-03-30 | 2001-09-25 | Sony Corporation | Unsampled hd MPEG video and half-pel motion compensation |
-
1999
- 1999-06-17 US US09/334,632 patent/US6553069B1/en not_active Expired - Fee Related
- 1999-10-06 KR KR1019990043048A patent/KR100644574B1/ko not_active IP Right Cessation
-
2000
- 2000-03-28 CN CNB00104771XA patent/CN1147130C/zh not_active Expired - Fee Related
- 2000-06-16 JP JP2000182123A patent/JP3979768B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US6553069B1 (en) | 2003-04-22 |
| KR100644574B1 (ko) | 2006-11-13 |
| CN1278688A (zh) | 2001-01-03 |
| CN1147130C (zh) | 2004-04-21 |
| JP2001036907A (ja) | 2001-02-09 |
| KR20010005451A (ko) | 2001-01-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4700892B2 (ja) | 画像のマッチング | |
| JP4528441B2 (ja) | ブロック整合法及び統合投射法を用いた階層的動き評価処理及び装置 | |
| JP3461626B2 (ja) | 特定画像領域抽出方法及び特定画像領域抽出装置 | |
| KR100609249B1 (ko) | 영상 오브젝트 트랙킹 방법과 대응 시스 | |
| US8149915B1 (en) | Refinement of motion vectors in hierarchical motion estimation | |
| JP2001313956A (ja) | Ｍｐｅｇ圧縮ビデオ環境における階層的混合型ショット変換検出方法 | |
| KR20050084442A (ko) | 세그먼트 기반 움직임 추정 | |
| WO2007057986A1 (ja) | 動きベクトル算出装置および動きベクトル算出方法 | |
| JP2006012166A (ja) | カラーセグメンテーションに基づくステレオ３次元再構成システムおよびプロセス | |
| KR20060044827A (ko) | 화상 처리 장치 및 방법, 기록 매체, 및 프로그램 | |
| JP3823767B2 (ja) | 動画像の前景背景領域分離方法、及びその方法を用いた条件付画素補填による動画像符号化方法 | |
| JP3979768B2 (ja) | デジタル映像分割方法及びその装置 | |
| JP2000224593A (ja) | フレーム補間方法および装置およびこの方法を記録した記録媒体 | |
| US8379712B2 (en) | Image search methods for reducing computational complexity of motion estimation | |
| JP2010521118A (ja) | 圧縮したビデオ源からのマルチフレーム動画の推定 | |
| JP3175914B2 (ja) | 画像符号化方法および画像符号化装置 | |
| KR100335434B1 (ko) | 움직임 추정방법 | |
| JP3537616B2 (ja) | ビデオシーケンスの時間的に順次連続する画像の画素に対する、計算機による動き予測方法 | |
| Gu et al. | Morphological moving object segmentation and tracking for content-based video coding | |
| JP2980810B2 (ja) | 動きベクトル探索方法と装置 | |
| KR100810391B1 (ko) | 움직임 보간을 이용한 프레임 레이트 변환 방법 | |
| KR102056218B1 (ko) | 특징점 기반 움직임 벡터를 이용한 움직임 추정 방법 및 장치 | |
| JP2005004770A (ja) | グループ化による映画映像検出方法及び装置 | |
| JPH1115971A (ja) | 画像領域分割方法および画像領域分割装置 | |
| JP2008072608A (ja) | 画像符号化装置及び画像符号化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20031125 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040219 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040803 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041129 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20050117 |
|
| A912 | Removal of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20050225 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070626 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100706 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110706 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110706 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120706 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120706 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130706 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |