JP3329408B2 - 動画像処理方法および装置 - Google Patents
動画像処理方法および装置Info
- Publication number
- JP3329408B2 JP3329408B2 JP32931493A JP32931493A JP3329408B2 JP 3329408 B2 JP3329408 B2 JP 3329408B2 JP 32931493 A JP32931493 A JP 32931493A JP 32931493 A JP32931493 A JP 32931493A JP 3329408 B2 JP3329408 B2 JP 3329408B2
- Authority
- JP
- Japan
- Prior art keywords
- shot
- shots
- moving
- moving image
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/142—Detection of scene cut or scene change
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
- Television Signal Processing For Recording (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【産業上の利用分野】本発明は、一連のフレーム画像か
ら構成される動画像の処理方法および装置に係り、特
に、全体の進行を制御する人物の動画像区間を検出する
ことによって、動画像を意味的な部分区間に分類できる
ようにするための動画像処理方法および装置に関するも
のである。
ら構成される動画像の処理方法および装置に係り、特
に、全体の進行を制御する人物の動画像区間を検出する
ことによって、動画像を意味的な部分区間に分類できる
ようにするための動画像処理方法および装置に関するも
のである。
【０００２】
【従来の技術】従来より動画像を部分区間に分割する技
術として、映像内容の時間あるいは空間的な不連続点
（カット点）を検出するための手法は提案されていた
（例えば、大辻ほかによる “動画カット検出” 電子情
報通信学会技術報告ＩＥ９１−１１６，１９９１年）。
これは、撮影カメラの切り替わりや編集点に着目して動
画像を分解する手法である。
術として、映像内容の時間あるいは空間的な不連続点
（カット点）を検出するための手法は提案されていた
（例えば、大辻ほかによる “動画カット検出” 電子情
報通信学会技術報告ＩＥ９１−１１６，１９９１年）。
これは、撮影カメラの切り替わりや編集点に着目して動
画像を分解する手法である。
【０００３】また、カット点によって動画区間に分解さ
れた動画像について、それぞれの動画区間における動き
の量あるいは撮影カメラの移動方向という観点から各動
画区間を分類することによって、動画像の編集を支援す
る手法も一部で提案されている。
れた動画像について、それぞれの動画区間における動き
の量あるいは撮影カメラの移動方向という観点から各動
画区間を分類することによって、動画像の編集を支援す
る手法も一部で提案されている。
【０００４】
【発明が解決しようとする課題】上記動画区間分類手法
は、各動画区間を意味的な側面からとらえたものではな
かった。このため、たとえば場面の変った点や、話題の
転換点を抽出することはできなかった。すなわち、動画
像情報全体を意味的な側面から構造化してデータベース
化したいという要求に応えることはできなかった。
は、各動画区間を意味的な側面からとらえたものではな
かった。このため、たとえば場面の変った点や、話題の
転換点を抽出することはできなかった。すなわち、動画
像情報全体を意味的な側面から構造化してデータベース
化したいという要求に応えることはできなかった。
【０００５】たとえばテレビニュース番組では、各ニュ
ース項目のはじめにはアナウンサやニュースキャスタが
登場することによって、ニュース項目が変ったことを見
ている人が即座にわかるような工夫を行っている。ある
いは特定の司会者あるいは議長が全体の流れを制御しな
がら対談や討論を進めていくトーク番組では、各参加者
（ゲスト）が喋る前に、また話題を変えるときに、それ
ぞれ司会者を画面に映すことによって、見ている人に話
題や話し手の交替を、よりわかりやすく示している。こ
のように動画像情報によって情報を伝える場合には、各
情報の切れ目あるいは話題の転換点を、特定の人物を映
すことによってわかりやすく示している場合が多い。
ース項目のはじめにはアナウンサやニュースキャスタが
登場することによって、ニュース項目が変ったことを見
ている人が即座にわかるような工夫を行っている。ある
いは特定の司会者あるいは議長が全体の流れを制御しな
がら対談や討論を進めていくトーク番組では、各参加者
（ゲスト）が喋る前に、また話題を変えるときに、それ
ぞれ司会者を画面に映すことによって、見ている人に話
題や話し手の交替を、よりわかりやすく示している。こ
のように動画像情報によって情報を伝える場合には、各
情報の切れ目あるいは話題の転換点を、特定の人物を映
すことによってわかりやすく示している場合が多い。
【０００６】本発明の目的は、この点に着目して、動画
像情報から、全体の進行を制御している人物の動画像区
間を特定することにより、動画像情報を意味的な部分に
分解するための動画像処理方法及び装置を提供すること
にある。
像情報から、全体の進行を制御している人物の動画像区
間を特定することにより、動画像情報を意味的な部分に
分解するための動画像処理方法及び装置を提供すること
にある。
【０００７】
【課題を解決するための手段】上記目的を達成するため
に、本発明の動画処理方法においては、映像内容の時間
的あるいは空間的な不連続点（カット点）が既知である
一連のフレーム画像から構成される動画像について、各
カット点からカット点までの一連の映像区間（ショッ
ト）の中から、全体の進行を制御している人物が現れて
いるショットを検出し、そのショットによって全体の動
画像を構造化することを特徴とするものである。詳しく
は、同じくカット点が既知である一連のフレーム画像か
ら構成される動画像に対して、ショット内の平均の動き
量がある一定の範囲内におさまっているショットから、
動いている物体を抽出し、あるショットにおいて抽出さ
れた動物体と、他のショットにおいて抽出された動物体
の間の類似度に基づいて、類似しているショットどうし
をグループ化し、グループ内のショットの特徴に基づい
て全体の進行を制御している人物からなるショットグル
ープを判定し、そのグループ内のショットによって全体
の動画像情報を構造化することを特徴とする。
に、本発明の動画処理方法においては、映像内容の時間
的あるいは空間的な不連続点（カット点）が既知である
一連のフレーム画像から構成される動画像について、各
カット点からカット点までの一連の映像区間（ショッ
ト）の中から、全体の進行を制御している人物が現れて
いるショットを検出し、そのショットによって全体の動
画像を構造化することを特徴とするものである。詳しく
は、同じくカット点が既知である一連のフレーム画像か
ら構成される動画像に対して、ショット内の平均の動き
量がある一定の範囲内におさまっているショットから、
動いている物体を抽出し、あるショットにおいて抽出さ
れた動物体と、他のショットにおいて抽出された動物体
の間の類似度に基づいて、類似しているショットどうし
をグループ化し、グループ内のショットの特徴に基づい
て全体の進行を制御している人物からなるショットグル
ープを判定し、そのグループ内のショットによって全体
の動画像情報を構造化することを特徴とする。
【０００８】また、本発明の動画処理装置は、カット点
が既知である一連のフレーム画像から構成される動画像
に対して、ショット内の平均の動き量がある一定の範囲
内におさまっているショットを検出するショット内動き
判定部と、前記ショット内動き判定部で検出されたそれ
ぞれのショットから、動いている物体を抽出する動物体
抽出部と、あるショットにおいて抽出された動物体と、
他のショットにおいて抽出された動物体の間の類似度を
計算する類似度計算部と、前記類似度計算部の計算結果
に基づき、類似しているショットどうしをグループ化す
るショットグループ化部と、前記ショットグループ化部
の結果に基づいて進行を制御している人物からなるショ
ットグループを判定し、全体の動画像情報を構造化する
構造化計 算部とを有することを特徴とする。
が既知である一連のフレーム画像から構成される動画像
に対して、ショット内の平均の動き量がある一定の範囲
内におさまっているショットを検出するショット内動き
判定部と、前記ショット内動き判定部で検出されたそれ
ぞれのショットから、動いている物体を抽出する動物体
抽出部と、あるショットにおいて抽出された動物体と、
他のショットにおいて抽出された動物体の間の類似度を
計算する類似度計算部と、前記類似度計算部の計算結果
に基づき、類似しているショットどうしをグループ化す
るショットグループ化部と、前記ショットグループ化部
の結果に基づいて進行を制御している人物からなるショ
ットグループを判定し、全体の動画像情報を構造化する
構造化計 算部とを有することを特徴とする。
【０００９】
【作用】カット点が既知である一連のフレーム画像が動
画像蓄積部に、また、そのカット点は動画像カット管理
部に、それぞれ蓄積されている。ショット内動き判定部
では、ショット内の平均の動き量がある一定の範囲内に
おさまっているショットを検出する。動物体抽出部で
は、該検出されたそれぞれのショットから、動いている
物体を抽出する。類似度計算部では、このようにして抽
出されたあるショットと他のショットにおける動物体の
間の類似度を計算し、これを全てのショット間について
行う。ショットグループ化部では、類似度計算部の結果
に基づいて、類似しているショットどうしを１つのグル
ープとする。構造化計算部では、グループ化内の要素数
すなわちショット数が一定数以上あり、かつ、そのショ
ットが動画像の全体に存在するようなグループを進行を
制御している人物からなるショットグループと判定し、
そのグループに含まれるショットによって元の動画像を
分割する。
画像蓄積部に、また、そのカット点は動画像カット管理
部に、それぞれ蓄積されている。ショット内動き判定部
では、ショット内の平均の動き量がある一定の範囲内に
おさまっているショットを検出する。動物体抽出部で
は、該検出されたそれぞれのショットから、動いている
物体を抽出する。類似度計算部では、このようにして抽
出されたあるショットと他のショットにおける動物体の
間の類似度を計算し、これを全てのショット間について
行う。ショットグループ化部では、類似度計算部の結果
に基づいて、類似しているショットどうしを１つのグル
ープとする。構造化計算部では、グループ化内の要素数
すなわちショット数が一定数以上あり、かつ、そのショ
ットが動画像の全体に存在するようなグループを進行を
制御している人物からなるショットグループと判定し、
そのグループに含まれるショットによって元の動画像を
分割する。
【００１０】このようにして、進行を制御している人物
からなるショットグループを検出し、そのショットによ
って元の動画像を分割することにより、動画像情報を意
味的な側面から構造化することが可能となる。
からなるショットグループを検出し、そのショットによ
って元の動画像を分割することにより、動画像情報を意
味的な側面から構造化することが可能となる。
【００１１】
【実施例】以下、本発明の一実施例を、図面を用いて具
体的に説明する。以下の説明で、撮影カメラのスイッチ
のオン／オフ、カメラの切り替わり、編集等によって生
じた、映像内容の時間的あるいは空間的な不連続点をカ
ット点と称す。またカット点からカット点までの一連の
映像をショットと称す。
体的に説明する。以下の説明で、撮影カメラのスイッチ
のオン／オフ、カメラの切り替わり、編集等によって生
じた、映像内容の時間的あるいは空間的な不連続点をカ
ット点と称す。またカット点からカット点までの一連の
映像をショットと称す。
【００１２】図１は、本発明の一実施例にかかる動画像
処理装置のブロック図である。図１において、１１はシ
ョット内動き判定部、１２は動物体抽出部、１３は類似
度計算部、１４はショットグループ化部、１５は構造計
算部、１６はカット点情報管理部、１７は動画像蓄積部
である。
処理装置のブロック図である。図１において、１１はシ
ョット内動き判定部、１２は動物体抽出部、１３は類似
度計算部、１４はショットグループ化部、１５は構造計
算部、１６はカット点情報管理部、１７は動画像蓄積部
である。
【００１３】図２は、図１の実施例における動画像処理
フローチャートである。図１との対応は、ショット内動
き判定部１１がステップ１０１，１０２の処理を、動物
体抽出部１２がステップ１０３の処理を、数似度計算部
１３がステップ１０４の処理を、ショットグループ化部
１４がステップ１０５の処理を、そして、構造計算部１
５がステップ１０６の処理をそれぞれ受け持つ。
フローチャートである。図１との対応は、ショット内動
き判定部１１がステップ１０１，１０２の処理を、動物
体抽出部１２がステップ１０３の処理を、数似度計算部
１３がステップ１０４の処理を、ショットグループ化部
１４がステップ１０５の処理を、そして、構造計算部１
５がステップ１０６の処理をそれぞれ受け持つ。
【００１４】動画像蓄積部１７には、カット点が既知で
ある一連のフレーム画像が蓄積されている。そして、カ
ット点情報管理部１６に、該一連のフレーム画像のカッ
ト点情報が蓄積されている。
ある一連のフレーム画像が蓄積されている。そして、カ
ット点情報管理部１６に、該一連のフレーム画像のカッ
ト点情報が蓄積されている。
【００１５】図３に、カット点とショットの概念を示
す。図３では、１からはじまる一連のフレーム画像によ
って動画像が構成されており、フレーム番号３および７
がカット点となる。また、フレーム番号が１〜２、３〜
６、７以降がそれぞれショットとなる。
す。図３では、１からはじまる一連のフレーム画像によ
って動画像が構成されており、フレーム番号３および７
がカット点となる。また、フレーム番号が１〜２、３〜
６、７以降がそれぞれショットとなる。
【００１６】図４は、カット点情報管理部１６の一例で
ある。即ち、カット点情報管理部１６には、動画像蓄積
部１７に記憶されている一連のフレーム画像で構成され
た動画像について、該動画像がショット単位に分割され
て、それぞれのショットの開始フレーム（カット点フレ
ーム）が記憶されている。
ある。即ち、カット点情報管理部１６には、動画像蓄積
部１７に記憶されている一連のフレーム画像で構成され
た動画像について、該動画像がショット単位に分割され
て、それぞれのショットの開始フレーム（カット点フレ
ーム）が記憶されている。
【００１７】次に、図１のショット内動き判定部１１、
動物体抽出部１２、類似度計算部１３、ショットグルー
プ化部１４、構造計算部１５の動作を順に説明する。
動物体抽出部１２、類似度計算部１３、ショットグルー
プ化部１４、構造計算部１５の動作を順に説明する。
【００１８】〈ショット内動き判定部１１〉 ショット内動き判定部１１では、動画像蓄積部１７の動
画像について、カット点情報管理部１６のカット点情報
を参照して、ショット内の平均の動き量がある一定の範
囲内におさまっているショットを検出し、進行制御人物
ショット候補とする（ステップ１０１，１０２）。一例
として、各ショットにおける差分画素数の平均を求め、
その値が１つのフレーム画像に含まれる画素数の０．０
１％以上５％以下のショットを進行制御人物ショット候
補とする。
画像について、カット点情報管理部１６のカット点情報
を参照して、ショット内の平均の動き量がある一定の範
囲内におさまっているショットを検出し、進行制御人物
ショット候補とする（ステップ１０１，１０２）。一例
として、各ショットにおける差分画素数の平均を求め、
その値が１つのフレーム画像に含まれる画素数の０．０
１％以上５％以下のショットを進行制御人物ショット候
補とする。
【００１９】ここで、前フレーム画像の同一座標に存在
する画素と濃度値を比較し、その差がある一定値以上と
なる画素を１、それ以外を０として得られる２値画像を
差分画像、また、画素値が１の画素数を差分画素数と呼
ぶ。
する画素と濃度値を比較し、その差がある一定値以上と
なる画素を１、それ以外を０として得られる２値画像を
差分画像、また、画素値が１の画素数を差分画素数と呼
ぶ。
【００２０】すなわち、フレーム画像の大きさを（Ｘ，
Ｙ）、フレーム画像Ｉにおける各画素の画素値をｐｉ
（ｘ，ｙ）（１≦ｘ≦Ｘ，１≦ｙ≦Ｙ）とすれば、フレ
ームｎとフレームｎ＋１の差分画像は以下の式、 Ｐn,n+1(x,y)＝０ if｜Ｐn(x,y)−Ｐn+1(x,y)｜＜ threshold ＝１ if｜Ｐn(x,y)−Ｐn+1(x,y)｜≧ threshold で与えられる２値画像である。
Ｙ）、フレーム画像Ｉにおける各画素の画素値をｐｉ
（ｘ，ｙ）（１≦ｘ≦Ｘ，１≦ｙ≦Ｙ）とすれば、フレ
ームｎとフレームｎ＋１の差分画像は以下の式、 Ｐn,n+1(x,y)＝０ if｜Ｐn(x,y)−Ｐn+1(x,y)｜＜ threshold ＝１ if｜Ｐn(x,y)−Ｐn+1(x,y)｜≧ threshold で与えられる２値画像である。
【００２１】〈動物体抽出部１２〉 動物体抽出部１２では、ショット内動き判定部１１で求
まったそれぞれの進行制御人物ショット候補から、動い
ている物体を抽出する（ステップ１０３）。ここでは、
一例として図５に示す処理によって各ショットから動い
ている物体を抽出するものとする。
まったそれぞれの進行制御人物ショット候補から、動い
ている物体を抽出する（ステップ１０３）。ここでは、
一例として図５に示す処理によって各ショットから動い
ている物体を抽出するものとする。
【００２２】まず、各進行制御人物ショット候補におい
て、最初のフレーム画像と次のフレーム画像の差分画像
を計算し、動いている物体の外形を抽出する（ステップ
１１１）。図６は具体的処理例で、ここでは２つのフレ
ーム画像の差分画像によって人物の外形が抽出されてい
る。
て、最初のフレーム画像と次のフレーム画像の差分画像
を計算し、動いている物体の外形を抽出する（ステップ
１１１）。図６は具体的処理例で、ここでは２つのフレ
ーム画像の差分画像によって人物の外形が抽出されてい
る。
【００２３】次に、抽出された外形によって囲まれた部
分の画素値もまた１とすることによって、動いている物
体のマスク画像（塗りつぶし画像）を得る（ステップ１
１２）。ここでは、差分画像において、同一のｙ座標ｊ
を持つ画素に対して、最も小さいｘ座標を持つ画素Ｘmi
n（j）と最も大きなｘ座標を持つ差分画素Ｘmax（j）を
計算し、その間のｘ座標の画素をすべて１として得られ
る画素を動いている物体の画像とする。すなわち、 ｐ(x,y）＝１ （if Ｘmin(y)≦ｘ≦Ｘmax(y)） ＝０ (if ｘ＜Ｘmin(y) or Ｘmax(y)＜ｘ） このようにして得られた動物体の領域を示す画像と、も
との第１フレームとの論理積を求めることにより、動物
体画像を得ることができる。これを図７に示す。
分の画素値もまた１とすることによって、動いている物
体のマスク画像（塗りつぶし画像）を得る（ステップ１
１２）。ここでは、差分画像において、同一のｙ座標ｊ
を持つ画素に対して、最も小さいｘ座標を持つ画素Ｘmi
n（j）と最も大きなｘ座標を持つ差分画素Ｘmax（j）を
計算し、その間のｘ座標の画素をすべて１として得られ
る画素を動いている物体の画像とする。すなわち、 ｐ(x,y）＝１ （if Ｘmin(y)≦ｘ≦Ｘmax(y)） ＝０ (if ｘ＜Ｘmin(y) or Ｘmax(y)＜ｘ） このようにして得られた動物体の領域を示す画像と、も
との第１フレームとの論理積を求めることにより、動物
体画像を得ることができる。これを図７に示す。
【００２４】〈類似度計算部１３〉 類似度計算部１３では、動物体抽出部１２により２つの
ショットにおいて抽出された動物体の間の類似度を計算
する（ステップ１０４）。これを動画像蓄積部１７の動
画像に対し、全てのショット間について行う。
ショットにおいて抽出された動物体の間の類似度を計算
する（ステップ１０４）。これを動画像蓄積部１７の動
画像に対し、全てのショット間について行う。
【００２５】ここでは、一例として動物体の画像を構成
する色による類似度の計算方法を示す。進行制御人物シ
ョット候補Ｃ１において動物体抽出部１１で得られた動
物体画像をＭ１、進行制御人物ショット候補Ｃ２におい
て動物体抽出部１１で得られた動物体画像をＭ２とす
る。Ｍ１、Ｍ２に含まれる各画素をＣＩＥ１９７６ＵＣ
Ｓ色度図に基づく色度座標系（ｕ，ｖ）に変換し、さら
にｕ，ｖを量子化する。Ｍ１とＭ２の類似度を以下の式
によって求める。
する色による類似度の計算方法を示す。進行制御人物シ
ョット候補Ｃ１において動物体抽出部１１で得られた動
物体画像をＭ１、進行制御人物ショット候補Ｃ２におい
て動物体抽出部１１で得られた動物体画像をＭ２とす
る。Ｍ１、Ｍ２に含まれる各画素をＣＩＥ１９７６ＵＣ
Ｓ色度図に基づく色度座標系（ｕ，ｖ）に変換し、さら
にｕ，ｖを量子化する。Ｍ１とＭ２の類似度を以下の式
によって求める。
【００２６】
【数１】
【００２７】ただし、ｎ１，ｎ２は、ｕ，ｖの量子化の
数、ｍ１，ｍ２はＭ１，Ｍ２に含まれる画素数、Ｐ１
（ｕ，ｖ），Ｐ２（ｕ，ｖ）は、Ｍ１，Ｍ２に含まれる
色度座標系（ｕ，ｖ）における画素数をそれぞれ示す。
数、ｍ１，ｍ２はＭ１，Ｍ２に含まれる画素数、Ｐ１
（ｕ，ｖ），Ｐ２（ｕ，ｖ）は、Ｍ１，Ｍ２に含まれる
色度座標系（ｕ，ｖ）における画素数をそれぞれ示す。
【００２８】このようにして、すべての進行制御人物シ
ョット候補の間の類似度を計算する。図８は、このよう
にして得られる各進行制御人物ショット候補間の類似度
の一例を表に示したものである。なお、計算式から明ら
かなようにＣ１とＣ２の類似度と、Ｃ２とＣ１との類似
度は等しいため、図８では一方のみを示している。
ョット候補の間の類似度を計算する。図８は、このよう
にして得られる各進行制御人物ショット候補間の類似度
の一例を表に示したものである。なお、計算式から明ら
かなようにＣ１とＣ２の類似度と、Ｃ２とＣ１との類似
度は等しいため、図８では一方のみを示している。
【００２９】〈ショットグループ化部１４〉 グループ化部１４では、類似度計算部１３の結果に基づ
いて、類似しているショットどうしを１つのグループと
する（ステップ１０５）。この処理のフローチャートの
一例を図９に示す。
いて、類似しているショットどうしを１つのグループと
する（ステップ１０５）。この処理のフローチャートの
一例を図９に示す。
【００３０】（１）各進行制御人物ショット候補に、独
立したグループ番号を割り当てる（ステップ１２１）。 （２）ショットｉのグループ番号をＧｉとする。２つの
ショットｉ，ｊを選択する（ただし、ｉ＜ｊ かつ Ｇｉ
≠Ｇｊ）（ステップ１２２）。 （３）選択された２つのショットの類似度を一定値Ｔと
比較する（ステップ１２３）。 （４）選択された２つのショットの類似度が一定値Ｔよ
りも小さい場合、以下の処理を行い、ショットを統合す
る（ステップ１２４）。 Ｇｉ＜Ｇｊのとき、すべてのＧｊをＧｉに書き換える Ｇｉ＞Ｇｊのとき、すべてのＧｊをＧｉに書き換える （５）すべてのショットの組み合せに対して上記（２）
〜（４）の処理を行う（ステップ１２５）。
立したグループ番号を割り当てる（ステップ１２１）。 （２）ショットｉのグループ番号をＧｉとする。２つの
ショットｉ，ｊを選択する（ただし、ｉ＜ｊ かつ Ｇｉ
≠Ｇｊ）（ステップ１２２）。 （３）選択された２つのショットの類似度を一定値Ｔと
比較する（ステップ１２３）。 （４）選択された２つのショットの類似度が一定値Ｔよ
りも小さい場合、以下の処理を行い、ショットを統合す
る（ステップ１２４）。 Ｇｉ＜Ｇｊのとき、すべてのＧｊをＧｉに書き換える Ｇｉ＞Ｇｊのとき、すべてのＧｊをＧｉに書き換える （５）すべてのショットの組み合せに対して上記（２）
〜（４）の処理を行う（ステップ１２５）。
【００３１】図８に示されている類似度を持つショット
に対して上記処理を行った場合の処理の過程を、図１０
に示す。
に対して上記処理を行った場合の処理の過程を、図１０
に示す。
【００３２】〈構造化計算部１５〉 構造化計算部１５では、グループ内の要素数すなわちシ
ョット数が一定数以上あり、かつ、そのショットが動画
像の全体に存在するようなグループを進行制御人物ショ
ットのグループと判定し、そのグループに含まれるショ
ットによって元の動画像を分割する（ステップ１０
６）。
ョット数が一定数以上あり、かつ、そのショットが動画
像の全体に存在するようなグループを進行制御人物ショ
ットのグループと判定し、そのグループに含まれるショ
ットによって元の動画像を分割する（ステップ１０
６）。
【００３３】あるグループに属するショットが動画像の
全体に存在するかどうかの判定法の一例を以下に示す。
すなわち、グループ内のショットのうち、開始フレーム
番号のもっとも小さいものをＦ１、終了フレーム番号の
もっとも大きいものをＦ２としたする。元の動画像全体
の長さ（フレーム数）をＬとしたとき、 Ｆ２−Ｆ１ ＞ Ｌ／ｃ を満たすとき、そのグループ内のショットは動画像全体
にわたって現れたと見なす。ここにｃは定数である。た
とえばｃ＝３であれば、少なくとも、全体の１／３の時
間にわたって、（断続的に）そのグループに属する動物
体の現れていることを表している。
全体に存在するかどうかの判定法の一例を以下に示す。
すなわち、グループ内のショットのうち、開始フレーム
番号のもっとも小さいものをＦ１、終了フレーム番号の
もっとも大きいものをＦ２としたする。元の動画像全体
の長さ（フレーム数）をＬとしたとき、 Ｆ２−Ｆ１ ＞ Ｌ／ｃ を満たすとき、そのグループ内のショットは動画像全体
にわたって現れたと見なす。ここにｃは定数である。た
とえばｃ＝３であれば、少なくとも、全体の１／３の時
間にわたって、（断続的に）そのグループに属する動物
体の現れていることを表している。
【００３４】動画像を項目単位に分割する方法の一例を
以下に示す。すなわち、進行制御人物ショットのグルー
プに属するすべてのショットを開始フレームの早い順に
並べる。これをｃ１，ｃ２，…とする。ＣｉとＣｉ＋１
（ｉ＞２）が同一のグループに属するとき、前の項目の
終了点をＣｉ＋１の終了フレーム、次の項目の開始点を
画像Ｃｉ＋１の開始フレームとする。ＣｉとＣｉ＋１
（ｉ＞２）が異なるグループに属するとき、前の項目の
終了点をＣｉ＋１の開始フレーム、次の項目の開始点を
Ｃｉ＋１の開始フレームとする。このようにして、すべ
てのＣｉに関して分割点を計算して、元の動画像を項目
単位に分割する。
以下に示す。すなわち、進行制御人物ショットのグルー
プに属するすべてのショットを開始フレームの早い順に
並べる。これをｃ１，ｃ２，…とする。ＣｉとＣｉ＋１
（ｉ＞２）が同一のグループに属するとき、前の項目の
終了点をＣｉ＋１の終了フレーム、次の項目の開始点を
画像Ｃｉ＋１の開始フレームとする。ＣｉとＣｉ＋１
（ｉ＞２）が異なるグループに属するとき、前の項目の
終了点をＣｉ＋１の開始フレーム、次の項目の開始点を
Ｃｉ＋１の開始フレームとする。このようにして、すべ
てのＣｉに関して分割点を計算して、元の動画像を項目
単位に分割する。
【００３５】次に、具体例として、図１１から図１４
に、１９９０年８月２９日のＮＨＫ７時のニュースのう
ちのはじめから２４時間（＝４３２００フレーム）に対
して本実施例を適用した結果（一部）を示す。
に、１９９０年８月２９日のＮＨＫ７時のニュースのう
ちのはじめから２４時間（＝４３２００フレーム）に対
して本実施例を適用した結果（一部）を示す。
【００３６】図１１は、ショット内の平均差分画素数か
ら進行制御人物ショット候補を計算した結果（一部）で
ある。ここで、１フレームは１／３０秒である。全部で
１４６あるショットから６１ショットが候補として選択
された。
ら進行制御人物ショット候補を計算した結果（一部）で
ある。ここで、１フレームは１／３０秒である。全部で
１４６あるショットから６１ショットが候補として選択
された。
【００３７】図１２は、抽出された動物体間の類似度に
基づいて、ショットをグループ化した結果の表である。
ただし、図１２では、ショットを１つしか含まないよう
なグループは省略してある。この結果、ショットを２つ
以上含むグループは６つとなった。
基づいて、ショットをグループ化した結果の表である。
ただし、図１２では、ショットを１つしか含まないよう
なグループは省略してある。この結果、ショットを２つ
以上含むグループは６つとなった。
【００３８】図１２の結果から、グループ内の要素数お
よびショットの出現範囲を示したものが図１３である。
このうち、グループ内のショット数が３個以上、かつ、
出現範囲が全体の１／３＝１４４００フレーム以上とな
るものはグループ１４と２４である。図１２に示したよ
うに、これらのグループは、それぞれ、男性のアナウン
サのショットからなるグループ、および女性アナウンサ
のショットからなるグループである。
よびショットの出現範囲を示したものが図１３である。
このうち、グループ内のショット数が３個以上、かつ、
出現範囲が全体の１／３＝１４４００フレーム以上とな
るものはグループ１４と２４である。図１２に示したよ
うに、これらのグループは、それぞれ、男性のアナウン
サのショットからなるグループ、および女性アナウンサ
のショットからなるグループである。
【００３９】図１３に基づいて元の動画像を分割した結
果を図１４に示す。図１４では、実際の映像の内容から
切れ目も同時に示している。図１４から明らかなよう
に、本実施例によって検出された進行制御人物ショット
によって元の映像を分割することにより、意味的にも分
割できていることがわかる。
果を図１４に示す。図１４では、実際の映像の内容から
切れ目も同時に示している。図１４から明らかなよう
に、本実施例によって検出された進行制御人物ショット
によって元の映像を分割することにより、意味的にも分
割できていることがわかる。
【００４０】以上説明したように、本実施例によれば、
全体の進行を管理する人物のショットを検出でき、か
つ、そのショットによって元の映像を分割することが意
味的な分割となることから、動画像の意味的な分割点を
自動的に検出することができ、たとえば動画像データベ
ースを構築する際の前処理として有効な情報を生成する
ことが可能である。
全体の進行を管理する人物のショットを検出でき、か
つ、そのショットによって元の映像を分割することが意
味的な分割となることから、動画像の意味的な分割点を
自動的に検出することができ、たとえば動画像データベ
ースを構築する際の前処理として有効な情報を生成する
ことが可能である。
【００４１】なお、本実施例では、差分画素による外形
抽出によって動物体を抽出する例を示したが、ショット
に含まれているフレーム画像から動いている物体を抽出
する方法であれば適用は任意である。
抽出によって動物体を抽出する例を示したが、ショット
に含まれているフレーム画像から動いている物体を抽出
する方法であれば適用は任意である。
【００４２】また、本実施例では、動物体画像を構成す
る色の類似度を求める一例としての計算式を示したが、
画像間の類似度を計算によって求める方法であれば、適
用は任意である。
る色の類似度を求める一例としての計算式を示したが、
画像間の類似度を計算によって求める方法であれば、適
用は任意である。
【００４３】
【発明の効果】以上説明したように、本発明の動画像処
理方法および装置によれば、全体の進行を管理する人物
のショットを検出し、かつ、そのショットによってもと
の映像を分割することが意味的な分割となることから、
動画像の意味的な分割点を自動的に検出することがで
き、たとえば動画像データベースを構築する際の前処理
として有効な情報を生成することが可能である。
理方法および装置によれば、全体の進行を管理する人物
のショットを検出し、かつ、そのショットによってもと
の映像を分割することが意味的な分割となることから、
動画像の意味的な分割点を自動的に検出することがで
き、たとえば動画像データベースを構築する際の前処理
として有効な情報を生成することが可能である。
【図１】本発明の一実施例としての動画像処理装置のブ
ロック図である。
ロック図である。
【図２】本発明の一実施例としての動画像処理方法を示
すフローチャートである。
すフローチャートである。
【図３】カット点とショットの概念を表わした図であ
る。
る。
【図４】ショット情報管理部の内容の一例である。
【図５】動物体の範囲を示す画像を生成する処理手順の
一例である。
一例である。
【図６】２つのフレーム画像の差分画像によって得られ
た動物体の外形画像の例である。
た動物体の外形画像の例である。
【図７】図６と元の画像から得られた動物体画像の例で
ある。
ある。
【図８】各進行制御人物ショット候補間の類似度の具体
例を示す表である。
例を示す表である。
【図９】類似ショットを統合するための処理フローチャ
ートの一例である。
ートの一例である。
【図１０】統合処理の処理過程を表す図である。
【図１１】具体的サンプル映像について、元の動画像か
ら得られた進行制御人物ショット候補を示した表であ
る。
ら得られた進行制御人物ショット候補を示した表であ
る。
【図１２】図１１の例で類似度に基づいてグループ化を
行った結果の表である。
行った結果の表である。
【図１３】各グループ化に属するショットによって進行
制御人物ショットのグループかどうかを判定した結果の
表である。
制御人物ショットのグループかどうかを判定した結果の
表である。
【図１４】判定結果によって元のサンプル映像を分割し
た結果を示した図である。
た結果を示した図である。
１１ ショット内動き判定部 １２ 動物体抽出部 １３ 類似度計算部 １４ ショットグループ化部 １５ 構造計算部 １６ ショット情報管理部 １７ 動画像蓄積部
Claims (2)
- 【請求項１】 映像内容の時間的あるいは空間的な不連
続点（以下、カット点と称す）が既知である一連のフレ
ーム画像から構成される動画像について、各カットから
カット点までの一連の映像区間（以下、ショットと称
す）のうち、全体の進行を制御している人物が現れてい
るショットを検出し、そのショットによって全体の動画
像を構造化する動画像処理方法であって、 ショット内の平均の動き量がある一定の範囲内におさま
っているショットから動いている物体を抽出し、あるシ
ョットにおいて抽出された動物体と他のショットにおい
て抽出された動物体の間の類似度に基づいて類似してい
るショットどうしをグループ化し、グループ内のショッ
トの特徴に基づいて全体の進行を制御している人物から
なるショットグループを判定し、そのグループ内のショ
ットによって全体の動画像情報を構造化することを特徴
とする動画像処理方法。 - 【請求項２】 カット点が既知である一連のフレーム画
像から構成される動画像に対して、ショット内の平均の
動き量がある一定の範囲内におさまっているショットを
検出するショット内動き判定部と、前記ショット内動き
判定部で検出されたそれぞれのショットから動いている
物体を抽出する動物体抽出部と、あるショットにおいて
抽出された動物体と他のショットにおいて抽出された動
物体の間の類似度を計算する類似度計算部と、前記類似
度計算部の結果に基づき類似しているショットどうしを
グループ化するショットグループ化部と、前記ショット
グループ化部の結果に基づいて進行を制御している人物
からなるショットグループを判定し、全体の動画像情報
を構造化する構造化計算部と、を有することを特徴とす
る動画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP32931493A JP3329408B2 (ja) | 1993-12-27 | 1993-12-27 | 動画像処理方法および装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP32931493A JP3329408B2 (ja) | 1993-12-27 | 1993-12-27 | 動画像処理方法および装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07193748A JPH07193748A (ja) | 1995-07-28 |
| JP3329408B2 true JP3329408B2 (ja) | 2002-09-30 |
Family
ID=18220082
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP32931493A Expired - Fee Related JP3329408B2 (ja) | 1993-12-27 | 1993-12-27 | 動画像処理方法および装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3329408B2 (ja) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1998015117A1 (en) * | 1996-10-04 | 1998-04-09 | Nippon Telegraph And Telephone Corporation | Method for temporally and spatially integrating and managing a plurality of videos, device used for the same, and recording medium storing program of the method |
| EP1067800A4 (en) | 1999-01-29 | 2005-07-27 | Sony Corp | METHOD FOR PROCESSING SIGNALS AND DEVICE FOR PROCESSING VIDEO / VOCAL SIGNALS |
| WO2000045604A1 (en) * | 1999-01-29 | 2000-08-03 | Sony Corporation | Signal processing method and video/voice processing device |
| EP1073272B1 (en) * | 1999-02-15 | 2011-09-07 | Sony Corporation | Signal processing method and video/audio processing device |
| KR100355382B1 (ko) * | 2001-01-20 | 2002-10-12 | 삼성전자 주식회사 | 영상 시퀀스에서의 객체 레이블 영상 생성장치 및 그 방법 |
| KR100438269B1 (ko) * | 2001-03-23 | 2004-07-02 | 엘지전자 주식회사 | 뉴스 비디오 브라우징 시스템에서 앵커 샷 자동 검출 방법 |
| JP4047264B2 (ja) | 2003-09-30 | 2008-02-13 | 株式会社東芝 | 動画像処理装置、動画像処理方法および動画像処理プログラム |
| JP4491009B2 (ja) * | 2003-09-30 | 2010-06-30 | 株式会社東芝 | 動画像処理装置 |
| JP3906845B2 (ja) * | 2004-02-06 | 2007-04-18 | 日産自動車株式会社 | 乗員検出装置および方法 |
| US7792373B2 (en) | 2004-09-10 | 2010-09-07 | Pioneer Corporation | Image processing apparatus, image processing method, and image processing program |
| US20070258009A1 (en) * | 2004-09-30 | 2007-11-08 | Pioneer Corporation | Image Processing Device, Image Processing Method, and Image Processing Program |
| WO2007102511A1 (ja) * | 2006-03-09 | 2007-09-13 | Pioneer Corporation | 画像処理装置、画像処理方法、および画像処理プログラム |
| US9105306B2 (en) | 2006-12-27 | 2015-08-11 | Nec Corporation | Identifying objects in images using object identity probabilities based on interframe distances |
| JP5060224B2 (ja) | 2007-09-12 | 2012-10-31 | 株式会社東芝 | 信号処理装置及びその方法 |
-
1993
- 1993-12-27 JP JP32931493A patent/JP3329408B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH07193748A (ja) | 1995-07-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11727577B2 (en) | Video background subtraction using depth | |
| JP3329408B2 (ja) | 動画像処理方法および装置 | |
| Chai et al. | A Bayesian approach to skin color classification in YCbCr color space | |
| KR101414669B1 (ko) | 적응형 비디오 표현을 위한 방법 및 디바이스 | |
| Cernekova et al. | Information theory-based shot cut/fade detection and video summarization | |
| EP1225518B1 (en) | Apparatus and method for generating object-labelled images in a video sequence | |
| CN101409831B (zh) | 一种多媒体视频对象处理方法 | |
| Butler et al. | Real-time adaptive foreground/background segmentation | |
| CN105049875B (zh) | 一种基于混合特征与突变检测的精确关键帧提取方法 | |
| Chen et al. | Movie scene segmentation using background information | |
| KR101485820B1 (ko) | 지능형 동영상 메타 정보 생성 시스템 | |
| CN113763242A (zh) | 一种图像处理方法、装置及计算机可读存储介质 | |
| JPH0965287A (ja) | 動画像の特徴場面検出方法及び装置 | |
| JP2018206292A (ja) | 要約映像生成装置及びプログラム | |
| JP2004080156A (ja) | 画像処理装置、画像処理方法、プログラム及び記録媒体並びに画像処理システム | |
| CN116957672A (zh) | 一种可交互式广告设计系统及方法 | |
| Eickeler et al. | A new approach to content-based video indexing using hidden markov models | |
| Elliot | Multiple views of digital video | |
| JP3625935B2 (ja) | 動画像の重要画像抽出装置および重要画像抽出方法 | |
| CN112188116A (zh) | 基于对象的视频合成方法、客户端及系统 | |
| CN110996173A (zh) | 一种图像数据处理方法、装置及存储介质 | |
| Uehara et al. | Video shooting navigation system by real-time useful shot discrimination based on video grammar | |
| Wang et al. | A hierarchical framework for face tracking using state vector fusion for compressed video | |
| JP2000078564A (ja) | テレビカメラモニタ人物追跡方式 | |
| Neri et al. | Unsupervised video orchestration based on aesthetic features |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070719 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080719 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080719 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090719 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090719 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100719 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100719 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110719 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120719 Year of fee payment: 10 |
|
| LAPS | Cancellation because of no payment of annual fees |