JPH0537853A - 動画のカツト自動分割方法 - Google Patents
動画のカツト自動分割方法Info
- Publication number
- JPH0537853A JPH0537853A JP3192997A JP19299791A JPH0537853A JP H0537853 A JPH0537853 A JP H0537853A JP 3192997 A JP3192997 A JP 3192997A JP 19299791 A JP19299791 A JP 19299791A JP H0537853 A JPH0537853 A JP H0537853A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- cut
- specific frame
- pixel area
- moving image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/142—Detection of scene cut or scene change
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
Abstract
(57)【要約】
【目的】実時間で入力された動画または、蓄積された動
画に対して、自動的に的確にカットを切り分ける。 【構成】動画の特定のフレームと、該フレームの前後の
フレームとの間で、変化画素面積の比較を行い、その値
が、第２の閾値Ｂを越えた場合に、当該特定フレームを
カットの切目と判断し、動画のカットを判定する。ま
た、フィルムをビデオ映像などに変換した動画において
は、カット誤検出の原因となる駒数変換に伴って発生す
るフレーム間差分の周期変動の影響を受け難いように、
当該特定フレームと２つ離れた隣接フレームについても
変化画素面積の比較を行い、カットの切目を判定する。
画に対して、自動的に的確にカットを切り分ける。 【構成】動画の特定のフレームと、該フレームの前後の
フレームとの間で、変化画素面積の比較を行い、その値
が、第２の閾値Ｂを越えた場合に、当該特定フレームを
カットの切目と判断し、動画のカットを判定する。ま
た、フィルムをビデオ映像などに変換した動画において
は、カット誤検出の原因となる駒数変換に伴って発生す
るフレーム間差分の周期変動の影響を受け難いように、
当該特定フレームと２つ離れた隣接フレームについても
変化画素面積の比較を行い、カットの切目を判定する。
Description
【０００１】
【産業上の利用分野】本発明は、画像処理技術に関し、
特に動画をカットに自動分割するための方法に関するも
のである。
特に動画をカットに自動分割するための方法に関するも
のである。
【０００２】
【従来の技術】動画は文章データと異なり、情報量が多
く、意味的にも多義性を持っている。よって動画を便利
に取り扱うためには、使い易いインデックスを付与する
などの補助的な処理が必要である。カット分割はその１
つで、動画を取り扱い易い単位に分割する方法である。
カットに分割する方法は、動画の輝度や色の変化を利用
するものが各種提案されてきた。例えば、ＮＴＴの外村
ら《外村、安部”動画像データベースハンドリングに関
する検討”信学技報 IE89-33 p49-56 1989》による輝
度のヒストグラムのフレーム間差分量を用いる手法、北
大の長坂ら《長坂、田中”ビデオ作品の場面変わりの自
動検出法”1990情処全大(春)IQ-5》による、色度数分布
の相関度利用する手法、日立の宮武ら《宮武、吉澤、上
田”フレーム相関関数の変化率に着目したカット自動検
出法”1990信学会 秋期全大D-299》によるフレーム相
関係数の変化率を利用する手法等である。
く、意味的にも多義性を持っている。よって動画を便利
に取り扱うためには、使い易いインデックスを付与する
などの補助的な処理が必要である。カット分割はその１
つで、動画を取り扱い易い単位に分割する方法である。
カットに分割する方法は、動画の輝度や色の変化を利用
するものが各種提案されてきた。例えば、ＮＴＴの外村
ら《外村、安部”動画像データベースハンドリングに関
する検討”信学技報 IE89-33 p49-56 1989》による輝
度のヒストグラムのフレーム間差分量を用いる手法、北
大の長坂ら《長坂、田中”ビデオ作品の場面変わりの自
動検出法”1990情処全大(春)IQ-5》による、色度数分布
の相関度利用する手法、日立の宮武ら《宮武、吉澤、上
田”フレーム相関関数の変化率に着目したカット自動検
出法”1990信学会 秋期全大D-299》によるフレーム相
関係数の変化率を利用する手法等である。
【０００３】
【発明が解決しようとする課題】しかし、前記従来のも
のでは、（１）カットの見落としや、誤検出が多く、
（２）映画などのフィルムから、毎秒表示する駒数がフ
ィルムと異なるＮＴＳＣなどのビデオ映像に変換した動
画に特有な、フレーム間の差分情報に生じる周期的変動
に耐性が無かった。
のでは、（１）カットの見落としや、誤検出が多く、
（２）映画などのフィルムから、毎秒表示する駒数がフ
ィルムと異なるＮＴＳＣなどのビデオ映像に変換した動
画に特有な、フレーム間の差分情報に生じる周期的変動
に耐性が無かった。
【０００４】本発明の目的は、カットの検出率が高く、
さらにカットを検出する際に、フィルムから、毎秒表示
する駒数の異なるビデオ映像などに変換した、映画のビ
デオソフトのような動画に特有な、輝度変化の周期変動
に左右されにくい検出方法を提供することにある。
さらにカットを検出する際に、フィルムから、毎秒表示
する駒数の異なるビデオ映像などに変換した、映画のビ
デオソフトのような動画に特有な、輝度変化の周期変動
に左右されにくい検出方法を提供することにある。
【０００５】
【課題を解決するための手段】本発明は、カットの切目
に特徴的な、輝度・色などの物理量が定常的な変化から
急激に増加し、次のカットに入るとこれが再び定常的な
変化に戻ることを利用して、動画の特定のフレームと、
該フレームの前後のフレームとの間で、変化画素面積の
比較を行い、その値が閾値を越えた場合に、当該特定フ
レームをカットの切目と判断し、動画のカットを判定す
るものであり、また、その際に、フィルムをビデオ映像
などに変換した映像においては、カット誤検出の原因と
なる駒数変換に伴って発生するフレーム間差分の周期変
動の影響を受け難いように、当該特定フレームと２つ離
れた隣接フレームまで変化画素面積の比較を行い、カッ
トの切目を判断する。
に特徴的な、輝度・色などの物理量が定常的な変化から
急激に増加し、次のカットに入るとこれが再び定常的な
変化に戻ることを利用して、動画の特定のフレームと、
該フレームの前後のフレームとの間で、変化画素面積の
比較を行い、その値が閾値を越えた場合に、当該特定フ
レームをカットの切目と判断し、動画のカットを判定す
るものであり、また、その際に、フィルムをビデオ映像
などに変換した映像においては、カット誤検出の原因と
なる駒数変換に伴って発生するフレーム間差分の周期変
動の影響を受け難いように、当該特定フレームと２つ離
れた隣接フレームまで変化画素面積の比較を行い、カッ
トの切目を判断する。
【０００６】
【作用】上記手段により、実時間で入力された動画また
は、蓄積された動画に対して、動画をカットに自動的に
切り分けることが的確にできることになる。これによ
り、動画を扱いやすい単位に分けることができ、動画の
編集、検索及び内容把握が容易になる。
は、蓄積された動画に対して、動画をカットに自動的に
切り分けることが的確にできることになる。これによ
り、動画を扱いやすい単位に分けることができ、動画の
編集、検索及び内容把握が容易になる。
【０００７】また、第２隣接フレームまで含めて判定す
ることで、フィルムから変換したビデオ映像などに生じ
る周期的変動が、カット切目の誤検出にならないように
することが可能になる。
ることで、フィルムから変換したビデオ映像などに生じ
る周期的変動が、カット切目の誤検出にならないように
することが可能になる。
【０００８】
【実施例】〔実施例１〕以下、本発明の実施例１を図１
乃至図５を用いて説明する。
乃至図５を用いて説明する。
【０００９】図１は、本例を、すでに蓄積されている映
像に対して実施するハード構成の概略図で、図２は、図
１の画像処理装置の処理の流れを示した概念図である。
図３は、ＴＶ等現在流れている映像に対し実施するハー
ド構成の概略図で、図４は、変化画素面積の時間変化を
表すグラフ、図５は、図４を用いてカットの切目を判定
する手法を説明するグラフである。
像に対して実施するハード構成の概略図で、図２は、図
１の画像処理装置の処理の流れを示した概念図である。
図３は、ＴＶ等現在流れている映像に対し実施するハー
ド構成の概略図で、図４は、変化画素面積の時間変化を
表すグラフ、図５は、図４を用いてカットの切目を判定
する手法を説明するグラフである。
【００１０】図１において、計算機１は、映像再生装置
２及び画像処理装置３に対してコントロール信号を与
え、再生及び処理の開始を指示する。映像再生装置２
は、再生を開始し、画像処理装置３に対して再生映像信
号１１を与え、計算機１に対して、現在のフレーム番号
Ｎなどの映像再生装置２の状態の情報を与える。
２及び画像処理装置３に対してコントロール信号を与
え、再生及び処理の開始を指示する。映像再生装置２
は、再生を開始し、画像処理装置３に対して再生映像信
号１１を与え、計算機１に対して、現在のフレーム番号
Ｎなどの映像再生装置２の状態の情報を与える。
【００１１】画像処理装置３は、図２に示すように、再
生映像信号１１の現在のフレームと蓄積要素２１を経由
した信号２４の１フレーム前のフレームとを入力とし
て、フレームの画素毎の物理量の差分を画素差分要素２
２で測定する。この物理量としては、本例では、輝度を
使用するが、これは、Ｒ，Ｇ，Ｂの各成分でも、色相、
色差などを使用しても良いものである。この画素差分要
素２２では、各画素の輝度変化の差分量が、ある閾値以
上の輝度差となった画素を１とし、以下の画素を０とし
た信号２５を閾値処理要素２３に出力する。閾値処理要
素２３では、値が１の画素数と総画素数との比率をと
り、これを変化画素面積Ａとして、出力信号１２を図１
の計算機１に出力する。計算機１は、フレーム番号と変
化画像面積の対応情報を第１の記憶装置４に書き込む。
この変化画素面積Ａをフレーム番号順に並べたグラフを
図４に示す。
生映像信号１１の現在のフレームと蓄積要素２１を経由
した信号２４の１フレーム前のフレームとを入力とし
て、フレームの画素毎の物理量の差分を画素差分要素２
２で測定する。この物理量としては、本例では、輝度を
使用するが、これは、Ｒ，Ｇ，Ｂの各成分でも、色相、
色差などを使用しても良いものである。この画素差分要
素２２では、各画素の輝度変化の差分量が、ある閾値以
上の輝度差となった画素を１とし、以下の画素を０とし
た信号２５を閾値処理要素２３に出力する。閾値処理要
素２３では、値が１の画素数と総画素数との比率をと
り、これを変化画素面積Ａとして、出力信号１２を図１
の計算機１に出力する。計算機１は、フレーム番号と変
化画像面積の対応情報を第１の記憶装置４に書き込む。
この変化画素面積Ａをフレーム番号順に並べたグラフを
図４に示す。
【００１２】次に、計算機１におけるカットの切目を判
断する手法を図５を使用して説明する。
断する手法を図５を使用して説明する。
【００１３】変化画素面積Ａとカットとの関係について
述べると、同一カット内では、画面の変化は少ない。即
ち、変化画素面積Ａは小さい。カットの変わり目は、画
面の変化は多い。即ち、変化画素面積Ａは大きくなる。
したがって、カットの切目となるフレームの変化画素面
積Ａは大きく、その前後のフレームの変化画素面積Ａは
小さい。具体的には、判定しようとするフレームの番号
の変化画素面積をＡ（Ｎ）とし、その前のフレームの変
化画素面積をＡ（Ｎ−１）、後のフレームの変化画素面
積をＡ（Ｎ＋１）とし、判定閾値をＢとした場合、Ａ
（Ｎ）−Ａ（Ｎ−１）〉Ｂで、Ａ（Ｎ＋１）−Ａ（Ｎ）
〈−Ｂの条件に当てはまるか否かの判定を行う。
述べると、同一カット内では、画面の変化は少ない。即
ち、変化画素面積Ａは小さい。カットの変わり目は、画
面の変化は多い。即ち、変化画素面積Ａは大きくなる。
したがって、カットの切目となるフレームの変化画素面
積Ａは大きく、その前後のフレームの変化画素面積Ａは
小さい。具体的には、判定しようとするフレームの番号
の変化画素面積をＡ（Ｎ）とし、その前のフレームの変
化画素面積をＡ（Ｎ−１）、後のフレームの変化画素面
積をＡ（Ｎ＋１）とし、判定閾値をＢとした場合、Ａ
（Ｎ）−Ａ（Ｎ−１）〉Ｂで、Ａ（Ｎ＋１）−Ａ（Ｎ）
〈−Ｂの条件に当てはまるか否かの判定を行う。
【００１４】したがって、図５において、上記の判断を
各フレーム毎に行うと、フレーム番号４５２７のフレー
ムは、上記両条件を満たしていることとなり、当該フレ
ームをカットの切目と判定する。
各フレーム毎に行うと、フレーム番号４５２７のフレー
ムは、上記両条件を満たしていることとなり、当該フレ
ームをカットの切目と判定する。
【００１５】以上のカット判定には、２つのパラメータ
が使用されている。１つは、画素の輝度変化の差分量
が、ある値以上の輝度差となったと判定する為の第１の
閾値Ｃであり、２つは、画素変化面積Ａの変化の第２の
閾値Ｂである。
が使用されている。１つは、画素の輝度変化の差分量
が、ある値以上の輝度差となったと判定する為の第１の
閾値Ｃであり、２つは、画素変化面積Ａの変化の第２の
閾値Ｂである。
【００１６】この輝度差判定の第１の閾値Ｃは、低く設
定すると、検出感度は上がるが、ノイズや、カット切目
以外の画面内の動きの影響を受けやすく、誤検出が増加
する。本例では、第１の閾値Ｃを輝度の全変化量の１／
８としている。また、画素変化面積の変化の閾値Ｂは、
その増減で、誤検出を減らすか、取り漏らしを減らすか
の選択ができる。
定すると、検出感度は上がるが、ノイズや、カット切目
以外の画面内の動きの影響を受けやすく、誤検出が増加
する。本例では、第１の閾値Ｃを輝度の全変化量の１／
８としている。また、画素変化面積の変化の閾値Ｂは、
その増減で、誤検出を減らすか、取り漏らしを減らすか
の選択ができる。
【００１７】次に、画素変化面積の変化の第２の閾値Ｂ
の選択の手法について、図６及び図７を用いて説明す
る。両図は、第２の閾値Ｂを変化させたときの検出され
たカット数６１、７１と、そのうちの誤検出数６２、７
２と、検出に失敗した取り漏らしカット数６３、７３を
示したものである。図６は、誤検出６２及び取り漏らし
６３がいずれも０となる閾値領域がある場合で、このよ
うな場合は、そこでカット総数の増加が０になる。よっ
て、この領域に閾値を採用すれば、最も良い結果が得ら
れる。これに対し、図７に示すような、誤検出７２及び
取り漏らし７３がいずれも０となる閾値領域がない場合
がある。この場合は、第２の閾値Ｂを下げていって、誤
検出が急激に増加することにより、検出カット総数が急
増する領域の少し前が適当な値といえる。実際の未知の
動画に対してカット検出を行う場合は、誤検出及び取り
漏らしのいずれもが０となる領域の有無は分からないの
で、第２の閾値Ｂの最適値付近の領域で、かつカット総
数の急増が始まるより少し大きめの値で、カット増加率
が０に近い第２の閾値Ｂの値を採用すれば良い。この実
施例での最適値は、約１５％であった。この値は、カッ
トがすでに分かっている映像を使って求めたが、この条
件を未知の映像に適用することもできる。
の選択の手法について、図６及び図７を用いて説明す
る。両図は、第２の閾値Ｂを変化させたときの検出され
たカット数６１、７１と、そのうちの誤検出数６２、７
２と、検出に失敗した取り漏らしカット数６３、７３を
示したものである。図６は、誤検出６２及び取り漏らし
６３がいずれも０となる閾値領域がある場合で、このよ
うな場合は、そこでカット総数の増加が０になる。よっ
て、この領域に閾値を採用すれば、最も良い結果が得ら
れる。これに対し、図７に示すような、誤検出７２及び
取り漏らし７３がいずれも０となる閾値領域がない場合
がある。この場合は、第２の閾値Ｂを下げていって、誤
検出が急激に増加することにより、検出カット総数が急
増する領域の少し前が適当な値といえる。実際の未知の
動画に対してカット検出を行う場合は、誤検出及び取り
漏らしのいずれもが０となる領域の有無は分からないの
で、第２の閾値Ｂの最適値付近の領域で、かつカット総
数の急増が始まるより少し大きめの値で、カット増加率
が０に近い第２の閾値Ｂの値を採用すれば良い。この実
施例での最適値は、約１５％であった。この値は、カッ
トがすでに分かっている映像を使って求めたが、この条
件を未知の映像に適用することもできる。
【００１８】以上の判定作業を、図１の計算機１は、各
フレームにつき測定したい映像が終わるまで続ける。そ
して、カット候補の情報を、第２の記憶装置５に書き込
み、同時に表示装置６にその内容を表示する。
フレームにつき測定したい映像が終わるまで続ける。そ
して、カット候補の情報を、第２の記憶装置５に書き込
み、同時に表示装置６にその内容を表示する。
【００１９】以上の説明は、図１のように映像再生装置
２を使用した例であるが、図３の、ＴＶのように現在流
れている映像源８に対し、カットを検出する場合は、映
像再生装置２が映像記録装置９になり、映像再生信号１
１が、現在記録している信号３２に変わる点が異なる。
２を使用した例であるが、図３の、ＴＶのように現在流
れている映像源８に対し、カットを検出する場合は、映
像再生装置２が映像記録装置９になり、映像再生信号１
１が、現在記録している信号３２に変わる点が異なる。
【００２０】前記パラメータの選択の方法は、図１の蓄
積されている動画については、パラメータを変えながら
検出カット数を調べ、図６の検出カット総数の急増の手
前に現れる平坦部の１部を最適パラメータとすることが
できる。また、図３の、実時間で送られてくる動画を、
受信時に逐次カットに切り分けるには、このパラメータ
を最初に決めておくことになる。これは、受信中に検出
具合を見て、入力装置７により随時調節できることはい
うまでもない。このようにすれば、番組録画時に、カッ
ト情報を作成できる。
積されている動画については、パラメータを変えながら
検出カット数を調べ、図６の検出カット総数の急増の手
前に現れる平坦部の１部を最適パラメータとすることが
できる。また、図３の、実時間で送られてくる動画を、
受信時に逐次カットに切り分けるには、このパラメータ
を最初に決めておくことになる。これは、受信中に検出
具合を見て、入力装置７により随時調節できることはい
うまでもない。このようにすれば、番組録画時に、カッ
ト情報を作成できる。
【００２１】また、以上の例は、フレーム番号Ｎと変化
画像面積Ａとの対応表を記憶装置４に書き出している
が、書き出さずにそのままカット検出を行うことも当然
可能である。このような処理手順の変更は、装置の処理
能力に依存する。例えば、画像処理装置３が実時間で処
理できない場合は、計算機１は、映像再生装置２を駒送
り再生に指示し、画像処理装置３の処理が終わった段階
で、駒を進めることで処理が可能である。
画像面積Ａとの対応表を記憶装置４に書き出している
が、書き出さずにそのままカット検出を行うことも当然
可能である。このような処理手順の変更は、装置の処理
能力に依存する。例えば、画像処理装置３が実時間で処
理できない場合は、計算機１は、映像再生装置２を駒送
り再生に指示し、画像処理装置３の処理が終わった段階
で、駒を進めることで処理が可能である。
【００２２】更に、フレームとして、ビデオ動画の場合
は、奇フィールドあるいは偶フィールドを使用すること
も可能である。
は、奇フィールドあるいは偶フィールドを使用すること
も可能である。
【００２３】〔実施例２〕次に、本発明の実施例２を、
図８及び図９を用いて説明をする。図８は、フィルムか
らビデオ映像への変換を説明する概念図で、図９は、フ
ィールド単位で見たフィルムからビデオ映像に変換した
動画の変化画素面積を表したグラフである。
図８及び図９を用いて説明をする。図８は、フィルムか
らビデオ映像への変換を説明する概念図で、図９は、フ
ィールド単位で見たフィルムからビデオ映像に変換した
動画の変化画素面積を表したグラフである。
【００２４】映画のビデオソフトの様な、フィルムから
ビデオ映像に変換した動画では、オリジナルがビデオで
あるものには見られない変化画像面積の時間変動が加わ
っている。これは、秒速２４駒のフィルムを、ＮＴＳＣ
の３０駒に変換するために起こるものである。変換方法
は幾つかの種類があるが、同期をとって変換している場
合、図８に示すように、フィルムの４駒がＮＴＳＣの５
駒にフィールドに分解されて畳み込まれている。このた
め、周期的なフレーム間差分の変化はフレーム単位で見
ると安定しないが、フィールド単位で見ると簡単にな
り、４フレームおきに同じフレームが２回続く形にな
る。図９を見ると、変化画素面積Ａが０％に近いフレー
ムが５フレームに１フレームの割合で発生しているのが
分かる。これは、図８の奇フィールドの第１フレームと
第２フレーム及び第６フレームと第７フレームのよう
に、５フレームに１フレームの割合で、同一画面が続く
からである。この変化画素面積Ａが０％のフレームが、
同一カット内で、輝度変化面積の大きいフレームに近い
ところで発生すると、カット切目として誤検出しやすく
なる。
ビデオ映像に変換した動画では、オリジナルがビデオで
あるものには見られない変化画像面積の時間変動が加わ
っている。これは、秒速２４駒のフィルムを、ＮＴＳＣ
の３０駒に変換するために起こるものである。変換方法
は幾つかの種類があるが、同期をとって変換している場
合、図８に示すように、フィルムの４駒がＮＴＳＣの５
駒にフィールドに分解されて畳み込まれている。このた
め、周期的なフレーム間差分の変化はフレーム単位で見
ると安定しないが、フィールド単位で見ると簡単にな
り、４フレームおきに同じフレームが２回続く形にな
る。図９を見ると、変化画素面積Ａが０％に近いフレー
ムが５フレームに１フレームの割合で発生しているのが
分かる。これは、図８の奇フィールドの第１フレームと
第２フレーム及び第６フレームと第７フレームのよう
に、５フレームに１フレームの割合で、同一画面が続く
からである。この変化画素面積Ａが０％のフレームが、
同一カット内で、輝度変化面積の大きいフレームに近い
ところで発生すると、カット切目として誤検出しやすく
なる。
【００２５】これを解決するため、本例では、まず、偶
数、奇数のいずれか片フィールドのみで変化画素面積を
測定し、第２隣接フレームを含めて連続５フレームを総
合して判定する。つまり、前記実施例１の判定の条件に
加えて、特定フレームの２つ前のフレームの変化画素面
積をＡ（Ｎ−２）とし、該特定フレームの２つ後のフレ
ームの変化画素面積をＡ（Ｎ＋２）として、Ａ（Ｎ）−
Ａ（Ｎ−２）〉Ｂで、Ａ（Ｎ＋２）−Ａ（Ｎ）〈−Ｂと
いう条件を付加して、両条件を満たすフレームをカット
の切目と判断し、動画のカットを判定する。この判定
は、実施例１の判定に加えて行うものであるから、ハー
ド構成その他は、実施例１のものと同一であり、説明を
省略する。
数、奇数のいずれか片フィールドのみで変化画素面積を
測定し、第２隣接フレームを含めて連続５フレームを総
合して判定する。つまり、前記実施例１の判定の条件に
加えて、特定フレームの２つ前のフレームの変化画素面
積をＡ（Ｎ−２）とし、該特定フレームの２つ後のフレ
ームの変化画素面積をＡ（Ｎ＋２）として、Ａ（Ｎ）−
Ａ（Ｎ−２）〉Ｂで、Ａ（Ｎ＋２）−Ａ（Ｎ）〈−Ｂと
いう条件を付加して、両条件を満たすフレームをカット
の切目と判断し、動画のカットを判定する。この判定
は、実施例１の判定に加えて行うものであるから、ハー
ド構成その他は、実施例１のものと同一であり、説明を
省略する。
【００２６】また、フィルムの駒数、ビデオの駒数は、
この例に限らず種々存在するものであるが、変換の結
果、同じフレームが３回以上続く場合には、判定に使用
する隣接フレームを、第３フレーム以上も含めるという
ように、条件式を増やせば、対応できるものである。
この例に限らず種々存在するものであるが、変換の結
果、同じフレームが３回以上続く場合には、判定に使用
する隣接フレームを、第３フレーム以上も含めるという
ように、条件式を増やせば、対応できるものである。
【００２７】これを条件式を用いて説明すると、特定の
フレームの変化画素面積をＡ（Ｎ）とし、該特定フレー
ムのｎフレーム前（ｎは１以上の整数）のフレームの変
化画素面積をＡ（Ｎ−ｎ）とし、該特定フレームのｎフ
レーム後のフレームの変化画素面積をＡ（Ｎ＋ｎ）とし
て、Ａ−Ａ（Ｎ−ｎ）＞Ｂで、Ａ（Ｎ＋ｎ）−Ａ（Ｎ）
＜−Ｂという条件をｎ＝１から、順次必要な数値まで計
算を行い、全ての条件を満たすとき、当該フレームをカ
ットの切目と判断すれば良いものである。
フレームの変化画素面積をＡ（Ｎ）とし、該特定フレー
ムのｎフレーム前（ｎは１以上の整数）のフレームの変
化画素面積をＡ（Ｎ−ｎ）とし、該特定フレームのｎフ
レーム後のフレームの変化画素面積をＡ（Ｎ＋ｎ）とし
て、Ａ−Ａ（Ｎ−ｎ）＞Ｂで、Ａ（Ｎ＋ｎ）−Ａ（Ｎ）
＜−Ｂという条件をｎ＝１から、順次必要な数値まで計
算を行い、全ての条件を満たすとき、当該フレームをカ
ットの切目と判断すれば良いものである。
【００２８】なお、ｎ＝１の場合とは、変換の結果、同
じフレームが続くことがない場合で、実施例１と同一の
結果と成る。
じフレームが続くことがない場合で、実施例１と同一の
結果と成る。
【００２９】以上、本発明を、前記実施例に基づき具体
的に説明したが、本発明は、前記実施例に限定されるも
のではなく、その要旨を逸脱しない範囲において種々変
更可能であることは勿論である。
的に説明したが、本発明は、前記実施例に限定されるも
のではなく、その要旨を逸脱しない範囲において種々変
更可能であることは勿論である。
【００３０】例えば、ビデオ動画のカットだけではな
く、フィルムの動画におけるカットの自動判定にも適用
できるものである。
く、フィルムの動画におけるカットの自動判定にも適用
できるものである。
【００３１】
【発明の効果】本発明によれば、実時間で入力された動
画または、蓄積された動画に対して、動画を自動的にか
つ高い精度でカットに切り分けることができる。これに
より、動画を扱い易い単位に分けることができ、編集、
検索及び内容把握が容易になる。またフィルムからビデ
オ映像に変換した映像に特有な、周期的なフレーム間の
差分情報変化の発生に影響されずに、カットを検出する
ことができる。
画または、蓄積された動画に対して、動画を自動的にか
つ高い精度でカットに切り分けることができる。これに
より、動画を扱い易い単位に分けることができ、編集、
検索及び内容把握が容易になる。またフィルムからビデ
オ映像に変換した映像に特有な、周期的なフレーム間の
差分情報変化の発生に影響されずに、カットを検出する
ことができる。
【図１】 本発明を実施する第１のハード構成図。
【図２】 図１における画像処理装置の処理の流れを説
明する概念図。
明する概念図。
【図３】 本発明を実施する第２のハード構成図。
【図４】 実施例１における、変化画素面積の時間変化
を示す図。
を示す図。
【図５】 図４の変化画素面積を使った判定方法の説明
図。
図。
【図６】 カット検出が１００％可能な場合の閾値を求
める図。
める図。
【図７】 カット検出が１００％出来ない場合の閾値を
求める図。
求める図。
【図８】 実施例２における、フィルムからビデオ映像
への変換を説明する概念図。
への変換を説明する概念図。
【図９】 フィールド単位で見たフィルムからビデオ映
像に変換した動画の変化画素面積を表した図。
像に変換した動画の変化画素面積を表した図。
１…計算機、２…映像再生装置、３…画像処理装置、４
…第１の記憶装置、５…第２の記憶装置、６…表示装
置、７…入力装置、８…映像源、９…映像記録装置。
…第１の記憶装置、５…第２の記憶装置、６…表示装
置、７…入力装置、８…映像源、９…映像記録装置。
Claims (3)
- 【請求項１】 動画の特定のフレームと、該特定フレー
ムの前のフレームとの間で、各画素の物理量が第１の閾
値を超えた値で変化するか否かを判定し、その閾値を超
えた画素数がフレームを構成する総画素数に占める割合
を当該特定フレームの変化画素面積Ａ（Ｎ）とし、該特
定フレームの前のフレームの変化画素面積をＡ（Ｎ−
１）とし、該特定フレームの後のフレームの変化画素面
積をＡ（Ｎ＋１）とするとき、これら各変化画素面積と
第２の閾値Ｂとの関係が、 Ａ（Ｎ）−Ａ（Ｎ−１）〉Ｂで、Ａ（Ｎ＋１）−Ａ
（Ｎ）〈−Ｂ の条件を満たすときに、当該特定フレームをカットの切
目と判断し、動画のカットを判定することを特徴とした
動画のカット自動分割方法。 - 【請求項２】 ある駒数の動画から異なる駒数に変換し
て得た動画のカットを自動的に分割する際、得た動画の
特定のフレームと、該特定フレームの前のフレームとの
間で、各画素の物理量が第１の閾値を超えた値で変化す
るか否かを判定し、その閾値を超えた画素数がフレーム
を構成する総画素数に占める割合を当該特定フレームの
変化画素面積Ａ（Ｎ）とし、該特定フレームのｎフレー
ム前（ｎは１以上の整数）のフレームの変化画素面積を
Ａ（Ｎ−ｎ）とし、該特定フレームのｎフレーム後のフ
レームの変化画素面積をＡ（Ｎ＋ｎ）とするとき、これ
ら各変化画素面積と第２の閾値Ｂとの関係が、 Ａ（Ｎ）−Ａ（Ｎ−ｎ）〉Ｂで、Ａ（Ｎ＋ｎ）−Ａ
（Ｎ）〈−Ｂ という条件をｎ＝１から、順次必要な数値まで計算を行
い、全ての条件を満たすとき、当該フレームをカットの
切目と判断することを特徴とした動画のカット自動分割
方法。 - 【請求項３】 フレームとして、奇数フィールドまたは
偶数フィールドを使用したことを特徴とした請求項１又
は請求項２に記載の動画のカット自動分割方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP19299791A JP3067043B2 (ja) | 1991-08-01 | 1991-08-01 | 動画のカット自動分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP19299791A JP3067043B2 (ja) | 1991-08-01 | 1991-08-01 | 動画のカット自動分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0537853A true JPH0537853A (ja) | 1993-02-12 |
| JP3067043B2 JP3067043B2 (ja) | 2000-07-17 |
Family
ID=16300502
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP19299791A Expired - Fee Related JP3067043B2 (ja) | 1991-08-01 | 1991-08-01 | 動画のカット自動分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3067043B2 (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09107517A (ja) * | 1995-10-11 | 1997-04-22 | Hitachi Ltd | 動画像の変化点検出制御方法とそれに基づく再生停止制御方法およびそれらを用いた動画像の編集システム |
| US5732146A (en) * | 1994-04-18 | 1998-03-24 | Matsushita Electric Industrial Co., Ltd. | Scene change detecting method for video and movie |
| US5911008A (en) * | 1996-04-30 | 1999-06-08 | Nippon Telegraph And Telephone Corporation | Scheme for detecting shot boundaries in compressed video data using inter-frame/inter-field prediction coding and intra-frame/intra-field coding |
| JP2001155169A (ja) * | 1999-11-24 | 2001-06-08 | Nec Corp | ビデオ画像の分割、分類、および要約のための方法およびシステム |
| WO2006129442A1 (ja) * | 2005-05-30 | 2006-12-07 | Olympus Corporation | 画像処理装置及び対象領域追跡プログラム |
-
1991
- 1991-08-01 JP JP19299791A patent/JP3067043B2/ja not_active Expired - Fee Related
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5732146A (en) * | 1994-04-18 | 1998-03-24 | Matsushita Electric Industrial Co., Ltd. | Scene change detecting method for video and movie |
| JPH09107517A (ja) * | 1995-10-11 | 1997-04-22 | Hitachi Ltd | 動画像の変化点検出制御方法とそれに基づく再生停止制御方法およびそれらを用いた動画像の編集システム |
| US5911008A (en) * | 1996-04-30 | 1999-06-08 | Nippon Telegraph And Telephone Corporation | Scheme for detecting shot boundaries in compressed video data using inter-frame/inter-field prediction coding and intra-frame/intra-field coding |
| JP2001155169A (ja) * | 1999-11-24 | 2001-06-08 | Nec Corp | ビデオ画像の分割、分類、および要約のための方法およびシステム |
| WO2006129442A1 (ja) * | 2005-05-30 | 2006-12-07 | Olympus Corporation | 画像処理装置及び対象領域追跡プログラム |
| JP2006331347A (ja) * | 2005-05-30 | 2006-12-07 | Olympus Corp | 画像処理装置及び対象領域追跡プログラム |
| JP4515332B2 (ja) * | 2005-05-30 | 2010-07-28 | オリンパス株式会社 | 画像処理装置及び対象領域追跡プログラム |
| US8019143B2 (en) | 2005-05-30 | 2011-09-13 | Olympus Corporation | Image processing apparatus and computer program product |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3067043B2 (ja) | 2000-07-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6256419B1 (en) | Method and apparatus for detecting a point of change in a moving image | |
| US7912303B2 (en) | Apparatus and method for generating thumbnail images | |
| US5493345A (en) | Method for detecting a scene change and image editing apparatus | |
| KR100464075B1 (ko) | 비디오 하이라이트 자동 생성 방법 및 장치 | |
| US5801765A (en) | Scene-change detection method that distinguishes between gradual and sudden scene changes | |
| US7502513B2 (en) | Commercial detector with a start of active video detector | |
| US7450752B2 (en) | System and method for automatic detection of the end of a video stream | |
| JP2007110193A (ja) | 画像処理装置 | |
| US20090297115A1 (en) | Identification of blank segments in a set of visual recording data | |
| JPH06149902A (ja) | 動画像記録媒体、動画像記録装置、及び動画像再生装置 | |
| JP3240871B2 (ja) | 映像要約方法 | |
| JPH0738842A (ja) | 動画編集装置 | |
| JP5096259B2 (ja) | 要約コンテンツ生成装置および要約コンテンツ生成プログラム | |
| JPH0537853A (ja) | 動画のカツト自動分割方法 | |
| JP2007149095A (ja) | 動画像の変化点検出方法及び装置 | |
| US8150167B2 (en) | Method of image analysis of an image in a sequence of images to determine a cross-fade measure | |
| JP2003069946A (ja) | 映像解析装置，映像解析方法，映像解析プログラムおよびそのプログラム記録媒体 | |
| JPH07236153A (ja) | 動画像のカット点検出およびカット画面グループ検出装置 | |
| US8594454B2 (en) | Image production device, reproduction device, reproduction system, image production method, and reproduction method | |
| JP2001119661A (ja) | 動画編集システムおよび記録媒体 | |
| JP3624677B2 (ja) | 動画像の特殊効果検出装置及びプログラムを記録した記録媒体 | |
| JPH07111630A (ja) | 動画像編集装置及びカット統合方法 | |
| KR20080044616A (ko) | 디지털 비디오 레코더에서의 기록 제어방법 | |
| KR101362594B1 (ko) | 참고 특징 점을 이용한 피사체 영상 검색방법 | |
| JP2005045843A (ja) | 動画像の変化点検出方法及び装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |