JPH0636030A - 動画像処理装置 - Google Patents
動画像処理装置Info
- Publication number
- JPH0636030A JPH0636030A JP4185083A JP18508392A JPH0636030A JP H0636030 A JPH0636030 A JP H0636030A JP 4185083 A JP4185083 A JP 4185083A JP 18508392 A JP18508392 A JP 18508392A JP H0636030 A JPH0636030 A JP H0636030A
- Authority
- JP
- Japan
- Prior art keywords
- scene change
- feature amount
- scene
- candidate area
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/142—Detection of scene cut or scene change
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【目的】動画像素材から正確なシーン検出、及び有効な
インデックス情報の抽出を可能とする。 【構成】動画像情報をフレーム単位のデジタルデータに
変換する画像入力部１と、画像入力部１によって得られ
たデジタルデータから各フレーム間の情報に基づいて第
一の特徴量を算出する第一の特徴量算出部２と、第一の
特徴量算出部２によって得られた第一の特徴量に基づい
て、フレーム中のシーン変化の候補領域を抽出するシー
ン変化候補領域抽出部３と、シーン変化候補領域抽出部
３によって得られたシーン変化候補領域、及び第一の特
徴量に基づいて第二の特徴量を算出する第二の特徴量算
出部４と、第二の特徴量算出部４によって得られた第二
の特徴量をもとに、シーンの変化の判定を行うシーン変
化判定部５とを具備して構成する。
インデックス情報の抽出を可能とする。 【構成】動画像情報をフレーム単位のデジタルデータに
変換する画像入力部１と、画像入力部１によって得られ
たデジタルデータから各フレーム間の情報に基づいて第
一の特徴量を算出する第一の特徴量算出部２と、第一の
特徴量算出部２によって得られた第一の特徴量に基づい
て、フレーム中のシーン変化の候補領域を抽出するシー
ン変化候補領域抽出部３と、シーン変化候補領域抽出部
３によって得られたシーン変化候補領域、及び第一の特
徴量に基づいて第二の特徴量を算出する第二の特徴量算
出部４と、第二の特徴量算出部４によって得られた第二
の特徴量をもとに、シーンの変化の判定を行うシーン変
化判定部５とを具備して構成する。
Description
【０００１】
【産業上の利用分野】本発明は、動画像素材を扱う動画
像処理装置に関する。
像処理装置に関する。
【０００２】
【従来の技術】近年、オフィス等においては、テキス
ト、画像、動画等を含む種々の情報を統一して処理する
マルチメディア処理やそれらの各種情報間を関係付けて
処理するハイパーメディア処理の要求が強くなってい
る。特に、時系列情報である動画像は、プレゼンテーシ
ョンにおける表現手段としては従来の静的メディアであ
る文書情報などと比べて非常に優れており、有効な利用
が望まれている。しかし、動画像は、その情報量が膨大
であるため、内容検索／把握に多大の時間を要し、計算
機内でハンドリングするには非常に不便である。従っ
て、動画像ハンドリングには、その動画像に特徴的な情
報を提示することが必要であり、それにより、従来の文
書情報と同様に取り扱うことが可能である。このような
インデックス（検索）情報としては、シーンの変わり目
（変化点）が有効である。シーンの自動検出方法には、
フレーム間の輝度変化量の大小で変化点を判定する以下
の方法が考案されている。
ト、画像、動画等を含む種々の情報を統一して処理する
マルチメディア処理やそれらの各種情報間を関係付けて
処理するハイパーメディア処理の要求が強くなってい
る。特に、時系列情報である動画像は、プレゼンテーシ
ョンにおける表現手段としては従来の静的メディアであ
る文書情報などと比べて非常に優れており、有効な利用
が望まれている。しかし、動画像は、その情報量が膨大
であるため、内容検索／把握に多大の時間を要し、計算
機内でハンドリングするには非常に不便である。従っ
て、動画像ハンドリングには、その動画像に特徴的な情
報を提示することが必要であり、それにより、従来の文
書情報と同様に取り扱うことが可能である。このような
インデックス（検索）情報としては、シーンの変わり目
（変化点）が有効である。シーンの自動検出方法には、
フレーム間の輝度変化量の大小で変化点を判定する以下
の方法が考案されている。
【０００３】まず、第１の方法としては、フレーム単位
で輝度ヒストグラムを算出し、これを隣接フレーム間で
差分絶対値を求め、その累積値を特徴量とし、その大小
でシーン変化を判定するものである。つまり、フレーム
内の空間情報をなくし、フレーム単位の輝度変化量に注
目することで、その変化量がフレーム間で大きい場合を
シーン変化として検出する。
で輝度ヒストグラムを算出し、これを隣接フレーム間で
差分絶対値を求め、その累積値を特徴量とし、その大小
でシーン変化を判定するものである。つまり、フレーム
内の空間情報をなくし、フレーム単位の輝度変化量に注
目することで、その変化量がフレーム間で大きい場合を
シーン変化として検出する。
【０００４】しかし、この方法では、フレーム全体とし
ての輝度変化が緩やかで局所的な変化が激しいシーン変
化に対しては検出不可能で有り、また、シーン内で動き
が激しい（人／動物等が動く）場合は、各輝度値にたい
する差分値は小さいがその累積値が大きくなるため、そ
の結果、誤検出する場合があり、正確なシーン検出が困
難となる。
ての輝度変化が緩やかで局所的な変化が激しいシーン変
化に対しては検出不可能で有り、また、シーン内で動き
が激しい（人／動物等が動く）場合は、各輝度値にたい
する差分値は小さいがその累積値が大きくなるため、そ
の結果、誤検出する場合があり、正確なシーン検出が困
難となる。
【０００５】次に、第２の方法としては、フレーム内の
空間情報を保存する方法がある。この方法では、各フレ
ーム内でブロック（ｌ×ｍ）［ｌ，ｍ≧１なる整数］を
単位として平均輝度（Ｉｘｙn ＝Σｆｉｊn ／（ｌ×
ｍ），ここでｆｉｊn ：各画素の輝度値，ｎ：フレーム
番号）を求め、隣接フレーム間でそれぞれが対応する位
置の平均輝度の差分絶対値（ΔＩｘｙn ＝｜Ｉｘｙn −
Ｉｘｙn-1 ｜）を求め、そのフレーム内での累積値（Ｔ
n ＝ΣΔＩｘｙn ）を特徴量とし、以下の判定条件でシ
ーン変化を検出する。 Ｔn ≧Ｔｈ：シーン変化 …（１−１） Ｔn ＜Ｔｈ：連続シーン …（１−２）
空間情報を保存する方法がある。この方法では、各フレ
ーム内でブロック（ｌ×ｍ）［ｌ，ｍ≧１なる整数］を
単位として平均輝度（Ｉｘｙn ＝Σｆｉｊn ／（ｌ×
ｍ），ここでｆｉｊn ：各画素の輝度値，ｎ：フレーム
番号）を求め、隣接フレーム間でそれぞれが対応する位
置の平均輝度の差分絶対値（ΔＩｘｙn ＝｜Ｉｘｙn −
Ｉｘｙn-1 ｜）を求め、そのフレーム内での累積値（Ｔ
n ＝ΣΔＩｘｙn ）を特徴量とし、以下の判定条件でシ
ーン変化を検出する。 Ｔn ≧Ｔｈ：シーン変化 …（１−１） Ｔn ＜Ｔｈ：連続シーン …（１−２）
【０００６】第２の方法についての説明図を図４に示
す。第２の方法は、フレーム内の空間情報を保存してい
るため、第１の方法と異なり、フレーム全体としての輝
度変化が緩やかで局所的な変化が激しいシーン変化に対
しては正確な検出が可能な場合がある。
す。第２の方法は、フレーム内の空間情報を保存してい
るため、第１の方法と異なり、フレーム全体としての輝
度変化が緩やかで局所的な変化が激しいシーン変化に対
しては正確な検出が可能な場合がある。
【０００７】しかし、フレームの大部分を背景部が占め
その輝度変化がほとんど無く、輝度変化領域が極めて小
さい場合は、平均輝度の差分の累積値が小さくなり、シ
ーン変化と判定することが困難となる。また、シーン内
で動きの激しい（人／動物が動く）場合などは、第１の
方法と同様に、「シーン変化」と誤判定してしまうとい
う欠点があった。この結果の一例を図４（ｂ）に示す。
従って、第２の方法においても、正確な「シーン検出」
は不可能であった。
その輝度変化がほとんど無く、輝度変化領域が極めて小
さい場合は、平均輝度の差分の累積値が小さくなり、シ
ーン変化と判定することが困難となる。また、シーン内
で動きの激しい（人／動物が動く）場合などは、第１の
方法と同様に、「シーン変化」と誤判定してしまうとい
う欠点があった。この結果の一例を図４（ｂ）に示す。
従って、第２の方法においても、正確な「シーン検出」
は不可能であった。
【０００８】以上述べた「シーン」の各種の例を、図５
を参考にしながら説明する。ブロック内平均輝度のフレ
ーム間差分の絶対値（ΔＩｘｙn ）のヒストグラムの典
型例（ブロック：２４×２４）の連続シーンの場合
（（ａ−１），（ａ−２））とシーン変化の場合（（ｂ
−１）（ｂ−２））についてそれぞれ示す。
を参考にしながら説明する。ブロック内平均輝度のフレ
ーム間差分の絶対値（ΔＩｘｙn ）のヒストグラムの典
型例（ブロック：２４×２４）の連続シーンの場合
（（ａ−１），（ａ−２））とシーン変化の場合（（ｂ
−１）（ｂ−２））についてそれぞれ示す。
【０００９】（ａ−１）は、シーン内で連続変化する場
合の例を示す。差分絶対値が小さい値に集中しており、
差分絶対値が大きい値の領域はほとんどない。一方、
（ａ−２）は、連続するシーン内で動きの激しい場合を
示しており、差分絶対値が大きい値の領域が増大してい
る。
合の例を示す。差分絶対値が小さい値に集中しており、
差分絶対値が大きい値の領域はほとんどない。一方、
（ａ−２）は、連続するシーン内で動きの激しい場合を
示しており、差分絶対値が大きい値の領域が増大してい
る。
【００１０】一方、（ｂ−１）は、シーン変化の典型的
な例であり、差分絶対値が大きい値に集中しており、差
分絶対値が小さい値の領域はほとんどない。一方、（ｂ
−２）は、シーン変化でかつ背景部の輝度がほぼ同等で
ある場合を示している。差分絶対値の非常に高い値と背
景部に対応した差分絶対値の変化がない部分に集中して
いる。
な例であり、差分絶対値が大きい値に集中しており、差
分絶対値が小さい値の領域はほとんどない。一方、（ｂ
−２）は、シーン変化でかつ背景部の輝度がほぼ同等で
ある場合を示している。差分絶対値の非常に高い値と背
景部に対応した差分絶対値の変化がない部分に集中して
いる。
【００１１】以上のような各場合に対して、従来の方式
では（１−１）（１−２）式で示したように、ブロック
内平均輝度のフレーム間差分絶対値をフレーム内で累積
し、この累積値（Ｔn ）と予め定めた判定閾値（Ｔｈ）
とから、「シーン変化」の判定を行っている。（図４
（ｂ）参照）従って、（ａ−１）と（ｂ−２）の区別、
または（ａ−２）と（ｂ−１）の区別が困難となり、上
記（ａ−２）や（ｂ−２）の場合は正確なシーン変化の
判定が行えなかった。
では（１−１）（１−２）式で示したように、ブロック
内平均輝度のフレーム間差分絶対値をフレーム内で累積
し、この累積値（Ｔn ）と予め定めた判定閾値（Ｔｈ）
とから、「シーン変化」の判定を行っている。（図４
（ｂ）参照）従って、（ａ−１）と（ｂ−２）の区別、
または（ａ−２）と（ｂ−１）の区別が困難となり、上
記（ａ−２）や（ｂ−２）の場合は正確なシーン変化の
判定が行えなかった。
【００１２】
【発明が解決しようとする課題】このように従来のシー
ン検出を行う動画像処理装置では、フレーム全体の特徴
量を基にシーン検出を行うため、連続するシーン内で動
きの激しい場合や、逆にシーン変化があるにもかかわら
ず背景部がほぼ同じ情報を持つ場合などにおいて、誤検
出や取りこぼしがあり、正確なシーン検出が不可能であ
った。
ン検出を行う動画像処理装置では、フレーム全体の特徴
量を基にシーン検出を行うため、連続するシーン内で動
きの激しい場合や、逆にシーン変化があるにもかかわら
ず背景部がほぼ同じ情報を持つ場合などにおいて、誤検
出や取りこぼしがあり、正確なシーン検出が不可能であ
った。
【００１３】本発明は前記のような点に鑑みてなされた
もので、動画像素材から正確なシーン検出が可能であ
り、かつ有効なインデックス情報の抽出が可能な動画像
処理装置を提供することを目的とする。
もので、動画像素材から正確なシーン検出が可能であ
り、かつ有効なインデックス情報の抽出が可能な動画像
処理装置を提供することを目的とする。
【００１４】
【課題を解決するための手段】本発明は、動画像情報を
フレーム単位のデジタルデータに変換する画像入力手段
と、前記画像入力手段によって得られたデジタルデータ
から各フレーム間の情報に基づいて第一の特徴量を算出
する第一の特徴量算出手段と、前記第一の特徴量算出手
段によって得られた第一の特徴量に基づいて、フレーム
中のシーン変化の候補領域を抽出するシーン変化候補領
域抽出手段と、前記シーン変化候補領域抽出手段によっ
て得られたシーン変化候補領域、及び前記第一の特徴量
に基づいて第二の特徴量を算出する第二の特徴量算出手
段と、前記第二の特徴量算出手段によって得られた第二
の特徴量をもとに、シーンの変化の判定を行うシーン変
化判定手段とを具備して構成する。
フレーム単位のデジタルデータに変換する画像入力手段
と、前記画像入力手段によって得られたデジタルデータ
から各フレーム間の情報に基づいて第一の特徴量を算出
する第一の特徴量算出手段と、前記第一の特徴量算出手
段によって得られた第一の特徴量に基づいて、フレーム
中のシーン変化の候補領域を抽出するシーン変化候補領
域抽出手段と、前記シーン変化候補領域抽出手段によっ
て得られたシーン変化候補領域、及び前記第一の特徴量
に基づいて第二の特徴量を算出する第二の特徴量算出手
段と、前記第二の特徴量算出手段によって得られた第二
の特徴量をもとに、シーンの変化の判定を行うシーン変
化判定手段とを具備して構成する。
【００１５】
【作用】このような構成においては、シーン変化の候補
領域を抽出し、それらの領域の特徴量に注目して、シー
ン検出が行なわれるので、種々の動画像素材に対して正
確なシーン検出が可能である。つまり、膨大な情報の中
から、正確でかつ適切な内容把握が容易になる利点を有
している。従って、動画像検索を有効なインデックス情
報に基づいて行うことが可能なため、ユーザにおける経
験と勘に頼っていた動画像編集が容易かつ短時間に行な
われ、従来に比べて編集効率が格段に向上する。
領域を抽出し、それらの領域の特徴量に注目して、シー
ン検出が行なわれるので、種々の動画像素材に対して正
確なシーン検出が可能である。つまり、膨大な情報の中
から、正確でかつ適切な内容把握が容易になる利点を有
している。従って、動画像検索を有効なインデックス情
報に基づいて行うことが可能なため、ユーザにおける経
験と勘に頼っていた動画像編集が容易かつ短時間に行な
われ、従来に比べて編集効率が格段に向上する。
【００１６】
【実施例】以下、図面を参照しながら本発明の一実施例
について説明する。図１は同実施例に係わる動画像処理
装置の構成を示すブロック図である。図１に示すよう
に、動画像処理装置は、画像入力部１、第一の特徴量算
出部２、シーン変化候補領域抽出部３、第二の特徴量算
出部４、シーン変化判定部５、動画像編集部６から構成
される。
について説明する。図１は同実施例に係わる動画像処理
装置の構成を示すブロック図である。図１に示すよう
に、動画像処理装置は、画像入力部１、第一の特徴量算
出部２、シーン変化候補領域抽出部３、第二の特徴量算
出部４、シーン変化判定部５、動画像編集部６から構成
される。
【００１７】画像入力部１は、動画像信号１０を入力
し、フレーム単位でデジタルデータに変換（Ａ／Ｄ変
換）して、デジタル画像信号２０を出力する。第一の特
徴量算出部２は、画像入力部１から出力されたデジタル
画像信号２０を入力し、この信号２０をもとにシーン変
化候補領域を抽出するための第一の特徴量を算出し、第
一の特徴量信号３０を出力する。シーン変化候補領域抽
出部３は、第一の特徴量算出部２から出力された第一の
特徴量信号３０を入力し、この信号３０をもとにシーン
変化候補領域を抽出し、シーン変化候補領域信号４０を
出力する。第二の特徴量算出部４は、第一の特徴量信号
３０とシーン変化候補領域信号４０とを入力し、これら
の信号３０，４０をもとにシーン変化を判定する第二の
特徴量信号５０を出力する。シーン変化判定部５は、第
二の特徴量算出部４から出力された第二の特徴量信号５
０を入力し、この信号５０をもとにシーン変化を判定
し、シーン変化判定信号６０を出力する。動画像編集部
６は、シーン変化判定部５から出力されたシーン変化判
定信号６０とデジタル画像信号２０を入力し、この信号
２０，６０をもとに所望の編集処理を行う。
し、フレーム単位でデジタルデータに変換（Ａ／Ｄ変
換）して、デジタル画像信号２０を出力する。第一の特
徴量算出部２は、画像入力部１から出力されたデジタル
画像信号２０を入力し、この信号２０をもとにシーン変
化候補領域を抽出するための第一の特徴量を算出し、第
一の特徴量信号３０を出力する。シーン変化候補領域抽
出部３は、第一の特徴量算出部２から出力された第一の
特徴量信号３０を入力し、この信号３０をもとにシーン
変化候補領域を抽出し、シーン変化候補領域信号４０を
出力する。第二の特徴量算出部４は、第一の特徴量信号
３０とシーン変化候補領域信号４０とを入力し、これら
の信号３０，４０をもとにシーン変化を判定する第二の
特徴量信号５０を出力する。シーン変化判定部５は、第
二の特徴量算出部４から出力された第二の特徴量信号５
０を入力し、この信号５０をもとにシーン変化を判定
し、シーン変化判定信号６０を出力する。動画像編集部
６は、シーン変化判定部５から出力されたシーン変化判
定信号６０とデジタル画像信号２０を入力し、この信号
２０，６０をもとに所望の編集処理を行う。
【００１８】次に、図１中に示すシーン変化検出部につ
いて、図２に示す詳細ブロック図を基に説明する。入力
信号１０は、例えばビデオ機器からの出力信号であるコ
ンポーネント信号（ＲＧＢ）のアナログ信号であり、画
像入力部１のＡ／Ｄ変換部１１に入力される。Ａ／Ｄ変
換部１１は、８ビット／画素のデジタルデータに変換
し、図示せぬ変換部において（ＲＧＢ→ＹＵＶ）変換
し、それぞれフレームメモリ（Ａ，Ｂ）１２，１３に記
憶させる。ここで、Ｙは輝度信号、ＵとＶは色相信号を
示す。また、Ａ／Ｄ変換部１１のサンプリングレート
は、取り込む画像サイズに依存するが、例えば１２ＭＨ
ｚとする。
いて、図２に示す詳細ブロック図を基に説明する。入力
信号１０は、例えばビデオ機器からの出力信号であるコ
ンポーネント信号（ＲＧＢ）のアナログ信号であり、画
像入力部１のＡ／Ｄ変換部１１に入力される。Ａ／Ｄ変
換部１１は、８ビット／画素のデジタルデータに変換
し、図示せぬ変換部において（ＲＧＢ→ＹＵＶ）変換
し、それぞれフレームメモリ（Ａ，Ｂ）１２，１３に記
憶させる。ここで、Ｙは輝度信号、ＵとＶは色相信号を
示す。また、Ａ／Ｄ変換部１１のサンプリングレート
は、取り込む画像サイズに依存するが、例えば１２ＭＨ
ｚとする。
【００１９】フレームメモリ（Ａ，Ｂ）１２，１３は、
ダブルフレームメモリの構成であり、画面サイズ／解像
度に対応してメモリ容量が決められる。例えば、パーソ
ナルコンピュータのＶＧＡ(Video Graphics Array)対応
の画面表示を標準に考えると、（６４０×４８０）であ
り、（ＲＧＢ）信号では９００ＫＢ／フレーム、（ＹＵ
Ｖ）信号では６００ＫＢ／フレームのメモリ容量とな
る。
ダブルフレームメモリの構成であり、画面サイズ／解像
度に対応してメモリ容量が決められる。例えば、パーソ
ナルコンピュータのＶＧＡ(Video Graphics Array)対応
の画面表示を標準に考えると、（６４０×４８０）であ
り、（ＲＧＢ）信号では９００ＫＢ／フレーム、（ＹＵ
Ｖ）信号では６００ＫＢ／フレームのメモリ容量とな
る。
【００２０】フレームメモリ１２，１３から出力される
輝度信号であるデジタル画像信号２０（ｆｉｊ）は、第
一の特徴量算出部２の第一の平均値算出回路２１に入力
される。第一の平均値算出回路２１は、デジタル画像信
号２０（ｆｉｊ）を基に、（２４×２４）ブロック単位
内で平均値を算出し、以下に示す（２）式で表される平
均輝度信号（Ｉｘｙn ）を求める。 Ｉｘｙn ＝Σｆｉｊn ／（２４×２４） …（２）
輝度信号であるデジタル画像信号２０（ｆｉｊ）は、第
一の特徴量算出部２の第一の平均値算出回路２１に入力
される。第一の平均値算出回路２１は、デジタル画像信
号２０（ｆｉｊ）を基に、（２４×２４）ブロック単位
内で平均値を算出し、以下に示す（２）式で表される平
均輝度信号（Ｉｘｙn ）を求める。 Ｉｘｙn ＝Σｆｉｊn ／（２４×２４） …（２）
【００２１】ここで、平均輝度を求めるブロックの大き
さ（ｌ×ｍ）（ｌ，ｍ≧１なる整数）は任意であるが、
例えば画像圧縮の国際標準方式におけるＤＣＴ(Discret
e Cosine Transform) の処理単位である（８×８）の整
数倍とする。
さ（ｌ×ｍ）（ｌ，ｍ≧１なる整数）は任意であるが、
例えば画像圧縮の国際標準方式におけるＤＣＴ(Discret
e Cosine Transform) の処理単位である（８×８）の整
数倍とする。
【００２２】フレームメモリ（Ａ）１２に記憶されたデ
ータに基づく平均輝度信号は、バッファメモリ２２に格
納される。また、フレームメモリ（Ｂ）１３に記憶され
たデータに基づく平均輝度信号も同様に、第一の平均値
算出回路２１で平均値が算出される。この結果（現フレ
ームに対応した平均輝度信号）は、バッファメモリ２２
に格納されている（前フレームに対応した）平均輝度信
号と同期をとって、減算回路２３に入力される。
ータに基づく平均輝度信号は、バッファメモリ２２に格
納される。また、フレームメモリ（Ｂ）１３に記憶され
たデータに基づく平均輝度信号も同様に、第一の平均値
算出回路２１で平均値が算出される。この結果（現フレ
ームに対応した平均輝度信号）は、バッファメモリ２２
に格納されている（前フレームに対応した）平均輝度信
号と同期をとって、減算回路２３に入力される。
【００２３】減算回路２３は、現フレームと前フレーム
が対応する位置のブロック単位で平均輝度信号の差分絶
対値を算出し、第一の特徴量信号３０（ΔＩｘｙn ）を
出力する。第一の特徴量信号３０（ΔＩｘｙn ）は以下
の式で表される。 ΔＩｘｙn ＝｜Ｉｘｙn −Ｉｘｙn-1 ｜ …（３）
が対応する位置のブロック単位で平均輝度信号の差分絶
対値を算出し、第一の特徴量信号３０（ΔＩｘｙn ）を
出力する。第一の特徴量信号３０（ΔＩｘｙn ）は以下
の式で表される。 ΔＩｘｙn ＝｜Ｉｘｙn −Ｉｘｙn-1 ｜ …（３）
【００２４】次に、シーン変化候補領域抽出部３の第一
の比較回路３１は、第一の特徴量信号３０を基に、シー
ン変化候補領域を抽出する。シーン変化候補領域は、第
一の特徴量信号３０と予め定めた第一の閾値信号Ｔｈ１
とを比較することによって決定される。シーン変化候補
領域の抽出は、第一の特徴量信号３０と第一の閾値信号
Ｔｈ１から、以下の条件で決定される。 ΔＩｘｙn ≧Ｔｈ１：シーン変化候補領域 …（４−１） ΔＩｘｙn ＜Ｔｈ１：非シーン変化候補領域 …（４−２） ここで、第一の比較回路３１は、シーン変化候補領域の
時「１」、非シーン変化候補領域の時「０」を示すシー
ン変化候補領域信号４０を出力する。
の比較回路３１は、第一の特徴量信号３０を基に、シー
ン変化候補領域を抽出する。シーン変化候補領域は、第
一の特徴量信号３０と予め定めた第一の閾値信号Ｔｈ１
とを比較することによって決定される。シーン変化候補
領域の抽出は、第一の特徴量信号３０と第一の閾値信号
Ｔｈ１から、以下の条件で決定される。 ΔＩｘｙn ≧Ｔｈ１：シーン変化候補領域 …（４−１） ΔＩｘｙn ＜Ｔｈ１：非シーン変化候補領域 …（４−２） ここで、第一の比較回路３１は、シーン変化候補領域の
時「１」、非シーン変化候補領域の時「０」を示すシー
ン変化候補領域信号４０を出力する。
【００２５】次に、第二の特徴量算出部４は、第一の特
徴量信号３０とシーン変化候補領域信号４０とからシー
ン変化の判定を行う。まず、シーン変化候補領域の第一
の特徴量信号を選択的に取得するために、第二の特徴量
算出部４のセレクタ４１は、第一の特徴量信号３０と固
定信号「０」を入力し、シーン変化候補領域信号４０に
応じて制御される。つまり、シーン変化候補領域信号４
０が「１」の場合（シーン変化候補領域の場合）、セレ
クタ４１は、第一の特徴量信号３０をそのまま出力し、
一方、シーン変化候補領域信号４０が「０」の場合（非
シーン変化候補領域の場合）、固定信号「０」を出力す
る。
徴量信号３０とシーン変化候補領域信号４０とからシー
ン変化の判定を行う。まず、シーン変化候補領域の第一
の特徴量信号を選択的に取得するために、第二の特徴量
算出部４のセレクタ４１は、第一の特徴量信号３０と固
定信号「０」を入力し、シーン変化候補領域信号４０に
応じて制御される。つまり、シーン変化候補領域信号４
０が「１」の場合（シーン変化候補領域の場合）、セレ
クタ４１は、第一の特徴量信号３０をそのまま出力し、
一方、シーン変化候補領域信号４０が「０」の場合（非
シーン変化候補領域の場合）、固定信号「０」を出力す
る。
【００２６】こうして、第一の特徴量信号３０をシーン
変化候補領域に応じて選択的に限定することによって得
られた選択特徴量信号７０は、第二の平均値算出回路４
２に入力される。第二の平均値算出回路４２は、フレー
ム内でのシーン変化候補領域にだけ対応した平均輝度の
差分絶対値の平均値を算出し、第二の特徴量信号５０
（Ｓn ）として出力する。例えば、図３（ａ）の例で
は、斜線を施したブロックがシーン変化候補領域であ
り、これら７ブロックについての第一の特徴量信号３０
（ΔＩｘｙn ）を加算することで、第二の特徴量信号５
０（Ｓn ）が求まる。
変化候補領域に応じて選択的に限定することによって得
られた選択特徴量信号７０は、第二の平均値算出回路４
２に入力される。第二の平均値算出回路４２は、フレー
ム内でのシーン変化候補領域にだけ対応した平均輝度の
差分絶対値の平均値を算出し、第二の特徴量信号５０
（Ｓn ）として出力する。例えば、図３（ａ）の例で
は、斜線を施したブロックがシーン変化候補領域であ
り、これら７ブロックについての第一の特徴量信号３０
（ΔＩｘｙn ）を加算することで、第二の特徴量信号５
０（Ｓn ）が求まる。
【００２７】次に、第二の特徴量信号５０を基に、シー
ン変化の判定を行う。シーン変化の判定は、シーン変化
判定部５の第二の比較回路５１において、第二の特徴量
信号５０と予め定めた第二の閾値信号Ｔｈ２に基づいて
決定される。判定条件は、第二の特徴量信号５０
（Ｓn ）と第二の閾値信号Ｔｈ２から次の式で示され
る。 Ｓn ≧Ｔｈ２：シーン変化 …（５−１） Ｓn ＜Ｔｈ２：連続シーン …（５−２） ここで、シーン変化判定信号６０は、シーン変化の時
「１」、連続シーンの時「０」を出力する。
ン変化の判定を行う。シーン変化の判定は、シーン変化
判定部５の第二の比較回路５１において、第二の特徴量
信号５０と予め定めた第二の閾値信号Ｔｈ２に基づいて
決定される。判定条件は、第二の特徴量信号５０
（Ｓn ）と第二の閾値信号Ｔｈ２から次の式で示され
る。 Ｓn ≧Ｔｈ２：シーン変化 …（５−１） Ｓn ＜Ｔｈ２：連続シーン …（５−２） ここで、シーン変化判定信号６０は、シーン変化の時
「１」、連続シーンの時「０」を出力する。
【００２８】以上の判定条件でシーン検出を行った例を
図３（ｂ）に示す。従来の方式では正確な検出が困難で
あった「背景部の輝度変化が小さいシーン変化」や「動
きが激しい連続シーン」が正確に検出可能である。従っ
て、種々の動画像素材に対しても、正確なシーン検出が
可能であり、本方式を用いることで、有効なインデック
ス情報が利用可能な動画像編集システムが構築できる。
次に本発明の応用例について説明する。
図３（ｂ）に示す。従来の方式では正確な検出が困難で
あった「背景部の輝度変化が小さいシーン変化」や「動
きが激しい連続シーン」が正確に検出可能である。従っ
て、種々の動画像素材に対しても、正確なシーン検出が
可能であり、本方式を用いることで、有効なインデック
ス情報が利用可能な動画像編集システムが構築できる。
次に本発明の応用例について説明する。
【００２９】本実施例では、入力信号として、コンポー
ネント信号（ＲＧＢ）の例を示したが、種々のビデオフ
ォーマットのビデオ信号を用いることができる。例え
ば、輝度と色相が分離した（ＹＵＶ）（ＹＩＱ）信号で
ある。また、各種のコンポジット信号（ＮＴＳＣ，ＰＡ
Ｌ，ＳＥＣＡＭ）もデコーダ部により、コンポーネント
信号に変換することで同様に処理することができる。
ネント信号（ＲＧＢ）の例を示したが、種々のビデオフ
ォーマットのビデオ信号を用いることができる。例え
ば、輝度と色相が分離した（ＹＵＶ）（ＹＩＱ）信号で
ある。また、各種のコンポジット信号（ＮＴＳＣ，ＰＡ
Ｌ，ＳＥＣＡＭ）もデコーダ部により、コンポーネント
信号に変換することで同様に処理することができる。
【００３０】また、第一の平均値算出回路２１では、
（２４×２４）のブロック単位で平均値を算出したが、
ブロックの大きさ（ｌ×ｍ）「ｌ，ｍ≧１なる整数］は
自由に選んでよい。
（２４×２４）のブロック単位で平均値を算出したが、
ブロックの大きさ（ｌ×ｍ）「ｌ，ｍ≧１なる整数］は
自由に選んでよい。
【００３１】さらに、第二の特徴量算出部４は、シーン
変化候補領域だけに対応した第一の特徴量の平均値を求
め第二の特徴量としたが、複数の特徴量を算出しても良
い。例えば、シーン変化候補領域の第一の特徴量の平均
値と分散値を求め、これら両者の特徴量の関係から判定
を行っても良い。
変化候補領域だけに対応した第一の特徴量の平均値を求
め第二の特徴量としたが、複数の特徴量を算出しても良
い。例えば、シーン変化候補領域の第一の特徴量の平均
値と分散値を求め、これら両者の特徴量の関係から判定
を行っても良い。
【００３２】また、第一及び第二の閾値信号（Ｔｈ１）
（Ｔｈ２）は、予め定めた固定値としたが、種々の方法
で動的に変化させても良い。例えば、フレーム全体の平
均輝度やフレーム間の平均輝度の差分値などを基にし
て、第一及び第二の閾値信号をそれぞれ決定する。この
ようにして、画像データに、より忠実で正確なシーン検
出が可能である。以上、本発明の主旨を逸脱しない範囲
で種々の変更を行っても良い。
（Ｔｈ２）は、予め定めた固定値としたが、種々の方法
で動的に変化させても良い。例えば、フレーム全体の平
均輝度やフレーム間の平均輝度の差分値などを基にし
て、第一及び第二の閾値信号をそれぞれ決定する。この
ようにして、画像データに、より忠実で正確なシーン検
出が可能である。以上、本発明の主旨を逸脱しない範囲
で種々の変更を行っても良い。
【００３３】
【発明の効果】以上のように本発明によれば、シーン変
化に寄与する候補領域を抽出し、その候補領域の特徴量
に基づいてシーン検出を行うため、従来では誤検出や取
りこぼしがある動画像素材に対しても、正確なシーン検
出が可能となる。従って、動画情報の登録／検索が簡単
に行え、かつ動画像編集の編集効率が高い動画像処理装
置を提供できるものである。
化に寄与する候補領域を抽出し、その候補領域の特徴量
に基づいてシーン検出を行うため、従来では誤検出や取
りこぼしがある動画像素材に対しても、正確なシーン検
出が可能となる。従って、動画情報の登録／検索が簡単
に行え、かつ動画像編集の編集効率が高い動画像処理装
置を提供できるものである。
【図１】本発明の一実施例に係わる動画像処理装置の構
成を示すブロック図。
成を示すブロック図。
【図２】図１中に示す動画像処理装置のシーン検出部の
詳細な構成を示すブロック図。
詳細な構成を示すブロック図。
【図３】本発明のシーン変化検出方式を説明するための
図。
図。
【図４】従来のシーン変化検出方式の説明図。
【図５】典型的な各種シーンのブロック内平均輝度のフ
レーム間差分の絶対値のヒストグラムを示す図。
レーム間差分の絶対値のヒストグラムを示す図。
１…画像入力部、２…第一の特徴量算出部、３…シーン
変化候補領域抽出部、４…第二の特徴量算出部、５…シ
ーン変化判定部、６…動画像編集部、１０…入力信号、
２０…デジタル画像データ、３０…第一の特徴量信号、
４０…シーン変化候補領域信号、５０…第二の特徴量信
号、６０…シーン変化判定信号、１１…Ａ／Ｄ変換部、
１２…フレームメモリ（Ａ）、１３…フレームメモリ
（Ｂ）、２１…第一の平均値算出回路、２２…バッファ
メモリ、２３…減算回路、３１…第一の比較回路、４１
…セレクタ、４２…第二の平均値算出回路、５１…第二
の比較回路。
変化候補領域抽出部、４…第二の特徴量算出部、５…シ
ーン変化判定部、６…動画像編集部、１０…入力信号、
２０…デジタル画像データ、３０…第一の特徴量信号、
４０…シーン変化候補領域信号、５０…第二の特徴量信
号、６０…シーン変化判定信号、１１…Ａ／Ｄ変換部、
１２…フレームメモリ（Ａ）、１３…フレームメモリ
（Ｂ）、２１…第一の平均値算出回路、２２…バッファ
メモリ、２３…減算回路、３１…第一の比較回路、４１
…セレクタ、４２…第二の平均値算出回路、５１…第二
の比較回路。
Claims (4)
- 【請求項１】 動画像情報をフレーム単位のデジタルデ
ータに変換する画像入力手段と、 前記画像入力手段によって得られたデジタルデータから
各フレーム間の情報に基づいて第一の特徴量を算出する
第一の特徴量算出手段と、 前記第一の特徴量算出手段によって得られた第一の特徴
量に基づいて、フレーム中のシーン変化の候補領域を抽
出するシーン変化候補領域抽出手段と、 前記シーン変化候補領域抽出手段によって得られたシー
ン変化候補領域、及び前記第一の特徴量に基づいて第二
の特徴量を算出する第二の特徴量算出手段と、 前記第二の特徴量算出手段によって得られた第二の特徴
量をもとに、シーンの変化の判定を行うシーン変化判定
手段と、 を具備したことを特徴とする動画像処理装置。 - 【請求項２】 前記第一の特徴量算出手段によって算出
される第一の特徴量は、（ｌ×ｍ）ブロック内［ｌ，ｍ
≧１なる整数］の平均輝度のフレーム間差分とすること
を特徴とする請求項１記載の動画像処理装置。 - 【請求項３】 前記第二の特徴量算出手段によって算出
される第二の特徴量は、前記シーン変化候補領域に関す
る前記第一の特徴量の平均値とすることを特徴とする請
求項１記載の動画像処理装置。 - 【請求項４】 前記第二の特徴量算出手段によって算出
される第二の特徴量は、前記シーン変化候補領域に関す
る前記第一の特徴量の平均値及び分散値とすることを特
徴とする請求項１記載の動画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4185083A JPH0636030A (ja) | 1992-07-13 | 1992-07-13 | 動画像処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4185083A JPH0636030A (ja) | 1992-07-13 | 1992-07-13 | 動画像処理装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH0636030A true JPH0636030A (ja) | 1994-02-10 |
Family
ID=16164531
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP4185083A Pending JPH0636030A (ja) | 1992-07-13 | 1992-07-13 | 動画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0636030A (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09233422A (ja) * | 1996-02-26 | 1997-09-05 | Oki Electric Ind Co Ltd | 動画像処理システムにおける動画像情報検出装置 |
| JP2001109884A (ja) * | 1999-10-05 | 2001-04-20 | Central Res Inst Of Electric Power Ind | 画像データベース装置及び画像データベース作成検索方法 |
-
1992
- 1992-07-13 JP JP4185083A patent/JPH0636030A/ja active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09233422A (ja) * | 1996-02-26 | 1997-09-05 | Oki Electric Ind Co Ltd | 動画像処理システムにおける動画像情報検出装置 |
| JP2001109884A (ja) * | 1999-10-05 | 2001-04-20 | Central Res Inst Of Electric Power Ind | 画像データベース装置及び画像データベース作成検索方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chai et al. | A Bayesian approach to skin color classification in YCbCr color space | |
| EP0720114B1 (en) | Method and apparatus for detecting and interpreting textual captions in digital video signals | |
| US6618491B1 (en) | Moving image processor capable of outputting moving image as still image | |
| US7123769B2 (en) | Shot boundary detection | |
| KR20030024781A (ko) | 비디오 신호에서의 자막 검출 | |
| KR970078412A (ko) | 영상 신호 처리 장치 및 처리 방법 | |
| US6100937A (en) | Method and system for combining multiple images into a single higher-quality image | |
| JP3596863B2 (ja) | 画像圧縮装置および画像伸張装置、ならびに画像圧縮方法および画像伸張方法をコンピュータに実行させるためのプログラムをそれぞれ記録したコンピュータ読取可能な記録媒体 | |
| US8311269B2 (en) | Blocker image identification apparatus and method | |
| CN109543487B (zh) | 一种基于条码边缘分割的自动感应触发方法及其系统 | |
| JPH0636026A (ja) | 動画像処理装置 | |
| US20050002569A1 (en) | Method and apparatus for processing images | |
| KR101822443B1 (ko) | 샷 경계 및 자막을 이용한 동영상 축약 방법 및 처리 장치 | |
| JP2978039B2 (ja) | 動画像のカット画面検出方法 | |
| JPH0636030A (ja) | 動画像処理装置 | |
| KR100249826B1 (ko) | 디지털 동영상 데이터 자동분할장치 및 그 방법 | |
| Latecki et al. | Extraction of key frames from videos by optimal color composition matching and polygon simplification | |
| JP3379453B2 (ja) | 字幕領域検出方法及びその装置、並びに動画像検索方法及びその装置 | |
| JP2000194727A (ja) | 動画像検索装置、動画像検索方法、及び動画像検索プログラムを記録した記録媒体 | |
| JPH06268960A (ja) | 動画処理装置 | |
| JP3499729B2 (ja) | 複数映像の時空間統合、管理方法及びその装置並びにそのプログラムを記録した記録媒体 | |
| JPH05236458A (ja) | 動画像処理装置 | |
| JP3498875B2 (ja) | 動画像処理システム | |
| KR100473952B1 (ko) | 디지털 영상신호에서 추출된 텍스트 영역의 이미지 향상방법 | |
| Hsia et al. | Single-object-based segmentation and coding technique for video surveillance system |