JP2765674B2

JP2765674B2 - データ供給装置

Info

Publication number: JP2765674B2
Application number: JP31685593A
Authority: JP
Inventors: 幹博井岡
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 1993-12-16
Filing date: 1993-12-16
Publication date: 1998-06-18
Anticipated expiration: 2013-06-18
Also published as: US5745190A; JPH07203303A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、データ供給方法及びデ
ータ供給装置にかかり、より詳しくは、コンピュータ等
によって時間的に連続する動画像や連続画等のデジタル
画像データに基づいて、動画像のシーンの切り換わりを
検出するためにデータを供給するデータ供給方法及びデ
ータ供給装置に関する。

【０００２】

【従来の技術】コンピュータ等の画像データ蓄積装置か
ら供給されるデジタル画像データによる静止画像（以
下、フレームという。）を連続的にモニター等に表示す
ることにより１作品の動画像が表示できる。１作品の動
画像は、通常カットやカメラアングルの切り換え等によ
って複数のシーンに分割されている。ユーザは画像の流
用等をするために動画像から所望の１つのシーンを取り
出したいときがある。この場合、動画像を予めシーン毎
に分割した情報を備える、すなわち、１作品の動画像に
おけるシーンの切り換わり位置を検出する必要がある。

【０００３】このため、従来、隣接するフレーム間に対
して類似度を定義すると共に類似度のしきい値を予め設
定し、しきい値を越えたフレーム、すなわち、類似度が
大きく変化したフレームをシーンの切り換わり位置とし
ている。このしきい値には、フレーム間で設定する特徴
量の種類に応じ、フレーム間の画素の類似度に関して設
定される第１のしきい値、及びフレーム内の画素の分布
の類似度に関して設定される第２のしきい値に大別され
る。第１のしきい値では、フレームにおける画素毎の輝
度等について所定値を越えた変化が起こったときにシー
ンの切り換わり輝度等の変化が生起した画素であると
し、第２のしきい値では、フレーム内で輝度等の変化が
起こった画素数に相当する画素の分布の面積が所定値を
越えたときにシーンの切り換わり位置であるとされる。

【０００４】このしきい値によってシーンの切り換わり
を判別するためにデータを供給するデータ供給方法とし
て、入力された画像信号による隣接する画面間の画素に
ついての相関を用いた統計的分布により処理されたデー
タを供給するデータ供給方法があり、このデータ供給方
法を用いて処理されたデータによりシーン変化を検出す
る画像変化検出方法がある（特開平３−７３０７６号公
報参照）。この画像変化検出方法は、隣接するフレーム
間に対して画素毎の輝度の差分値に基づいて画素に関す
る差分値の分布形状及び位置からフレーム間の類似度を
求め、予め定めたしきい値を越えたフレーム、すなわ
ち、類似度が大きく変化したフレームをシーンの切り換
わり位置としている。従って、隣接するフレーム間の類
似度がしきい値を越えると、隣接するフレームの一方
（例えば、時系列的に早い方）をシーンの切り換わり位
置とし、前回検出されたシーンの切り換わり位置のフレ
ームの他方（例えば、時系列的に遅い方）から現在検出
されたフレームまでを１つのシーンとして特定すること
ができる。

【０００５】

【発明が解決しようとする課題】しかしながら、上記デ
ータ供給方法を用いた画像変化検出方法のように、隣接
するフレーム間の相関により処理されたデータを供給し
て予め定めたしきい値を用いシーンの切り換わり位置を
検出する場合、大きな値がしきい値に設定されている
と、微小な類似度ではシーンの切り換わり位置は検出さ
れずに大きなシーンの切り換わりしか検出できない等の
ように未検出が生じる。一方、小さな値がしきい値に設
定されていると、フレーム間の類似度の変化に敏感にな
り、シーンの切り換わりでない微小な類似度のフレーム
間でもシーンの切り換わり位置として検出される等のよ
うに過検出が生じる。

【０００６】この未検出や過検出の誤検出について、図
面を参照して説明する。図６には、隣接するフレーム間
における画素の輝度値の差分絶対値に関する画素の度数
分布を示した。図６（ａ）に示すように、通常の明るさ
等のフレーム間における画素の度数分布は、差分絶対値
が０となる生起度数が多く、差分絶対値が大きくなるに
従い生起度数が少なくなる分布となる。一方、シーンの
切り換わりと想定されるフレーム間における画素の度数
分布は、図６（ｂ）に示すように、差分絶対値が０とな
る生起度数は減少し、差分絶対値が分散した度数になる
分布となる。従って、このシーンの切り換わりと想定さ
れるフレーム間を検出するために、差分絶対値につい
て、同一シーン内において変動することが予想される画
素数に対応する、しきい値Ｖthを設定する。これによ
り、しきい値Ｖthを越えた画素数、すなわち面積Ｓａを
越えた面積がシーンの切り換わりと想定される画素数に
対応する。従って、図６（ｂ）に示した分布では、面積
（Ｓｂ−Ｓａ）が０を越え、シーンの切り換わり位置で
あると特定することができる。

【０００７】しかしながら、フレーム自体の明るさが暗
い場合の同一のシーンでは、図６（ｃ）に示すように、
画素の度数分布は、差分絶対値が小さい値に集中する。
また、図６（ｄ）に示すように、シーンの切り換わりで
も同様に、差分絶対値が小さい値に集中する。従って、
得られる面積（Ｓｄ−Ｓａ）は略０となり、シーンの切
り換わり位置であることを特定することができない。

【０００８】また、フラッシュ撮影されたフレームを含
む一連のフレーム群からなる同一シーンでは、図６
（ｅ）に示すように、例え、明るさが異なるのみの同一
の画面であっても画素の度数分布は、差分絶対値が大き
い値へ分散する。従って、得られる面積（Ｓｅ−Ｓａ）
は０を越え、シーンの切り換わり位置であると誤って特
定する。

【０００９】本発明は、上記事実を考慮して、動画像を
シーン毎に分割するため、動画像のシーンの切り換わり
を容易に検出できるデータを供給可能なデータ供給方法
及びデータ供給装置を得ることが目的である。

【００１０】

【課題を解決するための手段】上記目的を達成するため
に本発明のデータ供給方法は、縦横複数画素から形成さ
れた複数の静止画像が時間的に連続すると共に信号的内
容が同一または類似の静止画像群を１シーンとして該シ
ーンを複数含んで構成された動画像における該シーンの
切り換わりを検出するためのデータを供給するデータ供
給方法であって、前記各静止画像の画素データを用いて
該静止画像毎に画素分布の統計量を演算し、演算された
統計量を用いて予め定めた基準静止画像における画素分
布に対応するように前記静止画像の各画素データを正規
化すると共に該正規化された正規化画素データをデータ
として供給する。

【００１１】また、本発明のデータ供給装置は、縦横複
数画素から形成された複数の静止画像が時間的に連続す
ると共に信号的内容が同一または類似の静止画像群を１
シーンとして該シーンを複数含んで構成された動画像に
おける該シーンの切り換わりを検出するために該動画像
の各静止画像の画素データが時系列的に入力され、該各
静止画像の画素データを用いて該静止画像毎に画素分布
の統計量を演算する統計量演算手段と、演算された統計
量を用いて前記静止画像の各画素データと基準静止画像
における画素分布に対応する正規化画素データとの対応
を表すテーブルを生成するテーブル生成手段と、生成さ
れたテーブルを用いて前記画素データを変換した前記正
規化画素データをデータとして供給するデータ供給手段
と、を備えている。

【００１２】

【作用】本発明のデータ供給方法では、縦横複数画素か
ら形成された複数の静止画像が時間的に連続する動画像
を用いている。動画像は、信号的内容が同一または類似
の静止画像群を１シーンとして該シーンを複数含んで構
成されている。

【００１３】この動画像の各静止画像の画素データを用
いて該静止画像毎に画素分布の統計量を演算する。この
統計量には、輝度等の明るさによる画素分布やＲ，Ｇ，
Ｂの色成分で表された色データによる画素分布の平均や
標準偏差等がある。この演算された統計量を用いて標準
的な静止画像等の予め定めた基準静止画像における画素
分布に対応するように静止画像の各画素データを正規化
する。従って、フレーム自体の明るさが暗い場合の同一
のシーンやフラッシュ撮影されたフレームを含む一連の
フレーム群からなる同一シーンであっても、画素の度数
分布は、そのフレームに関与する明るさ等の影響が除去
される。このため、この正規化された正規化画素データ
をデータとして供給すれば、動画像の時系列的な明るさ
変動に伴ってダイナミックにしきい値を変動させたこと
になり、動画像に含まれるシーンの切り換わりを検出で
きる。

【００１４】前記データ供給方法は、縦横複数画素から
形成された複数の静止画像が時間的に連続すると共に信
号的内容が同一または類似の静止画像群を１シーンとし
て該シーンを複数含んで構成された動画像における該シ
ーンの切り換わりを検出するために該動画像の各静止画
像の画素データが時系列的に入力され該各静止画像の画
素データを用いて該静止画像毎に画素分布の統計量を演
算する統計量演算手段と、演算された統計量を用いて前
記静止画像の各画素データと基準静止画像における画素
分布に対応する正規化画素データとの対応を表すテーブ
ルを生成するテーブル生成手段と、生成されたテーブル
を用いて前記画素データを変換した前記正規化画素デー
タをデータとして供給するデータ供給手段と、を備えた
データ供給装置により実現可能である。

【００１５】

【実施例】以下、図面を参照して、本発明の実施例を詳
細に説明する。図１に示すように、本発明が適用可能な
動画像処理装置は、データ出力装置１０及び検出器１２
から構成されている。データ出力装置１０は、平均値演
算回路及び標準偏差演算回路から構成された統計処理器
１４、メモリ（図示省略）を有する演算回路を含んで構
成された変換テーブル処理器１６、及びフレームメモリ
等の記憶回路から構成されたフレームバッファ１８を備
えている。

【００１６】データ出力装置１０には、Ａ／Ｄコンバー
タ等のデジタルデータ変換器（図示は省略）により１フ
レームを構成するビデオ信号やＲＧＢ信号等のアナログ
データが縦横多数の画素（例えば、縦５１２画素、横５
１２画素）から構成されたデジタル画像の各画素の輝度
値を表すデジタルデータ（以下、画素データという。）
５０に変換されて入力される。

【００１７】図示を省略したデジタルデータ変換器は信
号線６０により統計処理器１４に接続され、この信号線
６０には信号線６２によりフレームバッファ１８に接続
されている。画素データ５０は、統計処理器１４に入力
されると共にフレームバッファ１８に入力される。変換
テーブル処理器１６は、信号線６６により統計処理器１
４に接続されると共に信号線６４によりフレームバッフ
ァ１８に接続されている。フレームバッファ１８は、入
力された画素データ５０を画素値５２としてフレーム単
位で一次的に記憶するためのものである。また、変換テ
ーブル処理器１６は、信号線６８により検出器１２に接
続されている。従って、検出器１２には、変換テーブル
処理器１６の後述する出力画素値５４が入力される。

【００１８】なお、検出器１２は、後述するように画素
数を計数するためのカウンタを備えている。この検出器
１２には、信号線７０により、しきい値Ｖthを出力する
ための信号発生器２０が接続されている。また、検出器
１２は、信号線７２を介して、シーンの切り換わりを表
すシーン変化検出信号５６を同一シーンを抽出するため
の識別信号等として用いる動画像検索装置等の他の装置
に接続されている。

【００１９】以下、本実施例の作用を説明する。統計処
理器１４に画素データ５０が入力されると、統計処理器
１４は、入力されたフレームの全ての画素を順次走査、
すなわち、入力された画素データ５０を順に読み取っ
て、１フレーム全ての画素データ５０を用いて１フレー
ムについて輝度値の平均値μ及び標準偏差σを演算す
る。また、統計処理器１４は、演算された統計量（平均
値μ及び標準偏差σ）を変換テーブル処理器１６へ出力
する。このとき、フレームバッファ１８には、１フレー
ム分の画素データ５０がフレーム上の画素位置に対応し
た画素値５２として記憶される。

【００２０】次に、変換テーブル処理器１６の処理を図
３を参照して説明する。統計処理器１４から統計量（平
均値μ及び標準偏差σ）が入力されると、図３のデータ
変換ルーチンが実行され、入力された統計量を読み取っ
て（ステップ１０２）、以下の式（１）に示すように統
計量を用いた画素値５２を変数とする関数を、入力され
た画素値５２とテーブル値ｔ（ｉ）との対応を表す画素
変換テーブルとして設定し図示しないメモリに記憶する
（ステップ１０４）。

【００２１】ｔ（ｉ）＝（ｉ−μ）／σ −−−（１）但し、ｉ：入力された画素値（０，１，・・・，
ｎ；最大輝度値）ｔ（ｉ）：第ｉエントリのテーブル値

【００２２】なお、上記の画素変換テーブルは、１フレ
ーム分の画素値５２について入力された画素値５２と演
算されたテーブル値ｔ（ｉ）との対応を画素変換テーブ
ルとして記憶してもよい。このようにすることにより、
記憶容量は画素値の段階数、例えば、階調数のみでよい
ことになる。

【００２３】画素変換テーブルの設定が終了すると、フ
レームバッファ１８から画素値５２をフレーム上の画素
位置に対応して順次読み取り（ステップ１０６）、画素
変換テーブルにより対応するテーブル値、すなわち、上
記の式（１）を用いて読み取った画素値５２に対するテ
ーブル値を演算する（ステップ１０８）。この演算され
たテーブル値を出力画素値５４として、検出器１２へ出
力する（ステップ１１０）。上記の処理を１フレーム分
の画素値５２が終了するまで実行し（ステップ１１
２）、動画像に含まれる全てのフレームについて終了す
るまで実行する（ステップ１１４）。

【００２４】従って、フレームバッファ１８から出力さ
れる画素値５２、フレームバッファ１８に記憶された画
素値の平均及び標準偏差から出力画素値５４を求めてい
るので、検出器１２へ入力される出力画素値５４は、デ
ータ出力装置１０へ入力された１フレーム分の画素デー
タによるフレーム内の輝度値の平均及び相関により標準
的なフレームの画素値に相当する正規化された値とな
る。このため、出力画素値５４により形成される画像
は、標準的な輝度分布となる基準フレームに相当する画
像になる。

【００２５】次に、検出器１２における処理について、
図４を参照して説明する。変換テーブル処理器１６から
１フレーム分の出力画素値５４の出力が開始されると、
画素数を計数するためのカウンタがリセットされる（ス
テップ２００）。次に、入力された１フレームに含まれ
る正規化された出力画素値５４を読み取ると共に記憶し
（ステップ２０２）、前回記憶した出力画素値５４と読
み取った出力画素値５４との差分値を演算する（ステッ
プ２０４）。演算された差分値がしきい値Ｖthを越える
か否かを判断し（ステップ２０６）、肯定判定の場合に
はカウンタをインクリメントしたカウンタ値（ステップ
２０８）、否定判定の場合には設定されているカウンタ
値がノイズ等を除去するための所定値以上か否かを判断
する（ステップ２１０）。この検出器１２のカウンタ値
は、信号発生器２０から入力されたしきい値Ｖthを越え
る出力画素値５４の画素数の計数値になるので、シーン
の切り換わりであるフレームに相当するフレーム間の画
素値の差分値分布の導出に相当することになる。否定判
定の場合には、１フレーム分の出力画素値５４の上記処
理が終了するまで繰り返し実行する（ステップ２１
４）。一方、ステップ２１２において肯定判定された場
合には、シーンが切り換わったフレームに相当する画素
数が存在すると判断し、シーン変化検出信号５６を出力
する。

【００２６】なお、検出器１２から出力されるシーン変
化検出信号５６は、動画像の開始または終了を表すアド
レスとして用いることができる。

【００２７】図５（ａ）には、暗いシーンが連続すると
きに、シーンの切り換わりであるフレーム間の各フレー
ムの輝度分布を実線と破線で示した。この場合、従来の
方法ではシーンの切り換わりにおける差分値の画素数に
相当する面積は略０でシーンの切り換わりを特定できな
いが（図６（ｄ）参照）、本実施例では、正規化された
出力画素値を用いているので、図５（ｂ）に示すよう
に、輝度値による画素の度数分布が正規化されたことに
なり、シーンの明暗に拘わらず、その度数分布を参照す
ることができる。従って、図５（ｃ）に示したように、
フレーム間の差分値に対する画素数分布が正規化された
ことになり、しきい値を動画像の時系列的な明るさ変動
に伴ってダイナミックに変動させたように、動画像に含
まれるシーンの切り換わりを未検出なく、容易かつ確実
に検出することができる。

【００２８】また、図５（ｄ）には、フラッシュ撮影さ
れたフレームを含む一連のフレーム群からなる同一シー
ンのフレーム間の各フレームの輝度分布を実線と破線で
示した。この場合、輝度値による画素の度数分布の位置
に違いはあるが形状は相似形になる。従来の方法では、
差分値が大きな値となり、シーンの切り換わり位置であ
ると誤って特定する（図６（ｅ）参照）。本実施例で
は、上記と同様に、正規化された出力画素値による分布
（図５（ｅ）参照）から明るさ変動に伴ってダイナミッ
クに変動されたしきい値によりシーンの切り換わりを検
出しているので、瞬間的に輝度値が異なるフレームがシ
ーン内に含まれていてもシーンの切り換わりであると誤
って検出することがない（図５（ｆ）参照）。

【００２９】このように、本実施例では、時系列的なフ
レームの輝度変化、フラッシュやフリッカ等の瞬間的な
輝度の変化の影響を除去することができ、シーンの切り
換わりの検出率を向上させることができる。このため、
しきい値を動画像毎に再設定したり、１つの動画像中で
シーン毎に再設定することなく、初期値として設定した
しきい値を常時用いることができる。

【００３０】なお、上記実施例では、フレーム間の差分
値に対する画素数分布の面積を求めるために、しきい値
を越えた差分値の画素数をカウントしたが、画素分布を
求めた後にしきい値を越えた画素の分布を求めた後、こ
の分布による面積を求めて、シーンの切り換わりを検出
するようにしてもよい。

【００３１】上記の実施例では、フレームの画素データ
をフレームバッファ１８に一旦蓄積するため、シーンの
切り換わりの検出は１フレームを走査するために要する
時間だけ遅延する。このため、他の実施例としてシーン
の切り換わりをリアルタイムで検出する場合には、図２
に示すように、フレームバッファ１８を備えることな
く、変換テーブル処理器１６に画素データ（画素値）が
直接入力されるように、統計処理器１４と変換テーブル
処理器１６とを信号線６３により接続してデータ出力装
置１０を構成すればよい。この場合、検出器１２、統計
処理器１４、及び変換テーブル処理器１６の各々は上記
実施例と同様の構成で実現可能である。また、統計処理
器１４には予め定めた所定の統計量（例えば、標準的な
フレームに対する平均値μo 及び標準偏差σo ）を記憶
し、動画像の最初のフレーム処理時の変換テーブル処理
器１６には標準的な統計量による画素変換テーブルが設
定される。他の実施例は、上記実施例と同様の構成であ
るため、以下、上記と異なる変換テーブル処理器１６の
作用を説明する。

【００３２】変換テーブル処理器１６では、統計処理器
１４から統計量μ、σが入力され（図３のステップ１０
２）、上記の式（１）により画素変換テーブルを設定し
メモリに記憶する（ステップ１０４）。次に、画素デー
タ５０である画素値５２を順次読み取り（ステップ１０
６）、画素変換テーブルにより読み取った画素値５２に
対するテーブル値を演算する（ステップ１０８）。この
テーブル値を出力画素値５４として、検出器１２へ出力
する（ステップ１１０）。上記の処理を１フレーム分の
画素値５２が終了するまで実行し（ステップ１１２）、
動画像に含まれる全てのフレームについて終了するまで
実行する（ステップ１１４）。

【００３３】このように、他の実施例では、１フレーム
前の画素データに基づいて設定された画素変換テーブル
を用いて現在の画素値を出力画素値に正規化している。
このため、厳密には、現在のフレームの画素値の正規化
ではなく、フラッシュやフリッカ等のフレーム単位で瞬
間的に明るさが変化する輝度変化には対応することがで
きないが、時系列的にフレームの輝度の変化は微小であ
ることが想定されるため、他の実施例の構成によって、
時系列的にフレームの輝度の変化があるシーンにおいて
シーンの切り換わりを誤って検出することへの対処に
は、十分な効果がある。

【００３４】なお、上記の実施例では、フレーム間の類
似度を画素の輝度値によって定めたが、単に明るさのフ
レーム間差分を用いてもよく、フレーム間差分の変化率
を用いてもよい。また、フレームとしては、予め画像処
理したエッジ差分画像を用いてもよい。

【００３５】また、上記実施例では、画素データとして
画素の輝度値を用いた場合を説明したが、色の強度値で
あってもよく、色差信号であってもよい。

【００３６】また、上記実施例では、正規化された画素
値及びしきい値を用いてシーンの切り換わりを検出する
場合を説明したが、本発明はこれに限定されるものでは
なく、正規化された画素値のフレーム単位の画素分布か
らシーンの切り換わりを検出してもよい。この場合、基
準となるフレームを予め設定し、同一または類似のフレ
ームまでを１シーンとすることができる。

【００３７】

【発明の効果】以上説明したように本発明によれば、静
止画像毎の画素分布の統計量を用いて正規化された正規
化画素データをデータとして供給しているので、動画像
の時系列的な明るさ変動やフラッシュ等の瞬間的な明る
さ変動により静止画像を含んだシーンであっても、静止
画像毎の画素分布に応じて動画像に含まれるシーンの切
り換わりを検出できる、という効果がある。

【図面の簡単な説明】

【図１】本発明が適用可能な一実施例の動画像処理装置
の概略を示すブロック図である。

【図２】本発明が適用可能な他の実施例の動画像処理装
置の概略を示すブロック図である。

【図３】実施例の変換テーブル処理器の処理の流れを示
すフローチャートである。

【図４】実施例の検出器の処理の流れを示すフローチャ
ートである。

【図５】本発明が適用可能な一実施例の動画像処理装置
においてシーンの切り換わりを検出する過程を説明する
ための説明図である。

【図６】従来の装置でシーンの切り換わりを検出するた
めに利用したフレーム間差分値の画素分布を示す線図で
ある。

【符号の説明】

１０データ出力装置（データ供給装置）１２検出器１４統計処理器（統計量演算手段）１６変換テーブル処理器（テーブル生成手段、デー
タ供給手段）１８フレームバッファ

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁶，ＤＢ名) H04N 5/268 G06T 1/00 G06T 7/00 G06T 7/20 H04N 7/24

Claims

(57)【特許請求の範囲】

【請求項１】縦横複数画素から形成された複数の静止画
像が時間的に連続すると共に信号的内容が同一または類
似の静止画像群を１シーンとして該シーンを複数含んで
構成された動画像における該シーンの切り換わりを検出
するために、該動画像の各静止画像が時系列的に入力さ
れた時に、基準画像を選択し、当該基準画像の画素デー
タを用いて輝度値の平均値μ及び標準偏差σを演算する
統計量演算手段と、前記静止画像の画素データに用いられている輝度値ｉご
とに、ｔ（ｉ）＝（ｉ−μ）／σとするテーブルｔ
（ｉ）を生成するテーブル生成手段と、生成されたテーブルｔ（ｉ）を用いて前記静止画像の画
素データを変換した正規化画素データをデータとして供
給するデータ供給手段と、を備えたデータ供給装置。