JP3799842B2 - 静的映像検出方法、及び装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、映像信号の符号化システムにおける動画像情報を検出する方法と、それを実施する装置に関し、特に、主観的に動きが少ないと感じられる映像を一連のシーンの中から検出することを可能にするものである。
【０００２】
【従来の技術】
近年、デジタル映像信号を扱う機器が増加し、また、それらの機器で扱うデジタル映像信号のデータ量を削減するための種々の圧縮符号化方式が定められている。
【０００３】
そうした方式の一つであるＭＰＥＧ１やＭＰＥＧ２は、コンピュータで利用する映像信号に多く用いられている。この方式では、ＤＣＴ（離散コサイン変換）によるフレーム内の空間的な冗長度の削減と、動き補償によるフレーム間の時間的な冗長度の削減とを組み合わせて、画像データが圧縮される。
【０００４】
この動き補償による冗長度の削減は、現在のフレーム画像を符号化する場合に、過去の参照フレーム画像から、予測画像を作成し両者の画像データの差分データを求めて符号化することにより、データ量の削減を図るものである。
【０００５】
ところが、参照フレーム画像と現在のフレーム画像の間にシーンチェンジが生じる場合、符号化されるデータの画質の向上を測るため、シーンチェンジのフレームは動き補償を行わずに強制的にフレーム内圧縮方法のみに切り替える必要がある。
【０００６】
また、デジタル映像信号を扱う機器の普及に伴い、デジタル動画を編集、加工する機会が増してきた。例えば、デジタルビデオカメラなどで撮影した映像をパーソナルコンピュータに取り込んで、自由に編集、加工することができる。また、ネットワーク上の映像データベースにもアクセスしてそれらを取り込み、同様に編集、加工することができる。
【０００７】
ところが、動画像を編集、加工する際、一連の動画シーケンスの中のどの部分にどのようなデータが存在するかを知る必要が生じる。そこで、多くの動画編集装置は、動画の中からシーンチェンジを検出し、動画を各シーンごとに区切りユーザにシーンの変わり目を提示する機能を備えている。
【０００８】
以上に述べた二つの要求からシーンチェンジ検出装置のような動画情報検出装置が必要とされ、従来から数多くの動画情報検出方法および装置が提案された。一連の動画シーケンスの中から特定のフレームを抽出する際には、フレーム固有の特徴量もしくは特徴量の時間的変化を用いるのが一般的である。
【０００９】
１９８９年発行の情報通信学会技術報告に掲載された外村、阿部による「動画像データベースハンドリングに関する検討」（信学技報、IE89-33、pp.49-56、1989)では、フレーム特徴量に輝度のヒストグラムを用い、直前のフレームとの輝度のヒストグラムの差分量の総和を算出し、その値が大きいときにシーンチェンジフレームとする。
【００１０】
特開平6-133305号公報では、動画データに圧縮が施された場合の動画情報検出方法に関し、フレーム特徴量に各フレームの符号量を用い、直前のフレームとの符号量の差分値を算出し、その値が検出条件以上のときにシーンチェンジフレームとする。
【００１１】
特開平5-37853号公報では、フレーム特徴量に変化画素の面積を用いている。この動画情報検出方法を図１５を用いて簡単に説明する。図１５は、動画のカット自動分割装置の構成図である。動画のカット自動分割装置は、動画入力手段2001と変化画素面積算出部2002とシーンチェンジ判定部2003とシーンチェンジフレーム出力手段2004とを具備している。
【００１２】
次に、この動画情報検出方法を簡単に説明する。動画入力手段2001は入力したフレームを順次変化画素面積算出部2002に送る。変化画素面積算出部2002は今送られて来たフレームとその直前に送られてきたフレームの画素ごとの差分を求め、その値が第一のしきい値以上である画素を変化画素とする。そして各フレームごとに変化画素の数を算出し、変化画素の面積A(N)としてシーンチェンジ判定部2003に送る。Nはフレームの番号である。シーンチェンジ判定部2003は、A(N) - A(N-1) > B かつ A(N+1) - A(N) < -B の条件を満たすときにNをシーンチェンジフレームと判定する。Bは、第二のしきい値である。シーンチェンジフレーム出力手段2004は、シーンチェンジ判定部2003から送られたシーンチェンジフレーム番号を出力する。
【００１３】
また、シーンチェンジ検出装置のような動画情報検出装置が必要とされる一方で、テレビ電話やテレビ会議などをはじめとして、主観的に動きが少ないと感じられる映像（静的映像）を検出する動画情報検出装置も必要になってきた。インターネットやISDNのような伝送帯域が限られたネットワークを使って動画を送信する際、フレームレートを落とすか、フレームの解像度やフレームの画質といった各フレームの情報量を落とすことで低ビットレート動画圧縮を行なう。ところが、前者の場合、コマ送りのような動きのぎこちない映像になってしまい、後者の場合、画質の著しく低下した見づらい映像になってしまう。
【００１４】
【発明が解決しようとする課題】
動画シーケンスから静的映像を検出する際、特開平5-37853号公報に代表される従来の動画情報検出方法は、シーンチェンジ判定部2003での判定条件などを調整しても精度よく静的映像を検出するのが難しいという問題点がある。通常映像、静的映像、動的映像の混在した動画シーケンスを入力した場合、従来の動画情報検出装置は、動的映像に対しては敏感にピークが立つが、静的映像に対しては通常映像より若干出力が小さくなるが両者に大きな違いはなく、しきい値による静的映像の判別は難しい。
【００１５】
本発明は、こうした従来の問題点を解決するものであり、動画シーケンスの中から静的映像を高精度で検出することができる動画情報検出方法を提供し、その方法を実施する装置を提供することを目的としている。
【００１６】
【課題を解決するための手段】
そこで、本発明の静的映像検出方法では、まず最初にフレーム間の差分により変化ブロックを求め、フレーム内に複数存在する変化ブロックの中から、隣接８近傍に変化ブロックが存在するもの（連結しているもの）を順番に統合し変化ブロック群を作成し、変化ブロック群の結合度からフレームの結合度を求め、その結合度を用いて静的映像の検出を行なう。
【００１７】
この方法では、変化ブロック群の結合度によりフレームの結合度を求めるので、静的映像に対して精度の高い検出を行なうことができる。
【００１８】
また、本発明の静的映像検出方法では、変化ブロック群を構成する変化ブロックが、非変化ブロックの一部またはその多くを包囲しているとき、当該包囲された非変化ブロックを変化ブロック群に統合する。
【００１９】
この方法では、包囲された非変化ブロックを変化ブロックに修正することで、濃淡値変化が少ない大きな物体が移動する際生じる誤った変化ブロック群の結合度を補正し、正確なフレーム結合度を検出することができる。
【００２０】
また、本発明の静的映像検出方法では、フレームを複数の領域に分割し、それらの領域の中から、最大の結合度を与える変化ブロック群に属する変化ブロックの含まれる個数が最大の領域を次のフレームの結合度算出対象領域として静的映像検出を行なう。
【００２１】
この方法では、フレームの結合度算出対象領域をフレーム全体から、ある領域に限定するので、静的映像検出の精度を落とすことなく変化ブロック群の作成および結合度算出にかかる演算負荷を削減することができる。
【００２２】
また、本発明の静的映像検出方法では、フレームを複数の領域に分割し、各領域内に含まれる変化ブロックの個数が最大である領域を次のフレームの結合度算出対象領域として静的映像検出を行なう。
【００２３】
この方法では、フレームの結合度算出対象領域をフレーム全体から、ある領域に限定するので、静的映像検出の精度を落とすことなく変化ブロック群の作成および結合度算出にかかる演算負荷を削減することができる。
【００２４】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を用いて説明する。なお、本発明はそれら実施の形態に何等限定されるものではなく、その要旨を逸脱しない範囲において種々なる態様で実施し得る。
【００２５】
以下の各実施の形態の前提として、本発明では、映像をいくつかのタイプに分類し、それぞれ異なる処理を施すことによって低ビットレートの動画圧縮においても見やすい映像に圧縮可能な映像符号化装置を用いた。この映像符号化装置は、まず最初に入力された映像信号を、静的映像、動的映像、それ以外の通常映像に分類する。
【００２６】
この映像符号化装置は、入力された映像信号のタイプを分類した後、静的映像に関しては画質優先の符号化を行なうので、静的映像以外の部分の動画の動きの滑らかさを損なうことなく、通常の低ビットレート符号化装置よりも鮮明な映像を提供することができる。
【００２７】
なお、静的映像とは主観的に動きが少ないと感じられる映像、例えば一定時間完全に同じ映像である静止映像、フレームに対して動いている領域が極めて小さい映像、物体が微少振動をしているような映像のことを指すことにする。たとえば、森林を撮影した映像で木の葉が揺れているような場合が静的映像に分類される。
【００２８】
これに対し、動的映像とは、映像が突然切り替わるシーンチェンジ映像、フレームに対して動いている領域が極めて大きい映像を指すことにする。たとえば、カメラを横に動かしながら撮影した映像は動的映像に分類される。
【００２９】
（実施の形態１）
第１の実施形態の静的映像検出方法は、映像信号を低ビットレートの映像信号に圧縮する映像信号符号化装置の中で実施されている。まず始めに、本実施の形態の映像信号符号化装置の概要について説明する。
【００３０】
映像信号符号化装置は、デジタル動画像を入力とし、エンコーダ部内の映像符号化部で低ビットレートの圧縮画像を作成し出力するものである。また、入力されたデジタル動画は、静的映像検出部にも送られ静的映像の検出が行われ、静的映像はエンコーダ部内の静的映像符号化部で低ビットレートの圧縮画像に符号化される。そして、静的映像符号化部、映像符号化部の出力はつなぎ合わされ出力される。
【００３１】
図１は、この映像信号符号化装置の構成を示すブロック図である。映像信号符号化装置は、入力するデジタル画像101を保持するフレームメモリから成る入力手段102と、静的映像を検出する静的映像検出部103と、検出されたフレーム番号を用いて低ビットレートの映像信号に圧縮する静的映像符号化部107、映像符号化部108からなるエンコーダ部104と、符号化された低ビットレート圧縮画像106を出力する出力手段105とを備えている。
【００３２】
次に、第一の実施の形態の装置全体の動作について図２のフローチャートを用いて説明する．
Step101: まず入力手段102がデジタル画像を図示しない内部のフレームメモリに取り込む．
Step102: 静的映像検出部103は、入力手段102からフレームを読み込み、静的映像であると判定したフレーム番号をエンコーダ部104に出力する．
Step103: エンコーダ部104は、入力手段102から順番にフレームを読み込み、
Step104: そのフレームが静的映像と判定された場合は、静的映像符号化部107がそのフレームの符号化を行い、
Step105: 静的映像と判定されなかった場合は、映像符号化部108がそのフレームの符号化を行う．
Step106: エンコーダ部104は、静的映像符号化部107もしくは映像符号化部108によって符号化された各フレームのデータを順番につなぎ合わせ、
Step107: 現在処理し終わったフレームが最終フレームでないときは、静的映像検出部103は、次のフレームを読み込み（Step102）、処理を繰り返す．
Step108: エンコーダ部104は、最終フレームの符号化を終了したのち、符号化データを出力手段105に送る。
【００３３】
ここで、エンコーダ部104内の映像符号化部108の処理（Step105）は、通常の低ビットレート動画像符号化装置と等しく、たとえばH.263,MPEG1,MPEG4などを用いることができる。
【００３４】
つぎに、エンコーダ部104内の静的映像符号化部107の動作（Step104）について説明する。通常の低ビットレート動画像符号化装置では、フレーム内予測符号化のみが行われるイントラフレーム（Iフレーム）と参照フレームから予測画像を作成しフレーム間予測も行われるインターフレーム（Pフレーム）に分けて符号化するのが一般的である。
【００３５】
静的映像符号化部107は、参照フレームとそのオリジナルフレームを保持し、これから符号化する対象となる現フレームが静的映像であると判定されると、現フレームの符号化は行わず、代わりに参照フレームのオリジナルフレームを現フレームのオリジナルフレームであるとして、Pフレーム符号化を行う。同じソース映像から複数のフレームを符号化することになるので、画質を向上させることができる。また、その複数のフレームの符号化に割り当てる情報量を調整することにより、静的映像の連続する期間に段階的に静止映像の画質を向上させることができる。
【００３６】
つづいて、静的映像検出部103の処理（Step102）について詳しく説明する．
図３は、静的映像検出部103の構成を示すブロック図である。静的映像検出部103は、フレームメモリ301と、変化ブロック検出手段302と、結合度算出手段303と、画像特性判定手段304と、判定結果出力手段305とを備えている。
【００３７】
図４のフローチャートを用い、静的映像検出部103の動作を説明する．
Step201: 静的映像検出部103はフレームｎを入力する。（ｎはフレーム番号）
Step202: ｎが先頭フレームのときは、
Step203: フレームメモリ301にフレームnを書き込みフレーム(n+1)を読み込む（Step201）．
Step204: ｎが先頭フレームでないときは、変化ブロック検出手段302は、フレームメモリ301に蓄積されたフレーム(n-1)とフレームｎとを用いてフレーム(n-1)の変化ブロックを検出し、変化ブロックのマップ情報を結合度算出手段303に出力する．
Step205: フレーム(n-1)は、フレームメモリ303から削除され、フレームｎが新にフレームメモリ301に書き込まれる．
Step206: 結合度算出手段303は、変化ブロック検出手段302から受け取った変化ブロックのマップ情報をもとに、変化ブロック群を作成し、そのフレームの結合度を算出する．
Step207: 画像特性判定手段304は、結合度算出手段303で算出された結合度と、あらかじめ定められたしきい値とを比較し、判定結果を判定結果出力手段305に出力する．
Step208: ｎが最終フレームでないときは、フレーム(n+1)を読込む（Step201）。
【００３８】
次に、変化ブロック検出手段302による変化ブロック検出処理について説明する。変化ブロック検出手段302は、フレームメモリ301に貯えられた現フレームと入力された次のフレームとの画素ごとの差分を求める。各画素の差分の絶対値があらかじめ定められたしきい値Aより大きい画素を変化画素とする。そして、フレームの中を一定の大きさのブロックに分割し、各ブロックに含まれる変化画素の数があらかじめ定められたしきい値Bより多いブロックを変化ブロックとする。
【００３９】
変化ブロック検出手段302は、フレーム内に属するブロックのうち変化ブロックであるものを１、非変化ブロックであるものを０とする変化ブロックのマップ情報を作成し出力する。なお、変化ブロックの判定方法として、各画素の差分の絶対値を各ブロックごとに足し合わせ、その値があらかじめ定められたしきい値Cより大きいブロックを変化ブロックとすることもできる。
【００４０】
次に、結合度算出手段303による結合度算出処理について説明する。結合度算出手段303は、変化ブロック検出手段302より変化ブロックのマップ情報を得る。図5に変化ブロックのマップ情報を示す。黒いブロックが変化ブロックである。結合度算出手段303は、左上のブロックから右下のブロックへと注目ブロックを順番にずらしていく。注目ブロックが、変化ブロックである場合に、注目ブロックの隣接８近傍のブロックが変化ブロックであるか調べ、変化ブロックである場合には同じ変化ブロック群に統合する。
【００４１】
以上の統合の結果、図5の変化ブロックのマップ情報から３つの変化ブロック群(a),(b),(c)が得られる。結合度算出手段303は、つづいて変化ブロック群に含まれる変化ブロックの個数を調べ、その個数をその変化ブロック群の結合度とする。そして、フレームに含まれる変化ブロック群のなかで最大の結合度をそのフレームの結合度とする。
【００４２】
このように、本実施の形態の静的映像検出では、フレームの結合度を求めることで静的映像かどうかを判定する。図6に、従来の変化画素面積による画像情報検出方法と、本実施例の検出方法の出力結果を示す。
【００４３】
図6の(a),(b),(c),(d)は、フレーム内の変化画素を示す。図６の(A),(B)はそれぞれフレームの変化画素面積に対する従来の変化画素面積による画像情報検出方法と、本実施の形態の検出方法の出力を示すグラフである。図６(A)では、出力はフレーム内の変化画素の面積であるので、フレーム(a),(b),(c)ではほとんど同じとなる。一方フレーム(d)では変化画素の面積が大きいので突出した出力となる。また、図６(B)ではフレーム(b),(c),(d)は、ある程度の結合度を有するが、フレーム(a)の結合度は極めて小さくなる。このグラフ図６(A),図６(B)より、あらかじめ定められたしきい値によって画像情報を検出しようとする際、また図６(B)では静的映像に対する感度がよく、それらの映像を一連の画像シーケンスから精度よく検出できることがわかる。
【００４４】
このように、本実施の形態の静的映像検出では、フレームの結合度を求め、その値を用いて画像情報の判定をするため、静的映像に対して感度がよく精度が高い検出をすることができる。
【００４５】
（実施の形態２）
第２の実施形態の静的映像検出方法は、映像信号を低ビットレートの映像信号に圧縮する映像信号符号化装置の中で実施されている。映像信号符号化装置は、第１の実施の形態の図１の構成と全く同じであるが、静的映像検出部103の内部の構成および動作が異なる。
【００４６】
本実施例の静的映像検出部の処理について詳しく説明する．
図８は、静的映像検出部の構成を示すブロック図である。静的映像検出部は、フレームメモリ801と、変化ブロック検出手段802と、結合度算出手段804と、画像特性判定手段805と、判定結果出力手段806と、変化ブロック補填手段803とを備えている。
【００４７】
図９のフローチャートを用い、静的映像検出部の動作を説明する．
Step301: 静的映像検出部はフレームｎを入力する。ｎはフレーム番号である．
Step302: ｎが先頭フレームのときは、
Step303: フレームメモリ801にフレームnを書き込みフレーム(n+1)を読み込む（Step301）．
Step304: ｎが先頭フレームでないときは、変化ブロック検出手段802は、フレームメモリ801に蓄積されたフレーム(n-1)とフレームｎとを用いてフレーム(n-1)の変化ブロックを検出し、変化ブロックのマップ情報を変化ブロック補填手段803に出力する．
Step305: フレーム(n-1)は、フレームメモリ801から削除され、フレームｎが新にフレームメモリ801に書き込まれる．
Step306: 変化ブロック補填手段803は、変化ブロック検出手段802から受け取った変化ブロックのマップ情報をもとに、変化ブロックの補填を行いマップ情報を書き直す．
Step307: 結合度算出手段804は、変化ブロック補填手段803で更新された変化ブロックのマップ情報をもとに、変化ブロック群を作成し、そのフレームの結合度を算出する．
Step308: 画像特性判定手段805は、結合度算出手段804で算出された結合度と、あらかじめ定められたしきい値とを比較し、判定結果を判定結果出力手段806に出力する．
Step309: ｎが最終フレームでないときは、フレーム(n+1)を読込む（Step301）。
【００４８】
次に、変化ブロック補填手段803における変化ブロックの補填処理について説明する．
図１０は、変化ブロック検出手段802から入力される変化ブロックのマップ情報および変化ブロック補填手段803で変化ブロックを補填した後のマップ情報を示す。変化ブロック補填手段803は、変化ブロックのマップ情報のなかから、変化ブロックに上下左右の４近傍を完全に囲まれている非変化ブロック群を検出し、それらの非変化ブロックを変化ブロックとし、マップ情報を書き換える。図１０(A)では、変化ブロック群(a),(d)は変化ブロックに完全に囲まれている非変化ブロックをそれぞれ２個、１個有する。よって変化ブロック補填手段803は、変化ブロックの補填を行い、図１０(B)のようにマップ情報を更新する。結合度算出手段804は、この更新されたマップ情報をもとにフレームの結合度を求める。
【００４９】
ここでフレーム間の変化画素について考えてみる。フレームの中を濃淡変化が少ない大きな物体が動くとき、フレーム間の変化画素は物体の境界の周辺にしか発生しないことになる。そのような状況では、物体中央の濃淡変化が少ない部分では、物体が動いているにも拘わらず変化画素が現れないので、精度の高い画像情報検出を行なうためには変化画素を補う必要が生じる。
【００５０】
本実施の形態の静的映像検出方法では、変化ブロックを結合度の検出に用いているので、上述したような変化ブロックの補填を行なうことで、変化ブロック群の結合度を補正し、正確なフレーム結合度を検出することができる。
【００５１】
なお、変化ブロックの補填の基準として、非変化ブロック群の外周を構成する辺を「完全に」包囲している場合（水平・垂直方向を全部包囲している場合）を説明したが、何もこれに限らず、水平・垂直方向の例えば８０％以上を包囲している場合、水平・垂直方向を６０％以上かつ斜め方向を包囲している場合、など「包囲」の態様は様々である（図７参照）。
【００５２】
より具体的な手法として、例えば次のような方法が考えられる。変化ブロック群の各ブロックに対して最も遠いブロックまでの距離を求める。その距離が最長となる距離Ａを生成するブロックを両端ブロックとする。両端ブロックを直線で結び直線上に存在する非変化ブロックを変化ブロックに変える。その後、両端ブロックの距離を補填されたブロックの方向で求め、その距離を距離Ｂとする。
【００５３】
（距離Ａ）／（距離Ａ＋距離Ｂ）＞ｎ（但し、０＜ｎ＜１）
を「変化ブロック補填」の基準とする。上式を満たさない時、先に変更した変化ブロックを非変化ブロックに戻す。また上式を満たす時、新たに完全に包囲された非変化ブロックの補填を行う。
【００５４】
（実施の形態３）
第３の実施形態の静的映像検出方法は、映像信号を低ビットレートの映像信号に圧縮する映像信号符号化装置の中で実施されている。映像信号符号化装置は、第１の実施の形態の図１の構成と全く同じであるが、静的映像検出部103の内部の構成および動作が異なる。
【００５５】
本実施の形態の静的映像検出部の処理について詳しく説明する．
図１１は、静的映像検出部の構成を示すブロック図である。静的映像検出部は、フレームメモリ1101と、変化ブロック検出手段1102と、結合度算出手段1103と、画像特性判定手段1105と、判定結果出力手段1106と、領域情報処理手段と1104とを備えている。
【００５６】
図１２のフローチャートを用い、静的映像検出部の動作を説明する．
Step401: 静的映像検出部はフレームｎを入力する。ｎはフレーム番号である．
Step402: ｎが先頭フレームのときは、
Step403: フレームメモリにフレームnを書き込みフレーム(n+1)を読み込む（Step401）．
Step404: ｎが先頭フレームでないときは、変化ブロック検出手段1102は、フレームメモリ1101に蓄積されたフレーム(n-1)とフレームｎとを用いてフレーム(n-1)の変化ブロックを検出し、変化ブロックのマップ情報を結合度算出手段1103に出力する．
Step405: フレーム(n-1)は、フレームメモリ1101から削除され、フレームｎが新にフレームメモリ1101に書き込まれる．
Step406: フレーム(n-1)が先頭フレームであるとき、（具体的には、２番目のフレームの時で、それ以降は必ず指定領域があるので、まず指定領域を指定し、なければフレーム全体を指定することになる．）
Step407: 結合度算出手段1103は、変化ブロック検出手段1102から受け取った変化ブロックのマップ情報をもとに、変化ブロック群を作成し、そのフレームの結合度を算出し、結合度および変化ブロック群情報を領域情報処理手段1104に出力する．
Step408: また、フレーム(n-1)が先頭フレームでないとき、結合度算出手段1103は、領域情報処理手段1104から指定された領域の変化ブロック群の結合度を求め、その領域で最大の結合度を領域情報処理手段1104に出力する
Step409： 領域情報処理手段1104は、指定した領域で最大の結合度があらかじめ定められたしきい値以上であるとき、その結合度をそのフレームの結合度として、画像特性判定手段1105に出力する。また、しきい値以上でないとき、領域情報処理手段1104は結合度算出対象領域をフレーム全体に戻し、結合度算出手段1103に再び結合度を算出（Step407）するように要求する．
Step410: 画像特性判定手段1105は、領域情報処理手段1104から出力されたフレームの結合度と、あらかじめ定められたしきい値とを比較し、判定結果を判定結果出力手段1106に出力する．
Step411: ｎが最終フレームでないときは、フレーム(n+1)を読込む（Step401）。
【００５７】
次に、結合度算出手段1103と領域情報処理手段1104にかかわる動作（Step406からStep409）について図１３を用いて詳しく説明する。
【００５８】
領域情報処理手段1104は、図１３(A)に示すようにフレームを等しいいくつかの大きさに分割して、それぞれの領域を領域IDによって区別する。図１３では、例としてフレームを９個に分割し、１から９の領域IDをつけている。また、領域ID０はフレーム全体を指すものと定める。そして、領域情報処理手段1104は、結合度算出手段1103に変化ブロック群の結合度を求める領域IDを知らせ、結合度算出手段1103はその領域から結合度を求める。
【００５９】
動画シーケンスの先頭のフレームの変化ブロックのマップ情報が結合度算出手段1103に入力されるとき（Step406）、領域情報処理手段1104は、領域ID０を指定する。よって結合度算出手段1103は、第１の実施の形態のようにフレーム全体から変化ブロック群を検出し、最大の変化ブロック群の結合度を領域情報処理手段1104に対して出力する。また、これと同時に結合度算出手段1103は、以降のフレームの探索領域を決定するために変化ブロック群の情報も合わせて出力する（Step407）。
【００６０】
領域情報処理手段1104は、受け取った変化ブロック群の情報から次のフレームの結合度を探索する領域を決定する。図１３(A)は、結合度算出手段1103から受け取った変化ブロック群の情報を示す。フレームの中には、(a),(b),(c)と３つの変化ブロック群がある。このとき、領域情報処理手段1104は、結合度が最大である変化ブロック群(a)に着目し、(a)を構成する変化ブロックが最も多く含まれる領域を選択する。ただし、(a)を構成する変化ブロックが最も多く含まれる領域が複数存在するようであれば、領域IDが小さい方を優先するなどとする。このようにして、決定された結合度算出対象領域の領域IDを結合度算出手段1103に知らせる。
【００６１】
図１３(B)は、図１３(A)の変化ブロック群情報から決定した結合度算出対象領域を示す。図１３(B)の斜線部の領域ID２が、領域情報処理手段1104によって選択されることになる。結合度算出手段1103は、次フレームの変化ブロックのマップ情報を受け取ると、領域情報処理手段1104から指示された領域で、変化ブロック群の検出を行なう。そして、そのとき検出された変化ブロック群についてのみ領域の外に対しても検出を続ける。その結果、変化ブロック群に属する変化ブロックが、はじめに指示された領域内に存在するような変化ブロック群をフレームから検出することができる。検出した変化ブロック群の中で最大の結合度を領域情報処理手段1104に送る(Step408)。
【００６２】
領域情報処理手段1104は、指定した領域IDの結合度を結合度算出手段1103から受け取ると、あらかじめ定められたしきい値Dとの比較を行なう。領域IDの結合度がしきい値D以上であるときは、その結合度を画像特性判定手段1105に出力し、結合度算出手段1103に対して同じ領域IDを指示し、処理を繰り返す。また、領域IDの結合度がしきい値D以下であるときは、領域情報処理手段1104は、領域IDを０としそのフレームに対してもう一度結合度を算出し直すように結合度算出手段1103に指示する（Step409）。
【００６３】
このように、領域情報処理手段1104が結合度算出手段1103の結合度算出対象の領域を限定することにより、結合度算出にかかる演算負荷を削減することができる。また、領域の結合度をしきい値Dと比較することにより、最終的なフレームの結合度を決定するので、静的映像検出の感度を落とすこともない。（本実施の形態の静的映像検出方法は、第１の実施の形態の静的映像検出方法に比べて、同じ精度で、より高速に静的映像の検出が行なえる。）
前記第３の実施の形態の方法の変形例として、領域情報処理手段1104は、指定した領域IDの結合度を結合度算出手段1103から受け取ると、しきい値Dとの比較を行なうが、その際、領域IDの結合度がしきい値D以下であるときに、領域情報処理手段1104は、別な領域IDを指定し、そのフレームに対してもう一度指定した領域の結合度を算出し直すように結合度算出手段1103に指示するようにしてもよい。
【００６４】
領域情報処理手段1104が、図１３（A）のような変化ブロック群の情報を受け取った場合について考える。領域情報処理手段1104は、受け取った変化ブロック群の情報から次のフレームの結合度を探索する領域を決定する際に、まず最初に、結合度が最大である変化ブロック群(a)に着目し、(a)を構成する変化ブロックが最も多く含まれる領域２を選択する。そして、領域情報処理手段1104は、結合度が２番目に大きい変化ブロック群(b)に着目し、同様に(b)を構成する変化ブロックが最も多く含まれる領域3を選択する。以下同様に、領域情報処理手段1104は、変化ブロック群(c)に着目し、領域8を選択する。このようにして、領域情報処理手段1104は、フレームの中の結合度の高い変化ブロック群から結合度算出対象領域を決定していき、選択された領域IDを順番に記憶しておく。
【００６５】
そして、領域情報処理手段1104は、最初に選択された領域IDから結合度算出手段1103に送り、指定した領域の結合度を結合度算出手段1103から受け取ると、しきい値Dとの比較を行なう。もし、受け取った結合度がしきい値D以下である場合には、記憶している領域IDから次に選択された領域IDを結合度算出手段1103に送り、再度領域の結合度を算出させる。領域情報処理手段1104は、領域の結合度がしきい値D以下である限り、このような処理を繰り返す。ただし、領域情報処理手段1104内部に記憶している領域IDがなくなった場合には、領域ID０を送出する。
【００６６】
このように、領域情報処理手段1104が、結合度算出対象領域に順番をつけ内部に保持することによって、ある領域の結合度がしきい値D以下である場合に、すぐに結合度算出対象領域をフレーム全体に拡張しなくてすむので、結合度算出にかかる演算負荷をさらに削減することができる。
【００６７】
（実施の形態４）
第4の実施形態の静的映像検出方法は、映像信号を低ビットレートの映像信号に圧縮する映像信号符号化装置の中で実施されている。映像信号符号化装置は、第１の実施の形態の図１の構成と全く同じであるが静的映像検出部103の内部の構成および動作が異なる。
【００６８】
本実施の形態の静的映像検出部の処理について詳しく説明する．
静的映像検出部は、第３の実施の形態の図１１の構成と全く同じであり、動作も図１２のフローチャートと同じであるが、領域情報処理手段1104における結合度算出対象領域の決定過程が異なる。
【００６９】
領域情報処理手段における結合度算出対象領域の決定過程について、図１４を用いて詳しく説明する．
領域情報処理手段は、第３の実施の形態の図１３(A)と同様に、フレームを等しいいくつかの大きさに分割して、それぞれの領域を領域IDによって区別する。図１４でも、図１３と同様にフレームを９個に分割し、１から９の領域IDをつけたものを例として用いる。また、領域ID０はフレーム全体を指すものと定める。
【００７０】
動画シーケンスの先頭のフレームの変化ブロックのマップ情報が結合度算出手段に入力されるとき、領域情報処理手段は、領域ID0を指定する。よって結合度算出手段は、第１の実施の形態のようにフレーム全体から変化ブロック群を検出し、最大の変化ブロック群の結合度を領域情報処理手段に対して出力する。また、これと同時に結合度算出手段は、以降のフレームの探索領域を決定するために変化ブロックのマップ情報も合わせて出力する。
【００７１】
領域情報処理手段は、受け取った変化ブロックのマップ情報から次のフレームの結合度を探索する領域を決定する。図１４(A)は、結合度算出手段から受け取った変化ブロックのマップ情報を示す。このとき、領域情報処理手段は、各領域に含まれる変化ブロックの数を検出し、含まれる変化ブロックの数が最大である領域を選択する。ただし、変化ブロックが最も多く含まれる領域が複数存在するようであれば、領域IDが小さい方を優先するなどとする。
【００７２】
このようにして、決定された結合度算出対象領域の領域IDを結合度算出手段に知らせる。図１４(B)は、図１４(A)の変化ブロックのマップ情報から決定した結合度算出対象領域を示す。図１４(B)の斜線部の領域ID８が、領域情報処理手段によって選択されることになる。結合度算出手段は、次フレームの変化ブロックのマップ情報を受け取ると、領域情報処理手段から指示された領域で、変化ブロック群の検出を行なう。そして、そのとき検出された変化ブロック群についてのみ領域の外に対しても検出を続ける。その結果、変化ブロック群に属する変化ブロックが、はじめに指示された領域内に存在するような変化ブロック群をフレームから検出することができる。検出した変化ブロック群の中で最大の結合度を領域情報処理手段に送る。
【００７３】
このように、本実施の形態の領域情報処理手段における結合度算出対象領域は、領域に含まれる変化ブロックの個数によって判定される。領域に含まれる変化ブロックの個数が大きいということは、領域内での変化ブロックの密度が高いということであり、次フレームの変化ブロックのマップ情報において、大きい結合度をもつ変化ブロック群がその領域に存在する可能性が高い。
【００７４】
以上のように、領域情報処理手段が結合度算出手段の結合度算出対象の領域を限定することにより、結合度算出にかかる演算負荷を削減することができる。また、領域の結合度をしきい値Dと比較することにより、最終的なフレームの結合度を決定するので、動的映像検出の精度には影響を与えるが、静的映像検出の感度を落とすこともない。本実施の形態の静的映像検出方法は、第１の実施の形態の静的映像検出方法に比べて、同じ精度で、高速に静的映像の検出が行なえる。
【００７５】
前記第４の実施の形態の方法の変形例として、領域情報処理手段は、指定した領域IDの結合度を結合度算出手段から受け取ると、しきい値Dとの比較を行なうが、その際、領域IDの結合度がしきい値D以下であるときに、領域情報処理手段は、別な領域IDを指定し、そのフレームに対してもう一度指定した領域の結合度を算出し直すように結合度算出手段に指示するようにしてもよい。
【００７６】
領域情報処理手段が、図１4（A）のような変化ブロックのマップ情報を受け取った場合について考える。領域情報処理手段は、受け取った変化ブロックのマップ情報から次のフレームの結合度を探索する領域を決定する際に、各領域に含まれる変化ブロックの数を検出し、含まれる変化ブロックの数が大きい領域から順番に、領域IDを記憶しておく。すなわち、領域８、領域２、領域５、...のような順番になる。
【００７７】
そして、記憶された領域IDの先頭から結合度算出手段に送り、指定した領域の結合度を結合度算出手段から受け取ると、しきい値Dとの比較を行なう。もし、受け取った結合度がしきい値D以下である場合には、記憶している領域IDから次の領域IDを結合度算出手段に送り、再度領域の結合度を算出させる。領域情報処理手段は、領域の結合度がしきい値D以下である限り、このような処理を繰り返す。ただし、領域情報処理手段内部に記憶している領域IDがなくなった場合には、領域ID０を送出する。
【００７８】
このように、領域情報処理手段が、結合度算出対象領域に順番をつけ内部に保持することによって、ある領域の結合度がしきい値D以下である場合に、すぐに結合度算出対象領域をフレーム全体に拡張しなくてすむので、結合度算出にかかる演算不可をさらに削減することができる。
【００７９】
なお、本願発明において「フレームの結合度」なる記載をしたが、これは「フレーム同士の結合の度合い」という意味ではなく、「そのフレーム中における変化ブロック同士の接している度合い（数）」という意味である。
【００８０】
【発明の効果】
以上の説明から明らかなように、本発明の静的映像検出方法は、変化ブロックの結合度によりフレームの結合度を求めるので、ノイズや意味の無い小物体が複数ランダムに動いているといった静的映像に対して精度の高い検出を行なうことができる。
【００８１】
また、変化ブロック群を構成する変化ブロックに、主として四方を包囲された非変化ブロックを変化ブロック群に統合する静的映像検出方法では、変化ブロック群の結合度を補正し、正確なフレーム結合度を検出することができる。
【００８２】
また、フレームを複数の領域に分割し、それらの領域の中から、最大の結合度を与える変化ブロック群に属する変化ブロックの含まれる個数が最大の領域を次のフレームの結合度算出対象領域とする静的映像検出方法では、領域の結合度がしきい値より小さいときは、結合度算出対象領域をフレーム全体にもどして算出しなおすので、静的映像検出の精度を落とすことなく、また結合度算出対象領域を限定することにより、静的映像検出にかかる演算負荷を削減することができる。
【００８３】
また、フレームを複数の領域に分割し、各領域内に含まれる変化ブロックの個数が最大である領域を次のフレームの結合度算出対象領域とする静的映像検出方法では、領域の結合度がしきい値より小さいときは、結合度算出対象領域をフレーム全体にもどして算出しなおすので、静的映像検出の精度を落とすことなく、また結合度算出対象領域を限定することにより、静的映像検出にかかる演算負荷を削減することができる。
【図面の簡単な説明】
【図１】第１の実施形態における低ビットレート動画符号化装置の構成を示すブロック図
【図２】第１の実施形態における低ビットレート動画符号化装置全体の動作を示す流れ図
【図３】第１の実施形態における静的映像検出部の構成を示すブロック図
【図４】第１の実施形態における静的映像検出部の動作を示す流れ図
【図５】第１の実施形態における変化ブロック検出手段の出力である変化ブロックのマップ情報の例を示す図
【図６】従来の画像情報検出方法と第１の実施形態における検出方法の出力結果の違いを説明する説明図
【図７】第２の実施形態における変化ブロック補填対象パターンの例図
【図８】第２の実施形態における静的映像検出部の構成を示すブロック図
【図９】第２の実施形態における静的映像検出部の動作を示す流れ図
【図１０】第２の実施形態における変化ブロック補填手段による変化ブロックのマップ情報補填の例を示す図
【図１１】第３の実施形態における静的映像検出部の構成を示すブロック図
【図１２】第３の実施形態における静的映像検出部の動作を示す流れ図
【図１３】第３の実施形態における領域情報処理手段による結合度算出対象領域の検出の例を示す図
【図１４】第４の実施形態における領域情報処理手段による結合度算出対象領域の検出の例を示す図
【図１５】従来の動画のカット自動分割装置の構成を示すブロック図
【符号の説明】
101 デジタル画像
102 入力手段
103 静的映像検出部
104 エンコーダ部
105 出力手段
106 低ビットレート圧縮画像
107 静的映像符号化部
108 映像符号化部
301、801、1101 フレームメモリ
302、802、1102 変化ブロック検出手段
303、804、1103 結合度算出手段
304、805、1105 画像特性判定手段
305、806、1106 判定結果出力手段
803 変化ブロック補填手段
1104 領域情報処理手段
2001 画像入力手段
2004 変化画素面積算出部
2003 シーンチェンジ判定部
2004 シーンチェンジフレーム出力手段

Claims (12)

1. フレーム間の画素値の差分が一定値を超える変化画素を求め、フレームを予め一定の大きさのブロックに分割したものの中から、各ブロックに含まれる前記変化画素の数に応じて変化ブロックを求め、前記変化ブロックの連結している個数を示す結合度によりフレームの結合度を求め、前記フレームの結合度を用いて静的映像を検出することを特徴とする静的映像検出方法。
2. フレーム内に複数存在する変化ブロックの中から、隣接８近傍に変化ブロックが存在するものを統合し変化ブロック群を作成し、変化ブロック群に含まれる前記変化ブロックの数を変化ブロック群の結合度とし、前記フレーム内の変化ブロック群の最大の結合度を前記フレームの結合度とすることを特徴とする請求項１に記載の静的映像検出方法。
3. 変化ブロック群において、前記変化ブロック群を構成する変化ブロックが、互いに隣合う一つもしくは複数の非変化ブロックの外周のうち３分の２以上と接するとき、前記非変化ブロックを前記変化ブロック群に統合することを特徴とする請求項１または２に記載の静的映像検出方法。
4. フレームを複数の領域に分割し、最大の結合度を与える変化ブロック群に属する変化ブロックの含まれる個数が最大の領域を次のフレームの結合度を求める領域とし、前記領域内の変化ブロックおよび当該変化ブロックに隣接している変化ブロックに限定して、当該限定された変化ブロックの連結している個数を示す結合度によりフレームの結合度を求め、前記フレームの結合度を用いて静的映像を検出することを特徴とする請求項１または２に記載の静的映像検出方法。
5. 前記次のフレームの結合度を求める領域内で結合度が最大である前記変化ブロック群の結合度が、あらかじめ定められたしきい値以下であるとき、前記次のフレームの結合度を求める領域をフレーム全体に戻すことを特徴とする請求項４に記載の静的映像検出方法。
6. フレームを複数の領域に分割し、フレーム内の変化ブロック群の中から結合度の高いものから順番に、その変化ブロック群に属する変化ブロックの含まれる個数が最大の領域を前記次のフレームの結合度を求める領域とし、前記次のフレームの結合度を求める領域内の前記変化ブロック群の結合度が、あらかじめ定められたしきい値以下であるとき、前記次のフレームの結合度を求める領域を次の順番をもつ領域とすることを特徴とする請求項４に記載の静的映像検出方法。
7. フレームを複数の領域に分割し、前記領域内に含まれる変化ブロックの個数が最大となる領域を次のフレームの結合度を求める領域とし、前記領域内の変化ブロックおよび当該変化ブロックに隣接している変化ブロックに限定して、当該限定された変化ブロックの連結している個数を示す結合度によりフレームの結合度を求め、前記フレームの結合度を用いて静的映像を検出することを特徴とする請求項１または２に記載の静的映像検出方法。
8. フレームを複数の領域に分割し、前記領域に含まれる変化ブロックの数の大きな領域から、前記次のフレームの結合度を求める領域に順番をつけ、その結合度を求める領域内の変化ブロック群の結合度が、あらかじめ定められたしきい値以下であるとき、前記次のフレームの結合度を求める領域を次の順番をもつ領域とすることを特徴とする請求項７に記載の静的映像検出方法。
9. フレーム間の画素値の差分が一定値を超える変化画素を求め、フレームを予め一定の大きさのブロックに分割したものの中から、各ブロックに含まれる前記変化画素の数に応じて変化ブロックを求める変化ブロック検出手段と、前記変化ブロックの連結している個数を示す結合度によりフレームの結合度を求める結合度算出手段と、前記フレームの結合度を用いて静的映像の検出を行う画像特性判定手段と、を備えた静的映像検出装置。
10. 変化ブロック群を構成する前記変化ブロックが、互いに隣合う一つもしくは複数の非変化ブロックの外周のうち３分の２以上と接するとき、前記非変化ブロックを前記変化ブロック群に統合する変化ブロック補填手段を備えた請求項９に記載の静的映像検出装置。
11. フレームを複数の領域に分割し、最大の結合度を与える変化ブロック群に属する変化ブロックの含まれる個数が最大の領域を次のフレームの結合度を求める領域とする領域情報処理手段を備えた請求項９に記載の静的映像検出装置。
12. フレームを複数の領域に分割し、前記領域内の変化ブロックおよび当該変化ブロックに隣接している変化ブロックに限定して、当該変化ブロックの個数を検出し、変化ブロックの個数が最大の領域を次のフレームの結合度を求める領域とする領域情報処理手段を備えた請求項９に記載の静的映像検出装置。

Images