JPH08191411A

JPH08191411A - シーン判別方法および代表画像記録・表示装置

Info

Publication number: JPH08191411A
Application number: JP7050109A
Authority: JP
Inventors: Yukie Goshima; 雪絵五島; Hiroshi Akahori; 裕志赤堀
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1994-11-08
Filing date: 1995-03-09
Publication date: 1996-07-23

Abstract

(57)【要約】【目的】カメラを連続的に動かして撮影した動画像の
期間中で、移動体の存在の有無を推定し、撮影者が特定
被写体を追尾するためにカメラを動かしたシーンと、別
の被写体に視線を移すためにカメラを動かしたシーンを
判別すること。【構成】画面の動きベクトルを検出し、動きベクトル
で補償したフレーム間の相関画像を検出し、相関画像内
で相関の低い領域が集中的に存在している度合を相関集
中度合として求め（Ｓ２）、動画像内でカメラが一定方
向に連続して動いた複数のフレームをパンニング区間と
して検出し（Ｓ３）、パンニング区間内の過半数のフレ
ームで相関集中度合が高いとき、パンニング区間は被写
体を追尾したシーンと判定し、反対に相関集中度合が低
いとき、別の被写体に視線を移すためのシーンと判定す
る（Ｓ４，Ｓ６）。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、撮影時のカメラマンの
意図に応じたシーンの判別方法、および、動画像の早
見、検索、編集など、広く一般に動画像を扱う代表画像
記録・表示装置に関するものである。

【０００２】

【従来の技術】従来、動画像の早見、編集、検索などの
処理を簡単にするために、動画像の内容の要約を自動的
に作成する技術が提案されてきた。例えば、特開平４ー
２９４６９４号公報に開示された映像の自動要約編集方
法では、野球中継などの限定された場面から、要約編集
された映像を自動作成する方法を提案している。具体的
には、移動体（バッター）の動き情報を入力し、例えば
「３塁に接していた移動体がホームベースと接触」した
シーンを、最も重要なシーンと判定して、要約の映像を
自動作成している。

【０００３】この方法では、要約する映像を「野球中
継」等に限定しているので、抽出すべき移動体の大き
さ、数、特徴が決まっている。また、移動体は、映像内
容に特有の行動パターンがあるので、この行動パターン
からシーンの重要度が判定できる。しかしながら、一般
的な画像、例えばビデオカメラで撮影した画像の要約を
作る場合を考えると、移動体の特徴が規定できないの
で、画像から移動体を抽出することが困難になる。ま
た、撮影場面が不明なので、移動体の行動パターンも規
定できず、シーンの重要度を判定することも困難にな
る。

【０００４】それに対し、移動体の行動パターンではな
く、撮影者のカメラワークや撮影中の画像の状態などに
基づいて重要度を判定することで、一般的な映像に対応
しようとする方法も提案されている。特願平５−１４７
３３７号の静止画像自動抽出方法では、撮影者の行った
カメラワーク（ズーム、パンニング等）や、撮影中の画
像の状態（コントラスト、フォーカスの状態等）などに
基づいて各画像の重要度を設定し、動画像の代表的な画
像を自動選出している。

【０００５】例えば、撮影者の行ったカメラワークに関
しては、「撮影者がズームアップするときは、画像に注
目しているときが多い」等の撮影者の意図が推定でき
る。従って、画像のズーム倍率の情報を入手し、ズーム
アップで撮影された映像に高い重要度を設定すれば、注
目した画像が代表として選ばれ易くなる。また、画像状
態として一般的に、「ピンボケの画像は良くない」、
「コントラストの極端に無い画像は、良くない」という
判断基準が成り立つ。従って、フォーカスを制御する際
に用いる画像の高周波成分や、画面内の輝度分布の偏り
の情報を入手して、ピンボケの画像やコントラストの無
い画像の重要度を低く設定すれば、それらの画像を代表
画像から取り除くことができる。この方法で必要とされ
る情報は、カメラから直接得られる情報（ズーム倍率
等）や簡単な画像処理によって得られる情報（コントラ
スト等）なので、どんな映像内容からでも入手可能であ
る。さらに、シーンの重要度を判定するための基準も、
「ピンボケの映像は良くない」など、どんな映像内容で
も共通の基準であり、一般的な画像に適応している。

【０００６】特願平５ー１４７３３７号に記載の静止画
像自動抽出方法において、カメラワークの情報から撮影
者の意図を推定して、シーンの重要度を判定することを
考えてみる。カメラワークのうち、ズームに関しては、
前述のように、「ズームアップした画像は撮影者が注目
していることを想定しているので、カメラからズーム倍
率が得られれば、そのままシーンの重要度を判定でき
た。

【０００７】

【発明が解決しようとする課題】しかしながら、その他
のカメラワーク、すなわちパンニング、チルティングな
どのカメラの移動・回転に関しては、以下で説明するよ
うに、撮影者の意図が容易に推定できない場合がある。
例えば、次の２つのシーンは、同じようにパンニング
（水平方向のカメラ移動）しているシーンであるが、撮
影者の意図は全く異なっている。（１）移動する被写体を追尾するため、カメラをパンニ
ングする（２）ある被写体から別の被写体へ視点を移すため、カ
メラをパンニングするすなわち、（１）では、パンニングの期間中、撮影者は
ずっと被写体に注目しているので、重要な期間と思われ
る。それに対して（２）では、パンニングの期間が、２
つの被写体の場面のつなぎの期間になっているので、そ
の期間の画像を要約として選ぶべきではない、むしろ不
要な部分と思われる。このように、カメラを同じように
動かしても、撮影者の意図が異なり、要約を作成するた
めの重要度が異なるようなシーンもあることがわかる。
このように、一般的な映像に対して要約を作る場合に、
カメラワークだけからでは撮影者の意図を推定できない
ために、自動要約が行えないことがあった。

【０００８】本発明はかかる点に鑑み、動画像中から、
「撮影者が被写体に注目してカメラの移動・回転を行っ
たシーン」、「撮影者が別の被写体に視点を移すために
カメラの移動・回転を行ったシーン」を抽出するシーン
判定方法、およびこのシーン判定方法を用いて動画像の
代表的画像を自動抽出し、記録・表示する代表画像記録
・表示装置を提供することを目的とする。

【０００９】

【課題を解決するための手段】本発明は上記目的を達成
するため、画面の動きベクトルを検出する手段と、前記
動きベクトルでカメラの動きを補償した前記フレーム間
の相関画像を検出する手段と、前記相関画像内で、相関
の低い領域が集中的に存在している度合を相関集中度合
として求める手段と、動画像内でカメラが一定方向に連
続して動いた複数のフレームをパンニング区間として検
出する手段と、前記パンニング区間内で過半数のフレー
ムで前記相関集中度合が高いとき、前記パンニング区間
は被写体を追尾したシーンと判定し、反対に前記相関集
中度合が低いとき、別の被写体に視線を移すためのシー
ンと判定する手段を備える。

【００１０】

【作用】以上のような手段において、検出した相関集中
度合が高いとき、画面上に移動物体が存在すると推定で
きる。従って、パンニング区間に属するフレームに対し
て、相関集中度合の多数決をとることにより、画面上に
移動物体が存在し続けたかどうかが推定でき、単一の被
写体を撮影しつづけたシーンか別の被写体に視点を移し
たシーンか、の判別が行える。

【００１１】また、動画像の代表的画像を選択する際
に、上記シーン判別方法を用いることにより、カメラマ
ンが被写体を追尾するシーンの画像は、重要なシーンと
して代表画像に選ばれやすくなり、別の被写体に視点を
移すためにパンニングしたシーンは、画像の区切りとし
て、画像内容に応じた単位で画像を分けることができる
ようになる。

【００１２】

【実施例】まず、本発明のシーン判別方法の原理につい
て、説明する。本発明のシーン判別方法は、動画像の中
から、（１）撮影者が動く被写体を追尾してカメラを動
かすシーン、および（２）撮影者が、ある被写体から別
の被写体へ視線を移すためにカメラを動かすシーンを検
出する方法である。

【００１３】以後、（１）の「撮影者が動く被写体を追
尾してカメラを動かすシーン」を、追尾シーンと呼び、
（２）の「撮影者がある被写体から別の被写体へ視線を
移すためにカメラを動かすシーン」を視点移行シーンと
呼ぶことにする。

【００１４】ここで、追尾シーンと視点移行シーンの違
いを図２を用いて説明する。図２の（Ａ）、（Ｂ）は、
共にカメラを右方向に移動させながら撮影した一連の画
像であり、図２の右に位置する画像ほど時間的に後の画
像を示している。

【００１５】（Ａ）は、右方向に動く人物の動きに合わ
せてカメラを動かしており、常に１人の人を追尾してい
るので、追尾シーンである。それに対して（Ｂ）は、女
の子を撮影した後、カメラを動かして、男の子に視線を
移して撮り始めているので、視点移行シーンである。

【００１６】図２のように、追尾シーンと視点移行シー
ンは、共に、撮影者がカメラを水平方向に継続して動か
したシーンである（以後、動画像中で、カメラが一定方
向に継続して動いた画像の区間を、パンニング区間と呼
ぶ）。従って、追尾シーンと視点移行シーンは、共にパ
ンニング区間に属するので、カメラの動きからだけで
は、２つのシーンを判別できない。

【００１７】しかしながら、パンニング区間に属する画
像の内容に注目すると、２つのシーンは次の点で異なっ
ている。例えばカメラを右に動かしているとき、視点移
行シーンでは、画面上のほとんどの物体が左方向に流れ
ていく。それに対して追尾シーンでは、背景の画像が左
方向に流れていく中、被写体のみが常に画面の中央付近
にとどまっている。従って、動画像中からパンニング区
間を検出し、パンニング区間に属する画像に対して、画
面上に移動物体の領域があるかどうか調べれば、常に移
動物体が存在するパンニング区間が追尾シーン、移動物
体の存在しないものは視点移行シーンと判定できる。

【００１８】以下、この原理を基に、本発明のシーン判
別方法の第１の実施例について説明する。図１は、本発
明の一実施例におけるシーン判別方法のフローチャート
である。

【００１９】まず、フローチャートの全体の流れから説
明する。ステップ１において初期化処理を行った後、ス
テップ２において、画面の動きベクトル、すなわち、カ
メラの動きによって、撮影中の映像が画面上で移動した
大きさ、方向を検出する。ステップ３では、画面の動き
ベクトルを基に、パンニング区間を検出し、その開始
点、終了点を記録する。一方、ステップ４では、画面の
動きベクトル分だけ映像をずらしてフレーム間差分する
ことにより、移動物体の領域を検出し、その領域の情報
を記録する。

【００２０】ここまでが１つの画像に対する処理であ
る。ステップ５では、処理すべき画像が残っているかど
うか調べ、残っている場合は、処理する画像を次に進め
て、再びステップ２の処理から始める。

【００２１】このようにして、ステップ２からステップ
４までの処理を１周期として、処理する画像が無くなる
まで、この周期を繰り返す。

【００２２】最後にステップ６では、検出されたパンニ
ング区間に対して、同じ区間に属する画像の移動物体領
域の情報を統合し、そのパンニング区間が、追尾シーン
か、視点移行シーンか、判定する。以上の処理により、
ステップ３で検出されたパンニング区間が、追尾シーン
か、視点移行シーンか、判定される。

【００２３】以上、図１のフローチャートの全体の流れ
を説明したが、続いて各ステップの詳細について説明す
る。まず、ステップ１では、初期化処理として、ステッ
プ３で行うパンニング区間検出処理の初期値を設定す
る。ステップ２では、処理中の画像Ｆ1と、隣接するフ
レーム（フィールド）の画像Ｆ0の間の、画面の動きベ
クトルを検出する。

【００２４】ここで、画面の動きベクトルについて図３
を用いて説明する。図３において、画像Ｆ1 は、動画像
中の任意の時刻（ｔ＝τ）での画像であり、画像Ｆ0 は
Ｆ1の所定時間（Ｍフレームもしくはｍフィールド）前
（ｔ＝τ−Δｔ）の画像である。この図では、カメラを
左下方向に動かしたときの映像の変化を示しており、画
像Ｆ0 の領域Ａ0 が、所定時間後の画像Ｆ1 では領域Ａ
1 の位置に移動している。このように、カメラの動きに
よって画面上で映像が平行移動するとき、平行移動した
量をベクトルで示したものを画面の動きベクトルと呼
ぶ。図３では、画像Ｆ1 上のＶが動きベクトルであり、
この動きベクトルを水平方向、垂直方向に分解したもの
が、Ｖｘ、Ｖｙである。

【００２５】画面の動きベクトルを算出する方法として
は、代表点マッチング法を利用したものが一般的であ
り、例えば特開平６１−２６９４７５号公報の動きベク
トル検出装置等で提示されている。以下、代表点マッチ
ング法による動きベクトル算出方法について説明する。
図４は代表点マッチング法における代表点と、そのまわ
りの画素の様子を示したものである。動きベクトル検出
は、あるフィールド（フレーム）における代表点の位置
の画像データが、次のフィールド（フレーム）でまわり
の画素のうちどこに移動したかを検出することによって
行われる。すなわち、まず画面上の各代表点における画
像データを、次のフレーム（もしくは次のフィールド）
の、各代表点のまわりの画素の画像データと、絶対値差
分をとる。全ての代表点に対して全ての周辺画素との絶
対値差分を求めた後、各代表点を基準として同一の座標
位置にある周辺画素をすべて集め、その絶対値差分を累
積加算する。代表点を基準とした全ての周辺座標位置の
うち、累積加算値が最小の座標位置を検出し、代表点の
位置から累積加算値最小の位置への移動量を動きベクト
ルとして検出する。

【００２６】以上、代表点マッチング法を説明したが、
本発明と動きベクトル検出の方法は直接関係なく、上記
以外の方法を用いても構わない。また、ここでは画像処
理によって動きベクトルを検出したが、カメラに取り付
けた角速度センサでカメラの動きを求め、センサからの
出力を画面上の大きさに正規化することにより、同様の
結果が得られる。

【００２７】続いてステップ３のパンニング区間検出処
理について説明する。前述したように、パンニング区間
とは、動画像中で、撮影者がカメラをほぼ一定の方向、
大きさで動かしている画像の区間である。ここで、実際
の画像の動きベクトルの例を用いて、パンニング区間に
ついて説明する。図５は、水平方向の動きベクトルＶｘ
の時間変化を示しており、グラフの水平軸は時間ｔ（ま
たはフレーム番号）、垂直軸は水平方向の動きベクトル
を示している。図の中で、区間Ｂ，Ｄは、カメラを左方
向および右方向に連続して動かした区間であり、検出す
べきパンニング区間である。区間Ｃは、手ぶれ、画角調
整等により、カメラの細かい動きがみられるが、連続し
たカメラ操作ではないので、パンニング区間とは判断す
べきではない。

【００２８】次に、ステップ３では、「パンニング区間
内」、「パンニング区間外」の２つの状態を設け、区間
Ｂ，Ｄのような区間だけを「パンニング区間内」として
検出するための条件を設けている。例えば、処理中の画
像が「パンニング区間外」のときは、パンニング区間を
開始するための条件、「一定以上の大きさの動きベクト
ルが、一定時間以上、続く」を満たすかどうかの判定を
行い、条件を満たしたとき始めて「パンニング区間内」
の状態に入り、この時点をパンニング区間の開始点とし
て登録する。また一旦「パンニング区間内」の状態に入
ると、パンニング区間を終了するための条件、「一定以
下の大きさの動きベクトルが、一定時間以上、続く」に
関する判定を行うことにより、パンニング区間の終了点
を検出する。パンニング区間を開始するための条件の具
体例としては（数１）、終了するための具体例としては
（数２）のように表せる。

【００２９】

【数１】

【００３０】

【数２】

【００３１】ただし、現在、ｔ＝τの時点の画像を処理
中であり、それまでの、ｔ＝（τ−ｋ・Δｔ） … （τ
−Δｔ）の間、時間Δｔ毎に検出した動きベクトルＶ
ｘ[k]，…，Ｖｘ[τ-1] がメモリに記憶されているも
のとする。また、（数１）、（数２）では水平方向の動
きベクトルＶｘのみの条件を示したが、垂直方向の動き
ベクトルＶｙ、または動きベクトルの大きさ｜Ｖ｜

【００３２】

【数３】

【００３３】に対する同様の条件を組み合わせても良
い。

【００３４】このようにして、ステップ３では、パンニ
ング区間を検出し、その開始点、終了点を記憶する。

【００３５】次にステップ４では、画面の動きベクトル
分だけ映像をずらしたフレーム間差分（以後、動き補償
つきフレーム間相関と呼ぶ）を行い、カメラの動きとは
別に独自の動きをした物体、すなわち移動物体の領域を
検出する。

【００３６】まず動き補償付きフレーム間相関とは、前
回処理した画像Ｆ0（ｔ＝τ−Δｔ）を予め動きベクト
ル分平行移動させた画像（動き補償予測画像）Ｇと、処
理中の画像Ｆ1（ｔ＝τ）の２つの画像で、フレーム間
の相関を求めるものである。ただし、動き補償予測画像
Ｇは、（数４）のように表せる。

【００３７】

【数４】

【００３８】フレーム間の相関は、Ｇ，Ｆ1それぞれの
画像に対して、平滑化、間引き等の前処理を行って、画
像Ｇ’、Ｆ1’を得た後、（数５）のように２画像間の
対応する画素（またはブロック）の差分値の絶対値を計
算し、相関画像Ｂ[x][y]を作る。

【００３９】

【数５】

【００４０】相関を求める方法としては、差分値の絶対
値の代わりに差分値の２乗等を使ってもよい。ただし、
得られる相関画像は、相関の高い画素（またはブロッ
ク）ほど低い相関値をとるものとする。得られた相関画
像は、動き補償予測画像との相関を求めたものなので、
カメラ動きの影響が除去され、移動物体の領域のみ、高
い相関値となることが望まれる。

【００４１】しかしながら、相関画像は、移動物体以外
の小物体やノイズの影響で、移動物体以外の領域でも高
い相関値をもつ部分が局所的にでてくる。従って、ステ
ップ４ではさらに、相関画像中の相関値の高い画素が、
どれだけ集中的に存在しているかの度合（以後、相関集
中度合と呼ぶ）を検出する。

【００４２】相関集中度合の検出としてはまず、相関画
像をローパスフィルタ等で平滑化処理する。処理後の画
像の中で、相関値の最大値、すなわち最も相関の低い画
素（ブロック）での相関値を検出し、この値を、相関画
像の相関集中度合としてメモリに記憶する。このように
して求められた相関集中度合は、ある程度大きな物体が
カメラと異なる動きをした時に高い度合となるので、相
関集中度合が高いほど、画面上に移動物体の存在する可
能性が高いと推定できる。

【００４３】ここで、具体的な画像例で、ステップ４で
の処理経過をみてみる。図６は、図２の２シーンから、
連続する画像２枚づつ（図２の画像（ｂ）、（ｃ））を
選び、処理経過を示したものである。まず、（Ａ）は図
２の追尾シーン（Ａ）に関する処理結果、（Ｂ）は図２
の視点移行シーン（Ｂ）に関する処理結果を示してお
り、（ｂ’）は、（ｂ）の画像を動きベクトル分ずら
し、画像（ｃ）と相関処理を行う位置に配置したもので
ある。（ｆ）は、画像（ｂ’）と画像（ｃ）に関する相
関画像であり、色が濃いほど高い相関値を示している。
（ｇ）は相関画像（ｆ）に対して平滑化処理（ここでは
平均化処理）を行った処理画像であり、（ｆ）内の破線
の矩形は、平均化処理を行ったブロック領域の大きさを
示す。（ｈ）は（ｇ）の破線上の値をグラフ化したもの
で、最大値を×印で示している。

【００４４】追尾シーン（Ａ）の結果を見てみると、
（ｆ）のように、相関値の高い画素が被写体の領域に集
中している。従って、相関画像を平滑化した結果も
（ｇ）、（ｈ）に示すように、被写体の存在する部分だ
けが高い値になり、その最大値（相関集中度合）も高い
値となる。一方、視点移行シーン（Ｂ）では、画面内の
細かい動きやノイズ等によって、部分的に高い相関値を
示す画素もみられるが（ｆ）、一般に画面全体に分散し
ている。従って、相関画像を平滑化した結果（ｇ）、
（ｈ）は、画面全体が低い値となり、その最大値（相関
集中度合）も低くなる。

【００４５】このように、相関集中度合は、画面内にカ
メラと異なる動きをする領域が存在するかどうかの可能
性を示している。カメラと異なる動き領域のある追尾シ
ーンでは、相関集中度合が高くなり、動き領域のない視
点移行シーンでは低くなるため、相関集中度合から２つ
のシーンを判別することができる。

【００４６】ここでは、相関集中度合の検出方法とし
て、画面内での相関値の最大値を求める方法を説明した
が、相関値の高い画素が１カ所に集中しているか、それ
とも分散しているか、判別できるような方法であれば、
別の手法でも相関集中度合を検出できる。例えば、図６
（ｆ）の破線矩形のようなサーチ領域を設定し、相関画
像上でサーチ領域を移動させて、各サーチ領域内でしき
い値以上の相関値をもつような画素の数をカウントし、
その最大画素数を相関集中度合としてもよい。

【００４７】ここまでが１つの画像に対する処理であ
る。ステップ５では、処理すべき画像が残っているかど
うか調べ、残っている場合は、処理する画像を次に進め
て、再びステップ２の処理から始める。このようにし
て、ステップ２からステップ４までの処理を１周期とし
て、処理する画像がなくなるまで、この周期を繰り返
す。

【００４８】最後にステップ６の処理を説明する。ステ
ップ６は、ステップ３で検出されたパンニング区間が、
視点移行シーンか、追尾シーンか判定する部分である。
具体的には、パンニング区間に属する画像の相関集中度
合を集めて、しきい値以上の相関集中度合をもつ画像が
過半数を占めた場合、追尾シーン、そうでなければ視点
移行シーンと判定する。数式で表すと、（数６）のよう
になる。

【００４９】

【数６】

【００５０】ただし、パンニング区間の開始点をｔ＝ｓ
・Δｔの画像、終了点をｔ＝ｅ・Δｔの画像とし、ステッ
プ３で得られた相関集中度合をＭ[s]，Ｍ[s+1]，…，Ｍ
[e-1]，Ｍ[e]とし、ＮＵＭは、Ｍ[i]＞ＴＨ（ｓ＜ｉ＜
ｅ，ＴＨ：しきい値）を満たすＭ[i]の数とする。この
ようにして、各パンニング区間は、追尾シーンか、視点
移行シーンか、判定される。

【００５１】以上、図１のフローチャートの処理につい
て説明したが、ここで、上記処理手順を実現するための
シーン判定システムについて説明する。図７は本発明の
シーン判定方法を実現するためのシステム構成図であ
る。

【００５２】図７において、１は映像信号の入力端子、
２はＡ／Ｄコンバータ、３はフレームメモリ、４は動き
ベクトル検出回路、５は可変遅延回路、７、８はフィル
タ、９はフレーム間相関検出部、１０は相関集中度合検
出部、１１は相関集中度合蓄積部、１２はパンニング区
間検出部、１３はフレーム番号出力端子、１４はシーン
判定部、１５はパンニング開始点終了点蓄積部、１６は
パンニング開始点及び終了点を特定するためのフレーム
番号出力端子、１７はシーン判定結果を出力するための
出力端子である。

【００５３】以上のように構成されたシステムの動作に
ついて以下説明する。

【００５４】まず、映像信号の入力端子１から入力され
た映像信号は、Ａ／Ｄコンバータ２に供給され、Ａ／Ｄ
コンバータ２は映像信号をデジタル化し、フレームメモ
リ３、動きベクトル検出回路４、フィルタ８に出力す
る。ここでフレームメモリ３は、Ａ／Ｄコンバータ２か
らの映像信号を、およそ１画面分（１フレームまたは１
フィールド分）記憶できるものであり、Ａ／Ｄコンバー
タ２から出力される映像より、ちょうど１画面時間前の
映像信号を出力する。

【００５５】一方、動きベクトル検出回路４は、Ａ／Ｄ
コンバータ２からの映像信号とフレームメモリ３からの
過去の映像信号を用いて、２つの画像間の動きベクトル
を求める。動きベクトルの検出方法については、図１の
フローチャートのステップ２の項で説明した通りであ
る。

【００５６】以後の処理は、大きく２つの処理の流れに
分かれている。１つめは、可変遅延回路５から相関集中
度合検出部１０までの処理であり、図１のフローチャー
トのステップ４の処理に相当する。２つめは、パンニン
グ区間検出部１２の処理であり、図１のフローチャート
のステップ３に相当する。

【００５７】まず１つめの処理、動き補償つきフレーム
間相関検出と相関集中度合検出について説明する。可変
遅延回路５では、フレームメモリ３からの過去の映像信
号を入力し、動きベクトル検出回路４からの動きベクト
ルを基に可変遅延することにより、動きベクトル分平行
移動させた画像、すなわち動き補償予測画像を求める。

【００５８】フィルタ７とフィルタ８は、それぞれ可変
遅延回路５とＡ／Ｄコンバータ２からの出力、すなわ
ち、それぞれ前フィールド（フレーム）の動き補償予測
画像、現フィールド（フレーム）の画像を入力とし、ロ
ーパスフィルタや平均化フィルタ等による平滑化の処
理、または間引きの処理を行う。

【００５９】フレーム間相関検出部９では、フィルタ７
とフィルタ８から平滑化処理後の画像を入力し、２画像
間の相関計算を行い、相関画像を出力する。相関集中度
合検出部１０は、相関画像から相関集中度合を求め、そ
の結果を順次、相関集中度合蓄積部１１に記憶させる。
この際、フレーム番号出力端子１３から、処理中の画像
に対応するフレーム番号（または画像を特定する番号）
を入力し、フレーム番号と相関集中度合を同期して記録
する。フレーム間相関検出部９での相関計算の方法、お
よび相関集中度合検出部１０での相関集中度合検出の方
法は、図１のフローチャートのステップ４の項で説明し
た通りである。

【００６０】次に２つめの処理、パンニング区間検出部
１２の処理について説明する。パンニング区間検出部１
２では、処理中の画像の状態が「パンニング区間内」と
「パンニング区間外」のどちらかを、記憶するためのメ
モリを内蔵している。このメモリは、図１のフローチャ
ートのステップ１の初期化処理において、「パンニング
区間外」の状態に設定される。パンニング区間検出方法
は、図１のフローチャートのステップ３で説明したのと
同様である。

【００６１】まず、動きベクトル検出部４から入力した
現在処理中の画像の動きベクトルと、過去の画像の動き
ベクトル、およびメモリに記憶されている画像の状態を
基にして、パンニング区間を開始／終了するための条件
を満たすかどうか判定し、処理中の画像の状態が、「パ
ンニング区間内」か「区間外」か判定する。

【００６２】画像の状態が、「パンニング区間外」から
「パンニング区間内」に変化した時点が、パンニング区
間の開始点である。そのとき、フレーム番号出力端子１
３から、処理中の画像に対応するフレーム番号を入力
し、その番号をパンニング開始点として、パンニング開
始点終了点蓄積部１５に登録する。

【００６３】一方、画像の状態が、「パンニング区間
内」から「パンニング区間外」に変化した時点は、パン
ニング区間の終了点であるので、同様に、フレーム番号
出力端子１３から処理中の画像に対応するフレーム番号
を入力し、それをパンニング区間の終了点としてパンニ
ング開始点終了点蓄積部１５に登録する。

【００６４】最後に、シーン判定部１４での処理につい
て説明する。まず、パンニング開始点終了点蓄積部１５
から、判定すべきパンニング区間の開始点、終了点の情
報を入力し、相関集中度合蓄積部１１からは、パンニン
グ区間に対応する画像の相関集中度合を入力する。入力
した情報を基に、図１のステップ６で説明した方法で、
パンニング区間が追尾シーンか視点移行シーンかの判定
を行う。判定結果は、出力端子１７から出力する。ま
た、区間の開始点、終了点の情報を出力端子１６から出
力する。

【００６５】以上のように、動き補償つきのフレーム間
相関から、移動物体の存在可能性を示す値を検出し、そ
の結果をパンニング区間毎にまとめて多数決処理するこ
とにより、パンニング区間が視点移行シーンか追尾シー
ンか判定できる。この方法では、動き領域の存在可能性
を示す相関集中度合が、パンニング区間内で統計的に評
価、判定されるため、相関計算の際のノイズの影響が軽
減され、正確な判定が行える。

【００６６】なお、画面の動きベクトル検出処理とし
て、隣接する２画像を入力とした動きベクトル検出回路
４の処理を説明したが、前述したように動きベクトル検
出には、カメラの角速度センサの出力を用いてもよい。

【００６７】また、図１のフローチャートではパンニン
グ区間検出（ステップ３）のあとに、移動領域の情報検
出（ステップ４）を行う方法を説明したが、図７のブロ
ック図で示すように、この２つの処理は本来、処理の優
先順位がなく、どちらの処理を先に行っても構わない。

【００６８】また、図１のフローチャートでは、パンニ
ング区間のシーン判定（ステップ６）は、処理すべき映
像がすべて終った時点で、検出された複数のパンニング
区間をまとめて判定しているが、図８のフローチャート
のように、パンニング区間が検出される毎に、ステップ
６の処理を行っても良い。以下、図８の処理手順を簡単
に説明する。

【００６９】図８において、ステップ１１からステップ
１４は、図１のステップ１からステップ４と同じであ
り、図８のステップ１６、ステップ１７は、図１のステ
ップ６、ステップ５に対応している。ステップ１５は、
ステップ１６のパンニング区間のシーン判定処理を行う
べきか判定するステップであり、ステップ１３において
パンニング区間の終了点が検出されたときのみ、ステッ
プ１６に移行し、それ以外のときは、ステップ１７の処
理に移る。ステップ１６では、パンニング区間毎に、シ
ーン判定を行う。

【００７０】以上のように、パンニング区間が検出され
る毎にシーン判定を行うことにより、移動領域の情報を
記録するためのメモリ容量を軽減できる。

【００７１】本発明のシーン判別方法の第１の実施例で
は、パンニング区間の検出処理（図１のステップ３）と
して、動きベクトルの大きさが所定値以上で継続してい
る条件（数１）によって、パンニング区間の開始点を検
出する方法を説明した。

【００７２】しかしながら、動きベクトルの大きさが大
きくなるのは、パンニング区間だけでなく、手ブレや画
角調整などによって、瞬間的に大きな動きベクトルが検
出されることもある。また、カメラの動きベクトルは、
画面内の動き物体などの影響で、正しく検出されない場
合もある。

【００７３】従って、本発明のシーン判別方法の第２、
第３の実施例では、このような外乱の中からパンニング
区間を安定に検出するためのパンニング区間検出方法に
ついて、説明する。

【００７４】まず、本発明のシーン判別方法の第２の実
施例について説明する。ここでは、「パンニング区間中
の動きベクトルは変化が少ない」ことに注目し、変化の
度合として動きベクトルの標準偏差を利用した方法を説
明する。

【００７５】図９は、図７のパンニング区間検出部１２
の具体的構成を示したものである。図９において、１３
はフレーム番号出力端子、２０は平均値検出部、２１は
標準偏差検出部、２２は条件判定部、２３はパンニング
区間開始点終了点検出部、２４は状態蓄積部、２５は動
きベクトル蓄積部である。以上のように構成されたシス
テムの動作について以下説明する。

【００７６】まず、平均値検出部２０は、動きベクトル
検出部４と動きベクトル蓄積部２５から、それぞれ現在
処理中の画像の動きベクトルＶｘ[τ]と過去の画像の動
きベクトルＶｘ[τ-1],Ｖｘ[τ-2],‥,Ｖｘ[τ-2M]を入
力し、入力した動きベクトルの時系列に平均化フィルタ
を施す。処理結果として、（数７）の平均値 mean_x[τ
-M] を検出する。ただし、フィルタ窓の大きさは、(2M+
1)とする。

【００７７】

【数７】

【００７８】一方、標準偏差検出部２１では、平均化フ
ィルタと同じ窓の期間の動きベクトルを入力し、標準偏
差 var_x[τ-M]を（数８）のように求める。

【００７９】

【数８】

【００８０】条件判定部２２では、得られた平均値 mea
n_x[τ-M]、標準偏差var_x[τ-M]に対して、予め設定さ
れた条件式を満たすかどうか判定する。ここで、条件式
は、t=τ-M の時刻の画像が、パンニング区間内かどう
かを判定するために設定されたものであり、「パンニン
グ区間内の画像では、平均値の絶対値が大きく、標準偏
差が小さい」という性質を利用する。

【００８１】例えば、（数９）のような条件式を設定
し、条件式を満たす場合、t=τ-M の画像はパンニング
区間内、満たさない場合、パンニング区間外と判定す
る。

【００８２】

【数９】

【００８３】また、一般に、平均値の絶対値が大きいほ
ど標準偏差も大きくなるので、標準偏差を正規化するた
めに、（数１０）のような条件式も設定できる。

【００８４】

【数１０】

【００８５】（数１０）の条件式の場合、パンニング区
間内と判定される領域は図１０の灰色で示した部分であ
る。

【００８６】以下、実際の画像の動きベクトルの例をと
って、（図１０）の条件式の有効性を説明する。図１１
は、パンニングシーンを含む画像の動きベクトルの時間
変化(a)と、同じ画像の（数１１）の時間変化(b)を示し
ている。

【００８７】

【数１１】

【００８８】図１１(a)中の矢印は、実際のパンニング
シーンの範囲を示している。また、図１１(b)の水平線
は、（数１０）の条件式で、TH3=0.13, TH4 = TH5 = 0
としたときのパンニング区間の閾値であり、(b)中の矢
印の範囲が「パンニング区間内」と判定されることを示
している。図からわかるように、実際のパンニングシー
ンに近い部分ほど、（数１１）は低い値を示しており、
条件式（数１０）によってパンニング区間の内外を判定
できることがわかる。

【００８９】このように、条件判定部２２において、処
理中の画像が「パンニング区間内」か「パンニング区間
外」かを判定する。

【００９０】状態蓄積部２４は、条件判定部２２におけ
る判定結果が記録、更新される部分である。

【００９１】パンニング区間開始点終了点検出部２３で
は、条件判定部２２からの判定結果と状態蓄積部２４か
らの前回処理画像の結果を入力し、処理中の画像がパン
ニング区間の開始点または終了点かどうか判定する。パ
ンニング区間の開始点または終了点の場合は、フレーム
番号出力端子１３から処理中の画像のフレーム番号を入
力し、開始点または終了点に対応する画像のフレーム番
号を出力する。

【００９２】具体的には、条件判定部２２からの判定結
果が「パンニング区間外」で、かつ状態蓄積部２４に記
録されている前回処理画像の結果が「パンニング区間
内」のとき、t=τ-M に対応するフレーム番号を、パン
ニング区間の終了点として出力する。一方、条件判定部
２２からの判定結果が「パンニング区間内」で、かつ前
回処理画像が「パンニング区間外」のときは、t=τ-M
に対応するフレーム番号を、パンニング区間の開始点と
して出力する。

【００９３】以上のように、動きベクトルの平均値と標
準偏差によって、動きベクトルの大局的な変化を検出す
ることにより、ノイズに対して安定なパンニング判定を
行える。

【００９４】なお、パンニング区間が細かく分断される
のを防ぐため、パンニング区間内と判定する画像を近傍
にまで広げたり、隣接するパンニング区間を連結しても
よい。具体的手法例として、t=τ-M の画像が条件式を
満たした時、(τ-2M)<t<τ の画像すべてをパンニング
区間内とする方法を説明する。

【００９５】まず、状態蓄積部２４では、前回処理時点
での判定結果（パンニング区間内／外）だけでなく、暫
定的な終了点の情報も記憶するものとする。ここで前回
処理時点での判定結果をＪpre , 暫定的な終了点の情報
をEnd_pt とする。

【００９６】現在、条件判定部２２において、mean_x
[τ-M],var_x[τ-M]の条件判定を行ったものとする。パ
ンニング区間開始点終了点検出部２３は、条件判定部２
２からの判定結果Ｊnowと状態蓄積部２４からの情報
（Ｊpre, End_pt）に応じて、次のような処理を行う。（パターン１）Ｊpre = 「パンニング区間外」かつＪnow = 「パンニ
ング区間内」の場合パンニング区間開始点として、t=τ-2Mの画像に対応す
るフレーム番号を出力し、状態蓄積部２４に対して、暫
定的な終了点を End_pt = τ、判定結果をＪpre=「パ
ンニング区間内」に更新する。（パターン２）Ｊpre == 「パンニング区間内」かつＪnow == 「パンニ
ング区間内」の場合暫定的な終了点を End_pt = τに更新する。（パターン３）Ｊpre ==「パンニング区間内」かつＪnow == 「パンニ
ング区間外」かつτ-End_pt<= 2M の場合何もしない。（パターン４）Ｊpre ==「パンニング区間内」かつＪnow == 「パンニ
ング区間外」かつτ-End_pt> 2M の場合パンニング区間終了点として、 t=End_ptの画像に対応
するフレーム番号を出力し、状態蓄積部２４に対して、
判定結果をＪpre=「パンニング区間外」に更新する。
以上の方法によれば、条件式を満足する画像の近傍 M
の期間がパンニング区間となり、(2M+1)の範囲内で隣
接するパンニング区間も統合される。

【００９７】また、平均値検出部２０、標準偏差検出部
２１において、（数７）と（数８）で平均値、標準偏差
を求める方法を説明したが、他の処理手順で平均値、標
準偏差を求めても構わない。例えば（数１２）、（数１
３）のように、前回の処理結果を利用して、処理回数を
軽減することも可能である。

【００９８】

【数１２】

【００９９】

【数１３】

【０１００】次に、本発明のシーン判別方法の第３の実
施例では、パンニング区間検出の別の方法について説明
する。

【０１０１】まず、原理を説明する。第２の実施例で説
明した方法は、フィルタの窓という固定長の範囲で、局
所的な特徴量（平均値と標準偏差）を検出するものであ
った。

【０１０２】本実施例では、同方向の動きベクトルが連
続している期間毎に、動きベクトルの時系列を区切り、
区切られた可変長の期間毎に、局所的な特徴量を求め
る。以後、区切られた１つの期間を「符号連続期間」と
呼ぶ。

【０１０３】図１２の（a）は動きベクトルの時間変化
の例を示したもので、矢印で示した範囲は、実際のパン
ニング区間である。一方（b）は（a）の動きベクトル
を、同じ方向のベクトルの連続する期間（符号連続期
間）で区切ったものであり、符号連続期間の期間長を横
幅とする棒グラフで示している。ここで、縦軸は各符号
連続期間で動きベクトルを積分した値に対応している。
図からわかるように、パンニング区間に対応する符号連
続期間は、それ以外の符号連続期間に比べて、期間の長
さが長く、期間内での動きベクトルの積分値も大きい。
従って、符号連続期間の期間長と動きベクトルの積分値
を検出すれば、各符号連続期間がパンニング区間か否か
判定できる。

【０１０４】以下、符号連続期間に基づくパンニング区
間検出方法について説明する。図１３は、図７のパンニ
ング区間検出部１２の具体的構成を示したものである。

【０１０５】図１３において、１３はフレーム番号出力
端子、３０はベクトル状態記憶部、３１は符号連続判定
部、３２は期間長カウンタ、３３は動きベクトル積分算
出部、３４は条件判定部である。以上のように構成され
たシステムの動作について以下説明する。

【０１０６】まず、ベクトル状態記憶部３０は、前回ま
でに処理した画像のベクトル方向の状態を記憶する部分
で、記憶内容は逐次更新される。ここで、ベクトル方向
の状態は、以下の３つの状態である。

【０１０７】「正モード」：正方向の動きベクトルが連
続している状態「負モード」：負方向の動きベクトルが連続している状
態「零モード」：動きベクトルの大きさが小さい状態以下、t=τの時刻の画像の処理について説明する。

【０１０８】符号連続判定部３１では、処理中の画像の
動きベクトルＶｘ[τ]と、ベクトル状態記憶部３０から
の前画像のベクトル方向の状態Ｍ[τ-1]を入力し、（数
１４）のように、新たなベクトル方向の状態Ｍ[τ]を検
出する。

【０１０９】

【数１４】

【０１１０】さらに、２つのベクトル方向の状態Ｍ
[τ]、Ｍ[τ-1]を比較して、変化した場合は、「反転」
の信号を、同じ状態が継続している場合は、「連続」の
信号を、期間長カウンタ３２、動きベクトル積分算出部
３３、条件判定部３４に出力する。また、ベクトル状態
記憶部３０の記憶内容を、新しいベクトル方向の状態Ｍ
[τ]に更新する。

【０１１１】期間長カウンタ３２、動きベクトル積分値
算出部３３は、それぞれ、符号連続期間の期間長、符号
連続期間での動きベクトルの積分値を測定するためのメ
モリLength 、Sum を内蔵しており、初期状態で、それ
ぞれ０の値が記憶されているものとする。

【０１１２】符号連続判定部３１からの出力が「連続」
の場合、t=τの画像は、符号連続期間の途中である。こ
のとき、期間長カウンタ３２、動きベクトル積分値算出
部３３では、動きベクトルを入力して、メモリの値 Len
gth、Sum を（数１５）のように更新する。

【０１１３】

【数１５】

【０１１４】一方、符号連続判定部３１からの出力が
「反転」の場合は、今までの符号連続期間が終了し、t=
τの画像から新たな符号連続期間が開始した状態であ
る。このとき、まず、条件判定部３４では、たった今終
了した符号連続期間（τ-Length< t < τの時刻に対応
する画像の期間）が、パンニング区間であるかどうか判
定する。判定方法としては、期間長カウンタ３２と動き
ベクトル積分算出部３３のメモリの値、Length, Sumを
入力し、期間長Length, 動きベクトルの積分値Sumが、
（数１６）の条件式を満たすとき、この符号連続期間を
パンニング区間と判定する。

【０１１５】

【数１６】

【０１１６】符号連続期間（τ-Length < t < τ）がパ
ンニング区間と判定された場合、条件判定部３４は、フ
レーム番号出力端子１３からのフレーム番号を基にし
て、パンニング区間の開始点、終了点として、それぞ
れ、時刻τ、τ-Length の画像に対応するフレームを出
力する。

【０１１７】その後、期間長カウンタ３２、動きベクト
ル積分算出部３３では、メモリを一旦、０にクリアし、
新たな符号連続期間の処理を開始する。

【０１１８】以上のように、同方向の動きベクトルが連
続する期間毎に区切り、その期間長と、期間中での動き
ベクトルの積分値を検出することにより、ノイズに対し
て安定なパンニング判定を行える。

【０１１９】なお、パンニング区間が細かく分断される
のを防ぐために、隣接する複数の符号連続期間を連結し
た後、（数１６）の条件判定を行ってもよい。以下、具
体例を説明する。

【０１２０】まず、i番目に検出された符号連続期間の
開始点、終了点、期間長、動きベクトルの積分値をそれ
ぞれ start[i], end[i], Length[i], Sum[i] とする。

【０１２１】i 番目の符号連続期間と、その近傍の j
番目の符号連続期間が（数１７）

【０１２２】

【数１７】

【０１２３】を満たす時、２つの符号連続期間を統合し
て、新たな符号連続期間をつくる。新しい符号連続期間
の開始点、終了点、期間長、動きベクトルの積分値 sta
rt_n,end_n, Length_n, Sum_n は、（数１８）のように
表せる。

【０１２４】

【数１８】

【０１２５】新しい符号連続期間に対して、（数１６）
の条件判定を行い、パンニング区間と判定されれば、パ
ンニング区間の開始点、終了点として、start_n, end_n
を出力する。

【０１２６】以上のようにして、近傍の符号連続期間を
統合することにより、検出されるパンニング区間が細か
く分断されることを防げる。

【０１２７】次に本発明のシーン判別方法の第４の実施
例について説明する。

【０１２８】第１の実施例では、図１のステップ４にお
いて、フレーム間の相関画像の相関値の最大値を、移動
物体の存在可能性を表す情報（相関集中度合）として検
出し、視点移行シーン（移動物体の存在しないシーン）
と追尾シーン（存在するシーン）を判定した。ここで、
視点移行シーンと追尾シーンで、相関画像を比較してみ
ると、追尾シーンでは、中央付近に定常的に存在する移
動物体の領域が、相関の低い画素（相関値の高い画素）
として検出されるのに対し、視点移行シーンで相関の低
い画素として検出されるのは、ノイズ成分である。ノイ
ズ成分は、検出される場所や検出される画素数が、その
ときどきによって異なるので、統計的には画面全体に分
散していることが多い。

【０１２９】以上のことから、相関画像から相関の低い
画素を検出し、その画素数、重心位置、分散度合を測定
すれば、移動物体の存在の有無が判別できる。以下、本
実施例では、相関値の高い画素の数、重心位置、および
分散度合によって、２つのシーンを判別する方法を説明
する。

【０１３０】図１４は本発明のシーン判定方法を実現す
るためのシステム構成図である。図７と同じ構成要素に
は、同じ番号を付加してある。図１４において、１は映
像信号の入力端子、２はＡ／Ｄコンバータ、３はフレー
ムメモリ、４は動きベクトル検出回路、４０は前処理
部、４１は座標変換部、４２はフレーム間相関検出部、
４３は２値化処理部、４４は低相関画素数検出部、４５
は低相関画素重心検出部、４６は低相関画素分散検出
部、４７は移動物体情報蓄積部、１２はパンニング区間
検出部、１３はフレーム番号出力端子１３、１５はパン
ニング区間開始点終了点蓄積部、４８はシーン判定部で
ある。以上のように構成されたシステムの動作について
以下説明する。

【０１３１】まず、映像信号の入力端子１から入力され
た映像信号は、Ａ／Ｄコンバータ２に供給され、Ａ／Ｄ
コンバータ２は、映像信号をデジタル化し、フレームメ
モリ３、動きベクトル検出回路４、フィルタ８に出力す
る。ここでフレームメモリ３は、Ａ／Ｄコンバータ２か
らの映像信号を、およそ１画面分（１フレームまたは１
フィールド分）記憶できるものであり、Ａ／Ｄコンバー
タ２から出力される映像より、ちょうど１画面時間前の
映像信号を出力する。

【０１３２】一方、動きベクトル検出回路４は、Ａ／Ｄ
コンバータ２からの映像信号とフレームメモリ３からの
過去の映像信号を用いて、２つの画像間の動きベクトル
を求める。

【０１３３】以後の処理は、大きく２つの処理の流れに
分かれている。１つめは、パンニング区間検出部１２の
処理であり、図１のフローチャートのステップ３に相当
する。２つめは、前処理部４０から移動物体情報蓄積部
４７までの処理で、図１のフローチャートのステップ４
の処理に相当する。１つめの処理に関しては、第１、
２、３の実施例で説明したように、動きベクトル検出回
路４からの動きベクトルを基に、パンニング区間の開始
点、終了点を検出し、それをパンニング区間開始点終了
点蓄積部１５に記憶する。

【０１３４】以下２つめの処理について説明する。ま
ず、座標変換部４１では、動きベクトル検出回路４から
の動きベクトルを入力し、フレームメモリ３の前フレー
ムの画像を動きベクトル分平行移動させた画像、すなわ
ち動き補償予測画像を求める。前処理部４０では、Ａ／
Ｄコンバータ２からの現在の画像、および座標変換部４
１からの動き補償予測画像を入力し、それぞれの画像に
対して、ローパスフィルタや平均化フィルタなどによる
平滑化の処理、または間引きの処理を行う。

【０１３５】次に、フレーム間相関検出部４２では、動
き補償予測画像と現在の入力画像の前処理結果を入力
し、（数５）のような２画像間の相関計算を行い、相関
画像を出力する。２値化処理部４３では、相関画像中で
相関が低い画素が１、高い画素が０となるような２値化
処理を行う。ここでは、ノイズ成分を除去するために、
２値のメディアンフィルタなどを用いてもよい。

【０１３６】次に、低相関画素数検出部４４、低相関画
素重心検出部４５、低相関画素分散検出部４６では、そ
れぞれ、相関画像の中で相関の低い画素（２値化処理
後、１の値をもつ画素）の画素数、重心位置、および分
散を検出する。検出方法は（数１９）の通りである。

【０１３７】

【数１９】

【０１３８】移動物体情報蓄積部４７では、フレーム番
号出力端子１３から処理中の画像に対応するフレーム番
号を入力し、相関画像から得られた３種類の情報（相関
の低い画素の画素数、重心位置、分散）を、画像のフレ
ーム番号と対応させながら、逐次記録する。

【０１３９】シーン判定部４８では、まず、パンニング
開始点終了点蓄積部１５からパンニング区間の開始点、
終了点のフレーム番号を入力し、開始点から終了点まで
の画像に関する移動物体の情報を、移動物体情報蓄積部
４７から抽出する。次に、パンニング区間中、移動物体
が存在しているのかどうかを表すパラメータ、すなわち
移動物体存在可能性のパラメータを、抽出した３つの情
報を基に、求める。移動物体の存在可能性のパラメータ
は、パンニング区間に移動物体が存在する（すなわち追
尾シーン）場合の３つの情報の特徴 (1)相関の低い画素の数が、移動物体の大きさとして適
当である (2)相関の低い画素の重心位置が、ほぼ安定している
（ほとんど動かない）状態 (3)相関の低い画素の分散が、移動物体の大きさの範囲
に集中しているを利用して、（数２０）のように求める。

【０１４０】

【数２０】

【０１４１】求めた移動物体の存在可能性パラメータを
閾値と比較して、３つの可能性が共に高いときパンニン
グ区間は追尾シーン、可能性が低いときパンニング区間
は視点移行シーン、と判定する。最後に、追尾シーン／
視点移行シーンの判定結果とその区間の開始点、終了点
の情報を出力する。

【０１４２】以上のように、フレーム間相関画像から、
相関の低い画素の数、重心位置、および分散を検出し、
移動物体の存在可能性を表すパラメータを求める。パン
ニング区間中に移動物体の存在可能性の高い状態が、継
続しているかどうか評価することにより、移動物体の有
無を判定でき、パンニング区間が、視点移行シーンか追
尾シーンかを判定できる。

【０１４３】なお、相関画像を求める方法として、第１
の実施例及び本実施例では、隣接するフレーム同士を動
き補償した上で、フレーム間差分する方法を説明した。
しかしながら、移動物体の領域を、より忠実に検出する
為に、入力画像から被写体部分を除いた背景画像を逐次
作成し、背景画像と入力画像とのフレーム間差分を行っ
て相関画像を求めてもよい。背景画像を作成する方法と
しては、例えば、”移動物体像の抽出技術；川端ら、情
報処理学会論文誌 Vol.28, No.4, Apr. 1987”で提案さ
れている。以下、背景画像の作成方法について、簡単に
説明する。

【０１４４】まず、カメラ固定で被写体のみが移動する
シーンで、ある時点での入力画像と微小時間前の画像と
を比較する。画面内で時間変化の少ない画素の部分は、
入力画像、微小時間前の画像ともに、背景の領域である
可能性が大きい。一方、時間変化の大きい部分は、入力
画像または微小時間前の画像のどちらかが被写体の領域
である可能性が大きい。

【０１４５】この特徴を利用して、画面中の時間変化の
少ない部分は背景領域に属するものと判定し、入力画像
を累積演算して背景画像を更新する。一方、時間変化の
激しい部分は被写体領域に属するものと判定し、背景画
像を更新しない。この方法により、入力画像から被写体
領域を取り除いた背景画像を安定に作成することができ
る。具体的な背景画像の更新方法は、（数２１）のよう
になる。

【０１４６】

【数２１】

【０１４７】（数２１）では、時間変化の大小、すなわ
ち、入力画像と微小時間前の画像とのフレーム間差分の
大小によって、背景画像の更新方法を変えたが、入力画
像と背景画像とのフレーム間差分結果や、その結果にさ
らにマスク処理、ラベリング処理などを施して移動物体
領域を抽出した結果を用いて、背景画像の更新方法を変
えても良い。

【０１４８】このようにして求めた背景画像と、入力画
像との相関を求めることにより、さらに忠実な移動物体
の領域を検出できる。

【０１４９】次に本発明のシーン判別方法の第５の実施
例について説明する。第４の実施例では、フレーム間の
相関画像から、相関の低い画素の数、重心位置、および
分散度合を検出して、視点移行シーン（移動物体の存在
しないシーン）と追尾シーン（存在するシーン）を判定
した。しかしながら、相関画像は多数のノイズが点在す
るため、追尾シーンで、全ての相関の低い画素に対する
重心位置、分散を検出しても、正しく移動物体の特徴を
示さない場合もある。

【０１５０】ここで、相関の低い画素をラベリングし
て、複数のかたまりに分類した場合について考えると、
追尾シーンでは、移動物体の領域が、画面中最大の面積
を持つかたまりの領域に対応する可能性が大きい。従っ
て、最大面積のかたまりは、被写体の大きさの面積で、
中央付近に存在することが多い。一方、視点移行シーン
で検出される相関の低い画素は、ノイズ成分によるもの
なので、ラベリングされた、どのかたまりも面積が小さ
く、定常的に同じ場所に存在することは少ない。従っ
て、相関画像のラベリング結果のうち、面積最大のかた
まりを移動物体領域と仮定し、かたまりの面積、位置な
どの特徴を検出すれば、２つのシーンの判別が行える。

【０１５１】本実施例では、相関の低い画素をラベリン
グして得られた最大の面積の領域を基に、移動物体の有
無を判定する方法を説明する。

【０１５２】図１５は、図１４のシステム構成のうち、
破線で囲まれた部分を変更したものである。図１４と同
じ構成要素には、同じ番号を付加してある。図１５にお
いて、４３は２値化処理部、５１はラベリング部、５２
は移動物体領域面積検出部、５３は移動物体領域位置検
出部、５４は移動物体情報蓄積部、５５はシーン判定
部、１６、１７はシーン判定結果およびシーン区間の出
力端子である。以上のように構成されたシステムの動作
について以下説明する。

【０１５３】まず、２値化処理部４３では、図１４のフ
レーム間相関検出部４２から相関画像を入力し、相関画
像中で相関が低い画素が１、高い画素が０となるような
２値化処理を行う。ここで、ノイズ成分を除去するため
に、２値のメディアンフィルタなどを用いてもよい。

【０１５４】ラベリング部５１では、２値化処理部４３
から２値画像Ｂ’[x][y] を入力し、値が１の画素を、
隣接するもの同士で連結した「ラベル画像」を生成す
る。ラベル画像Ｌ[x][y] は、（数２２）のように表さ
れる。

【０１５５】

【数２２】

【０１５６】この画像から特定の整数値をとる画素のみ
を抽出すると、１つの連結成分が抽出できる。例えば、
２値画像が図１６(a)の場合、ラベル画像からは、図１
６(b)のように、Ａ，Ｂ，Ｃ，Ｄの４つの連結成分（領
域）が抽出される。

【０１５７】２値画像からラベル画像を求める処理、す
なわちラベリングは、さまざまな方法が提案されている
（例えば、”画像理解のためのディジタル画像処理[I
I]、鳥脇著昭晃堂”など）。以下、その一例を簡単に
説明する。

【０１５８】ラベリング処理では、画面中の左上の画素
から始めて、ラスタ走査によって順々に画素を処理して
いく。ここでは、現在処理する画素を、図１７中の(i,
j)の位置の画素 X0 とする。また、周辺の処理済みの画
素 X1,X2,X3,X4 に関しては、暫定的な画素のラベル
（ラベル画像Ｌの値） lp(p=1,2,3,4)が、割り付けられ
ているものとする。また、各画素に記憶されている暫定
的なラベルと実際のラベルの値を対応させるためのラベ
ル表（一次元配列）をＴ[i]（ｉのラベルを持つ画素の
実際のラベル値は、Ｔ[i]）とし、現在までに、λ個の
ラベルが割り付けられているとする。X0が０のとき、l0
＝０として、次の画素の処理に移行する。X0が１のと
き、以下の処理を行う。

【０１５９】今、X0 の周辺の４つの画素のラベルがｎ
種類（｛Ｔ[lp]，lp≠0，p＝1,2,3,4｝の中に異なる正
の数がｎ種類）で、ラベルの値を小さい順に並べたもの
が LL1, LL2,...,LLn とする。ｎ＝０（周辺に正の画素
がない）のとき（１）の処理、ｎ＝１のとき（２）の処
理、ｎ＝２のとき（３）の処理を行う。（１）λ＝λ＋１，Ｔ[λ]＝λ，l0＝λ （２）l0＝LL1 （３）l0＝LL1，Ｔ[γ]＝LL2（２≦γ≦λ）なるＴ[γ]のすべてに対し
て、Ｔ[γ]＝LL1全画素が終了するまで、以上の処理を
行う。最後に、すべての画素にたいして、Ｌ[x][y]を走
査し、正のラベル値ｌxyをもつ画素に対して、lxyをＴ
[lxy]に更新する。以上のようにして、２値画像からラ
ベル画像を求めることができる。

【０１６０】次に、移動物体領域面積検出部５２では、
ラベリング部５１で得られた全ての連結領域に対して領
域の面積（各連結領域に属する画素の数）pix[τ]を検
出する。その中で面積が最大となる領域を移動物体領域
として特定し、移動物体領域位置検出部５３に移動物体
領域を示す番号を出力する。また、移動物体情報蓄積部
５４に移動物体領域の面積を出力し、処理中の画像ｔ＝
τのフレーム番号に対応して記憶させる。

【０１６１】一方、移動物体領域位置検出部５３では、
ラベリング部５１で得られた連結領域から、移動物体領
域面積検出部５２で移動物体領域として特定された連結
領域を選び、領域の重心位置wei_x[τ]，wei_y[τ]を検
出する。また、移動物体情報蓄積部５４に移動物体領域
の重心位置を出力し、処理中の画像ｔ＝τのフレーム番
号に対応して記憶させる。

【０１６２】シーン判定部５５では、まず、パンニング
開始点終了点蓄積部１５からパンニング区間の開始点、
終了点のフレーム番号を入力し、開始点から終了点まで
の画像に関する移動物体の情報を、移動物体情報蓄積部
５４から抽出する。

【０１６３】次に、パンニング区間中、移動物体が存在
しているのかどうかを表すパラメータ、すなわち移動物
体存在可能性のパラメータを、抽出した２つの情報を基
に求める。移動物体の存在可能性のパラメータは、移動
物体領域面積検出部５２において特定された移動物体領
域が、移動物体として妥当かどうかを示すパラメータで
もある。ここでは、移動物体の特徴（１）移動物体領域の面積は、移動物体の大きさとして
適当である（２）移動物体領域の重心位置は、画面中央付近に安定
しているを利用して、（数２３）のように求める。

【０１６４】

【数２３】

【０１６５】求めた移動物体の存在可能性パラメータを
閾値と比較して、２つの可能性が共に高いときパンニン
グ区間は追尾シーン、可能性が低いときパンニング区間
は視点移行シーンと判定する。最後に、追尾シーン／視
点移行シーンの判定結果とその区間の開始点、終了点の
情報を出力する。

【０１６６】以上のように、フレーム間相関画像をラベ
リングして、面積が最大の連結領域を移動物体領域とし
て、その面積、重心位置を検出する。パンニング区間を
総じて、検出した移動物体領域の情報が、移動物体とし
て妥当であるかどうか評価することにより、移動物体が
存在するかどうか判定でき、パンニング区間が、視点移
行シーンか追尾シーンかを判定できる。この方法では、
相関画像から移動物体の情報を検出する際に、ノイズ成
分を除去するため、正確な判定が行える。

【０１６７】次に本発明の代表画像抽出装置の実施例に
ついて説明する。この代表画像抽出装置は、今まで説明
したシーン判定方法を用いて視点移行シーンと追尾シー
ンを検出し、検出された２つのシーンとそれ以外のシー
ンとの重要度を基に、動画像の代表的な画像を自動抽出
する装置である。

【０１６８】まず、本装置によって動画像の代表的な画
像を自動抽出するための原理について、図１８を用いて
説明する。図中のａ）の帯は、撮影者が、録画の開始ボ
タンを押してから、終了ボタンを押すまでの間を１カッ
トとして、動画像をカットの単位で区切ったもので、こ
の例ではカット（Ａ）、カット（Ｂ）、カット（Ｃ）の
３つのカットから構成されることを示している。ここ
で、水平方向は時間軸であり、カットの水平方向の長さ
は、カットに含まれるフレーム数に比例している。例え
ば、運動会を撮影している場合であれば、カット（Ａ）
は、お遊技のカット、カット（Ｂ）は、かけっこのカッ
ト、カット（Ｃ）は、玉いれのカット、というように、
画像内容の似たものが１つのカットとしてまとめられ
る。

【０１６９】一方、図中のｂ）の帯は、ａ）のカットの
区切りをさらに細かい単位で区切ったもので、１カット
内の動画像を、「追尾シーン」、「視点移行シーン」、
「その他のシーン」の３種類のシーンに分割している。
図中で、横縞の部分が「追尾シーン」、縦縞の部分が
「視点移行シーン」、粗い斜線部分が「その他のシー
ン」である。例えば、カット（Ａ）では、全てが「その
他のシーン」であったので、カットは細分化されずに１
つのままである。カット（Ｂ）の、かけっこのカットで
は、カットの中央付近で、被写体を追尾するシーンがあ
ったので、走り出す前のシーン（Ｂ−１）、走っている
（追尾）シーン（Ｂ−２）、走り終わったシーン（Ｂ−
３）、の３つのシーンに分けられている。カット（Ｃ）
の玉いれのカットでは、始めに赤組を撮影し、その後パ
ンニングして、白組を撮影しているので、赤組のシーン
（Ｃ−１）、視点移行シーン（Ｃ−２）、白組のシーン
（Ｃ−３）と３つのシーンに分けられる。

【０１７０】このように３種類に分類されたシーンは、
動画像を要約する際の重要度やその意味合いが異なって
いる。追尾シーンは、カメラマンが撮影中、常に特定の
被写体に注目したシーンであるから、カット内のその他
のシーンより重要だと推定される。視点移行シーンは、
シーン前後で画像内容が変化しているので、カットの画
像を映像内容の単位でさらに区切ることができる。しか
し視点移行シーン内の画像自体は、別の被写体へ視線を
移すまでの画角調整期間なので、前後のシーンに比べて
重要度は低い。

【０１７１】このようにして、カット中のシーンの重要
度の順位づけができ、例えばカット（Ｂ）では、追尾シーン（Ｂ−２）＞その他のシーン｛（Ｂ−
１）,（Ｂ−３）｝カット（Ｃ）では、その他のシーン｛（Ｃ−１）,（Ｃ−３）｝＞視点移
行シーン（Ｃ−２）となる。このようなシーンの重要度
の順位付けを行えば、シーン単位で動画像を要約するこ
とができる。すなわち、各カットで最高の重要度を持つ
シーンを少なくとも１シーン選び、それをつなぎ合わせ
れば、重要なシーンだけの要約映像ができあがる。例え
ば、図１８の場合、選ばれるシーンは、（Ａ−１）、（Ｂ−２）、（Ｃ−１）、（Ｃ−３）となり、画像内容に応じた要約ができる。さらに、図１
８のｃ）で示すように、特願平５−１４７３３７号の静
止画像自動抽出方法を使って、選ばれたシーン毎に代表
的な画像を抽出することにより、動画像の目次画像が自
動的にできあがる。

【０１７２】次に本発明における代表画像抽出装置の構
成について説明する。図１９は、代表画像抽出装置の構
成図である。図１９において、１０１は画像を特定する
ための情報の入力端子、１０２は映像信号の入力端子、
１０３は撮影状態情報獲得部、１０４はカメラ操作情報
獲得部、１０５は画像処理情報獲得部、１０６はカット
チェンジ検出部、１０７はシーン判定部、１０８はシー
ン内代表画像抽出部、１０９はシーン優先度推定部、１
１０は候補画像蓄積部、１１１は代表画像決定部、１１
２は出力装置である。以下、図１９の構成における代表
画像抽出装置の動作について詳細に説明する。

【０１７３】まず、撮影状態情報獲得部１０３は、カメ
ラの撮影状態をセンサーで検出した情報を獲得する部分
で、例えば角速度センサーによって検出したパンニング
等のカメラの動き情報、あるいは光量センサーによる被
写体光量や絞り開度センサーで検出したレンズの絞り開
度、あるいはレンズ位置検出によるフォーカス距離等を
獲得する。

【０１７４】また、カメラ操作情報獲得部１０４は、ビ
デオカメラで撮影した時の録画開始操作やズーム操作等
の情報を獲得する部分である。録画開始操作情報は撮影
者が録画開始のボタンを押下した時点にフラグを立てて
録画開始点を示す情報であり、ズーム操作情報は、ズー
ム倍率を表す情報または、ズームインまたはズームアウ
トのボタンを押下した情報である。

【０１７５】また、画像処理情報獲得部１０５は、映像
信号を入力として画像処理した情報を獲得する部分で、
例えばフォーカス制御を行うために求めた映像信号の高
周波成分の周波数や大きさ、あるいは、フレーム間差分
の結果、さらにはγ補正値や色温度等を抽出する。

【０１７６】カットチェンジ検出部１０６は、カットの
区切りを検出する部分であり、カメラ操作情報獲得部１
０４から録画開始操作情報を入力して、カットの最初の
フレームのみが１、それ以外のフレームは０となるタイ
ミングパルスを出力する。

【０１７７】シーン判定部１０７は、動画像から視点移
行シーンと追尾シーンを検出する部分であり、構成は、
既に本発明のシーン判定方法で説明した図７と同じであ
る。シーン判定部１０７の出力端子のうち、１１４は検
出されたシーンが視点移行シーンか追尾シーンかの判定
結果を出力する端子で、図７の１７に対応する。また、
出力端子１１３は検出されたシーンの区間（開始点、終
了点）を特定するタイミングパルスを出力する端子で、
図７の１６に対応する。ただし、このタイミングパルス
は、視点移行シーンまたは追尾シーンの最初のフレーム
で１、最後のフレームで−１、それ以外の時は０となる
ような信号とする。

【０１７８】シーン優先度推定部１０９は、１カット内
に含まれるシーンを重要度で順序づけすることで、各カ
ットを代表するシーンを選択する。具体的にはまず、カ
ットチェンジ検出部１０６からカットの区切りのタイミ
ングパルス、シーン判定部１０７からシーンの区間を示
すタイミングパルス１１３とシーンの判定結果１１４を
入力し、１カット内に含まれるシーンを列挙し、シーン
の種類およびカット内での通し番号を記録する。

【０１７９】以上の処理を図２０の具体例に対して行う
と、１．その他のシーン２．追尾シーン３．その他のシーン４．視点移行シーン５．その他のシーンと記録される。ただし、図２０において（ａ）は、カッ
トチェンジのタイミングパルス、（ｂ）はシーン判定部
からのタイミングパルス、（ｃ）はシーン判定結果であ
る。

【０１８０】次に、列挙されたシーンを、「視点移行シ
ーン」を区切りとしたグループにまとめ、各グループの
中で、シーンの重要度の順位づけをする。図２０の場合
は、・第１グループ１．その他のシーン２．追尾シーン３．その他のシーン・第２グループ５．その他のシーンの２つのグループに分かれ、各グループの重要度の順位
は、・第１グループ順位１ − ２．追尾シーン順位２ − １．その他のシーン順位２ − ３．その他のシーン・第２グループ順位１ − ５．その他のシーンとなる。

【０１８１】最後にグループ内で最高順位を持つシーン
の番号を、すべてのグループから抽出し、代表画像決定
部１１１に出力する。図２０の例では、第２シーン（追
尾シーン）と第５シーン（その他のシーン）が選ばれ
る。

【０１８２】一方、シーン内代表画像抽出部１０８は、
撮影状態情報獲得部１０３とカメラ操作情報獲得部１０
４と画像処理情報獲得部１０５から各種情報を入力し、
動画像中のフレーム毎の重要度を推定し、各シーンで重
要度が最大のフレームをシーン内代表画像として検出す
る。

【０１８３】シーン内代表画像抽出部１０８における処
理は、特願平５−１４７３３７号の静止画像自動抽出方
法において、カット内の代表画像を検出する処理と同じ
である。以下、シーン内代表画像抽出部１０８の構成の
一例を用いて、処理手順を説明する。

【０１８４】図２１は、シーン内代表画像抽出部１０８
の構成の一例である。図２１において、２０１はタイミ
ング生成部、２０２はスイッチ回路、２０３、２０４、
２０５、２０６、２０７、２０８、２０９、２１０は、
重みづけ回路、２１１は「その他のシーン」用評価値算
出部、２１２は「追尾シーン」用評価値算出部、２１３
は最大値検出部である。

【０１８５】まず、タイミング生成部２０１は、図１９
のカットチェンジ検出部１０６からのカット区切りのタ
イミングパルスと、シーン判定部１０７からのシーン区
切りのタイミングパルスを入力して、スイッチ回路２０
２と最大値検出部２１３に利用するためのタイミングパ
ルスを生成する。ここで生成されるタイミングパルス
は、「その他のシーン」の最初のフレームで１、「追尾
シーン」または「視点移行シーン」の最初のフレームで
−１、それ以外のフレームで０となるようなパルスであ
る。図２０の例では、（ｄ）のようなパルスが生成され
る。

【０１８６】一方、スイッチ回路２０２は、図１９の撮
影状態情報獲得部１０３、カメラ操作情報獲得部１０
４、画像処理情報獲得部１０５から以下のような情報を
入力する。撮影状態情報獲得部１０３からは、ジャイロ
センサから得られたカメラの角速度情報、カメラ操作情
報獲得部１０４からは、ズーム倍率の情報、画像処理情
報獲得部１０５からは、フォーカス制御のための高周波
成分とフレーム間差分値、被写体情報を入力する。ここ
で被写体情報とは、追尾シーンでの被写体の位置、大き
さ等の情報である。被写体情報の検出方法としては、例
えば、シーン判定方法で説明した、動き補償つきフレー
ム間相関画像を利用して、その平滑化画像の最大値をと
る位置（すなわち、相関集中度合となる位置）を被写体
位置とし、平滑化画像上の被写体位置周辺で、しきい値
以上の値をもつ画素の外枠の水平長さを被写体の大きさ
とする。

【０１８７】スイッチ回路２０２に入力される５種類の
情報は、各４入力端子を持つブロック２つに分離、分類
される。すなわち、第１ブロック、「その他のシーン」
用のブロックで、角速度情報、ズーム倍率、高周波成
分、フレーム間差分値の４情報から成り、第２ブロック
は「追尾シーン」および「視点移行シーン」用のブロッ
クで、高周波成分、フレーム間差分値、ズーム倍率、被
写体情報から成る。スイッチ回路２０２では、シーンの
状態に応じて、常にどちらか一方のブロックだけをＯＮ
状態にして、次の重み付け回路２０３から２１０に対し
て、ＯＮ状態のブロックに接続されている回路のみの処
理を行わせる。

【０１８８】すなわち、タイミング生成部２０１からの
パルスを入力し、タイミングパルスが１のフレームから
−１のフレームまでの間（「その他のシーン」の間）、
第１ブロックをＯＮ状態にし、反対にタイミングパルス
が−１のフレームから１のフレームまでの間（「追尾シ
ーン」および「視点移行シーン」の間）、第２ブロック
をＯＮ状態にする。

【０１８９】まず、第１ブロックがＯＮ状態、すなわち
「その他のシーン」の間の処理について説明する。「そ
の他のシーン」の間、８個の重みづけ回路のうち、重み
づけ回路２０３、２０４、２０５、２０６の４個だけの
処理が行われる。重みづけ回路では、それぞれの入力情
報に対して特有の重みをかけて、重要度の高い画像ほど
大きな値を出力する。ここでの重みづけ方法は、入力情
報とシーンに依存している。ズーム倍率に関しては、ズ
ーム倍率が高い方が撮影者が注目している、と推定され
る。従って、重みづけ回路２０４では、ズーム倍率が高
いほど大きな値を出力する。

【０１９０】フォーカス制御のための高周波成分に関し
ては、高周波成分が少ないほど、画像がぼけている可能
性がある。従って、重みづけ回路２０６では高周波成分
が所定値以下のとき、極端に小さい値を出力する。

【０１９１】また、フレーム間差分値に関しては、急に
フレーム間差分値が大きくなったときは、被写体の前を
大きな障害物が通りすぎたり、フラッシュがおきたりし
て、画像が乱れている可能性がある。従って、重みづけ
回路２０５ではフレーム間差分値が大きいほど小さい値
を出力する。

【０１９２】また、「その他のシーン」でカメラが揺れ
ているときは、手ぶれで画面が乱れている可能性があ
る。従って重みづけ回路２０３では、ジャイロセンサか
らの角速度情報の大きさが大きいほど、小さい値を出力
する。

【０１９３】その他のシーン用評価値算出部２１１で
は、重みづけ回路２０３、２０４、２０５、２０６から
の出力を加算して、各フレームの評価値を求める。

【０１９４】最大値検出部２１３では、その他のシーン
用評価値算出部２１１から各フレームの評価値を入力
し、シーン内で評価値が最大となるフレームを検出す
る。具体的な処理手順としては、まず、タイミング生成
部２０１からタイミングパルスを入力し、パルスが１の
フレームから始めて、次にパルスが１または−１となる
フレームまでの間で、評価値の最大値検出の処理を行
う。同時に、入力端子１０１からフレームを特定するた
めの情報を入力し、評価値の最大値をもつフレームに対
する情報をメモリに記憶する。ここでフレームを特定す
るための情報とは、後で特定の画像を呼び出すことので
きる情報であり、フレーム番号やタイムコード等の通し
番号だけでなく、映像自体も含んでいる。シーンの最後
のフレームの時点で、シーン内の最大評価値を持つフレ
ームが決定し、そのフレームを特定する情報をメモリか
ら呼び出し、図１９の候補画像蓄積部１１０に記憶させ
る。

【０１９５】以上、スイッチ回路２０２において、第１
ブロックがＯＮ状態での処理を説明したが、第２ブロッ
クがＯＮ状態、すなわち「追尾シーン」と「視点移行シ
ーン」の間の処理も、ほぼ同じである。まず、スイッチ
回路２０２によって、重みづけ回路２０７、２０８、２
０９、２１０が選択される。そのうち、重みづけ回路２
１０は、「追尾シーン」での被写体情報に関するもので
ある。「追尾シーン」では、被写体情報として、被写体
の位置と大きさが検出できるが、被写体が中央に大きく
写っているものが良い画像と推定される。従って、重み
づけ回路２１０では、被写体位置が画面の中央に近いほ
ど、また被写体の大きさが大きいほど、大きな値を出力
する。ただし、この処理を行う時点では、まだ、対象と
なるシーンが「視点移行シーン」か「追尾シーン」か判
定できていないので、「追尾シーン」だけでなく、「視
点移行シーン」に対しても被写体情報の処理を行うこと
になる。

【０１９６】重みづけ回路２０７、２０８、２０９は、
それぞれ「その他のシーン」に対する重みづけ回路２０
６、２０５、２０４と同じ処理である。追尾シーン用評
価値算出部２１２では、重みづけ回路２０７、２０８、
２０９、２１０からの出力を加算して、各フレームの評
価値を求める。最大値検出部２１３では、追尾シーン用
評価値算出部２１２から各フレームの評価値を入力し、
「その他のシーン」と同様にして、シーン内で評価値が
最大となるフレームを検出し、そのフレームの情報を候
補画像蓄積部１１０に出力する。

【０１９７】図１９の候補画像蓄積部１１０では、各シ
ーンの最終フレームの度に、そのシーンの評価値最大の
フレームの情報が送られ、順につけたシーンの通し番号
とともに蓄積する。ここで、通し番号は、シーン優先度
推定部１０９におけるシーンの通し番号に一致するもの
とし、１カットの処理ごとにクリアされるものとする。

【０１９８】代表画像決定部１１１では、シーン優先度
推定部１０９から重要なシーンの番号を入力し、候補画
像蓄積部１１０にアクセスして、シーン番号に対応する
情報を読みだす。ここで読み出される情報は、重要なシ
ーンの中で、さらに評価値が最高のフレームに関する情
報である。

【０１９９】読み出された情報は、記憶装置や表示装置
等の出力装置１１２に出力され、動画像の目次画像とし
て表示されたり、後で動画像の内容を簡単に把握するた
めに、要約の情報として記憶させたりする。

【０２００】以上のように、本発明のシーン判定方法を
用いて動画像の代表的画像を選択することにより、追尾
シーンの画像を重要なシーンと判断してその中から代表
画像を選択し、一方、視点移行シーンの前後では、映像
内容が変化したと判断し、映像内容に応じた単位で代表
画像を選択することができる。

【０２０１】なお、本実施例ではカットチェンジ検出方
法として、カメラからの録画開始・終了情報を用いる方
法を説明したが、フレーム間差分等の画像処理によって
カットチェンジを検出してもよい。

【０２０２】また、シーン内代表画像抽出部１０８にお
ける代表画像抽出方法として、図２１に示す方法、すな
わち、撮影状態情報獲得部１０３からの角速度情報、カ
メラ操作情報獲得部１０４からのズーム倍率情報、画像
処理情報獲得部１０５からの高周波成分情報、フレーム
間差分値情報、被写体情報を入力とした代表画像抽出方
法を説明したが、入力は上記情報に限定されない。例え
ば、絞りの状態や、画面のコントラストの情報等を用い
ても良い。また、撮影状態情報獲得部１０３からの角速
度情報の代わりに、画像処理によって求めた動きベクト
ルを用いる、というように、上記入力情報を別の情報獲
得部から得ても同様の処理が行える。

【０２０３】また、上記実施例では、移動物体の存在
を、相関画像内の相関の低い部分の分布に着目して、そ
の特徴を測定することにより判定する場合について説明
したが、これに限らず、例えば、移動物体が存在しない
部分に着目し、言い替えれば、相関画像内の相関の高い
部分に着目して、その特徴を測定することにより同様の
判定を行なうことも可能であり、その様な構成でももち
ろんよい。この場合、動画像の映像信号を入力とし、動
画像中で撮影者がカメラを一定方向に連続して動かした
シーンを抽出し、前記シーンを撮影中撮影者は、被写体
を追尾するためにカメラを動かしたのか、それとも別の
被写体に視線を移すためにカメラを動かしたのかを判別
するためのシーン判別方法であって、カメラの動きに伴
って動画像のフレーム間に生じる動きベクトルを検出
し、動画像内でカメラが一定方向に連続して動いた複数
のフレームをパンニング区間として検出し、前記動きベ
クトルを検出した一方のフレーム画像または前記フレー
ム画像を加工した画像に対して、前記動きベクトルを用
いて前記フレーム間のカメラの動きを補償し、もう一方
のフレーム画像との相関画像を検出し、前記相関画像内
の相関の高い部分の分布の特徴を測定し、前記パンニン
グ区間毎に前記相関の高い部分の分布の特徴を統合し
て、その統合された特徴に基づいて、前記パンニング区
間での移動物体の存在可能性を表す量を求め、前記存在
可能性を表す量が高いとき、前記パンニング区間は被写
体を追尾したシーンと判定し、反対に前記存在可能性を
表す量が低いとき、別の被写体に視線を移すためのシー
ンと判定するものである。さらに具体的には、相関画像
内の相関の高い部分の画素数を検出し、各前記パンニン
グ区間に属するフレーム中で、１フレーム中の全画素数
から前記画素数を引いた残りの画素数が移動物体の大き
さとして妥当な範囲にあるフレームの割合を移動物体の
存在可能性を表す量として求め、前記存在可能性を表す
量が高いとき、前記パンニング区間は被写体を追尾した
シーンと判定し、反対に前記存在可能性を表す量が低い
とき、別の被写体に視線を移すためのシーンと判定する
ものである。

【０２０４】

【発明の効果】以上のように本発明のシーン判定方法
は、動画像からパンニング等でカメラが連続的に動いた
区間を取り出し、カメラの動きを補償したフレーム間相
関を求めて局所的に相関の低くなっている部分を検出す
ることで、画面上に移動物体が存在するかどうかを推定
できる。さらに、移動物体の推定結果を、各パンニング
区間内で統計的に評価することにより、追尾シーンと視
点移行シーンとが判別できるようになる。

【０２０５】また、本発明の代表画像記録・表示装置
は、本発明のシーン判定方法を用いて動画像の代表的画
像を選択することにより、追尾シーンの画像を重要なシ
ーンと判断してその中から代表画像を選択したり、視点
移行シーンの前後では、映像内容が変化したと判断し
て、映像内容毎に代表画像を選択することができる。

【０２０６】このように、本発明のシーン判別方法を利
用することにより、カメラの動きだけでは混合しがちな
視点移行シーンと追尾シーンを正しく判別できるので、
それぞれのシーン毎に撮影者の意図に応じた編集、ブラ
ウジングの操作が行える。

【０２０７】また、視点移行シーンによって映像内容の
区切りを検出することにより、「話の展開が速い」とき
は代表画像が多く、「ずっと同じような画面が続く」と
きには代表画像が少なく検出されるので、画像内容に応
じた動画像の単位化が行える。

【図面の簡単な説明】

【図１】本発明のシーン判別方法における第１の実施例
を示すフローチャート

【図２】(A),(B)は動画像の追尾シーンと視点移行シー
ンを示す図

【図３】動画像の動きベクトルを示す図

【図４】代表点マッチング法における代表点と周辺画素
の関係を示す図

【図５】動きベクトルの時間変化とパンニング区間の関
係を示す図

【図６】(A),(B)は視点移行シーンと追尾シーンの一例
に対して相関集中度合を求める過程を示す図

【図７】本発明のシーン判別方法を実現するための構成
の一実施例を示すブロック図

【図８】本発明のシーン判別方法における第１の実施例
の図１とは異なる手順を示すフローチャート

【図９】本発明のシーン判別方法の第２の実施例を実現
するための構成の一実施例を示すブロック図

【図１０】図９の条件判定部２２においてパンニング区
間が検出される条件を示す図

【図１１】(a),(b)は実際の動きベクトルの時間変化の
一例に対してパンニング区間検出のパラメータを示す図

【図１２】(a),(b)は実際の動きベクトルの時間変化の
一例に対してパンニング区間検出のパラメータを示す図

【図１３】本発明のシーン判別方法の第３の実施例を実
現するための構成の一実施例を示すブロック図

【図１４】本発明のシーン判別方法の第４の実施例を実
現するための構成の一実施例を示すブロック図

【図１５】本発明のシーン判別方法の第５の実施例を実
現するための構成の一実施例を示すブロック図

【図１６】ラベル画像を示す図

【図１７】ラベリング方法を示す図

【図１８】動画像のカットとシーンとシーン内の代表画
像の関係を示す図

【図１９】本発明の代表画像記録・表示装置の一実施例
の構成を示すブロック図

【図２０】図１９のカットチェンジ検出部、シーン判定
部および図２１のタイミング生成部の出力の一例を示す
図

【図２１】図１９のシーン内代表画像抽出部の構成の一
例を示すブロック図

【符号の説明】

１映像信号入力端子２Ａ／Ｄコンバータ３フレームメモリ４動きベクトル検出回路５可変遅延回路７、８フィルタ９フレーム間相関検出部１０相関集中度合検出部１１相関集中度合蓄積部１２パンニング区間検出部１３フレーム番号出力端子１４シーン判定部１５パンニング開始点終了点蓄積部１６パンニング開始点及び終了点を特定するためのフ
レーム番号出力端子１７シーン判定結果を出力するための出力端子２０平均値検出部２１標準偏差検出部２２条件判定部２３パンニング区間開始点終了点検出部２４状態蓄積部３０ベクトル状態記憶部３１符号連続判定部３２期間長カウンタ３３動きベクトル積分算出部３４条件判定部４０前処理部４１座標変換部４２フレーム間相関部４３２値化処理部４４低相関画素数検出部４５低相関画素重心検出部４６低相関画素分散検出部４７移動物体情報蓄積部４８シーン判定部５１ラベリング部５２移動物体領域面積検出部５３移動物体領域位置検出部５４移動物体情報蓄積部５５シーン判定部１０１画像を特定するための情報の入力端子１０２映像信号の入力端子１０３撮影状態情報獲得部１０４カメラ操作情報獲得部１０５画像処理情報獲得部１０６カットチェンジ検出部１０７シーン判定部１０８シーン内代表画像抽出部１０９シーン優先度推定部１１０候補画像蓄積部１１１代表画像決定部１１２出力装置２０１タイミング生成部２０２スイッチ回路２０３、２０４、２０５、２０６重みづけ回路２０７、２０８、２０９、２１０重みづけ回路２１１「その他のシーン」用評価値算出部２１２「追尾シーン」用評価値算出部２１３最大値検出部

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成７年５月１９日

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】図１１

【補正方法】変更

【補正内容】

【図１１】実際の動きベクトルの時間変化の一例に対し
てパンニング区間検出のパラメータを示す図

Claims

【特許請求の範囲】

【請求項１】動画像の映像信号を入力とし、動画像中で
撮影者がカメラを一定方向に連続して動かしたシーンを
抽出し、前記シーンを撮影中撮影者は、被写体を追尾す
るためにカメラを動かしたのか、それとも別の被写体に
視線を移すためにカメラを動かしたのかを判別するため
のシーン判別方法であって、カメラの動きに伴って動画
像のフレーム間に生じる動きベクトルを検出し、動画像
内でカメラが一定方向に連続して動いた複数のフレーム
をパンニング区間として検出し、前記動きベクトルを検
出した一方のフレーム画像または前記フレーム画像を加
工した画像に対して、前記動きベクトルを用いて前記フ
レーム間のカメラの動きを補償し、もう一方のフレーム
画像との相関画像を検出し、前記相関画像内の相関の低
い部分の分布の特徴を測定し、前記パンニング区間毎に
前記相関の低い部分の分布の特徴を統合して、前記パン
ニング区間での移動物体の存在可能性を表す量を求め、
前記存在可能性を表す量が高いとき、前記パンニング区
間は被写体を追尾したシーンと判定し、反対に前記存在
可能性を表す量が低いとき、別の被写体に視線を移すた
めのシーンと判定することを特徴とするシーン判別方
法。
【請求項２】動画像を撮影する際に撮影者がカメラを操
作したカメラ操作情報を取り込むカメラ操作情報獲得手
段と、撮像した画像を処理して得られた画像処理情報を
取り込む画像処理情報獲得手段と、センサーからの信号
を処理して得られた撮影中の撮影状態情報を取り込む撮
影状態情報獲得手段の３手段のうち少なくとも１つを備
えて前記カメラ操作情報または前記画像処理情報または
前記撮影状態情報を出力する画像情報出力部と、動画像
の撮影開始から撮影終了までのフレームを１つのカット
とし、前記画像情報出力部からの出力を基にカットの区
切りを検出するカットチェンジ検出部と、動画像中で撮
影者がカメラを一定方向に連続して動かした区間のう
ち、撮影者が被写体を追尾するためにカメラを動かした
ものを追尾シーン、別の被写体に視線を移すためにカメ
ラを動かしたものを視点移行シーンとし、動画像中で追
尾シーンと視点移行シーン以外の部分をその他のシーン
とし、動画像からカメラを一定方向に連続して動かした
区間を抽出し、映像信号を基に前記区間が追尾シーンか
視点移行シーンかを判別するシーン判別部と、前記シー
ン判別部と前記カットチェンジ検出部の結果を入力し、
追尾シーンと視点移行シーンとその他のシーンの重要度
に関する規則に基づき、各カットに属する複数のシーン
を重要度の順に並べるシーン優先度推定部と、前記カッ
トチェンジ検出部と前記シーン判定部から得られた各シ
ーンに対して、前記画像情報出力部からの出力を基に、
シーンに属する複数のフレームの中から最も代表画像と
してふさわしいフレームを選ぶシーン内代表画像抽出部
と、前記シーン内代表画像抽出部で抽出された画像に関
して、映像信号または画像番号の情報を一時的に蓄積す
る候補画像蓄積部と、画像を表示するディスプレイまた
は動画像の情報を管理するための記憶媒体からなる出力
装置を有し、前記候補画像蓄積部に蓄えられたシーン内
代表画像の情報の中から、前記シーン優先度推定部にお
いてカット内で重要度が高いと判定されたシーンに関す
る情報を読みだし、読みだした前記情報をカットの代表
画像の情報として前記出力装置に送り、ディスプレイに
表示または記憶媒体に管理情報として記録する代表画像
決定部を備えたことを特徴とする代表画像記録・表示装
置。
【請求項３】動きベクトルでカメラの動きを補償した前
記フレーム間の相関画像を検出し、前記相関画像内で、
相関の低い領域が集中的に存在している度合を相関集中
度合として求め、前記パンニング区間内の過半数のフレ
ームで前記相関集中度合が高いとき、前記パンニング区
間は被写体を追尾したシーンと判定し、反対に前記相関
集中度合が低いとき、別の被写体に視線を移すためのシ
ーンと判定することを特徴とする請求項１記載のシーン
判別方法。
【請求項４】動きベクトルの平均化フィルタ処理結果及
び前記平均化フィルタと同一のフィルタ窓の期間で検出
した前記動きベクトルの標準偏差を基に、パンニング区
間を検出することを特徴とする請求項１記載のシーン判
別方法。
【請求項５】動きベクトルの標準偏差を、同一時刻の前
記動きベクトルの平均化フィルタ処理結果の２乗で正規
化して正規化標準偏差を求め、前記正規化標準偏差が所
定以下のフレームをパンニング区間内、それ以外のフレ
ームをパンニング区間外と判定し、前記パンニング区間
内のフレームが連続する複数のフレームをパンニング区
間として検出することを特徴とする請求項４記載のシー
ン判別方法。
【請求項６】動きベクトルの方向が連続している期間を
符号連続期間とし、前記符号連続期間毎に動きベクトル
の時系列を区切り、前記各符号連続期間の期間長および
期間内の動きベクトルの積分値を測定し、前記期間長が
長く、かつ、前記動きベクトルの積分値の絶対値が大き
い符号連続期間をパンニング区間として検出することを
特徴とする請求項１記載のシーン判別方法。
【請求項７】相関画像内の相関の低い部分の画素数を検
出し、各前記パンニング区間に属するフレーム中で前記
画素数が移動物体の大きさとして妥当な範囲にあるフレ
ームの割合を移動物体の存在可能性を表す量として求
め、前記存在可能性を表す量が高いとき、前記パンニン
グ区間は被写体を追尾したシーンと判定し、反対に前記
存在可能性を表す量が低いとき、別の被写体に視線を移
すためのシーンと判定することを特徴とする請求項１記
載のシーン判別方法。
【請求項８】相関画像内の相関の低い部分の重心位置を
検出し、各前記パンニング区間に属するフレーム中で前
記重心位置の時間変化が安定しているフレームの割合を
移動物体の存在可能性を表す量として求め、前記存在可
能性を表す量が高いとき、前記パンニング区間は被写体
を追尾したシーンと判定し、反対に前記存在可能性を表
す量が低いとき、別の被写体に視線を移すためのシーン
と判定することを特徴とする請求項１記載のシーン判別
方法。
【請求項９】相関画像内の相関の低い画素の分散を検出
し、各前記パンニング区間に属するフレーム中で前記分
散が移動物体の大きさ程度の範囲に集中しているフレー
ムの割合を移動物体の存在可能性を表す量として求め、
前記存在可能性を表す量が高いとき、前記パンニング区
間は被写体を追尾したシーンと判定し、反対に前記存在
可能性を表す量が低いとき、別の被写体に視線を移すた
めのシーンと判定することを特徴とする請求項１記載の
シーン判別方法。
【請求項１０】相関画像内の相関の低い画素をラベリン
グして複数の連結領域に分離し、画面内の前記連結領域
の中から面積が最大連結領域を移動物体領域とし、前記
移動物体領域の面積を検出し、各前記パンニング区間に
属するフレーム中で前記移動物体領域の面積が移動物体
の大きさとして妥当な範囲であるフレームの割合を移動
物体の存在可能性を表す量として求め、前記存在可能性
を表す量が高いとき、前記パンニング区間は被写体を追
尾したシーンと判定し、反対に前記存在可能性を表す量
が低いとき、別の被写体に視線を移すためのシーンと判
定することを特徴とする請求項１記載のシーン判別方
法。
【請求項１１】相関画像内の相関の低い画素をラベリン
グして複数の連結領域に分離し、画面内の前記連結領域
の中から面積が最大連結領域を移動物体領域とし、前記
移動物体領域の重心位置を検出し、各前記パンニング区
間に属するフレーム中で前記移動物体領域の重心位置の
時間変化が移動物体として安定しているフレームの割合
を移動物体の存在可能性を表す量として求め、前記存在
可能性を表す量が高いとき、前記パンニング区間は被写
体を追尾したシーンと判定し、反対に前記存在可能性を
表す量が低いとき、別の被写体に視線を移すためのシー
ンと判定することを特徴とする請求項１記載のシーン判
別方法。
【請求項１２】動画像の映像信号を入力とし、動画像中
で撮影者がカメラを一定方向に連続して動かしたシーン
を抽出し、前記シーンを撮影中撮影者は、被写体を追尾
するためにカメラを動かしたのか、それとも別の被写体
に視線を移すためにカメラを動かしたのかを判別するた
めのシーン判別方法であって、カメラの動きに伴って動
画像のフレーム間に生じる動きベクトルを検出し、動画
像内でカメラが一定方向に連続して動いた複数のフレー
ムをパンニング区間として検出し、前記動きベクトルを
検出した一方のフレーム画像または前記フレーム画像を
加工した画像に対して、前記動きベクトルを用いて前記
フレーム間のカメラの動きを補償し、もう一方のフレー
ム画像との相関画像を検出し、前記相関画像内の相関の
高い部分の分布の特徴を測定し、前記パンニング区間毎
に前記相関の高い部分の分布の特徴を統合して、その統
合された特徴に基づいて、前記パンニング区間での移動
物体の存在可能性を表す量を求め、前記存在可能性を表
す量が高いとき、前記パンニング区間は被写体を追尾し
たシーンと判定し、反対に前記存在可能性を表す量が低
いとき、別の被写体に視線を移すためのシーンと判定す
ることを特徴とするシーン判別方法。