JPH10243340A - 動画像処理装置 - Google Patents

Abstract

(57)【要約】 【課題】 本発明は、定性的にパターンの移動方向を求
めることで処理を高速化し、また処理領域を限定するこ
とによるあいまいさをゆるした分類を可能とするカメラ
ワーク検出方法を提供することを目的とする。 【解決手段】 空間微分値と時間微分値の積の符号か
ら，得られた輝度パターンの移動方向を画面を分割して
定まる測定領域において求めて，映像の撮影時点のカメ
ラワークを分類する。 【効果】 本発明の動画像処理装置により、ビデオ映像
のカメラワークを高速にかつ安定して検出することが可
能になる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ビデオカメラなど
で撮影された映像の内容を撮影時のカメラワークによっ
て分類する動画像処理装置に関するものである。

【０００２】

【従来の技術】従来、ビデオカメラ等で撮影された映像
の内容を正確に把握する場合には、早送りなどで人が映
像を最初から見ていく必要があり、短時間で簡単にその
内容を把握することは難しく、使用者には不便であっ
た。

【０００３】しかしながら近年、計算機の処理能力の向
上により、計算機で動画像を蓄積、再生することが可能
になってきた。この処理能力を利用して計算機で映像の
再生を行うことにより、使用者が映像を最初から長時間
連続して視聴するのではなく、映像中の代表的なフレー
ム画像のみを表示することで、映像の概要を短時間で容
易に把握することが可能になる。

【０００４】一方、映像の撮影には、例えばパンやズー
ムなどのカメラワークが利用される。

【０００５】カメラワークには、特定の人物を追跡する
ためにパンを行う場合や、ある人物に注目するためにズ
ームインする場合など、撮影者の何らかの意図が反映し
ている。

【０００６】したがって例えばパンの開始時点の画像と
終了時点の画像が表示されていれば、撮影者の意図を推
測することができるため、それらの画像は代表画像とし
て用いると映像の分類には有効である。

【０００７】映像からカメラワークを検出する従来技術
に、オプティカルフローを用いる手法がある。オプティ
カルフローは、例えば特開平６−３３３０４８号公報に
記載されているように、連続したフレーム画像上の映像
パターンのブロックマッチングにより求められる。

【０００８】

【発明が解決しようとする課題】しかしながら、上記の
従来技術が示すようなオプティカルフローを用いた手法
ではマッチングの原理上、ある程度の処理時間を要する
ため、実用面においてはオプティカルフローを求める領
域を限定して処理時間を短縮しているが、処理領域を限
定することで信頼性が低下することがある。

【０００９】本発明の目的は、入力された映像から高速
に映像の撮影時のカメラワークを検出する装置を提供す
ることにある。

【００１０】

【課題を解決するための手段】上記した本発明の目的
は、フレーム画像の局所的な領域の空間微分と時間微分
のみを用いて映像パターンの概略的な移動方向を高速に
検出する概略移動方向検出手段と、前記概略移動方向検
出手段によって検出された局所領域の概略的な移動方向
から、その検出結果が不確実性をもった場合においても
高信頼でカメラワークを分類することを可能とするカメ
ラワーク分類手段とを備えて、連続するフレーム画像か
ら構成される動画像より撮影時のカメラワークを推定す
る機能を有する動画像処理装置を構成することにより達
成される。

【００１１】

【発明の実施の形態】本発明は、そもそもカメラワーク
の分類が目的であるから、オプティカルフローのように
パターンがどの程度移動したかといった定量的な量を求
める必要はないという点に鑑み、定性的にパターンの移
動方向を求めることで処理を高速化し、また処理領域を
限定することによるあいまいさをゆるしたカメラワーク
の分類を可能とするものである。

【００１２】以下、図面を用いて本発明の実施例を説明
する。

【００１３】図１は本発明の一実施例に係わる動画像処
理装置の機能を示すブロック図である。

【００１４】図１に示すように動画像処理装置は、動画
像入力部１０、概略移動方向検出部１２、カメラワーク
分類部１４、代表画像管理部１６によって構成されてい
る。

【００１５】動画像入力部１０は、ビデオカメラ等によ
って撮影した映像の信号をデジタル化して得られる、連
続フレーム画像によって構成される動画像を入力するも
のである。

【００１６】概略移動方向検出部１２は、動画像入力部
１０によって入力された動画像から、映像パターンの概
略的な移動方向を検出するものである。

【００１７】ここで概略移動方向とは、ｘ軸方向および
ｙ軸方向において、それぞれ正方向、負方向、または０
（移動なし）、のことである。

【００１８】カメラワーク分類部１４は、概略移動方向
検出部によって検出された映像パターンの概略的な移動
方向から、カメラワークをスチル、パン、ズームの３種
類に分類する。ただし本手法ではチルトおよびその他の
平行移動もパンとして扱っている。

【００１９】代表画像管理部１６は、カメラワーク検出
部１４によって分類されたカメラワークの代表的な画像
の管理を行うもので、図示せぬ表示装置の表示制御を行
うものである。

【００２０】次に、本実施例における処理について、図
２に示すフローチャートを参照しながら説明する。

【００２１】以下の説明では、動画像をｆ（ｘ、ｙ、
ｔ）で表わし、説明を簡単にするため、位置（ｘ、
ｙ）、時刻ｔの値は一つの値、例えば輝度だけであると
する。

【００２２】入力される映像がカラー動画像の場合に
は、位置（ｘ、ｙ）、時刻ｔにおいて例えばＲＧＢの３
成分によって表現されるが、本手法はその場合にも拡張
して適用できる。

【００２３】図２のステップＳ１では、動画像入力部１
０から概略移動方向検出部１２に入力された動画像に対
して画像処理を行う。

【００２４】画像処理は計算量を減らすために、図３に
示すように画面の外縁部に画像処理領域として測定ウイ
ンドウ３０を配置し、それぞれの測定ウインドウにおい
て行う。

【００２５】画像処理として、まずフレーム画像に対し
て空間微分を行う。

【００２６】一般に空間微分はＳｏｂｅｌオペレータ等
を用いて２次元で行うが、本手法では簡単のために、
（１）式で示すようにｘ軸方向およびｙ軸方向のそれぞ
れ１次元で微分を行う。

【００２７】 ｆx（x，y，t）＝ｆ（x＋１，y，t）−ｆ（x−１，y，t) if ｜ｆ（x＋１，y，t）−ｆ（x−１，y，t)｜＞しきい 値 ０ その他 ｆy（x，y，t）＝ｆ（x，y＋１，t）−ｆ（x，y−１，t） if ｜ｆ（x，y＋１，t）−ｆ（x，y−１，t)｜＞しきい 値 ０ その他 ・・・ ・（１） だだし、（１）式においてｆx（x，y，t）、ｆy（x，
y，t）はそれぞれｘ軸方向およびｙ軸方向の空間微分を
表わし、あらかじめ設定されたしきい値でしきい値処理
される。

【００２８】図４に画面のｘ軸方向の微分の例を示す。

【００２９】図４においてｆ（x，y，t）は輝度パター
ンである。また座標系の横軸は画素のｘ座標であり、縦
軸は空間微分値を表わしている。

【００３０】次に処理対象とするフレーム画像ｆ（x，
y，t）と、隣接するフレーム画像ｆ（x，y，t―１）に
より（２）式に示す時間微分を行う。 ｆt（x，y，t）＝ｆ（x，y，t）−ｆ（x，y，t−１) if ｜ｆ（x，y，t）−ｆ（x，y，t−１)｜＞しきい値 ０ その他 （２）式においてｆt（x，y，t）は時間微分値を表わ
し、あらかじめ設定されたしきい値でしきい値処理され
る。

【００３１】図５に画面のｘ軸方向における時間微分の
例を示している。

【００３２】図５においてｆ（ｘ，ｙ，ｔ−１）は時刻
ｔ−１での輝度パターンであり、 ｆ（ｘ，ｙ，ｔ）は
時刻ｔでの輝度パターンである。

【００３３】また、座標系の横軸はｘ座標であり、縦軸
は時間微分値である。

【００３４】上記フレーム画像の空間微分値と時間微分
値の関係より、輝度パターンがどの方向に移動している
かを検出する方法を説明する。

【００３５】図６はｘ軸方向の概略移動方向と空間微分
値と時間微分値の積との関係であり、図６（ａ）は輝度
パターンが正方向に移動し、図６（ｂ）は輝度パターン
が負方向に移動している例である。

【００３６】それぞれの座標系の縦軸は上から順に空間
微分値、時間微分値、空間微分値と時間微分値の積であ
る。

【００３７】またそれぞれの座標軸の横軸は画素のｘ座
標であり、それぞれの画素は対応している。

【００３８】図６より、輝度パターンがｘ軸の正方向に
移動している場合、空間微分値と時間微分値の積の符号
は負になる。

【００３９】また輝度パターンがｘ軸の負方向に移動し
ている場合、それらの積の符号は正になる。

【００４０】また図示していないが、輝度パターンが移
動していない場合には、それらの積は０になる。

【００４１】したがって空間微分値と時間微分値の積の
符号により、輝度パターンの移動方向が、正、負、また
は移動なしの３種類におおまかに分類される。

【００４２】また、ｙ軸方向についても同様の手法によ
り輝度パターンの移動方向が決定される。

【００４３】その結果、ｘ軸方向とｙ軸方向のそれぞれ
の空間微分値と時間微分値の符号の組み合わせにより、
輝度パターンの移動方向が図７に示すようにおおまかに
８種類に分類される。図７においてＰは対象とする画素
である。

【００４４】次に図２のステップＳ２では、概略移動方
向検出部から出力された処理画像を用いて、カメラワー
クがスチルであるか否かを判定する。判定の手法は次の
とおりである。

【００４５】ステップＳ１における処理の結果、空間微
分値が非０であり、かつ時間微分値が０となる画素を計
数する。その画素数と空間微分値が非０である全画素数
との比を求め、その値があらかじめ設定されたしきい値
よりも小さな場合は、カメラワークはスチルであると判
定され，ステップＳ４が実行される。

【００４６】一方、しきい値よりも大きな場合はステッ
プＳ３が実行される。

【００４７】ステップＳ３では、カメラワーク分類部に
おいて、ステップＳ２でスチルではないと判定された処
理画像を用いて、カメラワークの分類を行う。

【００４８】ステップＳ３では画面をさらに図８に示す
ように、画面中心を原点とした４つの象限の分割する。

【００４９】これはカメラワークがズームの場合には、
それぞれの象限内では、測定ウインドウ３０内の輝度パ
ターンの概略移動方向がほぼ同方向を向くという性質を
用いて、パンおよびズームを分類するためである。

【００５０】輝度パターンが各象限において全体として
どの方向に移動しているかを決定する方法を説明する。

【００５１】まずｘ軸方向の概略的移動方向を求める方
法について説明する。

【００５２】各象限内の測定ウインドウ３０において、
ｘ軸方向の空間微分値が非０の画素に対して、空間微分
値と時間微分値の積の符号が正になる画素、負になる画
素、および０になる画素をそれぞれ計数する。

【００５３】その結果、画素数がもっとも多い符号が表
わす方向をｘ軸方向の概略的移動方向とする。

【００５４】また画素数が等しくなり、上記の画素数が
もっとも多い符号を決定することができない場合は、そ
の象限でのｘ軸方向の概略移動方向は不明とする。

【００５５】同様に各象限において、ｙ軸方向の概略移
動方向を決定する。

【００５６】次に上記で決定された各象限の概略移動方
向から、カメラワークを決定する方法を説明する。

【００５７】カメラワークを決定するために、各象限の
概略移動方向を図９に示すように６ビットで符号化して
表現する。

【００５８】図９において、上位３ビットはｘ軸方向の
概略移動方向、下位３ビットはｙ軸方向の概略移動方向
を示しており、それぞれ概略移動方向が正方向ならば３
ビット目、０ならば２ビット目、負方向ならば１ビット
目のビットを１にする。

【００５９】これによるパンの方向およびズームの方向
と、各象限の符号化された値の関係を図１０のテーブル
に示す。

【００６０】ここで図１０（ａ）は、パンの方向を示し
ている。

【００６１】カメラワークは、図１０（ｂ）のテーブル
に示された各象限の符号と上記手法において決定された
各象限の概略移動方向の符号とをそれぞれ比較して、す
べて象限の符号がともに等しいカメラワークであるとす
る。

【００６２】しかしながら上記手法で決定された各象限
の概略移動方向は微分処理により求められているので、
ノイズの影響を受ける場合がある。

【００６３】また、映像にはカメラワークによる輝度パ
ターンの移動だけではなく、被写体の動きによる輝度パ
ターンの動きも存在する場合がある。

【００６４】したがって、上記の各象限の概略移動方向
にはあいまいさが含まれている。

【００６５】そこで、上記手法で求められた各象限の概
略移動方向を符号化するとき、以下のようにあいまいさ
を含ませた符号化を行う。

【００６６】すなわち、ｘ軸方向およびｙ軸方向ににお
いて、図１１に示すように概略移動方向が正方向である
ときは２ビット目と３ビット目、０であるときは１ビッ
ト目と２ビット目と３ビット目、負方向であるときは１
ビット目と２ビット目のビットを１にする。

【００６７】また、上記手法において象限での概略移動
方向が不明であった場合には、１ビット目と２ビット目
と３ビット目のビットを１にする。

【００６８】あいまいさを含ませた符号化の結果、カメ
ラワークは図１０のテーブルに示された各象限の符号
と、ステップＳ２で決定された各象限の概略移動方向の
符号とを比較して、すべての象限の符号において同じ位
置のビットの値がともに１であるカメラワークであると
する。

【００６９】さらに上述の条件を満たすカメラワークが
複数存在する場合には以下の方法でカメラワークを決定
する。

【００７０】例えば検出されたカメラワークが、カメラ
ワークＡとカメラワークＢの二つのカメラワークに対し
て上述の条件を満たすとき、検出されたカメラワークが
Ａであると仮定したときの概略移動方向を示す画素数
と、検出されたカメラワークがＢであると仮定したとき
の概略移動方向を示す画素数とを計数し、その画素数が
多い方をその時点でのカメラワークとする。

【００７１】これによっても唯一決定できない場合は、
カメラワークは不明とする。

【００７２】ステップＳ４では，ステップＳ２またはス
テップＳ３で決定されたカメラワークを，代表画像管理
部１６に出力し，代表画像の表示を行う。

【００７３】以上のステップＳ１〜Ｓ４を，映像の入力
が終了するまで繰り返す（ステップＳ５）。

【００７４】この結果，映像がカメラワークによって分
割され，その代表画像を代表画像管理部１６によって表
示することで，映像の内容を容易に把握することが可能
になる。

【００７５】

【発明の効果】以上説明したように、本発明の動画像処
理装置は、ビデオ映像の内容を短時間、かつ簡単に把握
できるように映像を撮影時のカメラワークで分類すると
き、高速にかつ安定してカメラワークを検出することを
可能とすなる。

【図面の簡単な説明】

【図１】本発明の一実施例に係わる動画像処理装置の構
成を示すブロック図。

【図２】本実施例の動作の手順を説明するためのフロー
チャート。

【図３】画面内の画像処理を実施する測定ウインドウを
説明するための図。

【図４】空間微分を説明するための図。

【図５】時間微分を説明するための図。

【図６】空間微分および時間微分と概略移動方向との関
係を説明する図。

【図７】空間微分と時間微分の積と２次元での概略移動
方向の関係を説明する図。

【図８】グループ化した測定ウインドウを説明するため
の図。

【図９】符号化された概略移動方向を説明するための
図。

【図１０】カメラワークと符号の関係を説明する図。

【図１１】あいまいさを持たせた符号化を説明する図。

【符号の説明】

１０…動画像入力部、１２…概略移動方向検出部、１４
・…カメラワーク分類部、１６…代表画像管理部、３０
…測定ウインドウ。

Claims (1)

【特許請求の範囲】
1. 【請求項１】連続するフレーム画像から構成される動画
   像に基づき撮影時のカメラワークを推定する動画像処理
   装置において、フレーム画像の局所的な領域の空間微分
   と時間微分のみを用いて映像パターンの概略的な移動方
   向を検出する概略移動方向検出手段と、前記概略移動方
   向検出手段によって検出された局所領域の概略的な移動
   方向から、上記動画像の撮影時のカメラワークを分類す
   ることを可能とするカメラワーク分類手段と、を具備し
   たことを特徴とする動画像処理装置。