JP3498875B2 - 動画像処理システム - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、人の行動を記録し
た動画像から、その動画像を検索するために有効な特徴
的なシーンを安定して検出し、そのシーンを格納すると
ともに、その動画像の場所の観点に基づいて自動的に要
約することができる動画像処理システムに関する。

【０００２】

【従来の技術】動画像を見ながら過去の経験を思い出す
場合には、何日、何処で、誰が、のようなＴ（Time)・
Ｐ(Place)・Ｗ(Who)を確定して、それらをキーワードと
し、エピソード的な観点に基づいて検索することが有効
である。従来では、これを実現するために先ず動画像か
ら検索のキーワードとなる人や物体を認識し、この認識
結果に基づいて動画像を要約しかつ管理する方法が用い
られている。しかし、このような方法が用いられている
と言っても、常に移動する動画像であり、かつ過去の記
録であるため、これらの場所や日時や名前を覚えていな
いことが多く、また該当する場所が動画像の中に１枚し
か写っていないときには、どこであるかを同定できない
ことが多い。

【０００３】

【発明が解決しようとする課題】このように、従来にお
いては、動画像から人や物体を安定して認識することは
困難であった。ところで、人や物体と共に、過去の経験
を思い出すときには、場所すなわち「どこで」の情報が
極めて重要である。しかし、行動を記録した動画像中
に、１枚で場所を同定できる映像が写っていることはま
れである。このため、「どこ」の観点から動画像を自動
的に要約することは困難であった。本発明の目的は、こ
のような従来の課題を解消し、過去の経験を思い出すた
めに有効な特徴的なシーンを安定して検出するととも
に、動画像を場所の観点から自動的に要約を行うことが
可能な動画像処理システムを提供することにある。

【０００４】

【課題を解決するための手段】本発明の動画像処理シス
テムでは、カメラから入力される動画像を対象として、
先ずある画像の隣接フレーム間の距離を求め（画像の横
幅）、次に求められた距離に基づき動画像を静止区間と
変動区間に分離する（図３参照）。動画像の１フレーム
毎に、画像中から輝度が特徴的な領域を抽出し、この特
徴的な領域を隣接するフレームにおいて追跡する。つま
り、動画像の場合には、形状よりも輝度の情報が知覚に
強く残るため、輝度が特徴的な領域を抽出する。上記特
徴的な領域を共通に有する静止区間を１つの事象区間と
して要約する。さらに、上記特徴的な領域を共通に有す
る変動区間内の連続したフレームを、１つの事象区間と
して要約する。また、変動区間ではカメラの動きの方向
を求める。つまり、変動区間では、映像の解析はできな
いため、動きの方向や写った物体の追跡のみが可能とな
る。一方、静止区間では、その区間を特徴付ける静止画
像を求め、各事象区間の静止画像の相互の類似性から画
像を分類する。上記の結果に基づき、複数の静止画像と
その静止画像間の位置関係で表現される場所の要約を求
める。動画像の１フレーム毎に、画像中から輝度が特徴
的な領域を抽出する手段においては、画像をいくつかの
一定の矩形の領域に分割し、各一定領域において、輝度
のヒストグラムを求める（図５参照）。例えば、１つの
動画像を２０×２０＝４００画素に分割し、輝度を０
（黒）〜２５５（白）レベルとする。そして、ヒストグ
ラムから輝度の分布が集中している一定領域を検出する
（図５の濃い部分参照）。この輝度の分布が集中してい
る一定領域のみを対象に、輝度の類似した隣接の一定領
域をまとめ上げて、これを特徴的な領域として抽出す
る。検出された特徴的な領域を隣接するフレームにおい
て追跡する手段において、隣接フレームで重なり合う特
徴的な領域を求め、重なり合う特徴的な領域間のマッチ
ングを行なうことにより、領域毎の移動量を求める。さ
らに、各領域の移動量から１フレームの画面全体の移動
量を求め、全体の移動量から各領域の移動量を修正す
る。

【０００５】

【発明の実施の形態】本発明においては、画像は静止区
間のみから抽出し、動作区間からは動きの方向のみを抽
出し、これを登録することにより、後で思い出したい情
報を不足なく記録する。場所は、物理的な位置情報で関
係付けた静止区間の画像により表現する。特徴的な領域
を共通に有する変動区間内の連続したフレームを１つの
事象区間とすることにより、歩いて移動した区間を１つ
の事象区間として抽出する。また、輝度の特徴に基づい
て同一輝度の領域を抽出し、抽出された領域を追跡する
ことにより、移動区間の処理を可能にする。これによ
り、過去の活動を記録した動画像から、その動画像を検
索するために有効な特徴的なシーンを安定して検出する
ことができ、かつ動画像を場所の観点から自動的に要約
することが可能となる。なお、場所は、過去の経験を回
想する場合に極めて有効なものである。

【０００６】

【実施例】以下、本発明の原理および実施例を、図面に
より詳細に説明する。動画像中の人の行動に着目した場
合、その視線は静止と移動とを繰り返すことが多い。こ
のうち、静止区間では目の前の場所を注意してみる。一
方、移動（変動）区間では映像の注意深い解析はせず、
動きの方向や写った物体の追跡のみを行なうことが多
い。このため、画像は静止区間のみから抽出し、動作区
間からは動きの方向のみを抽出し、これを登録すること
により、後で思い出したい情報を不足なく記録すること
ができる。場所は、物理的な位置情報で関係付けた静止
区間の画像（シーン）により表現できる。例えば、机の
画像の右に窓の画像がある等である。歩いて移動するシ
ーンでは、特徴的な領域としては、例えば廊下や天井が
抽出される。そして、直進しているときには、その特徴
的な領域がずっと存在する。特徴的な領域を共通に有す
る変動区間内の連続したフレームを１つの事象区間とす
ることにより、歩いて移動した区間を１つの事象区間と
して抽出できる。また、人の運動の知覚を担当する視覚
系は、色を感じないと言われている。すなわち、輝度の
みの情報を用いていることが知られている。また、運動
は、隣接する画像の絵がわずかに動いている時に知覚で
きると言われている。さらに、運動における物体や絵の
追跡は、形より輝度の情報に基づき行なわれている。こ
のため、輝度の特徴に基づいて同一輝度の領域を抽出
し、抽出された領域を追跡することにより、移動（変
動）区間の処理が可能である。

【０００７】図２は、本発明をオフィス等における日常
活動を撮影した映像の情報管理装置に適用した場合の一
実施例の構成図である。例えば、図２に示すように作業
者の頭に取付けられたカメラ１およびマイク２から収録
された動画像は、制御部（CONT）４０からバス５０を経
由してメモリ３０に記憶される。動画像は、例えば、３
０フレーム／秒，横６４０×縦４８０画素／フレームで
標本化され入力される。また、メモリ３０には、画像処
理などのプログラムが格納されており、ＣＰＵ１０はメ
モリ３０からプログラムを読み出して実行する。プログ
ラムの実行により、メモリ３０に記憶された動画像は要
約され、その結果はメモリ３０あるいは磁気ディスク装
置２０に格納される。また、この要約結果は、ＣＰＵ１
０によりメモリ３０あるいは磁気ディスク装置２０から
読み出され、インタフェース部（IF）６０を介してディ
スプレイ（CRT）３に表示される。利用者は、キーボー
ド（KEY）４やマウス５を用いて表示された要約の検索
を行なう。

【０００８】図１は、図２におけるメモリに格納された
動画像処理プログラムの一実施例を示す機能ブロック図
である。通常、人の運動の知覚を司る視覚系は色を感じ
ない。すなわち、人間は輝度のみの情報を用いているこ
とが知られている。また、運動における物体や絵の追跡
を行う場合には、形状よりも輝度の情報に基づき行なわ
れている。このため、本実施例においても、以下のよう
に、輝度の特徴に基づいて動画像の時間方向の要約を行
なう。図１において、各機能ブロック３１〜３７はそれ
ぞれプログラムを示しており、これのプログラムが矢印
の順序で起動することを示している。カメラ１から入力
された画像は、画像間の差分処理部３１と輝度に基づく
塊の抽出処理部３３に送られる。画像間の差分処理部３
１では、１フレームの画像が送られてくる毎に、隣接フ
レームの画像の輝度の差分処理を行なう。差分処理によ
り前のフレームに比べて輝度の差が大きい場合には移動
区間であることがわかる。これにより、動画像を静止区
間と移動区間に分離することができる。差分処理は、例
えば次式（１）により差分値Ｄを計算する。

【数１】 ここで，fij(t)はtフレーム目の画像のij座標における
輝度，fij(t-1)はt-1フレーム目の画像のij座標におけ
る輝度である。

【０００９】図３は、本発明による差分処理結果の例を
示す図であり、図４は図１における輝度に基づく塊の抽
出処理部の詳細ブロック図である。また図５は、輝度の
ヒストグラムに基づく特徴的な矩形領域の検出法の説明
図である。静止・移動区間検出部３２は、図３に示すよ
うに差分値がいき値θ以下の区間を静止区間、θ以上の
区間を移動区間とする。移動区間が検出されると、輝度
に基づく塊の抽出処理部３３が起動する。輝度に基づく
塊の抽出処理部３３は、移動区間と、この移動区間に接
する静止区間の０〜数フレーム分の画像に対して、図４
に示すような処理を行なう。すなわち、ここでは動画像
を例えば縦２０×横２０画素の矩形領域（これをセルと
呼ぶ）に分割して、それらのセル毎に輝度のヒストグラ
ムを計算して、同じヒストグラムどうしをまとめて塊で
表わす。これは、フレーム間での塊の移動を検出するた
めである。図４において、輝度のヒストグラム計算部３
３０は、画像を前述のように横２０×縦２０画素のセル
に分割し、各セル毎に図５に示すような輝度のヒストグ
ラムを求める。特徴的な輝度のセル抽出部３３１は、最
大度数の級を含む４つの連続した級の度数の合計が、セ
ル全体の画素数の3/4（300）以上のセルを特徴的な輝度
のセルとして抽出する。図５では、最大度数の級を含む
４つの連続した級を斜線で表わしている。ラベリング部
３３２は、特徴的な輝度のセルのみを対象として、同じ
輝度を示す隣接するセルをまとめて、同じ輝度の塊を抽
出する。図４の最下部には、輝度に基づく塊として、高
い度数の順に濃い色で５つの塊が示されている。これら
の塊は、いずれも同じ輝度を示す特徴的な輝度のセルを
まとめて丸や矩形で囲んだものである。

【００１０】図６は、図１における塊のトラッキング処
理部の詳細機能ブロック図である。塊のトラッキング処
理部３４は、塊毎の移動を検出してフレーム間全体での
移動を判断し、その移動量を追跡する。このために、隣
接フレームでの重なり合う特徴的な領域を求め、その領
域間のマッチングを行い、領域毎の移動量を求めた後、
各領域の移動量から１フレームの画面全体の移動を求
め、全体の移動量から各領域の移動量を修正する。とこ
ろで、人の運動の知覚において、運動は隣接する画像の
絵がほんの少し動いている時に知覚できると言われてい
る。動画像は、一般に３０フレーム／秒でサンプルされ
て表示される。これは、自然な運動の知覚に十分なサン
プル間隔である。このため、３０フレーム／秒で入力さ
れる画像中の物体は、基本的に隣接フレームにおいては
殆んど移動しない。すなわち、重なり合うと考えられ
る。図６に示す塊のトラッキング処理部３４において、
同一塊候補検出部３４０は、隣接フレームで互いに重な
る塊を検出し、それを同一の塊の候補とする。次に、マ
ッチング部３４１は、同一塊候補の塊間のマッチングを
行なって、塊の移動量を求める。ここで、３０フレーム
／秒でサンプルされたフレーム間では、写っている全て
の物の移動量はほぼ同じである。しかし、塊の抽出は曖
昧に行なわれるため、塊の局所的なマッチングでは、塊
の間で異なった移動量を求めてしまう。このため、補正
処理部３４２は、各塊の移動量から最も多い意見（違う
意見のうちの多数決をとる）を採用し、それをフレーム
間全体での移動量とする。そして、その移動量と大きく
異なる移動量を示した塊に対して、フレーム間での移動
量に基づき再度マッチングを行なう。つまり、格段に移
動量が違うものだけについて再度のマッチングを行な
う。その場合、あまり値が変わらないときには、全体の
方に合わせる。なお、各塊の移動量から最も多い意見を
採用する方法としては、既存の分類法、例えば擬集型分
類法により求められる。これは、各塊の移動量のうちの
最も近いものを選び、両者を１つのクラスとする。その
クラスの移動量は、例えば両者の平均値とする。この作
業を、クラス間の最も近い移動量が一定値以上になるま
で繰り返す。そして、残ったクラスの中で、属する塊の
面積の総和が最も大きいクラスの移動量を採用する。

【００１１】図７は、本発明における隣接フレームの塊
の同定法の説明図であり、図８は、同じく離れたフレー
ム間における塊の同定法の説明図である。ここでは、時
間tにおいて塊AとBが検出され、時間t+1において斜線で
示した塊CとDが検出された例を示す。塊のトラッキング
処理部３４は、塊Aと塊Bの一部が合わさって塊Cに移動
し、塊Bは塊CとDに分離して移動したと判定する。ただ
し、補正処理部３４２において、塊Aと塊C，塊Bと塊Dの
輝度の類似度が高く、かつ塊Bと塊Cの輝度の類似度が低
い場合は、塊Bから塊Cへの遷移は削除する。すなわち、
塊Aが塊Cに、塊Bが塊Dに移動したと判断する。ここで、
輝度の類似度は、例えば図５に示す輝度のヒストグラム
の相関値を求めることにより得られる。また、塊のトラ
ッキング処理部３４は、図８に示すように、一度分離し
た塊が再度合わさった（塊B）場合、塊Aと塊Bの輝度の
類似度が高ければ塊Aと塊Bを同一の塊と判断し、塊Aと
塊Aから塊Bまでの途中の塊を全て削除する。このような
輝度による塊の分離統合は、ディスプレイのような人工
的に光を生成している物において生じるが、この処理に
より塊を正しく抽出して記録しておく途中結果の量を減
らすことができる。

【００１２】図１において、塊のトラッキング処理部３
４の結果に基づいて、静止区間の分類部３５は移動区間
の前後の静止区間における塊の存在の共通性を調べ、多
くの塊を共有する場合には両静止区間は同じ静止区間と
して１つの事象区間としてまとめる。塊の共有性は、移
動区間を通して視野から消えた塊の量、あるいは両静止
区間の中心部の領域において同じ塊を含んでいるか否か
を検出することにより判定可能である。このようにし
て、動画をいくつかの静止画の列に要約することが可能
である。次に、移動区間分類部３６は、静止区間分類部
３５と同様に塊のトラッキング処理部３４の結果から、
まず各フレームにおける塊の共有性を調べる。画像のあ
る一定領域に同じ塊が存在する連続したフレームは、１
つの事象区間としてまとめる。この処理によりまとめら
れる事象区間は、廊下を歩いている区間などが含まれ
る。ここでは、廊下や天井が同じ塊として全てのフレー
ムにおいて抽出される。それ以外の移動区間では、移動
の方向を求める。急激な移動の場合には、隣接フレーム
の塊のマッチング時に移動の方向が求められる。移動が
緩やかな場合には、塊の出現や消滅の記録から求められ
る。例えば移動区間の間に、左から新たな塊が出現し、
右から塊が消滅するときには、カメラは左に動いている
と判定できる。また、移動区間の始端と終端のフレーム
の画像に同じ塊が存在する場合には、両者のフレームで
塊のマッチングを取ることによりカメラの動いた方向を
検出することが可能である。

【００１３】図９は、要約結果の一例を示す図である。
静止区間の要約部３７は、静止区間分類部３５で得られ
た静止画（例えば、静止区間の先頭フレームの映像）の
認識を行ない、同じ静止画を検出する。以上の処理によ
り、エピソード記憶３８には、図９に示すような位置関
係で相互に関係付けられた静止画像が得られる。図９
は、机の周りのシーンを表している。すなわち、最初に
自分の後方に配置されている人の机と窓が写され、その
右には自分のＣＲＴの端縁とキーボードが写され、その
右にはキーボードの正面が写され、その右には自分の机
の上の図書が写され、その上には図書が斜上から写され
ている。これを、図２のＣＲＴを通して利用者に提示す
ることにより、ある時点からある時点における作業の作
業場所を正確に知らせることができる。図９の結果は、
以降の場所を認識するためのテンプレートにもなる。す
なわち、図９の静止画とその位置関係をテンプレートと
して入力映像のマッチングを行なうことにより、図９と
同じ場所の認識が可能である。つまり机上の作業である
ことが認識できる。

【００１４】

【発明の効果】以上説明したように、本発明によれば、
過去の活動を記録した動画像からその動画像を検索すた
めに有効な特徴的なシーンを安定して検出するととも
に、動画像を場所の観点から自動的に要約することが可
能となる。

【図面の簡単な説明】

【図１】本発明の一実施例を示す情報管理装置の動画像
処理の機能ブロック図である。

【図２】本発明が適用される情報管理装置の構成を示す
図である。

【図３】図１の画像間差分処理部における動画像からの
静止・移動区間の検出法を説明するための図である。

【図４】図１における輝度に基づく塊の抽出処理の機能
ブロック図である。

【図５】図４における輝度のヒストグラムに基づく特徴
的な矩形領域の検出法を説明するための図である。

【図６】図１における塊のトラッキング部の機能ブロッ
ク図である。

【図７】本発明の隣接フレームにおける塊の同定法を説
明するための図である。

【図８】本発明の離れたフレーム間における塊の同定法
を説明するための図である。

【図９】図１のエピソード記憶に格納される要約結果の
一例を示す図である。

【符号の説明】

１‥カメラ，２‥マイク，３‥ディスプレイ，４‥ キ
ーボード,５‥ マウス,１０‥ＣＰＵ，２０‥磁気ディ
スク，３０‥メモリ，４０‥ 制御部，５０‥ バス，６
０‥ インタフェース部，３１‥画像間の差分処理部，
３２‥静止・移動区間検出部，３３‥輝度に基づく塊の
抽出処理部，３４‥塊のトラッキング部，３５‥静止区
間の分類部，３６‥移動区間の分類部，３７‥静止区間
の要約部，３８‥エピソード記憶，３３０‥輝度のヒス
トグラム計算部，３３１‥特徴的な輝度のセル抽出部，
３３２‥ラベリング部，３４０‥同一塊候補検出部，３
４１‥マッチング部，３４２‥補正処理部。

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平６−333048（ＪＰ，Ａ) 特開 平５−189562（ＪＰ，Ａ) 特開 平７−193748（ＪＰ，Ａ) 特開 平７−236115（ＪＰ，Ａ) 特開 平５−37848（ＪＰ，Ａ) 特開 昭61−200789（ＪＰ，Ａ) 特開 平６−153155（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 7/00 - 7/60 H04N 5/91 G06F 17/30

Claims (4)

(57)【特許請求の範囲】
1. 【請求項１】カメラから入力された動画像から隣接フレ
   ームの画像間の距離を求める手段と、 求められた距離に基づき上記動画像を静止区間と変動区
   間に分離する手段と、 上記動画像の１フレーム毎に、画像中から輝度が特徴的
   な領域を１つの塊として抽出する手段と、 隣接するフレームにおいて上記塊と重なる塊を検出し、
   該塊の移動量を求めて追跡する手段と、 上記塊を共通に有する静止区間を１つの事象区間として
   要約する手段と、 上記塊を共通に有する変動区間内の連続したフレームを
   １つの事象区間として要約する手段とを具備することを
   特徴とする動画像処理システム。
2. 【請求項２】前記変動区間におけるカメラの動きの方向
   を求める手段と、 前記１つの事象区間として要約された静止区間を特徴付
   ける静止画像を求める手段と、 各事象区間の静止画像の相互の類似性を求め、画像を分
   類する手段と、 上記結果に基づき、複数の静止画像と該静止画像間の位
   置関係で表現される場所の要約を求める手段とを具備す
   ることを特徴とする請求項１に記載の動画像処理システ
   ム。
3. 【請求項３】前記輝度が特徴的な領域を抽出する手段
   は、 画像の一定領域毎に輝度のヒストグラムを求める手段
   と、 輝度の分布が集中している一定領域を検出する手段と、 上記輝度の分布が集中している一定領域のみを対象に、
   輝度の類似した隣接の一定領域をまとめ上げる手段とを
   有することを特徴とする請求項１に記載の動画像処理シ
   ステム。
4. 【請求項４】前記特徴的な領域を隣接するフレームにお
   いて追跡する手段は、 隣接フレームで重なり合う特徴的な領域を求める手段
   と、 重なり合う特徴的な領域間のマッチングを行ない、領域
   毎の移動量を求める手段と、 各領域の移動量から１フレームの画面全体の移動量を求
   める手段と、 全体の移動量から各領域の移動量を修正する手段とを有
   することを特徴とする請求項１に記載の動画像処理シス
   テム。