WO2004068414A1

WO2004068414A1 - 注目物体の出現位置表示装置

Info

Publication number: WO2004068414A1
Application number: PCT/JP2003/000735
Authority: WO
Inventors: Takayuki Baba; Daiki Masumoto; Yusuke Uehara; Shuichi Shiitani; Susumu Endo
Original assignee: Fujitsu Limited
Priority date: 2003-01-27
Filing date: 2003-01-27
Publication date: 2004-08-12
Also published as: CN100373409C; JPWO2004068414A1; US20050162442A1; CN1689043A

Abstract

注目物体の出現位置表示装置は、動画像の各フレームに対して指定された１又は複数の注目物体を検出する物体検出部と、検出された各注目物体の位置データを保持する位置データ保持部と、位置毎に各注目物体の出現頻度を計算する出現頻度計算部と、各注目物体の出現頻度を対応する画素の濃淡値で表示する濃淡表示部とを備えるように構成されている。

Description

注目物体の出現位置表示装置技術分野

本発明は、注目物体の出現位置表示装置に係り、特に動画像中の注目物体の出現位置を、動画像の特徴を分類したり分析するのに適した態様で表示する注目物体の出現位置表示装置に関する。

近年、テレビ局を代表とする企業等が自社で保有してレ、る各種動画像フアイルや、個人がビデオで撮像した動画像ファィル等を分類したり分析したりする要望が増している。

本発明になる注目物体の出現位置表示装置は、各動画像の特徴を分かり易く表示するもので、特定の動画像ファィルに類似した動画像フ了ィルを検索する際に利用したり、動画像ファイルのジャンルを分類する際に利用したり、 CMゃテレビ番組の視聴率等の関係を分析したり、映画監督がした象群に共通する作風を分析したりする際に利用したりするのに好適である。

背景技術

特定物体の検出方法としては、人物の顔、馬や車を検出する様々な方法が提案されている。このような特定物体の検出方法は、例えば Henry Schneiderman, "A statistical approach to 3D object detection applied to faces and cars, " CMU-RI-TR-00-06, 2000にて提案されている。以下の説明では、説明の便宜上、特定物体の検出方法の一例として、よく利用される人物の顔の検出方法を例にとつて説明する。

静止画像や動画像から人物の顔が出現する位置を検出する検出方法としては、様々な方法が提案されてレヽる。このような検出方法は、例えば Ming - Hsuan Yang and Narendra Ahuja, "Face detection and gesture recognition for human- computer interaction, " Kluwer Academic Publishers, ISBN: 0—7923-7409-6， 2001にて提案されている。このような検出方法の多くは、図 1に示すように、検出した顔 1の位置に矩形や円形等の印 2を付与することで検出結果を表示する。図 1は、従来の検出方法の一例を説明する図である。このため、静止画像に対する顔の検出の：^、ユーザは検出結果の印を見ることにより、画像中のどの位置に検出した顔があるかという情報を容易に把握することが可能である。

他方、動画像に対する顔の検出の場合には、動画像を構成する基本要素であるフレームという静止画像単位で顔を検出するが多レヽ。このような検出方法は、例えば櫻井和之、井上晃、佐顔検出のための濃淡特徴を用いた高速な両目ペアの検出、第 8回画像センシングシンポジウム講演論文集、 pp. 557- 562、 2002 にて提案されている。このため、動画像に対する顔の検出のも、静止画像のと同様に、静止画像に相当する各フレームの顔が検出された位置に矩形や円形等の印を付与することで検出結果を表示する。

動画像に対する顔の検出結果の表示方法として、フレーム単位で検出された顔の位置に印を付与する方法の、 ·フレームは一般に毎秒 3 0フレーム存在し、 1分程度の動画像でも約 1 8 0 0フレーム存在するため、検出結果も相当なフレーム数となる。従って、検出結果の各フレームに対して、ユーザが目視により顔がどの位置で検出されたかをする作業は、非常に煩雑であると共に時間がか力るという問題があった。又、動画像全体を通して、例えばどの位置に顔が多く検出されたかといつた情報を総合的に把握することも難しレヽとレヽぅ問題があつた。発明の開示

そこで、本発明は、上記の問題を解決した新規、且つ、有用な注目物体の出現位置表示装置を «することを概括的目的とする。

本発明のより具体的な目的は、動画像中の注目物体の出現位置を容易に把握することを可能とする注目物体の出現位置表示装置を»することにある。

本宪明の他の目的は、動画像の各フレームに対して指定された 1又は複数の注目物体を検出する物体検出部と、検出された各注目物体の位置データを保持する位置データ保持部と、位置毎に各注目物体の出現頻度を計算する出現頻度計算部と、各注目物体の出現頻度を対応する画素の濃淡値で表示する濃示部とを備えた注目物体の出現位置表示装置を提供することにある。本発明になる注目物体の出現位置表示装置によれば、動画像中の注目物体の出現位置を容易に把握することができる。

本発明の更に他の目的及び特長は、以下図面と共に述べる説明より明らかとなろう。図面の簡単な説明

図 1は、従来の検出方法の一例を説明する図である。

図 2は、本発明になる注目物体の出現位置表示装置の一実施例を示すプロック図である。

図 3は、物体検出部の動作の一実施例を説明するフローチヤ一トである。図 4は、位置データ保持部の動作の一実施例を説明するフローチャートである図 5は、位置データ保持部の動作の他の実施例を説明するフ口一チヤ一トである。

図 6は、位置データ保持部の動作の更に他の実施例を説明するフローチヤ一トである。

図 7は、出現頻度計算部の計算処理を、 4画素からなる 2つのフレームについて説明する図である。

図 8は、出現頻度計算部の動作の一実施例の要部を説明するフローチャートである。

図 9は、濃淡表示部の動作の一実施例を説明するフローチヤ一トである。図 1 0は、画像配置部の動作の一実施例を説明するフローチャートである。図 1 1は、画像配置部の動作を説明する図である。

図 1 2は、教育番組の動画像の分類 ·配置を説明する図である。

図 1 3は、ニュース番組の動画像の分類 ·配置を説明する図である。

図 1 4は、ドラマの動画像の分類'配置を説明する図である。発明を実施するための最良の形態

図 2は、本発明になる注目物体の出現位置表示装置の一実施例を示すプロック図である。注目物体の出現位置表示装置は、動画像の各フレームから注目物体を検出する物 ί«出部 1 1と、検出された注目物体の位置（座標）を保持する位置データ保持部 1 2と、位置毎に注目物体の出現頻度を計算する出現頻度計算部 1 3と、注目物体の出現頻度を対応する画素の濃直で表示する濃示部 1 4と、表示された濃淡画像を画像特徴量に基づいて自動的に分類 ·配置する画像酉 3置部 1 5とを備える。この構成により、注目物体の出現頻度を濃淡情報で表示することが可能となり、従来のようにユーザが目視により注目物体がどの位置で検出されたかを確認する煩雑で時間のかかる作業が不要となり、簡単に動画像中の注目物体の出現位置を把握することができる。

物体検出部 1 1、位置データ保持部 1 2、出現頻度計算部 1 3、濃淡表示部 1 4及ぴ画像配置部 1 5の各機能は、ハードゥエアで実現しても、ソフトウェアで実現しても良い。以下の説明では、説明の便宜上、物体検出部 1 1、位置データ保持部 1 2、出現頻度計算部 1 3、濃 «示部 1 4及び画像配置部 1 5の各機能がソフトウェアで実現され、汎用コンピュータ等の周知の情報処¾置の C P U 等のプロセッサにより実行されるものとする。尚、周知の情報処¾¾置は、少なくとも C P U及ぴメモリからなれば良レヽ。

注目物体としては、人物の顔、馬、車等の様々な物体が考えられるが、ここでは説明の便宜上、注目物体が人物の顔である場合を例にとって説明する。

物体検出部 1 1では、動画像の各フレームを入力として受け取り、フレーム中に注目物体である人物の顔が出現する場合には、その注目物体の位置を検出して出力する。物 ί機出部 1に入力される動画像は、ビデオカメラ等の周知の撮像手段により撮像されてリアルタイムで入力されるものであっても、予めディスクやメモリ等の周知の格納手段に格納されたものが読み出されて入力されるものであつても良い。又、注目物体は、例えば周知の情報処理装置のキーボードやマウス等の入力装置により周知の方法でユーザにより指定可能である。注目物体としての顔の検出方法は、従来より様々なものが提案されているが、一例として次のような検出方法がある。

先ず、画像中の顔の候捕を決定するために、色情報を利用して、ある閾値を満足する色を肌色として抽出する。次に、抽出された肌色の各画素に対して、輝度値をガボール変換した特徴量と、予め登録された辞書の顔画像の目の部分の輝度値をガボール変換した特徴量との誤差を計算し、誤差が予め設定された閾値以下であれば、その画素は目であるとして抽出する。このようにして、抽出された目が含まれる顔候補を、顔として検出する。このような方法は、例えば L. Wiskott et al.， "Face recognition by elastic bunch graph matching, " PAMI vol. 19， no. 7， pp. 775 - 779， 1997にて提案されている。この例ではガポール変換した特徴量を用 Vヽた力単純に輝度値を特徴量として用いてパターンマツチングする方法もある。顔の検出方法自体及び注目物体の検出方法自体は、特に上記の検出方法に限定されるものではないことは、言うまでもない。

物体検出部 1 1は、動画像の全てのフレームに対して注目物体の検出を行わず、予め指定した条件を満たすフレームだけを対象として注目物体の検出を行う構成としても良い。この場合の条件としては、例えば一定間隔毎に抽出したフレームを対象にしたり、画像特徴量の変ィ匕が大きいフレームを対象としたりすることが可能である。このように、予め指定した条件を満たすフレームだけを対象として注目物体の検出を行うことにより、注目物体の検出に要する時間を^することができる。

更に、物体検出部 1 1は、単一の注目物体を検出しても、例えば人物の顔と車といつた具合に複数の注目物体を検出しても良！/、。複数の注目物体を検出する場合、 1つの処理で複数の注目物体を検出する方法や、単一の注目物体を検出する処理を複数回行って複数の注目物体を検出する方法を採用可能である。

図 3は、物体検出部 1 1の動作の一実施例を説明するフローチャートである。同図中、ステップ S 1は、動画像を入力し、ステップ S 2は、一定数のフレーム画像を飛ばす。ステップ S 3は、全フレームを繰り返したか（全フレームが処理された力）否かを判定し、判; ¾ ^果が NOであると、ステップ S 4は、現在のフレームと前のフレームとの^が閾値以上である力否かを判定する。ステップ S 4の判定結果が NOであると、処理はステップ S 3へ戻る。他方、ステップ S 4 の判定結果が Y E Sであると、ステップ S 5は、フレーム画像を入力する。ステップ S 6は、全画素を繰り返した力否かを判定し、判定結果が Y E Sであると、処理はステップ S 3へ戻る。ステップ S 6の判^果が NOであると、ステツプ S 7は、ユーザにより指定された注目物体である顔の個数が閾値以下であるカゝ否かを判定し、判^^果が NOであると、処理はステップ S 6へ戻る。他方、ステップ S 7の判定結果が Y E Sであると、ステップ S 8は、フレーム画像から肌色を抽出し、ステップ S 9は、抽出された肌色の各画素に対して輝度値をガボール変換する。ステップ S 1 0は、ガボール変換により得られる特徴量と予め登録された辞書の顔画像の目の部分の輝度値をガボール変換した特徴量との誤差を計算する。ステップ S 1 1は、計算された誤差が閾値以下であるカゝ否かを判定する。ステップ S 1 1の判定結果が NOであると、ステップ S 1 2は、顔以外が検出されたと判断し、処理はステップ S 6へ戻る。他方、ステップ S 1 1の判定結果が Y E Sであると、ステップ S 1 3は、顔が検出されたと判断し、処理はステップ S 6へ戻る。ステップ S 3の判定結果が Y E Sになると、図 3の処理は終了する。

位置データ保持部 1 2は、物 ί機出部 1 1で検出された注目物体（顔）の位置の座標を保持する。この、検出された 1つの注目物体に相当する画素が複数存在することが多いので、例えば検出された注目物体の領域に相当する画素の全ての座標を保持したり、検出された注目物体の領域の予め指定された場所（例えば重心）の座標を保持したり、検出された注目物体の領域の予め指定された部位

(例えば顔が注目物体の場合、目、鼻、口等）の座標を保持したりしても良い。従って、例えば非常に小さい物体の影響を除去したいには、ある大きさより小さレ、物体に対しては座標を保持しなレ、という条件を予め指定しておくことで、小さい物体が出現頻度に含まれることを防ぐことが可能となる。又、物体の中の特定の部位を指定することで、一般に複数の画素に跨って存在する注目物体の位置を、より正確に把握することが可能となる。

又、検出された注目物体のうち、予め指定しておいた条件毎に検出された注目物体を分けて夫々の出現頻度を別々にカウントするために、位置データも条件毎に保持しても良い。例えば、条件として注目物体の方向別を指定しておき、夫々の方向毎に位置データを保持することができる。その他の条件としては、注目物体の種類別や、注目物体の大きさ別等、様々な条件を指定することもできる。図 4は、位置データ保持部 1 2の動作の一実施例を説明するフローチャートである。同図中、ステップ S 2 1は、与えられた条件を全て繰り返したか（与えられた条件の全てで処理が行われたカゝ）否かを判定する。ステップ S 2 1の判果が NOであると、ステップ S 2 2は、検出された注目物体の全ての画素を繰り返した力否かを判定し、判 ¾ ^果が Y E Sであると、処理はステップ S 2 1へ戻る。他方、ステップ S 2 2の判诘果が NOであると、ステップ S 2 3は、画素の座標値をメモリに保存し、処理はステップ S 2 2へ戻る。ステップ S 2 1の判定結果が YE Sになると、図 4に示す処理は終了する。

図 5は、位置データ保持部 1 2の動作の他の実施例を説明するフローチャートである。同図中、図 4と同一ステップには同一符号を付し、その説明は省略する。図 5において、ステップ S 2 4は、全ての注目物体について処理を繰り返したか否かを判定し、判果が YE Sであると、処理はステップ S 2 1へ戻る。ステップ S 2 4の判^ ¾果が NOであると、ステップ S 2 5は、検出された注目物体の重心の座標値を計算する。ステップ S 2 6は、重心の座標値をメモリに保存し、処理はステップ S 2 4へ戻る。ステップ S 2 1の判定結果が YE Sになると、図 5に示す処理は終了する。

図 6は、位置データ保持部 1 2の動作の更に他の実施例を説明するフローチヤートである。同図中、図 4と同一ステップには同一符号を付し、その説明は省略する。図 6において、ステップ S 2 7は、抽出した全ての画素を繰り返した力否かを判定し、判定結果が Y E Sであると、処理はステップ S 2 1へ戻る。ステツプ S 2 7の判定結果が NOであると、ステップ S 2 8は、検出された注目物体の指定された部位である力否かを判定し、判定結果が NOであると、処理はステツプ S 2 7へ戻る。ステップ S 2 8の判定結果が YE Sであると、ステップ S 2 9 は、指定された部位の座標値をメモリに保存し、処理はステップ S 2 7へ戻る。ステップ S 2 1の判定結果が Y E Sになると、図 6に示す処理は終了する。

出現頻度計算部 1 3は、位置データ保持部 1 2に保持された位置データから、各座標の注目物体の出現頻度を計算する。注目物体の出現頻度は、以下のステツプ S T 1 〜 S T 5からなる計算処理により計算可能である。

S T 1 ：各座標の注目物体の出現数 Cを 0に初期化する。

S T 2 ：各座標の注目物体の出現数 Cをカウント（インクリメント）する。 S T 3 ：注目物体の出現数 Cの総和 Sを計算する。 S T 4：各座標の注目物体の出現数 Cを Sで割り、出現率 R=C/Sを計算する。

S T 5：座標の出現率 Rに最大輝度値 ( 8ビットの場合には 2 5 5 )をかけることで、濃淡値 I = R X 2 5 5を計算する。

図 7は、出現頻度計算部 1 3の上記計算処理を、 4画素からなる 2つのフレームについて説明する図である。同図中、〇印は、検出された注目物体の画素を示す。又、同図中（a ) は 2つのフレーム、（b ) は 2つのフレームに対する注目物体の出現数 C、（c ) は出現率 R、（d)は濃淡値 I、（e )は後述する濃淡表示部 1 4により濃淡値 Iを表示したの濃^ ¾示0を示す。

検出された注目物体のうち、予め指定してお！/、た条件毎に検出された注目物体を分けて出現を別々にカウントすることもできる。例えば、条件として注目物体の方向別を指定しておけば、夫々の方向毎に出現頻度をカウントすることができる。その他の条件としては、注目物体の種類別、注目物体の大きさ別、注目物体の出現 ¾ ^等の様々な条件を指定することができる。

図 8は、出現頻度計算部 1 3の動作の一実施例の要部を説明するフローチヤ一トである。同図中、ステップ S 3 1は、保持された注目物体の位置データに対して、与えられた全ての条件を繰り返したか（与えられた全ての条件で処理が行われたか）否かを判定する。ステップ S 3 1の判定結果が NOであると、ステップ S 3 2は、注目物体の全画素を繰り返した力否かを判定し、判定結果が Y E Sであると、処理は後述するステップ S 3 5へ進む。他方、ステップ S 3 2の判定結果が NOであると、ステップ S 3 3は、メモリに保存された注目物体の出現数 C をカウントする。又、ステップ S 3 4は、注目物体の出現数の総和 Sを S = S + Cから求め、処理はステップ S 3 2へ戻る。

ステップ S 3 5は、注目物体の全画素を繰り返したか否かを判定し、判定結果が Y E Sであると、処理はステップ S 3 1へ戻る。ステップ S 3 5の判定結果が NOであると、ステップ S 3 6は、メモリに保存された注目物体の出現数 Cを力ゥントする。又、ステップ S 3 7は、注目物体の出現数の総和 Sを S = S + Cから求め、処理はステップ S 3 5へ戻る。ステップ S 3 1の判定結果が Y E Sになると、図 8に示す処理は終了する。出現率 R及び濃淡値 Iは、上記ステップ S T 4， S T 5と同様に求めることが可能である。濃淡表示部 1 4は、出現頻度計算部 1 3で計算した各座標の濃淡値を、出力する濃淡画像の該当画素の輝度情報（濃度値）として上記汎用コンピュータの表示部に表示する。出現頻度計算部 1 3が上記ステップ S T 1〜S T 5を行う場合、濃示部 1 4は、次のようなステップ S T 6からなる濃^ ¾示処理を行う。

S T 6 ：各座標の注目物体の濃淡値 Iを、濃淡画像の該当画素の輝度情報 [ 0 〜2 5 5 ] とする。

検出された注目物体のうち、予め指定してお、た条件毎に検出された注目物体の出現頻度を別々の濃淡表示に分けて表示することも可能である。具体的には、例えば注目物体の方向別の場合を考えると、右方向の出現頻度を表す濃淡表示と、正面方向の出現頻度を表す濃 ¾ ^示と、左方向の出現頻度を表す濃 ¾ ^示の 3種類の濃 «示を用意することにより、注目物体を条件毎に別々の濃^ ¾示することができる。

又、検出された注目物体のうち、予め指定しておいた条件毎に検出された注目物体の出現頻度を別々の色に割り当てることにより、色分けした濃淡で表示することも可能である。具体的には、例えば注目物体の方向別の ¾ ^を考えると、右方向の出現頻度を赤、正面方向の出現頻度を青、左方向の出現頻度を緑の濃淡で表示することにより、注目物体を色分けした濃淡で表示することができる。

図 9は、濃淡表示部 1 4の動作の一実施例を説明するフ口一チヤ一トである。同図中、ステップ S 4 1は、出現頻度が計算された注目物体の全画素が繰り返したか（注目物体の全画素が処理されたか）否かを判定する。ステップ S 4 1の判定結果が NOであると、ステップ S 4 2は、複数の濃淡値 Iを与えられた関数により R G Bデータに変換し、処理はステップ S 4 1へ戻る。他方、ステップ S 4 1の判定結果が Y E Sであると、ステップ S 4 3は、 R G Bデータに基づいて濃淡画像を表示部に表示し、処理は終了する。

画像配置部 1 5は、表示された濃淡画像を任意の画像特徴量に基づいて自動的に分類 ·配置する。濃淡画像に限らず、一般の画像をこのように自動的に分類 ' 配置する方法は従来より提案されており、その一例が Susumu Endo et al. , MIRACLES： Multimedia Information Retrieval, Classification, and Exploration System", In Proc. of IEEE International Conference on Multimedia and Expo (ICME2002) , 2002にて提案されている。この提案された分類 ·配置方法では、各画像から指定された画像特徴量（色、テクスチャ、形状等）を自動的に抽出し、選択された任意の画像と各画像との抽出された画像特徴量の誤差を計算し、選択画像と類似した（誤差が少ない）画像を類似度順に表示することが可能である。尚、画像配置部 1 5は、上記の如き分類'配置方法以外の方法で濃淡画像を分類 '配置しても良い。又、濃淡表示部 1 4により表示される濃淡画像は、一般の画像の部錢合であるため、周知の分類 ·配置方法を採用する画像配置部 1 5に入力することが可能となる。

上記位置データ保持部 1 2と出現頻度計算部 1 3は、予め指定しておいた条件毎に検出された注目物体を分けて出現頻度を別々にカウントして、上記濃淡表示部 1 4は、条件毎に色分けして出現頻度を濃淡情報として表示することができる。従って、例えば注目物体の向き毎に分けて出現頻度を把握することができ、条件で注目物体の向きを指定しておくことにより、右向きの注目物体が正面向きの注目物体より出現頻度が高いといった具合に、より詳細に出現頻度を把握することが可能となる。

図 1 0は、画像配置部 1 5の動作の一実施例を説明するフローチャートである。同図中、ステップ S 5 1は、濃 «示部 1 4により表示された濃淡画像から、基となる画像を選択する。ステップ S 5 2は、選択された画像から所定の特徴量を周知の方法により抽出する。ステップ S 5 3は、全画像を繰り返したか（全ての画像を処理したか）否かを判定する。ステップ S 5 3の判定結果が NOであると、ステップ S 5 4は、処理されていない画像から所定の画像特徴量を周知の方法により抽出する。又、ステップ S 5 5は、ステップ S 5 2で抽出された選択された画像の画像特徴量と、ステップ S 5 4で抽出された画像の画像特徴量の誤差を計算し、処理はステップ S 5 3へ戻る。

他方、ステップ S 5 3の判定結果が YE Sであると、ステップ S 5 6は、誤差の昇順に全ての画像をソートする。又、ステップ S 5 7は、ソートされた順に全ての画像を表示部に表示し、処理は終了する。尚、本実施例では、画像配置部 1 5は、濃»示部 1 4により表示部に表示された濃淡画像に基づいて分類 .配置を行っているが、濃淡表示部 1 4が出力する濃淡画像を直接分類 ·配置してソート結果を表示部に表示するようにしても良いことは言うまでもなレ、。

画像配置部 1 5は、濃^ ¾示部 1 4から得られた濃淡情報を画像特徴量に基づレ、て自動的に分類.配置して表示する。従って、例えばある濃淡画像 Aに類似した濃淡画像を順に分類 ·配置することにより、濃淡画像 Aに対応する動画像と注目物体の出現具合が似ている動画像を効率的に探すことが可能となる。又、ある程度類似した濃淡画像の数を把握したり、局所的に配置されている濃淡画像群がどのように類似してレヽるかを把握することも可會となる。

図 1 1は、画像配置部 1 5によりある濃淡画像 Aに類似した濃淡画像 B〜Gを順に分類 *配置したソート結果を示す図である。同図中、矢印は類似度 Sを示し、右側へ行く程類似度 Sが小さレ、。

濃淡表示部 1 4は、出現頻度計算部 1 3で計算される情報に基づいて、特定の注目物体の出現頻度を f立置の画素の濃淡値で表示する。つまり、動画像の各フレームに対する注目物体の検出結果から、注目物体の出現頻度を表す濃淡値を自動的に計算しているので、動画中に現れる注目物体の出現位置を濃度分布によつて表現することが可能となる。このため、ユーザが各動画像に対応する濃度分布を見ることにより、動画像中の注目物体の出現位置を目視により容易に把握することが可能となる。従って、ユーザが目視により濃淡情報の分類'配置を行う場合には、画像配置部 1 5は省略可能である。

ところで、注目物体として、例えば動画像に対する人物の顔の出現位置を把握する必要がある：^としては、次のようなが挙げられる。図 1 2は、教育番組の動画像の分類'配置を説明する図である。図 1 3は、ニュース番組の動画像の分類 ·配置を説明する図である。図 1 4は、ドラマの動画像の分類 ·配置を説明する図である。図 1 2〜図 1 4中、 1は注目物体である顔を示し、各図において左側が動画像、右側が対応する濃淡画像を示す。

C 1 ) 動画像のジャンル分類：多数の動画像に対して、本発明により濃淡情報が類似している動画像同士をまとめて、同じジャンルに分類することができる。例えば、図 1 2のように、一人の講師が中心で講義しているシーンが多い教育番組の動画像群は、いずれも画面の中心付近の濃度が高い濃 «示となる。又、図 1 3のように、ニュースキャスターが二人出演して毎日放映されるニュース番糸且は、どの曜日の動画像も画面の左右二つの点付近の濃度が高い濃 «示となる。更に、図 1 4のように、ドラマのように様々な位置で人物の顔が出現する番組の動画像に対しては、濃淡情報が一様に近くなる。このように、本発明による濃淡情報が類似している動画像を同じジャンルに分類することにより、人物顔の出現傾向が似て、るという指標で動画像をジャンル分けすることができる。

C 2 ) コマーシャル（CM) や番組の分析： CMや番組の分析方法として、視聴率の高い CMや番組に対して、本発明により動画像に共通する特徴や知識を見つけ出すのに利用できる。知識の例として、「視聴率の高かった CMは画面の中心部に顔が出現する頻度が高レ、」等が考えられる。

C 3 ) 作風分析：ある映画監督が撮影した映画（動画像）群に共通する知識を抽出するために利用する 1つの特徴量として、本発明の濃 «示が利用できる。知識の例として、「監督 Yの作品は画面全体に一様に人物顔が出現する傾向が強レ、」等が考えられる。

以上説明したように、本発明では、動画中に現れる特定の注目物体の出現位置を濃度分布（濃淡画像）によって表現することが可能であるので、動画像中に現れる注目物体の出現位置の把握を容易にすることができる。更に、本発明を用いて注目物体の出現傾向を反映した濃淡画像が得られるため、得られた濃淡画像を画像配置部に入力して、濃淡画像を自動的に分類 ·配置することが可能となり、例えば注目物体の出現傾向に関する複数の動画像間の類似度等を把握することが可能となる。

従って、本発明によれば、動画像中の注目物体（例えば、人物の顔）の出現位置という新たな観点を用いて、動画像のジャンル分類、 CMや番組の分析、作風分析等を実施することが可能となる。

尚、本発明は、上記実施例に限定されるものではなく、本発明の範囲内で種々の改良及び変更が可能であることは、言うまでもない。

Claims

請求の範囲

1 . 動画像の各フレームに対して、指定された 1又は複数の注目物体を検出する物 ^出部と、

検出された各注目物体の位置データを保持する位置データ保持部と、位置毎に各注目物体の出現頻度を計算する出現頻度計算部と、

各注目物体の出現頻度を対応する画素の濃淡値で表示する濃 «示部とを備えたことを特徴とする、注目物体の出現位置表示装置。

2. 嫌己物 f«出部は、予め指定した条件を満たすフレームだけを対象として各注目物体を検出することを特徴とする、請求の範囲第 1項記載の注目物体の

3. 前記位置データ保持部は、予め指定した条件を満たす各注目物体の位置データだけを保持することを特徴とする、請求の範囲第 1項又は第 2項記載の注目物体の出現位置表示装置。

4. ttit己位置データ保持部は、検出された各注目物体のうち、予め指定された部位の位置データだけを保持することを特徴とする、請求の範囲第 1項〜第 3 項のレヽずれか 1項記載の注目物体の出現位置表示装置。

5. IE部位は、各注目物体の重心又は注目物体が顔のは目であることを特徴とする、請求の範囲第 4項記載の注目物体の出現位置表示装置。

6. 漏己位置データ保持部及び前記出現頻度計算部は、検出された各注目物体のうち、予め指定された条件毎に検出された注目物体に分けて出現頻度を別々にカウントすることを特徴とする、請求の範囲第 1項〜第 5項の、ずれか 1項記載の注目物体の出現位置表示装置。

7. 前記濃淡表示部は、各注目物体の出現頻度を表す際に、予め指定された条件毎に濃 »示を分けて表示することを特徴とする、請求の範囲第 1項〜第 6 項のレ、ずれか 1項記載の注目物体の出現位置表示装置。

8. ΙΐίΐΒ濃献示部は、各注目物体の出現頻度を表す際に、予め指定された条件毎に色分けして濃淡を表示することを特徴とする、請求の範囲第 1項〜第 6 項のいずれか 1項記載の注目物体の出現位置表示装置。

9. 前記濃 ¾ ^示部により出力された濃淡値の画像を自動的に分類 ·配置して表示する画像配置部を更に備えたことを特徴とする、請求の範囲第 1項〜第 8 項のレ、ずれか 1項記載の注目物体の出現位置表示装置。