JP3315888B2 - 動画像表示装置および表示方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は動画像表示装置およ
び表示方法に係り、特に所定の長さの動画像をシーンの
変化等に応じて複数の場面に区分し、その場面中に登場
する人物の所定の映像を登場回数と共に分類することが
できるようにした動画像表示装置および表示方法に関す
る。

【０００２】

【従来の技術】近年の衛星放送、ケーブルテレビジョン
放送の普及などに伴い、一般家庭においても視聴可能な
映像チャンネル数は増加の一途をたどっている。また、
従来のビデオテープやレーザーディスクなどの映像記録
媒体に加えて、映像や音声の情報をディジタルデータと
して記録再生できるＤＶＤ（Digital Versatile Disc）
も１９９６年には製品化され、一般的なユーザが大量の
映像メディアにアクセスできる環境は充実しつつあると
いってよい。

【０００３】その一方で、それら大量の映像の中からユ
ーザがアクセスしたいと望んでいる目的の映像に効率よ
くアクセスできる技術の提供は従前のままである。例え
ば、テレビの視聴者は、新聞などに掲載される番組欄を
参照してみたい映像（番組）を選択したり、ビデオソフ
トパッケージを購入しようとする消費者はパッケージに
記載されているタイトルや出演者、あらすじなどを参照
して希望のビデオを選択する。これらは文字による映像
情報のテキスト記述であるが、映像のすべてに対して記
述がなされているわけでもなく、そのようにすべてに対
して記述をすることは大変な手間と時間を要するものと
なる。

【０００４】また、映像中のどの部分をみたいか、とい
う要求はユーザの個々によって当然異なっているはずな
ので、すべてのユーザに対して適用可能なテキスト記述
を作成することは不可能であり、また、もし作成できた
としても付加情報量の増大を招くために、主として放送
メディアなどの供給できる情報量に限界があるソースに
おいては実用化が難しいものとなる。このため、テレビ
視聴者はニュース番組中の特定の話題だけを視聴したい
場合であっても、番組の最初からテレビをスイッチオン
したままの状態で、自分が視聴したい話題が放映される
まで待ち続けなければならなかったり、別のニュース番
組で視聴した話題も繰り返し見させられたりして、著し
く時間の無駄となっている。

【０００５】このように、情報メディアが飛躍的に進歩
しても映像アクセス環境が貧弱なままでは、近い将来、
ユーザが大量の映像情報にアクセスできる状況が実現し
た場合でも、その情報量をスムーズに享受できるとはい
えず、かえって情報量の多さに混乱するユーザが増える
懸念もある。

【０００６】

【発明が解決しようとする課題】本発明はユーザがディ
ジタル映像を視聴する際に、その映像データを構造化し
て表示することによって、ユーザが今見ている映像の全
体像をつかみやすくすることを目的とする。

【０００７】また、動画像に表現されている映像内容を
解析して映像中の顔領域を辞書により比較して判定し、
登場人物毎に登場回数を分類・計数することにより動画
像中に現れる人物を確認でき、迅速な検索を図ることを
目的としている。

【０００８】

【課題を解決するための手段】上記目的を達成するた
め、本発明の第１の基本構成に係る動画像表示装置は、
入力された動画像を複数枚の静止画像として抽出する静
止画像抽出手段と、抽出された前記静止画像を１枚また
は任意の枚数の画像よりなるショット毎に区分する画像
連続区分手段と、前記画像連続区分手段によって区分さ
れた各ショット毎に人物の顔映像が撮影されているか否
かを判定する顔映像判定手段と、前記各ショットの中に
人物の顔映像が存在すると判定された場合にこの人物の
顔映像が前記動画像の中に既に撮影されているか否かを
判定する顔既出判定手段と、前記人物の顔映像を異なる
顔映像毎に分類すると共に前記動画像における各顔映像
の登場回数を計数する顔分類計数手段と、分類された前
記各顔映像と計数された前記各顔映像の登場回数に基づ
いて、前記動画像における登場人物一覧を作成する登場
人物一覧作成手段と、を備えることを特徴としている。

【０００９】上記第１の基本構成に係る動画像表示装置
において、前記登場人物一覧作成手段が、上記登場人物
一覧表示を行なう際には登場回数順に並べ替えて出力す
ると共に、この並べ替えが行なわれて出力された登場人
物一覧を表示する表示部をさらに備えるようにしても良
い。

【００１０】上記第１の基本構成に係る動画像表示装置
において、前記画像連続区分手段としての場面分割部を
用いた場面分割により分断された所定単位の映像場面毎
に、この場面から１枚の静止画像を選び出す代表フレー
ム選択部と、前記登場人物一覧を表示する際に、該登場
人物が登場した映像場面の代表フレームを関連づけて、
一覧表示画面に同時に表示する表示部と、を備えること
を特徴としても良い。

【００１１】上記段落［００１０］の構成に係る動画像
表示装置において、前記表示部に表示された前記一覧表
示画面上の前記代表フレームを、利用者が操作・指示す
ることにより、この代表フレームが代表する所定単位の
場面から直接画像を再生することができる入力操作部を
備えることを特徴としても良い。

【００１２】この発明の第２の基本構成に係る動画像表
示方法は、所定の時間的な長さを有して入力された動画
像を連続する静止画像として抽出すると共に、該連続す
る静止画像を時間軸上の所定単位に区分するステップ
と、前記区分された所定単位の静止画像に人物の顔が含
まれているか否かを判断するステップと、前記所定単位
の静止画像中に顔が含まれているものと判断された場合
に、その顔が初めてのものであるときに１つの項目とし
て分類するステップと、前記所定単位の静止画像中に含
まれていた顔が既に分類されて登録されている場合に、
分類された顔の登場回数を１つ加算するステップと、全
ての所定単位の静止画像群について顔の抽出動作を行な
ってその動画像における登場人物一覧を作成するステッ
プと、を備えることを特徴としている。

【００１３】上記第２の基本構成に係る動画像表示方法
において、前記連続する静止画像を時間軸上の所定単位
に区分するステップが、その所定単位の静止画像が表現
している場面の代表的な画像を代表フレームとして抽出
・作成するステップをさらに含むことを特徴としても良
い。

【００１４】上記第２の基本構成に係る動画像表示方法
において、前記登場人物を作成するステップの前に、全
ての所定単位の静止画像についての処理が行なわれたか
否かを判断するステップが設けられていることを特徴と
しても良い。

【００１５】

【発明の実施の形態】本発明の映像表示装置は、ＤＶＤ
などランダムアクセス可能な映像記録再生装置と協調動
作して、付加的なユーザインタフェースを提供すること
を想定している。以下、本発明の実施形態に係る動画像
表示装置について添付図面を参照しながら詳細に説明す
る。

【００１６】まず、本発明の第１実施形態に係る動画像
表示装置について図１を用いて説明する。図１におい
て、動画像表示装置は、入力された所定の長さの動画像
を複数枚の静止画像が時間的に連続するものとして、こ
れらの静止画像を抽出する静止画像抽出手段１と、抽出
された連続する前記静止画像を所定単位のショット毎に
区分する画像連続区分手段２と、前記連続画像区分手段
２によって区分された各ショット毎に人間の顔が撮影さ
れているか否かを判定する顔映像判定手段３と、前記各
ショットに顔が存在すると判定された場合にこの顔がこ
の所定長さの動画像の中に既に撮影されているか否かを
判定する顔既出判定手段４と、異なる顔毎に分類すると
共にこの所定長さの動画像における各顔の登場回数を計
数する顔分類計数手段５と、分類された前記各顔と計数
された前記各顔の登場回数に基づいて、前記動画像の登
場人物一覧を作成する登場人物一覧作成手段６と、を備
えており、この登場人物一覧作成手段６が出力する登場
人物データを受け入れて表示する表示手段７が設けられ
ていても良い。

【００１７】次に、第１実施形態に係る動画像表示装置
の更に詳細な構成を示す第２実施形態に係る動画像表示
装置について図２を参照しながら説明する。図２におい
て、図１の第１実施形態に係る動画像表示装置に示され
た構成要素と同一のものは、同一符号により表示するこ
とにより重複説明を省略している。第２実施形態に係る
動画像表示装置は、静止画像抽出部１と、画面連続区分
手段２としての場面分割部１１と、前記画面連続区分手
段２を構成すると共に前記場面分割部１１により分割さ
れた一纏まりの場面の中から代表フレームを選択する代
表フレーム選択部１２と、顔映像判定手段３を構成する
顔探索部１３と顔判定部１４と、顔であるものと判定さ
れた映像がその動画像において既に検出されているか否
かを判定する顔既出判定部４と、判定された顔の各構成
要素（目，鼻，口等）を類似するクラスタ（集落）に分
類して複数の顔クラスタを作成する顔クラスタ作成部１
５と、作成された顔クラスタの分類を記憶するクラスタ
分類記憶部１６と、前記顔判定部４により特定された顔
をカウントアップするカウントアップ部５と、クラスタ
分類記憶部より読み出された顔の分類とその顔の登場回
数とを頻出順に従い表示する表示画面１７と、を備えて
いる。

【００１８】上記顔クラスタ作成部１５とクラスタ分類
記憶部１６とにより登場人物一覧作成手段６が構成され
ており、表示画面１７により表示手段７が構成されてい
る。図３はこの第２実施形態に係る動画像表示装置の表
示例を示した概念図である。画面１７内には、その映像
中で登場した人物が、登場回数順に順位を付されて並べ
られている。この画面には人物２２に対して、その登場
回数の順位２１とともに、その人物が登場したショット
の代表フレーム２３が列挙されている。代表フレーム
は、カット検出によって場面の変わり目を検知し、カッ
トごとに区切られた区間をショットとして、ショットご
とに（たとえばショットの先頭フレームなど）１枚ずつ
の静止画像を代表フレームとするのが従来一般的な方法
であるが、本発明ではショット分割の手法および代表フ
レーム選択は限定しない。

【００１９】最も単純な方法として、映像を１０秒ごと
に機械的に分割し、分割された各ショット内の５秒経過
時点の映像を代表フレームとする、などとしてもよい。
利用者は、代表フレーム２３をマウスなどのポインティ
ング・デバイスで指示することにより、自分の目的の人
物２２が登場している任意のショットから映像の本編を
見ることができる。

【００２０】次に、上記構成を有する動画像表示装置を
用いて動画像を表示させる方法について、第３および第
４の実施形態に従って説明する。第３実施形態に係る動
画像表示方法は図２に示された第２実施形態に係る動画
像表示装置の処理動作に相当するものであり、その詳細
は図４に示されている。以下の説明においては、本発明
の第２実施形態に係る動画像表示装置が、以上の表示を
行なうための処理手順について、図４に基づいて説明す
る。図４は、本発明の映像表示装置の処理手順を示すフ
ローチャートである。動画像はまず場面分割ステップST
１によって処理単位であるショットに分けられる。ショ
ットの生成については、上述のように必ずしも映像中の
場面に即したものでなくてもよく、例えば、５秒、１０
秒といった所定時間単位の機械的なものでも構わない。
以下の処理はショット単位に行なわれるものである。

【００２１】ショット内のすべてのフレームは、フレー
ム内の画素領域（例えば、「２０×２０」画素）ごとに
顔領域が存在しているかを探索される（ステップST
２）。例えば、「２０×２０」画素の範囲などより成る
探索領域でフレーム内をスキャンし、また、探索領域自
体も複数の大きさでスキャンすることによって、そのフ
レーム内に顔が存在していたかどうかを探索する。

【００２２】ここで、顔の存在の有無の判定方法の一例
を説明する。図５は顔の判定方法を説明する概念図であ
る。以下では、探索領域として「２０×２０」画素を設
定した場合について説明する。この領域には４００画素
を含んでいるので、各画素を座標値とした４００次元の
超空間に「２０×２０」画素の映像を置くと１点として
表現される。あらかじめ顔であることがわかっている
「２０×２０」画素の映像を大量に用意して、この超空
間にプロットすると、ある偏りを持った分布になる。こ
の分布の中心位置（平均値）および共分散行列を計算す
ると、それを用いて分布の特徴量を固有ベクトルと固有
値で表現できる。

【００２３】この固有ベクトルを、対応する固有値が大
きいものから順に適切な数量選別すると、選別された複
数の固有ベクトルによって張られる部分空間（超平面）
は、「顔らしい」広がりを代表する超平面といえる。こ
れを固有顔空間と称し、図５においては３４として示し
ている。未知の「２０×２０」画素の画像３１が入力さ
れたときに、この超空間内での固有顔空間３４への距離
３２を観測し、この距離３２が設定された閾値以下であ
ったときに、この「２０×２０」画素の領域を顔であっ
たと判断すればよい。

【００２４】一方、この固有顔空間３４内でも、同一人
物から生成された特徴点は近い範囲に分布しており、ク
ラスタ化することができる。これを図５においてはクラ
スタ３５として示している。すでに人別のクラスタ３５
が生成されていたとき、上述の未知画像３１を固有顔空
間３４に射影した点３７と、既知顔クラスタの中心点３
６と距離３３を計算して、その距離３３が設定された閾
値以下であったときには、この「２０×２０」画素の領
域は３０６を含む既知顔と同じ人物であったと判定され
る。

【００２５】以上の距離計算は、単純に各座標値の差の
２乗和の平方根をとるユークリッド距離でもよいし、既
知顔クラスタ３５の共分散行列を考慮に入れたマハラノ
ビス距離でもよい。本発明に係る動画像表示装置および
表示方法は、このような距離計算方法によって効果が限
定されるものではない。

【００２６】さて、図４に戻り処理手順の説明を続ける
と、ステップST２においてショット内のフレームに顔が
存在することが調査判定された場合、次に判断ステップ
ST３において上述した手法などを用いて、その顔がショ
ット内のフレームに含まれていたか否かが判断される。
ステップST３においてフレーム内に含まれていたものと
判断された場合には、そその顔が着目している映像中で
すでに登場している顔であるかどうかがステップST４に
おいて判別される。

【００２７】ステップST4 において、もしもこの顔が初
登場であった場合、ステップST５において、ショット内
のその顔の領域映像を複数枚ピックアップし（ショット
内の映像の全てでもよい）、その顔のクラスタを作成す
る。このようにして、ステップST６のように、ショット
内の全ての顔について、登場回数を加算してゆく。

【００２８】この一連の処理がすべてのショットについ
て終了すると、顔別に登場回数のカウントが完了してい
る。すなわち、ステップST７においては、他のショット
についても人物の顔が含まれているか否か判断され、含
まれていなければステップST８において最後のショット
についての処理が終了したか否かが判断され、終了した
ものと判断された場合には処理ルーチンを終了する。も
しも、ステップST７において、他にも顔が含まれるもの
と判断された場合には、ステップST４に戻りステップST
６までの処理動作を繰り返すことになる。また、ステッ
プST８において最後のショットについての処理を終えて
いないものと判断された場合には、ステップST３に戻り
ステップST７までの動作を繰り返すことになる。

【００２９】次に、図６を参照しながら本発明の第４実
施形態に係る動画図表示方法について説明する。この第
４実施形態に係る表示方法は、図１に示された第１実施
形態に係る動画像表示装置に対応するものである。図６
において、ステップST10では入力された動画像に対して
その動画像を構成する例えばフレームのような静止画像
を抽出する。動画像は抽出されたこれらの静止画像が所
定の時間的単位で連続しているものと考えることができ
る。

【００３０】ステップST11においては、連続する静止画
像を所定単位に区分する。この区分の仕方については、
一定の同一場面が連続するシーンを１つのショットとし
て区分しても良いし、一定の時間、例えば５秒間毎の静
止画像や１０秒間毎の静止画像を無作為に１つの所定単
位としても良い。次に、ステップST12において、区分さ
れた所定単位の静止画像の中に人物の顔が含まれている
か否かが判断される。もしも人物の顔が含まれていない
ものと判断された場合には、次のショットについて処理
が進められる。

【００３１】ステップST12において、所定単位の画像中
に人物の顔が含まれているものと判断された場合には、
ステップST13において、以前に処理したショットの中に
現れた人物の顔であるか否かが判断される。前のショッ
トには現れておらず初めてでてきた顔である場合には、
ステップST15においてその顔を分類項目の１つとして１
回登場してきたものとして分類し、ステップST14を経て
次のショットについての処理を行なう。ステップST13に
おいて、以前の処理により既に分類されて登録されてい
る顔であるものと判断された場合には、ステップST16に
おいて、分類登録されている顔の登場回数を１回カウン
トアップして次のステップST17へと処理を進める。

【００３２】ステップST17においては、最後の所定単位
すなわちショットであるか否かが判断され、最後のショ
ットであるものと判断された場合には、ステップST18に
おいて、その所定長さの動画像中に登場する人物の一覧
がその回数と共に作成されて例えば表示画面１７上に表
示される。ステップST17において、最後のショットでは
ないものと判断された場合にはステップST14に戻り、以
後の処理動作を繰り返し行なうことになる。

【００３３】なお、上記の説明では登場する人物の顔が
初めて現れる場合に限ってクラスタの作成を行なってい
たが、本発明はこれには限定されず、人物の顔が２回目
以降の登場であった場合にも、クラスタを作り直して、
常に更新された新しいクラスタに登場回数をカウントア
ップして表示するようにしても良い。このようにするこ
とにより、表示画面１７に表示されている顔は一番最後
に現れた顔であることになり、逆検索を行なう際に好都
合であるという特有の効果がある。

【００３４】

【発明の効果】以上説明したように、本発明の映像表示
装置によれば、利用者は所定の長さの動画像の全体の構
造を把握しながら、特に登場人物に関する所望の映像だ
けを選択的に見ることが可能となり、映像検索に要する
時間を大幅に短縮できるという効果を奏する。

【００３５】また、大量の動画像データに対しても検索
のための無駄時間をかけることなく所望の人物が登場す
るシーンを繰り返し同じ映像を見ることなく１回ずつ視
聴することができ、大量情報化社会に対して検索時間を
節約し重複視聴時間を省いて迅速に対応できるという効
果もある。

【図面の簡単な説明】

【図１】本発明の第１実施形態に係る動画像表示装置の
基本構成を示すブロック構成図である。

【図２】本発明の第２実施形態に係る動画像表示装置の
詳細な構成を示すブロック構成図である。

【図３】本発明の第２実施形態に係る動画像表示装置の
表示画面上の表示例を説明する概念図である。

【図４】本発明の第３実施形態に係る動画像表示方法に
おける処理手順を説明するフローチャートである。

【図５】本発明の第３実施形態における動画像表示方法
における処理手順を説明するための概念図である。

【図６】本発明の第４実施形態に係る動画像表示方法の
処理手順を示すフローチャートである。

【符号の説明】

１ 静止画像抽出手段 ２ 画像連続区分手段 ３ 顔映像判定手段 ４ 顔移出判定手段 ５ 顔分類計数手段 ６ 登場人物一覧作成手段 ７ 表示手段 １１ 場面分割部 １２ 代表フレーム選択部 １３ 顔探索部 １４ 顔判定部 １５ 顔クラスタ作成部 １６ クラスタ分類記録部 １７ 表示画面 ２１ 登場人物の登場順位 ２２ 登場人物 ２３ 登場人物の出演ショットの代表フレーム ３４ 固有顔空間 ３５ クラスタ

───────────────────────────────────────────────────── フロントページの続き (72)発明者 窪 田 進 神奈川県川崎市幸区小向東芝町１ 株式 会社東芝 研究開発センター内 (56)参考文献 特開 平８−339379（ＪＰ，Ａ) 特開 平６−187379（ＪＰ，Ａ) 特開 平７−38842（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 5/76 - 5/956 G06T 1/00,7/20,13/00

Claims (7)

(57)【特許請求の範囲】
1. 【請求項１】入力された動画像を複数枚の静止画像とし
   て抽出する静止画像抽出手段と、 抽出された前記静止画像を１枚または任意の枚数の画像
   よりなるショット毎に区分する画像連続区分手段と、 前記画像連続区分手段によって区分された各ショット毎
   に人物の顔映像が撮影されているか否かを判定する顔映
   像判定手段と、 前記各ショットの中に人物の顔映像が存在すると判定さ
   れた場合に、この人物の顔映像が前記動画像の中の何れ
   かに既に撮影されているか否かを判定する顔既出判定手
   段と、 前記人物の顔映像を異なる顔映像毎に分類すると共に、
   前記動画像における各顔映像の登場回数を計数する顔分
   類計数手段と、 分類された前記顔映像と計数された前記各顔映像の登場
   回数に基づいて、前記動画像における登場人物一覧を作
   成する登場人物一覧作成手段と、 を備えることを特徴とする動画像表示装置。
2. 【請求項２】前記登場人物一覧作成手段は、登場人物一
   覧表示を行なう際には登場回数順に並べ替えて出力する
   と共に、この並べ替えが行われて出力された登場人物一
   覧を表示する表示手段をさらに備えることを特徴とする
   請求項１に記載の動画像表示装置。
3. 【請求項３】前記画像連続区分手段としての場面分割部
   を用いた場面分割により分断された所定単位の映像場面
   毎に、この場面から１枚の静止画像を選び出す代表フレ
   ーム選択部と、前記登場人物一覧を表示する際に、該登
   場人物が登場した映像場面の代表フレームを関連づけ
   て、一覧表示画面に同時に表示する表示部と、を備える
   ことを特徴とする請求項１に記載の動画像表示装置。
4. 【請求項４】前記表示部に表示された前記一覧表示画面
   上の前記代表フレームを、利用者が操作・指示すること
   により、この代表フレームが代表する所定単位の場面か
   ら直接画像を再生することができる入力操作部を備える
   ことを特徴とする請求項３に記載の動画像表示装置。
5. 【請求項５】所定の時間的な長さを有して入力された動
   画像を連続する静止画像として抽出すると共に、該連続
   する静止画像を時間軸上の所定単位に区分するステップ
   と、 前記区分された所定単位の静止画像に人物の顔が含まれ
   ているか否かを判断するステップと、 前記所定単位の静止画像中に顔が含まれているものと判
   断された場合に、その顔が初めてのものであるときに１
   つの項目として分類するステップと、 前記所定単位の静止画像中に含まれていた顔が既に分類
   されて登録されている場合に、分類された顔の登場回数
   を１つ加算するステップと、 全ての所定単位の静止画像群について顔の抽出動作を行
   なってその動画像における登場人物一覧を作成するステ
   ップと、 を備えることを特徴とする動画像表示方法。
6. 【請求項６】前記連続する静止画像を時間軸上の所定単
   位に区分するステップにおいて、その所定単位の静止画
   像が表現している場面の代表的な画像を代表フレームと
   して抽出・作成するステップをさらに含むことを特徴と
   する請求項５に記載の動画像表示方法。
7. 【請求項７】前記登場人物を作成するステップの前に、
   全ての所定単位の静止画像についての処理が行なわれた
   か否かを判断するステップが設けられていることを特徴
   とする請求項５に記載の動画像表示方法。