JP7148857B2 - 情報処理システム、情報処理方法及びプログラム - Google Patents

Description

本発明は、情報処理システム、情報処理方法及びプログラムに関する。

特許文献１には、入力映像に出現する対象物の登場率に基づいて入力映像を編集し、新規映像を生成する映像生成装置が開示されている。

国際公開第２００７／０７７７１３号

特許文献１に例示されている映像生成装置は、入力映像に対象物が出現した比率を考慮して、新規映像の提示長を制御している。しかしながら、対象物と出現比率との関係のみを考慮するだけでは、動画等のコンテンツ（content）の編集支援に対する要求を十分に満足できない場合があった。

本発明は、上述の課題に鑑みてなされたものであって、好適にコンテンツの編集支援を行い得る情報処理システム、情報処理方法及びプログラムを提供することを目的とする。

本発明の一観点によれば、コンテンツに出現している複数の人物を生体照合により検出する照合部と、前記複数の人物の各々の属性を取得する属性取得部と、前記コンテンツへの前記複数の人物の出現の多さを示す出現量を前記属性ごとに取得する出現量取得部と、を備えることを特徴とする情報処理システムが提供される。

本発明の他の一観点によれば、コンテンツに出現している複数の人物を生体照合により検出するステップと、前記複数の人物の各々の属性を取得するステップと、前記コンテンツへの前記複数の人物の出現の多さを示す出現量を前記属性ごとに取得するステップと、を備えることを特徴とする情報処理方法が提供される。

本発明の他の一観点によれば、コンピュータに、コンテンツに出現している複数の人物を生体照合により検出するステップと、前記複数の人物の各々の属性を取得するステップと、前記コンテンツへの前記複数の人物の出現の多さを示す出現量を前記属性ごとに取得するステップと、を備えることを特徴とする情報処理方法を実行させるためのプログラムが提供される。

本発明によれば、好適にコンテンツの編集支援を行い得る情報処理システム、情報処理方法及びプログラムを提供することができる。

第１実施形態に係る情報処理システムのハードウェア構成例を示すブロック図である。 第１実施形態に係る情報処理システムの機能ブロック図である。 第１実施形態に係る情報処理システムにより行われる処理の概略を示すフローチャートである。 選挙演説動画からの人物の顔の検出例を模式的に示す図である。 候補者データベースの構成例を示す表である。 選挙演説動画に出現している各人物の出現時間の取得例を示す表である。 合算された出現時間の表示例を示す図である。 第１実施形態に係る情報処理システムの機能ブロック図である。 第２実施形態に係る情報処理システムにより行われる処理の概略を示すフローチャートである。 第３実施形態に係る情報処理システムの機能ブロック図である。

以下、図面を参照して、本発明の例示的な実施形態を説明する。図面において同様の要素又は対応する要素には同一の符号を付し、その説明を省略又は簡略化することがある。

［第１実施形態］
本実施形態に係る情報処理システムについて、図１乃至図７を参照しつつ説明する。本実施形態の情報処理システムは、動画編集支援に用いられるシステムであり、例えば、テレビジョン放送局、番組制作会社等の放送用動画編集を行う機関において編集者の業務支援のために用いられる。編集者は、あらかじめ撮影された動画の一部の削除、複数の動画の結合等の編集作業を行い、放送用動画を作成する。

ここで、放送の内容によっては、編集時に制約が生じる場合がある。例えば、インタビュー、選挙演説、政策討論等の、選挙の候補者が出現する動画を用いて選挙の報道番組を制作する場合には、放送局の政治的中立性の観点から、政党間で放送時間の差が少ないことが望まれる。そのため、編集者は、動画の作成時に政党間の放送時間を合致させる必要があり、目視による放送時間の測定等の手間のかかる作業を要していた。

また、例えば、複数のチームが参加するスポーツ大会の中継において、編集方針によりあらかじめチームごとの放送時間が決まっている場合には、チームごとの放送時間を考慮して動画の編集を行う必要があることから上述と同様の制約が生じ得る。

本実施形態の情報処理システムは、このような編集内容に制約のある動画編集の作業をより好適に支援するものである。

なお、以下に説明する実施形態では、人物の特定のために生体照合の一種である顔照合を用いる例を説明するが、動画等のコンテンツに含まれる情報から人物の特定が可能なものであれば、これ以外の生体照合を用いるものあってもよい。例えば、顔照合は、耳介、掌形等の顔以外の部位を用いた照合に置き換えられてもよい。また、コンテンツに演説等の人間の声の音声データが含まれる場合には、顔照合は、声紋の特徴等を用いて照合を行う音声照合に置き換えられてもよい。

ここで、コンテンツとは、複数のフレーム画像及び音声を含む動画コンテンツ、複数のフレーム画像のみを含む動画コンテンツ、音声のみを含む音声コンテンツ等を包括する概念である。典型的には、コンテンツとは、テレビジョン放送用動画、インターネット配信用動画、ラジオ放送用音声、インターネットラジオ配信用音声等であり得る。

図１は、情報処理システム１００のハードウェア構成例を示すブロック図である。情報処理システム１００は、例えば、デスクトップＰＣ（Personal Computer）、ノートＰＣ、タブレットＰＣ等のコンピュータであり得る。

情報処理システム１００は、演算、制御及び記憶を行うコンピュータとして、ＣＰＵ（Central Processing Unit）１５１、ＲＡＭ（Random Access Memory）１５２、ＲＯＭ（Read Only Memory）１５３及びＨＤＤ（Hard Disk Drive）１５４を備える。また、情報処理システム１００は、通信Ｉ／Ｆ（インターフェース）１５５、表示装置１５６及び入力装置１５７を備える。ＣＰＵ１５１、ＲＡＭ１５２、ＲＯＭ１５３、ＨＤＤ１５４、通信Ｉ／Ｆ１５５、表示装置１５６及び入力装置１５７は、バス１５８を介して相互に接続される。なお、表示装置１５６及び入力装置１５７は、これらの装置を駆動するための不図示の駆動装置を介してバス１５８に接続されてもよい。

図１では、情報処理システム１００を構成する各部が一体の装置として図示されているが、これらの機能の一部は外付け装置により提供されるものであってもよい。例えば、表示装置１５６及び入力装置１５７は、ＣＰＵ１５１等を含むコンピュータの機能を構成する部分とは別の外付け装置であってもよい。

ＣＰＵ１５１は、ＲＯＭ１５３、ＨＤＤ１５４等に記憶されたプログラムに従って所定の動作を行うとともに、情報処理システム１００の各部を制御する機能をも有するプロセッサである。ＲＡＭ１５２は、揮発性記憶媒体から構成され、ＣＰＵ１５１の動作に必要な一時的なメモリ領域を提供する。ＲＯＭ１５３は、不揮発性記憶媒体から構成され、情報処理システム１００の動作に用いられるプログラム等の必要な情報を記憶する。ＨＤＤ１５４は、不揮発性記憶媒体から構成され、処理に必要なデータ、情報処理システム１００の動作用プログラム等の記憶を行う記憶装置である。

通信Ｉ／Ｆ１５５は、イーサネット（登録商標）、Ｗｉ－Ｆｉ（登録商標）、４Ｇ等の規格に基づく通信インターフェースであり、他の装置との通信を行うためのモジュールである。表示装置１５６は、液晶ディスプレイ、ＯＬＥＤディスプレイ等であって、画像、文字、インターフェース等の表示に用いられる。入力装置１５７は、キーボード、ポインティングデバイス等であって、ユーザが情報処理システム１００を操作するために用いられる。ポインティングデバイスの例としては、マウス、トラックボール、タッチパネル、ペンタブレット等が挙げられる。表示装置１５６及び入力装置１５７は、タッチパネルとして一体に形成されていてもよい。

なお、図１に示されているハードウェア構成は例示であり、これら以外の装置が追加されていてもよく、一部の装置が設けられていなくてもよい。また、一部の装置が同様の機能を有する別の装置に置換されていてもよい。更に、本実施形態の一部の機能がネットワークを介して他の装置により提供されてもよく、本実施形態の機能が複数の装置に分散されて実現されるものであってもよい。例えば、ＨＤＤ１５４は、半導体メモリを用いたＳＳＤ（Solid State Drive）に置換されていてもよく、クラウドストレージに置換されていてもよい。

図２は、本実施形態に係る情報処理システム１００の機能ブロック図である。情報処理システム１００は、動画取得部１０１、顔検出部１０２、特徴量抽出部１０３、照合部１０４、属性取得部１０５、出現量算出部１０６、出現量合算部１０７、表示情報生成部１０８、及び記憶部１０９を有する。

ＣＰＵ１５１は、ＲＯＭ１５３、ＨＤＤ１５４等に記憶されたプログラムをＲＡＭ１５２にロードして実行する。これにより、ＣＰＵ１５１は、動画取得部１０１、顔検出部１０２、特徴量抽出部１０３、照合部１０４、属性取得部１０５、出現量算出部１０６、出現量合算部１０７及び表示情報生成部１０８の機能を実現する。これらの各部で行われる処理については後述する。ＣＰＵ１５１は、ＨＤＤ１５４を制御することにより記憶部１０９の機能を実現する。

図３は、本実施形態に係る情報処理システム１００により行われる処理の概略を示すフローチャートである。図３を参照しつつ、情報処理システム１００により行われる動画編集支援処理を説明する。なお、以下の説明においては、情報処理システム１００は、複数の候補者が順次演説を行う選挙演説動画の一部を削除することにより選挙の報道番組用の動画を制作するための支援を行うものとする。しかしながら、情報処理システム１００が適用され得る動画編集はこれに限定されるものではなく、例えば複数の動画を切り貼りして１つの動画を生成するものであってもよい。

ステップＳ１０１において、動画取得部１０１は、複数の候補者の選挙演説の動画データを取得する。この動画データの取得は、例えば、記憶部１０９に記憶されている動画データベースから動画データを読み出すものであってもよく、データサーバ等の情報処理システム１００の外部の装置から受信するものであってもよい。

ステップＳ１０２において、顔検出部１０２は、動画データに含まれるフレーム画像データ内から人物の顔が含まれる領域を検出する。図４は、選挙演説動画からの人物の顔の検出例を模式的に示す図である。フレーム画像データ３０１内には、選挙運動車の上に乗って演説を行う候補者３０２が表示されている。顔検出部１０２は、フレーム画像データ３０１内から自動的に人物の顔を探索して顔を検出する。これにより、図４に示されるように候補者の顔を含む矩形の顔領域Ｒ１が抽出される。

ステップＳ１０３において、特徴量抽出部１０３は、顔検出部１０２により抽出された顔領域Ｒ１内の画像から特徴量を抽出する。特徴量とは、例えば、瞳、鼻、口端といった特徴的なパーツの位置等の顔の特徴を示す量であり得る。

ステップＳ１０４において、照合部１０４は、ステップＳ１０３の処理で抽出された特徴量と、候補者データベース（候補者ＤＢ）に含まれる照合対象の特徴量とを照合し、一致する組み合わせがあるかどうかを判定する。候補者データベース内に特徴量抽出部１０３により抽出された特徴量と一致する特徴量がある場合（ステップＳ１０４においてＹＥＳ）、検出された人物は選挙の候補者であると判定され、処理はステップＳ１０５に移行する。データベース内に特徴量抽出部１０３により抽出された特徴量と一致する特徴量がない場合（ステップＳ１０４においてＮＯ）、検出された人物は選挙の候補者ではないと判定され、処理はステップＳ１０８に移行する。

ここで、図５を参照して、候補者データベースの構成について説明する。図５は、候補者データベースの構成例を示す表である。候補者データベースの項目には、図５に示されるように、ある選挙区に立候補している候補者の名前、候補者の顔画像の特徴量、及び候補者が所属する政党が含まれる。特徴量、候補者名、政党は相互に対応付けられている。なお、図５には、特徴量を識別するための特徴量ＩＤ（Identifier）のみが図示されているが、実際には特徴量ＩＤに対応する特徴量が候補者データベースに含まれている。

なお、政党は、人物の属性の一例であり、これ以外の属性に対しても本実施形態の処理は適用され得る。例えば、属性は、人物の所属するグループ、スポーツチーム、企業等の人物の所属に関する情報、人物の年齢、性別、職業等の人物自体の分類に関する情報等、種々のものを含み得る。

図５に示されているものに加えて、候補者データベースは、特徴量だけでなく、特徴量の抽出に用いられた顔画像そのものを含んでいてもよい。また、特徴量と政党が対応付けられていれば本実施形態の処理が可能であるため、候補者名は省略されていてもよい。

図４のケースでは、照合部１０４は、顔領域Ｒ１内の画像から抽出された特徴量は、候補者Ａの特徴量（特徴量ＩＤ：１００１）と一致すると判定する。そのため、顔領域Ｒ１内の人物は候補者Ａであると特定される。

なお、候補者データベースは、情報処理システム１００内の記憶部１０９に記憶されたものであってもよく、データサーバ等の情報処理システム１００の外部の装置に記憶されたものであってもよい。候補者データベースは、情報処理システム１００のユーザが所属する放送局等が自社内に保有するものであり得る。しかしながら、選挙報道においては、複数の放送局が同じ選挙区の選挙情報を提供することが多いため、候補者データベースは、複数の放送局等が共同で利用できるようにクラウド環境で提供されるものであってもよい。

ステップＳ１０５において、属性取得部１０５は、候補者データベースを参照してステップＳ１０３の処理で抽出された特徴量に対応する人物が所属する政党を、候補者の属性を示す情報として取得する。図４の例では、検出された人物は候補者Ａであり、候補者Ａが所属する政党は図５に示されるようにＸ党であることから、本処理で取得される政党はＸ党である。

ステップＳ１０６において、出現量算出部１０６は、動画データを検索して、ステップＳ１０３の処理で抽出された特徴量と同じ特徴量を有する人物の出現時間を算出する。出現時間とは、動画の再生時に当該人物が出現していた時間である。なお、この処理で取得される量は出現時間でなくてもよく、当該人物の顔が含まれているフレームの数、出現時間比率（出現時間／動画の全再生時間）等の動画内における人物の出現の多さを示す量であればよい。本明細書では、これらを動画内における人物の出現の多さを示す量を出現量と呼称することがある。また、本明細書の説明において、特記した場合を除き、出現時間についての記述は出現量と読み替えることが可能である。

なお、出現量は、例えば、動画データに含まれるフレーム画像に対し、所定の時間（又はフレーム数）の間隔で顔照合を行うことにより算出され得る。また、動画データに人物の音声が含まれており、かつ、照合部１０４が音声照合の機能を備えている場合には、音声から話者、発声時間等を抽出することにより、出現量を算出してもよい。この場合において、出現量算出部１０６は、動画のフレームに人物の顔が含まれていない期間には、音声から話者を特定し、当該話者の発声時間に基づいて出現量を算出してもよい。これにより、人物の顔が映っている期間に加えて、人物の顔が映っていない状態で発声している期間も出現時間に合算されるように出現量を算出することができるので、出現量の算出精度が向上する。

また、出現量の算出において、出現時間等の人物が出現していた時間以外の要素を更に考慮してもよい。例えば、動画に出現する人物のサイズを出現時間に乗じることにより、大きく映っていた人物の出現量がより大きい値になるように補正してもよい。これにより、動画内で人物の大きさに差異がある場合にその影響を考慮した編集が可能となる。

ステップＳ１０７において、記憶部１０９は、属性取得部１０５により取得された政党、出現量算出部１０６により算出された出現時間及び照合部１０４により特定された人物を対応付けて記憶する。

ステップＳ１０８において、ＣＰＵ１５１は、動画に出現するすべての顔に対してステップＳ１０３からステップＳ１０７の処理が完了したか否かを判定する。すべての顔に対する処理が完了している場合（ステップＳ１０８においてＹＥＳ）、処理はステップＳ１０９に移行する。すべての顔に対する処理が完了していない場合（ステップＳ１０８においてＮＯ）、処理はステップＳ１０３に戻り、動画に出現する別の顔に対して同様の処理が行われる。

図６は、すべての顔に対する処理が完了した後に、記憶部１０９に記憶されている出現時間データの例である。図６に示されるように、記憶部１０９には、特徴量、候補者名、政党及び出現時間が相互に対応づけられて記憶される。図６の表は、これらの情報を動画への出現順に示したものである。この表より、動画には、最初にＸ党の候補者Ａが１４８秒出現し、次にＹ党の候補者Ｃが１２１秒出現し、以降、様々な候補者が順次出現していることがわかる。なお、図６の例では、人物を特定する情報として特徴量、候補者名の２つが挙げられているが、これらは必須ではない。

ステップＳ１０９において、出現量合算部１０７は、記憶部１０９に記憶されている出現時間データに対し、政党ごとに人物の出現時間の合算を行う。図６に示されている例では、Ｘ党の候補者の出現時間が５７８秒、Ｙ党の候補者の出現時間が７２４秒、Ｚ党の候補者の出現時間が３１５秒と算出される。

なお、政党ごとの出現時間の取得の処理はステップＳ１０７の時点で行われてもよい。この場合、出現量算出部１０６の機能と出現量合算部１０７の機能は統合され得る。すなわち、出現量算出部１０６及び出現量合算部１０７は、より一般的に出現量取得部とも呼称され得る。

ステップＳ１１０において、表示情報生成部１０８は、ステップＳ１０９において合算された政党ごとの出現時間を表示装置１５６に表示させるための表示情報を生成する。ＣＰＵ１５１は、表示装置１５６を制御して、当該表示情報に基づく画像を表示装置１５６に表示させる。図７は、合算された出現時間の表示例を示す図である。

図７に示される例では、編集対象の選挙演説動画に対し、出現時間表示枠３０３が重畳されている。出現時間表示枠３０３内には、Ｘ党の候補者の出現時間が５７８秒、Ｙ党の候補者の出現時間が７２４秒、Ｚ党の候補者の出現時間が３１５秒である旨が表示されている。これらは、出現量合算部１０７により算出された出現時間である。ユーザ（動画編集者）は、出現時間表示枠３０３内の出現時間を参照しながら動画の編集を行うことにより、政党間の放送時間を合致させるような編集を容易に行うことができる。なお、出現時間表示枠３０３の表示内容は、出現時間そのものではなく、出現比率を表示するものであってもよい。例えば上述の例では、「Ｘ党：３６％、Ｙ党：４５％、Ｚ党：１９％」というような表示であってもよい。

出現時間の表示を動画に重畳させることは必須ではなく、ユーザに出現時間の通知がなされれば、これ以外の態様であってもよい。例えば、動画の表示枠とは別の表示枠に出現時間を表示させてもよく、別の表示装置に出現時間を表示させてもよく、音声等によりユーザに現時間を通知してもよい。

上述のように、本実施形態によれば、属性ごとに出現量を取得することができ、更に出現量を表示させる等によりユーザに通知することができる。これにより、出現量に対して制約を設けた編集作業が必要な場合においても好適に動画等のコンテンツの編集支援を行い得る情報処理システム１００が提供される。

［第２実施形態］
本実施形態に係る情報処理システムについて、図８及び図９を参照しつつ説明する。第１実施形態においては、属性ごとの出現量を表示装置１５６に表示させ、ユーザに通知することにより動画編集支援を行う情報処理システム１００について説明したが、動画編集支援の提供手法はこれに限られない。本実施形態では、情報処理システム１００が属性ごとの出現量を用いて自動的に動画編集を行うことにより、動画編集支援を行う例を説明する。なお、本実施形態の説明において、第１実施形態と同様の要素、処理等については省略又は簡略化することがある。

図８は、本実施形態に係る情報処理システム１００の機能ブロック図である。第１実施形態との相違点は、表示情報生成部１０８に代えて編集部１１０が設けられている点である。ＣＰＵ１５１は、ＲＯＭ１５３、ＨＤＤ１５４等に記憶された動画編集用のプログラムをＲＡＭ１５２にロードして実行することにより、編集部１１０の機能を実現する。

図９は、本実施形態に係る情報処理システム１００により行われる処理の概略を示すフローチャートである。ステップＳ１０１からステップＳ１０９の処理は第１実施形態と同様であるため説明を省略する。

ステップＳ１１１において、編集部１１０は、ステップＳ１０９において合算された政党ごとの出現時間に基づいて、政党ごとの出現時間が所定の比率になるように自動的に動画の編集を行う。この所定の比率とは、例えば、政党ごとの出現時間が実質的に同一となる比率である。

編集部１１０により行われる処理の例を説明する。本例では、図６の例に示す出現時間の画像の一部を削除して、１５分（９００秒）に短縮する処理を行う場合を想定する。また、上述の所定の比率は政党ごとの出現時間が同一となる比率であるものとする。この場合、Ｘ党、Ｙ党、Ｚ党の候補者の出現時間をいずれも３００秒にすれば上述の条件が満たされる。そこで、編集部１１０は、Ｘ党の候補者が出現している期間のうちの２７８秒分、Ｙ党の候補者が出現している期間のうちの４２４秒分、及びＺ党の候補者が出現している期間のうちの１５秒分を削除する。これにより、Ｘ党、Ｙ党、Ｚ党の候補者の出現時間がいずれも同一となる動画編集が実現される。なお、編集後の動画の再生時間、出現時間の比率等のパラメータはあらかじめユーザが設定したものであってもよく、処理の開始時にユーザに入力させるものであってもよい。

なお、動画内の削除する範囲を選択するためのアルゴリズムは、例えば、視聴者に与えられる情報量が少ない期間を自動的に選択するというものであり得る。視聴者に与えられる情報量が少ない期間とは、例えば、動画中の演説を行っていない期間、候補者の顔が小さく映っている期間、候補者の顔が映っておらず声のみが含まれる期間である。一般的に、動画の編集においては、上述の例示のような視聴者に与えられる情報量が少ない期間を削除することにより、所定の長さの動画を生成することが多いためである。このアルゴリズムでは、編集部１１０は、上述のような情報量が少ない期間を削除候補として選択し、出現時間の比率が所定の比率になるように選択された削除候補の中の一部又は全部を削除することにより、自動編集を行う。また、当該アルゴリズムは、人間により編集された動画を学習データとして用いた機械学習により生成されたものであってもよい。

上述の説明では、編集部１１０の処理が自動であるものとしたが、ユーザが一部の指示を行う半自動の処理であってもよい。この半自動の処理は、例えば、編集部１１０がいくつかの編集候補を提示し、ユーザが編集候補の中からいずれかを選択するというものであり得る。

本実施形態によれば、第１の実施形態の場合と同様に、出現量に対して制約を設けた編集作業が必要な場合においても好適に動画等のコンテンツの編集支援を行い得る情報処理システム１００が提供される。また、本実施形態では、編集作業の一部又は全部が自動化されるため、ユーザの作業工数を更に削減することができる。

なお、上述の削除候補の選択アルゴリズムは、自動編集を行わない場合にも適用可能である。例えば、第１実施形態のようにユーザが手動で編集を行う場合において、上述のような削除候補を表示装置１５６に表示させてもよい。これにより、ユーザは、動画全体の中からどの部分を削除すればよいかを容易に把握することができ、ユーザの作業工数を削減することができる。

上述の実施形態において説明したシステムは以下の第３実施形態のようにも構成することができる。

［第３実施形態］
図１０は、第３実施形態に係る情報処理システム２００の機能ブロック図である。情報処理システム２００は、照合部２０１、属性取得部２０２及び出現量取得部２０３を備える。照合部２０１は、コンテンツに出現している複数の人物を生体照合により検出する。属性取得部２０２は、複数の人物の各々の属性を取得する。出現量取得部２０３は、コンテンツへの複数の人物の出現の多さを示す出現量を属性ごとに取得する。

本実施形態によれば、好適にコンテンツの編集支援を行い得る情報処理システム２００が提供される。

［変形実施形態］
本発明は、上述の実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において適宜変更可能である。

図３及び図９に示したフローチャート内に更にステップが追加されてもよく、いずれかのステップが省略されてもよい。例えば、顔照合を補助するために、ユーザに対して目視による顔照合の結果の確認を行わせ、その結果の入力を受け付けるステップが追加されてもよい。

上述の実施形態のステップＳ１０４の顔照合において、顔照合により人物が特定できたフレームの前後のフレームに対しては顔照合を省略して人物を特定してもよい。例えば、同じ人物が演説を続けている場面では、同じ人物が写り続けるため、画像の輝度、色等の変化が小さい。このような人物が入れ替わっていないことが明らかな場面では、顔照合を行うまでもなく同じ人物であると判定できるため、顔照合を省略して処理を高速化してもよい。また、人物が横、後ろ等を向いていて顔照合ができない場合において、その前後のフレームの照合結果から人物を特定できれば、その照合結果を援用してもよい。

上述の実施形態では、主として生体照合の一種である顔照合を用いた例を説明したが、これ以外の生体照合であってもよく、例えば声紋の特徴等を用いて話者を特定する音声照合を用いることもできる。また、この話者の特定手法は、会話内容のテキスト分析を含んでもよい。例えば、動画に演説の音声データが含まれる場合には、上述の実施形態における顔照合は、演説の声に対する音声照合に置き換えられ得る。この場合、上述の実施形態は、ラジオ放送等の画像を含まないコンテンツにも適用可能である。

また、人物の特定において、顔照合と音声照合を併用してもよい。音声照合を併用することにより、例えば、人物の顔が映っていない場合、人物が横又は後ろを向いている場合、人物の顔が不鮮明である場合等の顔認証が難しい場面であっても適切に人物を特定することができる。

上述の実施形態の機能を実現するように該実施形態の構成を動作させるプログラムを記憶媒体に記録させ、記憶媒体に記録されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も各実施形態の範疇に含まれる。すなわち、コンピュータ読取可能な記憶媒体も各実施形態の範囲に含まれる。また、上述のプログラムが記録された記憶媒体だけでなく、そのプログラム自体も各実施形態に含まれる。また、上述の実施形態に含まれる１又は２以上の構成要素は、各構成要素の機能を実現するように構成されたＡＳＩＣ、ＦＰＧＡ等の回路であってもよい。

該記憶媒体としては例えばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ（Compact Disk）－ＲＯＭ、磁気テープ、不揮発性メモリカード、ＲＯＭを用いることができる。また該記憶媒体に記録されたプログラム単体で処理を実行しているものに限らず、他のソフトウェア、拡張ボードの機能と共同して、ＯＳ（Operating System）上で動作して処理を実行するものも各実施形態の範疇に含まれる。

上述の各実施形態の機能により実現されるサービスは、ＳａａＳ（Software as a Service）の形態でユーザに対して提供することもできる。

なお、上述の実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

上述の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
コンテンツに出現している複数の人物を生体照合により検出する照合部と、
前記複数の人物の各々の属性を取得する属性取得部と、
前記コンテンツへの前記複数の人物の出現の多さを示す出現量を前記属性ごとに取得する出現量取得部と、
を備えることを特徴とする情報処理システム。

（付記２）
前記出現量取得部は、前記複数の人物の各々が前記コンテンツに出現した時間に基づく量を前記属性ごとに合算することにより前記出現量を取得する
ことを特徴とする付記１に記載の情報処理システム。

（付記３）
前記出現量取得部は、前記複数の人物の各々が前記コンテンツに出現した時間及び前記複数の人物の各々のサイズに基づく値を前記属性ごとに合算することにより前記出現量を取得する
ことを特徴とする付記１又は２に記載の情報処理システム。

（付記４）
前記出現量を前記属性ごとに表示装置に表示させるための表示情報を生成する表示情報生成部を更に備える
ことを特徴とする付記１乃至３のいずれか１項に記載の情報処理システム。

（付記５）
前記表示情報は、前記コンテンツの中の削除候補の期間を示す情報を含む
ことを特徴とする付記４に記載の情報処理システム。

（付記６）
前記属性ごとの前記出現量が所定の比率になるように前記コンテンツを自動的に編集する編集部を更に備える
ことを特徴とする付記１乃至５のいずれか１項に記載の情報処理システム。

（付記７）
前記編集部は、前記属性ごとの前記出現量が実質的に同一になるように前記コンテンツを自動的に編集する
ことを特徴とする付記６に記載の情報処理システム。

（付記８）
前記編集部は、前記コンテンツの中の削除候補の期間を選択し、前記削除候補の一部又は全部を削除することにより前記コンテンツを自動的に編集する
ことを特徴とする付記６又は７に記載の情報処理システム。

（付記９）
前記出現量は、前記複数の人物の出現時間又は出現比率である
ことを特徴とする付記１乃至８のいずれか１項に記載の情報処理システム。

（付記１０）
前記コンテンツは動画を含み、
前記生体照合は、前記コンテンツに出現する前記複数の人物の顔画像から抽出された特徴量と、データベースに含まれる照合対象の特徴量とを照合する顔照合である
ことを特徴とする付記１乃至９のいずれか１項に記載の情報処理システム。

（付記１１）
前記コンテンツは音声を含み、
前記生体照合は、前記コンテンツに出現する前記複数の人物が発した音声から抽出された特徴量と、データベースに含まれる照合対象の特徴量とを照合する音声照合である
ことを特徴とする付記１乃至９のいずれか１項に記載の情報処理システム。

（付記１２）
前記コンテンツは、動画及び音声を含み、
前記生体照合は、前記コンテンツに出現する前記複数の人物の顔画像から抽出された特徴量と、データベースに含まれる照合対象の特徴量とを照合する顔照合と、前記コンテンツに出現する前記複数の人物が発した音声から抽出された特徴量と、データベースに含まれる照合対象の特徴量とを照合する音声照合とを含み、
前記出現量取得部は、前記複数の人物の顔が出現した期間と、前記複数の人物が音声を発した期間とに基づいて前記出現量を取得する
ことを特徴とする付記１乃至９のいずれか１項に記載の情報処理システム。

（付記１３）
前記データベースは、前記照合対象の特徴量に対応付けられた前記属性を含み、
前記属性取得部は、前記データベースを参照することにより前記属性を取得する
ことを特徴とする付記１０乃至１２のいずれか１項に記載の情報処理システム。

（付記１４）
前記複数の人物の各々は、選挙の候補者であり、
前記属性は、前記複数の人物の各々が所属する政党である
ことを特徴とする付記１乃至１３のいずれか１項に記載の情報処理システム。

（付記１５）
コンテンツに出現している複数の人物を生体照合により検出するステップと、
前記複数の人物の各々の属性を取得するステップと、
前記コンテンツへの前記複数の人物の出現の多さを示す出現量を前記属性ごとに取得するステップと、
を備えることを特徴とする情報処理方法。

（付記１６）
コンピュータに、
コンテンツに出現している複数の人物を生体照合により検出するステップと、
前記複数の人物の各々の属性を取得するステップと、
前記コンテンツへの前記複数の人物の出現の多さを示す出現量を前記属性ごとに取得するステップと、
を備えることを特徴とする情報処理方法を実行させるためのプログラム。

１００、２００ 情報処理システム
１０１ 動画取得部
１０２ 顔検出部
１０３ 特徴量抽出部
１０４、２０１ 照合部
１０５、２０２ 属性取得部
１０６ 出現量算出部
１０７ 出現量合算部
１０８ 表示情報生成部
１０９ 記憶部
１１０ 編集部
１５１ ＣＰＵ
１５２ ＲＡＭ
１５３ ＲＯＭ
１５４ ＨＤＤ
１５５ 通信Ｉ／Ｆ
１５６ 表示装置
１５７ 入力装置
１５８ バス
２０３ 出現量取得部
３０１ フレーム画像データ
３０２ 候補者
３０３ 出現時間表示枠
Ｒ１ 顔領域

Claims (16)

1. コンテンツに出現している複数の人物を生体照合により検出する照合部と、
   前記複数の人物の各々の属性を取得する属性取得部と、
   前記コンテンツへの前記複数の人物の出現の多さを示す出現量を前記属性ごとに取得する出現量取得部と、
   を備えることを特徴とする情報処理システム。
2. 前記出現量取得部は、前記複数の人物の各々が前記コンテンツに出現した時間に基づく量を前記属性ごとに合算することにより前記出現量を取得する
   ことを特徴とする請求項１に記載の情報処理システム。
3. 前記出現量取得部は、前記複数の人物の各々が前記コンテンツに出現した時間及び前記複数の人物の各々のサイズに基づく値を前記属性ごとに合算することにより前記出現量を取得する
   ことを特徴とする請求項１又は２に記載の情報処理システム。
4. 前記出現量を前記属性ごとに表示装置に表示させるための表示情報を生成する表示情報生成部を更に備える
   ことを特徴とする請求項１乃至３のいずれか１項に記載の情報処理システム。
5. 前記表示情報は、前記コンテンツの中の削除候補の期間を示す情報を含む
   ことを特徴とする請求項４に記載の情報処理システム。
6. 前記属性ごとの前記出現量が所定の比率になるように前記コンテンツを自動的に編集する編集部を更に備える
   ことを特徴とする請求項１乃至５のいずれか１項に記載の情報処理システム。
7. 前記編集部は、前記属性ごとの前記出現量が同一になるように前記コンテンツを自動的に編集する
   ことを特徴とする請求項６に記載の情報処理システム。
8. 前記編集部は、前記コンテンツの中の削除候補の期間を選択し、前記削除候補の一部又は全部を削除することにより前記コンテンツを自動的に編集する
   ことを特徴とする請求項６又は７に記載の情報処理システム。
9. 前記出現量は、前記複数の人物の出現時間又は出現比率である
   ことを特徴とする請求項１乃至８のいずれか１項に記載の情報処理システム。
10. 前記コンテンツは動画を含み、
    前記生体照合は、前記コンテンツに出現する前記複数の人物の顔画像から抽出された特徴量と、データベースに含まれる照合対象の特徴量とを照合する顔照合である
    ことを特徴とする請求項１乃至９のいずれか１項に記載の情報処理システム。
11. 前記コンテンツは音声を含み、
    前記生体照合は、前記コンテンツに出現する前記複数の人物が発した音声から抽出された特徴量と、データベースに含まれる照合対象の特徴量とを照合する音声照合である
    ことを特徴とする請求項１乃至９のいずれか１項に記載の情報処理システム。
12. 前記コンテンツは、動画及び音声を含み、
    前記生体照合は、前記コンテンツに出現する前記複数の人物の顔画像から抽出された特徴量と、データベースに含まれる照合対象の特徴量とを照合する顔照合と、前記コンテンツに出現する前記複数の人物が発した音声から抽出された特徴量と、データベースに含まれる照合対象の特徴量とを照合する音声照合とを含み、
    前記出現量取得部は、前記複数の人物の顔が出現した期間と、前記複数の人物が音声を発した期間とに基づいて前記出現量を取得する
    ことを特徴とする請求項１乃至９のいずれか１項に記載の情報処理システム。
13. 前記データベースは、前記照合対象の特徴量に対応付けられた前記属性を含み、
    前記属性取得部は、前記データベースを参照することにより前記属性を取得する
    ことを特徴とする請求項１０乃至１２のいずれか１項に記載の情報処理システム。
14. 前記複数の人物の各々は、選挙の候補者であり、
    前記属性は、前記複数の人物の各々が所属する政党である
    ことを特徴とする請求項１乃至１３のいずれか１項に記載の情報処理システム。
15. コンテンツに出現している複数の人物を生体照合により検出するステップと、
    前記複数の人物の各々の属性を取得するステップと、
    前記コンテンツへの前記複数の人物の出現の多さを示す出現量を前記属性ごとに取得するステップと、
    を備えることを特徴とする情報処理方法。
16. コンピュータに、
    コンテンツに出現している複数の人物を生体照合により検出するステップと、
    前記複数の人物の各々の属性を取得するステップと、
    前記コンテンツへの前記複数の人物の出現の多さを示す出現量を前記属性ごとに取得するステップと、
    を備えることを特徴とする情報処理方法を実行させるためのプログラム。

Images