JP6280323B2 - キャプチャしたイメージを用いた動画分析装置、方法およびコンピュータ読み取り可能な記録媒体 - Google Patents

Description

本発明は、動画からキャプチャしたイメージを分析するための装置に関し、より詳細には、動画からキャプチャした画面イメージをネットワークを介して収集し、収集した各イメージ関連情報を分析するためのキャプチャしたイメージを用いた動画分析装置、方法およびコンピュータ読み取り可能な記録媒体に関する。

通常、インターネットは、全世界のどこでも、誰でも、アクセスしようとする相手のコンピュータにＴＣＰ／ＩＰという共通のプロトコルを適用して自由に接続して使用するために構成された開放型ネットワークであり、基本的な文字情報の伝達だけでなく、圧縮技術の発展に伴いマルチメディア情報の伝達に用いられるなど、電子メール、ファイル送信、ＷＷＷ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）などの様々なサービスを利用することができる。

このようなインターネットは、国内をはじめ世界的に使用が急増するに伴い、既存産業の全部分にわたり効率性と生産性の改善のための戦略的なツールとして重要性が急速に増大しており、インターネットを介する新しいビジネス機会が継続して生み出されるだけでなく、その領域も拡張しつつあり、インターネットを利用する事業者もますます増加している。

一方、近年、スマートフォンなどのデジタル装備の拡散に伴い個人の動画コンテンツ（例えば、ＵＣＣ（Ｕｓｅｒ Ｃｒｅａｔｅｄ Ｃｏｎｔｅｎｔｓ））が大量に作成されており、ＴＶ放送と映画コンテンツなどもＶＯＤ（Ｖｉｄｅｏ ｏｎ ｄｅｍａｎｄ）サービスなどを介してウェブで視聴することが一般化されている。

このような動画コンテンツの円滑な利用のためには、所望のコンテンツに対する検索とブラウジングが可能になるように特定のシーンに対する情報を含む様々な動画メタ（ｍｅｔａ）情報が必要である。例えば、現在、動画検索やサービスでは、動画のタイトルと日付、ヒット数など動画に関するテキスト形態のメタ情報を主に使用しており、該動画のヒット数などを利用して動画の人気度を把握している。

しかし、このようにテキスト形式のメタ情報のみを活用して動画を検索する方法では、実際該動画内でどのシーンが見逃さずに見るべき人気のあるシーンであるか知ることができず、動画に直接リンクを張って投稿する場合以外には外部（例えば、他のウェブサイト）でこの動画に対して如何なるコメントをどれ位しているかを把握することができない。

また、ユーザは動画そのものでなく、動画からキャプチャした特定の画面イメージをウェブ上にアップロードし、これにより該動画コンテンツ情報に対してフェイスブックやツイッターなどのＳＮＳ（Ｓｏｃｉａｌ Ｎｅｔｗｏｒｋ Ｓｅｒｖｉｃｅ）サイトまたは自分のブログやホームページで他のユーザと話し合う場合が頻繁に生じている。

特に、著作権がありログインしたときにのみ再生可能なコンテンツに対しては、該コンテンツをウェブサイトなどに直接投稿して貼り付けることが難しく、コメントしたい動画の特定のシーンに対する固有のＵＲＬを取得することも容易でないため、ニュースでも該動画の代わりに放送や映画の特定のシーンのみをキャプチャして記事に用いられている。

このように動画からキャプチャしたイメージとともに流通されている動画に関する豊富なメタ情報を含む情報は、該動画と直接連結されることができていない。

一方、このような動画コンテンツ関連情報を提供するための技術として、韓国登録特許公報第１０−０８５７３８１号の「コンテンツサービスシステムおよび方法（エヌエイチエヌコーポレーション）」（文献１）には、動画著作物において出所情報を生成してデータベースに格納し、シーンデータとの類似度を算出して出所を抽出できるコンテンツサービス方法が開示されている。

しかし、このような従来方法は、単純に動画に対するメタ情報のみを提供するだけであって、主要シーンをキャプチャしたイメージ関連情報を提供することができないという限界がある。

したがって、動画からキャプチャした各イメージに対する各種関連情報を効果的に提供することにより動画の活用度を高めることができる方法が必要とされている。

韓国登録特許第１０−０８５７３８１号

本発明の目的は、動画から抽出した各フレームと、外部ウェブサイトなどを介して収集したキャプチャしたイメージとを比較することにより、該動画に対する様々なメタ情報を提供することができるキャプチャしたイメージを用いた動画分析装置、方法およびコンピュータ読み取り可能な記録媒体を提供することにある。

また、本発明の他の目的は、動画から抽出した各フレームと、外部ウェブサイトなどを介して収集したキャプチャしたイメージとを比較することにより、該イメージが含まれたニュース、ブログ、ＳＮＳ記事などの情報を分析することができるキャプチャしたイメージを用いた動画分析装置、方法およびコンピュータ読み取り可能な記録媒体を提供することにある。

また、本発明のさらに他の目的は、動画から抽出した各フレームと、外部ウェブサイトなどを介して収集したキャプチャしたイメージとを比較することにより、該動画においてどのフレームが最も多い話題を呼び、どの動画コンテンツがＳＮＳで人気を集めたかのようなソーシャルランキングを分析することができるキャプチャしたイメージを用いた動画分析装置、方法およびコンピュータ読み取り可能な記録媒体を提供することにある。

上記の本発明の目的を果たし、後述する本発明の特有の効果を果たすための、本発明の特徴的な構成は下記のとおりである。

本発明の一側面によれば、キャプチャしたイメージを用いた動画分析装置は、複数のフレームからなる動画から少なくとも一つのフレームを抽出するビデオフレーム抽出部と、前記ビデオフレーム抽出部を介して抽出した各フレームの特徴を数値化する抽出フレーム数値化部と、少なくとも一つの収集した検索対象イメージの特徴を数値化するイメージ数値化部と、数値化した値により前記検索対象イメージと前記複数のフレームから抽出した少なくとも一つのフレームとを比較するイメージ比較検索部と、前記比較結果、前記検索対象イメージと一致するフレームが存在する場合、前記一致するフレームに前記収集した検索対象イメージ関連情報をマッピングしてデータベースに格納する検索結果処理部と、を含む。

好ましくは、前記装置は、前記ビデオフレーム抽出部を介して抽出した複数の連続したフレーム間のイメージ差が予め設定した所定範囲以内に該当する場合、前記複数のフレームから選択された一つのフレームを代表フレームと決定する代表フレーム抽出部をさらに含み、前記抽出フレーム数値化部は、前記代表フレーム抽出部を介して決定された代表フレームを数値化してデータベースに格納する。

好ましくは、前記代表フレーム抽出部は、前記複数のフレーム間のグレーヒストグラムの差値が所定値以下の場合、前記複数のフレームから選択された一つのフレームを代表フレームと決定する。

好ましくは、前記代表フレーム抽出部は、予め設定した時間ごとに少なくとも一つのフレームを代表フレームと決定する。

好ましくは、前記抽出フレーム数値化部は、各フレームの不変点を数値化した後、予め定義したクラスタ（ｃｌｕｓｔｅｒ）値に変換したビジュアルワードの頻度数で示す。

好ましくは、前記イメージ数値化部は、各イメージの不変点を数値化した後、予め定義したクラスタ（ｃｌｕｓｔｅｒ）値に変換したビジュアルワードの頻度数で示す。

好ましくは、前記イメージ比較検索部は、前記各フレームのビジュアルワードと前記各イメージのビジュアルワードとを比較して同じビジュアルワードが予め設定した個数以上であるか最も多い場合、該フレームとイメージが一致すると決定する。

好ましくは、前記検索対象イメージ関連情報は、前記収集したイメージが投稿された出所、前記イメージのソーシャルネットワークサービス上のリツイート数、コメント数、オススメ度および評価情報から選択されたいずれか一つ以上である。

好ましくは、前記装置は、前記検索結果処理部によって格納された検索結果から特定の動画に関する各フレームに対する統計値を自動算出して分析結果を生成する結果分析処理部をさらに含む。

好ましくは、前記結果分析処理部は、結果分析要請に応じて特定の動画の各フレームに対し動画内の該イメージを参照したニュース、ブログ、ＳＮＳサイトでの引用回数および該リンク情報から選択されたいずれか一つを提供する。

好ましくは、前記結果分析処理部は、結果分析要請に応じて特定の動画の各フレームに対し動画内の該イメージを参照したニュース、ブログ、ＳＮＳサイトでの引用回数から各フレームのランキングを算出して提供する。

本発明の他の側面によれば、キャプチャしたイメージを用いた動画分析方法は、複数のフレームからなる動画から少なくとも一つのフレームを抽出する段階と、前記抽出したフレームの特徴を数値化する段階と、少なくとも一つの収集した検索対象イメージの特徴を数値化する段階と、数値化した値により前記検索対象イメージと前記複数のフレームから抽出した少なくとも一つのフレームとを比較する段階と、前記比較結果、前記検索対象イメージと一致するフレームが存在する場合、前記一致するフレームに前記収集した検索対象イメージ関連情報をマッピングしてデータベースに格納する段階と、を含む。

一方、前記キャプチャしたイメージを用いた動画分析方法を提供するための情報は、サーバコンピュータによって読み取り可能な記録媒体に格納されることができる。このような記録媒体は、コンピュータシステムによって実行されるようにプログラム及びデータが格納される全ての種類の記録媒体を含む。その例としては、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｋ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｄｉｓｋ）−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ格納装置などが挙げられる。また、搬送波（ｃａｒｒｉｒ ｗａｖｅ）（例えば、インターネットを介した伝送）の形態に具現されるものも含まれる場合がある。また、このような記録媒体は、ネットワークで連結されたコンピュータシステムに分散され、分散方式でコンピュータ読み取り可能なコードが格納されて実行されることができる。

上述したように、本発明によれば、動画からキャプチャしたイメージを収集し、収集したイメージに連結されたウェブコンテンツを用いて該動画に対する様々なソーシャルメタ情報を蓄積することができるという利点がある。また、このようなソーシャルメタ情報を蓄積することにより、動画に対するランキングと人気のあるシーンを判別することができるという利点がある。

また、本発明によれば、動画に挿入されたイメージフレームを抽出した後、該イメージが含まれたニュース、ブログ、ＳＮＳ記事情報を収集することにより、イメージ別に収集したコンテンツの出所および個数によって該動画で話題となった主要シーンなどを検出することができるという利点がある。また、このような分析によってどの動画コンテンツがソーシャルネットワークサービスなどで人気があったかに対するソーシャルランキングを分析することができるという利点がある。

本発明の実施形態に係るキャプチャしたイメージを用いた動画分析の概念を示す図である。 本発明の実施形態に係るキャプチャしたイメージを用いた動画分析装置の詳細構成を示すブロック図である。 本発明の実施形態に係る代表フレーム抽出のための特定のフレームのグレーヒストグラムを示すグラフである。 本発明の実施形態に係る代表フレーム選定のためのフレーム比較を示す図である。 本発明の実施形態に係る代表フレーム選定のための方法を示す図である。 本発明の実施形態に係る代表フレームを数値化する方法の概念を示す図である。 本発明の実施形態に係るキャプチャしたイメージを用いた動画分析手続きを示すフローチャートである。 本発明の実施形態に係るキャプチャしたイメージを用いた動画分析結果の例を示す図である。 本発明の実施形態に係るキャプチャしたイメージを用いた動画分析結果の例を示す図である。 本発明の実施形態に係るキャプチャしたイメージを用いた動画分析結果の例を示す図である。

後述する本発明についての詳細な説明は、本発明が実施できる特定実施形態を例示として示す添付図面を参照する。これらの実施形態は、当業者が本発明を十分に実施することができるように詳細に説明される。本発明の多様な実施形態は、互いに異なるが、相互排他的な必要はないことを理解すべきである。例えば、ここに記載されている特定形状、構造及び特徴は、一実施形態に関連して本発明の思想及び範囲を外れずに他の実施形態に具現されることができる。また、それぞれの開示された実施形態内の個別構成要素の位置または配置は、本発明の思想及び範囲を外れずに変更されることができることを理解すべきである。従って、後述する詳細な説明は限定的な意味で扱うものでなく、本発明の範囲は、適切に説明されるならば、その請求範囲が主張するものと均等な全ての範囲のように、添付した請求範囲によってのみ限定される。図面において、類似した参照符号は、様々な側面にわたって同一または類似した機能を示す。

本発明は、動画からキャプチャした画面イメージを外部サーバなどを介して収集し、これと動画から抽出した標準フレームとを比較することにより、動画および動画の主要フレームに対する様々なメタ情報を提供することができる動画キャプチャイメージ分析装置を開示する。

すなわち、本発明では、特定の動画からキャプチャしたイメージを外部サーバ（例えば、ソーシャルネットワークサービス（ＳＮＳ；Ｓｏｃｉａｌ Ｎｅｔｗｏｒｋ Ｓｅｒｖｉｃｅ）サイト、ブログ、ポータルサイトなど）から収集し、これと全体の動画から抽出した複数のフレームとを比較することにより、収集したイメージがどの動画のどのフレームに該当するかを判別する。

これにより、収集した特定のイメージと一致するフレームが検索される場合、該フレームに対して前記収集したイメージ関連情報（例えば、連結されたウェブコンテンツ情報）をマッピングして格納することにより、動画コンテンツに対する様々な分析が行われることができる。この際、前記関連情報としては、コンテンツの出所（すなわち、投稿されたウェブサイト）、該イメージが投稿された個数などが挙げられ、これを用いて分析結果として動画または動画内の特定のイメージのランキング（ｒａｎｋｉｎｇ）（順位）、各出所別の引用回数などを算出することができる。

一方、後述する説明における「外部サーバ」とは、本発明により動画分析を行う動画キャプチャイメージ分析装置とは別に、各種ウェブサービスを提供するサーバであり、物理的にまたは論理的に区分した装置として前記動画キャプチャイメージ分析装置とは所定の有無線通信ネットワークを介して連結されることができる。

以下、本発明が属する技術分野において通常の知識を有する者が本発明を容易に実施できるようにするために、本発明の好ましい実施形態について添付図面を参照して詳細に説明する。

キャプチャしたイメージを用いた動画分析の概念
図１は本発明に係るキャプチャしたイメージを用いた動画分析の概念を示す図である。図１を参照すると、まず、少なくとも一つの動画に対して複数のフレーム（ｆｒａｍｅ）を抽出する。次に、抽出した各フレームの特徴値を数値化してデータベースに格納する。この際、本発明の実施形態により複数のフレームから代表フレームを抽出し、抽出した代表フレームに対してのみ数値化して格納することが好ましい。

一方、クローラ（ｃｒａｗｌｅｒ）は、外部サーバ（例えば、ニュース、ブログ、ツイッター、フェイスブックなどを提供するウェブサーバ）からキャプチャしたイメージが貼り付けられた記事を収集して検索候補としてデータベースに格納する。次に、前記動画から抽出した代表フレームのうち検索エンジンを介して前記収集した各イメージと一致する代表フレームを検索する。

前記検索された結果に応じて、動画別の話題のシーンのデータベースおよび該話題のシーンを言及したシーン別のポストデータベースを構築する。また、検索結果に基づき動画のランキングを算出したり、動画内の話題のシーンを選定したりするなど、各種分析を行うことができる。

より具体的に説明すると、前記検索結果収集された特定のイメージと一致する代表フレームが検索される場合、該代表フレームに前記収集したイメージに関連してともに収集された各種情報（例えば、該収集したイメージが投稿された出所、該代表フレームが参照された個数、該イメージの拡散または選好度の程度（例えば、リツイート（ＲＴ）数、コメント数、オススメ数またはオススメ度など）など）をマッピングしてデータベースに格納する。

これにより、図８から図１０に示されるように、特定の動画から抽出した代表フレームのうち話題のシーン（すなわち、話題のフレーム）、該話題のシーンを言及した記事のリスト、動画のランキングなどを提供することができる。

以下、図２から図７を参照して本発明の実施形態に係るキャプチャしたイメージを用いた動画分析装置および方法について詳細に説明する。

キャプチャしたイメージを用いた動画分析装置
図２は本発明の実施形態に係るキャプチャしたイメージを用いた動画分析装置の詳細構成を示すブロック図である。図２を参照すると、本発明の実施形態に係る動画分析装置は、ビデオフレーム抽出部２１０と、代表フレーム抽出部２２０と、抽出フレーム数値化部２３０と、イメージ情報収集部２４０と、イメージ数値化部２５０と、イメージ比較検索部２６０と、検索結果処理部２７０と、結果分析処理部２８０と、を含むことができる。また、前記動画分析装置は、動画コンテンツデータベース２９１と、フレーム特徴情報データベース２９２と、イメージ特徴情報データベース２９３と、イメージ関連情報データベース２９４と、イメージ分析情報データベース２９５などの、少なくとも一つのデータベースを含むことができる。

動画コンテンツデータベース２９１には少なくとも一つの動画が、例えばファイル形態で格納される。この際、前記動画は、複数のフレーム（例えば、１秒に３０フレームなど）を含んで構成されることができる。一方、前記動画として、如何なる種類および如何なるフォーマットの動画も本発明に適用される。例えば、放送動画、ＵＣＣ動画、映画動画など如何なる種類の動画も本発明に適用される。また、前記格納される動画に対する各種関連情報（例えば、メタ情報）が前記格納された動画にマッピングされてから前記動画コンテンツデータベース２９１にともに格納される。例えば、前記動画の出所、再生時間、放送時間、放送チャンネル、ファイルフォーマットなどの情報がともに格納される。

前記ビデオフレーム抽出部２１０は、前記動画コンテンツデータベース２９１に格納された特定の動画を選択し、選択された動画内に含まれた複数の各フレームを抽出する。

前記代表フレーム抽出部２２０は、本発明の実施形態によると、前記ビデオフレーム抽出部２１０を介して抽出した複数のフレームから主要フレームとして使用する代表フレームを選択する。すなわち、前記ビデオフレーム抽出部２１０を介して抽出したフレームは、隣接フレーム間の重複性（または類似性）が強いため、データベースの構成および検索の効率性のために、本発明の実施形態のように代表フレームを選択して処理することが好ましい。しかし、本発明はこれに限定されず、抽出した動画内の全体のフレームまたは動画内の特定の条件に適するフレームに対して、以降の手続きを行うように実施してもよい。

この際、前記代表フレームの抽出方法は多様に実施される。例えば、後述する実施形態のように、フレーム間のグレーヒストグラムの差値が所定値以下の場合に前記フレームのイメージは重複性の強いイメージであるため、該フレームを除くように実施することができる。例外的にフレーム間のグレーヒストグラムの差が小さいが前記フレームのイメージが互いに異なる場合が生じうるため、所定時間間隔ごとに代表フレームが強制に選定されるように実施することができる。これに関する詳細については図３から図５に関する説明部分で後述する。

このように、代表フレーム抽出部２２０によって代表フレームが決定されると、抽出フレーム数値化部２３０では、前記各代表フレームの特徴を数値化してフレーム特徴情報データベース２９２に格納する。前記各代表フレームの特徴を数値化する方法は多様に具現されることができ、公知のイメージ分析方法などを利用してもよい。一方、本発明では、前記代表フレームの特徴を数値化する方法の例として、ビジュアルワード（ｖｉｓｕａｌ ｗｏｒｄｓ）方法を使用した例を挙げており、本発明はこれに限定されない。前記ビジュアルワード方法の詳細については図６の説明部分で後述する。

イメージ情報収集部２４０では、各種外部サーバ（例えば、ポータルサイトサーバ、ＳＮＳサーバ、ブログサーバなど）からイメージ（例えば、特定の動画からキャプチャしたイメージ）が貼り付けられた記事を収集する。この際、前記イメージ情報収集部２４０は、クローラ（ｃｒａｗｌｅｒ）などを用いて実施することができるが、本発明はこれに限定されない。前記クローラは、ウェブ上の様々な情報を自動検索して索引するために検索エンジンを運営するサイトで使用するソフトウェアの一種であり、スパイダー（Ｓｐｉｄｅｒ）、ボット（ｂｏｔ）、知的エージェントとも言う。

一方、前記イメージ情報収集部２４０は、前記イメージが貼り付けられた記事を収集する際に該収集したイメージが投稿された出所、該イメージの拡散または選好度の程度（例えば、リツイート（ＲＴ）数、コメント数、各種評価情報（例えば、オススメ度、肯定／否定数（または賛成／反対数）など）など）などの情報をさらにともに収集することができる。前記イメージ情報収集部２４０によってさらに収集したイメージ関連情報は、イメージ関連情報データベース２９４に該イメージとともにリンクされて格納される。

前記イメージ数値化部２５０は、前記イメージ情報収集部２４０を介して収集した各イメージの特徴を数値化してイメージ特徴情報データベース２９３に格納する。この際、前記イメージ数値化部２５０での数値化方法は、前記抽出フレーム数値化部２３０での方法と同じ方法を使用することが好ましいが、本発明はこれに限定されない。すなわち、前記各収集したイメージの特徴を数値化する方法は多様に具現されることができ、公知のイメージ分析方法などを利用してもよい。一方、本発明では、前記収集したイメージの特徴を数値化する方法の例として、ビジュアルワード（ｖｉｓｕａｌ ｗｏｒｄｓ）方法を使用した例を挙げて説明しており、本発明はこれに限定されない。

このように、代表フレームに対する特徴数値化および収集したイメージに対する特徴数値化の処理が完了すると、イメージ比較検索部２６０では特定のイメージの数値化した値と、前記フレーム特徴情報データベース２９２に格納された代表フレームの数値化した値とを比較する。前記比較の結果、特定のイメージと一致する値を有する代表フレームまたは特定のイメージと最も類似した値を有する代表フレームを検索する。一方、前記特徴を数値化する方法として後述するビジュアルワード方法を用いる場合、前記イメージと同じビジュアルワードを最も多く有する代表フレームを検索するか、同じワードの出現回数をイメージ間の距離（ｄｉｓｔａｎｃｅ）と定義する際に、前記イメージ間の距離が所定距離以内のフレームを検索することができる。

前記イメージ比較検索部２６０によって収集した特定のイメージと一致するフレームが検索されると、前記検索結果処理部２７０では、前記検索された該フレームに前記一致するイメージに係り収集された情報をイメージ関連情報データベース２９４から読み出してマッピングし、これをイメージ分析情報データベース２９５に格納する。

また、本発明の実施形態により動画に対する情報要請を受信すると、結果分析処理部２８０では、前記イメージ分析情報データベース２９５に格納された検索結果から特定の動画に対する各主要フレームに対する統計値を自動算出して分析結果を生成し、生成された結果を要請したユーザに提供する。例えば、図８から図１０に示されるように、動画に対する検索結果として、本発明の実施形態により特定の動画の主要イメージ（またはフレーム）に関する各種関連情報（例えば、動画内の該イメージを参照したニュース、ブログ、ＳＮＳサイトなどの回数および該リンク情報など）を生成してユーザに提供することができる。

代表フレーム抽出方法
図３は本発明の実施形態に係る代表フレーム抽出のための特定のフレームのグレーヒストグラムを示すグラフである。図３を参照すると、本発明の実施形態により、フレーム間のグレーヒストグラムの差値を用いて代表フレームが抽出される。

すなわち、図３に示されたように各フレームに対するグレーヒストグラムを算出し、連続したフレーム間のグレーヒストグラムの差値が予め設定した所定値以下の場合、前記連続したフレームを重複性（または類似性）の強いイメージと判断する。したがって、一つのフレームのみを代表フレームとして残し、残りの一つ以上の重複フレームは削除処理する。これにより、一つの動画に含まれた多数のフレームから条件を満たす特定のフレームのみを代表フレームとして抽出し、処理することにより、データベースの構成および検索を効率的に行うことができる。

前記グレーヒストグラムは、例えば図３のように算出することができる。より具体的に説明すると、フレームを構成する各ピクセルのグレー値を算出し、予め区分した区間に属するか否かを計算してその割合を計算する。これにより、全体のフレームイメージのグレー値の分布度が図３のように算出されることができる。

図４および図５は、前記グレーヒストグラムなどを使用して代表フレームを選定する方法を示す。すなわち、図４を参照すると、４１０番フレームと４２０番フレームは連続したフレームであり、グレーヒストグラムの差が予め設定した値以下の重複性の強いイメージであることが分かる。したがって、４１０番フレームを除き４２０番フレームを代表フレームとして選定する。同様に、４３０番フレームと４４０番フレームは連続したフレームであり、グレーヒストグラムの差が予め設定した値以下の重複性の強いイメージであることが分かる。したがって、４３０番フレームを除き４４０番フレームを代表フレームとして選定する。同じ方法で３以上の連続したフレームのグレーヒストグラムの差が予め設定した値以下の場合、一つのフレームのみを代表フレームとして残し、残り二つのフレームを除くことができる。

一方、特別な場合に前記のようにグレーヒストグラムの差は予め設定した値以下であるが互いに異なるイメージである可能性もある。したがって、本発明の実施形態によりグレーヒストグラムの差が予め設定した値以下であっても予め設定した時間（例えば、１秒）ごとに一回は強制に代表フレームと選定するように具現することができる。すなわち、図５を参照すると、５１０番フレーム〜５５０番フレームは、すべてグレーヒストグラムが予め設定した値以下と示されるが、５２０番フレームと５３０番フレームのイメージが異なるイメージでありうる。したがって、本発明の実施形態によると、所定の周期ごとに必ず代表フレームを選定するように実施することができる。

代表フレーム数値化方法
前記図４および図５のような方法で代表フレームを選定すると、選定された各代表フレームの特徴を数値化してデータベースに格納する。図６は本発明の実施形態に係る代表フレームを数値化する方法の概念を示す図である。

すなわち、本発明の実施形態により代表フレームと収集したイメージとを比較するためには、各代表フレームと各収集したイメージをそれぞれその特徴値で数値化して格納し、比較する。前記イメージを特徴値で数値化する方法の例として、ビジュアルワード（ｖｉｓｕａｌ ｗｏｒｄｓ）方法が挙げられる。

前記ビジュアルワード方法は、イメージまたはフレームの不変点を求めこの不変点を数値化して示し、検索を容易にするために、これを予め定義したクラスタ（ｃｌｕｓｔｅｒ）値に変換して使用する方法である。

より具体的に説明すると、図６に示されたようにそれぞれのクラスタを複数のトレーニング（ｔｒａｉｎｉｎｇ）イメージを用いて予め所定個数に分けておく。この際、これらそれぞれの単位クラスタをビジュアルワードと言う。次に、まず、一つのイメージに対して不変点を求め、不変点の特徴を示すことができる統計値として記述子（ｄｅｓｃｒｉｐｔｏｒ）を求める。この記述子は一種のベクター（ｖｅｃｔｏｒ）であるため、このベクターが属した最も近いクラスタを求めてこれをこの点の特徴値にする。このようにすることで、示されたように一つのイメージは、ビジュアルワードの頻度値（ｆｒｅｑｅｕｎｃｙ）で示すことができる一つの特徴値ヒストグラム（ｈｉｓｔｏｇｒａｍ）で示すことができる。

このような方法を用いることによって、動画に含まれた各代表フレームを数値化して格納することができる。前記方法は、本発明の理解を容易にするために例示したものであって、本発明は前記方法に限定されない。

一方、前記図６では、前記特徴値を示すヒストグラムのクラスタそれぞれがイメージ（またはフレーム）を代表するビジュアルワードと考えることができ、最終的に一つのイメージは、少なくとも一つの（好ましくは複数の）ビジュアルワードと各ビジュアルワードの頻度数（ｆｒｅｑｕｅｎｃｙ）で表現することができる。

したがって、イメージ情報収集部２４０によってイメージを収集することにより、クエリ（Ｑｕｅｒｙ）イメージが入力されると、例えば上述した方法でイメージを代表するビジュアルワードを求め、データベースに格納されている各フレームのビジュアルワードと比較する。この際、情報検索において使用する方式を用いて、同じビジュアルワードを最も多く有するフレームを前記クエリイメージと同じフレームとみなすことができる。すなわち、通常の情報検索方法と類似した方式で動画が格納されたデータベースを転置ファイル形態で格納しておけば、クエリイメージに対して最も類似したイメージを迅速に検索することができる。また、同じビジュアルワードの出現回数をイメージ間の距離（ｄｉｓｔａｎｃｅ）と定義し、所定距離以下のイメージのみを同じフレームとみなすことができる。

このように、収集した各イメージに対して動画から抽出した代表フレームのうち同じフレームが検索されると、前記検索されたフレームに前記イメージとともに収集した前記イメージに関する各種関連情報（例えば、該収集したイメージが投稿された出所、該イメージの拡散または選好度の程度（例えば、リツイート（ＲＴ）数、コメント数、各種評価情報（例えば、オススメ度、肯定／否定数（または賛成／反対数）など）など）を前記検索されたフレームにマッチングして格納する。

キャプチャしたイメージを用いた動画分析方法
図７は本発明の実施形態に係るキャプチャしたイメージを用いた動画分析処理を示すフローチャートである。図７を参照すると、上述したように、まず動画コンテンツから代表フレームを抽出してデータベースに格納（Ｓ７０１）する。次に、抽出した各代表フレームの特徴を数値化してデータベースに格納（Ｓ７０２）する。

また、外部サーバからイメージが貼り付けられた記事を収集（Ｓ７０３）し、収集したイメージの特徴を数値化してデータベースに格納（Ｓ７０４）する。

次に、本発明の実施形態により、前記データベースに格納された各代表フレームから前記収集したイメージと一致する代表フレームを検索（Ｓ７０５）する。

前記検索結果、一致する代表フレームが検索された場合（Ｓ７０６）、検索された代表フレームに該収集したイメージ関連情報をマッピングしてデータベースに格納（Ｓ７０７）する。

動画分析結果の実施形態
図８から図１０は本発明の実施形態に係るキャプチャしたイメージを用いた動画分析結果の例を示す図である。

図８を参照すると、ウェブやニュース、ＳＮＳなどで動画キャプチャ画面を貼り付けて投稿または参照（ｒｅｆｅｒｅｎｃｅ）したり、言及した回数に応じて該動画または動画内の該キャプチャ画面のランキングを提供したりすることができる。

例えば、図８に示されたように検索ポータルサイトで「番組Ａ」のようなＴＶ放送タイトルを検索ワードとして入力８００すると、本発明の実施形態によると、各日付別の放送映像からキャプチャした特定のシーンを言及した統計情報およびランキング情報を提供することにより、どの放送日のどのシーンが最も話題となったシーンであるかが分かる。すなわち、該放送動画のうち特定のシーンをキャプチャして投稿、参照または言及した回数に応じて、該シーンのキャプチャイメージ８１０および関連情報８２０を順に提供することができる。例えば、検索した該プログラムの放送のうち２０１２年5月23日付の放送で１４秒にキャプチャしたイメージが最も多く投稿または参照されて最も話題となったシーンであるため、検索結果の最上位に表示される。この際、該キャプチャイメージ８１０とともに該シーンを言及８２１〜８２４した回数を各出所（例えば、ニュース、ブログ、ツイッター、フェイスブックなど）別に表示することができる。同様に、次に多く投稿および参照された該放送分のキャプチャイメージが２０１２年5月23日付の放送で１４秒にキャプチャしたイメージの下に表示されることができる。

前記各シーンのランキング決定方法は多様に実施することができ、各出所別に投稿または参照された回数を合算して決定してもよく、各出所別に加重値を付与してこれを合算して決定してもよい。

一方、前記検索結果、画面で特定のキャプチャイメージ関連情報と表示された「動画内シーン言及」部分を選択すると、図９に示されたように該シーンが言及された出所情報を提供することができる。

すなわち、図９を参照すると、該動画内の該シーンを言及したリスト９００が各出所別に提供される。例えば、該シーンがニュースで言及された各出所９１０、ツイッターで言及された各出所９２０、ブログで言及された各出所、フェイスブックで言及された各出所などが提供される。この際、前記各出所情報を選択すると、該シーンが言及されたニュース、ブログ、ツイッター、フェイスブックなどの該記事に直接連結されるように実施することもできる。

このように本発明の実施形態により、特定の出所（ニュース、ブログ、コミュニティサイト、ＳＮＳなど）別に話題となったシーンを分類して拡散または選好度の程度（ＲＴ、コメント、いいねなど）をソーシャル分析して、該出所別の人気シーンのランキングを提供するか、図８のように検索結果のランキングのためのメタ情報として活用することができる。

一方、本発明のさらに他の実施例として、図１０に示されたように特定の動画に対して話題のシーンをリスト化して提供することもできる。すなわち、該話題性の情報を動画にタグして、動画の再生サービスなどで＜人気のシーン＞または＜話題のシーン＞などの動画内イメージに基づき予め分析してサービスを提供することもできる。

例えば、図１０を参照すると、特定の動画の再生サービスを選択すると、図１０に示されたように、上部に動画再生プレーヤー１０００が表示され、下部には本発明の実施形態により話題のシーンランキング１０１０が提供される。すなわち、上述したように算出した動画内の各シーンに対するランキングを予め設定した方法で算出し、最もランキングの高いシーンの順に表示することができる。この際、各ランキング別のシーン情報とともに該シーンに対する各出所別の統計および投稿したリストを提供することができる。したがって、該シーンに対する情報で動画プレイ表示１０２０を選択すると、上部の動画再生プレーヤー１００が該シーンにジャンプして該シーンを再生するように具現することができる。また、シーンリンク１０３０で特定のシーンの特定の出所を選択すると、図９に示されたように、該出所で該シーンのキャプチャイメージを含む記事のリストおよびリンクを提供することができる。例えば、３位にランクした画面のツイッター１０４０を選択すると、ツイッターで該シーンが投稿されたリストおよびリンクを提供することができる。

また、本発明の他の具現例として自分の知り合いがキャプチャして投稿したキャプチャイメージに対する動画を提供したり、その他の加工された関連情報を提供したりすることができる。例えば、特定のユーザの知り合い関係やコンテンツの購読状態を分析して、ＳＮＳ内での知り合いが投稿したシーンや自分が購読するニュースサービスで言及されたシーンおよび該シーンに関するコンテンツのリンクを提供することができる。さらに、コンテンツリンクの肯定または否定などの評価情報を収集してこれを分析し、該シーンの反応を分析して提供することも可能である。

以上、本発明を具体的な構成要素などのような特定事項と限定された実施例及び図面を参照して説明したが、これは本発明のより全体的な理解を容易にするために提供されたものにすぎず、本発明は、前記実施例によって限定されず、本発明が属する分野で通常的な知識を有した者であれば、このような記載から多様な修正及び変形が可能である。

従って、本発明の思想は、前記実施例に限定されて決まってはならず、添付する特許請求範囲だけでなく、特許請求範囲と均等または等価的に変形された全ては、本発明の思想の範疇に属するとするべきであろう。

２１０ ビデオフレーム抽出部
２２０ 代表フレーム抽出部
２３０ 抽出フレーム数値化部
２４０ イメージ情報収集部
２５０ イメージ数値化部
２６０ イメージ比較検索部
２７０ 検索結果処理部
２８０ 結果分析処理部
２９１ 動画コンテンツデータベース
２９２ フレーム特徴情報データベース
２９３ イメージ特徴情報データベース
２９４ イメージ関連情報データベース
２９５ イメージ分析情報データベース

Claims (19)

1. 複数のフレームからなる動画から少なくとも一つのフレームを抽出するビデオフレーム抽出部と、
   前記ビデオフレーム抽出部によって抽出された各フレームの特徴を数値化する抽出フレーム数値化部と、
   少なくとも一つの収集した検索対象イメージの特徴を数値化するイメージ数値化部と、
   前記検索対象イメージと前記複数のフレームから抽出した少なくとも一つのフレームとを数値化した値によって比較するイメージ比較検索部と、
   前記比較の結果、前記検索対象イメージと一致するフレームが存在する場合、前記一致するフレームに前記収集した検索対象イメージの関連情報をマッピングして、前記関連情報をデータベースに格納する検索結果処理部と、を含み、
   前記検索対象イメージの関連情報は、
   前記収集した検索対象イメージが投稿された出所、前記イメージのソーシャルネットワークサービス上のリツイート数、コメント数、オススメ度および評価情報から選択されたいずれか一つ以上である、動画キャプチャ画面の分析装置。
2. 前記ビデオフレーム抽出部を介して抽出した複数の連続したフレーム間のイメージ差が予め設定した所定範囲以内に該当する場合、前記複数のフレームから選択された一つのフレームを代表フレームと決定する代表フレーム抽出部をさらに含み、
   前記抽出フレーム数値化部は、前記代表フレーム抽出部を介して決定された代表フレームを数値化してデータベースに格納する、請求項１に記載の動画キャプチャ画面の分析装置。
3. 前記代表フレーム抽出部は、
   前記複数のフレーム間のグレーヒストグラムの差分値が所定値以下の場合、前記複数のフレームから選択された一つのフレームを代表フレームと決定する、請求項２に記載の動画キャプチャ画面の分析装置。
4. 前記代表フレーム抽出部は、
   予め設定した時間ごとに少なくとも一つのフレームを代表フレームと決定する、請求項２に記載の動画キャプチャ画面の分析装置。
5. 前記抽出フレーム数値化部は、
   各フレームの不変点を数値化した後、予め定義したクラスタ（ｃｌｕｓｔｅｒ）値に変換したビジュアルワードの頻度数で示す、請求項１に記載の動画キャプチャ画面の分析装置。
6. 前記イメージ数値化部は、
   各イメージの不変点を数値化した後、予め定義したクラスタ（ｃｌｕｓｔｅｒ）値に変換したビジュアルワードの頻度数で示す、請求項１に記載の動画キャプチャ画面の分析装置。
7. 前記イメージ比較検索部は、
   前記各フレームのビジュアルワードと前記各イメージのビジュアルワードとを比較して同じビジュアルワードが予め設定した個数以上であるか最も多い場合、該フレームとイメージが一致すると決定する、請求項５または６に記載の動画キャプチャ画面の分析装置。
8. 複数のフレームからなる動画から少なくとも一つのフレームを抽出するビデオフレーム抽出部と、
   前記ビデオフレーム抽出部によって抽出された各フレームの特徴を数値化する抽出フレーム数値化部と、
   少なくとも一つの収集した検索対象イメージの特徴を数値化するイメージ数値化部と、
   前記検索対象イメージと前記複数のフレームから抽出した少なくとも一つのフレームとを数値化した値によって比較するイメージ比較検索部と、
   前記比較の結果、前記検索対象イメージと一致するフレームが存在する場合、前記一致するフレームに前記収集した検索対象イメージの関連情報をマッピングして、前記関連情報をデータベースに格納する検索結果処理部と、
   前記検索結果処理部によって格納された検索結果から特定の動画に関する各フレームに対する統計値を自動算出して分析結果を生成する結果分析処理部と、を含む動画キャプチャ画面の分析装置。
9. 前記結果分析処理部は、
   結果分析要請に応じて特定の動画の各フレームに対し動画内の該イメージを参照したニュース、ブログ、ＳＮＳサイトでの引用回数および該リンク情報から選択されたいずれか一つを提供する、請求項８に記載の動画キャプチャ画面の分析装置。
10. 前記結果分析処理部は、
    結果分析要請に応じて特定の動画の各フレームに対し動画内の該イメージを参照したニュース、ブログ、ＳＮＳサイトでの引用回数から各フレームのランキングを算出して提供する、請求項８に記載の動画キャプチャ画面の分析装置。
11. コンピュータが実行する動画キャプチャ画面の分析方法であって、
    複数のフレームからなる動画から少なくとも一つのフレームを抽出し、
    前記抽出したフレームの特徴を数値化し、
    少なくとも一つの収集した検索対象イメージの特徴を数値化し、
    数値化した値により前記検索対象イメージと前記複数のフレームから抽出した少なくとも一つのフレームとを比較し、
    前記比較結果、前記検索対象イメージと一致するフレームが存在する場合、前記一致するフレームに前記収集した検索対象イメージ関連情報をマッピングしてデータベースに格納すること、を含み、
    前記検索対象イメージ関連情報は、
    前記収集した検索対象イメージが投稿された出所、前記イメージのソーシャルネットワークサービス上のリツイート数、コメント数、オススメ度および評価情報から選択されたいずれか一つ以上である、動画キャプチャ画面の分析方法。
12. 前記フレームを抽出した後に、
    前記抽出した複数の連続したフレーム間のイメージ差が予め設定した所定範囲以内に該当する場合、前記複数のフレームから選択された一つのフレームを代表フレームと決定することをさらに含み、
    前記抽出したフレームの特徴を数値化することは、前記決定された代表フレームを数値化することを特徴とする、請求項１１に記載の動画キャプチャ画面の分析方法。
13. 前記代表フレームと決定することは、
    前記複数のフレーム間のグレーヒストグラムの差分値が所定値以下の場合、前記複数のフレームから選択された一つのフレームを代表フレームと決定することを特徴とする、請求１２に記載の動画キャプチャ画面の分析方法。
14. 前記代表フレームと決定することは、
    予め設定した時間ごとに少なくとも一つのフレームを代表フレームと決定することを特徴とする、請求項１２に記載の動画キャプチャ画面の分析方法。
15. 前記抽出したフレームの特徴を数値化することは、
    各フレームの不変点を数値化した後、予め定義したクラスタ（ｃｌｕｓｔｅｒ）値に変換したビジュアルワードの頻度数で示すことを特徴とする、請求項１１に記載の動画キャプチャ画面の分析方法。
16. 前記検索対象イメージの特徴を数値化することは、
    各イメージの不変点を数値化した後、予め定義したクラスタ（ｃｌｕｓｔｅｒ）値に変換したビジュアルワードの頻度数で示すことを特徴とする、請求項１１に記載の動画キャプチャ画面の分析方法。
17. 前記検索対象イメージと前記複数のフレームから抽出した少なくとも一つのフレームとを比較することは、
    前記各フレームのビジュアルワードと前記各イメージのビジュアルワードとを比較して同じビジュアルワードが予め設定した個数以上であるか最も多い場合、該フレームとイメージが一致すると決定することを特徴とする、請求項１５または１６に記載の動画キャプチャ画面の分析方法。
18. コンピュータが実行する動画キャプチャ画面の分析方法であって、
    複数のフレームからなる動画から少なくとも一つのフレームを抽出し、
    前記抽出したフレームの特徴を数値化し、
    少なくとも一つの収集した検索対象イメージの特徴を数値化し、
    数値化した値により前記検索対象イメージと前記複数のフレームから抽出した少なくとも一つのフレームとを比較し、
    前記比較結果、前記検索対象イメージと一致するフレームが存在する場合、前記一致するフレームに前記収集した検索対象イメージ関連情報をマッピングしてデータベースに格納すること、を含み、
    前記データベースに格納することの後に、
    前記格納された検索結果から特定の動画に関する各フレームに対する統計値を自動算出して分析結果を生成することをさらに含む、動画キャプチャ画面の分析方法。
19. 請求項１１から１８のいずれか一項に記載の方法を実行するためのプログラムが記録されている、コンピュータ読み取り可能な記録媒体。