JP5261188B2 - 動画場面検索方法およびこれを用いた場面検索システム - Google Patents

動画場面検索方法およびこれを用いた場面検索システム Download PDF

Info

Publication number
JP5261188B2
JP5261188B2 JP2008543207A JP2008543207A JP5261188B2 JP 5261188 B2 JP5261188 B2 JP 5261188B2 JP 2008543207 A JP2008543207 A JP 2008543207A JP 2008543207 A JP2008543207 A JP 2008543207A JP 5261188 B2 JP5261188 B2 JP 5261188B2
Authority
JP
Japan
Prior art keywords
scene
search
video
moving image
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008543207A
Other languages
English (en)
Other versions
JP2009517768A (ja
Inventor
フン ユン、ヨ
ボン キム、チャン
ヨン キム、ス
フン チョイ、ジ
ソク パク、ユン
ソン ユ、ウン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Naver Corp
Original Assignee
Naver Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Naver Corp filed Critical Naver Corp
Publication of JP2009517768A publication Critical patent/JP2009517768A/ja
Application granted granted Critical
Publication of JP5261188B2 publication Critical patent/JP5261188B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、動画検索方法および動画検索システムに関し、より詳細には、動画内の一部の場面を検索する動画場面検索方法および動画場面検索システムに関する。
インターネットを介したダウンロード速度の高速化に伴い、ユーザはインターネットを介して大容量のデータを容易に送受信できるようになった。したがって、今までは想像もできなかった高画質の動画データをインターネットを介してダウンロードし、リアルタイムで再生することが通常となっている。
実際に、大部分のテレビ番組をインターネットを介して再視聴することができるし、インターネットを介してケーブル/衛星テレビ、映画、ミュージックビデオ、およびスポーツ中継などの多様な動画が提供されている。
インターネットを介して提供される動画は、一方的に編成された番組によって放送されるテレビなどとは異なり、ユーザが所望する時間に所望する内容の動画を再生できるという長所がある。例えば、9時のニュースを視聴したいユーザは、翌日の午前中でもインターネットを介して9時のニュースを検索して視聴することができる。
しかしながら、インターネットを介して動画を視聴しようとする場合に、ユーザは、インターネットを介して提供される多数の動画から所望する動画を検索しなければならない。すなわち、「想像プラス」というテレビ番組を視聴しようとするユーザは、「想像プラス」という番組の題目または「タク・ジェフン」という番組の進行者名を用いたキーワード検索などを行って、自分が所望する番組の動画を探さなければならない。
したがって、効果的にユーザが所望する動画を検索することができる動画検索サービスを提供するために、多様な試みがなされてきた。
また、ユーザは、特定の番組の一部の内容に対して関心がある場合が多い。すなわち、ユーザは、番組全体ではなく番組の一部分の内容に対して関心を有する場合が多い。
例えば、サッカー中継を視聴したいユーザは、サッカー中継の番組全体を視聴するよりは、特定の選手がゴールを入れた場面のみを視聴しようとする場合があると言える。また、娯楽番組の視聴者が「ペ・スルギがディスコダンスを踊る場面」を視聴しようとする場合があると言える。しかしながら、一般的な動画検索方法では、サッカー中継全体や娯楽番組全体をその検索の対象としているため、ユーザが所望する動画の一部の場面などを検索することができなかった。
従来に、動画の一部分に対する検索を可能にするために、動画に含まれた台詞情報(または字幕情報)を用いて動画検索をしようとする試みがあった。すなわち、特定の動画の台詞や字幕からユーザが入力した検索語と関連した台詞や字幕がある部分を検索することによって、ユーザが所望する動画の一部分を探せるようにしたのである。
しかしながら、台詞や字幕だけでは、動画の内容を適切に反映できない場合が多い。例えば、ドラマのキスシーンを探したい場合には、キスシーンには台詞がない場合が多いため、台詞や字幕だけでドラマの主人公がキスをしている場面を探すことは極めて難しい。さらに、台詞や字幕がない動画の場合には、このような方法を用いた動画検索が全く不可能である。
したがって、動画の内容を用いて適切に動画内の所望する場面を検索することができる動画場面検索方法および動画場面検索システムが切に求められている。
本発明は、前記のような問題点を解決するために案出されたものであって、ユーザが動画の内容に関するキーワードを用いて動画の全体(以下、全体動画とする)から所望する場面を効果的に検索できるようにすることを目的とする。
また、本発明は、全体動画を内容に応じた単位に分割し、分割された区間に対する内容上の特徴を示すスクリプト用いて検索することで、ユーザが動画内容に関する検索語を入力して該当の内容と関連した場面を検索できるようにすることを他の目的とする。
また、本発明は、場面検索キーワードを識別して動画場面の検索を実行しようとするユーザの意図を自動で認識することで、ユーザの意図に適合する検索結果を提供することを他の目的とする。
さらに、本発明は、1つの場面動画に対して2つ以上のスクリプトを割り当て、ユーザの検索語に類似したスクリプトを該当の場面動画の題目として用いることで、ユーザの検索満足度を向上させることをさらに他の目的とする。
前記の目的を達成し、従来技術の問題点を解決するために、本発明の一実施形態に係る動画場面検索方法は、ユーザから場面検索キーワードを含む検索語の入力を受けるステップと、前記場面検索キーワードを識別し、前記検索語を動画場面を検索するためのものとして認識するステップと、前記検索語を用いて生成された質疑語を用いて、場面動画の内容上の特徴を示すスクリプトが保存された場面検索データベースを検索するステップ(前記場面動画は、内容基盤単位(content-based units)で分割された全体動画の一部に該当する)と、前記質疑語にマッチング(適合)するスクリプトに相応する場面動画に関する検索結果を提供するステップとを含むことを特徴とする。
このとき、内容基盤単位とは、全体動画において該当部分の内容が意味のある単位を意味する。すなわち、ユーザがその部分のみを鑑賞しようとする程度に意味のある部分を含む単位が内容基盤単位となるのである。
また、本発明の他の実施形態に係る動画場面検索方法は、ユーザから検索語の入力を受けるステップと、前記検索語を用いて生成された質疑語を用いて、場面動画の内容上の特徴を示す叙述式スクリプトが保存された場面検索データベースを検索するステップ(前記場面動画は、内容基盤単位で分割された全体動画の一部に該当する)と、前記質疑語にマッチングする前記叙述式スクリプトに相応する場面動画に関する検索結果を提供するステップとを含むことを特徴とする。
このとき、前記スクリプト(または叙述式スクリプト)は、1つの場面動画に対して2つ以上が割り当てられ、前記検索結果を提供するステップは、前記検索結果として選択された場面動画に対する2つ以上のスクリプト(または叙述式スクリプト)のうちで前記検索語との類似度が最も高いスクリプト(または叙述式スクリプト)を前記場面動画の題目として設定することができる。例えば、1つの場面動画に対して割り当てられる2つ以上のスクリプト(または叙述式スクリプト)は、1つの場面動画に対して行為の主体を相違して表現されたものであると言える。
また、本発明のさらに他の実施形態に係る動画場面検索システムは、ユーザから検索語の入力を受ける検索語入力部と、前記検索語を用いて質疑語を生成する質疑語生成部と、内容基盤単位で分割された全体動画の一部に該当する場面動画の内容上の特徴を示すスクリプトを保存する場面検索データベースと、前記質疑語を用いて前記場面検索データベースを検索する場面動画検索部と、前記質疑語にマッチングするスクリプトに相応する場面動画に関する検索結果を提供する検索結果提供部とを備えることを特徴とする。
本発明において、動画とは、テレビ番組、映画、スポーツ中継などに関するビデオデータおよびビデオデータとオーディオデータが結合したマルチメディアデータなどを包括する概念である。
本発明の動画場面検索方法および動画場面検索システムは、ユーザが動画内容に関するキーワードを用いて全体動画から所望する場面を効果的に検索できるようにする。
また、本発明は、全体動画を内容に応じて分割し、分割された区間に対する内容上の特徴を示すスクリプト用いて検索することで、ユーザが動画内容に関する検索語を入力して該当内容と関連する場面を検索できるようにする。
また、本発明は、場面検索キーワードを識別して動画場面検索を実行しようとするユーザの意図を自動で認識することで、ユーザの意図に適合する検索結果を提供できるようにする。
さらに、本発明は、1つの場面動画に対して2つ以上のスクリプトを割り当て、ユーザの検索語と類似したスクリプトを該当の場面動画の題目として用いることで、ユーザの検索満足度を向上させることができる。
以下、添付の図面を参照しながら、本発明に係る好ましい実施形態について詳細に説明する。
図1は、本発明の一実施形態に係る動画場面検索方法を示すフローチャートである。
図1を参照すると、本発明の一実施形態に係る動画場面検索方法は、ユーザから場面検索キーワードを含む検索語の入力を受ける(S110)。
場面検索キーワードは、ユーザが入力した検索語が動画場面検索であることを知らせるキーワードである。例えば、場面検索キーワードは、「場面」、「状況」、または「コーナー(segment)」などであると言える。
例えば、「実際状況土曜日」というテレビ番組で「ペ・スルギ」という出演者がディスコダンスを踊る場面を検索したいユーザは、「ペ・スルギがディスコダンスを踊る場面」を検索語として入力することができる。このとき、「場面」というキーワードは、場面検索キーワードであると言える。
次に、動画場面検索方法は、ユーザから入力された検索語に場面検索キーワードが含まれているか否かを判断する(S120)。
このとき、動画場面検索方法は、ユーザから入力された検索語に場面検索キーワードが含まれていれば、ユーザが動画場面検索のためにキーワードを入力したものと判断することができる。また、そうではない場合には、ユーザが統合検索などの一般的な検索のためにキーワードを入力したものと判断することができる。
このとき、動画場面検索方法は、「場面」や「状況」などの場面検索キーワードをデータベースに保存しておき、ユーザから検索語が入力されれば、入力された検索語がデータベースに保存されたキーワードのうちの1つ以上を含んでいるか否かを判断することができる。
例えば、ユーザが「ペ・スルギがディスコダンスを踊る場面」を検索語として入力した場合には、動画場面検索方法は、ユーザが入力した検索語に「場面」が含まれているため、ユーザが動画場面を検索するために検索語を入力したものと判断することができる。また、例えば、ユーザが「イム・ヨファンの小軍隊がホン・ジンホの本陣に乱入した状況」を検索語として入力すれば、動画場面検索方法は、ユーザが入力した検索語に場面検索キーワードの「状況」が含まれているため、ユーザが動画場面検索をするために検索語を入力したものと判断することができる。
ステップS120の判断結果、ユーザから入力された検索語に場面検索キーワードが含まれていないと判断される場合に、動画場面検索方法は、統合検索などの一般的なキーワード検索を実行する(S130)。
ステップS120の判断結果、ユーザから入力された検索語に場面検索キーワードが含まれていると判断される場合に、動画場面検索方法は、入力された検索語を用いて質疑語を生成する(S140)。
例えば、ユーザから入力された検索語が「ペ・スルギがディスコダンスを踊る場面」である場合に、入力された検索語がそのまま質疑語になることもあるし、検索語から場面検索キーワードのみを除いた「ペ・スルギがディスコダンスを踊る」が質疑語になることもあるし、「ペ・スルギ」および「ディスコダンス」のみを質疑語として抽出することもある。
質疑語が生成された後に、動画場面検索方法は、生成された質疑語を用いて、場面動画の内容上の特徴を示すスクリプトが保存された場面検索データベースを検索する(S150)。このとき、場面動画は、内容基盤単位で分割された動画の全体(以下、全体動画とする)の一部に該当する。
内容基盤単位は、該当部分の内容が全体動画において意味を持つ単位を意味する。すなわち、ユーザがその部分のみを鑑賞しようとする程度に意味のある部分を含む単位が内容基盤単位となるのである。
例えば、イム・ヨファンというゲーマー(a gamer)がバルチャーユニット(Vulture units)を操作して、相手のゲーマーの基地に侵攻し、相手側の作業員ユニットを全滅させる。この内容がユーザが動画全体からその部分のみを検索しようとする程度で意味を持つものであれば、イム・ヨファンがバルチャーユニットを用いて相手の基地に侵攻して敵を全滅させた部分は、1つの内容基盤単位となる。
図2および図3は、実施形態における全体動画と場面動画との関係を示す概念図である。
図2を参照すれば、60分の全体動画210が7つの場面動画221、222、223、224、225、226、227を含んでいることが分る。このとき、それぞれの場面動画221〜227は、すべて所定の内容上の特徴に相応する。すなわち、それぞれの場面動画221〜227は、全体動画210から分割されるだけの内容上の特徴を有しているため、全体動画210から分割されて設定されたものである。
それぞれの場面動画221〜227は、すべて内容基盤単位で分割されたものであり、所定の内容上の特徴に相応するものであるため、それぞれの場面動画221〜227には内容上の特徴を示すスクリプトが割り当てられる。このとき、スクリプトは、それぞれの場面動画221〜227で発生した状況を叙述する叙述式スクリプトとしてもよい。
例えば、全体動画210がサッカー中継番組であるとする。このとき、7つの場面動画221〜227は、すべて該当サッカーゲームの主要場面(ハイライト)に相応するものであると言える。このとき、場面動画221〜227に割り当てられるスクリプトは、「パク・チソンがクロスバーに当てる場面」、「イ・ウンジェが失点する場面」、または「イ・チョンスがマルディーニを殴る場面」などであると言える。
例えば、全体動画210がドラマ番組であるとする。このとき、7つの場面動画221〜227は、ドラマの主要場面(ハイライト)に相応するものであると言える。このとき、場面動画221〜227に割り当てられるスクリプトは、「ダニエル・ハニーがリョウォンにキスする場面」、「ヒョンビンがダニエル・ハニーを殴る場面」、または「サムスンがお酒を飲んで踊る場面」などであると言える。
このように、全体動画から分割されるだけの内容上の特徴を有する主要部分を分割して場面動画として設定することで、本発明の一実施形態に係る動画場面検索方法は、ユーザが関心を持つに値する場面を、効果的に検索対象に設定することができ、不必要な場面動画の分割を減らすことができる。さらに、該当の場面動画に内容上の特徴を示すスクリプトを割り当てることで、台詞がない場合などにも、要求する動画の内容に関する検索語を介して所望の動画場面の検索が可能となる。
図3を参照すれば、60分の全体動画310が6つの場面動画321、322、323、324、325、326に分割されることが分かる、図3のような場合は、それぞれのコーナー(individual segments)で分けられているテレビ番組であると言える。このように、それぞれのコーナーからなるテレビ番組は、各コーナーが1つの内容基盤単位となるため、場面動画321〜326をすべて合わせれば全体動画310となる。例えば、「ギャグコンサート」のような番組は、「桃学堂(a balsam school)」または「愛の家族」などのようなコーナーからなるため、全体動画310を場面動画321〜326で分ければ図3のようになる。
このとき、それぞれの場面動画321〜326は、すべて全体動画310内のコーナーの1つ1つに相応するものであるため、それぞれの場面動画321〜326には、コーナー名を示すスクリプトが割り当てられるようになる。
例えば、全体動画310が「ウッチァッサ」というテレビのお笑い番組である場合に、6つの場面動画321〜326は、すべてそのお笑い番組のコーナーに相応するものであり、それぞれの場面動画321〜326に割り当てられるスクリプトは、「ファサン高(HWASANGGO)」などの該当番組のコーナー名であると言える。
このように、コーナーからなる全体動画をコーナー別に分割して場面動画として設定することで、本発明の一実施形態に係る動画場面検索方法は、ユーザがある番組のコーナー単位で動画検索を行えるようにし、コーナー名を用いて所望するコーナーを容易に探すことができるようにする。
図2および図3において、それぞれの場面動画は、全体動画が分割された一部分を示すポインタに相応するものであっても良いし、全体動画が分割された一部を複製して新たに生成されたものであっても良い。
図2および図3に示すように、全体動画を内容的な特徴に基づいて場面動画に分割することで、全体動画の内容に関するキーワード検索の対象を効果的に設定することができるし、全体動画は有料で提供して場面動画は無料で提供するなど必要に応じて多様なサービス戦略を立てることができる。例えば、全体動画は有料であるが一部の場面動画は無料で提供することによって、場面動画を無料で視聴したユーザに全体動画に対する興味を持たせるようにし、全体動画を有料で視聴したいという欲求を感じさせるようにできる。
再び図1を参照すれば、本発明の一実施形態に係る動画場面検索方法は、ユーザが入力した検索語に相応する検索結果を提供する(S160)。
このとき、ステップS160は、動画場面検索を実行した場合に、質疑語にマッチング(適合)するスクリプトに相応する場面動画に対する検索結果を提供することができる。このとき、「マッチングする」と言うことは、質疑語と検索の対象となるスクリプトとの類似度が所定のレベル以上となることなどを意味する。
図4は、本発明の実施形態による場面検索データベースに保存されたデータの一例を示す図である。
図4を参照すれば、場面検索データベースには、所定の娯楽番組に該当する全体動画が分割されて生成された第1場面動画に相応するデータ410、および第2場面動画に相応するデータ420が保存されている。
このとき、第1場面動画および第2場面動画は、図2に示すように、全体動画から分割されるだけの内容上の特徴を有する主要場面であって、分割されて場面動画として設定されたものであると言える。
第1場面動画に相応するデータ410は、第1場面スクリプト411、第1場面開始/終了時間412、および第1場面スチールカット413を含む。
第1場面スクリプト411は、第1場面動画の状況を叙述式で示す叙述式スクリプトであって、「チャン・ウヒョクが水を飲んで突然立ち上がり踊り出す場面」として保存されていることが分かる。
第1場面開始/終了時間412は、全体動画内において第1場面動画に該当する再生時間に相応するものである。
第1場面スチールカット413は、第1場面動画の内容上の特徴を適切に表すことができるキャプチャ画面であると言える。すなわち、第1場面動画が「チャン・ウヒョクが水を飲んで突然立ち上がり踊り出す場面」であるため、第1場面スチールカット413は、チャン・ウヒョクが踊っている場面をキャプチャしたイメージファイル(13_1.jpg)であると言える。
同様に、第2場面動画に相応するデータ420も、第2場面スクリプト421、第2場面開始/終了時間422、および第2場面スチールカット423を含む。
第2場面スクリプト421は、第2場面動画の状況を叙述式で示す叙述式スクリプトであって、「カン・ホドンがユ・ジェソクを殴る場面」として保存されている。
第2場面開始/終了時間422は、全体動画内において第2場面動画に該当する再生時間に相応するものである。
第2場面スチールカット423は、第2場面動画の内容上の特徴を適切に表すことができるキャプチャ画面であって、カン・ホドンがユ・ジェソクを殴っている画面をキャプチャしたイメージファイル(hit.jpg)であると言える。
実施形態によって、第1および第2場面動画に相応するデータ410,420には、それぞれ該当の場面動画に相応する台詞情報、画質情報、容量情報、およびソース情報などが含まれることもできる。
図5は、図1に示す検索結果提供ステップS160の一例を示すフローチャートである。
図5を参照すれば、検索結果提供ステップは、検索された場面動画に相応する2つ以上のスクリプトのうちの1つを選択する(S510)。
すなわち、図1で説明したスクリプトは、1つの場面動画に対して2つ以上のスクリプトが割り当てられるようになる。
このとき、1つの場面動画に対して行為の主体別に表現された2つ以上のスクリプトが割り当てられるようになる。例えば、マンチェスター・ユナイテッドのサッカー競技においてパク・チソンのアシストを受けてルーニーが逆転ゴールを入れる場面に該当する場面動画には、「パク・チソンのシーズン第3号アシスト場面」および「ルーニーの逆転ゴール場面」が割り当てられるようになる。
ステップS510では、このように2つ以上が割り当てられているスクリプトのうちから、検索語との類似度がより高いスクリプトを選択する。このとき、類似度は、検索語とスクリプトに含まれた単語間の類似度だけではなく、語順まで考慮する概念であると言える。例えば、ユーザが「パク・チソンのアシスト場面」を検索語として動画場面の検索を実行した場合には、「ルーニーの逆転ゴール場面」ではなく「パク・チソンのシーズン第3号アシスト場面」が選択されるし、ユーザが「ルーニーのゴール場面」を検索語として動画検索を実行した場合には、「パク・チソンのシーズン第3号アシスト場面」ではなく「ルーニーの逆転ゴール場面」が選択される。
また、検索結果提供ステップは、選択されたスクリプトを該当の場面動画の題目として設定して検索結果を生成する(S520)。
すなわち、検索結果として選択された動画が同じであったとしても、ユーザがどのような検索語を入力したのかによって、「パク・チソンのシーズン第3号アシスト場面」または「ルーニーの逆転ゴール場面」が選択的に該当の場面動画の題目として設定されるのである。
したがって、ユーザは、自分が入力した検索語と類似した題目を有する検索結果を得ることができるため、ユーザの検索満足度を向上させることができる。すなわち、ユーザが「パク・チソンのアシスト場面」を用いて動画場面の検索を実行した場合には、同じ場面の動画が検索結果として提供されたとしても、「ルーニーの逆転ゴール場面」という題目の場面動画が提供されるよりは、「パク・チソンのシーズン第3号アシスト場面」という題目の場面動画が提供されることが、検索者の意図により適合するのである。
また、検索結果提供ステップは、生成された検索結果をユーザに提供する(S530)。
図6は、本発明の実施形態において、1つの場面動画に2つ以上のスクリプトが割り当てられる場合に、場面検索データベースに保存されたデータの一例を示す図である。
図6を参照すれば、場面検索データベースには、1つの場面動画に相応するデータとして3つの場面スクリプト610、場面開始/終了時間620、および場面スチールカット630が保存されている。
このとき、3つの場面スクリプト610は、それぞれ「ろくでなしの恋でピがキスする場面」、「ピがシン・ミンアにキスする場面」、および「シン・ミンアがピに突然キスされる場面」であり、このうちでユーザが入力した検索語と最も類似したスクリプトがこの場面動画の題目として用いられるようになる。
図7は、本発明の実施形態における、動画場面検索結果ページの一例を示す図である。
図7を参照すれば、動画場面検索結果ページには、場面動画を再生するための再生機フィールド710と、場面動画題目フィールド720と、場面動画台詞情報フィールド730と、付加情報フィールド740とがある。
再生機フィールド710には、検索結果として選択された場面動画を再生するための再生機が表示される。このとき、ユーザが再生機の再生ボタンをクリックすることで、場面動画が再生されるように設定することができる。
場面動画題目フィールド720には、検索結果として選択された場面動画の題目が表示される。ユーザが入力した検索語に応じて、図7に示す「ろくでなしの恋でピがキスする場面」、「ピがシン・ミンアにキスする場面」、および「シン・ミンアがピに突然キスされる場面」が場面動画上の題目となり得ることは、上述した通りである。
場面動画台詞情報フィールド730には、検索結果として選択された場面動画に台詞がある場合に台詞情報が表示される。このとき、表示される台詞情報は、2行程度で制限することができる。
付加情報フィールド740には、画質情報、ファイル種類情報、容量情報、再生時間情報、画面サイズ情報、および出処情報などが表示される。
実施形態によって、動画場面検索方法は、場面動画の検索結果として選択された場面動画だけではなく、検索結果提供時にユーザが入力した質疑語を用いて全体動画に対するスクリプトが保存された動画検索データベースを検索した結果、質疑語にマッチングするものとして選択された全体動画を含む検索結果をユーザに提供することもできる。このとき、全体動画に対するスクリプトには、題目、エピソード、ソース、ファイルURL、解像度、画面サイズ、人物、カテゴリ、およびスチールカットなどが含まれるようになる。
すなわち、動画場面検索方法は、ユーザが入力した検索語に相応する全体動画についての検索結果および場面動画検索結果を共に表示することもできる。このとき、動画場面検索方法は、ユーザが入力した検索語に場面検索キーワードが含まれているか否かを判断しない場合もある。
例えば、ユーザが「ろくでなしの恋でピがキスする場面」を検索語として検索した場合に、動画場面検索方法は、入力された検索語を用いて生成された質疑語を使用して、全体動画に対するスクリプトが保存された動画検索データベースを検索することにより得られた全体動画検索結果、および場面検索データベースを検索することにより得られた場面動画検索結果を共に提供することができる。
このとき、本発明の動画場面検索方法は、所定の場面動画がユーザに検索結果として提供されて該当の場面動画の再生が終了した場合に、ユーザが再生された場面動画を含む全体動画の再生を所望するか否かを判断するステップをさらに含むことができる。
図8は、場面動画の再生が終了した後に、再生された場面動画を含む全体動画を再生するか否かを確認する画面を示す図である。
図8を参照すれば、場面動画の再生が終了したりユーザが場面動画の再生を中止したりする場合に、動画場面検索方法は、該当の場面動画を含む全体動画を再生するか否かをユーザに問う画面を表示する。
これに対し、ユーザが該当の場面動画を含む全体動画を再生する場合には「確認」ボタンをクリックし、全体動画を再生しない場合には「取消」ボタンをクリックすることができる。
このように、場面動画検索結果と全体動画検索結果を連係してユーザに提供することで、全体動画に対するユーザの関心度を増加させることができる。特に、全体動画が有料で提供される場合に全体動画に含まれる場面動画を無料で提供すれば、無料で場面動画を視聴したユーザが該当の場面動画を含む全体動画を視聴する可能性が高いため、場面動画の再生後に該当の場面動画を含む全体動画を鑑賞するか否かを問う画面を表示することで、全体動画に対するユーザの選択率を高めることができる。
実施形態によって、動画場面検索方法は、ユーザがログインする前まで再生することができる場面動画の数を制限することができる。これは、ユーザが無制限に場面動画を再生することができれば、結果的に全体動画を視聴する必要がなくなるためである。特に、全体動画が有料で提供されて場面動画が無料で提供される場合には、全体動画に対する場面動画の再生回数を適切に制限することが極めて重要となる。このとき、ログインしていないユーザの場面動画の再生回数の制限は、IP(Internet Protocol)およびクッキー(cookie)などを用いて実行することができる。
また、場面動画検索方法は、ユーザがログインした場合に、所定の時間内に全体動画の再生時間と比べて所定の割合内の場面動画再生のみを許容することができる。例えば、場面動画検索方法は、ログインしたユーザが毎月特定の動画の再生時間に比べて10%以上の場面動画を再生できないようにすることができる。
図9は、動画場面検索制限に関する案内画面を示す図である。
図9を参照すれば、ログインしていないユーザが所定の回数以上の場面動画を再生したり、ログインしたユーザが所定の時間内に全体動画の再生時間と比べて所定の割合以上の場面動画を再生しようとする場合には、場面動画の検索制限に関するメッセージを表示することが分かる。
このように、場面検索結果を適切に制限することで、場面検索が無制限に用いられて動画コンテンツの有料販売を阻害したり、コンテンツ提供者の著作権を侵害したりすることを防ぐことができる。
なお、本発明に係る動画場面検索方法は、コンピュータにより実現される多様な動作を実行するためのプログラム命令を含むコンピュータ読取可能な記録媒体に記録することもできる。当該記録媒体は、プログラム命令、データファイル、データ構造などを単独または組み合わせて含むこともでき、記録媒体およびプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知であり使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー(登録商標)ディスク及び磁気テープのような磁気媒体、CD−ROM、DVDのような光記録媒体、フロプティカルディスクのような磁気−光媒体、およびROM、RAM、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれる。また、記録媒体は、プログラム命令、データ構造などを指示する信号を送信する搬送波を含む光または金属線、導波管などの送信媒体でもある。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードを含む。前記したハードウェアデバイスは、本発明の動作を実行するために一以上のソフトウェアモジュールとして作動するように構成することができ、その逆もできる。
図10は、本発明の一実施形態に係る動画場面検索システムを示すブロック図である。
図10を参照すれば、本発明の一実施形態に係る場面検索システムは、検索語入力部1010と、質疑語生成部1020と、場面検索データベース1030と、場面動画検索部1040と、検索結果提供部1050とを備える。
検索語入力部1010は、ユーザから検索語の入力を受ける。このとき、検索語入力部1010は、ユーザから場面検索キーワードを含む検索語の入力を受けることもできる。このとき、図10には示していないが、場面検索システムは、場面検索判断部をさらに備え、ユーザから入力された検索語に含まれた場面検索キーワードを識別し、ユーザが場面検索を実行するか否かを判断することもできる。
質疑語生成部1020は、検索語を用いて質疑語を生成する。このとき、検索語がそのまま質疑語となることもあるし、検索語に含まれた意味のない部分が削除されて残った部分のみが質疑語となることもある。
場面検索データベース1030は、内容基盤単位で分割された全体動画の一部に該当する場面動画の内容上の特徴を示すスクリプトを保存する。
このとき、内容基盤単位は、該当部分の内容が全体動画において意味を持つ単位を意味する。すなわち、ユーザがその部分のみを鑑賞しようとする程度に意味を有する部分を含む単位が内容基盤単位となるのである。
このとき、スクリプトは、1つの場面動画に対して2つ以上が割り当てられ、検索結果として選択された場面動画に対する2つ以上のスクリプトのうち、検索語との類似度が最も高いスクリプトを場面動画の題目として設定することができる。このとき、1つの場面動画に対して行為の主体別に相違して表現された2つ以上のスクリプトが割り当てられるようになる。
このとき、スクリプトは、場面動画で発生した状況を叙述する叙述式スクリプトを含むことができる。
場面動画検索部1040は、質疑語生成部1020で生成された質疑語を用いて場面検索データベース1030を検索する。
検索結果提供部1050は、質疑語にマッチングするスクリプトに相応する場面動画に対する検索結果を提供する。
図10を参照しながら説明したシステムと関連して説明されていない内容は、上述した動画場面検索方法に関する実施形態においてそのまま適用可能であるため、以下省略する。
上述したように、本発明の好ましい実施形態を参照して説明したが、該当の技術分野において熟練した当業者にとっては、特許請求の範囲に記載された本発明の思想および領域から逸脱しない範囲内で、本発明を多様に修正および変更させることができることを理解することができるであろう。すなわち、本発明の技術的範囲は、特許請求の範囲に基づいて定められ、発明を実施するための最良の形態により制限されるものではない。
本発明の一実施形態に係る動画場面検索方法を示すフローチャートである。 全体動画と場面動画との関係を示す概念図である。 全体動画と場面動画との関係を示す概念図である。 本発明の場面検索データベースに保存されたデータの一例を示す図である。 図1に示す検索結果提供ステップの一例を示すフローチャートである。 1つの場面動画に2つ以上のスクリプトが割り当てられる場合に、場面検索データベースに保存されたデータの一例を示した図である。 動画場面検索結果ページの一例を示す図である。 場面動画の再生が終了した後に、再生された場面動画を含む全体動画を再生するか否かを確認する画面を示す図である。 動画場面検索の制限に関する案内画面を示す図である。 本発明の一実施形態に係る動画場面検索システムを示すブロック図である。

Claims (13)

  1. 動画場面検索方法であって、コンピュータにより実行されるステップが、
    ユーザから場面検索キーワードを含む検索語の入力を受けるステップと、
    前記場面検索キーワードを識別し、前記検索語を動画場面を検索するためのものとして認識するステップと、
    認識された前記検索語を用いて生成される質疑語を用いて、内容基盤単位で分割された全体動画の一部に該当する場面動画の内容上の特徴を示すスクリプトが保存された場面検索データベースを検索するステップと、
    前記質疑語にマッチングするスクリプトに相応する場面動画に関する検索結果を提供するステップと、
    を含み、
    前記スクリプトは、1つの場面動画に対して2つ以上が割り当てられ、
    前記検索結果を提供するステップは、
    前記検索結果として選択された場面動画に対する2つ以上のスクリプトのうち、前記検索語との類似度が最も高いスクリプトを前記場面動画の題目として設定して前記ユーザに提供することを特徴とする動画場面検索方法。
  2. 前記1つの場面動画に対して行為の主体別に表現された2つ以上のスクリプトが割り当てられることを特徴とする請求項1に記載の動画場面検索方法。
  3. 前記スクリプトは、前記場面動画で発生した状況を叙述した叙述式スクリプトを含むことを特徴とする請求項1又は2に記載の動画場面検索方法。
  4. 前記場面動画は、前記全体動画に対して設定された開始時間および終了時間に対応していることを特徴とする請求項1から3のいずれか1つに記載の動画場面検索方法。
  5. 前記場面動画は、前記全体動画の一部区間がコピーされて新たに生成された動画であることを特徴とする請求項1から4のいずれか1つに記載の動画場面検索方法。
  6. 前記スクリプトは、前記全体動画内の特定のコーナーのコーナー名を含むことを特徴とする請求項1から5のいずれか1つに記載の動画場面検索方法。
  7. 動画場面検索方法であって、コンピュータにより実行されるステップが、
    ユーザから検索語の入力を受けるステップと、
    前記検索語を用いて生成される質疑語を用いて、内容基盤単位で分割された全体動画の一部に該当する場面動画の内容上の特徴を示す叙述式スクリプトが保存された場面検索データベースを検索するステップと、
    前記質疑語にマッチングする前記叙述式スクリプトに相応する場面動画に関する検索結果を提供するステップと、
    を含み、
    前記叙述式スクリプトは、1つの場面動画に対して2つ以上が割り当てられ、
    前記検索結果を提供するステップは、
    前記検索結果として選択された場面動画に対する2つ以上の叙述式スクリプトのうち、前記検索語との類似度が最も高い叙述式スクリプトを前記場面動画の題目として設定して前記ユーザに提供することを特徴とする動画場面検索方法。
  8. 前記場面検索データベースを検索するステップは、前記質疑語を用いて前記全体動画に対するスクリプトが保存された動画検索データベースを検索することを含み、
    前記検索結果を提供するステップは、前記検索結果に前記質疑語にマッチングする前記全体動画を含んで前記検索結果を提供することを特徴とする請求項1または7に記載の動画場面検索方法。
  9. 前記検索結果に提供された場面動画の再生が終了した場合に、前記ユーザが前記再生された場面動画を含む全体動画の再生を所望するか否かを判断するステップ、
    をさらに含むことを特徴とする請求項1から8のいずれか1つに記載の動画場面検索方法。
  10. 前記ユーザがログインする前まで再生することができる場面動画の数に基づいて、前記ユーザによるログイン前の場面動画の再生を制限するステップ、
    を含むことを特徴とする請求項1から9のいずれか1つに記載の動画場面検索方法。
  11. 前記ユーザがログインした場合に、所定の時間内に前記全体動画の再生時間に比べて所定の割合内の前記場面動画の再生のみを許容するステップを、
    含む特徴とする請求項1から10のいずれか1つに記載の動画場面検索方法。
  12. コンピュータに、請求項1から11のうちのいずれか一項に記載の動画場面検索方法を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
  13. ユーザから検索語の入力を受ける検索語入力部と、
    前記検索語を用いて質疑語を生成する質疑語生成部と、
    内容基盤単位で分割された全体動画の一部に該当する場面動画の内容上の特徴を示すスクリプトを保存する場面検索データベースと、
    前記質疑語を用いて前記場面検索データベースを検索する場面動画検索部と、
    前記質疑語にマッチングするスクリプトに相応する場面動画に関する検索結果を提供する検索結果提供部と、
    を備え、
    前記スクリプトは、1つの場面動画に対して2つ以上が割り当てられ、
    前記検索結果提供部は、前記検索結果として選択された場面動画に対する2つ以上のスクリプトのうち、前記検索語との類似度が最も高いスクリプトを前記場面動画の題目として設定して前記ユーザに提供することを特徴とする動画場面検索システム。
JP2008543207A 2005-12-20 2006-12-13 動画場面検索方法およびこれを用いた場面検索システム Active JP5261188B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020050126371A KR100721409B1 (ko) 2005-12-20 2005-12-20 동영상 장면 검색 방법 및 이를 이용한 장면 검색 시스템
KR10-2005-0126371 2005-12-20
PCT/KR2006/005419 WO2007073053A1 (en) 2005-12-20 2006-12-13 Method for searching situation of moving picture and system using the same

Publications (2)

Publication Number Publication Date
JP2009517768A JP2009517768A (ja) 2009-04-30
JP5261188B2 true JP5261188B2 (ja) 2013-08-14

Family

ID=38188786

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008543207A Active JP5261188B2 (ja) 2005-12-20 2006-12-13 動画場面検索方法およびこれを用いた場面検索システム

Country Status (3)

Country Link
JP (1) JP5261188B2 (ja)
KR (1) KR100721409B1 (ja)
WO (1) WO2007073053A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101272477A (zh) * 2007-03-22 2008-09-24 华为技术有限公司 一种iptv系统、媒体服务器和iptv节目搜索、定位方法
US10282481B2 (en) * 2009-07-31 2019-05-07 Oath Inc. Providing link to portion of media object in real time in social networking update
KR101009973B1 (ko) * 2010-04-07 2011-01-21 김덕훈 미디어 컨텐츠 제공 방법, 그리고 그를 위한 장치
CN106021321B (zh) * 2016-05-06 2019-05-21 成都索贝数码科技股份有限公司 基于图片的在线实时视频的检索方法
KR102080315B1 (ko) 2018-06-01 2020-02-24 네이버 주식회사 동영상 서비스 제공 방법 및 이를 이용하는 서비스 서버
KR102187208B1 (ko) 2018-10-04 2020-12-04 주식회사 엔씨소프트 스포츠 경기의 하이라이트 추출 방법 및 장치
CN113706664B (zh) * 2021-08-31 2023-11-10 重庆杰夫与友文化创意有限公司 基于智能场景识别的营销内容生成方法、系统及存储介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100319159B1 (ko) * 1998-12-05 2002-04-22 구자홍 내용기반동영상검색데이터구성방법과동영상검색방법
JP3607228B2 (ja) * 1998-12-17 2005-01-05 松下電器産業株式会社 映像検索データ生成装置および映像検索データ生成方法並びに映像検索装置および映像検索方法
KR100357261B1 (ko) * 1999-12-30 2002-10-18 엘지전자 주식회사 멀티미디어 데이터의 의미적/구조적 정보 생성방법 및 그 정보의 기록매체와 멀티미디어 검색 및 브라우징 방법
JP2001229195A (ja) * 2000-02-18 2001-08-24 Fujitsu Ltd 映像データ処理システム
US6507838B1 (en) * 2000-06-14 2003-01-14 International Business Machines Corporation Method for combining multi-modal queries for search of multimedia data using time overlap or co-occurrence and relevance scores
JP2002007478A (ja) * 2000-06-19 2002-01-11 Fuji Xerox System Service Co Ltd 視聴覚コンテンツ提供装置および方法
KR20000058970A (ko) * 2000-07-07 2000-10-05 손종모 동영상 정보제공과 검색 방법
JP2002049625A (ja) * 2000-08-04 2002-02-15 Telecommunication Advancement Organization Of Japan 画像検索装置および画像検索方法
JP2002304420A (ja) * 2001-04-04 2002-10-18 Fuji Xerox System Service Co Ltd 視聴覚コンテンツ配信システム
JP2003169312A (ja) * 2001-11-30 2003-06-13 Ricoh Co Ltd 電子番組表提供システム、電子番組表提供方法、そのプログラム、及びそのプログラムを記録した記録媒体
JP2004145564A (ja) * 2002-10-23 2004-05-20 Matsushita Electric Ind Co Ltd 映像検索装置
KR20040071369A (ko) * 2003-02-05 2004-08-12 (주)에어스파이더 디지탈 영상자료 검색 시스템
KR20050045205A (ko) * 2003-11-10 2005-05-17 삼성전자주식회사 확장 검색 기능 및 부가 정보 표시 기능을 제공하기 위한메타 정보가 기록된 저장 매체, 재생 장치 및 그 재생 방법

Also Published As

Publication number Publication date
KR100721409B1 (ko) 2007-05-23
WO2007073053A1 (en) 2007-06-28
JP2009517768A (ja) 2009-04-30

Similar Documents

Publication Publication Date Title
JP4025185B2 (ja) メディアデータ視聴装置及びメタデータ共有システム
US7555195B2 (en) Content combination reproducer, content combination reproduction method, program executing the method, and recording medium recording therein the program
US6748397B2 (en) File structure for preventing edition and deletion in internet, a variety of computers and computer application media, advertising method using the file structure and system used for the method
US7739584B2 (en) Electronic messaging synchronized to media presentation
CN103765910B (zh) 用于视频流和其他内容的基于关键字的非线性导航的方法和设备
JP5261188B2 (ja) 動画場面検索方法およびこれを用いた場面検索システム
JP4692775B2 (ja) 映像コンテンツ再生支援方法、映像コンテンツ再生支援システム、及び情報配信プログラム
US20090222849A1 (en) Audiovisual Censoring
US20070101266A1 (en) Video summary description scheme and method and system of video summary description data generation for efficient overview and browsing
JP6889757B2 (ja) エッセンシャルビデオの生成方法、装置、機器及び記憶媒体
JP4683281B2 (ja) 再生システム、再生装置、再生方法、情報処理装置、情報処理方法、およびプログラム
US20110320471A1 (en) Movie Recommendation System and Movie Recommendation Method
JP5244877B2 (ja) コンテンツ処理装置
US7366401B2 (en) Video summary play apparatus and method
JP3966515B2 (ja) ネットワークシステム、サーバ、データ記録再生装置及びその方法並びにプログラム
WO2010033235A1 (en) System and method for pre-engineering video clips
US8527880B2 (en) Method and apparatus for virtual editing of multimedia presentations
US8971686B2 (en) Method and apparatus for managing digital contents and method and apparatus for executing digital contents according to playback positions
JP2003174639A (ja) プレビュー映像登録方法及び装置及びプレビュー映像登録プログラム及びプレビュ映像登録プログラムを格納した記憶媒体及びプレビュー映像再生制御方法及び装置及びプレビュー映像再生制御プログラム及びプレビュー映像再生制御プログラムを格納した記憶媒体
JP2008078864A (ja) コンテンツ制作サーバ、コンテンツ提示装置、コンテンツ制作プログラム、及びコンテンツ提示プログラム
JP4162459B2 (ja) マルチメディア情報再生装置およびマルチメディア情報再生方法およびプログラム
TWI497959B (zh) Scene extraction and playback system, method and its recording media
JP2005328329A (ja) 映像再生装置と映像録画再生装置と映像再生方法
JP2012089186A (ja) コンテンツ管理装置及びコンテンツ再生装置
JP2008099012A (ja) コンテンツ再生システム及びコンテンツ蓄積システム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101012

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110112

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110524

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20110729

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110922

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20111114

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20111209

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130426

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160502

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5261188

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250