JP3663362B2 - インデックス生成装置 - Google Patents
インデックス生成装置 Download PDFInfo
- Publication number
- JP3663362B2 JP3663362B2 JP2001098409A JP2001098409A JP3663362B2 JP 3663362 B2 JP3663362 B2 JP 3663362B2 JP 2001098409 A JP2001098409 A JP 2001098409A JP 2001098409 A JP2001098409 A JP 2001098409A JP 3663362 B2 JP3663362 B2 JP 3663362B2
- Authority
- JP
- Japan
- Prior art keywords
- index
- information
- trigger action
- trigger
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/4508—Management of client data or end-user data
- H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/71—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/73—Querying
- G06F16/738—Presentation of query results
- G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/11—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information not detectable on the record carrier
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
- A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/147—Scene change detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/99941—Database schema or data structure
- Y10S707/99943—Generating database or data structure, e.g. via user interface
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/99941—Database schema or data structure
- Y10S707/99944—Object-oriented database structure
- Y10S707/99945—Object-oriented database structure processing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Television Signal Processing For Recording (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、映像等のコンテンツをクライアントに提供するコンテンツ提供技術に係り、特に、膨大なコンテンツを効率良く要約(ダイジェスト)させるために必要なインデックス作成装置等に関する。
【０００２】
【従来の技術】
近年、グローバルサービスやマルチメディア通信サービスの提供を目的として、次世代の移動通信システムであるIMT-2000(International Mobile Telecommunications 2000)を用いた次世代携帯電話の早期導入が進められている。この次世代携帯電話IMT-2000上においては、帯域も最大２Ｍbpsとなり、アプリケーションとして映像配信サービスも予定されている。しかしながら、例えば、デバイスの制限(デバイスのサイズや解像度等)や通信料金等の様々な条件によって、携帯端末にて長時間の映像を見ることは困難である。
【０００３】
そこで、このような膨大な映像等のコンテンツを要約して提示する仕組みが必要となる。即ち、映像データベースに蓄積される膨大な映像データから各個人にあった映像を選び出し、効率良くダイジェストを生成するために、映像に様々な意味のある情報を付加しておくことが重要である。この情報をインデックス(メタデータ)と呼ぶ。また、映像にインデックスを付加する人をインデックス付加者と呼び、付加されたインデックスに基づいて生成されたダイジェストを実際に視聴する人をインデックス利用者と呼ぶ。従来のインデックス付加技術として、画像、音声および自然言語の処理に基づく技術が挙げられる。
【０００４】
例えば、特開平１０−１１２８３５号公報、特開２０００−１７５１４９号公報、特開２０００−２３６５１８号公報には、映像中からシーン(映像中の時間的に急激に変化する場面の切れ目によって区切られた連続した１つの映像を指す)を自動検出し、各シーンの代表画像や先頭からの一定区間のフレームをインデックスとして利用し、それらのインデックスを繋ぎあわせることで映像の要約およびダイジェストの生成を行う技術について開示されている。しかしながら、これらは映像の特徴に基づいた要約を行うために、映像内容の意味に着目したダイジェストを生成することが難しい。
【０００５】
特開平１１−３３１７６１号公報では、「次に」「ところで」といった話題切り替え用の話題転換語に着目し、映像と同期する字幕情報を取得している。そして、取得した情報を解析することで話題転換語を検出し、検出されれば映像の内容が切り替わったと判断して、該当する映像を一定時間、切り出している。この切り出された映像をインデックスとして利用し、これらのインデックスを繋ぎあわせることで、映像全体の要約を行う技術について示されている。しかし、この技術では字幕情報の存在を前提としており、付加情報のない映像には対処できない。
【０００６】
また、発話内容の書き起こしがあることを前提とする技術として、発話中の重要語、自動検出されたシーンおよび各シーンの代表画像、人物の顔やキャプションといった映像中の物体に関する情報、カメラの動きといった主に画像処理技術より得られる情報をインデックスとして利用する技術も存在する(CMU-CS-95-186, School of Computer Science, Carnegie Mellon University, 1995.)。同様に、映像中の人物の顔、発話文章中の人物名から関連付けられる顔と人物名との関係をインデックスとして利用し、人物名からの要約を行う提案もなされている(IJCAI, pp1488-1493, 1997.)。しかしながら、ここでも付加情報の存在を前提としており、汎用性がない。
【０００７】
更に、映像中のテロップから文字を認識し、クローズドキャプションから得られる文字と比較を行う技術が存在する。ここでは、両方に含まれる文字をキーワードとして捉え、該当する部分の映像をインデックスとして利用し、これらのインデックスを繋ぎあわせることで映像全体の要約を行っている(情報処理学会論文誌Vol,40, No.12-017, 1999.)。しかし、この技術ではクローズドキャプションの存在を前提としており、前述と同様、付加情報のない映像に対しては適用できない。
【０００８】
また、音声認識技術を利用したものとして、画像処理技術に基づき自動検出されたシーンおよび各シーンの代表画像、音声認識技術に基づき検出された発話に関する情報(内容、時間)をインデックスとして利用し、映像の要約を行う技術が存在する(In Proceedings of SI-GIR'99, p326, 1999.)。ニュースのような、背景に雑音がなく、音楽が流れていないような限定された映像に対しての適用を考慮しており、その他の一般的な映像に対しては適用が難しい。
【０００９】
そこで、特定の映像に限らず、幅広い種類の映像にインデックスを付加するための技術も考えられている。例えば、特開２０００−２３０６２号公報では、映像データ中の映像から得られるニュース番組等の速報用テロップ、バラエティ番組等の強調用テロップを含むテロップ映像を映像インデックスとして利用し、音声から音量値、音情報の種類を音声インデックスとして利用している。また、個人情報を用意し、それに基づき特徴音を音声インデックスによって表現し、それに対応する部分映像を切り出している。この切り出した部分映像とテロップ映像を組み合わせて映像の特徴映像を利用して映像全体のダイジェストを生成する技術について示されている。しかしながら、この技術では、音声情報は重要視されているものの、その外面的な情報を利用していることから、映像の意味に基づいたダイジェストを生成することは難しく、また、テロップの無い映像に関しては適用することができない。
【００１０】
更に、特開平１０−１５０６２９号公報では、インデックス付加者が、一まとまりの内容が表現される場面単位である「シーン」、シーンの集まりである「シーングループ」を設定し、各シーンおよびシーングループごとに代表画像を選択し、これらをインデックスとして利用する技術が示されている。これによれば、インデックス付加者は、インデックスを利用して状況に応じたダイジェストを生成することが可能であるが、まず、人間が映像の内容を理解して重要なシーンを判断する必要がある。従って、映像の意味に基づくダイジェストを生成することは可能であるものの、インデックスを付加するためには相当の時間を要してしまう。
【００１１】
今後、ディジタル放送、携帯電話やＰＤＡ(Personal Digital Assistant)といった携帯端末を利用したコンテンツプロバイダによる映像配信が開始されれば、従来実施されているものより柔軟性に富んだ効率の良い映像配信サービスが可能となる。特に携帯端末を利用した映像配信において、携帯端末の利便性を考慮すると、スポーツのライブ中継に代表される即時性の強い映像のダイジェストに対する要望が高まるものと考えられる。一方で、携帯端末の利用料金制限により実際に映像を視聴する時間が大幅に制限されるため、利用者の要求や嗜好をうまく反映し、かつ携帯端末への配信にも適した時間の短いダイジェストが要求される。
【００１２】
前述したように、効率よくダイジェストを生成するためには映像にインデックスを付加する必要がある。映画、ドラマ、ドキュメンタリーといった即時性のそれほど強くない映像の場合には、放送局でも利用される従来技術によって、映像にインデックスを付加することも可能である。しかし、スポーツのライブ中継のような即時性の強い映像にインデックスを付加する場合には、実時間でのインデックス付加処理の実現(リアルタイム性)と、付加されるインデックスの信頼性の２つが問題となるが、上述した従来技術では、これらの技術を同時に解決することができない。
【００１３】
【発明が解決しようとする課題】
このリアルタイム性と信頼性との２つの問題点を解決するために、例えば、文献１(久保木他、"番組生成のためのメタデータ付加手法," 映像情報メディア学会技術報告, Vol.23, No.28, pp1-6, 1999.)では、まず、映像中で起こりうるイベント(インデックス)および、各イベントの属性を予め想定して記述し、インデックス付加者は、リアルタイムで流れるライブ映像を見ながら、想定したイベントが発生した時点(開始点)のみを専用端末を利用して入力していく技術が示されている。ここでは、イベントの開始点のみを入力し、終了点を考慮する必要が無く、複数の端末を用いてイベントの同時入力が可能であり、また、入力されたイベントの訂正も考慮して１つのイベントが複数のイベント開始点を持つことを許すことを特徴としている。ここでは、イベント入力後は映像を構造化するためのモデルに基づき、開始点のみからなる情報から映像を木構造で表現しており、作成された木構造から条件を指定することで、条件に合ったダイジェストを生成している。
【００１４】
また、文献２(角谷他、"インデックス付きライブ映像ストリームによる動的番組生成と配信," 情報処理学会論文誌 Vol.41, No.SIG1(TOD5), pp87-99, 2000.)では、インデックス付加者が実況中継のアナウンサのように発話した内容から音声認識によりキーワードを抽出してインデックスとする技術と、映像の種別ごとに専用のインデックス記述ツールを利用して映像中の事象を入力してインデックスを作成する技術の２つのインデックス付加技術について示されている。また、作成されるインデックスは型を持っており、１つの事象で決定される原始イベント型、複数の原始イベントで構成される複合イベント型、状況型の３つに分類され、事象の発生点のみを入力するだけでよく、複数の事象が成り立ってはじめて構成されるようなインデックスを作成できる点が特徴である。
【００１５】
しかしながら、文献１および文献２の技術では、映像中の各部分に必ず何らかのインデックスを付加する必要があり、不必要な映像を含むインデックスが付加される場合が多い。このため、インデックス利用者の要求や嗜好に適したより短いダイジェストを生成するには、以下のような限界があった。
【００１６】
まず、第１として、インデックスの有効時間範囲を自由に設定できない点に問題がある。文献１および文献２の技術では、常にインデックスはイベントから始まることになっており、また、常に事象で終わることになっている。しかしながら、インデックスによっては、ある事象よりも以前の映像のほうが重要視される場合や、ある事象よりも以降の映像の方が重要視される場合があり、文献１および文献２の技術では対応することができない。ある事象よりも以前の映像が重要視される例としては、サッカーのゴールシーンのインデックスが挙げられる。ゴールシーンはゴールが決まって初めて分かるが、映像として重要なのはゴールが決まるまでの映像である。ある事象よりも以降の映像が重要視される例としては、サッカーのコーナーシーンのインデックスが挙げられる。コーナーキックはボールが蹴られた瞬間に判断できるが、映像として重要なのはボールが蹴られてからの映像である。
【００１７】
また、第２として、文献１および文献２の技術では、インデックスが時系列で定められるため、映像のある部分に互いに独立した２つ以上の異なるインデックスを付加することができない。このために、スポーツにおいて選手各個人の動きをインデックスとして表現したい場合には対応することが困難となる。
【００１８】
更に、第３として、文献１および文献２では、インデックスがあるかないかの２値化されたディジタル的な概念しか考えていない点に問題である。このようなインデックスではインデックス利用者の趣味嗜好を十分に反映し、かつ携帯端末への配信にも適したより短いダイジェストを生成することは困難である。
【００１９】
本発明は、以上のような技術的課題を解決するためになされたものであって、その目的とするところは、即時性の強い映像に対してもインデックスを実時間で付加することにある。
また他の目的は、利用者の趣味嗜好を反映したより短いダイジェストを作成可能なインデックスを付加することにある。
【００２０】
【課題を解決するための手段】
かかる目的のもと、本発明は、コンテンツについて記述したデータであるインデックスを生成するインデックス生成装置であって、インデックスに関するインデックス基本情報を予め定義するインデックス情報定義手段と、例えば、表示装置等、インデックスが付加されるコンテンツを出力するコンテンツ出力手段と、出力されたコンテンツの中でインデックス生成の引き金となる一のトリガーアクションに対する入力を受け付けるトリガーアクション入力手段と、このインデックス基本情報とトリガーアクション入力手段により入力された一のトリガーアクションとに基づいて、当該一のトリガーアクションに対応するインデックスを生成するインデックス生成手段とを備え、前記インデックス基本情報は、複数のトリガーアクションに関する情報が定義されるトリガー情報と、前記複数のトリガーアクションのうち単一のトリガーアクションから構成される各インデックスに関する情報が定義される単一トリガーインデックス情報とを含み、前記単一トリガーインデックス情報は、前記各インデックスの重要度を決定するための重みが定義される情報、当該各インデックスに対応するトリガーアクションの発生から当該各インデックスの開始までの開始時間幅が定義される情報、および当該各インデックスに対応するトリガーアクションの発生から当該各インデックスの終了までの終了時間幅が定義される情報を含み、前記インデックス生成手段は、前記トリガーアクション入力手段により入力された前記一のトリガーアクションに対応する前記開始時間幅および前記終了時間幅に基づいて、前記一のトリガーアクションに対応するインデックスの有効時間範囲を決定し、前記有効時間範囲および前記一のトリガーアクションに対応する前記重みに基づいて、前記一のトリガーアクションが前記トリガーアクション入力手段により入力された時点から時間軸に沿って前後に離れるほど小さくなり且つ前記有効時間範囲の境界で実質的にゼロになるインデックス値を所定のアルゴリズムに従って生成することを特徴としている。
【００２２】
更に、このインデックス基本情報は、単一のトリガーアクションから構成される単一トリガーインデックスに対して階層化に関する情報を定義し、階層下部のインデックスを付加する際に階層上部のインデックスを付加することを特徴とすることができる。例えばサッカー映像を例に取ると、階層下部のインデックスである「センタリング」を選択した際に、階層上部である「パス」のインデックスを付加することができ、「パス」のインデックスが備える基本情報を適用できる点で好ましい。
【００２３】
また更に、インデックス基本情報は、複数のトリガーアクションが影響しあって構成されるインデックスに関する情報が定義されることを特徴とすることができる。例えばサッカー映像を例に取ると、単一のトリガーアクションである「コーナーキック」と「ゴール」とを連続した複数トリガーインデックス情報として取り扱うことが可能となる。
【００２５】
ここで、この有効時間範囲を一部または全部の有効時間範囲とする他のインデックスをコンテンツに付加することを特徴とすれば、例えば、Ａチームを対象とするインデックスとＢチームを対象とするインデックス等、同一区間に互いに異なる独立したインデックスを付加することができ、利用者の趣味嗜好に合わせたダイジェスト生成が可能となる点で好ましい。
【００２６】
また、このトリガーアクション発生からインデックス開始までの時間幅およびトリガーアクション発生からインデックス終了までの時間幅は、トリガーアクション毎に異なった値が予め定義され、定義されている値に基づいて有効時間範囲が決定されることを特徴とすることができる。これによって、例えば、事象を特定した場合に、例えば映像等のコンテンツとして重要な時間幅に対応してインデックスを生成することが可能となる。
【００２９】
また、入力されたトリガーアクションを履歴として格納する入力履歴情報格納手段と、この入力履歴情報格納手段により格納されたトリガーアクションに基づいて修正のためのコンテンツを例えば表示出力する修正用コンテンツ出力手段と、修正用コンテンツ出力手段により出力されたコンテンツに対して、トリガーアクションを修正するトリガーアクション修正手段とを更に備えたことを特徴としている。これらによって、例えば、インデックス付加者は、修正、削除したいトリガーアクションの出力を利用してこれらを選択し、修正をすることが可能となる。
【００３９】
【発明の実施の形態】
以下、添付図面に示す実施の形態に基づいて本発明を詳細に説明する。
図１は、本実施の形態におけるネットワークシステムの概略構成を説明するための図である。本実施の形態が適用されるネットワークシステムは、例えばインターネットであるネットワーク９に対して、要約(ダイジェスト)されたコンテンツの配信を受けるコンテンツ利用者としてのクライアント１０と、コンテンツを提供するコンテンツプロバイダ２０と、コンテンツプロバイダ２０により提供されるコンテンツに対して要約作業を実行する要約サーバ３０とを備えている。尚、クライアント１０、コンテンツプロバイダ２０、および要約サーバ３０は、必ずしも単体のコンピュータ装置によって構成されているとは限らず、複数のコンピュータ装置によって構成される場合もある。また、各構成要素間における通信は、有線か無線かを問うものではなく、例えば、クライアント１０は、携帯電話やＰＤＡとして構成することが可能である。
【００４０】
クライアント１０は、ユーザ個人の興味の情報として、例えばキーワードからなる特徴量が格納されるユーザプロファイル１１と、例えばユーザプロファイル１１に対する初期値としてユーザによるコンテンツスコアの作成を受け付け、視聴状態やユーザによる所定操作等によってコンテンツスコアの修正等を行うユーザ処理部１２を備えている。また、ユーザ処理部１２は、要約されたコンテンツをユーザに対して提供する機能を備えている。
【００４１】
コンテンツプロバイダ２０は、例えば映像情報や音楽情報等のコンテンツ、シーンについての記述である注釈データやそのシーンの有効範囲であるシーンの先頭・終了時刻や、映像に対する意味のある様々な情報、コンテンツについて記述したデータであるインデックスを備えている。また、付加するためのインデックスを生成するインデックス付加装置(インデックス生成装置)２１、ネットワーク９を介して要約映像やインデックスを送信するコンテンツ送信部２３を備えている。
【００４２】
要約サーバ３０は、コンテンツ頻度やコンテンツスコアを有するコンテンツデータ３１、インデックス中における特徴量の出現頻度を計数する等、コンテンツデータ３１に関する処理を行うコンテンツデータ処理部３２、ドメインごとに作成されるインデックスの特徴量を格納するインデックス特徴量データベース(ＤＢ)３３、各コンテンツにおける重要度を算出する重要度算出部３４、要約コンテンツである要約映像の情報を作成するダイジェスト作成部３５を備えている。
【００４３】
ユーザ処理部１２から重要度算出部３４へは、選択されたコンテンツに関するコンテンツスコア、要約映像時間等が送出され、また、ユーザプロファイル１１が送信される。重要度算出部３４からコンテンツ送信部２３へは、要約映像の送信命令が出される。ダイジェスト作成部３５からコンテンツ送信部２３に対して要約映像情報が送信され、コンテンツ送信部２３からユーザ処理部１２へは、要約映像と共にインデックスが配信される。また、コンテンツ送信部２３からコンテンツデータ処理部３２へは、コンテンツに関するコンテンツスコアの一覧が送信される。但し、コンテンツスコアを要約サーバ３０にて作成される場合もあり、かかる場合には、この送信は省略される。ユーザ処理部１２からコンテンツデータ処理部３２へは、ユーザプロファイル１１が送信される。クライアント１０では、コンテンツの視聴中に、お気に入りシーンの登録によるユーザプロファイル１１の登録処理が行われ、視聴終了後に、ユーザプロファイル１１の更新処理が行われる。
【００４４】
図２は、コンテンツプロバイダ２０におけるインデックス付加装置(インデックス生成装置)２１の構成を示すブロック図である。本実施の形態におけるインデックス付加装置２１には、予め定義されるインデックスに関する情報であるインデックス基本情報６１、入力されたトリガーアクションの種類や付加情報が蓄積されるトリガーアクション入力履歴情報６２、インデックス付加者により実際に入力された情報であるインデックス情報６３とが記憶されている。
【００４５】
また、インデックス付加装置２１は、インデックス付加者によるインデックス基本情報６１を定義するためのインデックス記述装置５１、実際の映像データを表示する入力用映像表示装置５２、インデックス付加者が映像を見ながら発見したトリガーアクションを次々と入力するためのトリガーアクション入力装置５３を備えている。このトリガーアクション入力装置５３により入力されたトリガーアクションは、トリガーアクション入力履歴情報６２に蓄積される。また、インデックス付加装置２１は、インデックス基本情報６１とトリガーアクション入力履歴情報６２に蓄積されたトリガーアクションの履歴に基づき、時間による重みも考慮したインデックスを生成するためのインデックス判定装置５４、トリガーアクション入力履歴情報６２に蓄積されたトリガーアクションの履歴に基づいて修正のための映像を表示する修正用映像表示装置５５、トリガーアクション一覧から選択したトリガーアクションを修正、削除するトリガーアクション修正装置５６を備えている。
【００４６】
このトリガーアクション入力装置５３では、インデックス基本情報６１で定義されたトリガー情報に基づいてトリガーアクションの種類およびその付加情報が入力される。インデックス基本情報６１を利用した操作手順として、本実施の形態では、まず、予めインデックス基本情報６１として定義されるトリガーアクション種類のリスト(例えば一覧)および付加情報のリスト(例えば一覧)が入力用映像表示装置５２に表示される。インデックス付加者は、トリガーアクション入力装置５３を用いて、トリガーアクションが発生する度に、各リストから必要な情報を選択する。インデックス判定装置５４では、インデックス付加者による選択を認識し、トリガーインデックスの値を生成し、インデックス情報６３に蓄積する。このインデックス判定装置５４では、後述するように、階層下部のインデックスを付加する際には、階層上部のインデックスも自動的に付加することができ、同一区間に互いに異なる独立したインデックスを付加することが可能となる。
【００４７】
図３は、インデックス基本情報６１を説明するための図である。携帯電話やＰＤＡなどの携帯端末のように、料金形態による制限が厳しい場合には、なるべく不必要な映像を配信しないことが重要であり、コンテンツプロバイダ２０がダイジェストを配信していく上でインデックスの信頼性は最も重要視される。映像に対して実時間で信頼性の高いインデックスを付加していくためには現状では人手に頼らざるを得ないが、一から全てを手作業で行うことは極めて困難である。そこで、本実施の形態ではインデックスに関する情報であるインデックス基本情報６１を予め定義しておき、インデックス基本情報６１を利用した簡潔な操作手順を提供することでインデックス付加者の作業量を減らし、実時間でのインデックス付加を実現している。
【００４８】
インデックス基本情報６１は、ＩＤや名前など、トリガーアクションに関する情報を定義したトリガー情報７１、単一のトリガーアクションだけから構成されるインデックスに関する情報を定義した単一トリガーインデックス情報７２、複数のトリガーアクションが影響しあって構成されるインデックスに関する情報を定義した複数トリガーインデックス情報７３、および、各インデックスに個別に付加される情報を定義した付加情報７４、の４つの情報から構成されている。
【００４９】
本実施の形態ではインデックス付加者が映像を見ながら、トリガーアクションの発生を確認した時点で、あらかじめ定義されたトリガーアクションの中から対応するものを選択していく。しかし、映像のある時点におけるトリガーアクションを選択するだけではインデックスの時間幅を決定することができない。そこで、単一トリガーインデックス情報７２では、ＩＤ、親インデックスＩＤ、名前、インデックス付加者がトリガーアクションを認知して入力するまでの遅延時間、重み、トリガーアクション発生からインデックス開始までの時間幅(開始時間幅)、インデックス終了までの時間幅(終了時間幅)、トリガーアクションＩＤ、等を定義している。トリガーアクション以前の映像が重要な場合には、開始までの時間幅を長くとり、以降の映像が重要な場合には、終了までの時間幅を長くとることで対応している。また、インデックスにはそれぞれ重みを設け、インデックス間の重要度を示す尺度として利用している。
【００５０】
サッカー映像を例に取れば、ダイジェストにおいてゴールシーンのインデックスはパスのインデックスより重要であることが容易に想像できる。これらの情報を利用することで、単一のトリガーアクションから構成されるインデックスの有効時間範囲、およびそのインデックスの重要度(以下、インデックス値と呼ぶ)を決定することが可能となる。単一トリガーインデックス情報７２では、更に単一トリガーインデックスの階層化も可能とし、親となる単一トリガーインデックスへのポインタも併せ持つ。これにより、階層下部のインデックスを付加する際に階層上部のインデックスを付加することが可能となる。
【００５１】
複数トリガーインデックス情報７３は、単一のトリガーアクションだけでは表現しきれず、複数のトリガーアクションを考慮すべきインデックスが存在する場合に用いられる。但し、このような状況は限られるため、複数のトリガーアクションからなされる関係を洗い出し、あらかじめ複数トリガーインデックス情報７３にて定義がなされるように構成されている。例えば、サッカー映像におけるコーナーキックからの得点シーンでは、コーナーキックおよびゴールシーンの別々のインデックスが必要となる。これらのインデックスを別々に捉えるのでは、ゴールシーンを見たいとして指定したインデックス利用者のダイジェストに、コーナーキックからのゴールシーンを含める事は難しい。そこで、２つのインデックスをまとめてゴールシーンのインデックスとして捉えるようにすれば、より効率的かつ有効なダイジェストの生成が可能になる。
【００５２】
この複数トリガーインデックス情報７３では、ＩＤ、名前、関連インデックスＩＤ、影響しあうインデックスの条件を定義する。例えば、インデックス条件は、１つ以上のインデックス群の繰り返しによって定義され、インデックス群は所定の条件と単一トリガーインデックスとの積で定義される。この所定の条件としては、例えば、時間制限が該当するが、この所定の条件が存在しない場合もある。この所定の条件は、前後の単一トリガーインデックス間での条件判定に利用されている。
【００５３】
付加情報７４では、インデックスに個別に付加される情報が定義される。例えばトリガーアクションを入力するだけでは、アクションを表すインデックスを映像に付加することはできるものの、それ以外の情報を付加することはできない。サッカー映像を例に取れば、パスやシュートといったアクションを表すインデックスを映像に付加することはできても、どちらのチームのパスやシュートなのかは分からない。付加情報７４によれば、これらの情報を定義することが可能となる。
【００５４】
また、付加情報７４は複数定義して利用することができる。例えば、チームレベルにとどまらず、選手単位でのインデックスを考慮する場合には、チーム、選手の２つの付加情報７４を定義すればよい。これらの情報はアクションを表すインデックスと同様に１つのインデックスとして取り扱うことで、インデックス利用者の趣味嗜好に合わせたより細かいダイジェストを生成することが可能となる。
【００５５】
図４(ａ),(ｂ)は、単一トリガーインデックス情報７２の概念の一例を説明するための図である。図４(ａ)は、トリガーアクション以前の映像が重要視される場合を示し、図４(ｂ)は、トリガーアクション以降の映像が重要視される場合を示している。各々において、トリガーアクション発生時Ａおよびインデックス付加者による入力時Ｂが定義され、ＡとＢとの間は遅延時間ｄが定義される。また、各々のトリガーアクションに重みｗが定義され、また、開始時間幅ｓ、終了時間幅ｅが定義される。ここで、図４(ａ)に示すようなトリガーアクション以前の映像が重要視される場合には、開始時間幅ｓが長くなり、終了時間幅ｅが短くなる。一方、図４(ｂ)に示すようなトリガーアクション以降の映像が重要視される場合には、開始時間幅ｓが短くなり、終了時間幅ｅが長くなる。
【００５６】
次に、図２を用いて処理の流れを説明する。インデックス付加者は、入力用映像表示装置５２に映し出される映像を見ながら、トリガーアクションが発生した段階でトリガーアクション入力装置５３を利用してトリガーアクションの種類、付加情報を入力していく。インデックス付加者は入力用映像表示装置５２に映し出される映像データが終了するまで、トリガーアクションが発生する度にトリガーアクションの種類を選択し続ける。入力されたトリガーアクションの種類や付加情報は、選択された時間と共にトリガーアクション入力履歴情報６２として蓄積される。
【００５７】
インデックス判定装置５４は、予め定義されているインデックス基本情報６１、およびトリガーアクション入力履歴情報６２に基づき、まず、単一トリガーインデックスの有効時間範囲およびインデックス値を計算する。インデックス値はトリガーアクションが入力された時間から時間軸に沿って前後に離れるほど小さくなり、有効時間範囲の境界で０になるようにする。但し、同一付加情報をもつ同一トリガーアクションがインデックス基本情報６１で定義した開始時間幅ｓと終了時間幅ｅの合計時間よりも短い時間間隔で並ぶ場合にはインデックスが重なり合うが、インデックスを付加する段階では考慮しない。インデックス判定装置５４は、このようにして計算された単一トリガーインデックスをインデックス情報６３として蓄積する。また、単一トリガーインデックスの階層化に基づき、階層下部の単一トリガーインデックスが付加される場合には、階層上部の単一トリガーインデックスもインデックス情報６３として蓄積される。
【００５８】
インデックス判定装置５４は、続いて、複数トリガーインデックス情報７３におけるインデックス条件を判定する。インデックス条件に適合した場合に、その条件を持つ複数トリガーインデックスもインデックス情報６３として蓄積される。複数トリガーインデックスのインデックス値は、基本的に単一トリガーインデックスのインデックス値が利用されるが、単一トリガーインデックス間の映像も重要視されるようなインデックス値に修正される。
【００５９】
尚、実時間でインデックスを付加する際には誤りも起こり得るため、修正用映像表示装置５５およびトリガーアクション修正装置５６によって、付加されたインデックスの追加、削除、修正を行うことができる。ここで、トリガーアクション入力装置５３とは別の装置を利用するのは、実時間でのインデックス付加処理を中断することなく、インデックスの追加、削除、修正を行えるようにするためである。トリガーアクション修正装置５６では、トリガーアクション一覧から選択したトリガーアクションを修正、削除できるように構成されている。また、トリガーアクションの修正、削除時には、選択したトリガーアクションの前後の映像を見ることができるように、修正用映像表示装置５５では、時間指定による映像の頭だしができるように構成されている。インデックス付加者は、修正用映像表示装置５５に流れる映像を見ながら、修正すべきインデックスのトリガーアクションを発見した段階でトリガーアクションの種類、付加情報を入力すれば良い。この入力の方法は、トリガーアクション入力装置５３と同様である。
【００６０】
次に、具体例を用いて、本実施の形態を更に詳述する。ここでは、サッカー映像におけるインデックス付加の例を３つ挙げ、野球映像におけるインデックス付加の例を１つ挙げて説明する。コンテンツプロバイダ２０のように、各種映像に精通したインデックス付加者がいると想定される場合には、トリガーアクションが発生してから入力するまでの遅延時間ｄは極めて小さいことから、ここでは遅延時間ｄ≒０としている。また、本実施の形態におけるトリガーアクション入力装置５３のインタフェースとして、トリガーアクション種類の一覧および付加情報の一覧が表示され、インデックス付加者は、トリガーアクションが発生する度に、各一覧から必要な情報を選択して行くものとしている。また、トリガーアクション修正装置５６のインタフェースでは、トリガーアクション入力装置５３のインタフェースに加えて、今までに入力されたトリガーアクション入力履歴情報６２、および付加されたインデックスも一覧表示される。インデックス付加者は、修正、削除したいトリガーアクションを選択することで修正が可能となる。
【００６１】
(具体例１) サッカー映像の第１の例
図５は、サッカー映像のインデックス基本情報６１における第１の例を示した図である。インデックス付加装置２１を用いるインデックス付加者は、インデックス記述装置５１を利用して、図５に示すようなサッカー映像に関するインデックス基本情報６１を定義しており、ここでは、サッカー映像中に発生するトリガーアクションと、それによって識別されるインデックスの例が示されている。またここでは、トリガー情報７１−１として、ＩＤと名称(name)が定義されている。例えば、ＩＤ１はパス(Pass)、ＩＤ２はスルーパス(ThroughPass)、ＩＤ３はセンタリング(Centering)、ＩＤ４はシュート(Shoot)、ＩＤ５はコーナーキック(CornerKick)等である。
【００６２】
また、単一トリガーインデックス情報７２−１では、各ＩＤ毎に、親子関係を示すＩＤ(ParentＩＤ)によって階層化が定義される。また、前述した、重みｗ(Weight)、遅延時間ｄ(Delay)、開始時間幅ｓ(Start)、終了時間幅ｅ(End)、およびトリガーアクションＩＤ(Trigger)が定義されている。この例では、ＩＤ２のスルーパス(ThroughPass)およびＩＤ３のセンタリング(Centering)は、ＩＤ１のパス(Pass)に対して階層化されている。また、ＩＤ５のゴール(Goal)は、ＩＤ４のシュート(Shoot)に対して階層化されている。
【００６３】
複数トリガーインデックス情報７３−１では、ＩＤ毎に関連インデックスが示され、例えば、ＩＤ１のコーナーゴール(CornerGoal)は、単一トリガーインデックス情報７２−１におけるＩＤ５のゴールに関連付けられている。また、インデックス条件(Condition)が定義される。このインデックス条件は、例えば、コーナーゴール(CornerGoal)では、ＩＤ６であるコーナーキックからＩＤ５であるゴールまでの時間が１０秒(ｓ)以内である場合にインデックス条件が満たされるものとしている。付加情報７４−１では、チームＡ(TeamＡ)、チームＢ(TeamＢ)、例えば選手名などが定義される。
【００６４】
図６は、トリガーアクション入力アルゴリズムを示した図である。インデックス付加者は、入力用映像表示装置５２に表示される映像を見ながら、映像が終了するまで、トリガーアクションを発見する度にトリガーアクション入力装置５３を用いてトリガーアクションの種類、付加情報を選択する。即ち、映像が終了したか否かが判断され(ステップ１０１)、映像終了の場合には、入力アルゴリズムは終了し、映像終了でない場合には、トリガーアクションが発生しているか否かが判断される(ステップ１０２)。トリガーアクション発生していない場合には、ステップ１０１に戻り、映像終了まで待ち、発生している場合には、トリガーアクションの入力を行って(ステップ１０３)、ステップ１０１に戻る。
【００６５】
図７は、インデックス判定装置５４でなされるインデックス判定アルゴリズムを示した図である。ここでは、まず、トリガーアクションの入力があったか否かが判断される(ステップ１１１)。入力がない場合には、入力を待つ。入力があった場合には、単一トリガーインデックスの計算がなされる(ステップ１１２)。そして、単一トリガーインデックスが階層構造であるか否かが判断される(ステップ１１３)。階層構造である場合には、単一トリガーインデックス階層化処理が実行され(ステップ１１４)、インデックス条件が満たされるか否かが判断される(ステップ１１５)。ステップ１１３にて階層構造でない場合には、ステップ１１５の判断に移行する。ステップ１１５にてインデックス条件を満たす場合には、複数トリガーインデックスの計算がなされ(ステップ１１６)、ステップ１１１に戻る。ステップ１１５にてインデックス条件を満たさない場合には、ステップ１１１に戻る。
【００６６】
図８は、トリガーアクションの入力例を示した図であり、図７に示すステップ１１１にて判断されるものである。図８では、トリガーアクション入力(１)〜トリガーアクション入力(４)までの入力例を時間軸に沿って示している。以下、図８で示されたトリガーアクションの入力例をもとに、インデックス判定装置５４での処理の手順を説明する。
【００６７】
まず、トリガーアクション入力(１)について説明する。
ここでは、インデックス付加者が時間ｔ＝２(ｓ)において、チームＡ(TeamA)によるパス(Pass)のトリガーアクションに気づき、トリガーアクション入力装置５３の付加情報一覧からチームＡを選択し、トリガーアクション一覧からパス(Pass)を選択する。この作業により、トリガーアクションが装置に入力され、インデックス判定装置５４が図７に示したインデックス判定アルゴリズムに従って処理を行う。インデックス判定アルゴリズムでは、まず、ステップ１１２の単一トリガーインデックス計算を所定のアルゴリズムに従って行い、パス(Pass)インデックスの有効時間範囲、インデックス値が求められる。
【００６８】
図９(ａ)〜(ｃ)は、図７のステップ１１２で実行される単一トリガーインデックス計算のアルゴリズムを説明するための図である。図９(ａ)は処理の流れを示している。単一トリガーインデックス計算では、まず、開始時間、終了時間が計算され(ステップ１２１)、時間推移によるインデックス値が計算される(ステップ１２２)。図９(ｂ)は、インデックス値計算のために用いられる値を説明するための図であり、ｔ1はトリガーアクションが入力された時間を示している。他は、図４(ａ),(ｂ)で説明したものと同様である。図９(ｃ)は、インデックス値の計算式を示しており、時間ｔがｔ1よりも前の時と、ｔ1よりも後の時とに場合分けされている。ここで求められるｆ(ｔ)は、図９(ｂ)に示される曲線である。尚、インデックスの両端は、インデックス値がε以下となる時としており、ある一定の値であるεが予め定められている。ここでは、ε＝１/ｅ4としている。
【００６９】
図５でパス(Pass)の情報を見ると、ｗ＝１、ｓ＝２秒(ｓ)、ｅ＝０.５秒(ｓ)であり、図９(ｃ)に示すインデックスの式に代入すると、
【式１】
となる。
【００７０】
尚、インデックス基本情報６１では、単一トリガーインデックスは階層化されていることから、図７のステップ１１４における階層化処理アルゴリズムに従って処理が行われるが、パス(Pass)インデックスは階層上部のインデックスにあたるため、階層化に基づく自動インデックス付加は行われない。また、インデックス基本情報６１では、パス(Pass)インデックスがインデックス条件に関与する複数トリガーインデックス情報７３には定義されていないため、図７のステップ１１６における複数トリガーインデックス計算処理も行われない。
【００７１】
図１０は、図７のステップ１１４における階層化処理アルゴリズムを示した図である。インデックス基本情報６１では、単一トリガーインデックスは階層化されているため、図１０に示す階層化処理アルゴリズムに従って処理が行われる。階層化処理アルゴリズムでは、まず、計算された単一トリガーインデックスが階層下部か否かが判断される(ステップ１３１)。階層下部でない場合には、処理が終了する。階層下部である場合には、階層上部のインデックスも付加され(ステップ１３２)、処理が終了する。このステップ１３２では、図９に示した単一トリガーインデックス計算が利用される。
【００７２】
次に、図８に示したトリガーアクション入力(２)について説明する。
ここでは、インデックス付加者が時間ｔ＝９(ｓ)においてチームＡ(TeamＡ)のスルーパス(ThroughPass)のトリガーアクションに気づき、トリガーアクション入力装置５３の付加情報一覧からチームＡ(TeamＡ)を選択し、トリガーアクション一覧からスルーパス(ThroughPass)を選択する。これにより、インデックス判定装置５４は、図７に示したインデックス判定アルゴリズムに従って処理を行う。
【００７３】
トリガーアクション入力(１)と同様に、まず、図９(ａ)〜(ｃ)に示した単一トリガーインデックス計算アルゴリズムに従って、スルーパス(ThroughPass)インデックスの有効時間範囲、インデックス値を求める。続いて、図１０に示した階層化処理アルゴリズムに従って処理が行われる。スルーパス(ThroughPass)インデックスは、階層下部のインデックスにあたるため、階層化に基づき、パス(Pass)インデックスも自動付加される。パス(Pass)インデックスの付加手順は、単一トリガーインデックスの付加手順に従う。インデックス基本情報６１では、スルーパス(ThroughPass)インデックスがインデックス条件に関与する複数トリガーインデックスが存在するが、現段階でシュート(Shoot)インデックスがないため、インデックス条件は満たさず、複数トリガーインデックス計算処理も行われない。
【００７４】
図１１(ａ),(ｂ)は、上述した階層化に基づくインデックスの付加例を示した図である。図１１(ａ)に示すように、ここでは、スルーパス(ThroughPass)インデックスがパス(Pass)インデックスと階層化されており、パス(Pass)インデックスが階層上部、スルーパス(ThroughPass)インデックスが階層下部である。また、センタリング(Centering)インデックスも階層下部である。図１１(ｂ)に示すように、時間Ａにおいて、スルーパス(ThroughPass)アクションが生じ、そのときの開始時間幅(ｓ１)、終了時間幅(ｅ１)に合わせて、パス(Pass)アクションのインデックスが付加される。
【００７５】
次に、図８に示したトリガーアクション入力(３)について説明する。
インデックス付加者が時間ｔ＝２８(ｓ)においてチームＡ(TeamＡ)のコーナーキック(CornerKick)のトリガーアクションに気づき、トリガーアクション入力装置５３の付加情報一覧からチームＡ(TeamＡ)を選択し、トリガーアクション一覧からコーナーキック(CornerKick)を選択する。これにより、インデックス判定装置５４は、図７に示したインデックス判定アルゴリズムに従って処理を行う。
【００７６】
まず、トリガーアクション入力(１)と同様に、図９(ａ)〜(ｃ)に示した単一トリガーインデックス計算アルゴリズムに従って、コーナーキック(CornerKick)インデックスの有効時間範囲、インデックス値を求める。コーナーキック(CornerKick)インデックスは、階層化されておらず、またコーナーキック(CornerKick)インデックスがインデックス条件に関与する複数トリガーインデックスは存在しないため、インデックス階層化処理も複数トリガーインデックス計算処理も行われない。
【００７７】
次に、図８に示したトリガーアクション入力(４)について説明する。
インデックス付加者が時間ｔ＝３２(ｓ)においてチームＡ(TeamＡ)のゴール(Goal)のトリガーアクションに気づき、トリガーアクション入力装置５３の付加情報一覧からチームＡ(TeamＡ)を選択し、トリガーアクション一覧からゴール(Goal)を選択する。これにより、インデックス判定装置５４は、図７に示したインデックス判定アルゴリズムに従って処理を行う。
【００７８】
まず、トリガーアクション入力(１)と同様に、図９(ａ)〜(ｃ)に示した単一トリガーインデックスの計算処理を行い、ゴール(Goal)インデックスの有効時間範囲、インデックス値を求める。続いて、トリガーアクション入力(２)と同様に、図１０に示す階層化処理アルゴリズムに従って処理が行われ、ゴール(Goal)インデックスの階層上位にあたるシュート(Shoot)インデックスも自動付加される。
【００７９】
最後に、このトリガーアクション入力(４)では、ゴール(Goal)インデックスがインデックス条件に関与する複数トリガーインデックスが存在し、かつインデックス条件が図５の複数トリガーインデックス情報のＩＤ１であるコーナーゴール(CornerGoal)のインデックス条件(Condition)と比較すると、
【式２】
を満たすため、図１２(後述)に示す複数トリガーインデックス計算アルゴリズムに従って、インデックス値の計算が行われる。
【００８０】
図１２(ａ)〜(ｃ)は、図７のステップ１１６で示した複数トリガーインデックス計算のアルゴリズムを説明するための図である。図１２(ａ)は処理の流れを示している。複数トリガーインデックス計算では、まず、開始時間、終了時間が取得され(ステップ１４１)、時間推移によるインデックス値が再計算される(ステップ１４２)。図１２(ｂ)は、インデックス値計算のために用いられる値を説明するための図であり、ここでは、時間ｔ1とｔ2にトリガーアクションが発生している。図１２(ｃ)は、インデックス値の計算式を示しており、時間ｔがｔ1よりも前の時と、ｔ1とｔ2との間の時、ｔ2よりも大きい時、とに分けて、図１２(ｂ)に示される曲線ｆ(ｔ)が算出される。但し、ε＝１/ｅ4とする。
【００８１】
図１２(ａ)〜(ｃ)を用いてトリガーアクション入力(４)の場合を計算すると、図５より、コーナーキック(CornerKick)インデックスは、重みｗ１＝２、開始時間幅ｓ１＝０.５(ｓ)であり、ゴール(Goal)インデックスは、重みｗ２＝４、終了時間幅ｅ２＝０.５(ｓ)である。図１２(ｃ)に示すインデックス値の計算式に代入すると、
【式３】
となる。
【００８２】
図１３(ａ),(ｂ)は、複数トリガーインデックスの生成例を示した図であり、図１３(ａ)は、単一トリガーインデックスにより生成された場合を示し、図１３(ｂ)は、上述の式３によって得られた複数トリガーインデックスの生成例を示している。この１３(ｂ)に示されるように、インデックス条件を満たし、複数トリガーインデックスの生成によって、影響しあう個別のインデックスを１つのインデックスとして生成することが可能となる。
【００８３】
図１４は、上述した一連の処理により、図８に示したトリガーアクション入力(１)〜トリガーアクション入力(４)までの入力例から付加されるインデックスを示している。例えば、トリガーアクション入力(２)では、スルーパス(ThroughPass)インデックスの階層上部であるパス(Pass)インデックスも自動付加されている。また、トリガーアクション入力(４)では、ゴール(Goal)インデックスの階層上部であるシュート(Shoot)インデックスも自動付加されている。更に、トリガーアクション入力(３)および(４)では、複数トリガーインデックスの１つであるコーナーゴール(CornerGoal)インデックスが生成される。
【００８４】
(具体例２) サッカー映像の第２の例
図１５は、サッカー映像のインデックス基本情報６１における第２の例を示した図である。具体例１と同様に、インデックス付加者は、インデックス記述装置５１を利用してサッカー映像に関するインデックス基本情報６１を定義する。図１５では、図５に示したものよりも詳細に、選手の動きでインデックスを定義してある。各選手の動きに基づくインデックス付加を考えた場合、各選手は個々に運動することから、ある時間間隔(区間)にて、互いに独立した複数のインデックスが存在し得る。ここでは、トリガー情報７１−２、単一トリガーインデックス情報７２−２、複数トリガーインデックス情報７３−２、付加情報７４−２が定義されている。
【００８５】
図１６は、同一時間、同一区間におけるインデックスの重複例を示した図である。図１６では、例えば、チームＡ(TeamＡ)の選手Ａ１(PlayerＡ１)によるラン(Run)インデックスと、例えば、チームＢ(TeamＢ)の選手Ｂ１(PlayerＢ１)によるウォーク(Walk)インデックスとにおいて、重複する時間間隔(ｅ１とｓ２の重複区間)が発生する状態を示している。
【００８６】
図１７は、選手レベルでのインデックス付加の例を示した図である。図１７の上部に示すようなインデックス付加者によるトリガーアクション入力があった場合に、インデックス判定装置５４は、各トリガーアクションに対してインデックス付加処理を行い、図１７に示すようなインデックスが生成されて付加される。
【００８７】
(具体例３) 付加されたインデックスの追加、削除、修正の例
上述のような手順により、既に入力されたインデックスを追加、削除、修正する場合には、トリガーアクション修正装置５６を利用して、以下に示す処理を行う。
図１８(ａ),(ｂ)は、インデックス追加および削除の例を示した図である。図１８(ａ)は、インデックスの追加時における作業の流れを示しており、この流れに従って映像にインデックスを追加することができる。まず、インデックス付加者は、修正用映像表示装置５５に表示された映像の中でインデックスを追加する部分を探す(ステップ２０１)。次に、トリガーアクションが発生したか否かが判断される(ステップ２０２)。発生している場合には、トリガーアクション修正装置５６を用いてトリガーアクションを入力して(ステップ２０３)、処理が終了する。ステップ２０２にてトリガーアクションが発生していない場合には、トリガーアクションの発生を待つ。
【００８８】
図１８(ｂ)は、インデックス削除時における作業の流れを示しており、この流れに従って映像からインデックスを削除することができる。まず、インデックス付加者は、既に入力されたトリガーアクション一覧から目的のものを探す(ステップ２１１)。そして、トリガーアクション修正装置５６を用いてトリガーアクションを削除する(ステップ２１２)。
【００８９】
図１９は、インデックス修正時の作業の流れを示した図である。インデックス付加者は、既に付加されたインデックスを修正したいと欲する場合に、まず、既に入力されたトリガーアクション一覧から、目的のものを探す(ステップ２２１)。次に、映像の中で、インデックスを修正する部分を探す(ステップ２２２)。そして、トリガーアクションが発生したか否かを判断し(ステップ２２３)、発生していない場合には発生を待ち、トリガーアクションが発生した場合には、トリガーアクションを入力して(ステップ２２４)、処理が終了する。
【００９０】
図２０は、インデックスの追加、削除、修正時におけるインデックス判定装置５４の処理アルゴリズムを示した図である。まず、ここでは、トリガーアクションの修正または削除か否かが判断され(ステップ２３１)、修正または削除である場合には、選択トリガーアクションを削除し(ステップ２３２)、単一トリガーインデックスを削除し(ステップ２３３)、階層上位単一トリガーインデックスを削除する(ステップ２３４)。次に、複数トリガーインデックスの再計算がなされる(ステップ２３５)。そして、トリガーアクションの修正または追加か否かが判断され(ステップ２３６)、該当しない場合には、ステップ２３１に戻る。尚、ステップ２３１にて修正または削除に該当しない場合には、ステップ２３６の判断に移行する。ステップ２３６で、トリガーアクションの修正または追加である場合には、単一トリガーインデックスの計算(ステップ２３７)、単一トリガーインデックスの階層処理がなされ(ステップ２３８)、複数トリガーインデックスの再計算がなされる(ステップ２３９)。その後、ステップ２３１に戻り、同様の処理が繰り返される。
【００９１】
(具体例４) 野球映像に対するインデックスの付加例
具体例１では、サッカー映像を例に挙げて説明したが、ここでは、野球映像を例に挙げて説明する。
図２１は、野球映像のインデックス基本情報６１を示した図である。ここでは、インデックス記述装置５１を用いて、野球映像中に発生するトリガーアクションと、それによって識別されるインデックスである、トリガー情報７１−３、単一トリガーインデックス情報７２−３、複数トリガーインデックス情報７３−３、付加情報７４−３が定義される。
【００９２】
インデックス付加者は、図６に示したトリガーアクションの入力アルゴリズムに従って、入力用映像表示装置５２に表示される映像を見ながら、映像が終了するまで、トリガーアクションを発見する度に、トリガーアクション入力装置５３を用いてトリガーアクションの種類、付加情報を選択する。
【００９３】
図２２は、野球映像におけるトリガーアクションの入力例を示した図である。図２２では、トリガーアクション入力(１)〜トリガーアクション入力(５)までの入力例を時間軸に沿って示している。以下、図２２で示されたトリガーアクションの入力例をもとに、インデックス判定装置５４での処理の手順を説明する。
【００９４】
まず、トリガーアクション入力(１)について説明する。
ここでは、インデックス付加者が時間ｔ＝２(ｓ)において、チームＡ(TeamＡ)、Ｍ選手(PlayerＭ)のボール(Ball)のトリガーアクションに気づき、トリガーアクション入力装置５３の付加情報一覧からチームＡ(TeamＡ)、Ｍ選手(PlayerＭ)を選択し、トリガーアクション一覧からボール(Ball)を選択する。この作業により、トリガーアクションが装置に入力され、インデックス判定装置５４が図７に示したインデックス判定アルゴリズムに従って処理を行う。判定アルゴリズムでは、まず、ステップ１１２の単一トリガーインデックス計算を所定のアルゴリズムに従って、ボール(Ball)インデックスの有効時間範囲、インデックス値が求められる。但し、ε＝１/ｅ4とする。
【００９５】
図２１でボール(Ball)の情報を見ると、ｗ＝１、ｓ＝２(ｓ)、ｅ＝０.５(ｓ)であり、図９に示すインデックス値の計算式に代入すると、
【式４】
となる。インデックス基本情報６１では、ボール(Ball)インデックスは階層化されていないため、階層化に基づく自動インデックス付加は行われない。また、インデックス基本情報６１では、ボール(Ball)インデックスがインデックス条件に関与する複数トリガーインデックスは定義されていないことから、複数トリガーインデックスの計算処理も行われない。
【００９６】
次に、図２２に示したトリガーアクション入力(２)について説明する。
ここでは、インデックス付加者が時間ｔ＝９(ｓ)においてチームＡ(TeamＡ)、Ｍ選手(PlayerＭ)のスィング(Swing)のトリガーアクションに気づき、トリガーアクション入力装置５３の付加情報一覧からチームＡ(TeamＡ)、Ｍ選手(PlayerＭ)を選択し、トリガーアクション一覧からスィング(Swing)を選択する。これにより、インデックス判定装置５４は、図７に示したインデックス判定アルゴリズムに従って処理を行う。
【００９７】
トリガーアクション入力(１)と同様に、まず、図９(ａ)〜(ｃ)に示した単一トリガーインデックス計算アルゴリズムに従って、スィング(Swing)インデックスの有効時間範囲、インデックス値を求める。図２１に示すインデックス基本情報６１では、スィング(Swing)インデックスは階層化されていないため、階層化に基づく自動インデックス付加は行われない。また、インデックス基本情報６１では、スィング(Swing)インデックスがインデックス条件に関与する複数トリガーインデックスが存在するが、現段階で、ファール(Foul)、ホームラン(Homerun)インデックスがないことから、インデックス条件は満たさず、複数トリガーインデックス計算処理も行われない。
【００９８】
次に、図２２に示したトリガーアクション入力(３)について説明する。
インデックス付加者が時間ｔ＝１１(ｓ)においてチームＡ(TeamＡ)、Ｍ選手(PlayerＭ)のファール(Foul)のトリガーアクションに気づき、トリガーアクション入力装置５３の付加情報一覧からチームＡ(TeamＡ)を選択し、トリガーアクション一覧からファール(Foul)を選択する。これにより、インデックス判定装置５４は、図７に示したインデックス判定アルゴリズムに従って処理を行う。
【００９９】
まず、トリガーアクション入力(１)と同様に、図９(ａ)〜(ｃ)に示した単一トリガーインデックス計算アルゴリズムに従って、ファール(Foul)インデックスの有効時間範囲、インデックス値を求める。続いて、図１０に示した階層化処理アルゴリズムに従って処理が行われる。ファール(Foul)インデックスは、階層下部のインデックスに該当するため、階層化に基づき、ストライク(Strike)インデックスも自動付加される。ストライク(Strike)インデックスの付加手順は、単一トリガーインデックスの付加手順に従う。
【０１００】
ファール(Foul)インデックスがインデックス条件に関与する複数トリガーインデックスが存在し、かつ、インデックス条件Swing→Foulを満たすことから、図１２に示す複数トリガー計算アルゴリズムに従って、インデックス値の計算が行われる。但し、ε＝１/ｅ4とする。図２１より、スィング(Swing)インデックスはｗ１＝１、ｓ１＝２(ｓ)であり、ファール(Foul)インデックスはｗ２＝２、ｅ２＝１(ｓ)である。図１２に示すインデックス値の計算式に代入すると、
【式５】
となる。
【０１０１】
次に、図２２に示したトリガーアクション入力(４)について説明する。
インデックス付加者が時間ｔ＝２８(ｓ)においてチームＡ(TeamＡ)、Ｍ選手(PlayerＭ)のスィング(Swing)のトリガーアクションに気づき、トリガーアクション入力装置５３の付加情報一覧からチームＡ(TeamＡ)、Ｍ選手(PlayerＭ)を選択し、トリガーアクション一覧からスィング(Swing)を選択する。これにより、インデックス判定装置５４は、図７に示したインデックス判定アルゴリズムに従って処理を行う。まず、トリガーアクション入力(１)と同様に、図９(ａ)〜(ｃ)に示した単一トリガーインデックス計算アルゴリズムに従って、スィング(Swing)インデックスの有効時間範囲、インデックス値を求める。トリガーアクション入力(２)と同様に、インデックス階層化処理も複数トリガーインデックス計算処理も行われない。
【０１０２】
次に、図２２に示したトリガーアクション入力(５)について説明する。
インデックス付加者が時間ｔ＝３２(ｓ)においてチームＡ(TeamＡ)、Ｍ選手(PlayerＭ)のホームラン(Homerun)のトリガーアクションに気づき、トリガーアクション入力装置５３の付加情報一覧からチームＡ(TeamＡ)、Ｍ選手(PlayerＭ)を選択し、トリガーアクション一覧からホームラン(Homerun)を選択する。これにより、インデックス判定装置５４は、図７に示したインデックス判定アルゴリズムに従って処理を行う。まず、トリガーアクション入力(１)と同様に、図９(ａ)〜(ｃ)に示した単一トリガーインデックスの計算処理を行い、ホームラン(Homerun)インデックスの有効時間範囲、インデックス値を求める。続いて、図１０に示す階層化処理アルゴリズムに従って処理が行われ、ホームラン(Homerun)インデックスの階層上位にあたるヒット(Hit)インデックスも自動付加される。
【０１０３】
最後に、このトリガーアクション入力(５)では、ホームラン(Homerun)インデックスがインデックス条件に関与する複数トリガーインデックスが存在し、かつインデックス条件Swing→Homerunを満たすため、図１２に示す複数トリガーアクション計算アルゴリズムに従って、インデックス値の計算が行われる。但し、ε＝１/ｅ4とする。図２１より、スィング(Swing)インデックスはｗ１＝１、ｓ１＝２(ｓ)であり、ホームラン(Homerun)インデックスはｗ２＝４、ｅ２＝２(ｓ)である。図１２に示すインデックス値の計算式に代入すると、
【式６】
となる(図１３参照)。
【０１０４】
図２３は、具体例４である野球映像のインデックス付加例を示した図である。ここでは、上述した一連の処理により、図２２に示したトリガーアクション入力(１)〜トリガーアクション入力(５)までの入力例から付加されるインデックスを示している。例えば、トリガーアクション入力(２)および(３)では、複数トリガーインデックスが生成されている。また、トリガーアクション入力(４)および(５)でも複数トリガーインデックスが生成されているのが理解できる。
【０１０５】
以上、詳述したように、本実施の形態におけるインデックス付加装置２１では、予め定義されたインデックス基本情報６１、インデックス付加者の入力したトリガーアクション履歴に基づいて、インデックスの有効時間範囲やインデックス値を計算し、映像に付加している。そのために、同一区間に互いに独立した異なるインデックスを付加することもでき、映像に対するより詳細な意味付けが可能となる。更に、本実施の形態におけるインデックス付加装置２１を利用すれば、コンテンツプロバイダ２０では、実際に流れる映像を見ながらトリガーアクションを入力していくだけで、即時性の高い映像に対してもインデックス利用者であるクライアント１０の趣味、嗜好を反映したより短いダイジェストを作成できるインデックスを短時間で付加することが可能となる。
【０１０６】
更に、本実施の形態におけるインデックス付加装置２１によれば、サッカー映像や野球映像等の場合、インデックス付加者一人でチーム単位のインデックスを入力することが可能となる。但し、一人で選手毎の細かいインデックスを付加することは極めて困難であることから、かかる場合には、予めインデックスを付加する代表選手を決めておく必要がある。または、複数のインデックス付加者を準備して、同時にインデックスを付加していくことが必要となる。
【０１０７】
【発明の効果】
このように、本発明によれば、利用者の趣味、嗜好に合わせた、より短いダイジェストの生成に利用可能なインデックスを実時間で付加することが可能となる。
【図面の簡単な説明】
【図１】 本実施の形態におけるネットワークシステムの概略構成を説明するための図である。
【図２】 コンテンツプロバイダにおけるインデックス付加装置(インデックス生成装置)の構成を示すブロック図である。
【図３】 インデックス基本情報を説明するための図である。
【図４】 (ａ),(ｂ)は、単一トリガーインデックス情報の概念の一例を説明するための図である。
【図５】 サッカー映像のインデックス基本情報における第１の例を示した図である。
【図６】 トリガーアクション入力アルゴリズムを示した図である。
【図７】 インデックス判定装置でなされるインデックス判定アルゴリズムを示した図である。
【図８】 トリガーアクションの入力例を示した図である。
【図９】 (ａ)〜(ｃ)は、図７で実行される単一トリガーインデックス計算のアルゴリズム説明するための図である。
【図１０】 図７における階層化処理アルゴリズムを示した図である。
【図１１】 (ａ),(ｂ)は、階層化に基づくインデックスの付加例を示した図である。
【図１２】 (ａ)〜(ｃ)は、図７で示した複数トリガーインデックス計算のアルゴリズムを説明するための図である。
【図１３】 (ａ),(ｂ)は、複数トリガーインデックスの生成例を示した図である。
【図１４】 図８に示したトリガーアクション入力(１)〜トリガーアクション入力(４)までの入力例から付加されるインデックスを示した図である。
【図１５】 サッカー映像のインデックス基本情報における第２の例を示した図である。
【図１６】 同一時間、同一区間におけるインデックスの重複例を示した図である。
【図１７】 選手レベルでのインデックス付加の例を示した図である。
【図１８】 (ａ),(ｂ)は、インデックス追加および削除の例を示した図である。
【図１９】 インデックス修正時の作業の流れを示した図である。
【図２０】 インデックスの追加、削除、修正時におけるインデックス判定装置の処理アルゴリズムを示した図である。
【図２１】 野球映像のインデックス基本情報を示した図である。
【図２２】 野球映像におけるトリガーアクションの入力例を示した図である。
【図２３】 具体例４である野球映像のインデックス付加例を示した図である。
【符号の説明】
１０…クライアント、１１…ユーザプロファイル、１２…ユーザ処理部、２０…コンテンツプロバイダ、２１…インデックス付加装置(インデックス生成装置)、２３…コンテンツ送信部、３０…要約サーバ、３１…コンテンツデータ、３２…コンテンツデータ処理部、３３…インデックス特徴量データベース(ＤＢ)、３４…重要度算出部、３５…ダイジェスト作成部、５１…インデックス記述装置、５２…入力用映像表示装置、５３…トリガーアクション入力装置、５４…インデックス判定装置、５５…修正用映像表示装置、５６…トリガーアクション修正装置、６１…インデックス基本情報、６２…トリガーアクション入力履歴情報、６３…インデックス情報、７１…トリガー情報、７２…単一トリガーインデックス情報、７３…複数トリガーインデックス情報、７４…付加情報
【発明の属する技術分野】
本発明は、映像等のコンテンツをクライアントに提供するコンテンツ提供技術に係り、特に、膨大なコンテンツを効率良く要約(ダイジェスト)させるために必要なインデックス作成装置等に関する。
【０００２】
【従来の技術】
近年、グローバルサービスやマルチメディア通信サービスの提供を目的として、次世代の移動通信システムであるIMT-2000(International Mobile Telecommunications 2000)を用いた次世代携帯電話の早期導入が進められている。この次世代携帯電話IMT-2000上においては、帯域も最大２Ｍbpsとなり、アプリケーションとして映像配信サービスも予定されている。しかしながら、例えば、デバイスの制限(デバイスのサイズや解像度等)や通信料金等の様々な条件によって、携帯端末にて長時間の映像を見ることは困難である。
【０００３】
そこで、このような膨大な映像等のコンテンツを要約して提示する仕組みが必要となる。即ち、映像データベースに蓄積される膨大な映像データから各個人にあった映像を選び出し、効率良くダイジェストを生成するために、映像に様々な意味のある情報を付加しておくことが重要である。この情報をインデックス(メタデータ)と呼ぶ。また、映像にインデックスを付加する人をインデックス付加者と呼び、付加されたインデックスに基づいて生成されたダイジェストを実際に視聴する人をインデックス利用者と呼ぶ。従来のインデックス付加技術として、画像、音声および自然言語の処理に基づく技術が挙げられる。
【０００４】
例えば、特開平１０−１１２８３５号公報、特開２０００−１７５１４９号公報、特開２０００−２３６５１８号公報には、映像中からシーン(映像中の時間的に急激に変化する場面の切れ目によって区切られた連続した１つの映像を指す)を自動検出し、各シーンの代表画像や先頭からの一定区間のフレームをインデックスとして利用し、それらのインデックスを繋ぎあわせることで映像の要約およびダイジェストの生成を行う技術について開示されている。しかしながら、これらは映像の特徴に基づいた要約を行うために、映像内容の意味に着目したダイジェストを生成することが難しい。
【０００５】
特開平１１−３３１７６１号公報では、「次に」「ところで」といった話題切り替え用の話題転換語に着目し、映像と同期する字幕情報を取得している。そして、取得した情報を解析することで話題転換語を検出し、検出されれば映像の内容が切り替わったと判断して、該当する映像を一定時間、切り出している。この切り出された映像をインデックスとして利用し、これらのインデックスを繋ぎあわせることで、映像全体の要約を行う技術について示されている。しかし、この技術では字幕情報の存在を前提としており、付加情報のない映像には対処できない。
【０００６】
また、発話内容の書き起こしがあることを前提とする技術として、発話中の重要語、自動検出されたシーンおよび各シーンの代表画像、人物の顔やキャプションといった映像中の物体に関する情報、カメラの動きといった主に画像処理技術より得られる情報をインデックスとして利用する技術も存在する(CMU-CS-95-186, School of Computer Science, Carnegie Mellon University, 1995.)。同様に、映像中の人物の顔、発話文章中の人物名から関連付けられる顔と人物名との関係をインデックスとして利用し、人物名からの要約を行う提案もなされている(IJCAI, pp1488-1493, 1997.)。しかしながら、ここでも付加情報の存在を前提としており、汎用性がない。
【０００７】
更に、映像中のテロップから文字を認識し、クローズドキャプションから得られる文字と比較を行う技術が存在する。ここでは、両方に含まれる文字をキーワードとして捉え、該当する部分の映像をインデックスとして利用し、これらのインデックスを繋ぎあわせることで映像全体の要約を行っている(情報処理学会論文誌Vol,40, No.12-017, 1999.)。しかし、この技術ではクローズドキャプションの存在を前提としており、前述と同様、付加情報のない映像に対しては適用できない。
【０００８】
また、音声認識技術を利用したものとして、画像処理技術に基づき自動検出されたシーンおよび各シーンの代表画像、音声認識技術に基づき検出された発話に関する情報(内容、時間)をインデックスとして利用し、映像の要約を行う技術が存在する(In Proceedings of SI-GIR'99, p326, 1999.)。ニュースのような、背景に雑音がなく、音楽が流れていないような限定された映像に対しての適用を考慮しており、その他の一般的な映像に対しては適用が難しい。
【０００９】
そこで、特定の映像に限らず、幅広い種類の映像にインデックスを付加するための技術も考えられている。例えば、特開２０００−２３０６２号公報では、映像データ中の映像から得られるニュース番組等の速報用テロップ、バラエティ番組等の強調用テロップを含むテロップ映像を映像インデックスとして利用し、音声から音量値、音情報の種類を音声インデックスとして利用している。また、個人情報を用意し、それに基づき特徴音を音声インデックスによって表現し、それに対応する部分映像を切り出している。この切り出した部分映像とテロップ映像を組み合わせて映像の特徴映像を利用して映像全体のダイジェストを生成する技術について示されている。しかしながら、この技術では、音声情報は重要視されているものの、その外面的な情報を利用していることから、映像の意味に基づいたダイジェストを生成することは難しく、また、テロップの無い映像に関しては適用することができない。
【００１０】
更に、特開平１０−１５０６２９号公報では、インデックス付加者が、一まとまりの内容が表現される場面単位である「シーン」、シーンの集まりである「シーングループ」を設定し、各シーンおよびシーングループごとに代表画像を選択し、これらをインデックスとして利用する技術が示されている。これによれば、インデックス付加者は、インデックスを利用して状況に応じたダイジェストを生成することが可能であるが、まず、人間が映像の内容を理解して重要なシーンを判断する必要がある。従って、映像の意味に基づくダイジェストを生成することは可能であるものの、インデックスを付加するためには相当の時間を要してしまう。
【００１１】
今後、ディジタル放送、携帯電話やＰＤＡ(Personal Digital Assistant)といった携帯端末を利用したコンテンツプロバイダによる映像配信が開始されれば、従来実施されているものより柔軟性に富んだ効率の良い映像配信サービスが可能となる。特に携帯端末を利用した映像配信において、携帯端末の利便性を考慮すると、スポーツのライブ中継に代表される即時性の強い映像のダイジェストに対する要望が高まるものと考えられる。一方で、携帯端末の利用料金制限により実際に映像を視聴する時間が大幅に制限されるため、利用者の要求や嗜好をうまく反映し、かつ携帯端末への配信にも適した時間の短いダイジェストが要求される。
【００１２】
前述したように、効率よくダイジェストを生成するためには映像にインデックスを付加する必要がある。映画、ドラマ、ドキュメンタリーといった即時性のそれほど強くない映像の場合には、放送局でも利用される従来技術によって、映像にインデックスを付加することも可能である。しかし、スポーツのライブ中継のような即時性の強い映像にインデックスを付加する場合には、実時間でのインデックス付加処理の実現(リアルタイム性)と、付加されるインデックスの信頼性の２つが問題となるが、上述した従来技術では、これらの技術を同時に解決することができない。
【００１３】
【発明が解決しようとする課題】
このリアルタイム性と信頼性との２つの問題点を解決するために、例えば、文献１(久保木他、"番組生成のためのメタデータ付加手法," 映像情報メディア学会技術報告, Vol.23, No.28, pp1-6, 1999.)では、まず、映像中で起こりうるイベント(インデックス)および、各イベントの属性を予め想定して記述し、インデックス付加者は、リアルタイムで流れるライブ映像を見ながら、想定したイベントが発生した時点(開始点)のみを専用端末を利用して入力していく技術が示されている。ここでは、イベントの開始点のみを入力し、終了点を考慮する必要が無く、複数の端末を用いてイベントの同時入力が可能であり、また、入力されたイベントの訂正も考慮して１つのイベントが複数のイベント開始点を持つことを許すことを特徴としている。ここでは、イベント入力後は映像を構造化するためのモデルに基づき、開始点のみからなる情報から映像を木構造で表現しており、作成された木構造から条件を指定することで、条件に合ったダイジェストを生成している。
【００１４】
また、文献２(角谷他、"インデックス付きライブ映像ストリームによる動的番組生成と配信," 情報処理学会論文誌 Vol.41, No.SIG1(TOD5), pp87-99, 2000.)では、インデックス付加者が実況中継のアナウンサのように発話した内容から音声認識によりキーワードを抽出してインデックスとする技術と、映像の種別ごとに専用のインデックス記述ツールを利用して映像中の事象を入力してインデックスを作成する技術の２つのインデックス付加技術について示されている。また、作成されるインデックスは型を持っており、１つの事象で決定される原始イベント型、複数の原始イベントで構成される複合イベント型、状況型の３つに分類され、事象の発生点のみを入力するだけでよく、複数の事象が成り立ってはじめて構成されるようなインデックスを作成できる点が特徴である。
【００１５】
しかしながら、文献１および文献２の技術では、映像中の各部分に必ず何らかのインデックスを付加する必要があり、不必要な映像を含むインデックスが付加される場合が多い。このため、インデックス利用者の要求や嗜好に適したより短いダイジェストを生成するには、以下のような限界があった。
【００１６】
まず、第１として、インデックスの有効時間範囲を自由に設定できない点に問題がある。文献１および文献２の技術では、常にインデックスはイベントから始まることになっており、また、常に事象で終わることになっている。しかしながら、インデックスによっては、ある事象よりも以前の映像のほうが重要視される場合や、ある事象よりも以降の映像の方が重要視される場合があり、文献１および文献２の技術では対応することができない。ある事象よりも以前の映像が重要視される例としては、サッカーのゴールシーンのインデックスが挙げられる。ゴールシーンはゴールが決まって初めて分かるが、映像として重要なのはゴールが決まるまでの映像である。ある事象よりも以降の映像が重要視される例としては、サッカーのコーナーシーンのインデックスが挙げられる。コーナーキックはボールが蹴られた瞬間に判断できるが、映像として重要なのはボールが蹴られてからの映像である。
【００１７】
また、第２として、文献１および文献２の技術では、インデックスが時系列で定められるため、映像のある部分に互いに独立した２つ以上の異なるインデックスを付加することができない。このために、スポーツにおいて選手各個人の動きをインデックスとして表現したい場合には対応することが困難となる。
【００１８】
更に、第３として、文献１および文献２では、インデックスがあるかないかの２値化されたディジタル的な概念しか考えていない点に問題である。このようなインデックスではインデックス利用者の趣味嗜好を十分に反映し、かつ携帯端末への配信にも適したより短いダイジェストを生成することは困難である。
【００１９】
本発明は、以上のような技術的課題を解決するためになされたものであって、その目的とするところは、即時性の強い映像に対してもインデックスを実時間で付加することにある。
また他の目的は、利用者の趣味嗜好を反映したより短いダイジェストを作成可能なインデックスを付加することにある。
【００２０】
【課題を解決するための手段】
かかる目的のもと、本発明は、コンテンツについて記述したデータであるインデックスを生成するインデックス生成装置であって、インデックスに関するインデックス基本情報を予め定義するインデックス情報定義手段と、例えば、表示装置等、インデックスが付加されるコンテンツを出力するコンテンツ出力手段と、出力されたコンテンツの中でインデックス生成の引き金となる一のトリガーアクションに対する入力を受け付けるトリガーアクション入力手段と、このインデックス基本情報とトリガーアクション入力手段により入力された一のトリガーアクションとに基づいて、当該一のトリガーアクションに対応するインデックスを生成するインデックス生成手段とを備え、前記インデックス基本情報は、複数のトリガーアクションに関する情報が定義されるトリガー情報と、前記複数のトリガーアクションのうち単一のトリガーアクションから構成される各インデックスに関する情報が定義される単一トリガーインデックス情報とを含み、前記単一トリガーインデックス情報は、前記各インデックスの重要度を決定するための重みが定義される情報、当該各インデックスに対応するトリガーアクションの発生から当該各インデックスの開始までの開始時間幅が定義される情報、および当該各インデックスに対応するトリガーアクションの発生から当該各インデックスの終了までの終了時間幅が定義される情報を含み、前記インデックス生成手段は、前記トリガーアクション入力手段により入力された前記一のトリガーアクションに対応する前記開始時間幅および前記終了時間幅に基づいて、前記一のトリガーアクションに対応するインデックスの有効時間範囲を決定し、前記有効時間範囲および前記一のトリガーアクションに対応する前記重みに基づいて、前記一のトリガーアクションが前記トリガーアクション入力手段により入力された時点から時間軸に沿って前後に離れるほど小さくなり且つ前記有効時間範囲の境界で実質的にゼロになるインデックス値を所定のアルゴリズムに従って生成することを特徴としている。
【００２２】
更に、このインデックス基本情報は、単一のトリガーアクションから構成される単一トリガーインデックスに対して階層化に関する情報を定義し、階層下部のインデックスを付加する際に階層上部のインデックスを付加することを特徴とすることができる。例えばサッカー映像を例に取ると、階層下部のインデックスである「センタリング」を選択した際に、階層上部である「パス」のインデックスを付加することができ、「パス」のインデックスが備える基本情報を適用できる点で好ましい。
【００２３】
また更に、インデックス基本情報は、複数のトリガーアクションが影響しあって構成されるインデックスに関する情報が定義されることを特徴とすることができる。例えばサッカー映像を例に取ると、単一のトリガーアクションである「コーナーキック」と「ゴール」とを連続した複数トリガーインデックス情報として取り扱うことが可能となる。
【００２５】
ここで、この有効時間範囲を一部または全部の有効時間範囲とする他のインデックスをコンテンツに付加することを特徴とすれば、例えば、Ａチームを対象とするインデックスとＢチームを対象とするインデックス等、同一区間に互いに異なる独立したインデックスを付加することができ、利用者の趣味嗜好に合わせたダイジェスト生成が可能となる点で好ましい。
【００２６】
また、このトリガーアクション発生からインデックス開始までの時間幅およびトリガーアクション発生からインデックス終了までの時間幅は、トリガーアクション毎に異なった値が予め定義され、定義されている値に基づいて有効時間範囲が決定されることを特徴とすることができる。これによって、例えば、事象を特定した場合に、例えば映像等のコンテンツとして重要な時間幅に対応してインデックスを生成することが可能となる。
【００２９】
また、入力されたトリガーアクションを履歴として格納する入力履歴情報格納手段と、この入力履歴情報格納手段により格納されたトリガーアクションに基づいて修正のためのコンテンツを例えば表示出力する修正用コンテンツ出力手段と、修正用コンテンツ出力手段により出力されたコンテンツに対して、トリガーアクションを修正するトリガーアクション修正手段とを更に備えたことを特徴としている。これらによって、例えば、インデックス付加者は、修正、削除したいトリガーアクションの出力を利用してこれらを選択し、修正をすることが可能となる。
【００３９】
【発明の実施の形態】
以下、添付図面に示す実施の形態に基づいて本発明を詳細に説明する。
図１は、本実施の形態におけるネットワークシステムの概略構成を説明するための図である。本実施の形態が適用されるネットワークシステムは、例えばインターネットであるネットワーク９に対して、要約(ダイジェスト)されたコンテンツの配信を受けるコンテンツ利用者としてのクライアント１０と、コンテンツを提供するコンテンツプロバイダ２０と、コンテンツプロバイダ２０により提供されるコンテンツに対して要約作業を実行する要約サーバ３０とを備えている。尚、クライアント１０、コンテンツプロバイダ２０、および要約サーバ３０は、必ずしも単体のコンピュータ装置によって構成されているとは限らず、複数のコンピュータ装置によって構成される場合もある。また、各構成要素間における通信は、有線か無線かを問うものではなく、例えば、クライアント１０は、携帯電話やＰＤＡとして構成することが可能である。
【００４０】
クライアント１０は、ユーザ個人の興味の情報として、例えばキーワードからなる特徴量が格納されるユーザプロファイル１１と、例えばユーザプロファイル１１に対する初期値としてユーザによるコンテンツスコアの作成を受け付け、視聴状態やユーザによる所定操作等によってコンテンツスコアの修正等を行うユーザ処理部１２を備えている。また、ユーザ処理部１２は、要約されたコンテンツをユーザに対して提供する機能を備えている。
【００４１】
コンテンツプロバイダ２０は、例えば映像情報や音楽情報等のコンテンツ、シーンについての記述である注釈データやそのシーンの有効範囲であるシーンの先頭・終了時刻や、映像に対する意味のある様々な情報、コンテンツについて記述したデータであるインデックスを備えている。また、付加するためのインデックスを生成するインデックス付加装置(インデックス生成装置)２１、ネットワーク９を介して要約映像やインデックスを送信するコンテンツ送信部２３を備えている。
【００４２】
要約サーバ３０は、コンテンツ頻度やコンテンツスコアを有するコンテンツデータ３１、インデックス中における特徴量の出現頻度を計数する等、コンテンツデータ３１に関する処理を行うコンテンツデータ処理部３２、ドメインごとに作成されるインデックスの特徴量を格納するインデックス特徴量データベース(ＤＢ)３３、各コンテンツにおける重要度を算出する重要度算出部３４、要約コンテンツである要約映像の情報を作成するダイジェスト作成部３５を備えている。
【００４３】
ユーザ処理部１２から重要度算出部３４へは、選択されたコンテンツに関するコンテンツスコア、要約映像時間等が送出され、また、ユーザプロファイル１１が送信される。重要度算出部３４からコンテンツ送信部２３へは、要約映像の送信命令が出される。ダイジェスト作成部３５からコンテンツ送信部２３に対して要約映像情報が送信され、コンテンツ送信部２３からユーザ処理部１２へは、要約映像と共にインデックスが配信される。また、コンテンツ送信部２３からコンテンツデータ処理部３２へは、コンテンツに関するコンテンツスコアの一覧が送信される。但し、コンテンツスコアを要約サーバ３０にて作成される場合もあり、かかる場合には、この送信は省略される。ユーザ処理部１２からコンテンツデータ処理部３２へは、ユーザプロファイル１１が送信される。クライアント１０では、コンテンツの視聴中に、お気に入りシーンの登録によるユーザプロファイル１１の登録処理が行われ、視聴終了後に、ユーザプロファイル１１の更新処理が行われる。
【００４４】
図２は、コンテンツプロバイダ２０におけるインデックス付加装置(インデックス生成装置)２１の構成を示すブロック図である。本実施の形態におけるインデックス付加装置２１には、予め定義されるインデックスに関する情報であるインデックス基本情報６１、入力されたトリガーアクションの種類や付加情報が蓄積されるトリガーアクション入力履歴情報６２、インデックス付加者により実際に入力された情報であるインデックス情報６３とが記憶されている。
【００４５】
また、インデックス付加装置２１は、インデックス付加者によるインデックス基本情報６１を定義するためのインデックス記述装置５１、実際の映像データを表示する入力用映像表示装置５２、インデックス付加者が映像を見ながら発見したトリガーアクションを次々と入力するためのトリガーアクション入力装置５３を備えている。このトリガーアクション入力装置５３により入力されたトリガーアクションは、トリガーアクション入力履歴情報６２に蓄積される。また、インデックス付加装置２１は、インデックス基本情報６１とトリガーアクション入力履歴情報６２に蓄積されたトリガーアクションの履歴に基づき、時間による重みも考慮したインデックスを生成するためのインデックス判定装置５４、トリガーアクション入力履歴情報６２に蓄積されたトリガーアクションの履歴に基づいて修正のための映像を表示する修正用映像表示装置５５、トリガーアクション一覧から選択したトリガーアクションを修正、削除するトリガーアクション修正装置５６を備えている。
【００４６】
このトリガーアクション入力装置５３では、インデックス基本情報６１で定義されたトリガー情報に基づいてトリガーアクションの種類およびその付加情報が入力される。インデックス基本情報６１を利用した操作手順として、本実施の形態では、まず、予めインデックス基本情報６１として定義されるトリガーアクション種類のリスト(例えば一覧)および付加情報のリスト(例えば一覧)が入力用映像表示装置５２に表示される。インデックス付加者は、トリガーアクション入力装置５３を用いて、トリガーアクションが発生する度に、各リストから必要な情報を選択する。インデックス判定装置５４では、インデックス付加者による選択を認識し、トリガーインデックスの値を生成し、インデックス情報６３に蓄積する。このインデックス判定装置５４では、後述するように、階層下部のインデックスを付加する際には、階層上部のインデックスも自動的に付加することができ、同一区間に互いに異なる独立したインデックスを付加することが可能となる。
【００４７】
図３は、インデックス基本情報６１を説明するための図である。携帯電話やＰＤＡなどの携帯端末のように、料金形態による制限が厳しい場合には、なるべく不必要な映像を配信しないことが重要であり、コンテンツプロバイダ２０がダイジェストを配信していく上でインデックスの信頼性は最も重要視される。映像に対して実時間で信頼性の高いインデックスを付加していくためには現状では人手に頼らざるを得ないが、一から全てを手作業で行うことは極めて困難である。そこで、本実施の形態ではインデックスに関する情報であるインデックス基本情報６１を予め定義しておき、インデックス基本情報６１を利用した簡潔な操作手順を提供することでインデックス付加者の作業量を減らし、実時間でのインデックス付加を実現している。
【００４８】
インデックス基本情報６１は、ＩＤや名前など、トリガーアクションに関する情報を定義したトリガー情報７１、単一のトリガーアクションだけから構成されるインデックスに関する情報を定義した単一トリガーインデックス情報７２、複数のトリガーアクションが影響しあって構成されるインデックスに関する情報を定義した複数トリガーインデックス情報７３、および、各インデックスに個別に付加される情報を定義した付加情報７４、の４つの情報から構成されている。
【００４９】
本実施の形態ではインデックス付加者が映像を見ながら、トリガーアクションの発生を確認した時点で、あらかじめ定義されたトリガーアクションの中から対応するものを選択していく。しかし、映像のある時点におけるトリガーアクションを選択するだけではインデックスの時間幅を決定することができない。そこで、単一トリガーインデックス情報７２では、ＩＤ、親インデックスＩＤ、名前、インデックス付加者がトリガーアクションを認知して入力するまでの遅延時間、重み、トリガーアクション発生からインデックス開始までの時間幅(開始時間幅)、インデックス終了までの時間幅(終了時間幅)、トリガーアクションＩＤ、等を定義している。トリガーアクション以前の映像が重要な場合には、開始までの時間幅を長くとり、以降の映像が重要な場合には、終了までの時間幅を長くとることで対応している。また、インデックスにはそれぞれ重みを設け、インデックス間の重要度を示す尺度として利用している。
【００５０】
サッカー映像を例に取れば、ダイジェストにおいてゴールシーンのインデックスはパスのインデックスより重要であることが容易に想像できる。これらの情報を利用することで、単一のトリガーアクションから構成されるインデックスの有効時間範囲、およびそのインデックスの重要度(以下、インデックス値と呼ぶ)を決定することが可能となる。単一トリガーインデックス情報７２では、更に単一トリガーインデックスの階層化も可能とし、親となる単一トリガーインデックスへのポインタも併せ持つ。これにより、階層下部のインデックスを付加する際に階層上部のインデックスを付加することが可能となる。
【００５１】
複数トリガーインデックス情報７３は、単一のトリガーアクションだけでは表現しきれず、複数のトリガーアクションを考慮すべきインデックスが存在する場合に用いられる。但し、このような状況は限られるため、複数のトリガーアクションからなされる関係を洗い出し、あらかじめ複数トリガーインデックス情報７３にて定義がなされるように構成されている。例えば、サッカー映像におけるコーナーキックからの得点シーンでは、コーナーキックおよびゴールシーンの別々のインデックスが必要となる。これらのインデックスを別々に捉えるのでは、ゴールシーンを見たいとして指定したインデックス利用者のダイジェストに、コーナーキックからのゴールシーンを含める事は難しい。そこで、２つのインデックスをまとめてゴールシーンのインデックスとして捉えるようにすれば、より効率的かつ有効なダイジェストの生成が可能になる。
【００５２】
この複数トリガーインデックス情報７３では、ＩＤ、名前、関連インデックスＩＤ、影響しあうインデックスの条件を定義する。例えば、インデックス条件は、１つ以上のインデックス群の繰り返しによって定義され、インデックス群は所定の条件と単一トリガーインデックスとの積で定義される。この所定の条件としては、例えば、時間制限が該当するが、この所定の条件が存在しない場合もある。この所定の条件は、前後の単一トリガーインデックス間での条件判定に利用されている。
【００５３】
付加情報７４では、インデックスに個別に付加される情報が定義される。例えばトリガーアクションを入力するだけでは、アクションを表すインデックスを映像に付加することはできるものの、それ以外の情報を付加することはできない。サッカー映像を例に取れば、パスやシュートといったアクションを表すインデックスを映像に付加することはできても、どちらのチームのパスやシュートなのかは分からない。付加情報７４によれば、これらの情報を定義することが可能となる。
【００５４】
また、付加情報７４は複数定義して利用することができる。例えば、チームレベルにとどまらず、選手単位でのインデックスを考慮する場合には、チーム、選手の２つの付加情報７４を定義すればよい。これらの情報はアクションを表すインデックスと同様に１つのインデックスとして取り扱うことで、インデックス利用者の趣味嗜好に合わせたより細かいダイジェストを生成することが可能となる。
【００５５】
図４(ａ),(ｂ)は、単一トリガーインデックス情報７２の概念の一例を説明するための図である。図４(ａ)は、トリガーアクション以前の映像が重要視される場合を示し、図４(ｂ)は、トリガーアクション以降の映像が重要視される場合を示している。各々において、トリガーアクション発生時Ａおよびインデックス付加者による入力時Ｂが定義され、ＡとＢとの間は遅延時間ｄが定義される。また、各々のトリガーアクションに重みｗが定義され、また、開始時間幅ｓ、終了時間幅ｅが定義される。ここで、図４(ａ)に示すようなトリガーアクション以前の映像が重要視される場合には、開始時間幅ｓが長くなり、終了時間幅ｅが短くなる。一方、図４(ｂ)に示すようなトリガーアクション以降の映像が重要視される場合には、開始時間幅ｓが短くなり、終了時間幅ｅが長くなる。
【００５６】
次に、図２を用いて処理の流れを説明する。インデックス付加者は、入力用映像表示装置５２に映し出される映像を見ながら、トリガーアクションが発生した段階でトリガーアクション入力装置５３を利用してトリガーアクションの種類、付加情報を入力していく。インデックス付加者は入力用映像表示装置５２に映し出される映像データが終了するまで、トリガーアクションが発生する度にトリガーアクションの種類を選択し続ける。入力されたトリガーアクションの種類や付加情報は、選択された時間と共にトリガーアクション入力履歴情報６２として蓄積される。
【００５７】
インデックス判定装置５４は、予め定義されているインデックス基本情報６１、およびトリガーアクション入力履歴情報６２に基づき、まず、単一トリガーインデックスの有効時間範囲およびインデックス値を計算する。インデックス値はトリガーアクションが入力された時間から時間軸に沿って前後に離れるほど小さくなり、有効時間範囲の境界で０になるようにする。但し、同一付加情報をもつ同一トリガーアクションがインデックス基本情報６１で定義した開始時間幅ｓと終了時間幅ｅの合計時間よりも短い時間間隔で並ぶ場合にはインデックスが重なり合うが、インデックスを付加する段階では考慮しない。インデックス判定装置５４は、このようにして計算された単一トリガーインデックスをインデックス情報６３として蓄積する。また、単一トリガーインデックスの階層化に基づき、階層下部の単一トリガーインデックスが付加される場合には、階層上部の単一トリガーインデックスもインデックス情報６３として蓄積される。
【００５８】
インデックス判定装置５４は、続いて、複数トリガーインデックス情報７３におけるインデックス条件を判定する。インデックス条件に適合した場合に、その条件を持つ複数トリガーインデックスもインデックス情報６３として蓄積される。複数トリガーインデックスのインデックス値は、基本的に単一トリガーインデックスのインデックス値が利用されるが、単一トリガーインデックス間の映像も重要視されるようなインデックス値に修正される。
【００５９】
尚、実時間でインデックスを付加する際には誤りも起こり得るため、修正用映像表示装置５５およびトリガーアクション修正装置５６によって、付加されたインデックスの追加、削除、修正を行うことができる。ここで、トリガーアクション入力装置５３とは別の装置を利用するのは、実時間でのインデックス付加処理を中断することなく、インデックスの追加、削除、修正を行えるようにするためである。トリガーアクション修正装置５６では、トリガーアクション一覧から選択したトリガーアクションを修正、削除できるように構成されている。また、トリガーアクションの修正、削除時には、選択したトリガーアクションの前後の映像を見ることができるように、修正用映像表示装置５５では、時間指定による映像の頭だしができるように構成されている。インデックス付加者は、修正用映像表示装置５５に流れる映像を見ながら、修正すべきインデックスのトリガーアクションを発見した段階でトリガーアクションの種類、付加情報を入力すれば良い。この入力の方法は、トリガーアクション入力装置５３と同様である。
【００６０】
次に、具体例を用いて、本実施の形態を更に詳述する。ここでは、サッカー映像におけるインデックス付加の例を３つ挙げ、野球映像におけるインデックス付加の例を１つ挙げて説明する。コンテンツプロバイダ２０のように、各種映像に精通したインデックス付加者がいると想定される場合には、トリガーアクションが発生してから入力するまでの遅延時間ｄは極めて小さいことから、ここでは遅延時間ｄ≒０としている。また、本実施の形態におけるトリガーアクション入力装置５３のインタフェースとして、トリガーアクション種類の一覧および付加情報の一覧が表示され、インデックス付加者は、トリガーアクションが発生する度に、各一覧から必要な情報を選択して行くものとしている。また、トリガーアクション修正装置５６のインタフェースでは、トリガーアクション入力装置５３のインタフェースに加えて、今までに入力されたトリガーアクション入力履歴情報６２、および付加されたインデックスも一覧表示される。インデックス付加者は、修正、削除したいトリガーアクションを選択することで修正が可能となる。
【００６１】
(具体例１) サッカー映像の第１の例
図５は、サッカー映像のインデックス基本情報６１における第１の例を示した図である。インデックス付加装置２１を用いるインデックス付加者は、インデックス記述装置５１を利用して、図５に示すようなサッカー映像に関するインデックス基本情報６１を定義しており、ここでは、サッカー映像中に発生するトリガーアクションと、それによって識別されるインデックスの例が示されている。またここでは、トリガー情報７１−１として、ＩＤと名称(name)が定義されている。例えば、ＩＤ１はパス(Pass)、ＩＤ２はスルーパス(ThroughPass)、ＩＤ３はセンタリング(Centering)、ＩＤ４はシュート(Shoot)、ＩＤ５はコーナーキック(CornerKick)等である。
【００６２】
また、単一トリガーインデックス情報７２−１では、各ＩＤ毎に、親子関係を示すＩＤ(ParentＩＤ)によって階層化が定義される。また、前述した、重みｗ(Weight)、遅延時間ｄ(Delay)、開始時間幅ｓ(Start)、終了時間幅ｅ(End)、およびトリガーアクションＩＤ(Trigger)が定義されている。この例では、ＩＤ２のスルーパス(ThroughPass)およびＩＤ３のセンタリング(Centering)は、ＩＤ１のパス(Pass)に対して階層化されている。また、ＩＤ５のゴール(Goal)は、ＩＤ４のシュート(Shoot)に対して階層化されている。
【００６３】
複数トリガーインデックス情報７３−１では、ＩＤ毎に関連インデックスが示され、例えば、ＩＤ１のコーナーゴール(CornerGoal)は、単一トリガーインデックス情報７２−１におけるＩＤ５のゴールに関連付けられている。また、インデックス条件(Condition)が定義される。このインデックス条件は、例えば、コーナーゴール(CornerGoal)では、ＩＤ６であるコーナーキックからＩＤ５であるゴールまでの時間が１０秒(ｓ)以内である場合にインデックス条件が満たされるものとしている。付加情報７４−１では、チームＡ(TeamＡ)、チームＢ(TeamＢ)、例えば選手名などが定義される。
【００６４】
図６は、トリガーアクション入力アルゴリズムを示した図である。インデックス付加者は、入力用映像表示装置５２に表示される映像を見ながら、映像が終了するまで、トリガーアクションを発見する度にトリガーアクション入力装置５３を用いてトリガーアクションの種類、付加情報を選択する。即ち、映像が終了したか否かが判断され(ステップ１０１)、映像終了の場合には、入力アルゴリズムは終了し、映像終了でない場合には、トリガーアクションが発生しているか否かが判断される(ステップ１０２)。トリガーアクション発生していない場合には、ステップ１０１に戻り、映像終了まで待ち、発生している場合には、トリガーアクションの入力を行って(ステップ１０３)、ステップ１０１に戻る。
【００６５】
図７は、インデックス判定装置５４でなされるインデックス判定アルゴリズムを示した図である。ここでは、まず、トリガーアクションの入力があったか否かが判断される(ステップ１１１)。入力がない場合には、入力を待つ。入力があった場合には、単一トリガーインデックスの計算がなされる(ステップ１１２)。そして、単一トリガーインデックスが階層構造であるか否かが判断される(ステップ１１３)。階層構造である場合には、単一トリガーインデックス階層化処理が実行され(ステップ１１４)、インデックス条件が満たされるか否かが判断される(ステップ１１５)。ステップ１１３にて階層構造でない場合には、ステップ１１５の判断に移行する。ステップ１１５にてインデックス条件を満たす場合には、複数トリガーインデックスの計算がなされ(ステップ１１６)、ステップ１１１に戻る。ステップ１１５にてインデックス条件を満たさない場合には、ステップ１１１に戻る。
【００６６】
図８は、トリガーアクションの入力例を示した図であり、図７に示すステップ１１１にて判断されるものである。図８では、トリガーアクション入力(１)〜トリガーアクション入力(４)までの入力例を時間軸に沿って示している。以下、図８で示されたトリガーアクションの入力例をもとに、インデックス判定装置５４での処理の手順を説明する。
【００６７】
まず、トリガーアクション入力(１)について説明する。
ここでは、インデックス付加者が時間ｔ＝２(ｓ)において、チームＡ(TeamA)によるパス(Pass)のトリガーアクションに気づき、トリガーアクション入力装置５３の付加情報一覧からチームＡを選択し、トリガーアクション一覧からパス(Pass)を選択する。この作業により、トリガーアクションが装置に入力され、インデックス判定装置５４が図７に示したインデックス判定アルゴリズムに従って処理を行う。インデックス判定アルゴリズムでは、まず、ステップ１１２の単一トリガーインデックス計算を所定のアルゴリズムに従って行い、パス(Pass)インデックスの有効時間範囲、インデックス値が求められる。
【００６８】
図９(ａ)〜(ｃ)は、図７のステップ１１２で実行される単一トリガーインデックス計算のアルゴリズムを説明するための図である。図９(ａ)は処理の流れを示している。単一トリガーインデックス計算では、まず、開始時間、終了時間が計算され(ステップ１２１)、時間推移によるインデックス値が計算される(ステップ１２２)。図９(ｂ)は、インデックス値計算のために用いられる値を説明するための図であり、ｔ1はトリガーアクションが入力された時間を示している。他は、図４(ａ),(ｂ)で説明したものと同様である。図９(ｃ)は、インデックス値の計算式を示しており、時間ｔがｔ1よりも前の時と、ｔ1よりも後の時とに場合分けされている。ここで求められるｆ(ｔ)は、図９(ｂ)に示される曲線である。尚、インデックスの両端は、インデックス値がε以下となる時としており、ある一定の値であるεが予め定められている。ここでは、ε＝１/ｅ4としている。
【００６９】
図５でパス(Pass)の情報を見ると、ｗ＝１、ｓ＝２秒(ｓ)、ｅ＝０.５秒(ｓ)であり、図９(ｃ)に示すインデックスの式に代入すると、
【式１】
【００７０】
尚、インデックス基本情報６１では、単一トリガーインデックスは階層化されていることから、図７のステップ１１４における階層化処理アルゴリズムに従って処理が行われるが、パス(Pass)インデックスは階層上部のインデックスにあたるため、階層化に基づく自動インデックス付加は行われない。また、インデックス基本情報６１では、パス(Pass)インデックスがインデックス条件に関与する複数トリガーインデックス情報７３には定義されていないため、図７のステップ１１６における複数トリガーインデックス計算処理も行われない。
【００７１】
図１０は、図７のステップ１１４における階層化処理アルゴリズムを示した図である。インデックス基本情報６１では、単一トリガーインデックスは階層化されているため、図１０に示す階層化処理アルゴリズムに従って処理が行われる。階層化処理アルゴリズムでは、まず、計算された単一トリガーインデックスが階層下部か否かが判断される(ステップ１３１)。階層下部でない場合には、処理が終了する。階層下部である場合には、階層上部のインデックスも付加され(ステップ１３２)、処理が終了する。このステップ１３２では、図９に示した単一トリガーインデックス計算が利用される。
【００７２】
次に、図８に示したトリガーアクション入力(２)について説明する。
ここでは、インデックス付加者が時間ｔ＝９(ｓ)においてチームＡ(TeamＡ)のスルーパス(ThroughPass)のトリガーアクションに気づき、トリガーアクション入力装置５３の付加情報一覧からチームＡ(TeamＡ)を選択し、トリガーアクション一覧からスルーパス(ThroughPass)を選択する。これにより、インデックス判定装置５４は、図７に示したインデックス判定アルゴリズムに従って処理を行う。
【００７３】
トリガーアクション入力(１)と同様に、まず、図９(ａ)〜(ｃ)に示した単一トリガーインデックス計算アルゴリズムに従って、スルーパス(ThroughPass)インデックスの有効時間範囲、インデックス値を求める。続いて、図１０に示した階層化処理アルゴリズムに従って処理が行われる。スルーパス(ThroughPass)インデックスは、階層下部のインデックスにあたるため、階層化に基づき、パス(Pass)インデックスも自動付加される。パス(Pass)インデックスの付加手順は、単一トリガーインデックスの付加手順に従う。インデックス基本情報６１では、スルーパス(ThroughPass)インデックスがインデックス条件に関与する複数トリガーインデックスが存在するが、現段階でシュート(Shoot)インデックスがないため、インデックス条件は満たさず、複数トリガーインデックス計算処理も行われない。
【００７４】
図１１(ａ),(ｂ)は、上述した階層化に基づくインデックスの付加例を示した図である。図１１(ａ)に示すように、ここでは、スルーパス(ThroughPass)インデックスがパス(Pass)インデックスと階層化されており、パス(Pass)インデックスが階層上部、スルーパス(ThroughPass)インデックスが階層下部である。また、センタリング(Centering)インデックスも階層下部である。図１１(ｂ)に示すように、時間Ａにおいて、スルーパス(ThroughPass)アクションが生じ、そのときの開始時間幅(ｓ１)、終了時間幅(ｅ１)に合わせて、パス(Pass)アクションのインデックスが付加される。
【００７５】
次に、図８に示したトリガーアクション入力(３)について説明する。
インデックス付加者が時間ｔ＝２８(ｓ)においてチームＡ(TeamＡ)のコーナーキック(CornerKick)のトリガーアクションに気づき、トリガーアクション入力装置５３の付加情報一覧からチームＡ(TeamＡ)を選択し、トリガーアクション一覧からコーナーキック(CornerKick)を選択する。これにより、インデックス判定装置５４は、図７に示したインデックス判定アルゴリズムに従って処理を行う。
【００７６】
まず、トリガーアクション入力(１)と同様に、図９(ａ)〜(ｃ)に示した単一トリガーインデックス計算アルゴリズムに従って、コーナーキック(CornerKick)インデックスの有効時間範囲、インデックス値を求める。コーナーキック(CornerKick)インデックスは、階層化されておらず、またコーナーキック(CornerKick)インデックスがインデックス条件に関与する複数トリガーインデックスは存在しないため、インデックス階層化処理も複数トリガーインデックス計算処理も行われない。
【００７７】
次に、図８に示したトリガーアクション入力(４)について説明する。
インデックス付加者が時間ｔ＝３２(ｓ)においてチームＡ(TeamＡ)のゴール(Goal)のトリガーアクションに気づき、トリガーアクション入力装置５３の付加情報一覧からチームＡ(TeamＡ)を選択し、トリガーアクション一覧からゴール(Goal)を選択する。これにより、インデックス判定装置５４は、図７に示したインデックス判定アルゴリズムに従って処理を行う。
【００７８】
まず、トリガーアクション入力(１)と同様に、図９(ａ)〜(ｃ)に示した単一トリガーインデックスの計算処理を行い、ゴール(Goal)インデックスの有効時間範囲、インデックス値を求める。続いて、トリガーアクション入力(２)と同様に、図１０に示す階層化処理アルゴリズムに従って処理が行われ、ゴール(Goal)インデックスの階層上位にあたるシュート(Shoot)インデックスも自動付加される。
【００７９】
最後に、このトリガーアクション入力(４)では、ゴール(Goal)インデックスがインデックス条件に関与する複数トリガーインデックスが存在し、かつインデックス条件が図５の複数トリガーインデックス情報のＩＤ１であるコーナーゴール(CornerGoal)のインデックス条件(Condition)と比較すると、
【式２】
【００８０】
図１２(ａ)〜(ｃ)は、図７のステップ１１６で示した複数トリガーインデックス計算のアルゴリズムを説明するための図である。図１２(ａ)は処理の流れを示している。複数トリガーインデックス計算では、まず、開始時間、終了時間が取得され(ステップ１４１)、時間推移によるインデックス値が再計算される(ステップ１４２)。図１２(ｂ)は、インデックス値計算のために用いられる値を説明するための図であり、ここでは、時間ｔ1とｔ2にトリガーアクションが発生している。図１２(ｃ)は、インデックス値の計算式を示しており、時間ｔがｔ1よりも前の時と、ｔ1とｔ2との間の時、ｔ2よりも大きい時、とに分けて、図１２(ｂ)に示される曲線ｆ(ｔ)が算出される。但し、ε＝１/ｅ4とする。
【００８１】
図１２(ａ)〜(ｃ)を用いてトリガーアクション入力(４)の場合を計算すると、図５より、コーナーキック(CornerKick)インデックスは、重みｗ１＝２、開始時間幅ｓ１＝０.５(ｓ)であり、ゴール(Goal)インデックスは、重みｗ２＝４、終了時間幅ｅ２＝０.５(ｓ)である。図１２(ｃ)に示すインデックス値の計算式に代入すると、
【式３】
【００８２】
図１３(ａ),(ｂ)は、複数トリガーインデックスの生成例を示した図であり、図１３(ａ)は、単一トリガーインデックスにより生成された場合を示し、図１３(ｂ)は、上述の式３によって得られた複数トリガーインデックスの生成例を示している。この１３(ｂ)に示されるように、インデックス条件を満たし、複数トリガーインデックスの生成によって、影響しあう個別のインデックスを１つのインデックスとして生成することが可能となる。
【００８３】
図１４は、上述した一連の処理により、図８に示したトリガーアクション入力(１)〜トリガーアクション入力(４)までの入力例から付加されるインデックスを示している。例えば、トリガーアクション入力(２)では、スルーパス(ThroughPass)インデックスの階層上部であるパス(Pass)インデックスも自動付加されている。また、トリガーアクション入力(４)では、ゴール(Goal)インデックスの階層上部であるシュート(Shoot)インデックスも自動付加されている。更に、トリガーアクション入力(３)および(４)では、複数トリガーインデックスの１つであるコーナーゴール(CornerGoal)インデックスが生成される。
【００８４】
(具体例２) サッカー映像の第２の例
図１５は、サッカー映像のインデックス基本情報６１における第２の例を示した図である。具体例１と同様に、インデックス付加者は、インデックス記述装置５１を利用してサッカー映像に関するインデックス基本情報６１を定義する。図１５では、図５に示したものよりも詳細に、選手の動きでインデックスを定義してある。各選手の動きに基づくインデックス付加を考えた場合、各選手は個々に運動することから、ある時間間隔(区間)にて、互いに独立した複数のインデックスが存在し得る。ここでは、トリガー情報７１−２、単一トリガーインデックス情報７２−２、複数トリガーインデックス情報７３−２、付加情報７４−２が定義されている。
【００８５】
図１６は、同一時間、同一区間におけるインデックスの重複例を示した図である。図１６では、例えば、チームＡ(TeamＡ)の選手Ａ１(PlayerＡ１)によるラン(Run)インデックスと、例えば、チームＢ(TeamＢ)の選手Ｂ１(PlayerＢ１)によるウォーク(Walk)インデックスとにおいて、重複する時間間隔(ｅ１とｓ２の重複区間)が発生する状態を示している。
【００８６】
図１７は、選手レベルでのインデックス付加の例を示した図である。図１７の上部に示すようなインデックス付加者によるトリガーアクション入力があった場合に、インデックス判定装置５４は、各トリガーアクションに対してインデックス付加処理を行い、図１７に示すようなインデックスが生成されて付加される。
【００８７】
(具体例３) 付加されたインデックスの追加、削除、修正の例
上述のような手順により、既に入力されたインデックスを追加、削除、修正する場合には、トリガーアクション修正装置５６を利用して、以下に示す処理を行う。
図１８(ａ),(ｂ)は、インデックス追加および削除の例を示した図である。図１８(ａ)は、インデックスの追加時における作業の流れを示しており、この流れに従って映像にインデックスを追加することができる。まず、インデックス付加者は、修正用映像表示装置５５に表示された映像の中でインデックスを追加する部分を探す(ステップ２０１)。次に、トリガーアクションが発生したか否かが判断される(ステップ２０２)。発生している場合には、トリガーアクション修正装置５６を用いてトリガーアクションを入力して(ステップ２０３)、処理が終了する。ステップ２０２にてトリガーアクションが発生していない場合には、トリガーアクションの発生を待つ。
【００８８】
図１８(ｂ)は、インデックス削除時における作業の流れを示しており、この流れに従って映像からインデックスを削除することができる。まず、インデックス付加者は、既に入力されたトリガーアクション一覧から目的のものを探す(ステップ２１１)。そして、トリガーアクション修正装置５６を用いてトリガーアクションを削除する(ステップ２１２)。
【００８９】
図１９は、インデックス修正時の作業の流れを示した図である。インデックス付加者は、既に付加されたインデックスを修正したいと欲する場合に、まず、既に入力されたトリガーアクション一覧から、目的のものを探す(ステップ２２１)。次に、映像の中で、インデックスを修正する部分を探す(ステップ２２２)。そして、トリガーアクションが発生したか否かを判断し(ステップ２２３)、発生していない場合には発生を待ち、トリガーアクションが発生した場合には、トリガーアクションを入力して(ステップ２２４)、処理が終了する。
【００９０】
図２０は、インデックスの追加、削除、修正時におけるインデックス判定装置５４の処理アルゴリズムを示した図である。まず、ここでは、トリガーアクションの修正または削除か否かが判断され(ステップ２３１)、修正または削除である場合には、選択トリガーアクションを削除し(ステップ２３２)、単一トリガーインデックスを削除し(ステップ２３３)、階層上位単一トリガーインデックスを削除する(ステップ２３４)。次に、複数トリガーインデックスの再計算がなされる(ステップ２３５)。そして、トリガーアクションの修正または追加か否かが判断され(ステップ２３６)、該当しない場合には、ステップ２３１に戻る。尚、ステップ２３１にて修正または削除に該当しない場合には、ステップ２３６の判断に移行する。ステップ２３６で、トリガーアクションの修正または追加である場合には、単一トリガーインデックスの計算(ステップ２３７)、単一トリガーインデックスの階層処理がなされ(ステップ２３８)、複数トリガーインデックスの再計算がなされる(ステップ２３９)。その後、ステップ２３１に戻り、同様の処理が繰り返される。
【００９１】
(具体例４) 野球映像に対するインデックスの付加例
具体例１では、サッカー映像を例に挙げて説明したが、ここでは、野球映像を例に挙げて説明する。
図２１は、野球映像のインデックス基本情報６１を示した図である。ここでは、インデックス記述装置５１を用いて、野球映像中に発生するトリガーアクションと、それによって識別されるインデックスである、トリガー情報７１−３、単一トリガーインデックス情報７２−３、複数トリガーインデックス情報７３−３、付加情報７４−３が定義される。
【００９２】
インデックス付加者は、図６に示したトリガーアクションの入力アルゴリズムに従って、入力用映像表示装置５２に表示される映像を見ながら、映像が終了するまで、トリガーアクションを発見する度に、トリガーアクション入力装置５３を用いてトリガーアクションの種類、付加情報を選択する。
【００９３】
図２２は、野球映像におけるトリガーアクションの入力例を示した図である。図２２では、トリガーアクション入力(１)〜トリガーアクション入力(５)までの入力例を時間軸に沿って示している。以下、図２２で示されたトリガーアクションの入力例をもとに、インデックス判定装置５４での処理の手順を説明する。
【００９４】
まず、トリガーアクション入力(１)について説明する。
ここでは、インデックス付加者が時間ｔ＝２(ｓ)において、チームＡ(TeamＡ)、Ｍ選手(PlayerＭ)のボール(Ball)のトリガーアクションに気づき、トリガーアクション入力装置５３の付加情報一覧からチームＡ(TeamＡ)、Ｍ選手(PlayerＭ)を選択し、トリガーアクション一覧からボール(Ball)を選択する。この作業により、トリガーアクションが装置に入力され、インデックス判定装置５４が図７に示したインデックス判定アルゴリズムに従って処理を行う。判定アルゴリズムでは、まず、ステップ１１２の単一トリガーインデックス計算を所定のアルゴリズムに従って、ボール(Ball)インデックスの有効時間範囲、インデックス値が求められる。但し、ε＝１/ｅ4とする。
【００９５】
図２１でボール(Ball)の情報を見ると、ｗ＝１、ｓ＝２(ｓ)、ｅ＝０.５(ｓ)であり、図９に示すインデックス値の計算式に代入すると、
【式４】
【００９６】
次に、図２２に示したトリガーアクション入力(２)について説明する。
ここでは、インデックス付加者が時間ｔ＝９(ｓ)においてチームＡ(TeamＡ)、Ｍ選手(PlayerＭ)のスィング(Swing)のトリガーアクションに気づき、トリガーアクション入力装置５３の付加情報一覧からチームＡ(TeamＡ)、Ｍ選手(PlayerＭ)を選択し、トリガーアクション一覧からスィング(Swing)を選択する。これにより、インデックス判定装置５４は、図７に示したインデックス判定アルゴリズムに従って処理を行う。
【００９７】
トリガーアクション入力(１)と同様に、まず、図９(ａ)〜(ｃ)に示した単一トリガーインデックス計算アルゴリズムに従って、スィング(Swing)インデックスの有効時間範囲、インデックス値を求める。図２１に示すインデックス基本情報６１では、スィング(Swing)インデックスは階層化されていないため、階層化に基づく自動インデックス付加は行われない。また、インデックス基本情報６１では、スィング(Swing)インデックスがインデックス条件に関与する複数トリガーインデックスが存在するが、現段階で、ファール(Foul)、ホームラン(Homerun)インデックスがないことから、インデックス条件は満たさず、複数トリガーインデックス計算処理も行われない。
【００９８】
次に、図２２に示したトリガーアクション入力(３)について説明する。
インデックス付加者が時間ｔ＝１１(ｓ)においてチームＡ(TeamＡ)、Ｍ選手(PlayerＭ)のファール(Foul)のトリガーアクションに気づき、トリガーアクション入力装置５３の付加情報一覧からチームＡ(TeamＡ)を選択し、トリガーアクション一覧からファール(Foul)を選択する。これにより、インデックス判定装置５４は、図７に示したインデックス判定アルゴリズムに従って処理を行う。
【００９９】
まず、トリガーアクション入力(１)と同様に、図９(ａ)〜(ｃ)に示した単一トリガーインデックス計算アルゴリズムに従って、ファール(Foul)インデックスの有効時間範囲、インデックス値を求める。続いて、図１０に示した階層化処理アルゴリズムに従って処理が行われる。ファール(Foul)インデックスは、階層下部のインデックスに該当するため、階層化に基づき、ストライク(Strike)インデックスも自動付加される。ストライク(Strike)インデックスの付加手順は、単一トリガーインデックスの付加手順に従う。
【０１００】
ファール(Foul)インデックスがインデックス条件に関与する複数トリガーインデックスが存在し、かつ、インデックス条件Swing→Foulを満たすことから、図１２に示す複数トリガー計算アルゴリズムに従って、インデックス値の計算が行われる。但し、ε＝１/ｅ4とする。図２１より、スィング(Swing)インデックスはｗ１＝１、ｓ１＝２(ｓ)であり、ファール(Foul)インデックスはｗ２＝２、ｅ２＝１(ｓ)である。図１２に示すインデックス値の計算式に代入すると、
【式５】
【０１０１】
次に、図２２に示したトリガーアクション入力(４)について説明する。
インデックス付加者が時間ｔ＝２８(ｓ)においてチームＡ(TeamＡ)、Ｍ選手(PlayerＭ)のスィング(Swing)のトリガーアクションに気づき、トリガーアクション入力装置５３の付加情報一覧からチームＡ(TeamＡ)、Ｍ選手(PlayerＭ)を選択し、トリガーアクション一覧からスィング(Swing)を選択する。これにより、インデックス判定装置５４は、図７に示したインデックス判定アルゴリズムに従って処理を行う。まず、トリガーアクション入力(１)と同様に、図９(ａ)〜(ｃ)に示した単一トリガーインデックス計算アルゴリズムに従って、スィング(Swing)インデックスの有効時間範囲、インデックス値を求める。トリガーアクション入力(２)と同様に、インデックス階層化処理も複数トリガーインデックス計算処理も行われない。
【０１０２】
次に、図２２に示したトリガーアクション入力(５)について説明する。
インデックス付加者が時間ｔ＝３２(ｓ)においてチームＡ(TeamＡ)、Ｍ選手(PlayerＭ)のホームラン(Homerun)のトリガーアクションに気づき、トリガーアクション入力装置５３の付加情報一覧からチームＡ(TeamＡ)、Ｍ選手(PlayerＭ)を選択し、トリガーアクション一覧からホームラン(Homerun)を選択する。これにより、インデックス判定装置５４は、図７に示したインデックス判定アルゴリズムに従って処理を行う。まず、トリガーアクション入力(１)と同様に、図９(ａ)〜(ｃ)に示した単一トリガーインデックスの計算処理を行い、ホームラン(Homerun)インデックスの有効時間範囲、インデックス値を求める。続いて、図１０に示す階層化処理アルゴリズムに従って処理が行われ、ホームラン(Homerun)インデックスの階層上位にあたるヒット(Hit)インデックスも自動付加される。
【０１０３】
最後に、このトリガーアクション入力(５)では、ホームラン(Homerun)インデックスがインデックス条件に関与する複数トリガーインデックスが存在し、かつインデックス条件Swing→Homerunを満たすため、図１２に示す複数トリガーアクション計算アルゴリズムに従って、インデックス値の計算が行われる。但し、ε＝１/ｅ4とする。図２１より、スィング(Swing)インデックスはｗ１＝１、ｓ１＝２(ｓ)であり、ホームラン(Homerun)インデックスはｗ２＝４、ｅ２＝２(ｓ)である。図１２に示すインデックス値の計算式に代入すると、
【式６】
【０１０４】
図２３は、具体例４である野球映像のインデックス付加例を示した図である。ここでは、上述した一連の処理により、図２２に示したトリガーアクション入力(１)〜トリガーアクション入力(５)までの入力例から付加されるインデックスを示している。例えば、トリガーアクション入力(２)および(３)では、複数トリガーインデックスが生成されている。また、トリガーアクション入力(４)および(５)でも複数トリガーインデックスが生成されているのが理解できる。
【０１０５】
以上、詳述したように、本実施の形態におけるインデックス付加装置２１では、予め定義されたインデックス基本情報６１、インデックス付加者の入力したトリガーアクション履歴に基づいて、インデックスの有効時間範囲やインデックス値を計算し、映像に付加している。そのために、同一区間に互いに独立した異なるインデックスを付加することもでき、映像に対するより詳細な意味付けが可能となる。更に、本実施の形態におけるインデックス付加装置２１を利用すれば、コンテンツプロバイダ２０では、実際に流れる映像を見ながらトリガーアクションを入力していくだけで、即時性の高い映像に対してもインデックス利用者であるクライアント１０の趣味、嗜好を反映したより短いダイジェストを作成できるインデックスを短時間で付加することが可能となる。
【０１０６】
更に、本実施の形態におけるインデックス付加装置２１によれば、サッカー映像や野球映像等の場合、インデックス付加者一人でチーム単位のインデックスを入力することが可能となる。但し、一人で選手毎の細かいインデックスを付加することは極めて困難であることから、かかる場合には、予めインデックスを付加する代表選手を決めておく必要がある。または、複数のインデックス付加者を準備して、同時にインデックスを付加していくことが必要となる。
【０１０７】
【発明の効果】
このように、本発明によれば、利用者の趣味、嗜好に合わせた、より短いダイジェストの生成に利用可能なインデックスを実時間で付加することが可能となる。
【図面の簡単な説明】
【図１】 本実施の形態におけるネットワークシステムの概略構成を説明するための図である。
【図２】 コンテンツプロバイダにおけるインデックス付加装置(インデックス生成装置)の構成を示すブロック図である。
【図３】 インデックス基本情報を説明するための図である。
【図４】 (ａ),(ｂ)は、単一トリガーインデックス情報の概念の一例を説明するための図である。
【図５】 サッカー映像のインデックス基本情報における第１の例を示した図である。
【図６】 トリガーアクション入力アルゴリズムを示した図である。
【図７】 インデックス判定装置でなされるインデックス判定アルゴリズムを示した図である。
【図８】 トリガーアクションの入力例を示した図である。
【図９】 (ａ)〜(ｃ)は、図７で実行される単一トリガーインデックス計算のアルゴリズム説明するための図である。
【図１０】 図７における階層化処理アルゴリズムを示した図である。
【図１１】 (ａ),(ｂ)は、階層化に基づくインデックスの付加例を示した図である。
【図１２】 (ａ)〜(ｃ)は、図７で示した複数トリガーインデックス計算のアルゴリズムを説明するための図である。
【図１３】 (ａ),(ｂ)は、複数トリガーインデックスの生成例を示した図である。
【図１４】 図８に示したトリガーアクション入力(１)〜トリガーアクション入力(４)までの入力例から付加されるインデックスを示した図である。
【図１５】 サッカー映像のインデックス基本情報における第２の例を示した図である。
【図１６】 同一時間、同一区間におけるインデックスの重複例を示した図である。
【図１７】 選手レベルでのインデックス付加の例を示した図である。
【図１８】 (ａ),(ｂ)は、インデックス追加および削除の例を示した図である。
【図１９】 インデックス修正時の作業の流れを示した図である。
【図２０】 インデックスの追加、削除、修正時におけるインデックス判定装置の処理アルゴリズムを示した図である。
【図２１】 野球映像のインデックス基本情報を示した図である。
【図２２】 野球映像におけるトリガーアクションの入力例を示した図である。
【図２３】 具体例４である野球映像のインデックス付加例を示した図である。
【符号の説明】
１０…クライアント、１１…ユーザプロファイル、１２…ユーザ処理部、２０…コンテンツプロバイダ、２１…インデックス付加装置(インデックス生成装置)、２３…コンテンツ送信部、３０…要約サーバ、３１…コンテンツデータ、３２…コンテンツデータ処理部、３３…インデックス特徴量データベース(ＤＢ)、３４…重要度算出部、３５…ダイジェスト作成部、５１…インデックス記述装置、５２…入力用映像表示装置、５３…トリガーアクション入力装置、５４…インデックス判定装置、５５…修正用映像表示装置、５６…トリガーアクション修正装置、６１…インデックス基本情報、６２…トリガーアクション入力履歴情報、６３…インデックス情報、７１…トリガー情報、７２…単一トリガーインデックス情報、７３…複数トリガーインデックス情報、７４…付加情報
Claims (5)
- コンテンツについて記述したデータであるインデックスを生成するインデックス生成装置であって、
コンテンツに対して付加すべきインデックスに関するインデックス基本情報を予め定義するインデックス情報定義手段と、
前記インデックスが付加されるコンテンツを出力するコンテンツ出力手段と、
前記コンテンツ出力手段により出力された前記コンテンツの中でインデックス生成の引き金となる一のトリガーアクションに対する入力を受け付けるトリガーアクション入力手段と、
前記インデックス基本情報と前記トリガーアクション入力手段により入力された前記一のトリガーアクションとに基づいて、当該一のトリガーアクションに対応するインデックスを生成するインデックス生成手段とを備え、
前記インデックス基本情報は、複数のトリガーアクションに関する情報が定義されるトリガー情報と、前記複数のトリガーアクションのうち単一のトリガーアクションから構成される各インデックスに関する情報が定義される単一トリガーインデックス情報とを含み、
前記単一トリガーインデックス情報は、前記各インデックスの重要度を決定するための重みが定義される情報、当該各インデックスに対応するトリガーアクションの発生から当該各インデックスの開始までの開始時間幅が定義される情報、および当該各インデックスに対応するトリガーアクションの発生から当該各インデックスの終了までの終了時間幅が定義される情報を含み、
前記インデックス生成手段は、前記トリガーアクション入力手段により入力された前記一のトリガーアクションに対応する前記開始時間幅および前記終了時間幅に基づいて、前記一のトリガーアクションに対応するインデックスの有効時間範囲を決定し、前記有効時間範囲および前記一のトリガーアクションに対応する前記重みに基づいて、前記一のトリガーアクションが前記トリガーアクション入力手段により入力された時点から時間軸に沿って前後に離れるほど小さくなり且つ前記有効時間範囲の境界で実質的にゼロになるインデックス値を所定のアルゴリズムに従って生成することを特徴とするインデックス生成装置。 - 前記開始時間幅および前記終了時間幅は、前記複数のトリガーアクションの各々毎に異なった値が予め定義され、定義されている当該値に基づいて前記有効時間範囲が決定されることを特徴とする請求項１記載のインデックス生成装置。
- 前記単一トリガーインデックス情報において、単一のトリガーアクションから構成される一のインデックスに対して階層化に関する情報が定義されている場合、前記インデックス生成手段は、階層下部のインデックスのインデックス値を生成する際に階層上部のインデックスのインデックス値も生成することを特徴とする請求項１記載のインデックス生成装置。
- 前記インデックス基本情報は、複数のトリガーアクションが影響しあって構成されるインデックスの情報が定義される複数トリガーインデックス情報と、各インデックスに個別に付加される情報が定義される付加情報とを更に含むことを特徴とする請求項１記載のインデックス生成装置。
- 前記トリガーアクション入力手段により入力された前記一のトリガーアクションを履歴として格納する入力履歴情報格納手段と、
前記入力履歴情報格納手段により格納された前記トリガーアクションに基づいて、修正のためのコンテンツを出力する修正用コンテンツ出力手段と、
前記修正用コンテンツ出力手段により出力された前記コンテンツに対して、トリガーアクションを修正するトリガーアクション修正手段と、を更に備えたことを特徴とする請求項１記載のインデックス生成装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001098409A JP3663362B2 (ja) | 2001-03-30 | 2001-03-30 | インデックス生成装置 |
| US10/055,694 US7072901B2 (en) | 2001-03-30 | 2002-01-23 | Index generation method, index generation apparatus, index addition system, and program and storage medium thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001098409A JP3663362B2 (ja) | 2001-03-30 | 2001-03-30 | インデックス生成装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002297630A JP2002297630A (ja) | 2002-10-11 |
| JP3663362B2 true JP3663362B2 (ja) | 2005-06-22 |
Family
ID=18952059
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001098409A Expired - Fee Related JP3663362B2 (ja) | 2001-03-30 | 2001-03-30 | インデックス生成装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7072901B2 (ja) |
| JP (1) | JP3663362B2 (ja) |
Families Citing this family (47)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8028314B1 (en) | 2000-05-26 | 2011-09-27 | Sharp Laboratories Of America, Inc. | Audiovisual information management system |
| US8020183B2 (en) | 2000-09-14 | 2011-09-13 | Sharp Laboratories Of America, Inc. | Audiovisual management system |
| US20030038796A1 (en) | 2001-02-15 | 2003-02-27 | Van Beek Petrus J.L. | Segmentation metadata for audio-visual content |
| US7904814B2 (en) | 2001-04-19 | 2011-03-08 | Sharp Laboratories Of America, Inc. | System for presenting audio-video content |
| US7499077B2 (en) | 2001-06-04 | 2009-03-03 | Sharp Laboratories Of America, Inc. | Summarization of football video content |
| US7203620B2 (en) * | 2001-07-03 | 2007-04-10 | Sharp Laboratories Of America, Inc. | Summarization of video content |
| US7474698B2 (en) | 2001-10-19 | 2009-01-06 | Sharp Laboratories Of America, Inc. | Identification of replay segments |
| US7120873B2 (en) | 2002-01-28 | 2006-10-10 | Sharp Laboratories Of America, Inc. | Summarization of sumo video content |
| US8214741B2 (en) | 2002-03-19 | 2012-07-03 | Sharp Laboratories Of America, Inc. | Synchronization of video and data |
| US7657836B2 (en) * | 2002-07-25 | 2010-02-02 | Sharp Laboratories Of America, Inc. | Summarization of soccer video content |
| US7657907B2 (en) | 2002-09-30 | 2010-02-02 | Sharp Laboratories Of America, Inc. | Automatic user profiling |
| KR100511298B1 (ko) * | 2002-12-09 | 2005-08-31 | 엘지전자 주식회사 | 멀티미디어 메시징 서비스 방법 |
| JP4235490B2 (ja) * | 2003-06-04 | 2009-03-11 | パイオニア株式会社 | 音楽番組内容メニュー作成装置及び方法 |
| JP4340528B2 (ja) * | 2003-12-16 | 2009-10-07 | パイオニア株式会社 | 情報再生装置、情報再生方法及び情報再生用プログラム並びに情報記録媒体 |
| US7594245B2 (en) | 2004-03-04 | 2009-09-22 | Sharp Laboratories Of America, Inc. | Networked video devices |
| US8356317B2 (en) | 2004-03-04 | 2013-01-15 | Sharp Laboratories Of America, Inc. | Presence based technology |
| US8949899B2 (en) | 2005-03-04 | 2015-02-03 | Sharp Laboratories Of America, Inc. | Collaborative recommendation system |
| JP2005352922A (ja) * | 2004-06-11 | 2005-12-22 | Sony Corp | 情報蓄積装置及び情報蓄積方法 |
| JP2005352923A (ja) * | 2004-06-11 | 2005-12-22 | Sony Corp | 情報蓄積装置及び情報蓄積方法 |
| JP4308798B2 (ja) * | 2004-06-30 | 2009-08-05 | パナソニック株式会社 | イベント重要度調整方法とその方法を実施する装置 |
| JP4758161B2 (ja) * | 2004-07-30 | 2011-08-24 | パナソニック株式会社 | ダイジェストの作成方法及び装置 |
| JP2006053745A (ja) * | 2004-08-11 | 2006-02-23 | Saora Inc | データ処理方法及びその装置、及びそのプログラム |
| FR2883441A1 (fr) * | 2005-03-17 | 2006-09-22 | Thomson Licensing Sa | Procede de selection de parties d'une emission audiovisuelle et dispositif mettant en oeuvre le procede |
| US9020326B2 (en) * | 2005-08-23 | 2015-04-28 | At&T Intellectual Property Ii, L.P. | System and method for content-based navigation of live and recorded TV and video programs |
| US9042703B2 (en) * | 2005-10-31 | 2015-05-26 | At&T Intellectual Property Ii, L.P. | System and method for content-based navigation of live and recorded TV and video programs |
| US8689253B2 (en) | 2006-03-03 | 2014-04-01 | Sharp Laboratories Of America, Inc. | Method and system for configuring media-playing sets |
| US20070240058A1 (en) * | 2006-04-10 | 2007-10-11 | Ming-Jun Chen | Method and apparatus for displaying multiple frames on a display screen |
| JP4835368B2 (ja) * | 2006-10-06 | 2011-12-14 | 株式会社日立製作所 | 情報記録装置 |
| US9374242B2 (en) | 2007-11-08 | 2016-06-21 | Invention Science Fund I, Llc | Using evaluations of tentative message content |
| US8984133B2 (en) | 2007-06-19 | 2015-03-17 | The Invention Science Fund I, Llc | Providing treatment-indicative feedback dependent on putative content treatment |
| US8682982B2 (en) | 2007-06-19 | 2014-03-25 | The Invention Science Fund I, Llc | Preliminary destination-dependent evaluation of message content |
| US20090037965A1 (en) * | 2007-07-31 | 2009-02-05 | Leonard Tsai | Portal based video indexing |
| US8082225B2 (en) | 2007-08-31 | 2011-12-20 | The Invention Science Fund I, Llc | Using destination-dependent criteria to guide data transmission decisions |
| US8065404B2 (en) | 2007-08-31 | 2011-11-22 | The Invention Science Fund I, Llc | Layering destination-dependent content handling guidance |
| US7930389B2 (en) | 2007-11-20 | 2011-04-19 | The Invention Science Fund I, Llc | Adaptive filtering of annotated messages or the like |
| US8090695B2 (en) * | 2008-12-05 | 2012-01-03 | Microsoft Corporation | Dynamic restoration of message object search indexes |
| US20110264668A1 (en) * | 2010-04-27 | 2011-10-27 | Salesforce.Com, Inc. | Methods and Systems for Providing Secondary Indexing in a Multi-Tenant Database Environment |
| US8762340B2 (en) * | 2010-05-14 | 2014-06-24 | Salesforce.Com, Inc. | Methods and systems for backing up a search index in a multi-tenant database environment |
| JP2014183559A (ja) * | 2013-03-21 | 2014-09-29 | Casio Comput Co Ltd | 報知制御装置、報知制御方法及びプログラム |
| US11341384B2 (en) * | 2014-08-28 | 2022-05-24 | Banctec, Incorporated | Document processing system and method for associating metadata with a physical document while maintaining the integrity of its content |
| JP6367334B2 (ja) * | 2014-12-14 | 2018-08-01 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ | ビデオ処理方法、装置及び再生装置 |
| WO2016095361A1 (en) | 2014-12-14 | 2016-06-23 | SZ DJI Technology Co., Ltd. | Methods and systems of video processing |
| CN106131613B (zh) * | 2016-07-26 | 2019-10-01 | 深圳Tcl新技术有限公司 | 智能电视视频分享方法及视频分享系统 |
| CN106354827B (zh) * | 2016-08-31 | 2021-04-13 | Tcl科技集团股份有限公司 | 一种媒资数据整合方法及系统 |
| CN107105318B (zh) * | 2017-03-21 | 2021-01-29 | 华为技术有限公司 | 一种视频热点片段提取方法、用户设备和服务器 |
| CN109525895B (zh) * | 2017-09-18 | 2021-10-15 | 北京国双科技有限公司 | 一种节目列表的更新方法及装置 |
| CN116370939A (zh) * | 2023-03-13 | 2023-07-04 | 刘鑫宇 | 基于武术散打护具和图像的比赛计分方法及相关设备 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5966495A (en) * | 1993-05-12 | 1999-10-12 | Canon Kabushiki Kaisha | Recording and reproducing apparatus |
| US5703655A (en) * | 1995-03-24 | 1997-12-30 | U S West Technologies, Inc. | Video programming retrieval using extracted closed caption data which has been partitioned and stored to facilitate a search and retrieval process |
| US5828809A (en) * | 1996-10-01 | 1998-10-27 | Matsushita Electric Industrial Co., Ltd. | Method and apparatus for extracting indexing information from digital video data |
| JP3250467B2 (ja) | 1996-10-04 | 2002-01-28 | 松下電器産業株式会社 | 映像要約方法および映像表示方法 |
| JPH10150629A (ja) | 1996-11-15 | 1998-06-02 | Sony Corp | 送受信システム、受信装置、及び送信装置 |
| US5956026A (en) * | 1997-12-19 | 1999-09-21 | Sharp Laboratories Of America, Inc. | Method for hierarchical summarization and browsing of digital video |
| JPH11331761A (ja) | 1998-05-18 | 1999-11-30 | Nippon Telegr & Teleph Corp <Ntt> | 映像の自動要約方法およびその装置およびその方法を記録した記録媒体 |
| JP2000175149A (ja) | 1998-12-09 | 2000-06-23 | Matsushita Electric Ind Co Ltd | 映像検出装置、及び要約映像生成装置 |
| JP3252282B2 (ja) * | 1998-12-17 | 2002-02-04 | 松下電器産業株式会社 | シーンを検索する方法及びその装置 |
| JP2000236518A (ja) | 1999-02-12 | 2000-08-29 | Matsushita Electric Ind Co Ltd | ダイジェスト映像生成装置 |
| US6789088B1 (en) * | 2000-10-19 | 2004-09-07 | Lg Electronics Inc. | Multimedia description scheme having weight information and method for displaying multimedia |
-
2001
- 2001-03-30 JP JP2001098409A patent/JP3663362B2/ja not_active Expired - Fee Related
-
2002
- 2002-01-23 US US10/055,694 patent/US7072901B2/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| US20020184220A1 (en) | 2002-12-05 |
| JP2002297630A (ja) | 2002-10-11 |
| US7072901B2 (en) | 2006-07-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3663362B2 (ja) | インデックス生成装置 | |
| US8060906B2 (en) | Method and apparatus for interactively retrieving content related to previous query results | |
| US9032443B2 (en) | System and method for automatically authoring interactive television content | |
| KR101816113B1 (ko) | 컴퓨터 실행 방법, 시스템 및 컴퓨터 판독 가능 매체 | |
| US6954611B2 (en) | Method of and apparatus for generation/presentation of program-related contents | |
| CN101634987A (zh) | 多媒体播放器 | |
| JP2002259720A (ja) | コンテンツ要約システム、映像要約システム、ユーザ端末、要約映像生成方法、要約映像受信方法、およびプログラム | |
| CN1326075C (zh) | 自动视频检索器精灵 | |
| CN111757170B (zh) | 一种视频分段和标记的方法及装置 | |
| CN113841418A (zh) | 动态视频精彩场面 | |
| US7640302B2 (en) | Information delivery apparatus, information delivery method and program product therefor | |
| US11551723B2 (en) | Computing system with DVE template selection and video content item generation feature | |
| CN110691271A (zh) | 一种新闻视频生成方法、系统、装置和存储介质 | |
| JP2004126811A (ja) | コンテンツ情報編集装置とその編集プログラム | |
| JP6917210B2 (ja) | 要約映像生成装置およびそのプログラム | |
| US20120150990A1 (en) | System and method for synchronizing with multimedia broadcast program and computer program product thereof | |
| JP5499566B2 (ja) | 動画再生装置、動画再生方法及びプログラム | |
| CN114339300A (zh) | 字幕处理方法、装置、电子设备及计算机可读介质及产品 | |
| Valdés et al. | Binary tree based on-line video summarization | |
| JP4511761B2 (ja) | 映像ダイジェスト生成方法 | |
| Masumitsu et al. | Meta-data framework for constructing individualized video digest | |
| JP4731522B2 (ja) | 特徴量生成装置、要約映像検出装置、及びプログラム | |
| JP4961760B2 (ja) | コンテンツ出力装置、及びコンテンツ出力方法 | |
| JP2007243359A (ja) | 映像抽出装置及び映像抽出プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040824 |
|
| RD14 | Notification of resignation of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7434 Effective date: 20040902 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20041118 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20041210 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050222 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050322 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050328 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090401 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100401 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110401 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110401 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120401 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130401 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |