JP5635859B2

JP5635859B2 - Editing apparatus, control method, and program

Info

Publication number: JP5635859B2
Application number: JP2010215990A
Authority: JP
Inventors: 晃司飯山; 亮丸山
Original assignee: NEC Personal Computers Ltd
Current assignee: NEC Personal Computers Ltd
Priority date: 2010-09-27
Filing date: 2010-09-27
Publication date: 2014-12-03
Anticipated expiration: 2030-09-27
Also published as: JP2012074773A

Description

本発明は、コンテンツを編集する技術に関する。 The present invention relates to a technique for editing content.

近年、コンテンツを要約したダイジェスト情報を作成する技法が開発されている。例えば、特許文献１（特開2007-174260号広報）には、映像データを解析し、映像データ中の重要度の高いシーンのみをダイジェスト情報として生成し、重要度の高いシーンのみを短時間で視聴するなどの、視聴者の視聴形態に合わせたダイジェスト情報の生成を可能にしている技術について開示されている。 In recent years, techniques for creating digest information summarizing content have been developed. For example, in Patent Document 1 (Japanese Laid-Open Patent Publication No. 2007-174260), video data is analyzed, only scenes with high importance in the video data are generated as digest information, and only scenes with high importance are quickly collected. A technique that enables generation of digest information in accordance with a viewer's viewing mode such as viewing is disclosed.

しかし、上記特許文献１の技術は、映像データ中の重要度の高いシーンのみをダイジェスト情報として生成しているため、ユーザが実際に求めているシーンとは異なるシーンが含まれたダイジェスト情報を生成してしまう場合がある。 However, since the technique disclosed in Patent Document 1 generates only high importance scenes in video data as digest information, it generates digest information that includes scenes that are different from the scene that the user actually seeks. May end up.

例えば、映像コンテンツがチームA対チームBのサッカー番組とする。また、視聴者がチームAのファンであるとする。上記特許文献１の技術は、映像データ中の重要度の高いシーンのみをダイジェスト情報として生成するため、視聴者の嗜好に関係なく、映像データ中の重要度の高いシーンのみをダイジェスト情報として生成することになる。このため、上記特許文献１の技術では、視聴者がチームAに特化したシーンを求めていても、そのようなシーンで構成するダイジェスト情報を生成することができない。このため、視聴者の嗜好に即したシーンが含まれるダイジェスト情報を生成することができる仕組みの開発が必要視されることになる。 For example, assume that the video content is a soccer program of team A vs. team B. Also assume that the viewer is a fan of Team A. Since the technique of Patent Document 1 generates only high importance scenes in video data as digest information, only high importance scenes in video data are generated as digest information regardless of viewer preference. It will be. For this reason, with the technique of the above-mentioned Patent Document 1, even if the viewer requests a scene specialized for Team A, digest information composed of such a scene cannot be generated. For this reason, it is considered necessary to develop a mechanism that can generate digest information including a scene that matches the viewer's preference.

なお、本発明より先に出願された技術文献として、特許文献２（特開2007-97047号公報）には、個人の感性をより反映した要約映像を生成する技術について開示されている。具体的には、コンテンツの出演者の感情を推測する。また、コンテンツを視聴しているときの視聴者の感情を推測する。そして、上記推測した出演者及び視聴者の感情情報に基づいて、コンテンツの中から視聴者と出演者とで共感度の高いシーンを推測し、その推測した共感度の高いシーンを用いてコンテンツの要約映像を生成することにしている。これにより、個人の感性をより反映した要約映像を生成することにしている。 As a technical document filed prior to the present invention, Patent Document 2 (Japanese Patent Laid-Open No. 2007-97047) discloses a technique for generating a summary video that more reflects the individual's sensitivity. Specifically, the emotions of the content performers are estimated. In addition, the viewer's emotion when viewing the content is estimated. Then, based on the estimated performer and viewer's emotion information, the viewer and the performer are inferred from the content, and a scene with high consensus is estimated from the content. A summary video will be generated. As a result, a summary video that more reflects the individual sensibility is generated.

特開２００７−１７４２６０号公報JP 2007-174260 A 特開２００７−９７０４７号公報JP 2007-97047 A

上記特許文献２の技術は、個人の感性をより反映したダイジェスト情報を生成する技術について開示されている。しかし、上記特許文献２の技術は、視聴者と映像データの出演者とで共感度の高いシーンを推測し、その推測した共感度の高いシーンを用いてダイジェスト情報を生成している。このため、上記特許文献２の技術は、視聴者と出演者とで共感したシーンでなければ、ダイジェスト情報として生成することができない。その結果、上記特許文献２の技術でも、視聴者の嗜好に即したシーンが含まれるダイジェスト情報を生成することができない場合がある。 The technique of the above-mentioned Patent Document 2 discloses a technique for generating digest information that more reflects the personal sensibility. However, the technique of Patent Document 2 estimates a scene with high co-sensitivity between a viewer and a performer of video data, and generates digest information using the estimated scene with high co-sensitivity. For this reason, the technique of the said patent document 2 cannot be produced | generated as digest information, unless it is a scene sympathized by the viewer and the performer. As a result, even with the technique of the above-mentioned Patent Document 2, there is a case where digest information including a scene according to the viewer's preference cannot be generated.

例えば、映像コンテンツがチームA対チームBのサッカー番組とする。また、視聴者がチームAのファンであり、コンテンツの出演者が主にチームBのファンであるとする。この場合、上記特許文献２の技術は、視聴者と出演者とで共感したシーンをダイジェスト情報として生成するため、上記特許文献２の技術では、視聴者がチームAに特化したシーンを求めていても、そのようなシーンで構成するダイジェスト情報を生成することができない。 For example, assume that the video content is a soccer program of team A vs. team B. Further, it is assumed that the viewer is a fan of Team A, and the performer of the content is mainly a fan of Team B. In this case, the technique of Patent Document 2 generates a scene that is sympathetic between the viewer and the performer as digest information. Therefore, in the technique of Patent Document 2, the viewer requests a scene specialized for Team A. However, digest information composed of such a scene cannot be generated.

本発明は、上記事情に鑑みてなされたものであり、視聴者の嗜好に即したシーンを特定することが可能な編集装置を提供することを目的とする。 The present invention has been made in view of the above circumstances, and an object of the present invention is to provide an editing apparatus capable of specifying a scene in accordance with a viewer's preference.

かかる目的を達成するために、本発明は、以下の特徴を有することとする。 In order to achieve this object, the present invention has the following features.

＜編集装置＞
本発明にかかる編集装置は、
コンテンツのシーンを特定する編集装置であって、
前記コンテンツを視聴している時の視聴者の生体情報を取得する生体情報取得手段と、
前記生体情報に所定の反応のあったシーンを前記コンテンツの中から特定する特定手段と、
前記視聴者の反応を特定するためのキーワードを管理するキーワード管理手段と、
前記視聴者の感情を特定するための感情情報を管理する感情情報管理手段と、
前記生体情報の中から前記キーワードを抽出するキーワード抽出手段と、
前記生体情報の中から前記感情情報を抽出する感情情報抽出手段と、
前記感情情報により特定される感情が切り替わった切替点を検出する切替点検出手段と、を有し、
前記特定手段は、前記キーワードを抽出した時刻から所定の範囲内に前記切替点を検出している場合に、前記キーワードを抽出した時刻を前記生体情報に所定の反応のあった時刻と判断し、前記時刻に該当するシーンを前記コンテンツの中から特定することを特徴とする。 <Editing device>
The editing apparatus according to the present invention is
An editing device for identifying a scene of content,
Biometric information acquisition means for acquiring biometric information of the viewer when viewing the content;
Identifying means for identifying a scene having a predetermined reaction to the biological information from the content;
Keyword management means for managing keywords for identifying the viewer's reaction;
Emotion information management means for managing emotion information for identifying the viewer's emotion;
Keyword extracting means for extracting the keyword from the biological information;
Emotion information extracting means for extracting the emotion information from the biological information;
Switching point detecting means for detecting a switching point at which the emotion specified by the emotion information is switched,
The specifying means determines that the time when the keyword is extracted as the time when a predetermined reaction has been made to the biological information when the switching point is detected within a predetermined range from the time when the keyword is extracted; The scene corresponding to the time is specified from the content .

本発明によれば、視聴者の嗜好に即したシーンを特定することができる。 According to the present invention, it is possible to specify a scene according to the viewer's preference.

本実施形態の編集装置100の構成例を示す図である。1 is a diagram illustrating a configuration example of an editing apparatus 100 according to the present embodiment. キーワードDB24の構成例を示す図である。It is a figure which shows the structural example of keyword DB24. 感情判定DB25の構成例を示す図である。It is a figure which shows the structural example of emotion determination DB25. キーワード検出処理の処理動作例を示す図である。It is a figure which shows the processing operation example of a keyword detection process. 感情判定の切り替わりポイントの検出処理の処理動作例を示す図である。It is a figure which shows the processing operation example of the detection process of the switching point of emotion determination. 各感情の感情ポイント（a）と、感情判定の切り替わりポイント（b）と、を説明するための図である。It is a figure for demonstrating the emotion point (a) of each emotion, and the switching point (b) of emotion determination. 感情盛り上がりの算出方法例を示す図である。It is a figure which shows the example of a calculation method of an emotion excitement. 視聴者の生体情報から取得したキーワード、感情判定の切換ポイント、感情盛り上がりを示す図である。It is a figure which shows the keyword acquired from the viewer's biometric information, the switching point of emotion determination, and emotion excitement. 映像コンテンツから抽出したシーン切換点を示す図である。It is a figure which shows the scene switching point extracted from the video content. 視聴者の生体情報に即したシーン切換点の特定処理例を示す図である。It is a figure which shows the specific process example of the scene switching point according to a viewer's biometric information. 図１０に示す特定処理例で得られるシーン切換点の一例を示す図である。It is a figure which shows an example of the scene switching point obtained by the specific process example shown in FIG.

＜編集装置100の概要＞
まず、図１を参照しながら、本実施形態の編集装置100の概要について説明する。 <Overview of editing device 100>
First, an overview of the editing apparatus 100 of the present embodiment will be described with reference to FIG.

本実施形態の編集装置100は、コンテンツのシーンを特定する編集装置100であり、コンテンツを視聴している時の視聴者の生体情報を取得する生体情報取得部1と、生体情報取得部1で取得した生体情報に所定の反応のあったシーンをコンテンツの中から特定するシーン特定部4と、を有することを特徴とする。 The editing apparatus 100 according to the present embodiment is an editing apparatus 100 that identifies a content scene. The editing apparatus 100 includes a biometric information acquisition unit 1 that acquires biometric information of a viewer when viewing content, and a biometric information acquisition unit 1. And a scene specifying unit 4 for specifying a scene having a predetermined reaction to the acquired biometric information from the content.

本実施形態の編集装置100は、上記構成を有することで、コンテンツを視聴している視聴者の生体情報に所定の反応のあったシーンをそのコンテンツの中から特定することになるため、視聴者の嗜好に即したシーンを特定することができる。以下、添付図面を参照しながら、本実施形態の編集装置100について詳細に説明する。 Since the editing apparatus 100 according to the present embodiment has the above-described configuration, a scene that has a predetermined response to the biological information of the viewer who is viewing the content is identified from the content. It is possible to specify a scene that matches the user's preference. Hereinafter, the editing apparatus 100 of the present embodiment will be described in detail with reference to the accompanying drawings.

＜編集装置100の構成例＞
まず、図１を参照しながら、本実施形態の編集装置100の構成例について説明する。 <Configuration example of editing apparatus 100>
First, a configuration example of the editing apparatus 100 according to the present embodiment will be described with reference to FIG.

本実施形態の編集装置100は、生体情報取得部1と、視聴者反応抽出部2と、シーン切換抽出部3と、シーン特定部4と、を有して構成する。 The editing apparatus 100 according to the present embodiment includes a biological information acquisition unit 1, a viewer reaction extraction unit 2, a scene switching extraction unit 3, and a scene specification unit 4.

生体情報取得部1は、映像コンテンツを視聴している時の視聴者の生体情報を取得するものである。本実施形態の生体情報取得部1は、マイク11と、カメラ12と、を有して構成する。マイク11は、視聴者の音声などを取得する。カメラ12は、視聴者の画像などを取得する。なお、生体情報取得部1は、視聴者の生体情報を取得することが可能であれば、あらゆるものが適用可能である。例えば、視聴者の体温を測定する温度センサや、視聴者の心拍数を測定する心拍数センサなどが挙げられる。 The biometric information acquisition unit 1 acquires biometric information of a viewer when viewing video content. The biometric information acquisition unit 1 according to the present embodiment includes a microphone 11 and a camera 12. The microphone 11 acquires the viewer's voice and the like. The camera 12 acquires a viewer's image and the like. The biometric information acquisition unit 1 can be applied to anything as long as the biometric information of the viewer can be acquired. For example, a temperature sensor that measures the viewer's body temperature, a heart rate sensor that measures the viewer's heart rate, and the like can be given.

視聴者反応抽出部2は、生体情報取得部1で取得した視聴者の生体情報を基に、映像コンテンツを視聴している時の視聴者の反応を抽出する。視聴者反応抽出部2は、番組情報取得部21と、ジャンル判別部22と、ジャンル別キーワード特定部23と、キーワードDB24と、感情判定DB25と、センシング部26と、を有して構成する。 The viewer reaction extraction unit 2 extracts the viewer's reaction when viewing the video content based on the viewer's biometric information acquired by the biometric information acquisition unit 1. The viewer reaction extraction unit 2 includes a program information acquisition unit 21, a genre determination unit 22, a genre-specific keyword specification unit 23, a keyword DB 24, an emotion determination DB 25, and a sensing unit 26.

番組情報取得部21は、EPGやWEB等から番組情報を取得する。 The program information acquisition unit 21 acquires program information from EPG or WEB.

ジャンル判別部22は、番組情報取得部21で取得した番組情報から番組のジャンルを判別する。ジャンルとしては、例えば、『スポーツ』、『お笑い』、『ホラー』などが挙げられる。例えば、番組情報取得部21が取得した番組情報がサッカー番組の場合は、ジャンルとして『スポーツ』と判別する。 The genre determination unit 22 determines the genre of the program from the program information acquired by the program information acquisition unit 21. Examples of genres include “sports”, “comedy”, and “horror”. For example, when the program information acquired by the program information acquisition unit 21 is a soccer program, the genre is determined as “sports”.

ジャンル別キーワード特定部23は、ジャンル判別部22で判別したジャンルと、番組情報取得部21で取得した番組情報と、を基に、ジャンル判別部22で判別したジャンルに関連するキーワード（人名、地名、曲名、ジャンル関連ワードなど）を取得する。また、各ジャンルに共通なキーワード（ジャンル共通ワード）を取得する。例えば、ジャンル判別部22で判別したジャンルが『スポーツ』であれば、ジャンル別キーワード特定部23は、番組情報取得部21で取得した番組情報を基に、『選手名』、『チーム名』などを取得する。また、スポーツに関連する『ジャンル関連ワード（ゴール、アシスト、シュート）』を取得する。また、各ジャンルに共通する『ジャンル共通ワード』を取得する。なお、上述したジャンル関連ワードやジャンル共通ワードは、予め、データベース等に格納して管理し、ジャンル判別部22で判別したジャンルを基に、データベース等からジャンル関連ワードやジャンル共通ワードを取得するようにすることも可能である。 The genre-specific keyword specifying unit 23 uses keywords (person names, place names) related to the genre determined by the genre determination unit 22 based on the genre determined by the genre determination unit 22 and the program information acquired by the program information acquisition unit 21. , Song name, genre related words, etc.). Also, a keyword common to each genre (genre common word) is acquired. For example, if the genre discriminated by the genre discriminating unit 22 is “sports”, the keyword specifying unit 23 for each genre is based on the program information acquired by the program information acquiring unit 21 and “player name”, “team name”, etc. To get. Also, acquire “genre-related words (goals, assists, shoots)” related to sports. Also, a “genre common word” common to each genre is acquired. The genre-related words and the genre-common words described above are stored and managed in advance in a database or the like, and the genre-related words and the genre-common words are acquired from the database or the like based on the genre determined by the genre determination unit 22. It is also possible to make it.

キーワードDB24は、ジャンル判別部22で判別した『ジャンル』と、ジャンル別キーワード特定部23で特定した『人名、地名、曲名、ジャンル関連ワード』、『ジャンル共通ワード』と、を関連付けて記憶する。これにより、キーワードDB24は、図２に示すように、『ジャンル』と、そのジャンルに関連する『キーワード』（人名、地名、曲名、ジャンル関連ワード、ジャンル共通ワード）と、を対応付けて管理することができる。なお、キーワードDB24で管理する情報は、予め登録しておくことも可能である。 The keyword DB 24 stores the “genre” determined by the genre determining unit 22 and the “person name, place name, song name, genre related word”, and “genre common word” specified by the genre-specific keyword specifying unit 23 in association with each other. Accordingly, as shown in FIG. 2, the keyword DB 24 manages “genre” and “keyword” (person name, place name, song name, genre related word, genre common word) related to the genre in association with each other. be able to. The information managed by the keyword DB 24 can be registered in advance.

感情判定DB25は、視聴者の感情を判定するための情報を管理するものであり、図３に示すように、喜・怒・哀・楽の各々に対応付けて各種情報を管理する。本実施形態の編集装置100は、マイク11から視聴者の『セリフ』、『効果音』、『声質』などを取得し、カメラ12から視聴者の『表情』、『視線』、『動作』などを取得するため、喜・怒・哀・楽の各々に対応づけて『セリフ』、『効果音』、『声質』、『表情』、『視線』、『動作』を管理している。 The emotion determination DB 25 manages information for determining viewers' emotions, and manages various types of information in association with each of joy, anger, sorrow, and comfort, as shown in FIG. The editing apparatus 100 according to the present embodiment acquires the viewer's “serif”, “sound effect”, “voice quality”, and the like from the microphone 11, and the viewer's “expression”, “gaze”, “motion”, and the like from the camera 12. In order to acquire, "Serif", "Sound effect", "Voice quality", "Facial expression", "Gaze", and "Motion" are managed in association with each of joy, anger, sorrow and comfort.

センシング部26は、マイク11やカメラ12等の生体情報取得部1から取得した視聴者の生体情報（セリフ、効果音、声質、表情、視線、動作などの情報）を基に、視聴者の反応を抽出する。 The sensing unit 26 responds to the viewer based on the viewer's biological information (information such as speech, sound effects, voice quality, facial expression, line of sight, and movement) acquired from the biological information acquisition unit 1 such as the microphone 11 and the camera 12. To extract.

シーン切換抽出部3は、再生装置200で再生している映像コンテンツを解析し、映像コンテンツのシーン切換点を抽出する。シーン切換抽出部3は、コンテンツ解析部31と、シーン切換検出部32と、を有して構成する。 The scene switching extraction unit 3 analyzes the video content being played back by the playback device 200 and extracts scene switching points of the video content. The scene switching extraction unit 3 includes a content analysis unit 31 and a scene switching detection unit 32.

コンテンツ解析部31は、再生装置200で再生している映像コンテンツを解析する。コンテンツ解析部31は、ジャンル別キーワード特定部23で特定した『人名、地名、曲名、ジャンル関連ワード』、『ジャンル共通ワード』などの情報を基に、映像コンテンツを解析する。シーン切換検出部32は、コンテンツ解析部31で解析した解析結果を基に、映像コンテンツのシーン切換点を検出する。なお、シーン切換点の検出方法は特に限定せず、様々な手法が適用可能である。例えば、映像コンテンツに含まれるBGMやカメラワーク、字幕情報などを基に、シーン切換点を検出することも可能である。 The content analysis unit 31 analyzes the video content being played back by the playback device 200. The content analysis unit 31 analyzes the video content based on information such as “person name, place name, song name, genre related word” and “genre common word” specified by the genre-specific keyword specifying unit 23. The scene switching detection unit 32 detects a scene switching point of the video content based on the analysis result analyzed by the content analysis unit 31. The method for detecting the scene switching point is not particularly limited, and various methods can be applied. For example, it is possible to detect a scene switching point based on BGM, camera work, caption information, etc. included in the video content.

シーン特定部4は、視聴者反応抽出部2で抽出した視聴者の反応を基に、シーン切換抽出部3で抽出したシーン切換点の中から視聴者の嗜好に即したシーン切換点を特定する。シーン特定部4は、反応分析部41と、視聴者シーン切換検出部42と、を有して構成する。 The scene specifying unit 4 specifies a scene switching point according to the viewer's preference from the scene switching points extracted by the scene switching extracting unit 3 based on the viewer's reaction extracted by the viewer response extracting unit 2. . The scene specifying unit 4 includes a reaction analyzing unit 41 and a viewer scene switching detecting unit 42.

反応分析部41は、センシング部26で抽出した視聴者の反応を分析する。視聴者シーン切換検出部42は、反応分析部41の分析結果を基に、シーン切換抽出部3で抽出したシーン切換点の中から視聴者の嗜好に即したシーン切換点を特定する。 The reaction analysis unit 41 analyzes the viewer's reaction extracted by the sensing unit 26. Based on the analysis result of the reaction analysis unit 41, the viewer scene switching detection unit 42 specifies a scene switching point that matches the viewer's preference from the scene switching points extracted by the scene switching extraction unit 3.

＜編集装置100の処理動作例＞
次に、本実施形態の編集装置100の処理動作例について説明する。 <Example of processing operation of editing apparatus 100>
Next, a processing operation example of the editing apparatus 100 according to the present embodiment will be described.

＜キーワード検出処理例＞
まず、図４を参照しながら、キーワード検出処理例について説明する。センシング部26は、生体情報取得部1で取得した生体情報の中からキーワードDB24で管理している図２に示すキーワードを検出する。 <Keyword detection processing example>
First, an example of keyword detection processing will be described with reference to FIG. The sensing unit 26 detects the keyword shown in FIG. 2 managed by the keyword DB 24 from the biological information acquired by the biological information acquisition unit 1.

まず、映像コンテンツを視聴している視聴者の生体情報を生体情報取得部1で取得する。センシング部21は、生体情報取得部1で取得した生体情報と、キーワードDB24で管理しているキーワードと、を基に視聴者の反応をモニタリングし（ステップA1）、生体情報取得部1で取得した生体情報の中から、キーワードDB24で管理しているキーワード（人名、地名、曲名、ジャンル関連ワード、ジャンル共通ワード）を検出する（ステップA2）。 First, the biometric information acquisition unit 1 acquires the biometric information of the viewer who is viewing the video content. The sensing unit 21 monitors the viewer's reaction based on the biological information acquired by the biological information acquisition unit 1 and the keywords managed by the keyword DB 24 (step A1), and acquired by the biological information acquisition unit 1 A keyword (person name, place name, song name, genre related word, genre common word) managed by the keyword DB 24 is detected from the biometric information (step A2).

本実施形態では、キーワードDB24でジャンル毎に図２に示す情報を管理しているため、センシング部26は、視聴者が現在視聴している映像コンテンツのジャンルに該当するキーワードをキーワードDB24から特定し、生体情報取得部1を構成するマイク11やカメラ12から取得した生体情報の中に、キーワードDB24から特定したジャンルのキーワード（人名、地名、曲名、ジャンル関連ワード、ジャンル共通ワード）が含まれている場合は、そのキーワードを検出する。 In the present embodiment, since the information shown in FIG. 2 is managed for each genre in the keyword DB 24, the sensing unit 26 identifies the keyword corresponding to the genre of the video content currently being viewed by the viewer from the keyword DB 24. The biometric information acquired from the microphone 11 and the camera 12 constituting the biometric information acquisition unit 1 includes keywords of the genre identified from the keyword DB 24 (person name, place name, song name, genre related word, genre common word). If so, the keyword is detected.

これにより、センシング部26は、生体情報取得部1で取得した生体情報の中からキーワードDB24で管理しているキーワードを検出することができる。 Thereby, the sensing unit 26 can detect the keywords managed by the keyword DB 24 from the biological information acquired by the biological information acquisition unit 1.

＜感情判定の切り替わりポイントの検出処理例＞
次に、図５を参照しながら、感情判定の切り替わりポイントの検出処理例について説明する。センシング部26は、生体情報取得部1で取得した生体情報の中から感情判定DB25で感情（喜・怒・哀・楽）毎に管理している図３に示す情報を検出し、その検出した情報を基に、感情判定の切り替わりポイントを検出する。 <Detection processing example of emotion determination switching point>
Next, an example of processing for detecting an emotion determination switching point will be described with reference to FIG. The sensing unit 26 detects the information shown in FIG. 3 managed for each emotion (joy / anger / sorrow / easy) in the emotion determination DB 25 from the biological information acquired by the biological information acquisition unit 1, and detects the detected information. Based on the information, the switching point of emotion determination is detected.

まず、映像コンテンツを視聴している視聴者の生体情報を生体情報取得部1で取得する。センシング部26は、生体情報取得部1で取得した生体情報と、感情判定DB25で管理している情報と、を基に視聴者の反応をモニタリングし（ステップB1）、視聴者の反応をリアルタイムに各感情（喜・怒・哀・楽）に分類する（ステップB2）。 First, the biometric information acquisition unit 1 acquires the biometric information of the viewer who is viewing the video content. The sensing unit 26 monitors the viewer's reaction based on the biological information acquired by the biological information acquisition unit 1 and the information managed by the emotion determination DB 25 (step B1), and the viewer's response is monitored in real time. Classify each emotion (joy, anger, sorrow, comfort) (step B2).

本実施形態では、感情判定DB25で感情（喜・怒・哀・楽）毎に図３に示す情報を管理しているため、センシング部26は、生体情報取得部1を構成するマイク11やカメラ12から取得した生体情報（セリフ、効果音、声質、表情、視線、動作）の中に、感情判定DB25で感情（喜・怒・哀・楽）毎に管理している図３に示す情報が含まれている場合は、視聴者の反応をその情報に該当する感情に割り振る。 In this embodiment, since the information shown in FIG. 3 is managed for each emotion (joy / anger / sorrow / easy) in the emotion determination DB 25, the sensing unit 26 includes the microphone 11 and the camera constituting the biological information acquisition unit 1 Among the biometric information (serial, sound effect, voice quality, facial expression, line of sight, movement) acquired from 12, the information shown in FIG. If so, the viewer's reaction is assigned to the emotion corresponding to the information.

センシング部26は、ステップB2で分類した各感情の情報を基に、各感情（喜・怒・哀・楽）の単位時間当たりの出現頻度を計測する。これにより、図６（a）に示すような各感情（喜・怒・哀・楽）の単位時間当たりの感情ポイントを算出することができる（ステップB3）。なお、感情ポイントの算出方法は特に限定せず、様々な方法で算出することが可能である。例えば、各感情の出現頻度を全て１ポイントとして換算し、単位時間毎の各感情のポイントを算出することで、各感情の単位時間当たりのポイントを算出することも可能である。 The sensing unit 26 measures the appearance frequency per unit time of each emotion (joy, anger, sorrow, comfort) based on the information of each emotion classified in step B2. This makes it possible to calculate emotion points per unit time for each emotion (joy / anger / sorrow / easy) as shown in FIG. 6A (step B3). In addition, the calculation method of an emotion point is not specifically limited, It is possible to calculate by various methods. For example, it is possible to calculate the points per unit time of each emotion by converting the appearance frequency of each emotion as one point and calculating the points of each emotion per unit time.

センシング部26は、ステップB3で算出した各感情の感情ポイントの中で、最も感情ポイントの高い感情が変わったか否かを判定し（ステップB4）、最も感情ポイントの高い感情が変わった場合は（ステップB4/Yes）、感情判定の切り替わりポイントとして検出する（ステップB5）。これにより、図６（b）に示すような感情判定の切り替わりポイントを検出することができる。なお、図６（b）に図示する感情判定の切り替わりポイントは、一部分であり、図６（a）に示す各感情の感情ポイントの中で、最も感情ポイントの高い感情が変わった部分は、全て感情判定の切り替わりポイントとして検出することになる。 The sensing unit 26 determines whether or not the emotion with the highest emotion point has changed among the emotion points of each emotion calculated in step B3 (step B4), and if the emotion with the highest emotion point has changed ( Step B4 / Yes), detected as a switching point of emotion determination (Step B5). Thereby, the switching point of emotion determination as shown in FIG. 6B can be detected. Note that the emotion determination switching points shown in FIG. 6B are only a part, and among the emotion points of each emotion shown in FIG. It is detected as a switching point for emotion determination.

これにより、センシング部26は、生体情報取得部1で取得した生体情報の中から感情判定の切り替わりポイントを検出することができる。 Thereby, the sensing unit 26 can detect the switching point of emotion determination from the biological information acquired by the biological information acquisition unit 1.

＜感情盛り上がりの算出方法例＞
次に、図７を参照しながら、感情盛り上がりの算出方法例について説明する。 <Example of how emotional excitement is calculated>
Next, an example of a method for calculating emotion excitement will be described with reference to FIG.

センシング部26は、上述した感情判定の切り替わりポイントの検出処理で算出した図７（a）に示す各感情の感情ポイントを加算し、図７（b）に示す感情盛り上がりを算出する。 The sensing unit 26 adds the emotion points of each emotion shown in FIG. 7A calculated in the above-described emotion determination switching point detection process, and calculates the emotion excitement shown in FIG. 7B.

なお、図７（b）に示す感情盛り上がりを算出する際は、映像コンテンツのジャンルや、視聴者の設定により、各感情ポイントに重み付けを施すことも可能である。例えば、視聴者が面白いシーンを見たい場合には、『喜』、『楽』の感情ポイントを1.2倍にして感情盛り上がりを算出することも可能である。また、視聴者が悲しいシーンを見たい場合には、『哀』の感情ポイントを1.2倍にして感情盛り上がりを算出することも可能である。 Note that when the emotional excitement shown in FIG. 7B is calculated, each emotion point can be weighted according to the genre of the video content and the setting of the viewer. For example, when the viewer wants to see an interesting scene, the emotional excitement can be calculated by multiplying the emotion points of “joy” and “easy” by 1.2 times. If the viewer wants to see a sad scene, the emotional excitement can be calculated by multiplying the emotion point of “sorrow” by 1.2 times.

これにより、センシング部26は、生体情報取得部1から取得した視聴者の生体情報を基に、キーワード、感情判定の切り替わりポイント、感情盛り上がりを得ることができる。 Thus, the sensing unit 26 can obtain keywords, emotion determination switching points, and emotion excitement based on the viewer's biometric information acquired from the biometric information acquisition unit 1.

例えば、視聴者が視聴している映像コンテンツがサッカーであった場合は、センシング部26は、図８に示すような、『キーワード』、『感情判定の切り替わりポイント』、『感情盛り上がり』を得ることができる。なお、図８では、『感情判定の切り替わりポイント』は、キーワードを検出した周囲の感情判定の切り替わりポイントのみを表示しており、例えば、図６（a）に示す各感情の感情ポイントの中で、最も感情ポイントの高い感情が変わった部分は、感情判定の切り替わりポイントとして検出することになる。 For example, if the video content viewed by the viewer is soccer, the sensing unit 26 obtains “keyword”, “emotion determination switching point”, and “emotion excitement” as shown in FIG. Can do. In FIG. 8, the “emotion determination switching point” displays only the switching point of the surrounding emotion determination where the keyword is detected. For example, among the emotion points of each emotion shown in FIG. The part where the emotion with the highest emotion point is changed is detected as a switching point of emotion determination.

＜映像コンテンツのシーン切換点の抽出処理例＞
次に、図９を参照しながら、映像コンテンツのシーン切換点の抽出処理例について説明する。 <Example of video content scene switching point extraction processing>
Next, an example of processing for extracting scene switching points of video content will be described with reference to FIG.

シーン切換抽出部3は、再生装置200で再生している映像コンテンツを解析し、映像コンテンツのシーン切換点を抽出する。なお、シーン切換抽出部3で行う抽出処理は、映像コンテンツのシーン切換点を抽出することが可能であれば、様々な手法を用いて行うことが可能である。 The scene switching extraction unit 3 analyzes the video content being played back by the playback device 200 and extracts scene switching points of the video content. The extraction process performed by the scene switching extraction unit 3 can be performed using various methods as long as the scene switching point of the video content can be extracted.

例えば、再生装置200で再生している映像コンテンツがサッカーであった場合は、シーン切換抽出部3は、『ゴール』、『アシストゴール』、『セットプレイゴール』などのキーワードを基に、図９に示すようなシーン切換点を抽出することができる。 For example, when the video content being played back by the playback device 200 is soccer, the scene switching extraction unit 3 uses FIG. 9 based on keywords such as “goal”, “assist goal”, “set play goal”, and the like. It is possible to extract scene switching points as shown in FIG.

＜視聴者の生体情報に即したシーン切換点の特定処理例＞
次に、図１０を参照しながら、視聴者の生体情報に即したシーン切換点の特定処理例について説明する。シーン特定部4は、視聴者反応抽出部2で抽出した視聴者の反応（キーワード、感情判定の切り替わりポイント、感情盛り上がり）を基に、シーン切換抽出部3で抽出したシーン切換点の中から視聴者の嗜好に即したシーン切換点を特定する。 <Specific example of scene switching point matching with viewer's biometric information>
Next, with reference to FIG. 10, a description will be given of an example of a scene switching point identification process in accordance with the viewer's biological information. Based on the viewer's reaction (keyword, emotion judgment switching point, emotion excitement) extracted by the viewer response extraction unit 2, the scene specifying unit 4 views from the scene switching points extracted by the scene switching extraction unit 3. A scene switching point that matches the user's preference is specified.

反応分析部41は、センシング部26で該当するキーワードを検出したか否かを判定する（ステップC1）。該当するキーワードを検出した場合は（ステップC1/Yes）、そのキーワードを検出した時間から所定の範囲（Δt1）内に感情判定の切り替わりポイントがあるか否かを判定する（ステップC2）。 The reaction analysis unit 41 determines whether or not the corresponding keyword is detected by the sensing unit 26 (step C1). When a corresponding keyword is detected (step C1 / Yes), it is determined whether or not there is a switching point for emotion determination within a predetermined range (Δt1) from the time when the keyword is detected (step C2).

キーワードを検出した時間から所定の範囲（Δt1）内に感情判定の切り替わりポイントがある場合は（ステップC2/Yes）、反応分析部41は、キーワードを検出した時間から所定の範囲（Δt2）内の感情盛り上がりを分析する（ステップC3）。 When there is an emotion determination switching point within a predetermined range (Δt1) from the time when the keyword was detected (step C2 / Yes), the reaction analysis unit 41 is within a predetermined range (Δt2) from the time when the keyword was detected. Analyze emotional excitement (step C3).

また、キーワードを検出した時間から所定の範囲（Δt1）内に感情判定の切り替わりポイントがない場合は（ステップC2/No）、キーワードを検出した時間の感情の盛り上がりが閾値（α）以上か否かを判定する（ステップC4）。反応分析部41は、キーワードを検出した時間の感情の盛り上がりが閾値（α）以上である場合は（ステップC4/Yes）、キーワードを検出した時間から所定の範囲（Δt2）内の感情盛り上がりを分析する（ステップC3）。 Also, if there is no emotion judgment switching point within the predetermined range (Δt1) from the keyword detection time (step C2 / No), whether or not the emotional excitement at the keyword detection time is greater than or equal to the threshold (α) Is determined (step C4). The reaction analysis unit 41 analyzes the emotional excitement within a predetermined range (Δt2) from the time when the keyword was detected when the emotional excitement during the time when the keyword was detected is equal to or greater than the threshold (α) (step C4 / Yes). (Step C3).

反応分析部41は、感情盛り上がりの分析結果を基に、感情盛り上がりの立ち上がり直前にシーン切換点があるか否かを判定する（ステップC5）。反応分析部41は、例えば、感情盛り上がりの傾き量が所定の値以上で、且つ、感情盛り上がりが増加している場合は、立ち上がりがあると判定する。そして、その立ち上がりの時間から所定の時間前の範囲にシーン切換点があるか否かを判定する。 The reaction analysis unit 41 determines whether there is a scene switching point immediately before the rising of the emotional excitement based on the analysis result of the emotional excitement (step C5). The reaction analysis unit 41 determines that there is a rise when, for example, the amount of inclination of the emotion excitement is equal to or greater than a predetermined value and the emotion excitement increases. Then, it is determined whether or not there is a scene switching point in a range of a predetermined time before the rising time.

反応分析部41は、感情盛り上がりの立ち上がり直前にシーン切換点がある場合は（ステップC5/Yes）、視聴者シーン切換検出部42は、そのシーン切換点にStartフラグを立てる（ステップC7）。 When there is a scene switching point immediately before the emotional rise (Step C5 / Yes), the reaction analysis unit 41 sets a Start flag at the scene switching point (Step C7).

また、反応分析部41は、感情盛り上がりの立ち上がり直前にシーン切換点がない場合は（ステップC5/No）、キーワードを検出した時間の直前にシーン切換点があるか否かを判定する（ステップC6）。例えば、反応分析部41は、キーワードを検出した時間から所定の時間前の範囲にシーン切換点があるか否かを判定する。 In addition, when there is no scene switching point immediately before the rise of emotion excitement (step C5 / No), the reaction analysis unit 41 determines whether there is a scene switching point immediately before the time when the keyword is detected (step C6). ). For example, the reaction analysis unit 41 determines whether or not there is a scene switching point within a predetermined time before the keyword detection time.

キーワードを検出した時間の直前にシーン切換点がある場合は（ステップC6/Yes）、視聴者シーン切換検出部42は、そのシーン切換点にStartフラグを立てる（ステップC7）。 When there is a scene switching point immediately before the time when the keyword is detected (step C6 / Yes), the viewer scene switching detecting unit 42 sets a Start flag at the scene switching point (step C7).

また、反応分析部41は、感情盛り上がりの分析結果を基に、感情盛り上がりの立ち下がり直後にシーン切換点があるか否かを判定する（ステップC8）。反応分析部41は、例えば、感情盛り上がりの傾き量が所定の値以下で、且つ、感情盛り上がりが減少している場合は、立ち下がりがあると判定する。そして、その立ち下がりの時間から所定の時間前の範囲にシーン切換点があるか否かを判定する。 Further, the reaction analysis unit 41 determines whether there is a scene switching point immediately after the fall of the emotional excitement based on the analysis result of the emotional excitement (step C8). The reaction analysis unit 41 determines that there is a fall, for example, when the amount of inclination of the emotional excitement is equal to or less than a predetermined value and the emotional excitement decreases. Then, it is determined whether or not there is a scene switching point within a predetermined time before the falling time.

反応分析部41は、感情盛り上がりの立ち下がり直後にシーン切換点がある場合は（ステップC8/Yes）、視聴者シーン切換検出部42は、そのシーン切換点にStopフラグを立てる（ステップC9）。 When there is a scene switching point immediately after the falling of the emotional excitement (Step C8 / Yes), the reaction analysis unit 41 sets a Stop flag at the scene switching point (Step C9).

また、反応分析部41は、感情盛り上がりの立ち下がり直後にシーン切換点がない場合は（ステップC8/No）、視聴者シーン切換検出部42は、キーワードを検出した時間の直後にシーン切換点にStopフラグを立てる（ステップC10）。 In addition, when there is no scene switching point immediately after the fall of the emotional excitement (Step C8 / No), the reaction analysis unit 41 sets the viewer scene switching detection unit 42 to the scene switching point immediately after the time when the keyword is detected. Set the Stop flag (Step C10).

これにより、シーン特定部4は、視聴者反応抽出部2で抽出した視聴者の反応（キーワード、感情判定の切り替わりポイント、感情盛り上がり）を基に、シーン切換抽出部3で抽出したシーン切換点の中から視聴者の嗜好に即したシーン切換点を特定することができる。 As a result, the scene identification unit 4 uses the viewer response extracted by the viewer response extraction unit 2 (keyword, emotion judgment switching point, emotion excitement) of the scene switching point extracted by the scene switching extraction unit 3. It is possible to specify a scene switching point that suits the viewer's preference.

例えば、視聴者反応抽出部2で抽出した視聴者の反応（キーワード、感情判定の切り替わりポイント、感情盛り上がり）が図８に示す情報であり、シーン切換抽出部3で抽出したシーン切換点が図９に示す情報であると仮定する。この場合、シーン特定部4は、視聴者反応抽出部2で抽出した図８に示す視聴者の反応（キーワード、感情判定の切り替わりポイント、感情盛り上がり）を基に、シーン切換抽出部3で抽出した図９に示すシーン切換点に対して、図１１（a）に示すようなフラグを立てることができる。 For example, the viewer's reaction (keyword, emotion judgment switching point, emotion excitement) extracted by the viewer response extraction unit 2 is the information shown in FIG. 8, and the scene switching point extracted by the scene switching extraction unit 3 is FIG. It is assumed that the information shown in FIG. In this case, the scene specifying unit 4 extracts the scene switching extraction unit 3 based on the viewer's reaction (keyword, emotion judgment switching point, emotion excitement) shown in FIG. 8 extracted by the viewer reaction extraction unit 2. A flag as shown in FIG. 11A can be set for the scene switching point shown in FIG.

例えば、図１１（b）に示す『ゴール』のキーワードを検出した場合は（ステップC1/Yes）、その『ゴール』のキーワードを検出した時間から所定の範囲（Δt1）内に感情判定の切り替わりポイントがあるか否かを判定する（ステップC2）。この場合、感情判定の切り替わりポイントがあるため（ステップC2/Yes）、『ゴール』のキーワードを検出した時間から所定の範囲（Δt2）内の感情盛り上がりを分析する（ステップC3）。そして、感情盛り上がりの分析結果を基に、感情盛り上がりの立ち上がり直前にシーン切換点があるか否かを判定する（ステップC5）。この場合、感情盛り上がりの立ち上がり直前にシーン切換点があるため（ステップC5/Yes）、視聴者シーン切換検出部42は、そのシーン切換点にStartフラグを立てる（ステップC7）。また、感情盛り上がりの分析結果を基に、感情盛り上がりの立ち下がり直後にシーン切換点があるか否かを判定する（ステップC8）。この場合、感情盛り上がりの立ち下がり直後にシーン切換点があるため（ステップC8/Yes）、視聴者シーン切換検出部42は、そのシーン切換点にStopフラグを立てる（ステップC9）。これにより、図１１（a）に示すように、『ロングシュート』にStartフラグを立て、『ゴールならず』にstopフラグを立てることになり、この間を視聴者にとって嗜好性の高いシーンとして認識することができる。 For example, when the “goal” keyword shown in FIG. 11B is detected (step C1 / Yes), the emotion determination switching point is within a predetermined range (Δt1) from the time when the “goal” keyword is detected. It is determined whether or not there is (step C2). In this case, since there is a switching point of emotion determination (step C2 / Yes), emotion excitement within a predetermined range (Δt2) is analyzed from the time when the keyword “goal” is detected (step C3). Then, based on the analysis result of emotion excitement, it is determined whether or not there is a scene switching point immediately before the emotion excitement rises (step C5). In this case, since there is a scene switching point immediately before the rise of emotion excitement (step C5 / Yes), the viewer scene switching detecting unit 42 sets a Start flag at the scene switching point (step C7). Further, based on the analysis result of emotion excitement, it is determined whether or not there is a scene switching point immediately after the fall of emotion excitement (step C8). In this case, since there is a scene switching point immediately after the fall of the emotional excitement (step C8 / Yes), the viewer scene switching detecting unit 42 sets a Stop flag at the scene switching point (step C9). As a result, as shown in FIG. 11A, a start flag is set for “long shot” and a stop flag is set for “not goal”, and this interval is recognized as a highly-preferred scene for the viewer. be able to.

また、図１１（b）に示す『アシスト』のキーワードを検出した場合は（ステップC1/Yes）、その『アシスト』のキーワードを検出した時間から所定の範囲（Δt1）内に感情判定の切り替わりポイントがあるか否かを判定する（ステップC2）。この場合、感情判定の切り替わりポイントがあるため（ステップC2/Yes）、『アシスト』のキーワードを検出した時間から所定の範囲（Δt2）内の感情盛り上がりを分析する（ステップC3）。そして、感情盛り上がりの分析結果を基に、感情盛り上がりの立ち上がり直前にシーン切換点があるか否かを判定する（ステップC5）。この場合、感情盛り上がりの立ち上がり直前にシーン切換点があるため（ステップC5/Yes）、視聴者シーン切換検出部42は、そのシーン切換点にStartフラグを立てる（ステップC7）。また、感情盛り上がりの分析結果を基に、感情盛り上がりの立ち下がり直後にシーン切換点があるか否かを判定する（ステップC8）。この場合、感情盛り上がりの立ち下がり自体がないため（ステップC8/No）、視聴者シーン切換検出部42は、キーワードを検出した時間の直後にシーン切換点にStopフラグを立てる（ステップC10）。これにより、図１１（a）に示すように、『スルーパス』にStartフラグを立て、『センタリング』にstopフラグを立てることになり、この間を視聴者にとって嗜好性の高いシーンとして認識することができる。 When the “assist” keyword shown in FIG. 11B is detected (step C1 / Yes), the emotion determination switching point is within a predetermined range (Δt1) from the time when the “assist” keyword is detected. It is determined whether or not there is (step C2). In this case, since there is a switching point of emotion determination (step C2 / Yes), the emotional excitement within a predetermined range (Δt2) is analyzed from the time when the keyword “Assist” is detected (step C3). Then, based on the analysis result of emotion excitement, it is determined whether or not there is a scene switching point immediately before the emotion excitement rises (step C5). In this case, since there is a scene switching point immediately before the rise of emotion excitement (step C5 / Yes), the viewer scene switching detecting unit 42 sets a Start flag at the scene switching point (step C7). Further, based on the analysis result of emotion excitement, it is determined whether or not there is a scene switching point immediately after the fall of emotion excitement (step C8). In this case, since there is no emotional rise itself (step C8 / No), the viewer scene change detection unit 42 sets a Stop flag at the scene change point immediately after the time when the keyword is detected (step C10). As a result, as shown in FIG. 11 (a), a start flag is set for “through path” and a stop flag is set for “centering”, and this interval can be recognized as a highly-preferred scene for the viewer. .

また、図１１（b）に示す『ゴールゴール』のキーワードを検出した場合は（ステップC1/Yes）、その『ゴールゴール』のキーワードを検出した時間から所定の範囲（Δt1）内に感情判定の切り替わりポイントがあるか否かを判定する（ステップC2）。この場合、感情判定の切り替わりポイントがないため（ステップC2/No）、感情の盛り上がりが閾値（α）以上か否かを判定する（ステップC4）。この場合、感情の盛り上がりが閾値（α）以上であるため（ステップC4/Yes）、『ゴールゴール』のキーワードを検出した時間から所定の範囲（Δt2）内の感情盛り上がりを分析する（ステップC3）。そして、感情盛り上がりの分析結果を基に、感情盛り上がりの立ち上がり直前にシーン切換点があるか否かを判定する（ステップC5）。この場合、感情盛り上がりの立ち上がり直前にシーン切換点があるため（ステップC5/Yes）、視聴者シーン切換検出部42は、そのシーン切換点にフラグを立てる（ステップC7）。また、感情盛り上がりの分析結果を基に、感情盛り上がりの立ち下がり直後にシーン切換点があるか否かを判定する（ステップC8）。この場合、感情盛り上がりの立ち下がり直後にシーン切換点があるため（ステップC8/Yes）、視聴者シーン切換検出部42は、そのシーン切換点にStopフラグを立てる（ステップC9）。これにより、図１１（a）に示すように、『スルーパス』にStartフラグを立て、『リプレイ』にstopフラグを立てることになり、この間を視聴者にとって嗜好性の高いシーンとして認識することができる。 In addition, when the keyword “goal goal” shown in FIG. 11B is detected (step C1 / Yes), the emotion determination is performed within a predetermined range (Δt1) from the time when the keyword “goal goal” is detected. It is determined whether there is a switching point (step C2). In this case, since there is no emotion determination switching point (step C2 / No), it is determined whether or not the emotional excitement is greater than or equal to the threshold value (α) (step C4). In this case, since the emotional excitement is equal to or greater than the threshold (α) (step C4 / Yes), the emotional excitement within a predetermined range (Δt2) is analyzed from the time when the keyword “goal goal” is detected (step C3). . Then, based on the analysis result of emotion excitement, it is determined whether or not there is a scene switching point immediately before the emotion excitement rises (step C5). In this case, since there is a scene switching point immediately before the rise of emotion excitement (step C5 / Yes), the viewer scene switching detecting unit 42 sets a flag at the scene switching point (step C7). Further, based on the analysis result of emotion excitement, it is determined whether or not there is a scene switching point immediately after the fall of emotion excitement (step C8). In this case, since there is a scene switching point immediately after the fall of the emotional excitement (step C8 / Yes), the viewer scene switching detecting unit 42 sets a Stop flag at the scene switching point (step C9). As a result, as shown in FIG. 11A, a start flag is set for “through path” and a stop flag is set for “replay”, and this interval can be recognized as a highly-preferred scene for the viewer. .

また、図１１（b）に示す『くそ』のキーワードを検出した場合は（ステップC1/Yes）、その『くそ』のキーワードを検出した時間から所定の範囲（Δt1）内に感情判定の切り替わりポイントがあるか否かを判定する（ステップC2）。この場合、感情判定の切り替わりポイントがあるため（ステップC2/Yes）、『くそ』のキーワードを検出した時間から所定の範囲（Δt2）内の感情盛り上がりを分析する（ステップC3）。そして、感情盛り上がりの分析結果を基に、感情盛り上がりの立ち上がり直前にシーン切換点があるか否かを判定する（ステップC5）。この場合、感情盛り上がりの立ち上がり直前にシーン切換点があるため（ステップC5/Yes）、視聴者シーン切換検出部42は、そのシーン切換点にフラグを立てる（ステップC7）。また、感情盛り上がりの分析結果を基に、感情盛り上がりの立ち下がり直後にシーン切換点があるか否かを判定する（ステップC8）。この場合、感情盛り上がりの立ち下がり直後にシーン切換点があるため（ステップC8/Yes）、視聴者シーン切換検出部42は、そのシーン切換点にStopフラグを立てる（ステップC9）。これにより、図１１（a）に示すように、『味方の反則』にStartフラグを立て、『押し込まれゴール』にstopフラグを立てることになり、この間を視聴者にとって嗜好性の高いシーンとして認識することができる。 When the “Dam” keyword shown in FIG. 11B is detected (Step C1 / Yes), the emotion determination switching point is within a predetermined range (Δt1) from the time when the “Dam” keyword was detected. It is determined whether or not there is (step C2). In this case, since there is a switching point of emotion determination (step C2 / Yes), emotion excitement within a predetermined range (Δt2) is analyzed from the time when the keyword “Dam” is detected (step C3). Then, based on the analysis result of emotion excitement, it is determined whether or not there is a scene switching point immediately before the emotion excitement rises (step C5). In this case, since there is a scene switching point immediately before the rise of emotion excitement (step C5 / Yes), the viewer scene switching detecting unit 42 sets a flag at the scene switching point (step C7). Further, based on the analysis result of emotion excitement, it is determined whether or not there is a scene switching point immediately after the fall of emotion excitement (step C8). In this case, since there is a scene switching point immediately after the fall of the emotional excitement (step C8 / Yes), the viewer scene switching detecting unit 42 sets a Stop flag at the scene switching point (step C9). As a result, as shown in FIG. 11 (a), a Start flag is set for "Friend's Foul" and a stop flag is set for "Pressed Goal", and this is recognized as a highly-preferred scene for the viewer can do.

なお、図１１（a）に示すようにStart,Stopのフラグを立てたシーン切換点を基に、ダイジェスト情報を生成する場合は、フラグを立てた採用回数が多いシーン切換点や、感情盛り上がりの高いシーン切換点を優先的に使用してダイジェスト情報を生成し、ダイジェスト再生を行う。例えば、図１１（a）の場合は、『スルーパス』が２回採用されおり、その後の『リプレイ』の感情盛り上がりが高いため、『スルーパス』から『リプレイ』までの間のシーンをダイジェスト情報として生成し、その生成したダイジェスト情報を再生する。これにより、視聴者の嗜好に即したシーンを含んだダイジェスト情報を再生することができる。また、早送り、巻き戻しのスキップ再生時にStartのフラグを立てたシーン切換点をスキップ先として利用することで、より効果的な再生視聴が可能となる。 As shown in FIG. 11 (a), when generating the digest information based on the scene switching points where the Start and Stop flags are set, the scene switching points where the flags are set frequently and the emotional excitement are generated. Digest information is generated by preferentially using a high scene switching point, and digest reproduction is performed. For example, in the case of FIG. 11 (a), “Through Pass” is adopted twice, and since the subsequent “Replay” emotional excitement is high, the scene from “Through Pass” to “Replay” is generated as digest information. Then, the generated digest information is reproduced. Thereby, the digest information including the scene according to the viewer's preference can be reproduced. Further, more effective playback and viewing can be performed by using the scene switching point set with the Start flag during skip playback of fast forward and rewind as a skip destination.

なお、図１０、図１１に示す処理動作内で使用するΔt1や、Δt2は、固定である必要はなく、ジャンルに応じて任意に変更したりすることが可能である。例えば、シーンの切換が早いジャンルについては、Δt1や、Δt2を短く設定し、シーンの切換が遅いジャンルについては、Δt1や、Δt2を長く設定することも可能である。また、視聴者反応抽出部2で抽出した視聴者の反応（キーワード、感情判定の切り替わりポイント、感情盛り上がり）に応じてΔt1や、Δt2を動的に変更することも可能である。 Note that Δt1 and Δt2 used in the processing operations shown in FIGS. 10 and 11 do not need to be fixed and can be arbitrarily changed according to the genre. For example, Δt1 and Δt2 can be set short for a genre where scene switching is fast, and Δt1 and Δt2 can be set long for a genre where scene switching is slow. It is also possible to dynamically change Δt1 and Δt2 according to the viewer's reaction (keyword, emotion judgment switching point, emotion excitement) extracted by the viewer response extraction unit 2.

また、図１０、図１１に示す処理動作では、重要シーンを確実に含めるために、ステップC5において、感情盛り上がりの立ち上がり直前にシーン切換点があるか否かを判定し、ステップC8において、感情盛り上がりの立ち上がり直後にシーン切換点があるか否かを判定することにした。しかし、ステップC5において、感情盛り上がりの立ち上がり直後にシーン切換点があるか否かを判定し、ステップC8において、感情盛り上がりの立ち上がり直前にシーン切換点があるか否かを判定することも可能である。即ち、図１０、図１１に示す処理動作で使用する直前、直後は、任意に設定変更することが可能である。 In the processing operations shown in FIGS. 10 and 11, in order to include important scenes reliably, in step C5, it is determined whether or not there is a scene switching point immediately before the rise of the emotional excitement. In step C8, the emotional excitement is determined. It was decided whether or not there is a scene switching point immediately after the rise of. However, in step C5, it is possible to determine whether there is a scene switching point immediately after the rise of emotional excitement, and in step C8, it is also possible to determine whether there is a scene switching point immediately before the rise of emotional excitement. . That is, the setting can be arbitrarily changed immediately before and immediately after use in the processing operation shown in FIGS.

＜本実施形態の編集装置100の作用・効果＞
このように、本実施形態の編集装置100において、生体情報取得部1は映像コンテンツを視聴している時の視聴者の生体情報を取得し、視聴者反応抽出部2は、生体情報取得部1で取得した視聴者の生体情報を基に、映像コンテンツを視聴している時の視聴者の反応（キーワード、感情判定の切り替わりポイント、感情盛り上がり）を抽出する。また、シーン切換抽出部3は、映像コンテンツのシーン切換点を抽出する。そして、シーン特定部4は、視聴者反応抽出部2で抽出した視聴者の反応（キーワード、感情判定の切り替わりポイント、感情盛り上がり）を基に、シーン切換抽出部3で抽出したシーン切換点の中から視聴者の嗜好に即したシーン切換点を特定する。これにより、視聴者の嗜好に即したシーンを特定することができる。 <Operation / Effect of Editing Device 100 of this Embodiment>
Thus, in the editing apparatus 100 of the present embodiment, the biometric information acquisition unit 1 acquires the biometric information of the viewer when viewing the video content, and the viewer reaction extraction unit 2 includes the biometric information acquisition unit 1 The viewer's reaction (keyword, emotion judgment switching point, emotion excitement) when viewing the video content is extracted based on the viewer's biometric information acquired in (1). The scene change extraction unit 3 extracts scene change points of the video content. Then, the scene specifying unit 4 uses the viewer response extracted by the viewer response extraction unit 2 (keyword, emotion judgment switching point, emotion excitement), among the scene switching points extracted by the scene switching extraction unit 3. From this, the scene switching point that matches the viewer's preference is specified. As a result, it is possible to specify a scene that matches the viewer's preference.

例えば、映像コンテンツがチームA対チームBのサッカー番組とする。また、視聴者がチームAのファンであるとする。この場合、視聴者は、映像コンテンツを視聴している時に、主に、チームAに即した反応をすることになるため、視聴者反応抽出部2は、チームAに即した視聴者の反応（キーワード、感情判定の切り替わりポイント、感情盛り上がり）を抽出することになる。その結果、シーン特定部4は、視聴者反応抽出部2で抽出したチームAに即した視聴者の反応（キーワード、感情判定の切り替わりポイント、感情盛り上がり）を基に、シーン切換抽出部3で抽出したシーン切換点の中からチームAに即したシーン切換点を特定することができる。 For example, assume that the video content is a soccer program of team A vs. team B. Also assume that the viewer is a fan of Team A. In this case, since the viewer mainly responds to team A when viewing the video content, the viewer response extraction unit 2 responds to the viewer's response ( Keywords, emotion judgment switching points, emotion excitement). As a result, the scene identification unit 4 extracts the scene switching extraction unit 3 based on the viewer's reaction (keyword, emotion judgment switching point, emotion excitement) in accordance with the team A extracted by the viewer reaction extraction unit 2. It is possible to specify a scene switching point that matches Team A from the selected scene switching points.

なお、上述する実施形態は、本発明の好適な実施形態であり、上記実施形態のみに本発明の範囲を限定するものではなく、本発明の要旨を逸脱しない範囲において種々の変更を施した形態での実施が可能である。 The above-described embodiment is a preferred embodiment of the present invention, and the scope of the present invention is not limited to the above-described embodiment alone, and various modifications are made without departing from the gist of the present invention. Implementation is possible.

例えば、上述した本実施形態における編集装置100を構成する各装置における制御動作は、ハードウェア、または、ソフトウェア、あるいは、両者の複合構成を用いて実行することも可能である。 For example, the control operation in each device configuring the editing device 100 in the present embodiment described above can be executed using hardware, software, or a composite configuration of both.

なお、ソフトウェアを用いて処理を実行する場合には、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれているコンピュータ内のメモリにインストールして実行させることが可能である。あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。 In the case of executing processing using software, it is possible to install and execute a program in which a processing sequence is recorded in a memory in a computer incorporated in dedicated hardware. Alternatively, the program can be installed and executed on a general-purpose computer capable of executing various processes.

例えば、プログラムは、記録媒体としてのハードディスクやROM（Read Only Memory）に予め記録しておくことが可能である。あるいは、プログラムは、リムーバブル記録媒体に、一時的、あるいは、永続的に格納（記録）しておくことが可能である。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することが可能である。なお、リムーバブル記録媒体としては、フロッピー（登録商標）ディスク、CD-ROM（Compact Disc Read Only Memory）、MO（Magneto optical）ディスク、DVD（Digital Versatile Disc）、磁気ディスク、半導体メモリなどが挙げられる。 For example, the program can be recorded in advance on a hard disk or ROM (Read Only Memory) as a recording medium. Alternatively, the program can be stored (recorded) temporarily or permanently in a removable recording medium. Such a removable recording medium can be provided as so-called package software. Examples of the removable recording medium include a floppy (registered trademark) disk, a CD-ROM (Compact Disc Read Only Memory), an MO (Magneto optical) disk, a DVD (Digital Versatile Disc), a magnetic disk, and a semiconductor memory.

なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールすることになる。また、ダウンロードサイトから、コンピュータに無線転送することになる。また、ネットワークを介して、コンピュータに有線で転送することになる。 The program is installed in the computer from the removable recording medium as described above. In addition, it is wirelessly transferred from the download site to the computer. In addition, it is transferred to the computer via a network by wire.

また、本実施形態における編集装置100は、上記実施形態で説明した処理動作に従って時系列的に実行されるのみならず、処理を実行する装置の処理能力、あるいは、必要に応じて並列的にあるいは個別に実行するように構築することも可能である。 In addition, the editing apparatus 100 according to the present embodiment is not only executed in time series according to the processing operation described in the above embodiment, but also the processing capability of the apparatus that executes the process, or in parallel as necessary. It can also be constructed to run individually.

１００編集装置
２００再生装置
１生体情報取得部
１１マイク
１２カメラ
２視聴者反応抽出部
２１番組情報取得部
２２ジャンル判別部
２３ジャンル別キーワード特定部
２４キーワードＤＢ
２５感情判定ＤＢ
２６センシング部
３シーン切換抽出部
３１コンテンツ解析部
３２シーン切換検出部
４シーン特定部
４１反応分析部
４２視聴者シーン切換検出部 DESCRIPTION OF SYMBOLS 100 Editing apparatus 200 Playback apparatus 1 Biometric information acquisition part 11 Microphone 12 Camera 2 Viewer reaction extraction part 21 Program information acquisition part 22 Genre discrimination | determination part 23 Genre specific keyword specific part 24 Keyword DB
25 Emotion Judgment DB
26 Sensing unit 3 Scene switching extracting unit 31 Content analyzing unit 32 Scene switching detecting unit 4 Scene specifying unit 41 Reaction analyzing unit 42 Viewer scene switching detecting unit

Claims

An editing device for identifying a scene of content,
Biometric information acquisition means for acquiring biometric information of the viewer when viewing the content;
Identifying means for identifying a scene having a predetermined reaction to the biological information from the content;
Keyword management means for managing keywords for identifying the viewer's reaction;
Emotion information management means for managing emotion information for identifying the viewer's emotion;
Keyword extracting means for extracting the keyword from the biological information;
Emotion information extracting means for extracting the emotion information from the biological information;
Switching point detecting means for detecting a switching point at which the emotion specified by the emotion information is switched,
The specifying means determines that the time when the keyword is extracted as the time when a predetermined reaction has been made to the biological information when the switching point is detected within a predetermined range from the time when the keyword is extracted; An editing apparatus that identifies a scene corresponding to the time from the contents .

The emotion information management means manages the emotion information for specifying each emotion of emotions in association with each emotion,
The emotion information extracting means extracts the emotion information of each emotion from the biological information,
The SWITCHING point detection means, based on said emotion information for each emotion, the emotion information editing apparatus according to claim 1, characterized in that to detect a switching point has been switched most often the emotions.

A calculation means for calculating an emotion excitement value obtained by adding the emotion information of each emotion;
If the switching means is not detected within a predetermined range from the time when the keyword is extracted, the specifying means determines that the living body value is greater than or equal to a predetermined threshold when the emotion excitement value at the time when the keyword is extracted The editing apparatus according to claim 1 , wherein the editing apparatus determines that the information has a predetermined reaction time.

Generating means for generating digest information of the scene specified by the specifying means;
The generating unit generates digest information by preferentially using at least one of a scene having a large number of times specified by the specifying unit and a scene having the emotion rising value equal to or greater than a predetermined threshold. The editing apparatus according to claim 3 .

A control method performed by an editing device that identifies a scene of content,
A biometric information acquisition step of acquiring biometric information of the viewer when viewing the content;
A specific step of identifying a scene having a predetermined reaction to the biological information from the content;
A keyword management process for managing keywords for identifying the viewer's reaction;
An emotion information management process for managing emotion information for identifying the viewer's emotion;
A keyword extraction step of extracting the keyword from the biological information;
An emotion information extraction step of extracting the emotion information from the biological information;
A switching point detection step of detecting a switching point at which the emotion specified by the emotion information is switched,
In the specific step, when the switching point is detected within a predetermined range from the time when the keyword is extracted, the time when the keyword is extracted is determined as a time when a predetermined reaction has occurred in the biological information, A control method characterized by identifying a scene corresponding to the time from the content .

A program to be executed by a computer of an editing device that identifies a scene of content,
Biometric information acquisition processing for acquiring biometric information of the viewer when viewing the content;
A specific process for identifying a scene having a predetermined reaction to the biological information from the content;
A keyword management process for managing keywords for identifying the viewer's reaction;
Emotion information management processing for managing emotion information for identifying the viewer's emotion;
A keyword extraction process for extracting the keyword from the biological information;
Emotion information extraction processing for extracting the emotion information from the biological information;
Causing the computer to execute a switching point detection process for detecting a switching point at which the emotion specified by the emotion information is switched ,
In the specific process, when the switching point is detected within a predetermined range from the time when the keyword is extracted, the time when the keyword is extracted is determined as the time when a predetermined reaction has occurred in the biological information, A program for specifying a scene corresponding to the time from the content .