JP5886839B2 - 情報処理装置、情報処理方法、プログラム、記憶媒体及び集積回路 - Google Patents

情報処理装置、情報処理方法、プログラム、記憶媒体及び集積回路 Download PDF

Info

Publication number
JP5886839B2
JP5886839B2 JP2013516189A JP2013516189A JP5886839B2 JP 5886839 B2 JP5886839 B2 JP 5886839B2 JP 2013516189 A JP2013516189 A JP 2013516189A JP 2013516189 A JP2013516189 A JP 2013516189A JP 5886839 B2 JP5886839 B2 JP 5886839B2
Authority
JP
Japan
Prior art keywords
scene
priority
scenes
positions
playback
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013516189A
Other languages
English (en)
Other versions
JPWO2012160771A1 (ja
Inventor
慎吾 宮本
慎吾 宮本
山本　雅哉
雅哉 山本
槻館　良太
良太 槻館
井上　隆司
隆司 井上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Priority to JP2013516189A priority Critical patent/JP5886839B2/ja
Publication of JPWO2012160771A1 publication Critical patent/JPWO2012160771A1/ja
Application granted granted Critical
Publication of JP5886839B2 publication Critical patent/JP5886839B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/74—Browsing; Visualisation therefor
    • G06F16/745—Browsing; Visualisation therefor the internal structure of a single video sequence
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/782—Television signal recording using magnetic recording on tape
    • H04N5/783—Adaptations for reproducing at a rate different from the recording rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Television Signal Processing For Recording (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Description

本発明は、動画コンテンツからハイライト動画の作成を支援する技術に関する。
従来からユーザの効率的な視聴に供するために、オリジナルとなる動画コンテンツの中から見所となるシーンの抽出を支援する技術がある（例えば、特許文献１〜４参照）。
特開２００８−９８７１９号公報 特開２００７−１３４７７０号公報 特開２０００−２３５６３７号公報 特開平６−１６５００９号公報
ハイライト動画の作成には、元の動画コンテンツから、適切な部分を抽出して行う必要がある。
そこで、本発明は、良好なハイライト動画の作成に資することができる情報処理装置を提供することを目的とする。
本発明に係る情報処理装置は、動画コンテンツについて、複数の再生位置の指定をユーザから受け付ける受付手段と、受け付けた複数の再生位置に基づいて、それぞれ再生位置を１以上含み前記動画コンテンツの区間を示す複数のシーンを抽出する抽出手段と、抽出されたシーン毎に、優先度を付与する付与手段と、各シーンに付与された優先度に基づいて１以上のシーンの長さを調整し、調整後に、各シーンをつなぎ合わせてハイライト動画を作成する作成手段と、
を備えることを特徴としている。
本発明に係る情報処理装置によれば、良好なハイライト動画の作成に資することができる。
実施の形態１における情報処理装置の構成を示す図 マークに関するメタデータのデータ構造を示す図 ハイライト動画作成の全体動作のフローチャートを示す図 マーク入力ステップの動作のフローチャートを示す図 ユーザがマークを入力する場面の一例を示す図 ハイライトシーン抽出ステップの動作のフローチャートを示す図 マークからハイライトシーンを抽出する一例を示す図 ハイライトシーン優先度付与ステップの動作のフローチャートを示す図 ハイライトシーンの再生区間の長さの観点からの優先度付与の一例を示す図 ハイライトシーン内のマークの密度の観点からの優先度付与の一例を示す図 ハイライトシーン長調整ステップの動作のフローチャートを示す図 優先度の低いハイライトシーンの再生区間の長さを短くした後で、ハイライト動画を作成する一例を示す図 実施の形態２における情報処理装置の構成を示す図 ハイライトシーン抽出ステップの動作のフローチャートを示す図 ハイライトシーン抽出ステップの一例を示す図 ハイライトシーン優先度付与ステップの動作のフローチャートを示す図 ハイライトシーンの再生区間の長さ、及び１ショット内のハイライトシーンの再生区間の長さの合計値による場合分けを示す図 １ショット内の複数のハイライトシーンの関係性を示す図 １ショット内のハイライトシーンの再生区間の長さの合計値がＴ１以下の場合の優先度付与を示す図 １ショット内のハイライトシーンの再生区間の長さの合計値がＴ２以下の場合の優先度を示す図 １ショット内のハイライトシーンの再生区間の長さの合計値がＴ２より大きい場合の優先度を示す図 リモコンを用いた優先度の付与の例を示す図 実施の形態３における情報処理装置の構成を示す図 マーク付与に利用する指標の例を示す図 実施の形態４における情報処理装置の構成を示す図 情報処理装置の概要構成を示す図
＜本実施形態を想到するに至った経緯＞
本発明者らは、ユーザの指定に基づいて抽出した、あるいは自動的に抽出したシーンをつなぐことによって、ハイライト動画を作成することを検討した。
しかし、抽出したシーンをそのままつないで作成したハイライト動画は、全体の長さが短すぎて内容把握が難しかったり、長すぎて冗長であったりすることがあり、必ずしもユーザが満足するものにならない。
本実施の形態はこのような背景の元になされたものであって、主にハイライト動画の作成のために、前記シーンの長さを最適な長さに調整することを目的とする。
以下、本発明の実施の形態について、図面を参照しながら説明する。
（実施の形態１）
＜情報処理装置の構成＞
図１は、実施の形態１に係る情報処理装置１０の構成を示す図である
情報処理装置１０は、ユーザ入力受付部１２、ハイライトシーン抽出部１４、優先度付与部１６、ハイライト動画作成部１８（長さ調整部２０を含む）、記憶部２２、管理部２４、デコード部２６、表示制御部２８を備える。
ユーザ入力受付部１２は、リモコン２を介してユーザの入力を受け付ける機能を有する。
リモコン２は、動画の再生など（再生開始、再生停止、スキップ、早送り、巻き戻しなど）を指示するための複数のボタン、及びユーザがハイライト動画として希望するシーンを指定するためのボタンを含む。
ユーザが前記シーンを指定する方法としては、前記シーンの始点及び終点を手動で指定しても良いし、前記シーンの一部分を指定しても良い。
本実施の形態では、ユーザが後者の指定を行うとして説明する。具体的には、ユーザは面白いと感じた時に前記ハイライト動画として希望するシーンを指定するためのボタンを押下して「マーク」を入力する。ここでマークは、ユーザが面白いと感じた動画、及びその再生位置を識別するための情報から構成される。
このようなマークは、前述のように、ユーザが指定したものであってもよく、情報処理装置１０またはその他の機器が、動画を解析することにより自動的に指定したものであってもよい。実施の形態１では、マークはユーザが指定したものである場合を例として説明する。
リモコン２においてボタンが押下されると、リモコン２はユーザ入力受付部１２へとユーザの指示内容を示す情報を送信する。
ユーザ入力受付部１２は、受信した情報に示される指示内容をユーザの入力として受け付ける。
ハイライトシーン抽出部１４は、前記マークに基づいて記憶部２２に記憶された動画コンテンツの中から、ハイライトシーンを抽出する。このハイライトシーンとは、ユーザが好む場面あるいは好むであろうと推測される場面のことである。
優先度付与部１６は、必要に応じてハイライトシーン抽出部１４により抽出されたハイライトシーン毎に優先度を付与する。
ハイライト動画作成部１８は、抽出したハイライトシーンをつなぎ合わせてハイライト動画を作成する。
長さ調整部２０は、ハイライトシーンをつなぎ合わせて作成したハイライト動画の長さが最適かどうかの判定を行い、最適でないときには、ハイライトシーン抽出部１４に長さを変えたハイライトシーンの再抽出処理を依頼することで、ハイライト動画の長さを調整する。
これらハイライトシーンの抽出、優先度付与及びハイライト動画作成の詳細については後述する。
記憶部２２は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などから構成されており、動画コンテンツ及びメタデータを記憶する。
この動画コンテンツとしては、ハイライトシーンの抽出対象として一定の長さを有するものであれば足り、特に限定されない。本実施の形態では、動画コンテンツの例として、ユーザ自身が撮影することにより作成したユーザ作成コンテンツであるとして説明する。なぜなら、このようなユーザ作成コンテンツは、冗長なシーンが入りがちなのでハイライト動画を作成したいというユーザの要望が多いためである。
また、記憶部２２が記憶するメタデータの内容の一例は図２の通りである。
図２のメタデータの構造を示すテーブル２３は、「動画コンテンツＩＤ」２３ａ、「ショットＩＤ」２３ｂ、「マークＩＤ」２３ｃ、「マークの再生位置（秒）」２３ｄの項目を含む。
「動画コンテンツＩＤ」２３ａは、記憶部２２が記憶している動画コンテンツを一意に識別するための識別子である。
「ショットＩＤ」２３ｂは、「動画コンテンツＩＤ」２３ａに示される動画コンテンツに対応する１以上のショットを識別するための識別子である。ここで「ショット」とは、ユーザ動画の撮影時において、１回の撮影開始から撮影終了までの単位である。
「マークＩＤ」２３ｃは、マークを識別するための識別子である。
「マークの再生位置（秒）」２３ｄは、マークＩＤに対応する再生位置を示す。なお、この情報としては再生位置を示す情報であれば足り、例えば、秒数に代えて動画のフレームＩＤを用いてもよい。
管理部２４は、動画コンテンツの再生及びメタデータに関する管理を担う機能を有する。
具体的には、ユーザ入力受付部１２が動画の再生指示を受け付けると、この指示に基づいて管理部２４は、記憶部２２に記憶された動画コンテンツをデコード部２６にデコードさせる。そして、管理部２４は、表示制御部２８を介してディスプレイ４上にデコードされた動画コンテンツを表示する。
また、管理部２４は、動画コンテンツの再生中に、ユーザ入力受付部１２がユーザからのマークの入力を受け付けると、マークの受け付け時に再生中の動画コンテンツの動画コンテンツＩＤやその再生位置などをメタデータとして記憶部２２に記憶させる。
なお、図２で示したメタデータの内容は一例に過ぎず、これに限られない。例えば、動画コンテンツに対するショットの帰属管理を、別途プレイリスト等で行う場合も考えられる。
＜ハイライト動画作成の全体動作＞
次に、実施の形態１における情報処理装置１０のハイライト動画作成の全体動作について図３を用いて説明する。
情報処理装置１０においては、まず、マーク入力ステップ（Ｓ３１０）の処理を行う。
続いて、情報処理装置１０は、上記ユーザから入力を受け付けたマークの再生位置を基にハイライトシーンを抽出するハイライトシーン抽出ステップ（Ｓ３２０）を実行する。
そして、前記ハイライトシーン抽出ステップ（Ｓ３２０）で抽出したハイライトシーンをつないだハイライト動画の長さが最適かどうかを判定するステップ（Ｓ３３０）の処理を行う。
ハイライト動画の長さが最適でないと判定した場合（Ｓ３３０：Ｎｏ）には、上記ステップＳ３２０で抽出したハイライトシーン毎に優先度を付与するハイライトシーン優先度付与ステップ（Ｓ３４０）と、付与した優先度に基づいてハイライトシーンの再生区間の長さを調整するハイライトシーン長調整ステップ（Ｓ３５０）を実行する。
なお、ステップＳ３３０のハイライト動画の長さが最適な状態とは、例えば、ステップＳ３２０で抽出されたハイライトシーンをそのままつないだハイライト動画の長さが、所定の下限値から上限値の間（例えば、５分から１５分の間）に収まっている状態である。
＜マーク入力ステップ＞
まず、マーク入力ステップ（Ｓ３１０）の詳細について図４を用いて説明する。
まず、管理部２４により動画コンテンツの再生が開始されると、ユーザ入力受付部１２は、ユーザによるマークの入力の受け付けを開始して（Ｓ４１０）、その入力を待つ（Ｓ４２０：Ｎｏ）。
ユーザ入力受付部１２が、マークの入力を受け付けると（Ｓ４２０：Ｙｅｓ）、受け付けたマークを構成する情報を記憶部２２にメタデータとして格納する（Ｓ４３０）。図２の例の場合、この受け付けたマークを構成する情報は、動画コンテンツＩＤ、ショットＩＤ、マークＩＤ、及びマークの再生位置を含む。
なお、メタデータとして格納すべきマークの再生位置については、マークの受け付け時点でデコード部２６がデコード中のフレームに対応する再生位置でもよいし、マークの受け付け時点で管理部２４が読み出し中のフレームに対応する再生位置でもよい。
このステップＳ４２０〜Ｓ４３０の処理は、ユーザ入力受付部１２が、動画コンテンツの再生の停止を受け付けるか（Ｓ４４０）、動画コンテンツが終端まで再生されて完了するまで（Ｓ４５０）、繰り返される。
図５に、ユーザがマークを入力する場面の一例を示す。
この図５の例では、ユーザは自身が撮影した娘が通う幼稚園のお遊戯会の動画コンテンツを視聴している。ユーザは娘を見たいと考えているため、娘が活躍したときに、リモコン２のハイライトボタンを押下している。
＜ハイライトシーン抽出ステップ＞
次に、ハイライトシーン抽出ステップ（Ｓ３２０）について図６を用いて詳述する。
上記マーク入力ステップ（Ｓ３１０）が完了すると、管理部２４は、ハイライトシーン抽出部１４に対して当該マーク入力ステップが完了した旨を通知する。
これを受信したハイライトシーン抽出部１４は、記憶部２２に格納されているメタデータのうち、完了直前に再生していた動画コンテンツに関連付けられたマークを取得する（Ｓ６１０）。
例えば、メタデータの内容が図２の例のような構成であり、完了直前に再生していた動画コンテンツのＩＤが０ならば、図２の表の上から３行分のメタデータを取得する。
次に、ハイライトシーン抽出部１４は、まだ対応するハイライトシーンを抽出していないマークそれぞれについて、マークの再生位置前後の再生区間をハイライトシーンとして抽出する（Ｓ６２０）。
ステップＳ６２０の抽出方法としてはいくつかの手法が考えられる。例えば、マークを利用して固定長のシーンをハイライトシーンとして抽出する方法が考えられる。
本方法では、マークの再生位置の前後の再生区間を設定された固定長分だけハイライトシーンとして抽出する。また、前記手法では、複数のマーク間の再生位置の差が前記固定長より小さい場合、前記複数のマークから抽出したハイライトシーン同士が重なる。この場合、最初のマークから固定長分遡った時点から、最後のマークの再生位置から固定長分後の時点までの再生区間をハイライトシーンとして抽出する。
図７に前記固定長を５秒とした場合の前記手法の一例を示す。図７（ａ）では、マークの再生位置が２１秒であるため、その前後５秒の再生区間である１６秒から２６秒までをハイライトシーンとして抽出する。また、図７（ｂ）では、最初のマークの再生位置（２１秒）から５秒遡った１６秒を始点とし、次のマークの再生位置（２３秒）から５秒後の時点の２８秒を終点とするような再生区間をハイライトシーンとして抽出する。
なお、図７で固定長として設定した５秒は一例でありこれに限られない。また、ハイライトシーンの抽出方法は前記固定長を抽出するような手法に限らず、マークの再生位置が含まれるようなハイライトシーンの抽出方法であればどのような方法を用いても良い。
例えば、マークの再生位置の前後の再生区間の各フレームの画像特徴量を計算して比較し、マークの再生位置の前後の再生区間のそれぞれで画像特徴量の差分が閾値以上になるようなフレームをハイライトシーンの切れ目とするようにハイライトシーンを抽出する特許文献３などで開示されている方法を用いても良い。
また、マークの再生位置の前後のフレームを音響の観点から細分化してそれぞれ音環境に関する特徴量とその平均値を導出し、特徴量と平均値との差分が閾値以上になるようなフレームをシーンの切れ目とするようなシーンを抽出する方法を用いても良い。
さらに、マークの再生位置の前後の再生区間のフレームを撮影した際のユーザの撮影機器の操作内容がある特定の操作内容であった場合、その特定の操作を行ったフレームをハイライトシーンの切れ目とするようなハイライトシーンを抽出する特許文献４などで開示されている方法を用いても良い。
また、ハイライトシーンの抽出方法は、上に列挙した方法に限定されるものでもない。
＜ハイライトシーン優先度付与ステップ＞
次に、ハイライトシーン優先度付与ステップ（Ｓ３４０）について図８を用いて説明する。
まず優先度付与部１６は、「ハイライトシーンの再生区間の長さ」の観点から、優先度を付与する（Ｓ８１０）。
ここでユーザは面白いと思ったシーンを凝縮したハイライト動画を望むため、ハイライトシーンの再生区間の長さが長すぎず「面白いと分かる程度に長い」ことが必要である。そこで、明らかに短すぎる、及び長すぎるシーンの優先度を下げる。
具体的には、ハイライトシーンの再生区間の長さに次の２種類の指標Ｔ１、Ｔ２（Ｔ１＜Ｔ２）を導入し、ハイライトシーンの再生区間の長さがＴ１より短い、あるいはＴ２より長い場合は優先度を最低とする。なお、この手法は一例でありこれに限られない。
ここで、「Ｔ１」とは面白いと分かる程度の最短の長さである。また、「Ｔ２」とは飽きないで楽しめる程度の最長の長さである。
図９は、ハイライトシーンの再生区間の長さによる優先度付与の一例を示す図である。ここでは、ショット２の２つ目のマークから抽出されたハイライトシーンの再生区間の長さがＴ１より小さいため、優先度が最低と判定されている。また、ショット３から抽出されたハイライトシーンの再生区間の長さがＴ２より大きいため、同様に優先度が最低と判定されている。
次に、優先度付与部１６は、ステップＳ８１０で長さがＴ１以上且つＴ２以下であったハイライトシーンについて、「ハイライトシーン内のマークの密度」の観点から優先度を付与する（Ｓ８２０）。
この「ハイライトシーン内のマークの密度」に基づいた優先度の付与の一例を詳述する。ここでマークの密度とは、１ハイライトシーンあたりのマークの数とする。
「複数の見所が集まったハイライトシーン」は少し長くても連続して見ることで面白さが増す。そこで、１つのハイライトシーン内のマークの密度が高いハイライトシーンの優先度を上げる。つまり、優先度付与部１６は、１ハイライトシーンあたりのマークの数が多いならば優先度を上げ、１ハイライトシーンあたりのマークの数が少ないならば優先度を下げるのである。
図１０は、ハイライトシーン内のマークの密度による優先度付与の一例を示す図である。ここでは、ショット２から抽出された右側のハイライトシーンのマークの密度が高いため、最も高い優先度１と判定されている。次に、ショット１から抽出されたハイライトシーンのマークの密度が中程度であるため、優先度２と判定されている。次に、ショット２から抽出された左側のハイライトシーンのマークの密度が低いため、優先度３と判定されている。最後に、ショット３から抽出されたハイライトシーンのマークの密度が最低であるため、優先度４と判定されている。なお、マークの密度として、ハイライトシーンごとの単位時間辺りのマーク数を用いても良い。
最後に、優先度付与部１６は、ステップＳ８１０とステップＳ８２０の結果、同一の優先度となったハイライトシーン同士を比較・分析して詳細な優先度を付与する（Ｓ８３０）。詳細な優先度を付与する方法としては、例えば次のような方法が考えられる。
・特定の画像が含まれるハイライトシーンの優先度を高くする（例：子供の顔画像が含まれているハイライトシーン）
・特定の音響が含まれるハイライトシーンの優先度を高くする（例：子供の歌が含まれているハイライトシーン）
・撮影時に特定の操作を行っているハイライトシーンの優先度を高くする（例：ズームした直後のハイライトシーン）
・撮影に失敗していると想定されるハイライトシーンの優先度を低くする（例：手ぶれがひどいハイライトシーン）
・特定のメタデータを含むハイライトシーンの優先度を高くする（例：同一シーンの静止画を撮影しているハイライトシーン）
このような詳細な優先度を付与する方法により、ハイライトシーンに対してユーザの主観を反映した優先度を付与することが可能となる。
また、上記ハイライトシーンに詳細な優先度を付与する方法の全て、あるいはそれらの内の複数の方法を選択してハイライトシーンに得点を付け、その得点に基づいて優先度を付与しても良い。さらに、ステップＳ３３０でハイライト動画の長さを確認する際に事前に設定された時間よりも長すぎるのか、それとも短すぎるのかを合わせて確認しておいて、それぞれの場合に異なる方法で優先度を付与しても良い。

＜ハイライトシーン長調整ステップ＞
最後に、ハイライトシーン長調整ステップ（Ｓ３５０）について図１１を用いて詳述する。
優先度付与部１６は、ステップＳ３４０が完了するとハイライトシーン動画作成部１８にその旨を通知する。これを受信したハイライト動画作成部１８の長さ調整部２０は、ハイライト動画の長さが設定時間よりも長いかどうかを確認する（Ｓ１１１０）。
ハイライト動画の長さが設定時間よりも長かった場合（Ｓ１１１０：Ｙｅｓ）、長さ調整部２０は、ハイライトシーン抽出部１４にハイライトシーンの長さをより短くするようハイライトシーンの再抽出処理を依頼する。
依頼を受けたハイライトシーン抽出部１４は、その時点で抽出されている全てのハイライトシーンの中から長さの調整を行っていないハイライトシーンを抽出し、その内、優先度が最も低いハイライトシーンの再生区間の長さを短くする（Ｓ１１２０）。
このような再抽出依頼に基づいてハイライトシーンの再生区間の長さを短くする方法としては、ハイライトシーン抽出部１４が、最初の抽出処理（Ｓ３２０）で用いたアルゴリズムを利用してハイライトシーンの再生区間がより短くなるようパラメータを変更して再抽出を行う手法がある。
例えば、最初の抽出処理（Ｓ３２０）で、前記マークの再生位置の前後の再生区間を設定された固定長分だけハイライトシーンとして抽出する方法を用いた場合、固定長を最初の抽出時よりも短くすることが考えられる。具体的には、図７で５秒に設定されている固定長を３秒へと短く設定する。
また、最初の抽出処理（Ｓ３２０）で、前記画像特徴量や音環境の特徴量を分析するような方法を用いた場合、画像間の各特徴量の差分を比較する閾値などのパラメータを調整し、上記最初の抽出処理（Ｓ３２０）で抽出したハイライトシーンよりも短くなるように、マークの再生位置の前後の再生区間をハイライトシーンとして抽出することが考えられる。
さらに、最初の抽出処理（Ｓ３２０）で、前記撮影機器の操作内容を分析するような方法を用いた場合マークの再生位置に近い方のシーンの切れ目をそのままハイライトシーンの始点として採用し、マークの再生位置の部分を含み且つステップＳ３２０で抽出したハイライトシーンよりも短くなるようにハイライトシーンの終点を設定することが考えられる。
なお、再抽出依頼に基づいて、ハイライトシーンの再生区間の長さを短くする方法として最初の抽出処理（Ｓ３２０）で用いたアルゴリズムとは異なる方法を利用してもよい。また、前記ハイライトシーンの再生区間の長さを短くする方法は、これらに限定されるものでもない。
さらに、ステップＳ１１２０では、付与された優先度が最低のハイライトシーンのうち、ハイライトシーンの再生区間の長さがＴ１よりも短いような短すぎるハイライトシーンを調整対象から除外する、あるいはハイライトシーンの再生区間の長さを長くするようにしても良い。
次に、ステップＳ１１２０で１つのハイライトシーンを短くする処理が完了すると、ハイライト動画作成部１８は、ハイライト動画全体の長さと設定時間の差分が予め設定された閾値以内であるかどうかを確認する（Ｓ１１３０）。閾値以内であればハイライトシーン長調整ステップを完了する。一方、閾値以上であれば、ステップＳ１１２０に戻り、長さ調整部２０は、ハイライトシーン抽出部１４にハイライトシーンの長さをより短くするようハイライトシーンの再抽出処理を依頼する。依頼を受けたハイライトシーン抽出部１４は、その時点で抽出されている全てのハイライトシーンの中から、 長さの調整を行っていないハイライトシーンを抽出し、その内、優先度が最も低いハイライトシーンの再生区間の長さを短くする。
一方、ステップＳ１１１０の比較で設定時間よりも短かった場合、長さ調整部２０は、ハイライトシーン抽出部１４にハイライトシーンの長さをより長くするようハイライトシーンの再抽出処理を依頼する。まず、依頼を受けたハイライトシーン抽出部１４は、長さの調整を行っていないハイライトシーンのうち、優先度が最も高いシーンの再生区間の長さを長くする（Ｓ１１４０）。ハイライトシーンの再生区間の長さを長くする方法は、ステップＳ１１２０のハイライトシーンを短くする方法と同様に、ハイライトシーン抽出ステップ（Ｓ３２０）でハイライトシーンを抽出する方法と同様の方法を用いても良いし、異なる方法を用いても良い。
なお、ステップＳ１１４０では、付与された優先度が最低のハイライトシーンのうち、ハイライトシーンの再生区間の長さがＴ２よりも長いハイライトシーンを調整対象から除外する、あるいはハイライトシーンの再生区間の長さを短くするようにしても良い。
１つのハイライトシーンを長くすると、長さ調整部２０は、ハイライト動画の長さと設定時間の差分が予め設定された閾値以内であるかどうかを確認する（Ｓ１１５０）。閾値以内であれば（Ｓ１１５０：Ｙｅｓ）ハイライトシーン長調整ステップを完了する。一方、閾値以上であれば（Ｓ１１５０：Ｎｏ）、ステップＳ１１４０に戻り、次に優先度の高いハイライトシーンの再生区間の長さを長くする。
以上説明したように、本実施の形態によれば、ハイライトシーンに付与された優先度に基づいて、ハイライトシーンの再生区間の長さを調整することで、予め設定された時間に合わせ、ユーザの好みに応じたハイライト動画の作成を実現できる。
例えば、図１２に示すように、ハイライトシーンとして抽出されたシーン１〜シーン３をそのままつないだハイライト動画では予め設定された時間を超過するような場合であったとしても、優先度が低い（ユーザにとって重要度が低いと推定される）シーン１、シーン２の長さを短縮することで、ハイライト動画の長さを設定時間内に収めることができる。
本実施の形態によれば、ユーザは簡単に自己の好みに沿ったハイライト動画を作成することができるので、コンテンツの死蔵の防止にもつなげることができる。

（実施の形態２）
本実施の形態は、実施の形態１を応用したものであり、ハイライトシーン抽出に音響の解析手法を利用する点、及び優先度の付与にシーン同士の関係性を考慮する点などが実施の形態１と異なっている。実施の形態１と同様な点については、説明を省略する。
図１３の情報処理装置１１は、特に、ハイライトシーン抽出部１４ａが音響安定度解析部１５を有する点が図１と異なっている。
音響安定度解析部１５は、動画コンテンツの音響安定度を分析する機能を有する。
＜ハイライトシーン抽出ステップ＞
次に、実施の形態２におけるハイライトシーン抽出の方法について図１４を用いて説明する。
ハイライトシーン抽出部１４ａは、マークの再生位置の前後合わせてｎ秒の区間を抽出して音響安定度解析部１５に音響安定度の解析を依頼する。
音響安定度解析部１５は、ｎ秒の区間を最小区間ａ（ａは正の任意の数）秒ごとの更に詳細な区間に分割する（Ｓ１４１０）。
ここで、あるマークの再生位置に対応するハイライトシーンの抽出が初めてであった場合、ｎは予め定められた最小値とし、そうでなかった場合、ｎは後述するステップＳ１４６０で指定された値とする。また、最小区間ａ秒は、情報処理装置１１に予め設定されている値としてもよいし、ユーザにより設定される値としてもよいし、その他の条件から動的に変更される値としてもよい。
次に、音響安定度解析部１５は、分割した各区間の音響特徴量と、全区間の音響特徴量の平均値を導出する（Ｓ１４２０）。
続いて、ハイライトシーン抽出部１４ａは、その内部の音響安定度解析部１５がステップＳ１４２０で導出した結果を基に、前記平均値と各区間の音響特徴量との差分をそれぞれ導出する（Ｓ１４３０）。
次に、導出した差分のいずれかが、予め設定された閾値よりも大きいかどうかを確認する（Ｓ１４４０）。もし、小さい場合はｎ＝ｎ＋ａとして、ステップＳ１４１０の処理から繰り返す（Ｓ１４６０）。もし、大きい場合は、マークの前後ｎ−ａ秒の区間をシーンとして抽出する（Ｓ１４５０）。
抽出したハイライトシーン内の音響の特徴量は変化量が少なく、音響安定度が高いと言える。一般的には、音響安定度の変化とシーン内の状況の変化が相関している場合が多いため、本方法によってユーザにとって意味のあるシーンが抽出できる。
図１５に、ハイライトシーン抽出ステップの一例を示す。
図１５の例では、ｎ＝１０、ａ＝２であり、マークの再生位置の前後１０秒の区間を、２秒ごとの詳細な区間に分割している。そして、各詳細な区間ごとに音響の特徴量ｆ１〜ｆ５と、音響の特徴量の平均値ｆave＝（ｆ１＋ｆ２＋ｆ３＋ｆ４＋ｆ５）／５とを求めている。
さらに、音響の特徴量ｆ１〜ｆ５と平均値ｆaveとの各差分を、予め設定された閾値ｆthと比較し、各差分のいずれかが閾値ｆthよりも大きくはなかったので（Ｓ１４４０：Ｎｏ）、抽出する区間を１０秒から１２秒へと変更していることを示している。前記閾値ｆthは予め設定されている値としたが、これに限らずユーザにより設定される値としてもよいし、その他の条件から動的に変更される値としてもよい。
なお、図１４に示した処理は一例であり、再生位置前後の音響の特徴量を解析し、解析した音響の特徴量が類似する区間をシーンとして抽出できる手法であればこれに限られない。
＜ハイライトシーン優先度付与ステップ＞
実施の形態２のハイライトシーン優先度付与ステップ（Ｓ３４０）について図１６を用いて説明する。
優先度付与部１６は、抽出されたハイライトシーンに対して「ハイライトシーンの再生区間の長さ」と、「１ショット内のハイライトシーンの再生区間の長さの合計値」と、「１ショット内のハイライトシーン同士の関係性」の観点から優先度を付与する（Ｓ１６１０）。
ステップＳ１６１０の優先度を付与する方法の一例を示す。まず、「ハイライトシーンの再生区間の長さ」に基づいた優先度付与方法について詳述する。ユーザは面白いと思ったシーンを凝縮したハイライト動画を望むため、ハイライトシーンの再生区間の長さが長すぎず「面白いと分かる程度に長い」ことが必要である。そこで、明らかに短すぎる、及び長すぎるシーンの優先度を下げるべきである。そこで、ハイライトシーンの再生区間の長さに次の２種類の指標Ｔ１、Ｔ２を導入する。Ｔ１とは、「面白いと分かる程度のハイライトシーンの再生区間の最短の長さ」である。また、Ｔ２とは、「飽きないで楽しめるハイライトシーンの再生区間の最長の長さ」である。これら２種類の指標に基づいた場合に分けてハイライトシーンの優先度を付与する。まず、「ハイライトシーンの再生区間の長さ」に基づいた優先度付与方法を説明する。図１７（ａ）に示すように、ハイライトシーンの再生区間の長さｔがｔ＜Ｔ１となる場合、ハイライトシーンの再生区間の長さが短すぎるため優先度を下げるようにする。Ｔ１≦ｔ≦Ｔ２となる場合、ハイライトシーンの再生区間の長さが最適であるため優先度を上げるようにする。ｔ＞Ｔ２となる場合、ハイライトシーンの再生区間の長さが長すぎるため優先度を下げるようにする。
次に、「１ショット内のハイライトシーンの再生区間の長さの合計値」に基づいた優先度付与方法を説明する。「複数の見所が集まった抽出シーン」は少し長くても連続して見ることで面白さが増す。そこで、１ショット内の関係性の高い複数のハイライトシーンの再生区間の長さの合計値に対してもＴ１とＴ２の指標に基づいた場合に分けて優先度を付与する。図１７（ｂ）は、１ショット内のハイライトシーンの再生区間の長さの合計値Ｔに基づいた場合分けを示す図である。まず、１ショット内のハイライトシーンの再生区間の長さの合計値ＴがＴ＜Ｔ１となる場合、短すぎるために優先度を下げるようにする。Ｔ１≦Ｔ≦Ｔ２となる場合、長さが最適であるため優先度を上げるようにする。Ｔ＞Ｔ２となる場合、長すぎるため優先度を下げるようにする。
次に、「１ショット内のハイライトシーン同士の関係性」について詳述する。一般的にユーザは１つのショットを１つのまとまりとして撮影を行う。このため、１つのショットから抽出される複数のシーンは互いに関係性が高い場合が多い。そこで、これらの関係性を考慮して場合分けを行う。図１８は、１ショット内の複数のハイライトシーンの関係性を示す図である。
なお、図１８の例は一例に過ぎずこれに限られない。
このような、ハイライトシーンの再生区間の長さとその合計値、及び１ショット内のハイライトシーンの関係性を総合的に考慮して優先度付与部１６はハイライトシーンに優先度を設定する。図１９〜図２１は、優先度付与部１６が上記した判断要素に基づいてハイライトシーンに優先度を設定する方法を示す図である。 なお、図１９〜図２１の例は一例に過ぎずこれに限られない。
優先度付与部１６は、まず、１ショット内のハイライトシーンの再生区間の長さの合計値Ｔを確認し、その後、ハイライトシーンの再生区間の長さと関係性を確認する。
図１９に示しているような、Ｔ≒Ｔ１で且つｔ≒Ｔ１の場合、ハイライトシーンの再生区間の長さの合計値、及びその１つ１つのシーンの長さが最適なハイライトシーンの再生区間の長さの下限付近であるため、優先度を最高に設定し、基本的にはこのままハイライトシーンとして抽出する。
次に、図２０に示しているような、Ｔ≒Ｔ２の場合、ハイライトシーンの再生区間の長さとその関係性によって優先度を変更する。例えば、関係性が不規則となっている場合、各ハイライトシーン同士の関係性は濃いとも薄いとも言えないと判断し、優先度を中程度とする。また、ｔ≒Ｔ２で且つハイライトシーン同士が独立している場合、各シーンの関係性が薄く、且つハイライトシーンを縮める余地が大きいと判断し、優先度を低く設定する。その他の場合はハイライトシーンが最適である、あるいはこれ以上長さを縮める余地が少ないと判断して優先度を高く設定する。
次に、図２１に示しているようなＴ＞Ｔ２の場合、長すぎると判定して基本的に優先度を低めに設定する。ただし、ハイライトシーン同士の関係性が「連結」だったり「一部重複」である場合、「複数の見所が集まった抽出シーン」である可能性がその他の場合よりも高いため、優先度を中程度と設定する。
最後に、情報処理装置１１は、ステップＳ１６１０で同一の優先度となったハイライトシーン同士を比較・分析して詳細な優先度を付与する（Ｓ８３０）。なお、ステップＳ８３０は実施の形態１のステップＳ８３０と同様であるため、説明を省略する。
このように実施の形態２における優先度付与方法によれば、ハイライトシーンの長さ、及びハイライトシーン同士の関係性に基づいて、より柔軟に適切な優先度を付与することができる。このため、例えば、ハイライトシーンを短く調整することになったとしても、ユーザが大事と考えるであろうシーンについてはなるべく短縮の対象とならないようにすることができる。
＜ハイライトシーン長調整ステップ＞
ハイライトシーン毎に付与された優先度に基づいて長さを調整する処理である。この処理については、実施の形態１（図１１）と同様であるので説明を省略する。
（実施の形態３）
実施の形態１では、ユーザによるリモコン２の入力操作に基づいて、動画にマークを対応付けるとしていたがこれに限られない。本実施の形態３は、動画にマークを付与する他の手法について紹介する。
図２３の情報処理装置２３０は、特に、ユーザ入力受付部１２ａや、マーク付与部１７を含むハイライトシーン抽出部１４ｂを備える。それ以外の機能ブロックは、図１と基本的には同様であるので説明を省略する。
ユーザ入力受付部１２ａは、動画の再生指示は受け付けるが、実施の形態１とは異なりマーク付与のための入力操作は受け付けなくてもよい。
マーク付与部１７がマーク付与する時機は、特に限定されないが、例えば、ハイライトシーン抽出部１４ｂによるハイライトシーン抽出処理の開始を契機として行われることが考えられる。
ハイライトシーン抽出部１４ｂは、マーク付与部１７が付与したマークの再生位置に基づいて、動画コンテンツの中からハイライトシーンを抽出する。ハイライトシーン抽出部１４ｂがハイライトシーンを抽出する時機は、例えば、次の（Ａ）（Ｂ）の時機が考えられる。
（Ａ）記憶部２２内に動画コンテンツが取り込まれたとき
（Ｂ）ハイライト動画再生をユーザから指示されたとき
ハイライトシーン抽出部１４ｂは、マーク付与部１７が付与したマークの再生位置に基づいて、動画コンテンツの中からハイライトシーンを抽出する。
両ブロックの関係について具体的に説明すると、マーク付与部１７は、１つの指標あるいは複数の指標の組み合わせに基づいて動画コンテンツにマークを付与する。付与後、付与したマークの再生位置を含むメタデータを記憶部２２に記憶させる。このメタデータの構造は図２と同様であるので説明を省略する。そして、ハイライトシーン抽出部１４ｂは、記憶部２２に記憶されたメタデータに含まれるマークの再生位置に基づいて、動画コンテンツの中からハイライトシーンを抽出する。
図２４に、マーク付与部１７が用いる指標の例を示す。
画像的特異点の指標は、画像特徴量が前後と著しく異なる点（再生位置）にマークを付与するためのものである。この画像特徴量の例としては、画像内の物体の動きベクトルや、画像内のカラー特徴量などが挙げられる。例えば、マーク付与部１７は、前後のシーンで動きベクトルの差分が閾値を超えることを条件として、マークを付与する。
音響的特異点は、音響特徴量が前後と著しく異なる点にマークを付与するためのものである。例えば、予め動画コンテンツの区間毎に音響特徴量を算出ておき、マーク付与部１７は、隣り合う区間間の音響特徴量の差分が閾値以上であることを条件として、マークを付与するとしてもよい。
撮影操作的特異点は、特定の操作を行った点にマークを付与するためのものである。例えば、ズーム操作を行っていれば、撮影者の面白いと感じたであろうという推定が働くことを利用して、マーク付与部１７は、ズーム操作を開始した再生位置にマークを付与する。
メタデータ的特異点は、特定のメタデータが現れる点にマークを付与するためのものである。メタデータの例としては、動画撮影中の静止画撮影が挙げられる。この場合、マーク付与部１７は、静止画撮影した再生位置にマークを付与する。
上述のような手法でマーク付与部１７がマークを付与した後は、付与されたマークに基づいて、ハイライトシーン抽出部１４ｂがハイライトシーンを抽出することなる。なお、マーク付与部１９が付与したマークを利用して行う、ハイライトシーン抽出ステップ（Ｓ３２０）については、実施の形態１で説明したものと同様の手法を用いることができるので説明を省略する。また、この後に続く、ハイライトシーン優先度付与ステップ（Ｓ３４０）、ハイライトシーン長調整ステップ（Ｓ３５０）については、実施の形態１で説明したものと同様の手法を用いることができるので説明を省略する。
（実施の形態４）
本実施の形態４では、実施の形態３で述べたマーク付与部の他の形態について説明する。
図２３の情報処理装置２３０では、マーク付与部１７は、ハイライトシーン抽出部１４ｂに含まれるとしているが、ハイライトシーン抽出部１４ｂから独立した形態でもよい。このような情報処理装置２５０を図２５に示す。
図２５の情報処理装置２５０は、特に、ユーザ入力受付部１２ａや、マーク付与部１９を備える。
ユーザ入力受付部１２ａは、リモコン２を介して、ハイライト動画の再生指示などの指示を受け付ける。
マーク付与部１９は、１つの指標あるいは複数の指標の組み合わせに基づいて動画コンテンツにマークを付与する。この付与の手法はマーク付与部１７で説明したものと同様である。
このマーク付与部１９がマーク付与する時機も、マーク付与部１７と同様であり、例えば、
（Ａ）記憶部２２内に動画コンテンツが取り込まれると、自動的にマークの付与を行う。
または、
（Ｂ）ハイライト動画再生をユーザから指示されると、自動的にマークの付与を行う。
実施の形態４によれば、マーク付与とハイライトシーンの抽出とを同時に行う代わりに、先行してマーク付与を行い、付与したマークを後々のハイライトシーンの抽出などの用途に利用することができる。
例えば、装置のスペックの制約から、自動的なマーク付与の処理に時間を要する場合に有用である。
なお、マーク付与部１９が付与したマークを利用して行う、ハイライトシーン抽出ステップ（Ｓ３２０）、ハイライトシーン優先度付与ステップ（Ｓ３４０）、ハイライトシーン長調整ステップ（Ｓ３５０）については、実施の形態１で説明したものと同様の手法を用いることができるので説明を省略する。
なお、実施の形態４では、ハイライトシーン抽出部１４によるハイライトシーンの抽出処理（ハイライト動画作成部１８からの依頼に基づくハイライトシーンの再抽出処理を含む）、およびマーク付与部１９によるマークの付与はそれぞれ独立して行うものとしている。しかしながら、ハイライトシーン抽出部１４およびマーク付与部１９は、いずれも同様のコンテンツ解析処理を行う。そのため、例えば、情報処理装置２５０が図示しないコンテンツ解析部を備えることとし、ハイライトシーン抽出部１４およびマーク付与部１９は、それぞれの処理を行う際に、コンテンツ解析部にコンテンツの解析を依頼し、その結果を用いて、ハイライトシーンの抽出やマークの付与を行うこととしてもよい。
＜補足１＞
以上、実施の形態について説明したが、本発明は上記の内容に限定されず、本発明の目的とそれに関連又は付随する目的を達成するための各種形態においても実施可能であり、例えば、以下であっても構わない。
（１）入力デバイス
各実施の形態では、入力デバイスの例として、リモコン２を用いて説明したが、これに限られない。ユーザがハイライトとして希望する再生位置を検出できるような入力デバイスであれば足り、次のような入力デバイスでもよい。
例えば、マウスやキーボードのような入力デバイスでもよい。
また、情報処理装置がタッチパネルを備えている場合は、入力デバイスがタッチペンのようなスタイラス、ユーザの指となることもあり得る。
さらに、マイクロフォン及び音声認識機能を備える情報処理装置である場合には、音声入力でもよい。あるいは、手のひらなど人体モデルの認識機能を備える情報処理装置である場合には、ジェスチャ入力でもよい。
（２）ハイライトシーンの最適範囲
図３のステップＳ３３０のハイライト動画の長さが最適である状態とは、例えば情報処理装置１０に予め登録されている長さとハイライト動画の長さの差分が一定値以内に収まっているような状態でも良いし、登録されている長さよりも長い、あるいは短い状態でも良い。さらに、登録されている長さの代わりにユーザが入力した長さを用いても良い。
あるいは、ハイライト動画の長さが最適かどうかをユーザに問い合わせて、ユーザの判断を仰ぐようにしても構わない。
（３）優先度の付与方法
優先度の付与方法としては、図２２に示すようなリモコン２を利用して行ってもよい。すなわち、リモコン２は、最高の優先度を示すボタン１、中程の優先度を示すボタン２及び最低の優先度を示すボタン３を有する。そして、優先度付与部１６は、ユーザ入力受付部１２が受け付けたこれらのボタン１〜３に応じて優先度１〜３を付与するとしてもよい。
（４）集積回路
実施の形態の情報処理装置は、典型的には集積回路であるＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）として実現されてよい。各回路を個別に１チップとしてもよいし、全ての回路又は一部の回路を含むように１チップ化されてもよい。ここでは、ＬＳＩとして記載したが、集積度の違いにより、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、システムＬＳＩ、スーパＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラム化することが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
（５）記録媒体、プログラム
実施の形態で示した処理をコンピュータ等の各種機器のプロセッサ、及びそのプロセッサに接続された各種回路に実行させるためのプログラムコードからなる制御プログラムを、記録媒体に記録すること、又は各種通信路を介して流通させ頒布することもできる。
このような記録媒体には、スマートメディア、コンパクトフラッシュ（登録商標）、メモリースティック（登録商標）、ＳＤメモリーカード、マルチメディアカード、ＣＤ−Ｒ／ＲＷ、ＤＶＤ±Ｒ／ＲＷ、ＤＶＤ−ＲＡＭ、ＨＤ−ＤＶＤ、ＢＤ(（Ｂｌｕ−ｒａｙ(登録商標) Ｄｉｓｃ））等がある。
流通、頒布された制御プログラムは、プロセッサに読み出され得るメモリ等に格納されることにより利用に供され、そのプロセッサがその制御プログラムを実行することにより実施の形態で示したような各種機能が実現されるようになる。
（６）ハイライトシーンの長さの調整について
実施の形態では、ハイライトシーンの長さの調整は、長さ調整部２０がハイライト抽出部１４に長さを変えたハイライトシーンの再抽出処理を依頼することで行うとしたがこれに限られない。例えば、長さ調整部２０がハイライトシーンの長さの調整を直接行う構成としても構わない。この場合、長さ調整部２０はハイライトシーン抽出部１４が行っていた処理を直接実行する。
例えば、上述した最初の抽出（Ｓ３２０）と同じアルゴリズムを用いてハイライトシーンの再生区間がより短くなるようパラメータを変更して再抽出を行う第１の手法を採用してもよい。他にも、ハイライトシーン抽出部１４が、最初の抽出（Ｓ３２０）と異なるアルゴリズムを用いてハイライトシーンの再生区間がより短くなるよう再抽出を行う第２の手法を採用してもよい。また、前記ハイライトシーンの再生区間の長さを短くする方法は、これらに限定されるものでもない。
（７）マークの密度などに基づいた優先度の付与について
ハイライトシーンに付与する優先度の高低は、マークが再生時間軸上において集まっているか、あるいはまばらであるかに基づいて決定することができる。
「まばら」「集まっている」を判断する指標としては、単位時間辺りのマークの密度を指標として用いることができる。もっとも、長い期間で見たときの密度が低くとも、局所的にマークが集中していれば高い優先度とすることがよいときもある。このような、局所的なマークの集中度合いも指標として採用することができる。
このような観点から優先度を付与する手法としては、次の手法１〜手法３の例が挙げられる。
・手法１
手法１は、実施の形態１で説明したように１つのハイライトシーン内のマークの密度を元にハイライトシーンの優先度を付与するものである。
・手法２
手法２は、１つのハイライトシーン内のマークの数をそのハイライトシーンの長さで除することにより、単位時間辺りのマークの数を求め、これを基に、ハイライトシーンの優先度を付与するものである。
・手法３
手法３は、局所的なマークの集中度合いを利用するものである。つまり、
１つハイライトシーン全体ではなくハイライトシーン内の任意の単位時間あたりのマークの数の最大数を基に、ハイライトシーンの優先度を付与するものである。これによりハイライトシーン全体ではマークの数が少ない場合であっても、任意の単位時間（例えば、１秒）にマークが集中していれば、前記最大数は多くなるので、高い優先度を付与することができる。なお、上で説明に用いた任意の単位時間の１秒は一例でありこれに限られない。
（８）情報処理装置に必要な構成について
実施の形態では、情報処理装置内でハイライト動画を作成するとしたが、このような作成機能は必須ではなく、ハイライト動画の作成を他装置で行うとしてもよい。また、動画コンテンツを情報処理装置内で記憶する機能も必須ではなく、外部装置に記憶された動画コンテンツを利用する形態でも構わない。
すなわち、図２６に示すように、情報処理装置２６０の概要としては、動画コンテンツについて複数の再生位置を付与するマーク付与部（再生位置を特定する特定部）２６２と、複数の再生位置に基づいてそれぞれ再生位置を１以上含み前記動画コンテンツの区間を示す複数のハイライトシーンを抽出するハイライトシーン抽出部２６４と、抽出されたハイライトシーン毎に、優先度を付与する優先度付与部２６６、を備えていれば足り得る。
（９）優先度の用途について
実施の形態では、付与した優先度をハイライト動画の作成に利用する例を中心に説明したが、これに限られない。
例えば付与した優先度は、複数の動画コンテンツを一覧表示する画面において、各動画コンテンツの中で優先度が高いハイライトシーンをピックアップして表示することに用いることができる。
また、動画コンテンツの内容を示すメニュー画面において、優先度毎にハイライトシーンを色分けして表示することにより、ユーザに動画コンテンツの内容を知らせるようにしてもよい。
（１０）実施の形態１〜４や、本補足１の（１）〜（９）で述べた事項は組み合わせて構わない。
＜補足２＞
上で説明した実施の形態は、以下の態様を含むものである。
（１）本実施の形態に係る情報処理装置は動画コンテンツについて、複数の再生位置を特定する特定手段と、特定された複数の再生位置に基づいて、それぞれ再生位置を１以上含み前記動画コンテンツの区間を示す複数のシーンを抽出する抽出手段と、抽出されたシーン毎に、優先度を付与する付与手段と、を備えることを特徴とする。
（２）（１）において、前記付与手段は、前記特定された複数の再生位置を解析して、当該複数の再生位置が再生時間軸上においてまばらであるか、当該複数の再生位置が再生時間軸上において集まっているかを判定し、まばらと判定した再生位置を含むシーンには低い優先度を付与し、集まっていると判定した再生位置を含むシーンには高い優先度を付与するとしても構わない。
（３）（１）において、前記付与手段は、抽出された複数のシーンそれぞれの長さ、及び抽出された複数のシーン同士の再生時間軸上における関係性に基づいて、優先度を付与するとしても構わない。
（４）（１）において、前記付与手段は、抽出された複数のシーンそれぞれの再生位置の数を解析し、１シーンあたりの再生位置の数が多いシーンには高い優先度を付与し、１シーンあたりの再生位置の数が少ないシーンには低い優先度を付与するとしても構わない。
（５）（１）において、前記抽出手段は、前記再生位置前後の音響の特徴量を解析し、解析した音響の特徴量が類似する区間を示すシーンを抽出するとしても構わない。
この構成によれば、意味のあるまとまりとして期待できるシーンを抽出することに寄与する。
（６）（１）において、さらに、各シーンに付与された優先度に基づいて１以上のシーンの長さを調整し、調整後に、各シーンをつなぎ合わせてハイライト動画を作成する作成手段、を備えるとしても構わない。
（７）（６）において、前記作成手段は、抽出された複数のシーンのすべてをつなぎ合わせた場合のハイライト動画の長さが所定範囲内に収まっているかどうかを判定し、前記所定範囲の上限値より長いと判定したときには、優先度の低いシーンの長さをより短く調整し、前記所定範囲の下限値よりも短いと判定したときには、優先度の高いシーンの長さをより長く調整するとしても構わない。
この構成によれば、作成したハイライト動画の長さを、所定範囲内に収めることができる。
（８）本実施の形態に係るハイライト動画作成方法は、動画コンテンツについて、複数の再生位置を特定する特定ステップと、特定された複数の再生位置に基づいて、それぞれ再生位置を１以上含み前記動画コンテンツの区間を示す複数のシーンを抽出する抽出ステップと、抽出されたシーン毎に、優先度を付与する付与ステップと、を含む。
（９）本実施の形態に係るプログラムは、動画コンテンツを記憶する情報処理装置に優先度付与処理を実行させるプログラムであって、前記優先度付与処理は、動画コンテンツについて、複数の再生位置を特定する特定ステップと、特定された複数の再生位置に基づいて、それぞれ再生位置を１以上含み前記動画コンテンツの区間を示す複数のシーンを抽出する抽出ステップと、抽出されたシーン毎に、優先度を付与する付与ステップと、の各ステップを含む。
（１０）本実施の形態に係る集積回路は、動画コンテンツについて、複数の再生位置を特定する特定手段と、特定された複数の再生位置に基づいて、それぞれ再生位置を１以上含み前記動画コンテンツの区間を示す複数のシーンを抽出する抽出手段と、抽出されたシーン毎に、優先度を付与する付与手段と、を備える。
本発明に係る情報処理装置は、ユーザの好みに応じたハイライト動画を作成する機能を有しているため、動画コンテンツを視聴するような情報処理装置などとして有用である。
２ リモコン
４ ディスプレイ
１０，１１，２３０，２５０，２６０ 情報処理装置
１２ ユーザ入力受付部
１４，１４ａ，１４ｂ，２６４ ハイライトシーン抽出部
１５ 音響安定度解析部
１６，２６６ 優先度付与部
１７，１９ マーク付与部
１８ ハイライト動画作成部
２０ 長さ調整部
２２ 記憶部
２４ 管理部
２６ デコード部
２８ 表示制御部
２６２ マーク付与部（特定部）

Claims (9)

  1. 動画コンテンツについて、複数の再生位置を特定する特定手段と、
    特定された複数の再生位置に基づいて、それぞれ再生位置を１以上含み前記動画コンテンツの区間を示す複数のシーンを抽出する抽出手段と、
    抽出されたシーン毎に、優先度を付与する付与手段と、
    各シーンに付与された優先度に基づいて１以上のシーンの長さを調整する調整手段と、を備え、
    前記付与手段は、前記特定された複数の再生位置を解析して、当該複数の再生位置が再生時間軸上においてまばらであるか、当該複数の再生位置が再生時間軸上において集まっているかを判定し、
    まばらと判定した再生位置を含むシーンには低い優先度を付与し、
    集まっていると判定した再生位置を含むシーンには高い優先度を付与する
    ことを特徴とする情報処理装置。
  2. 動画コンテンツについて、複数の再生位置を特定する特定手段と、
    特定された複数の再生位置に基づいて、それぞれ再生位置を１以上含み前記動画コンテンツの区間を示す複数のシーンを抽出する抽出手段と、
    抽出されたシーン毎に、優先度を付与する付与手段と、
    各シーンに付与された優先度に基づいて１以上のシーンの長さを調整する調整手段と、を備え、
    前記付与手段は、
    抽出された複数のシーンそれぞれの長さ、及び抽出された複数のシーン同士の再生時間軸上における関係性に基づいて、優先度を付与する
    ことを特徴とする情報処理装置。
  3. 動画コンテンツについて、複数の再生位置を特定する特定手段と、
    特定された複数の再生位置に基づいて、それぞれ再生位置を１以上含み前記動画コンテンツの区間を示す複数のシーンを抽出する抽出手段と、
    抽出されたシーン毎に、優先度を付与する付与手段と、
    各シーンに付与された優先度に基づいて１以上のシーンの長さを調整する調整手段と、を備え、
    前記付与手段は、抽出された複数のシーンそれぞれの再生位置の数を解析し、
    １シーンあたりの再生位置の数が多いシーンには高い優先度を付与し、
    １シーンあたりの再生位置の数が少ないシーンには低い優先度を付与する
    ことを特徴とする情報処理装置。
  4. 動画コンテンツについて、複数の再生位置を特定する特定手段と、
    特定された複数の再生位置に基づいて、それぞれ再生位置を１以上含み前記動画コンテンツの区間を示す複数のシーンを抽出する抽出手段と、
    抽出されたシーン毎に、優先度を付与する付与手段と、
    各シーンに付与された優先度に基づいて１以上のシーンの長さを調整する調整手段と、を備え、
    前記抽出手段は、前記再生位置前後の音響の特徴量を解析し、解析した音響の特徴量が類似する区間を示すシーンを抽出する
    ことを特徴とする情報処理装置。
  5. さらに、前記調整手段による１以上のシーンの長さ調整後に、各シーンをつなぎ合わせてハイライト動画を作成する作成手段、
    を備えることを特徴とする請求項１に記載の情報処理装置。
  6. 前記作成手段は、抽出された複数のシーンのすべてをつなぎ合わせた場合のハイライト動画の長さが所定範囲内に収まっているかどうかを判定し、
    前記所定範囲の上限値より長いと判定したときには、優先度の低いシーンの長さをより短く調整し、
    前記所定範囲の下限値よりも短いと判定したときには、優先度の高いシーンの長さをより長く調整する
    ことを特徴とする請求項５に記載の情報処理装置。
  7. 動画コンテンツについて、複数の再生位置を特定する特定ステップと、
    特定された複数の再生位置に基づいて、それぞれ再生位置を１以上含み前記動画コンテンツの区間を示す複数のシーンを抽出する抽出ステップと、
    抽出されたシーン毎に、優先度を付与する付与ステップと、
    各シーンに付与された優先度に基づいて１以上のシーンの長さを調整する調整ステップと、を含み、
    前記付与ステップにおいて、前記特定された複数の再生位置を解析して、当該複数の再生位置が再生時間軸上においてまばらであるか、当該複数の再生位置が再生時間軸上において集まっているかを判定し、
    まばらと判定した再生位置を含むシーンには低い優先度を付与し、
    集まっていると判定した再生位置を含むシーンには高い優先度を付与する
    ハイライト動画作成方法。
  8. 動画コンテンツを記憶する情報処理装置に優先度付与処理を実行させるプログラムであって、
    前記優先度付与処理は、
    動画コンテンツについて、複数の再生位置を特定する特定ステップと、
    特定された複数の再生位置に基づいて、それぞれ再生位置を１以上含み前記動画コンテンツの区間を示す複数のシーンを抽出する抽出ステップと、
    抽出されたシーン毎に、優先度を付与する付与ステップと、
    各シーンに付与された優先度に基づいて１以上のシーンの長さを調整する調整ステップと、の各ステップを含み、
    前記付与ステップにおいて、前記特定された複数の再生位置を解析して、当該複数の再生位置が再生時間軸上においてまばらであるか、当該複数の再生位置が再生時間軸上において集まっているかを判定し、
    まばらと判定した再生位置を含むシーンには低い優先度を付与し、
    集まっていると判定した再生位置を含むシーンには高い優先度を付与する
    ことを特徴とするプログラム。
  9. 動画コンテンツについて、複数の再生位置を特定する特定手段と、
    特定された複数の再生位置に基づいて、それぞれ再生位置を１以上含み前記動画コンテンツの区間を示す複数のシーンを抽出する抽出手段と、
    抽出されたシーン毎に、優先度を付与する付与手段と、
    各シーンに付与された優先度に基づいて１以上のシーンの長さを調整する調整手段と、を備え、
    前記付与手段は、前記特定された複数の再生位置を解析して、当該複数の再生位置が再生時間軸上においてまばらであるか、当該複数の再生位置が再生時間軸上において集まっているかを判定し、
    まばらと判定した再生位置を含むシーンには低い優先度を付与し、
    集まっていると判定した再生位置を含むシーンには高い優先度を付与する
    ことを特徴とする集積回路。
JP2013516189A 2011-05-23 2012-05-11 情報処理装置、情報処理方法、プログラム、記憶媒体及び集積回路 Active JP5886839B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013516189A JP5886839B2 (ja) 2011-05-23 2012-05-11 情報処理装置、情報処理方法、プログラム、記憶媒体及び集積回路

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2011114511 2011-05-23
JP2011114511 2011-05-23
JP2013516189A JP5886839B2 (ja) 2011-05-23 2012-05-11 情報処理装置、情報処理方法、プログラム、記憶媒体及び集積回路
PCT/JP2012/003102 WO2012160771A1 (ja) 2011-05-23 2012-05-11 情報処理装置、情報処理方法、プログラム、記憶媒体及び集積回路

Publications (2)

Publication Number Publication Date
JPWO2012160771A1 JPWO2012160771A1 (ja) 2014-07-31
JP5886839B2 true JP5886839B2 (ja) 2016-03-16

Family

ID=47216865

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013516189A Active JP5886839B2 (ja) 2011-05-23 2012-05-11 情報処理装置、情報処理方法、プログラム、記憶媒体及び集積回路

Country Status (4)

Country Link
US (1) US20130108241A1 (ja)
JP (1) JP5886839B2 (ja)
CN (1) CN103026704B (ja)
WO (1) WO2012160771A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5994974B2 (ja) * 2012-05-31 2016-09-21 サターン ライセンシング エルエルシーＳａｔｕｒｎ Ｌｉｃｅｎｓｉｎｇ ＬＬＣ 情報処理装置、プログラム及び情報処理方法
US20160014482A1 (en) * 2014-07-14 2016-01-14 The Board Of Trustees Of The Leland Stanford Junior University Systems and Methods for Generating Video Summary Sequences From One or More Video Segments
EP3125245A1 (en) * 2015-07-27 2017-02-01 Thomson Licensing Method for selecting at least one sequence of frames and corresponding method for creating an audio and/or video digest, electronic devices, computer readable program product and computer readable storage medium
US10388321B2 (en) 2015-08-26 2019-08-20 Twitter, Inc. Looping audio-visual file generation based on audio and video analysis
US10204417B2 (en) * 2016-05-10 2019-02-12 International Business Machines Corporation Interactive video generation
US10509966B1 (en) 2017-08-16 2019-12-17 Gopro, Inc. Systems and methods for creating video summaries
US10708633B1 (en) 2019-03-19 2020-07-07 Rovi Guides, Inc. Systems and methods for selective audio segment compression for accelerated playback of media assets
US11102523B2 (en) 2019-03-19 2021-08-24 Rovi Guides, Inc. Systems and methods for selective audio segment compression for accelerated playback of media assets by service providers
US11039177B2 (en) * 2019-03-19 2021-06-15 Rovi Guides, Inc. Systems and methods for varied audio segment compression for accelerated playback of media assets

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000299829A (ja) * 1999-04-13 2000-10-24 Canon Inc 画像処理装置及び方法
JP2004289513A (ja) * 2003-03-24 2004-10-14 Toshiba Corp 映像要約装置、映像要約方法
JP2005198303A (ja) * 2004-01-09 2005-07-21 Ricoh Co Ltd 関心度の値を生成及び表示する方法、コンピュータプログラム及びシステム
US20050232588A1 (en) * 2004-03-23 2005-10-20 Tatsuya Hosoda Video processing device
JP2008098719A (ja) * 2006-10-06 2008-04-24 Hitachi Ltd 情報記録装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3925466B2 (ja) * 2003-06-10 2007-06-06 株式会社日立製作所 ストリームデータ編集方法及びその装置
JP2006180306A (ja) * 2004-12-24 2006-07-06 Hitachi Ltd 動画記録再生装置
JP2006304272A (ja) * 2005-03-25 2006-11-02 Matsushita Electric Ind Co Ltd 送信装置
JP4525437B2 (ja) * 2005-04-19 2010-08-18 株式会社日立製作所 動画処理装置
CN1941880A (zh) * 2005-09-28 2007-04-04 三洋电机株式会社 视频记录再生装置及视频再生装置
US20080269924A1 (en) * 2007-04-30 2008-10-30 Huang Chen-Hsiu Method of summarizing sports video and apparatus thereof
JP2008294584A (ja) * 2007-05-22 2008-12-04 Panasonic Corp ダイジェスト再生装置及び方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000299829A (ja) * 1999-04-13 2000-10-24 Canon Inc 画像処理装置及び方法
JP2004289513A (ja) * 2003-03-24 2004-10-14 Toshiba Corp 映像要約装置、映像要約方法
JP2005198303A (ja) * 2004-01-09 2005-07-21 Ricoh Co Ltd 関心度の値を生成及び表示する方法、コンピュータプログラム及びシステム
US20050232588A1 (en) * 2004-03-23 2005-10-20 Tatsuya Hosoda Video processing device
JP2008098719A (ja) * 2006-10-06 2008-04-24 Hitachi Ltd 情報記録装置

Also Published As

Publication number Publication date
CN103026704A (zh) 2013-04-03
WO2012160771A1 (ja) 2012-11-29
JPWO2012160771A1 (ja) 2014-07-31
CN103026704B (zh) 2016-11-23
US20130108241A1 (en) 2013-05-02

Similar Documents

Publication Publication Date Title
JP5886839B2 (ja) 情報処理装置、情報処理方法、プログラム、記憶媒体及び集積回路
CN103702039B (zh) 图像编辑装置和图像编辑方法
CN108369816B (zh) 用于从全向视频创建视频剪辑的设备和方法
US20150302894A1 (en) System and method for semi-automatic video editing
US9986218B2 (en) Electronic apparatus, method of changing a moving image data section, and program
US20170323665A1 (en) Information processing method, image processing apparatus, and program
US9508385B2 (en) Audio-visual project generator
JP2011217209A (ja) 電子機器、コンテンツ推薦方法及びプログラム
WO2011059029A1 (ja) 映像処理装置、映像処理方法、および映像処理プログラム
JP2011035837A (ja) 電子機器および画像データの表示方法
JP2007336283A (ja) 情報処理装置、情報処理方法および情報処理プログラム
JP2003274352A (ja) コンテンツ記録再生装置およびコンテンツ編集方法
JP2010187374A (ja) 要約映像生成装置および要約映像生成方法
KR20090131220A (ko) 영상 장치 및 그 제어 방법
US8532458B2 (en) Picture search method and apparatus for digital reproduction
CN102611863A (zh) 动画记录重放装置
JP6468086B2 (ja) 再生装置、再生方法及び再生プログラム
US20170337428A1 (en) Information processing method, image processing apparatus, and program
US20110064384A1 (en) Reproduction control apparatus, reproduction control method, and program
JP2003179859A (ja) 再生装置
WO2012070371A1 (ja) 映像処理装置、映像処理方法及び映像処理プログラム
CN105556952A (zh) 用于影片的再现的方法
JP5532344B2 (ja) 電子機器、画像データの表示方法およびプログラム
JP2012089186A (ja) コンテンツ管理装置及びコンテンツ再生装置
KR101828601B1 (ko) 비디오 컨텐츠 자동 편집 시스템 및 자동 편집 방법

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20140606

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141209

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151002

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151006

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151104

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160119

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160212

R150 Certificate of patent or registration of utility model

Ref document number: 5886839

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150