JP5724283B2 - 情報処理装置、同期方法およびプログラム - Google Patents

情報処理装置、同期方法およびプログラム Download PDF

Info

Publication number
JP5724283B2
JP5724283B2 JP2010232171A JP2010232171A JP5724283B2 JP 5724283 B2 JP5724283 B2 JP 5724283B2 JP 2010232171 A JP2010232171 A JP 2010232171A JP 2010232171 A JP2010232171 A JP 2010232171A JP 5724283 B2 JP5724283 B2 JP 5724283B2
Authority
JP
Japan
Prior art keywords
data
content
user
behavior
synchronization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010232171A
Other languages
English (en)
Other versions
JP2012089909A (ja
Inventor
辰吾 鶴見
辰吾 鶴見
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2010232171A priority Critical patent/JP5724283B2/ja
Priority to US13/248,584 priority patent/US8958686B2/en
Priority to CN201110315509.1A priority patent/CN102547197B/zh
Publication of JP2012089909A publication Critical patent/JP2012089909A/ja
Application granted granted Critical
Publication of JP5724283B2 publication Critical patent/JP5724283B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G11B2020/10537—Audio or video recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Description

本発明は、情報処理装置、同期方法およびプログラムに関する。
近年、撮像装置で撮像した動画等のコンテンツを鑑賞して楽しむだけでなく、ユーザが編集を行なったり、音楽を付加したりするなどして、コンテンツに付加価値を与えることが行なわれている。
例えば、コンテンツのシーンやクリップの数を絞り込んだダイジェストを簡単に生成できるコンテンツ撮影装置が提案されている（特許文献１参照）。
特開２００８−２２７８６０号公報
上述したコンテンツに付加価値を与える各手法は、いずれもコンテンツを元に編集する手法であり、編集したコンテンツを鑑賞することで楽しんでいた。
しかし、コンテンツを鑑賞した時の会話や視聴者の反応、その場の盛り上がりや雰囲気といったものを更なる付加価値としてコンテンツに与える手法がなかった。
また、コンテンツを作成した者は視聴者の感想が気になるが、視聴者がコンテンツを鑑賞した時の臨場感を知る有用な手法がなかった。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、コンテンツに更なる付加価値を与えることが可能な、新規かつ改良された情報処理装置、同期方法およびプログラムを提供することにある。
上記課題を解決するために、本発明のある観点によれば、コンテンツデータを再生する再生部と、前記再生部により再生するコンテンツデータに対するユーザの挙動を示す挙動データを取得する取得部と、前記ユーザの前記挙動と、前記コンテンツデータ中で前記ユーザが前記挙動を示したデータ位置とを同期させるための同期用データを生成する同期用データ生成部と、を備える情報処理装置が提供される。
また、前記同期用データ生成部は、前記挙動を示したデータ位置を時系列に前記挙動と対応付けて前記同期用データを生成してもよい。
また、前記同期用データ生成部は、さらに前記挙動を示したデータ位置を前記コンテンツデータを構成する各区分の識別情報と対応付けて前記同期用データを生成してもよい。
また、前記取得部は、前記挙動データとして、撮像データを取得してもよい。
また、前記取得部は、前記挙動データとして、収音データを取得してもよい。
また、前記取得部は、前記挙動データとして、前記コンテンツデータに対するユーザによる操作を示すコンテンツ操作データを取得してもよい。
また、前記情報処理装置は、前記コンテンツデータを解析し、前記コンテンツデータを構成するフレーム中の主要領域を検出するコンテンツデータ解析部をさらに備えてもよい。
また、前記情報処理装置は、前記挙動データを解析し、前記ユーザの特徴データを検出する挙動データ解析部をさらに備えてもよい。
また、再生されたコンテンツデータに対するユーザの挙動を示す挙動データと、前記コンテンツデータ中で前記ユーザが前記挙動を示したデータ位置を同期させるための同期用データに基づき、前記挙動と前記コンテンツデータとを同期させてもよい。
また、前記情報処理装置は、前記取得された挙動データが撮像データである場合に、前記同期用データに基づき、前記コンテンツデータに前記撮像データを合成する合成部をさらに備えてもよい。
また、前記情報処理装置は、前記取得された挙動データが収音データである場合に、前記同期用データに基づき、前記コンテンツデータに前記収音データを合成する合成部をさらに備えてもよい。
また、前記情報処理装置は、前記取得された挙動データが、前記コンテンツデータに対するユーザによる操作を示すコンテンツ操作データである場合に、前記同期用データに基づき、前記コンテンツデータを前記コンテンツ操作データに従って再生する再生部をさらに備えてもよい。
また、前記情報処理装置は、取得されたコンテンツデータの解析結果に示される前記コンテンツデータを構成するフレームの主要領域に基づき、前記撮像データを合成する位置を決定する合成位置決定部をさらに備えてもよい。
また、前記情報処理装置は、取得された撮像データの解析結果に示される前記ユーザの特徴データに基づき、キャラクタ画像を生成するキャラクタ生成部をさらに備え、前記合成部は、前記キャラクタ生成部により生成されたキャラクタ画像を前記コンテンツデータに合成してもよい。
また、前記合成部は、取得された撮像データの解析結果に示される前記ユーザの特徴データに基づき、所定の撮像データを前記コンテンツデータに合成してもよい。
また、上記課題を解決するために、本発明の別の観点によれば、コンテンツデータを再生する再生部と、前記再生部により再生するコンテンツデータに対するユーザの挙動を示す挙動データを取得する取得部と、前記ユーザの前記挙動と、前記コンテンツデータ中で前記ユーザが前記挙動を示したデータ位置とを同期させるための同期用データを生成する同期用データ生成部と、を備え、前記挙動データと前記同期用データに基づき、前記挙動と前記コンテンツデータとを同期させる情報処理装置が提供される。
また、上記課題を解決するために、本発明の別の観点によれば、コンテンツデータを再生するステップと、前記再生されるコンテンツデータに対するユーザの挙動を示す挙動データを取得するステップと、前記ユーザの前記挙動と、前記コンテンツデータ中で前記ユーザが前記挙動を示したデータ位置とを同期させるための同期用データを生成するステップと、前記挙動データと前記同期用データに基づき、前記挙動と前記コンテンツデータとを同期させるステップと、を含む同期方法が提供される。
また、上記課題を解決するために、本発明の別の観点によれば、コンテンツデータを再生する処理と、前記再生されるコンテンツデータに対するユーザの挙動を示す挙動データを取得する処理と、前記ユーザの前記挙動と、前記コンテンツデータ中で前記ユーザが前記挙動を示したデータ位置とを同期させるための同期用データを生成する処理と、前記挙動データと前記同期用データに基づき、前記挙動と前記コンテンツデータとを同期させる処理と、をコンピュータに実行させる、プログラムが提供される。
以上説明したように本発明によれば、コンテンツに更なる付加価値を与えることが可能となる。
本発明の第１の実施形態に係るデータ生成装置の概要を説明するための図である。 同実施形態に係る同期再生制御を行なうデータ合成装置の概要を説明するための図である。 同実施形態に係る同期再生制御を行なうデータ合成装置の概要を説明するための図である。 同実施形態に係るコンテンツ同期再生システムの動作処理を示すタイムチャートである。 同実施形態に係るデータ生成装置の構成を示す図である。 同実施形態に係るカメラ映像データＤＢに格納されるカメラログの一例を示す図である。 同実施形態に係る同期の基準として撮像時間を用いた場合について説明するための図である。 同実施形態に係るコンテンツ操作ログの一例を示す図である。 同実施形態に係るデータ合成装置の構成を示す図である。 同実施形態に係るデータ合成装置で生成される合成データの時刻同期を説明するための図である。 同実施形態に係る合成位置決定部により、コンテンツ解析結果を考慮して合成位置を決定する処理を説明するための図である。 同実施形態に係るカメラ映像データ合成の他の一例を示す図である。 本発明の第２の実施形態に係るデータ生成装置の構成を示す図である。 同実施形態に係る同期の基準として撮像時間を用いた場合について説明するための図である。 同実施形態に係るユーザ特徴ログの一例を示す図である。 同実施形態に係るユーザ特徴解析部の構成を示す図である。 同実施形態に係るデータ合成装置の構成を示す図である。 同実施形態に係るキャラクタ生成部の構成を示す図である。 同実施形態に係るキャラクタ生成の具体例を示す図である。 本発明の第３の実施形態に係るデータ生成装置の概要を説明するための図である。 同実施形態に係るデータ生成／合成装置の概要を説明するための図である。 同実施形態に係る同期の基準として撮像時間を用いた場合について説明するための図である。 同実施形態に係るコンテンツ操作ログの一例を示す図である。 同実施形態に係る直列合成の流れを示す図である。 本発明の第４の実施形態に係る並列合成の流れを示す図である。 本発明を適用した情報処理装置の一実施の形態の構成例を示すブロック図である。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
１．第１の実施の形態
（１−１）コンテンツ同期再生システムの概要説明
（１−２）データ生成装置
（１−３）データ合成装置
２．第２の実施の形態（ユーザ特徴解析）
（２−１）データ生成装置
（２−２）データ合成装置
３．第３の実施の形態（直列に合成）
４．第４の実施の形態（並列に合成）
５．情報処理装置のハードウェア構成
６．まとめ
＜１．第１の実施形態＞
［１−１．コンテンツ同期再生システムの概要説明］
まず、図１から図４を参照して、本発明の第１の実施形態に係るデータ生成装置２０およびデータ合成装置５０を用いたコンテンツ同期再生システムの概要について説明する。なお、本明細書において挙動データとは、ユーザの様子（反応）やコンテンツに対する操作などの視聴状態を示すデータを広く含む。本実施形態では、挙動データの一例として、ユーザを被写体としたカメラ映像データおよびユーザのコンテンツ操作を示すコンテンツ操作データを用いる。
（データ生成装置２０）
コンテンツデータを再生し、視聴中のユーザを被写体としたカメラ映像データやユーザによるコンテンツ操作を示すコンテンツ操作データといった挙動データを取得し、かかる挙動データをコンテンツデータと同期させるための同期用データを生成するデータ生成装置２０について図１を参照して説明する。
図１に示すデータ生成装置２０は、ハンディカム等の記録装置１０からコンテンツデータを受け取り、表示装置４０に表示する。表示装置４０に設置されたカメラ４１は、表示装置４０に表示されたコンテンツを視聴するユーザを撮像し、カメラ映像データとしてデータ生成装置２０に送る。
また、データ生成装置２０は、ユーザがリモートコントローラ４２を用いて行なう、コンテンツの再生、一時停止、早送り等の操作入力をコンテンツ操作データとして受付ける。
このように、データ生成装置２０は、コンテンツを視聴するユーザの挙動を示す挙動データとして、例えばカメラ映像データ（画像（撮像）データおよび収音データを含む）やコンテンツ操作データを取得する。
（データ合成装置５０）
次に、他のユーザが上記コンテンツデータを視聴する場合に、上記データ生成装置２０が取得した最初のユーザのカメラ映像データやコンテンツ操作データ等の挙動データを、コンテンツデータと同期させるデータ合成装置５０について図２を参照して説明する。最初のユーザ（第１のユーザ）の挙動データをコンテンツデータと同期させることで、他のユーザ（第２のユーザ）は、コンテンツデータに加えて、第１のユーザの視聴状態も視聴し楽しむことが出来る。
図２に示す記録媒体１２（例えばＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ））は、コンテンツデータ、第１のユーザのカメラ映像データおよび第１のユーザのコンテンツ操作データを含む。かかる記録媒体１２から各データを取得するデータ合成装置５０は、コンテンツデータとカメラ映像データやコンテンツ操作データを同期させる。
例えば、データ合成装置５０がコンテンツデータと第１のユーザのカメラ映像データを同期させて再生する場合、図２に示すように、コンテンツデータにカメラ映像ｘ４０１を合成して表示装置４０に表示させてもよい。このとき、時系列を基準として両者を同期させることで、コンテンツデータ中のどのタイミングで第１のユーザがどのような反応を示したかが分かり、コンテンツに新たな付加価値が生じる。
（適用例）
上記データ生成装置２０およびデータ合成装置５０を用いたコンテンツ同期再生システムの適用例について説明する。例えば、図１に示すように第１のユーザが父、母、子の家族の場合に、ハンディカムに録画した幼稚園の運動会の映像（コンテンツデータ）をデータ生成装置２０により再生し、この際、データ生成装置２０は、視聴する第１のユーザを被写体としたカメラ映像データをカメラ４１から取得する。次に、運動会の映像とカメラ４１で撮像したカメラ映像データを、第２のユーザである祖父母に送る。祖父母側では、図２に示すように、データ合成装置５０により運動会の映像と息子家族が視聴している様子が映ったカメラ映像データが同期して再生される。これにより、祖父母は孫の運動会の映像を楽しみつつ、息子家族がこの運動会の映像を見てどのような様子であったかも楽しむことが出来る。
なお、図２に示す例では、データ合成装置５０が記録媒体１２から各データを取得しているが、本実施形態のデータ取得方法はこれに限られない。例えば、データ合成装置５０とデータ生成装置２０がネットワークを介して接続し、データ合成装置５０は、ネットワークを介して各データを取得してもよい。
次に、コンテンツ同期再生システムの他の適用例について説明する。本適用例では、コンテンツデータを視聴する他のユーザを被写体としたカメラ映像データや、他のユーザのコンテンツ操作を同期させて、コンテンツに新たな付加価値を生じさせる。
具体的には、まず、子供の幼稚園の運動会の映像（コンテンツデータ）が他のユーザ（祖父および祖母）に送られ、祖父および祖母側にあるデータ生成装置２０で、視聴時の祖父母を被写体としたカメラ映像データや祖父母によるコンテンツ操作データ等の挙動データが取得される。次いで、運動会の映像とカメラ映像データ等の挙動データが記録媒体１２に記録され、祖父および祖母側から息子家族側に送り返される。息子家族側にあるデータ合成装置は、記録媒体１２から取得したカメラ映像データ等に基づいて、上記と同様にコンテンツデータとカメラ映像データやコンテンツ操作データ等の同期再生を行なう。
例えば、コンテンツデータとコンテンツ操作データを同期させて再生する場合、データ合成装置５０は、コンテンツ操作データに従ってコンテンツを再生制御する。したがって、他のユーザが行なった巻き戻しや早送り等のコンテンツ操作が再現される（図３参照）。このとき、時系列を基準として両者を同期させることで、コンテンツデータ中のどのタイミングで他のユーザがどのような操作を行なったかが分かり、コンテンツに新たな付加価値を生じさせることができる。
（動作処理）
次に、上記説明したコンテンツ同期再生システムの動作処理について図４を参照して説明する。図４に示すように、データ生成装置２０は、カメラ４１による撮像を開始し、コンテンツを視聴するユーザを撮像する（Ｓ１０２）。次いで表示装置４０にコンテンツを再生する（Ｓ１０４）。次いで同期用のデータであるメタデータを生成する（Ｓ１０６）。メタデータについては、図５、図７および図８を用いて後述する。
一方、データ合成装置５０は、データ生成装置２０から取得したコンテンツデータ、カメラ映像データ、メタデータに基づき、同期再生を行なう（Ｓ１０８）。
以上、図４のフローチャートを用いて本実施形態に係るコンテンツ同期再生システムの動作処理について説明した。ここで、本明細書に記載のコンテンツデータとは、上述したハンディカムで撮影した映像や、ＴＶ放送される映像、インターネット上で公開されている動画等の動画データのほか、静止画データ、音楽データ、ゲーム等でもよい。また、本実施形態に係るデータ合成装置５０は、一例としてコンテンツデータとカメラ映像データを同期させているが、この他、音データのみ、画像データのみを同期させてもよい。
［１−２．データ生成装置］
（構成）
次に、図５を参照して本実施形態に係るデータ生成装置２０−１の構成について説明する。図５に示すように、データ生成装置２０−１は、カメラ映像データ取得部２１、カメラ映像データＤＢ（Ｄａｔａ Ｂａｓｅ）２２、コンテンツ再生部２３、操作信号Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）２４、メタデータ生成部２５、コンテンツ操作ログＤＢ２６、コンテンツ解析部２７、およびコンテンツ解析結果ＤＢ２８、を備える。以下、各構成について説明する。
カメラ映像データ取得部２１は、表示装置４０に表示されるコンテンツを視聴するユーザを被写体としたカメラ映像データをカメラ４１から取得する。また、カメラ映像データ取得部２１は、撮像開始時刻と終了時刻を示すカメラログと共に、カメラ映像データをカメラ映像データＤＢ２２に格納する。カメラログの一例を図６に示す。
コンテンツ再生部２３は、記録装置１０から取得したコンテンツデータの再生制御を行なう。再生制御は、ユーザによりリモートコントローラ４２から送信され、操作信号入力Ｉ／Ｆ２４から入力された、再生、停止、早送り等の操作信号に従う。かかる操作信号は、コンテンツ操作データとしてメタデータ生成部２５に送られる。コンテンツ再生部２３で再生されたコンテンツデータは、表示装置４０に表示される。
メタデータ生成部２５は、後にデータ合成装置５０でコンテンツデータとコンテンツ操作データを同期させるための同期用データであるコンテンツ操作ログをメタデータとして生成する。同期の基準とするデータは、撮像時間や再生時間等の時刻データでもよいし、コンテンツデータを構成する各区分の識別情報、例えばフレーム番号でもよい。
本実施形態では、同期の基準とするデータの一例として、撮像開始時刻を基準とする時系列を用い、さらにコンテンツデータのフレーム番号と対応付ける。したがって、本実施形態によるメタデータ生成部２５は、カメラ映像データ取得部２１から送られた撮像時間（撮像開始時刻からの経過時間）と、コンテンツ再生部２３により再生されるコンテンツデータのフレーム番号と、コンテンツ操作とを対応付けたコンテンツ操作ログをメタデータとして生成する。なお、コンテンツ操作ログ生成の具体例については、図７及び図８を参照して後述する。
このように生成されたコンテンツ操作ログは、コンテンツＩＤと共にコンテンツ操作ログＤＢ２６に格納される。
コンテンツ解析部２７は、コンテンツ再生部２３で再生されるコンテンツデータを解析し、主要領域の検出を行なう。例えば、コンテンツデータが画像データの場合は、被写体領域を主要領域として検出する。具体的には、画像データから輝度情報や、色情報、エッジ情報、顔情報、動き情報等を抽出し、被写体マップを生成し、被写体領域を特定する。ここで、被写体とはユーザが画像を一瞥した場合にユーザが注目すると推定される画像上の物体、すなわちユーザが目を向けると推定される物体をいう。したがって、被写体は必ずしも人に限られるわけではない。
コンテンツ解析部２７の解析結果（主要領域の検出結果）は、コンテンツ解析結果ＤＢ２８に格納される。かかるコンテンツ解析結果は、後にデータ合成装置５０において合成位置を決定する際に用いられる。
（コンテンツ操作ログ）
次に、コンテンツ操作データと、コンテンツデータ中でユーザがコンテンツ操作を行なったデータ位置とを同期させる同期用データであるコンテンツ操作ログについて図７および図８を用いて説明する。本実施形態では、一例として、ユーザがコンテンツ操作を行なったデータ位置を、撮像開始時刻を基準とした時系列にコンテンツ操作データと対応付けて生成するが、同期の基準はこれに限られない。例えば、再生開始時刻を基準として時系列に対応付けてもよいし、コンテンツデータを構成する各区分の識別情報と対応付けてもよい。各区分の識別情報とは、例えばコンテンツデータが動画である場合は、各フレーム番号に相当する。
図７に示すように、本実施形態では、カメラ４１による撮像開始時刻（図７中、ｒｅｃ ｓｔａｒｔ参照）を基準とした時系列（図７中、ｔｉｍｅ ｌｉｎｅ参照）に、コンテンツデータ、コンテンツ操作データを対応付ける。
次に、図７に示す対応付けを元に生成したコンテンツ操作ログについて図８を参照して説明する。まず、図７に示すように、撮像を開始してから１分経過後にユーザが再生（Ｐｌａｙ）操作を行った場合は、図８に示すように、ｔｉｍｅが００：０１：００：００であり、コンテンツ操作がｐｌａｙであり、コンテンツフレーム（フレーム番号）が０であるコンテンツ操作ログが生成される。
次いで、図７に示すように、再生開始から１分経過後にユーザが一時停止（ｐａｕｓｅ）操作を行なった場合は、図８に示すように、ｔｉｍｅが００：０２：００：００であり、コンテンツ操作がｐｌａｙ ｅｎｄであり、コンテンツフレームが１８００であるコンテンツ操作ログと、ｔｉｍｅが００：０２：００：００であり、コンテンツ操作がｐａｕｓｅであり、コンテンツフレームが１８００であるコンテンツ操作ログが生成される。
次いで、図７に示すように、一時停止操作から３０秒経過後にユーザが再生（ｐｌａｙ）操作を行なった場合は、図８に示すように、ｔｉｍｅが００：０２：３０：００であり、コンテンツ操作がｐａｕｓｅ ｅｎｄであり、コンテンツフレームが１８００であるコンテンツ操作ログと、ｔｉｍｅが００：０２：３０：００であり、コンテンツ操作がｐｌａｙであり、コンテンツフレームが１８００であるコンテンツ操作ログが生成される。
次いで、図７に示すように、再生操作から１分経過後にユーザが巻き戻し（ｐｒｅｖ．ｓｐｅｅｄ１）操作を行なった場合は、図８に示すように、ｔｉｍｅが００：０３：３０：００であり、コンテンツ操作がｐｌａｙ ｅｎｄであり、コンテンツフレームが３６００であるコンテンツ操作ログと、ｔｉｍｅが００：０３：３０：００であり、コンテンツ操作がｐｒｅｖ．ｓｐｅｅｄ１であり、コンテンツフレームが３６００であるコンテンツ操作ログが生成される。
このようにして、メタデータ生成部２５は、同期用データであるコンテンツ操作ログを、撮像開始時刻を基準として生成していく。本実施形態では、図７および図８に示すように、ｔｉｍｅが００：０５：４１：００でｓｔｏｐ操作がなされ、コンテンツデータの再生が終了し、その後、カメラ４１による撮像が終了（ｒｅｃ ｓｔｏｐ）する。
［１−３．データ合成装置］
（構成）
次に、図９を参照して、本実施形態に係るデータ合成装置５０−１の構成について説明する。図９に示すように、データ合成装置５０−１は、コンテンツデータＤＢ５１、操作信号入力Ｉ／Ｆ５２、コンテンツ再生部５３、コンテンツ操作ログＤＢ５４、合成位置決定部５５、コンテンツ解析結果ＤＢ５６、合成部５７、カメラ映像データＤＢ５８、およびカメラ映像データ取得部５９を備える。
ここで、図９に示すコンテンツデータＤＢ５１、コンテンツ操作ログＤＢ５４、コンテンツ解析結果ＤＢ５６およびカメラ映像データＤＢ５８に格納されるデータは、いずれも記録媒体１２から取得したデータである。ここで、記録媒体１２には、上述したデータ生成装置２０で再生したコンテンツデータ、第１のユーザによるコンテンツ操作データを時系列に対応付けて生成したコンテンツ操作ログ、コンテンツデータ中の注目領域を解析したコンテンツ解析結果、およびコンテンツデータ再生時にユーザを撮像したカメラ映像データが記録されている。
以下、データ合成装置５０−１の各構成について説明する。まず、操作信号入力Ｉ／Ｆ５２は、第２のユーザが操作するリモートコントローラ４２から、再生、停止、一時停止、早送り等の操作信号の入力を受け付ける。
コンテンツ再生部５３は、コンテンツデータを再生制御する。特に、コンテンツ操作ログＤＢ５４に格納される第１のユーザのコンテンツ操作ログと同期させてコンテンツデータを再生制御することで、データ合成装置５０−１において第１のユーザのコンテンツ操作を再現することができる。
合成位置決定部５５は、コンテンツ解析結果ＤＢ５６に格納されるコンテンツ解析結果に基づいて、次の合成部５７でコンテンツデータとカメラ映像データを合成する位置を決定する。合成位置の決定については図１１を参照して後述する。
合成部５７は、コンテンツデータと、カメラ映像データＤＢ５８からカメラ映像データ取得部５９が取得したカメラ映像データを合成する。このとき、合成部５７は、合成位置決定部５５により決定された位置で合成する。また、合成部５７は、第１のユーザの操作を再現して再生制御されるコンテンツデータと、カメラ映像データを、時刻同期して合成する。かかる時刻同期により、第１のユーザがコンテンツデータ中のどのデータ位置でどのような様子であったかがカメラ映像データにより示されることとなる。
（合成コンテンツ）
次に、図１０を用いて、データ合成装置５０−１で合成されるコンテンツ（以下、合成コンテンツとも称す）について説明する。
まず、本実施形態では、図１０に示すように、コンテンツ再生開始時刻（ｔｉｍｅ ０１：００）前のカメラ映像データは合成せず、再生開始時刻に対応するカメラ映像データを取得し、合成を開始する。また、本実施形態では、図１０に示すように、コンテンツ再生終了時刻（ｔｉｍｅ ０５：４１）で再生を終了し、再生終了後のカメラ映像データは表示しない。なお、合成部５７が行なう、カメラ映像データとコンテンツ操作ログに基づいて再生制御されるコンテンツデータとの同期は、コンテンツデータの再生開始時刻などの時点を揃えて同期される。
次に、コンテンツ再生部５３が第１のユーザのコンテンツ操作ログに従ってコンテンツデータを再生制御し、第１のユーザの操作を再現する処理について説明する。例えば、第１のユーザのコンテンツ操作ログが図８に示すログである場合に、ｔｉｍｅ００：０３：３０：００に着目すると、コンテンツフレーム３６００の時点でｐｒｅｖ．ｓｐｅｅｄ１の操作が１０秒間なされる。したがって、データ合成装置５０−１は、コンテンツフレーム３６００から３０００まで巻き戻し再生を行うため、表示装置４０には図３に示すように巻き戻し映像が表示される。なお、図１０に示す合成コンテンツにおいては、ｐｌａｙ操作により再生されるコンテンツフレームの順番の流れとして、ｆ３６００の次にｆ３０００を示すが、ｆ３６００とｆ３０００の間には、上述したようにｐｒｅｖ．操作による巻き戻し映像が表示される。例えば、ｆ３６００からｆ３０００まで複数フレームおきにフレームが表示される。
次に、合成位置決定部５５がコンテンツ解析結果に基づいて行なうカメラ映像データの合成位置決定処理について図１１を参照して説明する。コンテンツ解析結果は、上述したように、データ生成装置２０においてコンテンツ解析部２７が行なうコンテンツ解析の結果である。具体的には、コンテンツデータが動画の場合、画像中の顔領域４０２や、動きのある被写体領域４０３等の主要領域を示す。合成位置決定部５５は、画像中の顔領域４０２や、被写体領域４０３と重ならない領域内で、カメラ映像データ（図１１に示すカメラ映像ｘ４０１）の合成位置を決定する。
なお、データ合成装置５０が合成して再生するコンテンツデータとカメラ映像データの画面構成比は、図１１に示すような、表示装置４０の全画面にコンテンツデータが表示され、画面の端にカメラ映像データが重ねて表示される例に限られない。例えば、表示装置４０の全画面にカメラ映像データを表示し、画面の端にコンテンツデータを重ねて表示してもよいし、表示装置４０の画面を二等分して、コンテンツデータとカメラ映像データをそれぞれ表示してもよい。また、図１２に示すように、表示装置４０の全画面にコンテンツデータを表示し、カメラ映像データから各ユーザの顔領域４０１ａ、４０１ｂ、４０１ｃを抽出して表示してもよい。
＜２．第２の実施の形態（ユーザ特徴解析）＞
次に、本発明の第２の実施形態に係るコンテンツ同期再生システムについて説明する。上述した第１の実施の形態では、データ合成装置５０−１において、コンテンツ再生開始時刻に対応するカメラ映像データからコンテンツ再生終了時刻に対応するカメラ映像データまで全て常に合成する。しかし、本発明の実施形態に係る合成方法はこれに限られず、カメラ映像データのうち特徴的なフレームを合成してもよい。例えば、本実施形態では、ユーザの挙動を示すカメラ映像データを解析して生成したユーザ特徴ログに基づいて、カメラ映像データのうち第１のユーザが特徴的な反応を示した場面のみをコンテンツデータに合成する。また、データ生成装置２０−２でカメラ映像データを解析して生成されたユーザ特徴ログを用いてデータ合成装置５０−２でキャラクタを生成し、カメラ映像データの代わりにコンテンツデータに合成してもよい。
［２−１．データ生成装置］
（構成）
まず、図１３を参照して、本実施形態に係るデータ生成装置２０−２の構成について説明する。図１３に示すように、データ生成装置２０−２は、カメラ映像データ取得部２１、カメラ映像データＤＢ２２、コンテンツ再生部２３、操作信号Ｉ／Ｆ２４、メタデータ生成部２５、コンテンツ操作ログＤＢ２６、コンテンツ解析部２７、コンテンツ解析結果ＤＢ２８、ユーザ特徴解析部３０、およびユーザ特徴ログＤＢ３１を備える。以下、データ生成装置２０−２の各構成について説明するが、上記第１の実施形態に係るデータ生成装置２０−１の構成と重複するものについては説明を省略する。
ユーザ特徴解析部３０は、カメラ映像データ取得部２１から送られたカメラ映像データに写るユーザの特徴を解析し、ユーザの特定の反応（笑顔など）が示された箇所を検出する。さらに、ユーザ特徴解析部３０は、後にアバタやＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）キャラクタ等のキャラクタ生成を行なう際に利用できる表情パラメータを生成してもよい。
ユーザ特徴解析部３０の解析結果は、メタデータ生成部２５が生成したコンテンツ操作ログと同様の時間軸に対応付けられたユーザ特徴ログとしてユーザＩＤと共にユーザ特徴ログＤＢ３１に格納される。
（ユーザ特徴ログ）
次に、ユーザ特徴ログと時間軸との対応付けについて図１４を参照して説明する。図１４に示すように、本実施形態では、カメラ４１による撮像開始時刻を基準とした時系列に対応付けて、ユーザ特徴ログを生成する。
図１４中のユーザ特徴解析に示すように、ユーザ特徴解析部３０によるカメラ映像データの解析の結果、ユーザが笑顔を示したり（ｓｍｉｌｅ ｆａｃｅ）、指で画面を指す仕草（ｐｏｉｎｔ ｂｙ ｆｉｎｇｅｒ）等の身振り手振りの動作を行なったりした時刻を、撮像開始時刻を基準とした時系列に対応付ける。これにより、例えば図１５に示すように、ｔｉｍｅが００：０２：３５：００の時点で、ユーザの反応（ｂｅｈａｖｉｏｒ）が笑顔であることや、ｔｉｍｅが００：０２：４０：００の時点で、ユーザが指で画面を指す仕草を示すユーザ特徴ログが生成される。なお、図１５に示すように、ユーザ特徴ログは、さらに、コンテンツデータのフレーム番号と対応付けてもよい。
また、図１４に示すように、カメラ映像データに含まれる音声データを解析して、笑い声（ｌａｕｇｈｔｅｒ）、話し声（ｓｐｅａｋ）等もユーザの反応として検出してもよい。
（表情パラメータの生成）
次に、キャラクタ生成に用いる表情パラメータを生成する場合のユーザ特徴解析部３０の構成の一例について図１６を参照して説明する。図１６に示すように、ユーザ特徴解析部３０は、顔認識部３１０および表情パラメータ生成部３２０を備える。顔認識部３１０は、顔検出部３１１、パーツ検出部３１２、属性判別部３１３および詳細パーツ検出部３１４を備え、カメラ映像データに対して顔認識処理を行なう。表情パラメータ生成部３２０は、顔向きパラメータ算出部３２１、顔位置パラメータ算出部３２２、笑顔パラメータ算出部３２３、目閉率パラメータ算出部３２４および口開率パラメータ算出部３２５を備え、後述するデータ合成装置５０−２でキャラクタが生成される際の制御データとなる各種のパラメータを生成する。
具体的には、まず顔検出部３１１でカメラ映像データの画像（各フレーム）から顔領域検出処理を行う。画像にユーザの顔が写っていた場合は、その顔の領域を特定する情報である顔探索結果情報を出力する。顔探索結果情報には、顔領域の基準点、横幅、縦幅、および回転角度が含まれる。
パーツ検出部３１２は、顔検出部３１１で検出された顔領域内にある顔のパーツ（右目、左目、鼻および口）をそれぞれ検出し、各パーツの中心点の座標を示す情報であるパーツ情報を出力する。
属性判別部３１３は、パーツ検出部３１２から出力されるパーツ情報に基づいて、画像に表示されている顔の属性を判別し、その顔の属性を示す情報である属性情報を出力する。属性情報には、笑顔スコア（ｓｍｉｌｅ）、右目の開度スコア（Ｒ ｅｙｅ Ｏｐｅｎ）、左目の開度スコア（Ｌ ｅｙｅ Ｏｐｅｎ）、男性スコア（Ｍａｌｅ）、大人スコア（Ａｄｕｌｔ）、赤ちゃんスコア（Ｂａｂｙ）、老人スコア（Ｅｌｄｅｒ）等が含まれる。例えば、笑顔スコアは、ユーザの顔の笑顔の度合いを数値化したものである。
詳細パーツ検出部３１３は、画像に表示される顔のパーツ（輪郭、眉、目、鼻、口など）の位置や形状など、各パーツを詳細に特定するためのポイントを検出し、それらのポイントを示す情報であるパーツ結果情報を出力する。パーツ結果情報は、例えば、顔の輪郭、眉の形状、目の輪郭、鼻の形状、口の輪郭を特定する複数箇所のポイントをＸＹ座標で示す。
次に、表情パラメータ生成部３２０では、顔認識部３１０から出力された情報に基づき、ユーザの顔をキャラクタで生成するために必要な表情パラメータを生成する。例えば、顔向きパラメータ算出部３２１は、顔検出部３１１から出力される顔探索結果情報に含まれる顔領域の回転角度から、キャラクタの顔角度を制御するパラメータを算出する。
また、顔位置パラメータ算出部３２２は、顔検出部３１１から出力される顔探索結果情報に含まれる顔領域の基準点、横幅および縦幅から、キャラクタの顔位置を制御するパラメータ（顔位置パラメータ）を算出する。
また、笑顔パラメータ算出部３２３は、属性判別部３１３から出力される属性情報に含まれる笑顔スコアから、キャラクタの笑顔率を制御するパラメータを算出する。
また、目閉率パラメータ算出部３２４は、属性判別部３１３から出力された属性情報に含まれるユーザの右目および左目の開度スコアから、キャラクタの右目および左目の閉鎖率を制御するパラメータを算出する。
また、口開率パラメータ算出部３２５は、詳細パーツ検出部３１３から出力されたパーツ結果情報に含まれるユーザの口の輪郭を特定する複数個所のポイントから、キャラクタの口の開率を制御するパラメータを算出する。
上述した表情パラメータは、カメラ映像データのフレーム単位でユーザ特徴ログＤＢ３１に保存される。なお、データ量を少なくするため、例えば算出された笑顔パラメータの数値が７割以上の値であった場合に、「笑顔」としてもよい。また、属性判別部３１３から出力される属性情報のうち、ユーザの顔が、男性、女性、および子供のいずれであるかを判定するモデル選択に用いられるスコア（男性スコアおよび大人スコア）も保存される。
［２−２．データ合成装置］
（構成）
次に、図１７を参照して、本実施形態に係るデータ合成装置５０−２の構成について説明する。図１７に示すように、データ合成装置５０−２は、コンテンツデータＤＢ５１、操作信号入力Ｉ／Ｆ５２、コンテンツ再生部５３、コンテンツ操作ログＤＢ５４、合成位置決定部５５、コンテンツ解析結果ＤＢ５６、合成部５７、カメラ映像データＤＢ５８、カメラ映像データ取得部５９、ユーザ特徴ログＤＢ６０およびキャラクタ生成部６１を備える。以下、データ合成装置５０−２の各構成について説明するが、上記第１の実施形態に係るデータ合成装置５０−１の構成と重複するものについては省略する。
ユーザ特徴ログＤＢ６０は、記録媒体１２から取得した第１のユーザのユーザ特徴ログを格納する。
キャラクタ生成部６１は、ユーザ特徴ログＤＢ６０に格納されたユーザ特徴ログに含まれる表情パラメータに基づいてキャラクタを生成し、合成部５７に送る。キャラクタ生成
部６１の詳細については図１８を参照して後述する。
キャラクタ生成部６１から、生成されたキャラクタを受取った合成部５７は、ユーザ特徴ログに基づいてコンテンツデータと時刻同期させ、キャラクタを合成する。
（キャラクタ生成）
次に、キャラクタ生成部６１の構成の一例を、図１８を参照して説明する。図１８に示すように、キャラクタ生成部６１は、モデル選択部６１０、三次元データ管理部６２０、シェーダ管理部６３０およびレンダリング部６４０を備える。なお、本実施形態に係るキャラクタ生成部６１は、キャラクタの一例としてアバタを生成する。
モデル選択部６１０は、ユーザ特徴ログに含まれる、属性判別部３１３から出力された属性情報のうちの男性スコアおよび大人スコアに基づいて、カメラ映像データに写るユーザの顔が、男性、女性、および子供のいずれであるかを判定する。次いで、モデル選択部６１０は、判定結果にしたがって、男性のモデル、女性のモデル、および子供のモデルのいずれかを選択し、選択結果を示す情報であるモデル情報を出力する。
三次元データ管理部６２０は、アバタの三次元データの管理、例えば、男性、女性および子供のアバタの三次元データを記憶しているデータベース（図示せず）の管理を行なう。また、三次元データ管理部６２０には、モデル選択部６１０からモデル情報が供給される。そして、三次元データ管理部６２０は、モデル情報に応じたアバタの三次元データをデータベースから読み出してレンダリング部６４０に供給する。
また、三次元データ管理部６２０は、三次元モデルの座標を出力画像（二次元）に変換するためのジオメトリ処理や、三次元モデルの表面に質感を与えるためのテクスチャを貼り付けるテクスチャ処理などを行なうための各種のデータを管理し、それらのデータをレンダリング部６４０に供給する。
シェーダ管理部６３０は、レンダリング部において三次元データをレンダリングする際に、所定の光源（照明）により三次元モデルに陰影をつけるための演算を行なうシェーディング処理を管理し、シェーディング処理による演算結果をレンダリング部６４０に供給する。
レンダリング部６３０は、ユーザ特徴ログに含まれる表情パラメータ（例えば、アバタの右目および左目の目閉率を示すパラメータ、アバタの笑顔率を示すパラメータ、アバタの口開率を示すパラメータ）に従って、三次元データ管理部６２０から供給された三次元データを変形（モーフィング）させて、レンダリングを行なう。
合成部５７には、レンダリング部６３０によりレンダリングされたアバタの顔の画像が供給され、コンテンツデータに合成される。なお、コンテンツデータに、アバタの顔のみを合成してもよいし、コンテンツデータに合成するカメラ映像データのうち、顔位置パラメータに従って、ユーザの顔のみにアバタの顔を重ね合わせてもよい。
以上説明したキャラクタ生成の具体例について図１９を参照して説明する。まず、図１９の画像７０１に対して、上述したデータ生成装置２０−２の顔認識部３１０により、顔認識処理が行なわれる。かかる顔認識処理により、顔領域検出処理、顔領域内にある顔の各パーツの中心点の座標を示す情報であるパーツ情報の検出処理、笑顔スコア（ｓｍｉｌｅ）等の属性情報の判別処理、顔の各パーツを詳細に特定するためのパーツ結果情報（口の輪郭を特定する複数個所のポイント等）の検出処理が行なわれる。
次に、顔認識処理において出力された情報から、上述したデータ生成装置２０−２の表情パラメータ生成部３２０により、表情パラメータが生成される。
次に、上述したデータ合成装置５０−２のキャラクタ生成部６１により、属性情報、表情パラメータに従って画像７０２に示すようなアバタの顔が生成される。
（特徴的な反応を示すカメラ映像データの合成）
一方、カメラ映像データ取得部５９により、カメラ映像データＤＢから、第１のユーザのユーザ特徴ログに基づいて、第１のユーザが笑顔の場合等、特徴的な反応を示した箇所のカメラ映像データのみを取得し、合成部５７に送ってもよい。特徴的な反応とは、笑顔やユーザの手振り身振りがあった場合の他、これらと音声データから算出される盛り上がり度が一定値以上の場合を特徴的な反応と判断してもよい。
カメラ映像データ取得部５９からカメラ映像データを受取った合成部５７は、ユーザ特徴ログに基づいてコンテンツデータと時刻同期させ、カメラ映像データを合成する。
＜３．第３の実施の形態（直列に合成）＞
次に、本発明の第３の実施の形態に係るコンテンツ同期再生システムについて説明する。本実施形態では、最初に視聴したユーザのカメラ映像データ等が合成されたコンテンツを視聴した次のユーザのカメラ映像データもさらに合成する。
（第１のユーザによる視聴）
まず、図２０に示すように、データ生成装置２０が、記録媒体１１に格納されたコンテンツデータを再生し、表示装置４０に表示する。そして、データ生成装置２０は、カメラ４１から第１のユーザＸ（祖父と祖母）を被写体とするカメラ映像データを取得する。また、データ生成装置２０は、ユーザがリモートコントローラ４２を用いて行なったコンテンツ操作のデータを取得する。このように、本実施形態に係るデータ生成装置２０が行なう処理は、上記第１および第２の実施形態に係るデータ生成装置の処理と同様である。
そして、データ生成装置２０は、コンテンツデータ、ユーザＸのカメラ映像データおよび操作ログ等を記録媒体１２に格納する。なお、本実施形態では記録媒体を介して各データのやり取りを行なっているが、ネットワークを介して各データを渡してもよい。
（第２のユーザによる視聴）
次に、図２１に示すように、第１のユーザのカメラ映像データ等が格納された記録媒体１２から各データを取得したデータ生成／合成装置８０は、上記第１および第２実施形態に係るデータ合成装置５０と同様に、コンテンツデータをユーザＸのコンテンツ操作ログに従って再生し、ユーザＸのカメラ映像ｘ４０１をコンテンツデータと時刻同期させて合成する。
ここで、本実施形態に係るデータ生成／合成装置８０は、上記第１および第２の実施形態で説明したデータ生成装置２０の構成と、データ合成装置５０の構成を含み、各データを同期して合成コンテンツを再生する機能と、かかる合成コンテンツを視聴するユーザのコンテンツ操作ログや、カメラ映像データを取得する。
したがって、データ生成／合成装置８０は、図２１に示すように、合成コンテンツを表示装置４０で再生し、カメラ４１で撮像した第２のユーザＹ（父、母および子）のカメラ映像データ等を取得する。
このとき、データ生成／合成装置８０のメタデータ生成部（図示せず）は、例えば図２２に示すように撮像開始時刻を基準とした時系列に対応付けて、合成コンテンツｘに対するコンテンツ操作ログを生成する。ここで、合成コンテンツｘは、第１のユーザＸのカメラ映像ｘが合成されたコンテンツである。なお、コンテンツ操作ログは、図２３に示すように、さらにコンテンツフレームの番号と対応付けてもよい。
（直列に合成）
以上説明したデータ生成／合成装置８０から、ユーザＹのコンテンツ操作ログ、カメラ映像ｙおよび合成コンテンツｘが記録媒体１３に格納され、これらのデータに基づき、さらにユーザＹのコンテンツ操作ログやカメラ映像ｙが合成されたコンテンツが生成される。例えば、図２４に示すように、コンテンツデータにユーザＸのカメラ映像ｘ４０１とユーザＹのカメラ映像ｙ４０２が合成された合成コンテンツデータ４１０が生成される。
また、ユーザＹのコンテンツ操作は、図２２に示すように、第２のユーザＹの視聴時のタイムラインと合成コンテンツｘ内のタイムラインと対応付けられる（図２２、一点鎖点矢印Ａ参照）。したがって、図２４に示す合成コンテンツデータ４１０は、ユーザＹのコンテンツ操作ログに基づいて合成コンテンツｘ（コンテンツデータにカメラ映像ｘ４０１が合成されたコンテンツ）が再生制御され、合成コンテンツｘに対するユーザＹのコンテンツ操作が再現される。
なお、記録媒体１３に、コンテンツデータ、ユーザＸのカメラ映像データ、ユーザＸのコンテンツ操作ログ、ユーザＹのカメラ映像データおよびユーザＹのコンテンツ操作ログが格納され、これらから図２４に示すような合成コンテンツ４１０を生成してもよい。この場合、例えば図２２に示す第２のユーザＹの視聴時のタイムラインと、これに対応するユーザＸの視聴時のタイムライン（合成コンテンツｘ内のタイムライン）を基準として、コンテンツデータやカメラ映像ｘのフレーム、ユーザＸのコンテンツ操作、カメラ映像ｙのフレーム、ユーザＹのコンテンツ操作等が同期され再生される。
＜４．第４の実施の形態（並列に合成）＞
次に、本発明の第４の実施の形態に係るコンテンツ同期再生システムについて説明する。本実施形態は、同じコンテンツを複数の視聴ユーザが別々に視聴し、コンテンツの早送り、巻き戻し、スキップ等の操作が行なわれなかったもの同士であれば、コンテンツデータと、各ユーザを写したカメラ映像データを同期させて合成することが出来る。
例えば、図２５に示すように、コンテンツ（記録媒体１１）をユーザＸ、ユーザＹが別々に視聴し、それぞれのカメラ映像データ等（記録媒体１２、１３）に基づき、合成コンテンツデータ４２０が生成される。
＜５．情報処理装置のハードウェア構成＞
次に、上述した一連の処理をプログラムにより実行するデータ生成装置２０、データ合成装置５０等の情報処理装置９０のハードウェアの構成例について図２６を参照して説明する。
図２６に示したように、情報処理装置９０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３と、ホストバス９０４と、インターフェース９０５と、入力部９０６と、出力部９０７と、記憶部（ＨＤＤ）９０８と、ドライブ９０９と、通信部９１１とを備える。
ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置９０内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバスなどから構成されるホストバス９０４により相互に接続されている。
入力部９０６は、例えば、マウス、キーボード、タッチパネル、ボタン、マイク、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。情報処理装置９０のユーザは、該入力部９０６を操作することにより、情報処理装置９０に対して各種のデータを入力したり処理動作を指示したりすることができる。
出力部９０７は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ
Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｓｐｌａｙ）装置およびランプなどの表示装置と、スピーカおよびヘッドホンなどの音声出力装置で構成される。出力部９０７は、例えば、再生されたコンテンツを出力する。具体的には、表示装置は再生された映像データ等の各種情報をテキストまたはイメージで表示する。一方、音声出力装置は、再生された音声データ等を音声に変換して出力する。
記憶部９０８は、本実施形態にかかる情報処理装置９０の記憶部の一例として構成されたデータ格納用の装置である。記憶部９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。記憶部９０８は、例えば、ＨＤＤ（Ｈａｒｄ
Ｄｉｓｋ Ｄｒｉｖｅ）で構成される。この記憶部９０８は、ハードディスクを駆動し、ＣＰＵ９０１が実行するプログラムや各種データを格納する。また、この記憶部９０８には、コンテンツデータ、カメラ映像データ、メタデータ、およびコンテンツ解析結果などが記録される。
ドライブ９０９は、記憶媒体用リーダライタであり、情報処理装置９０に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体９１０に記録されている情報を読み出して、ＲＡＭ９０３に出力する。
通信部９１１は、例えば、通信網９１２に接続するための通信デバイス等で構成された通信インターフェースである。また、通信部９１１は、無線ＬＡＮ（Ｌｏｃａｌ
Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信装置であっても、ワイヤレスＵＳＢ対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。この通信装置１１２は、外部機器との間で、通信網９１２を介して、コンテンツデータ等の各種データを送受信する。
＜６．まとめ＞
以上説明したように、本発明の実施形態にかかるデータ生成装置２０およびデータ合成装置５０によれば、コンテンツを視聴したユーザの様子や反応をコンテンツに加えることができるため、コンテンツを何度も楽しむことができ、コンテンツに新たな付加価値が生じる。
また、ユーザの様子や反応は、コンテンツを視聴するユーザを撮像対象としたカメラ映像データや、コンテンツの再生、早送り、巻き戻し等の操作データを利用することで加えることができる。
また、上記カメラ映像データやコンテンツ操作データは、撮像開始時刻からの経過時刻と対応付けられたカメラログやコンテンツ操作ログを用いて、コンテンツ再生時に同期させることができる。
また、視聴したユーザの映像からキャラクタを生成し、キャラクタを表示させる方法を利用すると、データ生成装置２０からデータ合成装置５０にカメラ映像データを送る場合に比べてデータ容量を軽減できる。また、データ生成装置２０からコンテンツ操作ログ等の情報をネットワーク上のサーバ装置に一旦保存するシステムの場合でも、カメラ映像データを保存する場合に比べてプライバシーを保つことができる。
なお、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
例えば、本明細書のデータ生成装置２０、データ合成装置５０の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、図４に示すデータ生成装置２０の処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
また、データ生成装置２０、データ合成装置５０に内蔵されるハードウェアを、上述したデータ生成装置２０、データ合成装置５０の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。
２０、２０−１、２０−２ データ生成装置
２１ カメラ映像データ取得部
２２ カメラ映像データＤＢ
２３ コンテンツ再生部
２４ 操作信号Ｉ／Ｆ
２５ メタデータ生成部
２６ コンテンツ操作ログＤＢ
２７ コンテンツ解析部
２８ コンテンツ解析結果ＤＢ
３０ ユーザ特徴解析部
３１ ユーザ特徴ログＤＢ
４０ 表示装置
４１ カメラ
４２ リモートコントローラ
５０、５０−１、５０−２ データ合成装置
５１ コンテンツデータＤＢ
５２ 操作信号入力Ｉ／Ｆ
５３ コンテンツ再生部
５４ コンテンツ操作ログＤＢ
５５ 合成位置決定部
５６ コンテンツ解析結果ＤＢ
５７ 合成部
５８ カメラ映像データＤＢ
５９ カメラ映像データ取得部
６０ ユーザ特徴ログＤＢ
６１ キャラクタ生成部

Claims (12)

  1. コンテンツデータを再生する再生部と、
    前記再生部により再生するコンテンツデータに対するユーザの挙動を示す挙動データを取得する取得部と、
    前記ユーザの前記挙動と、前記コンテンツデータを同期させるための同期用データを生成する同期用データ生成部と、
    を備え、
    前記挙動データは、前記ユーザを撮像した撮像データと、前記コンテンツデータに対するユーザによる操作を示すコンテンツ操作データであって、
    前記同期用データ生成部は、前記撮像データの撮像時間の時系列に、前記コンテンツ操作データおよび前記コンテンツデータを構成する各区分の識別情報を対応付けて、前記同期用データを生成する、情報処理装置。
  2. 前記取得部は、前記挙動データとして、さらに収音データを取得する、請求項１記載の情報処理装置。
  3. 前記情報処理装置は、
    前記コンテンツデータを解析し、前記コンテンツデータを構成するフレーム中の主要領域を検出するコンテンツデータ解析部をさらに備える、請求項１記載の情報処理装置。
  4. 前記情報処理装置は、
    前記挙動データを解析し、前記ユーザの特徴データを検出する挙動データ解析部をさらに備える、請求項１記載の情報処理装置。
  5. 再生されたコンテンツデータに対するユーザの挙動を示す挙動データを、前記コンテンツデータと前記挙動データを同期させるための同期用データに基づき、前記コンテンツデータに同期させる情報処理装置であって、
    前記挙動データは、前記ユーザを撮像した撮像データと、前記コンテンツデータに対するユーザによる操作を示すコンテンツ操作データであって、
    前記同期用データは、前記撮像データの撮像時間の時系列に、前記コンテンツ操作データおよび前記コンテンツデータを構成する各区分の識別情報を対応付けたものであって、
    前記情報処理装置は、
    前記同期用データに基づいて、前記撮像データを前記コンテンツデータに合成する合成部と、
    前記同期用データに基づいて、前記コンテンツデータを前記コンテンツ操作データに従って再生する再生部と、を備える、情報処理装置。
  6. 前記合成部は、前記挙動データが収音データである場合に、前記同期用データに基づき、前記コンテンツデータに前記収音データを合成する、請求項５記載の情報処理装置。
  7. 前記情報処理装置は、
    取得されたコンテンツデータの解析結果に示される前記コンテンツデータを構成するフレームの主要領域に基づき、前記撮像データを合成する位置を決定する合成位置決定部をさらに備える、請求項５記載の情報処理装置。
  8. 前記情報処理装置は、
    取得された撮像データの解析結果に示される前記ユーザの特徴データに基づき、キャラクタ画像を生成するキャラクタ生成部をさらに備え、
    前記合成部は、前記キャラクタ生成部により生成されたキャラクタ画像を前記コンテンツデータに合成する、請求項５記載の情報処理装置。
  9. 前記合成部は、取得された撮像データの解析結果に示される前記ユーザの特徴データに基づき、所定の撮像データを前記コンテンツデータに合成する、請求項５記載の情報処理装置。
  10. コンテンツデータを再生する再生部と、
    前記再生部により再生するコンテンツデータに対するユーザの挙動を示す挙動データを取得する取得部と、
    前記ユーザの前記挙動と、前記コンテンツデータを同期させるための同期用データを生成する同期用データ生成部と、
    を備え、
    前記挙動データは、前記ユーザを撮像した撮像データと、前記コンテンツデータに対するユーザによる操作を示すコンテンツ操作データであって、
    前記同期用データ生成部は、前記撮像データの撮像時間の時系列に、前記コンテンツ操作データおよび前記コンテンツデータを構成する各区分の識別情報を対応付けて、前記同期用データを生成し、
    さらに、
    前記同期用データに基づいて、前記撮像データを前記コンテンツデータに合成する合成部と、
    前記同期用データに基づいて、前記コンテンツデータを前記コンテンツ操作データに従って再生する再生部と、を備える、情報処理装置。
  11. コンテンツデータを再生するステップと、
    前記再生されるコンテンツデータに対するユーザの挙動を示す挙動データを取得するステップと、
    前記ユーザの前記挙動と、前記コンテンツデータを同期させるための同期用データを生成するステップと、
    前記挙動データと前記同期用データに基づき、前記挙動と前記コンテンツデータとを同期させるステップと、
    を含み、
    前記挙動データは、前記ユーザを撮像した撮像データと、前記コンテンツデータに対するユーザによる操作を示すコンテンツ操作データであって、
    前記同期用データは、前記撮像データの撮像時間の時系列に、前記コンテンツ操作データおよび前記コンテンツデータを構成する各区分の識別情報を対応付けたものであって、
    前記同期させるステップは、前記同期用データに基づいて前記撮像データを前記コンテンツデータに合成するステップと、前記同期用データに基づいて前記コンテンツデータを前記コンテンツ操作データに従って再生するステップと、を含む、同期方法。
  12. コンテンツデータを再生する処理と、
    前記再生されるコンテンツデータに対するユーザの挙動を示す挙動データを取得する処理と、
    前記ユーザの前記挙動と、前記コンテンツデータを同期させるための同期用データを生成する処理と、
    前記挙動データと前記同期用データに基づき、前記挙動と前記コンテンツデータとを同期させる処理と、
    をコンピュータに実行させ、
    前記挙動データは、前記ユーザを撮像した撮像データと、前記コンテンツデータに対するユーザによる操作を示すコンテンツ操作データであって、
    前記同期用データは、前記撮像データの撮像時間の時系列に、前記コンテンツ操作データおよび前記コンテンツデータを構成する各区分の識別情報を対応付けたものであって、
    さらに、
    前記同期させる処理として、前記同期用データに基づいて前記撮像データを前記コンテンツデータに合成する処理と、前記同期用データに基づいて前記コンテンツデータを前記コンテンツ操作データに従って再生する処理と、を前記コンピュータに実行させる、プログラム。

JP2010232171A 2010-10-15 2010-10-15 情報処理装置、同期方法およびプログラム Active JP5724283B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2010232171A JP5724283B2 (ja) 2010-10-15 2010-10-15 情報処理装置、同期方法およびプログラム
US13/248,584 US8958686B2 (en) 2010-10-15 2011-09-29 Information processing device, synchronization method, and program
CN201110315509.1A CN102547197B (zh) 2010-10-15 2011-10-08 信息处理设备、同步方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010232171A JP5724283B2 (ja) 2010-10-15 2010-10-15 情報処理装置、同期方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2012089909A JP2012089909A (ja) 2012-05-10
JP5724283B2 true JP5724283B2 (ja) 2015-05-27

Family

ID=45934239

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010232171A Active JP5724283B2 (ja) 2010-10-15 2010-10-15 情報処理装置、同期方法およびプログラム

Country Status (3)

Country Link
US (1) US8958686B2 (ja)
JP (1) JP5724283B2 (ja)
CN (1) CN102547197B (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110248822A1 (en) * 2010-04-09 2011-10-13 Jc Ip Llc Systems and apparatuses and methods to adaptively control controllable systems
US9571879B2 (en) * 2012-01-10 2017-02-14 Microsoft Technology Licensing, Llc Consumption of content with reactions of an individual
JP6299604B2 (ja) * 2012-11-09 2018-03-28 ソニー株式会社 情報処理装置、情報処理方法及び記録媒体
JP2015012544A (ja) * 2013-07-01 2015-01-19 キヤノン株式会社 画像処理装置及び画像処理方法
JP6357922B2 (ja) * 2014-06-30 2018-07-18 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
CN105227891A (zh) * 2015-10-23 2016-01-06 小米科技有限责任公司 一种视频通话方法及装置
JP6163680B1 (ja) * 2016-10-27 2017-07-19 エヴィクサー株式会社 コンテンツ再生プログラム及びコンテンツ再生装置
JP6751357B2 (ja) * 2017-01-13 2020-09-02 株式会社ミクシィ 情報処理装置、情報処理方法、及びプログラム
JP6963198B2 (ja) * 2017-01-13 2021-11-05 株式会社ミクシィ 情報処理装置、情報処理方法及びプログラム
JP6718387B2 (ja) * 2017-01-13 2020-07-08 株式会社ミクシィ 情報処理装置、情報処理方法、及びプログラム
JP7306162B2 (ja) * 2019-08-28 2023-07-11 大日本印刷株式会社 サーバ、再生デバイス、コンテンツ再生システム、コンテンツ再生方法、及びプログラム
JP7064159B1 (ja) * 2021-03-31 2022-05-10 株式会社エクサウィザーズ 情報処理方法、プログラム、及び情報処理装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002354406A (ja) * 2001-05-23 2002-12-06 Fujitsu Ltd 動画像再生装置
JP3654349B2 (ja) * 2001-07-09 2005-06-02 ソニー株式会社 コンテンツ嗜好度算出方法およびコンテンツ受信装置
JP2004046641A (ja) * 2002-07-12 2004-02-12 Nippon Telegr & Teleph Corp <Ntt> 顔３次元コンピュータグラフィックスデフォルメアバタ分散型生成方法及びユーザ端末及び顔３次元コンピュータグラフィックスデフォルメアバタ分散型生成プログラム
JP4716083B2 (ja) * 2004-07-27 2011-07-06 ソニー株式会社 情報処理装置および方法、記録媒体、並びにプログラム
JP2006074622A (ja) * 2004-09-03 2006-03-16 Fuji Photo Film Co Ltd 映像コンテンツ再生装置
JP2007036874A (ja) * 2005-07-28 2007-02-08 Univ Of Tokyo 視聴者情報測定システム及びこれを用いたマッチングシステム
JP2007097047A (ja) * 2005-09-30 2007-04-12 Seiko Epson Corp コンテンツの編集装置、コンテンツの編集方法及びコンテンツの編集プログラム
JP4548297B2 (ja) * 2005-10-05 2010-09-22 株式会社日立製作所 情報処理装置及び情報処理方法
JP2008027860A (ja) 2006-07-25 2008-02-07 Matsushita Electric Works Ltd 光電変換素子
CN101523911B (zh) * 2006-10-31 2013-08-28 Tivo有限公司 用于将辅助节目数据下载到dvr的方法和装置
WO2008111308A1 (ja) * 2007-03-12 2008-09-18 Panasonic Corporation コンテンツ撮影装置
JP2008234431A (ja) * 2007-03-22 2008-10-02 Toshiba Corp コメント蓄積装置、コメント作成閲覧装置、コメント閲覧システムおよびプログラム
JP4538756B2 (ja) * 2007-12-03 2010-09-08 ソニー株式会社 情報処理装置、情報処理端末、情報処理方法、およびプログラム
JP2009134670A (ja) * 2007-12-03 2009-06-18 Sony Corp 情報処理端末、情報処理方法、およびプログラム
JP5043711B2 (ja) * 2008-02-15 2012-10-10 キヤノン株式会社 ビデオ評価装置及び方法
CN103379300B (zh) * 2008-08-22 2017-03-01 索尼公司 图像显示设备、控制方法
US9612995B2 (en) * 2008-09-17 2017-04-04 Adobe Systems Incorporated Video viewer targeting based on preference similarity

Also Published As

Publication number Publication date
JP2012089909A (ja) 2012-05-10
US20120093486A1 (en) 2012-04-19
US8958686B2 (en) 2015-02-17
CN102547197A (zh) 2012-07-04
CN102547197B (zh) 2016-06-15

Similar Documents

Publication Publication Date Title
JP5724283B2 (ja) 情報処理装置、同期方法およびプログラム
US11962741B2 (en) Methods and system for generating and displaying 3D videos in a virtual, augmented, or mixed reality environment
US6556775B1 (en) Image and sound reproduction system
US9529566B2 (en) Interactive content creation
US9143721B2 (en) Content preparation systems and methods for interactive video systems
JP5370170B2 (ja) 要約映像生成装置および要約映像生成方法
CN103686450A (zh) 视频处理方法及系统
JPWO2017094527A1 (ja) 動画生成システムおよび動画表示システム
JP2006041886A (ja) 情報処理装置および方法、記録媒体、並びにプログラム
WO2012166072A1 (en) Apparatus, systems and methods for enhanced viewing experience using an avatar
WO2009157152A1 (ja) 合成装置および合成方法
CN114025103A (zh) 视频制作方法及装置
CN114419285A (zh) 应用于复合型剧场的虚拟人物表演控制方法和系统
JP5551403B2 (ja) 動画作成装置、コンピュータプログラム及び記憶媒体
JP2010034918A (ja) 動画像再生装置
WO2021059770A1 (ja) 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
Hu Impact of VR virtual reality technology on traditional video advertising production
JP4539884B2 (ja) 再生装置、プログラム及び電子画面を構築する方法
KR20070098364A (ko) 3차원 영상 데이터를 코드화하여 저장하는 장치 및 방법
JP2003348388A (ja) ３ｄコマーシャルビデオ制作システム
JP5607332B2 (ja) 動画再生装置、及びコンピュータプログラム
KR101530281B1 (ko) 사용자 감정 기반의 극적 영상 기록 장치 및 방법
WO2018168508A1 (ja) 記録装置、記録方法、再生装置、再生方法および記録再生装置
JP2005086344A (ja) 動画像管理方法および装置
JP2011082714A (ja) 動画作成装置、コンピュータプログラム及び記憶媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131001

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140708

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140722

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140916

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150303

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150316

R151 Written notification of patent or utility model registration

Ref document number: 5724283

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250