JP5270031B2 - コンテンツ提供システム、コンテンツ生成装置、コンテンツ再生装置及びコンテンツ提供方法 - Google Patents

コンテンツ提供システム、コンテンツ生成装置、コンテンツ再生装置及びコンテンツ提供方法 Download PDF

Info

Publication number
JP5270031B2
JP5270031B2 JP2012213000A JP2012213000A JP5270031B2 JP 5270031 B2 JP5270031 B2 JP 5270031B2 JP 2012213000 A JP2012213000 A JP 2012213000A JP 2012213000 A JP2012213000 A JP 2012213000A JP 5270031 B2 JP5270031 B2 JP 5270031B2
Authority
JP
Japan
Prior art keywords
information
content
sensation
elementary
experience
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012213000A
Other languages
English (en)
Other versions
JP2013034227A (ja
Inventor
伸一 栗原
素直 和田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2012213000A priority Critical patent/JP5270031B2/ja
Publication of JP2013034227A publication Critical patent/JP2013034227A/ja
Application granted granted Critical
Publication of JP5270031B2 publication Critical patent/JP5270031B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4131—Peripherals receiving signals from specially adapted client devices home appliance, e.g. lighting, air conditioning system, metering devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43074—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on the same device, e.g. of EPG data or interactive icon with a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Automation & Control Theory (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、例えば映像・音声にサービス情報を付加したコンテンツを生成し提供するコンテンツ提供システムに関する。
昨今、ブロードバンドの普及により、通信回線を利用して映像・音声によるコンテンツを配信するＩＰ（Internet Protocol）放送やビデオオンデマンドサービスが盛んになってきている。中には、双方向のゲームサービスのように、通信回線を介してユーザのアクションに映像の再生を連携させるサービスもある。
一方、遊園地や映画館等の娯楽施設では、映像・音声と同期して椅子や床を振動させる装置を用いることで、一般家庭では味わえない、よりリアリティのある体感（bodily sensation）が楽しめるようになっている。そこで、一般家庭において、映像・音声の再生時に娯楽施設で味わえる、臨場感溢れる体感を簡単に楽しめるシステムの実現が要望されている。
尚、特許文献１には、放送番組のコンテンツを再生する際に、そのコンテンツの映像・音声に合わせて外部機器を連動させる仕組みが記載されている。この文献に記載される仕組みでは、映像・音声に知覚または感覚の程度を表す感性情報（sensitivity information）を対応付けた放送番組（コンテンツ）を生成してコンテンツ再生装置に送る。コンテンツ再生装置に、家庭内ネットワークを介して呈示用の外部装置を接続しておき、コンテンツ再生時に、映像・音声に対応付けられた感性情報に基づいて呈示機器を連動させ、これによって高臨場感を演出するようになされている。この仕組みは、映像・音声の場面に合わせて感性情報を送るようにしているが、感性情報は、例えば明るい、暗い、暑い、寒いといった知覚または感覚の程度を表す情報ですぎないことから、必ずしもコンテンツ製作者の意図に沿った演出がなされるとは限らない。
特開２００３−３２４４０２号公報
以上のように、従来から配信されたコンテンツの再生時に、娯楽施設で味わえるような臨場感溢れる体感を簡単に楽しむことのできるシステムの実現が求められている。
本発明は上記事情を考慮してなされたもので、映像・音声によるコンテンツを配信する際に、コンテンツの内容に合致した体感を与えるように指示することができ、これによって再生側でコンテンツを再生する際に指示された体感の演出効果を与えることのできるコンテンツ提供システム、コンテンツ生成装置、コンテンツ再生装置及びコンテンツ提供方法を提供することを目的とする。
上記目的を達成するために、本発明に係るコンテンツ提供システムは、以下のように構成される。
（１）コンテンツ生成装置で生成された、映像情報、音声情報の少なくともいずれか一方によるメイン情報を含むコンテンツをコンテンツ再生装置に提供するコンテンツ提供システムであって、前記コンテンツ生成装置は、ユーザに与える複数種類の体感の特性をそれぞれ数値化することによって体感素材を生成し、生成された各体感素材について項目、実行フラグ、値の少なくともいずれかを示すパラメータテーブルと方向、量の少なくともいずれかを示すエレメンタリーテーブルとを生成し蓄積する体感素材生成・蓄積手段と、前記メイン情報の再生編集に際して前記複数の体感素材の中から指定の体感素材を選択し、再生に同期して選択された体感素材のパラメータテーブル及びエレメンタリーテーブルの所定の項目に演出内容を順次指定していくことで、任意の再生区間に対する体感情報を生成する体感情報生成手段と、前記体感情報を前記メイン情報に付加することによって体感情報付のコンテンツを生成するコンテンツ生成手段とを備え、前記コンテンツ再生装置は、前記コンテンツ生成手段で生成された体感情報付のコンテンツから前記メイン情報と前記体感情報とを分離する情報分離手段と、前記メイン情報を再生するメイン情報再生手段と、前記体感情報からパラメータ情報及びエレメンタリー情報を抽出する抽出手段と、前記パラメータ情報及びエレメンタリー情報によって指定される区間に指定の演出内容で指定の体感素材を再生する体感再生手段とを備える態様とする。
また、本発明に係るコンテンツ生成装置は、以下のように構成される。
（２）ユーザに与える複数種類の体感の特性をそれぞれ数値化することによって体感素材を生成し、生成された各体感素材について項目、実行フラグ、値の少なくともいずれかを示すパラメータテーブルと方向、量の少なくともいずれかを示すエレメンタリーテーブルとを生成し蓄積する体感素材生成・蓄積手段と、映像情報、音声情報の少なくともいずれか一方によるメイン情報の再生編集に際して前記複数の体感素材の中から指定の体感素材を選択し、再生に同期して選択された体感素材のパラメータテーブル及びエレメンタリーテーブルの所定の項目に演出内容を順次指定していくことで、任意の再生区間に対する体感情報を生成する体感情報生成手段と、前記体感情報を前記メイン情報に付加することによって体感情報付のコンテンツを生成するコンテンツ生成手段とを備える態様とする。
（３）（２）の構成において、前記コンテンツ生成手段は、前記メイン情報がＭＰＥＧ２−ＴＳ（Moving Picture Export Group 2 − Transport Stream）構造であるとき、前記体感情報をＰＡＴ（Program Association Table）、ＰＭＴ（Program Map Table）、ＰＥＳ（Packetized Elementary Stream）のいずれかのパケットの配下に配置し、配置したパケットのヘッダに前記体感情報が含まれることを示す識別情報を挿入する態様とする。
また、本発明に係るコンテンツ再生装置は、以下のように構成される。
（４）（２）のコンテンツ生成装置で生成された体感情報付のコンテンツを再生するコンテンツ再生装置において、前記体感情報付のコンテンツから前記メイン情報と前記体感情報を分離する情報分離手段と、前記メイン情報を再生するメイン情報再生手段と、前記体感情報からパラメータ情報及びエレメンタリー情報を抽出する抽出手段と、前記パラメータ情報及びエレメンタリー情報によって指定される区間に指定の演出内容で指定の体感素材を再生する体感再生手段とを備える態様とする。
また、本発明に係るコンテンツ提供方法は、以下のように構成される。
（６）映像情報、音声情報の少なくともいずれか一方によるメイン情報を含むコンテンツを提供するコンテンツ提供方法であって、前記コンテンツの生成は、ユーザに与える複数種類の体感の特性をそれぞれ数値化することによって体感素材を生成し、生成された各体感素材について項目、実行フラグ、値の少なくともいずれかを示すパラメータテーブルと方向、量の少なくともいずれかを示すエレメンタリーテーブルとを生成し蓄積し、前記メイン情報の再生編集に際して前記複数の体感素材の中から指定の体感素材を選択し、再生に同期して選択された体感素材のパラメータテーブル及びエレメンタリーテーブルの所定の項目に演出内容を順次指定していくことで、任意の再生区間に対する体感情報を生成し、前記体感情報を前記メイン情報に付加することによって体感情報付のコンテンツを生成する態様とし、前記コンテンツの再生は、前記体感情報付のコンテンツから前記メイン情報と前記体感情報とを分離し、前記メイン情報を再生すると共に、前記体感情報からパラメータ情報及びエレメンタリー情報を抽出し、前記パラメータ情報及びエレメンタリー情報によって指定される区間に指定の演出内容で指定の体感素材を再生する態様とする。
本発明によれば、映像・音声によるコンテンツを配信する際に、コンテンツの内容に合致した体感情報を付加して配信することができ、これによって再生側でコンテンツを再生する際に体感情報に基づく演出効果を実現することのできるコンテンツ提供システム、コンテンツ生成装置、コンテンツ再生装置及びコンテンツ提供方法を提供することができる。
本発明に係るコンテンツ提供システムの一実施形態を示すブロック図。 上記実施形態において、映像・音声コンテンツの生成プロセスを示すブロック図。 上記実施形態の映像・音声コンテンツのＴＳ基本体系を示す概念図。 上記実施形態の体感情報を付加した場合のＴＳ体系を示す概念図。 上記実施形態の体感情報として用いる体感情報パラメータの例を示す図。 上記実施形態の体感情報として用いる体感情報エレメンタリーの例を示す図。
以下、図面を参照して本発明の実施の形態を詳細に説明する。
図１は本発明に係るコンテンツ提供システムの一実施形態を示すブロック図である。図１において、コンテンツ生成・配信装置１０は、映像・音声情報に体感情報を付加したコンテンツを生成して蓄積しておき、通信回線（ＩＰネットワーク等）２０に接続されるコンテンツ受信再生装置３０からのコンテンツ配信要求に応じて、要求された体感情報付のコンテンツを配信する。コンテンツ受信再生装置３０は、配信コンテンツを受信して映像・音声情報と体感情報とを分離し、それぞれの情報を再生する。
以下、個々の構成について順次説明する。
まず、コンテンツ生成・配信装置１０において、体感情報生成部１１は、一般的なオーサリング装置を利用したもので、体感の特性が与えられると、その特性を数値化（サンプリング）し、例えば図５に示すパラメータテーブル（項目、実行フラグ、値）、図６に示すエレメンタリーテーブル（方向（Ｘ，Ｙ，Ｚ）、量（大・中・小・無））の少なくともいずれかを生成して、体感素材蓄積部１２に蓄積する。
コンテンツ生成部１３は、制作者から体感情報付のコンテンツを生成するように指示を受けると、映像・音声情報蓄積部１４から制作者が指定する映像・音声情報を読み出し、制作者の操作入力に従って、例えばタイムチャートに沿ったサムネイルによる再生編集を行う。この再生編集において、制作者の操作により、予め体感素材蓄積部１３に蓄積されている複数種類の体感素材の中から任意の体感素材を選択し、選択された体感素材のパラメータテーブル（項目、実行フラグ、値）、エレメンタリーテーブル（方向（Ｘ，Ｙ，Ｚ）、量（大・中・小・無））の所定の項目に演出の内容を順次指定入力していくことで、任意の再生区間に対する体感情報を生成する。そして、生成された体感情報を対象となった映像・音声情報に付加することで、体感情報付コンテンツを生成する。この体感情報付コンテンツはコンテンツ蓄積部１５に蓄積される。尚、新たな体感素材を利用したい場合には、体感情報生成部１１によって新たな体感素材から生成される体感情報を用いる。
上記体感情報の項目指定の仕方については、例えば、パラメータ指定において、方向を指定したい場合には、方向の項目にフラグ「１」をセットし、その値として体感情報エレメンタリー内の方向に関する数値指定を行うことで、前後・左右・上下に振動を起こさせるための方向が登録される。また、振動、見る、聴く、臭い、味、気温、湿度等の五感に関する情報を特定したい場合には、五感の項目にフラグ「１」をセットし、予めリストアップされた感覚のいずれかを指定することで、振動、見る、聴く、臭い、味、気温、湿度等それぞれの対応する番号が登録される。
その他、個々の体感情報の再生期間については、期間の項目にフラグ「１」をセットし、映像・音声情報のタイムチャートに沿って開始ポイントと終了ポイントとを指定することで登録される。量を指定したい場合には、量の項目にフラグ「１」をセットし、その値として体感情報エレメンタリー内の量（大・中・小・無）に関する指定を行うことで、対応する番号が登録される。生成された体感情報に基づいて演出効果を実現する装置情報としては、装置情報の項目に「１」をセットし、例えばタイプ１、タイプ７等のように分類情報を選択することで登録される。
上記体感情報の生成において、受信側で再現可能か否かの上下限値の判定も併せて行う。体感素材の数値化にあたっては、映像・音声情報に含まれるレート、各種時刻情報、ＰＣＲ（プログラム時刻基準値）、ＰＴＳ（プレゼンテーションタイムスタンプ）、ＤＴＳ（デコーディングタイムスタンプ）の少なくとも１つを参照してサンプリング値の決定を行う。体感素材は予め規定された体感内容に応じて個別に数値化される。映像・音声の再生内容を参照しつつ一連の体感情報が不要となった時点で終了ポイントとする。開始ポイントと終了ポイントの指定は、映像・音声の再生開始から終了までとしても、途中から部分的に指定するようにしてもよい。
映像・音声の再生内容の参照は、ディスプレイ、スピーカ等の提示装置（図示せず）にて行う。体感素材の数値化にあたっては、映像・音声との親和性を考慮し、前述のように、体感情報パラメータと体感情報エレメンタリーの少なくとも1つを用いて体系化しておくとよい。
上記コンテンツ生成部１３では、映像・音声情報に体感情報を付加するために、選択された映像・音声情報のストリーム構造を解析し、映像・音声情報中に存在するオーディオ・ビデオの提示時刻を与えるＰＴＳ（Presentation Time Stamp）、復号開始時刻を与えるＤＴＳ（Decoding Time Stamp）、ＰＣＲ（Program Clock Reference）の少なくとも１つと連動する形で体感情報を多重化する。
この際、連動にあたっては、必要な情報を生成、数値化された体感情報を補正して最適化しても良く、ＰＣＲ値（プログラム時刻基準値）の変更、ＰＣＲパケットの位置変更を行って多重化するとよい。映像・音声情報に体感情報が多重化されたコンテンツはコンテンツ蓄積部１５に蓄積するか、配信処理部１６に送られる。
配信処理部１６では、コンテンツ受信再生装置３０から要求のあった体感情報付コンテンツをコンテンツ生成部１３あるいはコンテンツ蓄積部１５から取得し、通信回線２０を介し、要求元のコンテンツ受信再生装置３０に配信する。ここで、体感情報付コンテンツがＴＳパケットの場合、４バイトのタイムスタンプ（以降、ＴＴＳという）を付加した後、サービスに不要なＮＵＬＬ等のパケットを排除して送出する。このように不要なパケットを削除して伝送することは、通信回線２０への負荷が軽減されることになり、有効である。ＰＴＳは27MHzのクロックにより生成する。
一方、コンテンツ受信再生装置３０において、コンテンツ取得部３１では、通信回線２０を介して、コンテンツ生成・配信装置１０から配信された体感情報付コンテンツの情報を受け取り、映像・音声情報と体感情報に選別する。選別された映像・音声情報は映像・音声情報再生部３２にて再生処理されて提示処理部３３に送られ、体感情報は体感情報再生部３４で再生されて体感制御部３５に送られる。
この際、体感情報再生部３４に送られる情報として、映像・音声情報と同期をとるために、必要に応じて映像・音声情報の全部または一部を与えるとよい。また、体感情報に含まれるパラメータあるいはエレメンタリー情報等を自装置の特性に合わせて補正するとよい。
上記映像・音声情報再生部３２では、コンテンツ取得部３１で取得されたコンテンツから映像・音声情報だけを取り込み、再生可能な情報であるかのチェックを行い、必要に応じて適正化を行った上で再生して提示処理部３３に送る。ここで、コンテンツが暗号化されている場合、復号処理を行う。適正化は、体感情報の全部あるいは一部が存在した場合には不要な部分を削除し、体感情報の影響で映像・音声情報が提示処理部３３に悪影響を及ぼす可能性がある場合には補正する。適正化の内容を必要に応じて提示処理部３３に指示するとよい。提示処理部３３は、映像・音声情報再生部３２で再生された映像・音声情報を受け取り、ディスプレイ、スピーカ等の提示装置（図示せず）にそれぞれの信号形式に変換して出力する。
一方、上記体感情報再生部３４では、コンテンツ取得部３１で取得されたコンテンツから体感情報を受け取り（必要に応じて映像・音声情報の全部また一部も受け取る）、体感情報の内容と映像・音声情報との対応を解析して、体感発生装置（図示せず）を駆動制御する体感制御部３５に送る。体感制御部３５が複数あってそれぞれ異なる体感発生装置を管理している場合には、体感情報再生部３４において、再生された体感情報の内容に対応する体感制御部３５に体感情報解析結果を送る。各体感制御部３５は、接続されている体感発生装置に体感情報解析結果に応じた駆動制御信号を送る。これによって、体感発生装置を映像・音声の再生に同期して駆動させることができ、制作者が意図した期間に任意の体感を提供することが可能となる。
尚、体感制御部３５において、体感発生装置の特性あるいは設定に合わせて体感情報解析結果に基づく駆動制御信号を補正するとよい。
上記体感制御部３５では、体感情報再生部３４から体感情報解析結果である数値化された情報に基づいて体感発生装置の駆動制御を行う。例えば、前後左右上下の動作情報の場合、サンプリング周期に基づく数値情報による細かな前後上下左右の振動動作を行う。風向き、風速情報の場合でも細かな間隔で制御を行なう。これよりリアルな体感を与えることができる。再生の際、自装置の特性あるいは、設定に合わせて体感情報を補正するとよい。
尚、上記実施形態では、コンテンツ生成・配信装置１０とコンテンツ受信再生装置３０とを通信回線２０を介して接続したシステム構成としたが、コンテンツ生成部分とコンテンツ再生部分を１つの端末装置内に同居させてもよい。また、各機能に分かれて記載されたものは合体させてもよい。
上記構成において、体感情報付コンテンツを生成する手順について説明する。
図２はＴＳ形式の映像・音声情報の生成プロセスを示すブロック図である。図２において、映像情報、音声情報はそれぞれ映像符号化処理部４１、音声符号化処理部４２でそれぞれ圧縮符号化された後、多重化処理部４４に送られる。この多重化処理部４４では、圧縮符号化された映像情報、音声情報を、それぞれ例えばＭＰＥＧ２−ＴＳ形式のパケット構造による信号に変換し、映像パケット及び音声パケットを順次配列することで両者を多重化する。このようにして生成された映像・音声情報の多重化信号は映像・音声情報蓄積部１２に蓄積される。このとき、映像符号化処理部４１では、ＳＴＣ（System Time Clock）生成部４３からＳＴＣを受け取り、当該ＳＴＣからＰＴＳ（Presentation Time Stamp）／ＤＴＳ（Decoding Time Stamp）を生成して映像符号化データに埋め込む。音声符号化処理部４２では同じくＳＴＣを受け取り、当該ＳＴＣからＰＴＳを生成し、当該ＰＴＳを音声符号化データに埋め込む。多重化処理部４４では、同じくＳＴＣを受け取り、当該ＳＴＣに基づくＰＣＲ（Program Clock Reference）の挿入、ＰＣＲの値変更、ＰＣＲパケットの位置変更等を行なう。
上記プロセスにて生成された映像・音声多重化信号のＴＳ基本体系は、図３に示すように、ＴＳ（Transport Stream）、ＰＡＴ（Program Association Table）、ＰＭＴ（Program Map Table）の階層構造となっており、ＰＭＴの下に映像（Video）、音声（Audio）、ＰＣＲ等のＰＥＳ（Packetized Elementary Stream）パケットが配置される。映像パケットのヘッダにはＰＴＳ／ＤＴＳが挿入され、音声パケットのヘッダにはＰＴＳが挿入される。
一方、コンテンツ生成部１３では、上記映像・音声多重化信号のＭＥＰＧ２−ＴＳ構造を利用して体感情報を埋め込む。具体的には、図４に示すように、体感情報パラメータは、ＴＳ内のいずれの位置（ＴＳ、ＰＡＴ、ＰＭＴそれぞれの配下）に配置すればよい。体感情報エレメンタリー（数値化情報）はヘッダにＰＴＳ／ＤＴＳを挿入してＰＭＴの下に配置し、ＰＭＴのヘッダに体感情報エレメンタリーが含まれる識別情報を挿入しておく。識別情報としては、例えばストリームタイプ、エレメンタリーＰＩＤを利用することができる。
尚、ＰＥＳヘッダのオプションは、ITU-T勧告H.222.に従う。ＰＥＳパケット内のストリーム識別子は、ARIB STD-B32 2.1版の補助ストリーム(0xF9)、メタデータストリーム(0xFC)、拡張ストリームID(0xFD)、未定義(0xFC)の少なくとも１つを利用するようにしてもよい。
上記構成によるコンテンツ生成・配信システムによれば、任意の演出効果を実現する体感情報を数値化し、例えばＭＰＥＧ２−ＴＳ等の既存のフォーマット構造を利用して、映像・音声符号化データに多重した構造で配信することができるので、受信側においても体感情報付コンテンツを取得した場合に、映像・音声情報と体感情報を簡単に振り分けることができ、しかも映像・音声に同期して任意の体感情報を再生することができる。
また、コンテンツ生成・配信装置１０から配信される体感情報付コンテンツは、体感情報受信機能を持たない従来のMPEG-2 Systems対応装置であっても、映像・音声情報については再生することができ、体感情報による影響を受けないようにすることができる。
尚、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。例えば、上記実施形態では、同時に録画可能な番組数を２つとしたが、それ以上の番組数であっても同様に実施可能である。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成を削除してもよい。さらに、異なる実施形態例に亘る構成要素を適宜組み合わせてもよい。
１０…コンテンツ生成・配信装置、１１…体感情報生成部、１２…体感情報蓄積部、１３…コンテンツ生成部、１４…映像・音声蓄積部、１５…コンテンツ蓄積部、１６…配信処理部、２０…通信回線、３０…コンテンツ受信再生装置、３１…コンテンツ取得部、３２…映像・音声情報再生部、３３…提示処理部、３４…体感情報再生部、３５…体感情報制御部、４１…映像符号化処理部、４２…音声符号化処理部、４３…ＳＴＣ（System Time Clock）生成部、４４…多重化処理部。

Claims (6)

  1. コンテンツ生成装置で生成された、映像情報、音声情報の少なくともいずれか一方によるメイン情報を含むコンテンツをコンテンツ再生装置に提供するコンテンツ提供システムであって、
    前記コンテンツ生成装置は、
    ユーザに与える複数種類の体感の特性をそれぞれ数値化することによって体感素材を生成し、生成された各体感素材について項目、実行フラグ、値の少なくともいずれかを示すパラメータテーブルと方向、量の少なくともいずれかを示すエレメンタリーテーブルとを生成し蓄積する体感素材生成・蓄積手段と、
    前記メイン情報の再生編集に際して前記複数の体感素材の中から指定の体感素材を選択し、再生に同期して選択された体感素材のパラメータテーブル及びエレメンタリーテーブルの所定の項目に演出内容を順次指定していくことで、任意の再生区間に対する体感情報を生成する体感情報生成手段と、
    前記体感情報を前記メイン情報に付加することによって体感情報付のコンテンツを生成するコンテンツ生成手段と
    を備え、
    前記コンテンツ再生装置は、
    前記コンテンツ生成手段で生成された体感情報付のコンテンツから前記メイン情報と前記体感情報とを分離する情報分離手段と、
    前記メイン情報を再生するメイン情報再生手段と、
    前記体感情報からパラメータ情報及びエレメンタリー情報を抽出する抽出手段と、
    前記パラメータ情報及びエレメンタリー情報によって指定される区間に指定の演出内容で指定の体感素材を再生する体感再生手段と
    を備えるコンテンツ提供システム。
  2. ユーザに与える複数種類の体感の特性をそれぞれ数値化することによって体感素材を生成し、生成された各体感素材について項目、実行フラグ、値の少なくともいずれかを示すパラメータテーブルと方向、量の少なくともいずれかを示すエレメンタリーテーブルとを生成し蓄積する体感素材生成・蓄積手段と、
    映像情報、音声情報の少なくともいずれか一方によるメイン情報の再生編集に際して前記複数の体感素材の中から指定の体感素材を選択し、再生に同期して選択された体感素材のパラメータテーブル及びエレメンタリーテーブルの所定の項目に演出内容を順次指定していくことで、任意の再生区間に対する体感情報を生成する体感情報生成手段と、
    前記体感情報を前記メイン情報に付加することによって体感情報付のコンテンツを生成するコンテンツ生成手段と
    を備えるコンテンツ生成装置。
  3. 前記コンテンツ生成手段は、前記メイン情報がＭＰＥＧ２−ＴＳ（Moving Picture Export Group 2 − Transport Stream）構造であるとき、前記体感情報をＰＡＴ（Program Association Table）、ＰＭＴ（Program Map Table）、ＰＥＳ（Packetized Elementary Stream）のいずれかのパケットの配下に配置し、配置したパケットのヘッダに前記体感情報が含まれることを示す識別情報を挿入する請求項２記載のコンテンツ生成装置。
  4. 請求項２記載のコンテンツ生成装置で生成された体感情報付のコンテンツを再生するコンテンツ再生装置において、
    前記体感情報付のコンテンツから前記メイン情報と前記体感情報を分離する情報分離手段と、
    前記メイン情報を再生するメイン情報再生手段と、
    前記体感情報からパラメータ情報及びエレメンタリー情報を抽出する抽出手段と、
    前記パラメータ情報及びエレメンタリー情報によって指定される区間に指定の演出内容で指定の体感素材を再生する体感再生手段と
    を備えるコンテンツ再生装置。
  5. 前記コンテンツ生成手段において、前記メイン情報がＭＰＥＧ２−ＴＳ（Moving Picture Export Group 2 - Transport Stream）構造であり、前記体感情報がＰＡＴ（Program Association Table）、ＰＭＴ（Program Map Table）、ＰＥＳ（Packetized Elementary Stream）のいずれかのパケットの配下に配置され、配置されたパケットのヘッダに前記体感情報が含まれることを示す識別情報が挿入されたものであるとき、前記情報分離手段は、前記ＭＰＥＧ−ＴＳ構造のメイン情報から前記ＰＡＴ、ＰＭＴ、ＰＥＳのいずれかのパケットの配下に配置された体感情報を、そのパケットのヘッダに示される識別情報に基づいて分離する請求項４記載のコンテンツ再生装置。
  6. 映像情報、音声情報の少なくともいずれか一方によるメイン情報を含むコンテンツを提供するコンテンツ提供方法であって、
    前記コンテンツの生成は、ユーザに与える複数種類の体感の特性をそれぞれ数値化することによって体感素材を生成し、生成された各体感素材について項目、実行フラグ、値の少なくともいずれかを示すパラメータテーブルと方向、量の少なくともいずれかを示すエレメンタリーテーブルとを生成し蓄積し、前記メイン情報の再生編集に際して前記複数の体感素材の中から指定の体感素材を選択し、再生に同期して選択された体感素材のパラメータテーブル及びエレメンタリーテーブルの所定の項目に演出内容を順次指定していくことで、任意の再生区間に対する体感情報を生成し、前記体感情報を前記メイン情報に付加することによって体感情報付のコンテンツを生成するものとし、
    前記コンテンツの再生は、前記体感情報付のコンテンツから前記メイン情報と前記体感情報とを分離し、前記メイン情報を再生すると共に、前記体感情報からパラメータ情報及びエレメンタリー情報を抽出し、前記パラメータ情報及びエレメンタリー情報によって指定される区間に指定の演出内容で指定の体感素材を再生するものとするコンテンツ提供方法。
JP2012213000A 2009-03-16 2012-09-26 コンテンツ提供システム、コンテンツ生成装置、コンテンツ再生装置及びコンテンツ提供方法 Active JP5270031B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012213000A JP5270031B2 (ja) 2009-03-16 2012-09-26 コンテンツ提供システム、コンテンツ生成装置、コンテンツ再生装置及びコンテンツ提供方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009062420 2009-03-16
JP2009062420 2009-03-16
JP2012213000A JP5270031B2 (ja) 2009-03-16 2012-09-26 コンテンツ提供システム、コンテンツ生成装置、コンテンツ再生装置及びコンテンツ提供方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2010028020A Division JP5143154B2 (ja) 2009-03-16 2010-02-10 コンテンツ提供システム、コンテンツ生成装置、コンテンツ再生装置及びコンテンツ提供方法

Publications (2)

Publication Number Publication Date
JP2013034227A JP2013034227A (ja) 2013-02-14
JP5270031B2 true JP5270031B2 (ja) 2013-08-21

Family

ID=42731780

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2010028020A Active JP5143154B2 (ja) 2009-03-16 2010-02-10 コンテンツ提供システム、コンテンツ生成装置、コンテンツ再生装置及びコンテンツ提供方法
JP2012213000A Active JP5270031B2 (ja) 2009-03-16 2012-09-26 コンテンツ提供システム、コンテンツ生成装置、コンテンツ再生装置及びコンテンツ提供方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2010028020A Active JP5143154B2 (ja) 2009-03-16 2010-02-10 コンテンツ提供システム、コンテンツ生成装置、コンテンツ再生装置及びコンテンツ提供方法

Country Status (2)

Country Link
US (1) US8767774B2 (ja)
JP (2) JP5143154B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8379275B2 (en) * 2007-07-31 2013-02-19 Samsung Electronics Co., Ltd. Scanner module and image scanning apparatus employing the same
EP2395738B1 (en) 2007-07-31 2016-03-23 Samsung Electronics Co., Ltd. Multi-functional device having scanner module and image scanning apparatus employing the scanner module
US8358447B2 (en) 2007-07-31 2013-01-22 Samsung Electronics Co., Ltd. Scanner module and image scanning apparatus employing the same
JP5305493B2 (ja) 2010-11-12 2013-10-02 パナソニック株式会社 サーバ、通信端末、およびそれらを備えた機器連携システム
US10013857B2 (en) 2011-12-21 2018-07-03 Qualcomm Incorporated Using haptic technologies to provide enhanced media experiences

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6662560B2 (en) * 1998-03-04 2003-12-16 D-Box Technology Inc. Motion transducer efficient for small amplitude movements
JP2002253868A (ja) 2001-02-28 2002-09-10 Hitachi Ltd シミュレーションライドシステム用コンテンツ配信システム及びライドコンテンツ管理センタ用配信装置とシミュレーションライド制御装置並びにコンピュータ・ソフトウエア
JP4052556B2 (ja) 2002-05-07 2008-02-27 日本放送協会 外部機器連動型コンテンツ生成装置、その方法及びそのプログラム
WO2003096669A2 (en) * 2002-05-10 2003-11-20 Reisman Richard R Method and apparatus for browsing using multiple coordinated device
JP2004159879A (ja) 2002-11-13 2004-06-10 Kayaba Ind Co Ltd 動揺データ配信システム
JP4391091B2 (ja) * 2003-01-17 2009-12-24 ソニー株式会社 情報伝送方法、情報伝送装置、情報記録方法、情報記録装置、情報再生方法、情報再生装置および記録媒体
US8228818B2 (en) * 2005-06-24 2012-07-24 At&T Intellectual Property Ii, Lp Systems, methods, and devices for monitoring networks
CN2935210Y (zh) * 2006-08-16 2007-08-15 新康电脑科技（苏州）有限公司 声道数字气味电影放映装置
US20080218488A1 (en) * 2006-11-30 2008-09-11 Electronics And Telecommunications Research Institute Active driving type visual-tactile display device
EP2315441A4 (en) 2008-07-15 2014-07-16 Sharp Kk DATA TRANSMISSION DEVICE, DATA RECEIVING DEVICE, DATA TRANSMISSION METHOD, DATA RECEIVING METHOD AND METHOD FOR CONTROLLING THE AUDIOVISUAL ENVIRONMENT

Also Published As

Publication number Publication date
JP2010246094A (ja) 2010-10-28
JP2013034227A (ja) 2013-02-14
US20100235876A1 (en) 2010-09-16
JP5143154B2 (ja) 2013-02-13
US8767774B2 (en) 2014-07-01

Similar Documents

Publication Publication Date Title
JP3838035B2 (ja) 放送方法及び放送受信装置
US20080205860A1 (en) Method Of Live Submitting A Digital Signal
JP5270031B2 (ja) コンテンツ提供システム、コンテンツ生成装置、コンテンツ再生装置及びコンテンツ提供方法
JP2008530938A5 (ja)
KR20140090151A (ko) 단말 장치, 서버 장치, 정보 처리 방법, 프로그램, 및 연동 애플리케이션 공급 시스템
JP2009521170A (ja) 透かしによるスクリプト同期化方法
JP2014013400A (ja) オブジェクトベースのオーディオサービスシステム及びその方法
JP2010148114A (ja) 放送データ受信方法及びその装置
US20130209063A1 (en) Digital receiver and content processing method in digital receiver
JP2008182674A (ja) コンテンツ提供装置および画像出力装置
JP4423551B2 (ja) 放送記録再生装置および放送記録再生処理プログラム
US20080163295A1 (en) Content providing device and image outputting device
KR101194825B1 (ko) 멀티 앵글 디지털 방송 시스템 및 그 방법
JP5492748B2 (ja) 制御装置及び制御方法
JP5378304B2 (ja) 受信および再生方法
US20110110641A1 (en) Method for real-sense broadcasting service using device cooperation, production apparatus and play apparatus for real-sense broadcasting content thereof
JP5583747B2 (ja) 受信装置および情報処理方法
JP4363364B2 (ja) 受信装置及び受信方法
JP4284594B2 (ja) 記録再生装置及び方法
KR100850918B1 (ko) 디지털 방송 녹화기기에서의 광고 스킵방법
KR101784344B1 (ko) 콘텐츠 재생기, 콘텐츠 관리 서버 및 콘텐츠 재생 시스템
JP5764642B2 (ja) 受信装置および情報処理方法
JP6052684B2 (ja) 受信装置および情報処理方法
JP5136580B2 (ja) 受信装置、及び受信および再生方法
JP2012065059A (ja) 送信装置、受信装置及び送信方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130416

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130508

R151 Written notification of patent or utility model registration

Ref document number: 5270031

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151