JP5058157B2 - データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法 - Google Patents

データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法 Download PDF

Info

Publication number
JP5058157B2
JP5058157B2 JP2008512054A JP2008512054A JP5058157B2 JP 5058157 B2 JP5058157 B2 JP 5058157B2 JP 2008512054 A JP2008512054 A JP 2008512054A JP 2008512054 A JP2008512054 A JP 2008512054A JP 5058157 B2 JP5058157 B2 JP 5058157B2
Authority
JP
Japan
Prior art keywords
scene
data
story
viewing environment
environment control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008512054A
Other languages
English (en)
Other versions
JPWO2007122987A1 (ja
Inventor
琢也 岩波
健一郎 山本
育弘 吉田
隆司 吉井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2008512054A priority Critical patent/JP5058157B2/ja
Publication of JPWO2007122987A1 publication Critical patent/JPWO2007122987A1/ja
Application granted granted Critical
Publication of JP5058157B2 publication Critical patent/JP5058157B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/16Analogue secrecy systems; Analogue subscription systems
    • H04N7/162Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing
    • H04N7/165Centralised control of user terminal ; Registering at central
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4131Peripherals receiving signals from specially adapted client devices home appliance, e.g. lighting, air conditioning system, metering devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348Demultiplexing of additional data and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/654Transmission by server directed to the client
    • H04N21/6543Transmission by server directed to the client for forcing some client operations, e.g. recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/73Colour balance circuits, e.g. white balance circuits or colour temperature control
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10Controlling the light source
    • H05B47/155Coordinated control of two or more light sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57Control of contrast or brightness
    • H04N5/58Control of contrast or brightness in dependence upon ambient light

Description

本発明は、映像表示装置に映像を表示する際に、その映像の撮影シーンの雰囲気や場面設定に適応させて、映像表示装置の周囲の照明光を制御することが可能なデータ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法に関するものである。
例えば、テレビジョン受像機のような映像表示装置により映像表示を行う場合や、プロジェクタ装置を用いて映像を投影表示させるような場合に、その周囲の照明光を表示映像に合わせて調整することにより臨場感を高めるなどの視聴演出効果を付与するようにした技術が知られている。
例えば、特開平2−158094号公報には、カラーテレビの表示映像の色信号(RGB)と輝度信号(Y)とから、フレーム毎に光源の三原色の混光照度比を算出し、映像と連動させて調光制御を行うようにした光色可変形照明装置が開示されている。この光色可変形照明装置は、カラーテレビの表示映像から色信号(RGB)と輝度信号(Y)とを取り出し、その色信号と輝度信号とから、光源に使用する三色光(赤色光,緑色光,青色光)の適正調光照度比を算出し、その照度比に従って三色光の照度を設定し、三色光を混光して照明光として出力している。
また、例えば、特開平2−253503号公報には、テレビの映像を複数に分割し、対応する分割部の平均的な色相を検出することによって、分割部の周囲の照明制御を行う映像演出照明装置が開示されている。この映像演出照明装置は、カラーテレビの設置場所の周囲を照明する照明手段を備えていて、カラーテレビに表示される映像を複数に分割し、照明手段によって照明される部分に対応する映像の分割部の平均的な色相を検出し、その検出した色相に基づいて照明手段を制御している。
さらに、例えば、特開平3−184203号公報には、単に画像表示装置の画面全体の平均色度及び平均輝度を求めるのではなく、画像表示装置の画面に映し出された画像から人の顔などの肌色部分の画素を取り除いた残りの部分を背景部と考え、その背景部の各画素のRGB信号及び輝度信号だけを取り出して平均色度及び平均輝度を求めて、画像表示装置の背面の壁面の色度及び輝度が、画面全体、或いは人の肌色を除く背景部の平均色度及び平均輝度と同一になるように、照明を制御する方法が開示されている。
通常、映像のシーンは例えば映像制作者(脚本家や演出家など)の意図により、一連の場面設定に基づく一区切りの映像として作成される。従って、映像視聴時の臨場感や雰囲気を増大させるには、表示映像のシーン状況(ストーリー上の場面設定状況)に応じた照明光を視聴空間に照射することが望ましい。
しかしながら、上述した従来の視聴環境制御装置では、表示すべき映像信号における1フレーム(画面)毎の特徴量(色信号及び輝度信号)を検出し、照明光を制御しているため、表示映像内容によっては該映像のシーン状況に即した照明光を生成することが困難である。例えば、映像信号に含まれる被写体人物の服装や被写体の背景にある人工物などの影響を受けて、不適切な色の照明光を周囲に照射してしまうと、シーン毎の雰囲気を再現したり、シーン毎の臨場感を維持することができない。
すなわち、一般的に各シーン毎にその場面設定に基づく撮影時の照明が特徴付けられるにも関わらず、このシーンの特徴から大きく逸脱した視聴環境照明は却って臨場感を損なうことになる。
また、上記従来の技術においては、映像信号の輝度や色相のフレーム毎の変化に応じて照明光の状態が変化してしまい、特にフレーム間における輝度や色相の変化の度合いが大きい場合などでは照明光が煩雑に変化し、視聴者がフリッカーによる違和感を感じるという問題が生じる。さらに、場面設定に変化のない1つのシーンの表示中に、フレーム毎の輝度や色相の変化に応じて照明光が変動することは、シーン毎の雰囲気を逆に阻害して好ましくない。
図1は、上記従来の技術による照明制御の問題点の一例を説明するための図であり、連続する動画像の一部を示すものである。図1に示す例では、晴天の日中の屋外という場面設定で撮影された映像のシーンが作成されている。このシーンは、カメラが切り替わることなく一連のカメラワークにより撮影によって得られた映像からなる。この例では、カメラの上方からカメラ近傍に向かってスキーヤーが滑降してくる映像が撮影されている。スキーヤーは赤い服を着ており、空は晴天である。
このシーンの映像は、その初期のフレームでは背景の青空の領域が大きく、スキーヤーが滑り降りてカメラに近づくに従ってスキーヤーの赤い服の領域が徐々に大きくなってくる。つまりシーン内の映像の進行に伴って、各フレームを構成する色の比率が変化してくる。
このような場合、各フレーム毎の色度や輝度を使用して照明光を制御すると、青色が強い照明光から赤い照明光に変化していくことになる。すなわち、冬の日中晴天時の太陽光の下という一連のシーン状況であるにもかかわらず、このシーン状況が考慮されない照明光が生成・照射されるため、却ってそのシーンの雰囲気を阻害して視聴者に違和感を与えることになる。また、一つの場面設定(雰囲気)が連続する一区切りのシーン内で照明光の色味が変化すると、やはりそのシーンの雰囲気を阻害して視聴者に違和感を与えることになる。
図2は、上記従来の技術による照明制御の問題点の他の例を説明するための図である。図2に示す例では、月夜の屋外という場面設定で撮影された映像のシーンが作成されている。このシーンは、カメラワークが異なる3つのショット(1,2,3)により構成されている。ショット1では、対象である亡霊をカメラがロングショットで撮影している。そしてショット2に切り替わると、その亡霊がアップショットで撮影されている。ショット3では、再度ショット1のカメラ位置に戻っている。これらのショットは、カメラワークは異なっていても、一つの雰囲気が連続する一区切りのシーンとして意図されて構成されている。
このような場合、ショット1では、月夜の比較的暗い映像が連続している。これらの映像の各フレームの輝度や色度に従って照明光を制御すると比較的暗い照明光となる。そしてショット1がショット2に切り替わると、アップショットで撮影された亡霊は比較的明るい映像となる。このときに上記従来の技術によりフレーム毎に照明光を制御すると、ショットの切替時に照明光の制御が大きく切り替わって明るい照明光となる。そしてまたショット3に切り替わると、ショット1と同様の暗い照明光に戻る。
すなわち、時代劇の夜更けの月光による照明の下という一連のシーン状況であるにもかかわらず、このシーン状況が考慮されない照明光が生成・照射されるため、却ってそのシーンの雰囲気を阻害して視聴者に違和感を与えることになる。また、一つの場面設定(雰囲気)が連続する一区切りのシーン内で照明光が暗くなったり明るくなったりすると、やはりそのシーンの雰囲気を阻害して視聴者に違和感を与えることになる。
本発明は、上記課題に鑑みてなされたものであり、表示映像のシーン状況に応じた、最適な視聴環境の照明制御を実現することが可能なデータ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム及び視聴環境制御方法を提供することを目的とする。
本願の第1の発明は、1以上のシーンから構成される映像データを送信するデータ送信装置において、前記映像データのストーリー上において、一つの場面設定が連続する一区切りのシーンのシーン状況データを、前記映像データに付加するデータ多重化部と、前記データ多重化部からの出力データを送信する送信部とを備えたことを特徴とする。
本願の第2の発明は、前記シーン状況データが、前記映像データのシーン単位で付加されることを特徴とする。
本願の第3の発明は、前記シーン状況データが、前記映像データのショット単位で付加されることを特徴とする。
本願の第の発明は、前記シーン状況データが、少なくとも各シーンのストーリー上における(設定された)季節を表わす情報を含むことを特徴とする。
本願の第の発明は、前記シーン状況データが、少なくとも各シーンのストーリー上における(設定された)時刻を表わす情報を含むことを特徴とする。
本願の第の発明は、前記シーン状況データが、少なくとも各シーンのストーリー上における(設定された)場所を表わす情報を含むことを特徴とする。
本願の第の発明は、前記シーン状況データが、少なくとも各シーンのストーリー上における(設定された)時代を表わす情報を含むことを特徴とする。
本願の第の発明は、前記シーン状況データが、少なくとも各シーンのストーリー上における(設定された)天候を表わす情報を含むことを特徴とするデータ送信装置。
本願の第の発明は、前記シーン状況データは、少なくとも各シーンのストーリー上における(設定された)地域を表わす情報を含むことを特徴とする。
本願の第10の発明は、1以上のシーンから構成される映像データストーリー上において、一つの場面設定が連続する一区切りのシーンのシーン状況データを格納するデータ格納部と、前記シーン状況データの送信要求を外部から受ける受信部と、前記受信部が前記送信要求を受信すると、前記シーン状況データを前記各シーンの開始タイミングとともに送信する送信部とを備えたことを特徴とする。
本願の第11の発明は、前記シーン状況データが、少なくとも各シーンのストーリー上における(設定された)季節を表わす情報を含むことを特徴とする。
本願の第12の発明は、前記シーン状況データが、少なくとも各シーンのストーリー上における(設定された)時刻を表わす情報を含むことを特徴とするデータ送信装置。
本願の第13の発明は、前記シーン状況データは、少なくとも各シーンのストーリー上における(設定された)場所を表わす情報を含むことを特徴とする。
本願の第14の発明は、前記シーン状況データは、少なくとも各シーンのストーリー上における(設定された)時代を表わす情報を含むことを特徴とする。
本願の第15の発明は、前記シーン状況データは、少なくとも各シーンのストーリー上における(設定された)天候を表わす情報を含むことを特徴とする。
本願の第16の発明は、前記シーン状況データは、少なくとも各シーンのストーリー上における(設定された)地域を表わす情報を含むことを特徴とする。
本願の第17の発明は、表示装置に表示すべき映像データと、該映像データストーリー上において、一つの場面設定が連続する一区切りのシーンのシーン状況データとを受信する受信手段と、前記シーン状況データに基づいて、前記表示装置の周辺に設置された照明装置の照明光を制御する制御手段とを備えたことを特徴とする。
本願の第18の発明は、前記制御手段が、前記照明装置の照明光を前記映像データのシーン単位で切替制御することを特徴とする。
本願の第19の発明は、前記制御手段が、前記シーン状況データに加え、前記映像データの特徴量も用いて、前記照明装置の照明光を制御することを特徴とする。
本願の第20の発明は、前記シーン状況データが、少なくとも各シーンのストーリー上における(設定された)季節を表わす情報を含むことを特徴とする。
本願の第21の発明は、前記シーン状況データが、少なくとも各シーンのストーリー上における(設定された)時刻を表わす情報を含むことを特徴とする。
本願の第22の発明は、前記シーン状況データが、少なくとも各シーンのストーリー上における(設定された)場所を表わす情報を含むことを特徴とする。
本願の第23の発明は、前記シーン状況データが、少なくとも各シーンのストーリー上における(設定された)時代を表わす情報を含むことを特徴とする。
本願の第24の発明は、前記シーン状況データが、少なくとも各シーンのストーリー上における(設定された)天候を表わす情報を含むことを特徴とする。
本願の第25の発明は、前記シーン状況データが、少なくとも各シーンのストーリー上における(設定された) 地域を表わす情報を含むことを特徴とする。
本願の第26の発明は、前記視聴環境制御装置と、該視聴環境制御装置によって視聴環境照明光を制御される照明装置とを備えた視聴環境制御システムであることを特徴とする。
本願の第27の発明は、1以上のシーンから構成される映像データを送信するデータ送信方法において、各前記映像データのストーリー上において、一つの場面設定が連続する一区切りのシーンのシーン状況データを、前記映像データに付加して送信することを特徴とする。
本願の第28の発明は、外部からの要求を受けて、1以上のシーンから構成される映像データストーリー上において、一つの場面設定が連続する一区切りのシーンのシーン状況データを送信するデータ送信方法であって、前記シーン状況データを、前記各シーンの開始タイミングとともに送信することを特徴とする。
本願の第29の発明は、表示装置に表示すべき映像データと、該映像データストーリー上において、一つの場面設定が連続する一区切りのシーンのシーン状況データとを受信し、前記シーン状況データに基づいて、前記表示装置の周辺に設置された照明装置の照明光を制御することを特徴とする。
本発明によれば、映像のシーン状況に応じた最適な視聴環境を実現することが可能となる。
従来技術による照明変動の問題点の一例を説明するための図である。 従来技術による照明変動の問題点の他の例を説明するための図である。 本発明の第1実施形態に係る視聴環境制御システムにおける映像送信装置の要部概略構成を示すブロック図である。 本発明の第1実施形態に係る視聴環境制御システムにおける映像送信装置の出力ビットストリームの例を示す説明図である。 本発明の第1実施形態に係る視聴環境制御システムにおけるシーン状況データの一例を示す説明図である。 映像の構成要素を説明するための説明図である。 本発明の第1実施形態に係る視聴環境制御システムにおける映像受信装置の要部概略構成を示すブロック図である。 本発明の第1実施形態に係る視聴環境制御システムにおける制御データの一例を示す説明図である。 本発明の第1実施形態に係る視聴環境制御システムにおける照明光の色再現範囲を表わす説明図である。 本発明の第1実施形態に係る視聴環境制御システムにおけるシーン状況データと制御データとの関係例を示す説明図である。 本発明の第1実施形態に係る視聴環境制御システムにおける制御データを生成するための処理フローの一部を説明するための図である。 図11に示した処理フローに続く残りの処理フローを説明するための図である。 本発明の第2実施形態に係る視聴環境制御システムにおける映像受信装置の要部概略構成を示すブロック図である。 図13における照明制御データ生成部を示すブロック図である。 本発明の第2実施形態に係る視聴環境制御システムにおける照明光の色再現範囲を表わす説明図である。 本発明の第3実施形態に係る視聴環境制御システムにおける外部サーバ装置の要部概略構成を示すブロック図である。 本発明の第3実施形態に係る視聴環境制御システムにおけるシーン状況データ格納テーブルの一例を示す説明図である。 本発明の第3実施形態に係る視聴環境制御システムにおける映像受信装置の要部概略構成を示すブロック図である。 本発明の第4実施形態に係る視聴環境制御システムにおける映像受信装置の要部概略構成を示すブロック図である。 図19における照明制御データ生成部を示すブロック図である。
図3は、本発明の第1実施形態における視聴環境制御システムに使用される映像送信装置(データ送信装置)の一例を説明するための要部概略構成図で、映像送信装置10は、図示のように、映像データ、音声データ、付加情報として供給されたシーン状況データのそれぞれをトランスポートストリームパケット(Transport Stream packet;TSP)形式に分割して多重するデータ多重部1と、データ多重部1の出力データに対して誤り訂正符号を付加する等した上で変調を施し、放送データとして伝送路に送出する送信部2とを備えている。
図4は、MPEG2(Moving Picture Experts Group 2)−Systemsで規定されたトランスポートストリームパケット(TSP)の構成の概略を示す説明図であり、11はTSPのデータ内容その他のMPEG2−Systemsで規定された情報が記述されたヘッダ、12は拡張ヘッダであって送信者が決めた情報を記述できる部分、13は映像、音声などのデータから構成されるペイロードである。本実施形態では、例えば映像データ及び音声データをペイロード13で伝送し、付加的な情報であるシーン状況データなどを拡張ヘッダ12で伝送することが可能に構成されている。尚、映像データ、音声データ、シーン状況データのそれぞれの異なるデータストリームを多重して伝送するようにしてもよい。
ここで、映像データの各シーンの場面設定状況を示すシーン状況データについて、図5とともに詳細に説明する。本実施形態では、シーン状況データとして、各シーンのストーリー上の季節を表わす季節情報、各シーンのストーリー上の時刻を表わす時刻情報、各シーンのストーリー上の場所を表わす場所情報、各シーンのストーリー上の時代を表わす時代情報、各シーンのストーリー上の天候を表わす天候情報、各シーンのストーリー上の地域を表わす地域情報を有している。これらの情報はいずれも、各シーンの場面設定に係る特徴的な照明環境を推定することが可能なものであり、各シーンの雰囲気や臨場感を照明光によって演出するために有用な情報である。以下、それぞれの情報について説明する。
まず、季節によって自然光(太陽光)の強度及び色温度は変化するため、ストーリー上設定された季節に適応して、後述する視聴環境照明を制御することにより、屋外シーンの臨場感を向上させることができる。すなわち、例えば春,夏,秋の昼間の太陽光の色温度は約6000Kであるが、冬は昼間であっても太陽光の色温度を約7000Kに上げることで、寒さを表現することが可能となる。また、夏の太陽光の強度は強いが、春・秋はやや強く、冬は普通である。従って、本実施形態では、季節情報として、各映像シーンの場面設定が春/夏/秋/冬のいずれに属するかを示す2ビットの記述を、シーン状況データの中に含有している。
また、自然光(太陽光)の強度及び色温度は1日の中の時刻によっても変化するため、ストーリー上設定された時刻に適応して、後述する視聴環境照明を制御することにより、屋外シーンの臨場感を向上させることができる。すなわち、例えば早朝の太陽光の色温度は約2000K、朝は約3000K、午前は約5000K、正午は約6000K、午後は約5000K、夕方は約3000K、薄暮れは約4000K、夜は約7000Kである。また、早朝の太陽光の強度はやや弱いが、朝は普通、午前はやや強く、正午は強くなり、午後はやや強く、夕方は普通、薄暮れはやや弱く、夜は非常に弱くなる。従って、本実施形態では、時刻情報として、各映像シーンの場面設定が早朝/朝/午前/正午/午後/夕方/薄暮れ/夜のいずれに属するかを示す3ビットの記述を、シーン状況データの中に含有している。
また、場所によって自然光や人工光の強度及び色温度は変化するため、ストーリー上設定された場所に適応して、後述する視聴環境照明を制御することにより、屋内・屋外シーンの臨場感を向上させることができる。すなわち、例えば一般的に夜間の場合は屋外では月光や街頭照明によるやや弱い強度の光しか存在しないが、屋内においては夜間であっても室内照明が点灯するためやや強い強度の光が存在する。また、スタジオの照明光の強度は昼夜を問わず強いし、昼間の屋外であっても日陰であれば、光の強度は普通になる。従って、本実施形態では、場所情報として、各映像シーンの場所設定が屋内/スタジオ/屋外/屋外日陰のいずれに属するかを示す2ビットの記述を、シーン状況データの中に含有している。なお、ここでは、窓等から自然光が入射する屋内のみを規定しているが、これとは別に自然光の入射が遮断された屋内を追加して記述するようにしてもよい。
さらに、時代によって自然光や人工光の強度及び色温度は変化するため、ストーリー上設定された時代に適応して、後述する視聴環境照明を制御することにより、現代・時代劇の各シーンの臨場感を向上させることができる。すなわち、例えば、現代ドラマの中で一般的に用いられる照明機器の光の色温度は、蛍光灯(昼白色)が約5000K、蛍光灯(昼光色)が約6700K、白熱電球が約2800Kである。これに対して、時代劇の中で夜間の光源としてよく用いられる蝋燭の炎の色温度は約1800〜2500Kである。また、現代劇では照明強度が強く、時代劇においては照明強度が弱い傾向にある。従って、本実施形態では、時代情報として、各映像シーンの時代設定が現代/時代劇のいずれに属するかを示す1ビットの記述を、シーン状況データの中に含有している。
また、天候によっても自然光(太陽光)の強度及び色温度は変化するため、ストーリー上設定された天候に適応して、後述する視聴環境照明を制御することにより、屋外シーンの臨場感を向上させることができる。すなわち、例えば晴天昼光の色温度は約6000K、雨天時の昼光は8000〜9000K、曇天時の昼光は約6500〜8000Kである。また、自然光の強度は、快晴時が最も強く、雪(晴れの日)、晴、曇、霧・もや・かすみ・雷、雨の順に弱くなる。従って、本実施形態では、天候情報として、各映像シーンの天候設定が快晴/晴/曇/霧・もや・かすみ・雷/雨/雪(晴れの日)のいずれに属するかを示す3ビットの記述を、シーン状況データの中に含有している。
そしてまた、地域によっても自然光(太陽光)の強度及び色温度は変化するため、ストーリー上設定された地域に適応して、後述する視聴環境照明を制御することにより、屋外シーンの臨場感を向上させることができる。すなわち、例えば熱帯(昼)の太陽光の色温度は約5000K、寒帯(昼)では約7000K、乾燥帯、温帯、亜寒帯(昼)においては約6000Kである。また、太陽光の強度は熱帯では非常に強く、乾燥帯、温帯、亜寒帯、寒帯の順に弱くなる傾向がある。従って、本実施形態では、地域情報として、各映像シーンの地域設定が熱帯/乾燥帯/温帯/亜寒帯/寒帯のいずれかに属するかを示す3ビットの記述を、シーン状況データの中に含有している。
なお、シーン状況データに含まれる各種情報は上述したものに限定されないことは言うまでもない。例えば、上記季節情報及び時刻情報は、各シーンのストーリー上設定された月日及び時刻を表わす日時情報として、上記時代情報は、各シーンのストーリー上設定された年代を表わす年代情報として、シーン状況データの中に記述されていてもよいし、上記地域情報は、各シーンのストーリー上設定された地域の緯度、経度を表わす緯度、経度情報として、シーン状況データの中に記述されていてもよい。
また、上述したシーン状況データは、映像撮影時のシナリオ情報内のシーン設定状況情報を利用して生成することができるので、この場合、新たにシーン状況データを作成する作業を省くことが可能となる。さらに、上述したシーン状況データ内の各種情報は、番組付加情報として放送データに含まれるシナリオ情報内のシーン設定状況情報や、編集・検索のために用意されたシーン設定状況情報等を兼用することも可能である。
次に、シーンやショットを含む映像の構成について、図6を参照して説明する。連続する動画像を構成する映像データは、図6に示すように、3層(レイヤ)構成に分けて考えることができる。映像(Video)を構成する第1レイヤ(#1)は、フレーム(Frame)である。フレームは物理的なレイヤであり、単一の2次元画像を指す。フレームは、通常、毎秒30フレームのレートで得られる。第2レイヤ(#2)はショット(Shot)である。ショットは単一のカメラにより撮影されたフレーム列である。そして、第3レイヤ(#3)がシーン(Scene)である。シーンはストーリー的なつながりを有するショット列である。
ここでは、映像データのフレーム単位やショット単位、或いはシーン単位で、上述したシーン状況データを付加することができる。最低限、シーン単位でシーン状況データを付加すれば、後述する視聴環境照明の制御を効率良く実現することが可能となるが、フレーム単位でシーン状況データを付加した場合、より細やかな視聴環境照明の制御を行うことができる。例えば、映像制作者(脚本家や演出家など)の意図に応じて、特定のフレーム(シーン切替フレームなど)に対してのみシーン状況データが付加されるようにしてもよい。
また、各ショット単位でシーン状況データを付加することにより、例えば同一シーン内であっても屋内と屋外のショットが含まれるような場合にも、適切な視聴環境照明の制御を実現することが可能となる。その他にも、映像データのランダムアクセスの単位となるGOP(Group of Picture)単位等でシーン状況データを付加するように構成してもよい。
次に、上記映像送信装置より送出された放送データを受信して、映像・音声を表示・再生するとともに、そのときの視聴環境照明を制御する映像受信装置(データ受信装置)について説明する。
図7は、本発明の実施形態における映像受信装置の一例を説明するための概略構成図で、図示のように、伝送路より入力された放送データを受信して復調するとともに、誤り訂正を行う受信部21と、受信部21の出力データから、映像表示装置25に出力する映像データ、音声再生装置26に出力する音声データ、付加情報としてのシーン状況データのそれぞれを分離・抽出するデータ分離部22と、データ分離部22で分離されたシーン状況データを受けて、前記映像データを構成する各シーンの場面設定(雰囲気)に適応した照明に関する制御データを出力するCPU23と、CPU23からの出力制御データに応じた照明制御データ(RGBデータ)を、視聴環境空間を照明する照明装置27に出力する照明制御データ生成部24とを備えている。
ここで、照明装置27は、映像表示装置25の周囲に設置されて、所定の色相をもった例えばRGBの三原色の光を発光するLEDにより構成することができる。ただし、照明装置27は、映像表示装置25の周囲環境の照明色及び明るさを制御できるような構成であればよく、上記のような所定色を発光するLEDの組み合わせに限ることなく、白色LEDと色フィルタとによって構成してもよく、あるいは白色電球や蛍光管とカラーフィルタとの組み合わせやカラーランプ等を適用することもできる。また、照明装置27は1個以上設置されていればよい。
CPU23は、図5を参照して説明したシーン状況データから、各シーンのストーリー上における設定場面(雰囲気)を照明装置27による視聴環境照明により再現すべく、照明光の強度及び色温度(黒体軌跡上の一点)を決定し、これを制御データとして照明制御データ生成部24へ出力する。本実施形態においては、シーン状況データに含まれる各種情報に基づいて、例えば、図8(a)に示すように、照明強度を7段階で示すとともに、図8(b)に示すように、照明色温度を16段階で示す制御データを生成する。
ここで、黒体はエネルギーを完全に吸収する理想的な物体をさしており、温度が上昇すると発する光の色が赤→黄→白と変化する。このときの絶対温度を色温度という。この色温度と色の軌跡(黒体軌跡)をxy色度図上で表すと、図9のようになる。光源の色が黒体軌跡上にない場合、完全に一致しないが最も近似の黒体の温度を「相関色温度」という。一般的に相関色温度は黒体軌跡からの偏差(Δuv)と共に表される。
照明制御データ生成部24は、CPU23からの制御データ(強度、色温度)に応じたRGBデータを生成して、照明装置27に出力する。これによって、表示映像のシーン状況に応じた、最適な視聴環境の照明制御を実現することが可能となる。
以下、シーン状況データに応じた具体的な照明制御例について、図10とともに説明する。例えばシーン状況データにおける季節情報が春、時刻情報が昼、場所情報が屋外、天候情報が晴である場合、このときの自然光を再現すべく、照明強度はやや強く、照明色温度は6000K(図9中(d)点で示す)であることを示す制御データが生成される。ここで、季節情報が夏になると、照明色温度は6000Kのまま、照明強度が強いことを示す制御データが生成される。
また、地域情報が熱帯の場合、照明強度が非常に強いことを示す制御データが生成される。季節情報が秋になると、照明強度がやや強いことを示す制御データが、季節情報が冬になると、照明強度が普通で照明色温度は7000K(図9中(e)点で示す)であることを示す制御データが生成される。ここで、地域情報が寒帯の場合、照明強度がやや弱いことを示す制御データが生成される。ここで、地域情報が寒帯の場合、照明強度がやや弱く、照明色温度は7000K(図9中(e)点で示す)であることを示す制御データが生成される。
そしてまた、シーン状況データにおける時刻情報が朝、場所情報が屋内、天候情報が晴である場合、このときの自然光が屋内に差し込む状況を再現すべく、照明強度は普通で、照明色温度は4000K(図9中(b)点で示す)であることを示す制御データが生成される。ここで、時刻情報が夕方になると、照明強度は普通のまま、照明色温度は3000K(図9中(a)点で示す)であることを示す制御データが生成される。また、時刻情報が夜になると、屋内照明機器である蛍光灯(昼白色)の照明光を再現すべく、照明強度はやや強く、照明色温度は5000K(図9中(c)点で示す)であることを示す制御データが生成される。
さらに、シーン状況データにおける時刻情報が夜、場所情報が屋内、時代情報が時代劇である場合、蝋燭の炎が照明光源である可能性が高く、これを再現するために、照明強度はやや弱く、照明色温度は3000K(図9中(a)点で示す)であることを示す制御データが生成される。ここで、場所情報が屋外になると、月光が照明光源である可能性が高く、時代劇の月夜の雰囲気を再現するために、照明強度は非常に弱く、照明色温度は7000K(図9中(e)点で示す)であることを示す制御データが生成される。
また、シーン状況データにおける時刻情報が昼、場所情報が屋外、天候情報が霧・もや・かすみ・雪である場合、このときの自然光を再現すべく、照明強度は弱く、照明色温度は6000K(図9中(d)点で示す)であることを示す制御データが生成される。
以上のような制御データを生成するための処理フローの一例を、図11及び図12とともに説明する。まず、新たなシーン区間が開始したか否かを判定し(ステップS1)、新たなシーン区間が開始した場合、当該シーンに係るシーン状況データを取得する(ステップS2)。そして、このシーン状況データ中の場所情報がスタジオを示している場合(ステップS3)、スタジオの照明光は昼夜、天候などの影響を受けないため、他の情報に関わらず、照明強度が強く、照明色温度が6000Kであることを示す制御データを出力する(ステップS4)。
次に、場所情報が屋内を示している場合(ステップS5)、時刻情報が夜を示しているか否かを判定する(ステップS6)。そして、時刻情報が夜であって、且つ時代情報が時代劇を示している場合(ステップS7)、蝋燭の炎が照明光源である可能性が高いため、照明強度がやや弱く、照明色温度が3000Kであることを示す制御データを出力する(ステップS8)。また、時刻情報が夜であって、且つ時代情報が現代を示している場合(ステップS7)、一般的な屋内照明機器である蛍光灯(昼白色)が照明光源である可能性が高いため、照明強度がやや強く、照明色温度が5000Kであることを示す制御データを出力する(ステップS9)。
また、ステップS5において屋内でないと判定された場合、時刻情報が夜を示しているか否かを判定する(ステップS10)。そして、時刻情報が夜であって、且つ時代情報が時代劇を示している場合(ステップS11)、照明強度が非常に弱く、照明色温度が7000Kであることを示す制御データを出力する(ステップS12)。さらに、時刻情報が夜であって、且つ時代情報が現代を示している場合(ステップS11)、照明強度が弱く、照明色温度が7000Kであることを示す制御データを出力する(ステップS13)。これは、現代の方が照明機器の発達により夜間の屋外でも比較的明るいことが多いためである。
そして、ステップS10において夜でないと判定された場合は、予め用意されたルックアップテーブル(図示せず)を参照し、季節情報、時刻情報、天候情報、地域情報の組み合わせから特定された、照明強度がa、照明色温度がbKであることを示す制御データを取得する(ステップS14)。次に、場所が屋外の日陰ではない場合(ステップS15)、上記ルックアップテーブルを参照して取得した制御データをそのまま出力する(ステップS16)。また、場所が屋外の日陰を示している場合(ステップS15)、或いは、ステップS6において時刻が夜ではないと判定された場合、上記ルックアップテーブルを参照して取得した制御データの照明強度aを2段階(レベル)だけ低下させて(ステップS17)、照明強度がa’、照明色温度がbKであることを示す制御データを出力する(ステップS18)。例えばルックアップテーブルを参照して取得した制御データの照明強度aが普通(011)の場合、出力される制御データの照明強度a’は弱い(001)となる。
すなわち、ルックアップテーブルには、場所が屋外である場合に関して、季節情報(4通り)、時刻情報(8通り)、天候情報(6通り)、地域情報(5通り)の組み合わせ(960通り)の制御データが予め格納されている。そして、屋外日陰や屋内に入射する自然光は、屋外における自然光の強度が低下したものとみなし、ルックアップテーブルから取得した制御データを利用して制御データを生成している。
さらに、放送データが終了したか否かを判定し(ステップS19)、放送データが終了していない場合は、ステップS1に戻って次のシーン区間が開始したか否かを判定する。すなわち、上記のようにして生成された制御データは、次のシーン区間が開始されるまで、或いは放送データが終了するまで保持して出力される。なお、上述した処理フローは制御データを生成するための一例であって、本発明がこれに限られないことは言うまでもない。
上記のように、本実施形態においては、映像データとともにシーン状況データとして入力された各種情報内容から、各シーンのストーリー上における設定場面(雰囲気)を適切に再現すべく照明強度及び照明色温度を求め、これに応じたRGBデータにより照明装置27の照明光を制御することが可能である。従って、映像内容の影響を受けることなく、自然で違和感のない視聴環境照明を実現することができ、映像視聴時の臨場感を増大させることが可能となる。
なお、本実施形態においては、各シーンのストーリー上における設定場面に関するシーン状況データを送受信するようにしているので、このシーン状況データを用いて所望のシーンを検索したり編集するなど、視聴環境照明の制御以外にも様々な機能を実現することが可能となる。
また、上記本発明の第1の実施形態においては、放送データに含まれるシーン状況データのみを用いて、視聴環境照明を制御するものについて説明したが、より適切な視聴環境照明の制御を実現するために、シーン状況データに加えて、映像データ及び/又は音声データも用いて、視聴環境照明を制御する構成としてもよい。これについて、本発明の第2の実施形態として、以下に説明する。
以下、本発明の視聴環境制御システムの第2実施形態について、図13及び図15とともに詳細に説明するが、上記第1の実施形態と同一の作用をする部分には同一符号を付し、その説明は省略する。
なお、本実施形態における映像送信装置(データ送信装置)は、図3とともに説明した第1実施形態のものと同様であり、ここではその説明を省略する。
図13は、本発明の実施形態における映像受信装置(データ受信装置)の一例を説明するための概略構成図で、図示のように、伝送路より入力された放送データを受信して復調するとともに、誤り訂正を行う受信部21と、受信部21の出力データから、映像表示装置25に出力する映像データとTC(タイムコード)、音声再生装置26に出力する音声データとTC(タイムコード)、付加情報としてのシーン状況データのそれぞれを分離・抽出するデータ分離部22と、データ分離部22で分離されたシーン状況データを受けて、前記映像データを構成する各シーンの場面設定(雰囲気)に適応した照明に関する制御データを出力するCPU33と、CPU33からの制御データに応じた照明制御データ(RGBデータ)を、視聴環境空間を照明する照明装置27に出力する照明制御データ生成部34と、照明制御データ生成部34における処理時間分だけ映像データ、音声データ、制御データを遅延して出力するディレイ発生部35,36,37とを備えている。
ここで、本実施形態のCPU33は、シーン状況データに基づいて、照明光の強度及び色温度(黒体軌跡上の一点)を求め、該色温度を含む所定の色範囲を示す情報(図15のxy色度図上、一点鎖線で示す範囲を表わす関数)を決定し、これらを制御データとして出力する。そして、照明制御データ生成部34では、映像データ、音声データに基づいて求めた場(雰囲気)推定結果が、シーン状況データに基づいて求められた色範囲内に収まるように補正し、照明制御データ(RGBデータ)を出力する。
なお、タイムコード(TC)は、映像データ、音声データそれぞれの再生時間情報を示すために付加された情報であり、例えば、映像データの時間(h):分(m):秒(s):フレーム(f)を示す情報により構成されている。
本実施形態の照明制御データ生成部34は、図14に示すように、シーン状況データに基づいて、シーン区間の開始点TC、終了点TCを検出するシーン区間検出部41と、シーン区間の開始点TCから所定時間分の映像データ及び音声データに基づいて、撮影現場の照明状態や場面設定(雰囲気)を推定する場(雰囲気)推定部42と、場(雰囲気)推定部42による推定結果とCPU33より出力された制御データとから、照明装置27を制御する照明制御データを出力する照明制御部43とを備えている。
場(雰囲気)推定部42による撮影時の周囲光の状態の推定方法は、公知のものをはじめとする各種の技術を用いることができる。尚、ここでは、各シーンの場(雰囲気)の推定のために映像データの特徴量に加えて、音声データの特徴量も用いているが、これは場(雰囲気)の推定精度をより向上させるためであり、映像データの特徴量のみから撮影シーンの場(雰囲気)を推定するようにしてもよい。
また、映像データの特徴量としては、例えば上述した従来例のように、画面の所定領域における色信号、輝度信号をそのまま用いることもできるし、これらから映像撮影時における周囲光の色温度を求めて用いてもよい。さらに、これらを映像データの特徴量として切替出力可能に構成してもよい。また、音声データの特徴量としては、音量、音声周波数などを用いることができる。
この場(雰囲気)推定部42は、映像データ、音声データの特徴量に基づいて、撮影時の周囲光の色、明るさを推定するものであるが、ここで推定された周囲光の色が、シーン状況データより求められた所定の色範囲外にある場合は、照明制御部43により補正されて、各シーンのストーリー上における場面設定状況に適した照明制御データを得ることが可能となっている。
例えば、場(雰囲気)推定部42による周囲光の色の推定結果が、図15のxy色度図上の(A)点であり、CPU33より出力される制御データが示す照明色温度が図15のxy色度図上の(a)点を示している場合、照明制御部43は、xy色度図上の(A)点と(a)点とを結ぶ直線と、(a)点を中心とした色範囲を示す関数(図15のxy色度図上、一点鎖線で示した楕円形を表わす関数)との交点(A’)を求め、これを視聴環境照明光の色とする。
同様に、場(雰囲気)推定部42による周囲光の色の推定結果が、図15のxy色度図上の(B)点であり、CPU33より出力される制御データが示す照明色温度が図15のxy色度図上の(e)点を示している場合、照明制御部43は、xy色度図上の(B)点と(e)点とを結ぶ直線と、(e)点を中心とした色範囲を示す関数(図15のxy色度図上、一点鎖線で示した楕円形を表わす関数)との交点(B’)を求め、これを視聴環境照明光の色とする。
また、場(雰囲気)推定部42による周囲光の明るさの推定結果についても、CPU33より出力される制御データが示す照明強度に応じて適切に補正される。尚、場(雰囲気)推定部42による周囲光の推定結果が、シーン状況データより求められた所定の照明範囲内にある場合は、場(雰囲気)推定部42による周囲光の推定結果を、そのまま照明制御データとして照明装置27に出力する。
また、ここでは、xy色度図上で、場(雰囲気)推定部42による推定結果とCPU33より出力される制御データが示す照明色温度とを結ぶ直線と、CPU33より出力される制御データが示す色範囲を表わす関数との交点から、照明装置27に出力する照明制御データを求めるようにしているが、これに限られないことは明らかである。例えば、xy色度図上で、場(雰囲気)推定部42による推定結果までの距離が最小となる所定の色範囲内の点や、場(雰囲気)推定部42による推定結果との色差ΔEが最小となる所定の色範囲内の点から、照明制御データを求めるようにしてもよい。
また、単に場(雰囲気)推定部42による推定結果とCPU33より出力される制御データが示す照明色温度及び照明強度との平均値や加重平均値を、照明装置27に出力する照明制御データとするようにしてもよい。
以上のように、本実施形態においては、シーン状況データと映像データ及び/又は音声データとを用いて、視聴環境照明を制御する構成としているので、シーン状況データからだけでは推定することが困難な照明環境に対しても、映像データ及び/又は音声データの特徴量に基づいた場(雰囲気)の推定結果を用いることで、より正確な照明環境を推定することができ、より適切な照明制御を行うことが可能になるとともに、映像データ及び/又は音声データの特徴量に基づいた場(雰囲気)の推定誤りによって、臨場感や雰囲気を阻害するような照明制御がなされることを抑制し、常に最適な視聴環境を実現することが可能である。
また、本実施形態においては、シーン状況データに基づいて、照明光の色温度を含む所定の色範囲を示す情報(図15のxy色度図上、一点鎖線で示す範囲を表す関数)を決定しているが、この所定の色範囲の大きさは、ユーザが任意に可変設定できるようにしてもよい。すなわち、所定の色範囲を大きく設定すれば、より画面の広がりを再現する効果が得られ、所定の色範囲を小さく設定すれば、より制作者が想定する場の雰囲気を再現する効果が得られるため、ユーザがいずれの照明効果を重視するかによって、シーン状況データより求められる色範囲の大きさを可変設定すればよい。
さらに、画面の広がりを再現する効果と制作者が想定する場の雰囲気を再現する効果とのいずれが望ましいかは、映像表示装置25で表示する映像コンテンツによっても異なるため、この映像コンテンツの種別(例えばジャンル)の判別結果に応じて、シーン状況データより求められる所定の色範囲の大きさを可変設定できるようにしてもよい。
また、本実施形態によれば、シーン状況データに基づいてシーン区間を検出するシーン区間検出部41を設け、シーン単位で照明制御データを切替制御する構成としているので、同じシーン内で視聴環境照明が激しく変化して臨場感を損なってしまうことを防止することができる。
なお、上記本発明の第1、第2の実施形態においては、シーン状況データが放送データに多重付加されて送信される場合について説明したが、放送データにシーン状況データが付加されていない場合、表示する映像データに対応するシーン状況データを外部サーバ装置等より送受信することによって、映像のシーン状況に応じた最適な視聴環境を実現することが可能となる。これについて、以下に説明する。
以下、本発明の視聴環境制御システムの第3実施形態について、図16乃至図18とともに詳細に説明するが、上記第1の実施形態と同一部分には同一符号を付し、その説明は省略する。
図16は、本実施形態の視聴環境制御システムにおける外部サーバ装置の要部概略構成を示すブロック図で、本実施形態における外部サーバ装置(データ送信装置)は、図16に示すように、映像受信装置(データ受信装置)側から特定の映像データ(コンテンツ)に関するシーン状況データの送信要求を受信する受信部51と、映像データ(コンテンツ)毎のシーン状況データを格納しているデータ格納部52と、送信要求を受けたシーン状況データを要求元の映像受信装置(データ受信装置)へ送信する送信部53とを備えている。
図17は、本実施形態の視聴環境制御システムにおけるシーン状況データ格納テーブルの一例を示す説明図で、本実施形態のデータ格納部52に格納されているシーン状況データは、図17に示すように、各映像シーンのシーン番号、シーン開始タイムコードに対応付けてテーブル形式に記述されており、送信要求を受けた映像データ(番組コンテンツ)のシーン状況データを、当該映像データを構成する各シーンのシーン番号、シーン開始TC(タイムコード)とともに、送信部53より要求元の映像受信装置へ送信する。
次に、上記外部サーバ装置より送出されたシーン状況データを受けて、視聴環境照明を制御する映像受信装置(データ受信装置)について説明する。図18は、本実施形態の視聴環境制御システムにおける映像受信装置の要部概略構成を示すブロック図で、本実施形態における映像受信装置は、図18に示すように、伝送路より入力された放送データを受信して復調するとともに、誤り訂正を行う受信部61と、受信部61の出力データから、映像表示装置25に出力する映像データ、音声再生装置26に出力する音声データのそれぞれを分離・抽出するデータ分離部62と、表示する映像データ(コンテンツ)に対応したシーン状況データの送信要求を、通信ネットワークを介して外部サーバ装置(データ送信装置)に送出する送信部65と、前記送信要求したシーン状況データを、通信ネットワークを介して外部サーバ装置より受信する受信部66とを備えている。
また、前記受信部66で受信したシーン状況データを記憶し、映像データの各シーンの表示タイミングに同期して、当該映像シーンのシーン状況データから求められた照明強度及び色温度に関する制御データを出力するCPU63と、CPU63からの出力制御データに応じた照明制御データ(RGBデータ)を、視聴環境空間を照明する照明装置27に出力する照明制御データ生成部24とを備えている。
すなわち、CPU63は、外部サーバ装置より受信して内部に記憶しているシーン状況データ格納テーブルの各シーンの開始タイムコードと、映像表示装置25に表示される映像データのタイムコードとを比較し、これらが一致した時に対応するシーン状況データを読み出し、このシーン状況データから表示映像シーンの場面設定(雰囲気)に適応した制御データを出力することができる。
これによって、放送データにシーン状況データが付加されていない場合であっても、表示映像データ(番組コンテンツ)に対応するシーン状況データを外部サーバ装置より入手し、このシーン状況データに基づいて照明制御データを生成することでき、しかも簡単な構成で映像シーンの表示切替わりタイミングと視聴環境照明の切替えタイミングとを同期させることができるので、映像のシーン状況に応じた最適な視聴環境を実現することが可能となる。
なお、上記本発明の第3の実施形態においては、外部サーバ装置より受信したシーン状況データのみを用いて、視聴環境照明を制御するものについて説明したが、より適切な視聴環境照明の制御を実現するために、シーン状況データに加えて、映像データ及び/又は音声データも用いて、視聴環境照明を制御する構成としてもよい。これについて、本発明の第4の実施形態として、以下に説明する。
以下、本発明の視聴環境制御システムの第4実施形態について、図19及び図20とともに詳細に説明するが、上記第2、第3の実施形態と同一部分には同一符号を付し、その説明は省略する。
本実施形態における外部サーバ装置(データ送信装置)は、図18とともに上述した第3実施形態のものと同様であり、ここではその説明を省略する。
図19は、本実施形態の視聴環境制御システムにおける映像受信装置の要部概略構成を示すブロック図で、本実施形態における映像受信装置(データ受信装置)は、図19に示すように、伝送路より入力された放送データを受信して復調するとともに、受信部61と、受信部61の出力データから、映像表示装置25に出力する映像データ、音声再生装置26に出力する音声データのそれぞれを分離・抽出するデータ分離部62と、表示する映像データ(コンテンツ)に対応したシーン状況データの送信要求を、通信ネットワークを介して外部サーバ装置(データ送信装置)に送出する送信部65と、前記送信要求したシーン状況データを、通信ネットワークを介して外部サーバ装置より受信する受信部66とを備えている。
また、前記受信部66で受信したシーン状況データを記憶し、映像データの各シーンの出力タイミングに同期して、当該映像シーンのシーン状況データから求められた照明強度及び色温度、色範囲に関する制御データ、及びシーン開始点タイムコードを出力するCPU73と、CPU73からの出力制御データに応じた照明制御データ(RGBデータ)を、視聴環境空間を照明する照明装置27に出力する照明制御データ生成部74と、照明制御データ生成部74における処理時間分だけ映像データ、音声データ、制御データを遅延して出力するディレイ発生部35,36,37とを備えている。
ここで、本実施形態のCPU73は、シーン状況データに基づいて、照明光の強度及び色温度(黒体軌跡上の一点)を求め、該色温度を含む所定の色範囲を示す情報(図15のxy色度図上、一点鎖線で示す範囲を表わす関数)を決定し、これらを制御データとして出力する。そして、照明制御データ生成部74では、映像データ、音声データに基づいて求めた場(雰囲気)推定結果が、シーン状況データに基づいて求められた色範囲内に収まるように補正し、照明制御データ(RGBデータ)を出力する。
図20は、図19における照明制御データ生成部を示すブロック図で、本実施形態の照明制御データ生成部74は、図20に示すように、CPU73からのシーン開始点TCから所定時間分の映像データ及び音声データに基づいて、撮影現場の照明状態や場面設定(雰囲気)を推定する場(雰囲気)推定部82と、場(雰囲気)推定部82による推定結果とCPU73より出力された制御データとから、照明装置27を制御する照明制御データを出力する照明制御部43とを備えている。
この場(雰囲気)推定部82は、映像データ、音声データの特徴量に基づいて、撮影時の周囲光の色、明るさを推定するものであるが、ここで推定された周囲光の色が、シーン状況データより求められた所定の色範囲外にある場合は、照明制御部43により補正されて、各シーンのストーリー上における場面設定状況に適した照明制御データを得ることが可能となっている。
以上のように、本実施形態においては、放送データにシーン状況データが付加されていない場合であっても、表示映像データ(番組コンテンツ)に対応するシーン状況データを外部サーバ装置より入手し、このシーン状況データと映像データ及び/又は音声データとを用いて、視聴環境照明を制御する構成としているので、シーン状況データに加えて映像データ及び/又は音声データの特徴量に基づいた場(雰囲気)の推定結果を考慮した照明制御を行うことが可能になるとともに、映像データ及び/又は音声データの特徴量に基づいた場(雰囲気)の推定誤りによって、臨場感や雰囲気を阻害するような照明制御がなされることを抑制し、常に最適な視聴環境を実現することが可能である。
また、本実施形態においては、シーン状況データに基づいて、照明光の色温度を含む所定の色範囲を示す情報(図15のxy色度図上、一点鎖線で示す範囲を表す関数)を決定しているが、この所定の色範囲の大きさは、ユーザが任意に可変設定できるようにしてもよい。すなわち、所定の色範囲を大きく設定すれば、より画面の広がりを再現する効果が得られ、所定の色範囲を小さく設定すれば、より制作者が想定する場の雰囲気を再現する効果が得られるため、ユーザがいずれの照明効果を重視するかによって、シーン状況データより求められる色範囲の大きさを可変設定すればよい。
さらに、画面の広がりを再現する効果と制作者が想定する場の雰囲気を再現する効果とのいずれが望ましいかは、映像表示装置25で表示する映像コンテンツによっても異なるため、この映像コンテンツの種別(例えばジャンル)の判別結果に応じて、シーン状況データより求められる所定の色範囲の大きさを可変設定できるようにしてもよい。
また、本実施形態によれば、シーン状況データ格納テーブルのシーン開始タイムコードに基づいて、シーン単位で照明制御データを切替制御する構成としているので、同じシーン内で視聴環境照明が激しく変化して臨場感を損なってしまうことを防止することができる。
なお、本発明の視聴環境制御装置、方法、及び視聴環境制御システムは、上述した本発明の主旨を逸脱しない範囲で、様々な実施形態により実現することが可能である。例えば、視聴環境制御装置は映像表示装置内に設けられてもよく、入力映像データに含まれる種々の情報に基づいて、外部の照明機器を制御することができるような構成としてもよいことは言うまでもない。
また、上述したシーン状況データは、放送データから分離・取得する場合や、外部サーバ装置から取得する場合に限られず、例えば、外部機器(DVD再生機やブルーレイディスク再生機など)で再生された映像情報を表示する場合、メディア媒体内に付加されたシーン状況データを読み出して、これを用いるようにしてもよい。

Claims (29)

  1. 1以上のシーンから構成される映像データを送信するデータ送信装置において、
    前記映像データのストーリー上において、一つの場面設定が連続する一区切りのシーンのシーン状況データを、前記映像データに付加するデータ多重化部と、
    前記データ多重化部からの出力データを送信する送信部と
    を備えたことを特徴とするデータ送信装置。
  2. 前記シーン状況データは、前記映像データのシーン単位で付加されることを特徴とする前記請求項1に記載のデータ送信装置。
  3. 前記シーン状況データは、前記映像データのショット単位で付加されることを特徴とする前記請求項1に記載のデータ送信装置。
  4. 前記請求項1乃至のいずれかに記載のデータ送信装置において、
    前記シーン状況データは、少なくとも各シーンのストーリー上における季節を表わす情報を含むことを特徴とするデータ送信装置。
  5. 前記請求項1乃至のいずれかに記載のデータ送信装置において、
    前記シーン状況データは、少なくとも各シーンのストーリー上における時刻を表わす情報を含むことを特徴とするデータ送信装置。
  6. 前記請求項1乃至のいずれかに記載のデータ送信装置において、
    前記シーン状況データは、少なくとも各シーンのストーリー上における場所を表わす情報を含むことを特徴とするデータ送信装置。
  7. 前記請求項1乃至のいずれかに記載のデータ送信装置において、
    前記シーン状況データは、少なくとも各シーンのストーリー上における時代を表わす情報を含むことを特徴とするデータ送信装置。
  8. 前記請求項1乃至のいずれかに記載のデータ送信装置において、
    前記シーン状況データは、少なくとも各シーンのストーリー上における天候を表わす情報を含むことを特徴とするデータ送信装置。
  9. 前記請求項1乃至のいずれかに記載のデータ送信装置において、
    前記シーン状況データは、少なくとも各シーンのストーリー上における地域を表わす情報を含むことを特徴とするデータ送信装置。
  10. 1以上のシーンから構成される映像データストーリー上において、一つの場面設定が連続する一区切りのシーンのシーン状況データを格納するデータ格納部と、
    前記シーン状況データの送信要求を外部から受ける受信部と、
    前記受信部が前記送信要求を受信すると、前記シーン状況データを前記各シーンの開始タイミングとともに送信する送信部と
    を備えたことを特徴とするデータ送信装置。
  11. 前記請求項10に記載のデータ送信装置において、
    前記シーン状況データは、少なくとも各シーンのストーリー上における季節を表わす情報を含むことを特徴とするデータ送信装置。
  12. 前記請求項10又は11に記載のデータ送信装置において、
    前記シーン状況データは、少なくとも各シーンのストーリー上における時刻を表わす情報を含むことを特徴とするデータ送信装置。
  13. 前記請求項10乃至12のいずれかに記載のデータ送信装置において、
    前記シーン状況データは、少なくとも各シーンのストーリー上における場所を表わす情報を含むことを特徴とするデータ送信装置。
  14. 前記請求項10乃至13のいずれかに記載のデータ送信装置において、
    前記シーン状況データは、少なくとも各シーンのストーリー上における時代を表わす情報を含むことを特徴とするデータ送信装置。
  15. 前記請求項10乃至14のいずれかに記載のデータ送信装置において、
    前記シーン状況データは、少なくとも各シーンのストーリー上における天候を表わす情報を含むことを特徴とするデータ送信装置。
  16. 前記請求項10乃至15のいずれかに記載のデータ送信装置において、
    前記シーン状況データは、少なくとも各シーンのストーリー上における地域を表わす情報を含むことを特徴とするデータ送信装置。
  17. 表示装置に表示すべき映像データと、該映像データストーリー上において、一つの場面設定が連続する一区切りのシーンのシーン状況データとを受信する受信手段と、
    前記シーン状況データに基づいて、前記表示装置の周辺に設置された照明装置の照明光を制御する制御手段とを備えたことを特徴とする視聴環境制御装置。
  18. 前記請求項17に記載の視聴環境制御装置において、
    前記制御手段は、前記照明装置の照明光を前記映像データのシーン単位で切替制御することを特徴とする視聴環境制御装置。
  19. 前記請求項17又は18に記載の視聴環境制御装置において、
    前記制御手段は、前記シーン状況データに加え、前記映像データの特徴量も用いて、前記照明装置の照明光を制御することを特徴とする視聴環境制御装置。
  20. 前記請求項17乃至19のいずれかに記載の視聴環境制御装置において、
    前記シーン状況データは、少なくとも各シーンのストーリー上における季節を表わす情報を含むことを特徴とする視聴環境制御装置。
  21. 前記請求項17乃至20に記載の視聴環境制御装置において、
    前記シーン状況データは、少なくとも各シーンのストーリー上における時刻を表わす情報を含むことを特徴とする視聴環境制御装置。
  22. 前記請求項17乃至21のいずれかに記載の視聴環境制御装置において、
    前記シーン状況データは、少なくとも各シーンのストーリー上における場所を表わす情報を含むことを特徴とする視聴環境制御装置。
  23. 前記請求項17乃至22のいずれかに記載の視聴環境制御装置において、
    前記シーン状況データは、少なくとも各シーンのストーリー上における時代を表わす情報を含むことを特徴とする視聴環境制御装置。
  24. 前記請求項17乃至23のいずれかに記載の視聴環境制御装置において、
    前記シーン状況データは、少なくとも各シーンのストーリー上における天候を表わす情報を含むことを特徴とする視聴環境制御装置。
  25. 前記請求項17乃至24のいずれかに記載の視聴環境制御装置において、
    前記シーン状況データは、少なくとも各シーンのストーリー上における地域を表わす情報を含むことを特徴とする視聴環境制御装置。
  26. 前記請求項17乃至25のいずれかに記載の視聴環境制御装置と、該視聴環境制御装置によって視聴環境照明光を制御される照明装置とを備えることを特徴とする視聴環境制御システム。
  27. 1以上のシーンから構成される映像データを送信するデータ送信方法において、
    各前記映像データのストーリー上において、一つの場面設定が連続する一区切りのシーンのシーン状況データを、前記映像データに付加して送信することを特徴とするデータ送信方法。
  28. 外部からの要求を受けて、1以上のシーンから構成される映像データストーリー上において、一つの場面設定が連続する一区切りのシーンのシーン状況データを送信するデータ送信方法であって、
    前記シーン状況データを、前記各シーンの開始タイミングとともに送信することを特徴とするデータ送信方法。
  29. 表示装置に表示すべき映像データと、該映像データストーリー上において、一つの場面設定が連続する一区切りのシーンのシーン状況データとを受信し、
    前記シーン状況データに基づいて、前記表示装置の周辺に設置された照明装置の照明光を制御することを特徴とする視聴環境制御方法。
JP2008512054A 2006-04-19 2007-04-03 データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法 Expired - Fee Related JP5058157B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008512054A JP5058157B2 (ja) 2006-04-19 2007-04-03 データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2006115099 2006-04-19
JP2006115099 2006-04-19
PCT/JP2007/057458 WO2007122987A1 (ja) 2006-04-19 2007-04-03 データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法
JP2008512054A JP5058157B2 (ja) 2006-04-19 2007-04-03 データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法

Publications (2)

Publication Number Publication Date
JPWO2007122987A1 JPWO2007122987A1 (ja) 2009-09-03
JP5058157B2 true JP5058157B2 (ja) 2012-10-24

Family

ID=38624895

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008512054A Expired - Fee Related JP5058157B2 (ja) 2006-04-19 2007-04-03 データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法

Country Status (5)

Country Link
US (1) US20090256962A1 (ja)
EP (1) EP2018061A4 (ja)
JP (1) JP5058157B2 (ja)
CN (1) CN101427577A (ja)
WO (1) WO2007122987A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101463963B (zh) * 2007-12-21 2010-09-29 富士迈半导体精密工业(上海)有限公司 照明系统
JP5226361B2 (ja) * 2008-04-09 2013-07-03 キヤノン株式会社 放送受信装置、放送受信方法
BRPI0916770A2 (ja) * 2008-07-15 2018-02-20 Sharp Kabushiki Kaisha A data transmission device, a data receiver, a data transmission method, a data receiving method, and a viewing-and-listening environmental control method
JP2011023339A (ja) * 2009-06-15 2011-02-03 Motoko Ishii Lighting Design Inc 照度・色温度による制御装置を装備した照明システム
JP5694369B2 (ja) * 2009-12-17 2015-04-01 コーニンクレッカ フィリップス エヌ ヴェ 映画館環境照明システム
CN103068095A (zh) * 2011-10-21 2013-04-24 扬升照明股份有限公司 照明系统及照明系统的控制方法
WO2016067609A1 (ja) * 2014-10-28 2016-05-06 株式会社 東芝 白色光源および白色光源システム
JP2016161812A (ja) 2015-03-03 2016-09-05 パナソニックIpマネジメント株式会社 映像表示装置
EP3344016A4 (en) * 2015-08-26 2018-08-01 Panasonic Intellectual Property Management Co., Ltd. Illumination system and program
US9961231B2 (en) * 2015-10-06 2018-05-01 Canon Kabushiki Kaisha Image processing method that attempts decoding of additional information using a plurality of decoding methods, and apparatus therefor
CN105245865A (zh) * 2015-10-09 2016-01-13 深圳Tcl数字技术有限公司 色温调整方法及装置
CN106792168A (zh) * 2016-12-09 2017-05-31 北京小米移动软件有限公司 智能设备的控制方法和装置
IT201700099120A1 (it) * 2017-09-05 2019-03-05 Salvatore Lamanna Sistema di illuminazione per schermo di qualsiasi tipo
US10609294B2 (en) 2017-12-22 2020-03-31 X Development LLP Systems and methods for sampling images

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001343930A (ja) * 2000-05-31 2001-12-14 Lg Electronics Inc 表示装置及び表示装置の階調表示方法
JP2001343900A (ja) * 2000-05-31 2001-12-14 Matsushita Electric Ind Co Ltd 照明システムおよび照明制御データ作成方法
JP2005229153A (ja) * 2004-02-10 2005-08-25 Sony Corp 調光システムおよび調光方法、配信装置および配信方法、受信装置および受信方法、記録装置および記録方法、ならびに、再生装置および再生方法
JP2005531909A (ja) * 2002-07-04 2005-10-20 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 周辺光および照明ユニットを制御する方法およびシステム
JP2005310630A (ja) * 2004-04-23 2005-11-04 Sharp Corp 高臨場感再生装置及び方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4802350B2 (ja) * 1998-03-12 2011-10-26 ソニー株式会社 表示装置
JPH0812793B2 (ja) 1988-12-12 1996-02-07 松下電器産業株式会社 光色可変形照明装置
JPH02253503A (ja) 1989-03-28 1990-10-12 Matsushita Electric Works Ltd 映像演出照明装置
JPH0815004B2 (ja) 1989-12-14 1996-02-14 松下電器産業株式会社 光色可変形照明装置
US6611297B1 (en) * 1998-04-13 2003-08-26 Matsushita Electric Industrial Co., Ltd. Illumination control method and illumination device
JP3644502B2 (ja) * 2001-02-06 2005-04-27 ソニー株式会社 コンテンツ受信装置およびコンテンツ呈示制御方法
JP2002297753A (ja) * 2001-03-30 2002-10-11 Fujitsu Ltd 画像データ提供システム
KR100497497B1 (ko) * 2001-12-27 2005-07-01 삼성전자주식회사 엠펙 데이터의 송수신시스템 및 송수신방법
GB0211898D0 (en) * 2002-05-23 2002-07-03 Koninkl Philips Electronics Nv Controlling ambient light
EP1667063A4 (en) * 2003-09-11 2008-11-19 APPARATUS, METHOD AND PROGRAM FOR PROCESSING IMAGES
US7352808B2 (en) * 2004-01-29 2008-04-01 International Business Machines Corporation System and method for the dynamic resolution change for video encoding

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001343930A (ja) * 2000-05-31 2001-12-14 Lg Electronics Inc 表示装置及び表示装置の階調表示方法
JP2001343900A (ja) * 2000-05-31 2001-12-14 Matsushita Electric Ind Co Ltd 照明システムおよび照明制御データ作成方法
JP2005531909A (ja) * 2002-07-04 2005-10-20 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 周辺光および照明ユニットを制御する方法およびシステム
JP2005229153A (ja) * 2004-02-10 2005-08-25 Sony Corp 調光システムおよび調光方法、配信装置および配信方法、受信装置および受信方法、記録装置および記録方法、ならびに、再生装置および再生方法
JP2005310630A (ja) * 2004-04-23 2005-11-04 Sharp Corp 高臨場感再生装置及び方法

Also Published As

Publication number Publication date
CN101427577A (zh) 2009-05-06
EP2018061A4 (en) 2010-11-10
US20090256962A1 (en) 2009-10-15
JPWO2007122987A1 (ja) 2009-09-03
EP2018061A1 (en) 2009-01-21
WO2007122987A1 (ja) 2007-11-01

Similar Documents

Publication Publication Date Title
JP5058157B2 (ja) データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法
JP4950988B2 (ja) データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法
JP4950990B2 (ja) 映像送信装置及び方法、視聴環境制御装置及び方法
JP6700322B2 (ja) 改善されたhdrイメージ符号化及び復号化方法、装置
CN108521859B (zh) 用于处理多个hdr图像源的装置和方法
WO2007052395A1 (ja) 視聴環境制御システム
JP4889731B2 (ja) 視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法
JP5442643B2 (ja) データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御方法および視聴環境制御システム
JP2019504548A (ja) 画像及びビデオのためのダイナミックレンジ符号化
KR102176398B1 (ko) 영상처리장치 및 영상처리방법
JP2001343900A (ja) 照明システムおよび照明制御データ作成方法
JP2009081822A (ja) データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法
JP6831389B2 (ja) 複数のhdr画像ソースの処理
JP5074864B2 (ja) データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法
JP4789592B2 (ja) 視聴環境制御装置及び視聴環境制御方法
JP4439322B2 (ja) 高臨場感再生装置及び方法
JP2009036801A (ja) 視聴環境制御装置および視聴環境制御方法
JP2009081482A (ja) データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法
JP4709897B2 (ja) 視聴環境制御システム、視聴環境制御装置、視聴環境照明制御システム、及び視聴環境制御方法
JP2009060542A (ja) データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法
JP2000164371A (ja) 照明コントロールシステム
JP2010130621A (ja) 情報処理装置、照明制御処理方法及び照明制御システム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111004

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111115

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120214

AA91 Notification that invitation to amend document was cancelled

Free format text: JAPANESE INTERMEDIATE CODE: A971091

Effective date: 20120306

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120327

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120612

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20120620

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120731

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120731

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150810

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees