JP5039194B2 - 表示装置及び録画方法 - Google Patents

表示装置及び録画方法 Download PDF

Info

Publication number
JP5039194B2
JP5039194B2 JP2010223185A JP2010223185A JP5039194B2 JP 5039194 B2 JP5039194 B2 JP 5039194B2 JP 2010223185 A JP2010223185 A JP 2010223185A JP 2010223185 A JP2010223185 A JP 2010223185A JP 5039194 B2 JP5039194 B2 JP 5039194B2
Authority
JP
Japan
Prior art keywords
video
image
video data
display
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010223185A
Other languages
English (en)
Other versions
JP2012080287A (ja
Inventor
藍子 明石
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2010223185A priority Critical patent/JP5039194B2/ja
Priority to US13/214,829 priority patent/US8717424B2/en
Publication of JP2012080287A publication Critical patent/JP2012080287A/ja
Application granted granted Critical
Publication of JP5039194B2 publication Critical patent/JP5039194B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/383Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189Recording image signals; Reproducing recorded image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/341Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using temporal multiplexing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/356Image reproducers having separate monoscopic and stereoscopic modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/398Synchronisation thereof; Control thereof
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02Viewing or reading apparatus
    • G02B27/022Viewing apparatus
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/34Stereoscopes providing a stereoscopic pair of separated images corresponding to parallactically displaced views of the same object, e.g. 3D slide viewers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/356Image reproducers having separate monoscopic and stereoscopic modes
    • H04N13/359Switching between monoscopic and stereoscopic modes

Description

本発明の実施形態は、表示装置及び録画方法に関する。
3次元映像視聴用のメガネを着用したユーザに対して3次元映像を表示する技術がある。この技術では、視差がある右目用及び左目用画像を表示装置に表示する。そして3次元映像視聴用メガネが、表示装置に表示された右目用画像及び左目用画像を選択的に遮断する。これにより、ユーザの右目は右目用画像を、左目は左目用画像を選択的に視聴することとなり、ユーザは3次元映像を認識する。
特開2006−196995号公報
ここで、表示装置に3次元映像を表示する場合には、表示画面を視聴するユーザの、3次元映像視聴用メガネの着用状況に応じた好適な時間に録画できることが好ましい。
そこで本発明の実施形態は、表示画面を視聴するユーザの3次元映像視聴用メガネの着用状況に応じた好適な時間に録画することができる表示装置及び録画方法の提供を目的とする。
上記の課題を解決するために、実施形態に係る表示装置は、3次元映像視聴用メガネを装着したユーザに対して3次元映像を表示可能な表示装置であって、入力手段と、表示手段と、撮像画像入力手段と、記憶手段と、録画手段とを備える。入力手段は、映像データが入力される。表示手段は、入力された映像データに基づいた3次元映像を表示する。撮像画像入力手段は、表示装置の周囲の、表示手段に面する側の画像を撮像する撮像装置から当該撮像画像が入力される。検出手段は、入力された撮像画像から3次元映像視聴用メガネの画像を検出する。録画手段は、検出手段が3次元映像視聴用メガネの画像を検出しない場合に、入力された映像データを録画する。
実施形態のコンピュータの利用形態例を示す図。 実施形態のコンピュータのシステム構成例を示す図。 実施形態の録画再生プログラムの機能ブロック例を示す図。 実施形態のコンピュータに入力される撮像画像例を示す図。 実施形態のコンピュータによる映像表示に係る処理例を示す図。 実施形態のコンピュータによる映像表示に係る処理フロー例を示す図。 実施形態のコンピュータによる映像表示に係る処理フロー例を示す図。
以下、図面を参照して実施形態を説明する。
本実施形態に係る表示装置は、例えばノートブックタイプのコンピュータ100として実現される。ここでコンピュータ100は、表示筐体150と本体筐体160とを備える。
表示筐体150は、薄い箱型の筐体を有し、LCD(Liquid Crystal Display)106とカメラ116とを備える。ここでカメラ116は、例えば表示筐体150が起立した状態である場合にLCD106の上方に位置するように設けられている。そして表示筐体150は、本体筐体160に対して回動可能に接続されている。
本体筐体160は、薄い箱形の筐体を有している。そして本体筐体160の上面には、スピーカ114、キーボード118、タッチパッド119等が配置されている。また本体筐体160は、映像データを記憶するHDD110、光学ディスク等のメディアからデータを読み込むためのODD112、テレビ放送等の映像データを受信するチューナ115等を備えている。
ここでコンピュータ100は、例えばODD112が読み込んだ映像データやチューナ115が受信した映像データに基づいた3次元映像をLCD106に表示する。また、3次元映像を表示する際にコンピュータ100は、カメラ116により、コンピュータ100の周囲のLCD106側、即ち表示画面を視聴するユーザの存在する方向を撮像する。
なおコンピュータ100は、3次元映像の表示の際に例えばシャッター方式(時分割方式とも云う)を用いる。シャッター方式の3次元映像表示では、左眼用画像と右眼用画像とが夫々交互にLCD106に表示される。そしてこのときLCD106は、例えば通常のリフレッシュレート(例えば60Hz)の2倍のリフレッシュレート(例えば120Hz)で駆動される。つまり、左眼用画像のフレームデータと右眼用画像のフレームデータとは、例えば120Hzのリフレッシュレートで交互にLCD106上に表示される。
そしてユーザは、例えば液晶シャッターメガネのような3次元映像視聴用メガネ200を装着して表示画面を視聴することで、左眼用フレームに対応する画像を左眼で、右眼用フレームに対応する画像を右眼で視聴し、3次元映像を視聴できる。なお液晶シャッターメガネは、左眼用フレームデータ及び右眼用フレームデータそれぞれの表示タイミングを示す同期信号をコンピュータ100から受信し、当該同期信号に従って左眼用シャッター及び右眼用シャッターを開閉する。
また、3次元映像の表示には偏光方式を用いてもよい。この場合、例えば、左眼用画像と右眼用画像とが例えば走査線単位でインタリーブされたインタリーブフレーム群が生成され、これらインタリーブフレーム群がLCD106に表示される。LCD106の画面を覆う偏向フィルタは、LCD106の画面上の例えば奇数番目のライン群に表示される左眼用画像と偶数番目のライン群に表示される右眼用画像とを異なる方向に偏光させる。そしてユーザは、偏向メガネのような3次元映像視聴用メガネ200を用いることにより、左眼用画像を左眼で、右眼用画像を右眼で見ることができる。
そして本実施形態のコンピュータ100は、チューナ115等が受信している映像データを、カメラ116が撮像した撮像画像に含まれる3次元映像視聴用メガネ200の画像に基づいて、ユーザの状況に応じた好適な時間にHDD110へ録画することができる。
次に図2を参照して、コンピュータ100のシステム構成例を説明する。
コンピュータ100は、CPU101、ノースブリッジ102、メモリ103、GPU104、VRAM105、LCD106、サウスブリッジ107、BIOS―ROM108、LANコントローラ109、HDD110、ODD112、サウンドコントローラ113、スピーカ114、チューナ115、カメラ116、EC/KBC117、キーボード118、タッチパッド119等を備える。
CPU101は、コンピュータ100の動作を制御する機能を有する。ここでCPU101は、オペレーティングシステム(OS)130、録画再生プログラム140等の各種プログラムをメモリ103に読み出して実行する。録画再生プログラム140は、映像データを処理する機能を有するソフトウェアである。なお録画再生プログラム140の詳細については図3乃至図7を参照して後述する。
ノースブリッジ102は、CPU101とサウスブリッジ107とを接続するブリッジデバイスである。また、ノースブリッジ102には、メモリ103を制御するメモリコントローラが内蔵されている。さらにノースブリッジ102はGPU104との通信機能を有し、CPU101からの指示に応じた画像処理をGPU104に実行させる。
GPU104は、コンピュータ100の表示部であるLCD106の表示コントローラとして動作する。GPU104は、CPU101から入力された映像データを、LCD106等の表示装置で表示可能な形式の映像信号に変換して、当該映像信号をLCD106に出力する。ここでVRAM105はGPU104のグラフィックメモリとして機能し、GPU104が画像処理を実行する際のバッファ領域として使用される。そしてLDC106は、GPU104からの出力された映像信号に従って映像を表示する。
サウスブリッジ107は、PCI(Peripheral Component Interconnect)バス上の各デバイスおよびLPC(Low Pin Count)バス上の各種デバイスの制御部として機能する。またサウスブリッジ107には、BIOS−ROM108、LANコントローラ109、HDD110、ODD112が接続される。そしてサウスブリッジ107は、HDD110及びODD112を制御するIDE(Integrated Drive Electronics)コントローラを内蔵している。さらにサウスブリッジ107は、サウンドコントローラ113との通信機能も有している。
BIOS−ROM108は、コンピュータ100のハードウェアを制御するためのプログラムであるBIOS(Basic Input/Output System)を格納する。
LANコントローラ109は、コンピュータ100とLANネットワークとの通信接続を制御する。また、LANコントローラ109は、LANネットワークを介してインターネットへの接続も行う。更にLANコントローラ109は、LANネットワークを介してIPテレビ等の映像データを受信してもよい。
HDD110は、オペレーティングシステム(OS)130や、録画再生プログラム140等の各種プログラムを記憶する記憶媒体である。またHDD110は、チューナ115が受信したテレビ放送の映像データ及び音声データを録画する場合に、当該データを記憶する記憶領域として利用される。
ODD112は、DVD等の光学ディスクから対するデータの読み込み/書き込みを行う。ここでODD112は、例えば映像データを読み込む。
サウンドコントローラ113は音源デバイスであり、再生対象の音声データの信号をスピーカ114に出力する。そしてスピーカ114は、入力された音声信号の音声を出力する
チューナ115及びカメラ116は、PCIバスを介してサウスブリッジ107に接続される。ここでチューナ115は、テレビ放送信号に重畳された映像データ及び音声データを受信する。なおチューナ115は、例えば2次元表示用の映像データ又は3次元表示用の映像データが重畳された映像データを受信する。なお、ここで3次元表示用の映像データとは、左目用画像と右目用画像とを含む映像データを指す。またカメラ116は、コンピュータ100の周囲の視聴可能エリア、即ちLCD106に面する領域を撮像する。
EC/KBC117は、LPCバスを介してサウスブリッジ107に接続される。EC/KBC117は、キーボード118及びタッチパッド119を制御する。ここでキーボード118及びタッチパッド119は、ユーザからの各種操作入力を受け付ける。そしてEC/KBC117は、それらの操作入力信号をCPU101に出力する。
次に図3を参照して、録画再生プログラム140の機能ブロック例を説明する。
ここで録画再生プログラム140は、検出部141、制御部142、デコード部143、3次元変換部144等を備える。
検出部141は、LCD106を視聴するユーザが3次元映像視聴用メガネを着用しているか否かを判別する。ここで検出部141には、カメラ116等の撮像装置から、当該撮像装置が撮像した撮像画像が一定時間毎、例えば数百m秒乃至数秒毎に入力される。ここで検出部141は、当該撮像画像に含まれるユーザの画像及びユーザが装着した3次元映像視聴用メガネの画像を検出する。続いて検出部141は、入力された撮像画像検出から、ユーザが3次元映像視聴用メガネを使用しているか否かを判別する。
そして検出部141は、撮像画像から、3次元映像視聴用メガネを着用したユーザを検出した場合に、ユーザが3次元映像を視聴中である旨を示す視聴通知を制御部142に出力する。一方検出部141は、撮像画像から3次元映像視聴用メガネを着用したユーザを検出できない場合、ユーザが3次元映像を視聴中でない旨を示す不視聴通知を制御部142に出力する。また検出部141は、撮像画像からユーザを検出できない場合にも不視聴通知を出力する。
なお、検出部141には、必ずしもコンピュータ100に内蔵されたカメラ116から撮像画像が入力される必要はない。つまり、コンピュータ100のLCD106を視聴するユーザを当該LCD106近傍から撮像した撮像画像であれば、例えばコンピュータ100の工場出荷後に当該コンピュータ100に接続された撮像装置からの撮像画像が入力されても構わない。
制御部142には、LANコントローラ109、ODD112、チューナ115、HDD110等から、3次元表示用又は2次元表示用の映像データが入力される。そして制御部142は、入力された映像データの再生処理及び録画処理を制御する。
まず再生処理について説明する。制御部142は、左目用画像と右目用画像とを含む3次元表示用の映像データが入力された場合、当該映像データをデコード部143に出力するとともに、当該映像データの形式に応じた形式のデコードをデコード部143に指示する。即ち、3次元表示用映像データの形式としては、例えばSide−by−Side、Top−and−Bottom、Flame−Packing等の形式があるため、制御部142は、これらの形式に応じた3次元表示用映像データのデコードをデコード部143に指示する。また、制御部142は、2次元表示用の映像データが入力された場合、当該映像データをデコード部143に出力するとともに、デコードされた映像データの3次元変換部144への出力を当該デコード部143に指示する。即ち再生処理において制御部142は、3次元表示用又は2次元表示用の映像データに基づいた3次元映像をLCD106に表示させることができる。
録画処理において制御部142は、当該制御部142に入力されている映像データをHDD110に出力して当該映像データを記憶させる。なお制御部142は、録画処理において、コンピュータ100に有線又は無線により接続された外部記憶装置に映像データを記憶させてもよい。
なお制御部142は、上記の再生処理及び録画処理を検出部141からの通知に応じて制御する。つまり制御部142は、コンピュータ100が表示する映像を視聴するユーザが、3次元映像視聴用メガネを装着しているか否かに応じて再生処理及び録画処理を制御する。
ここで制御部142は、チューナ115等から入力されている映像データの映像をデコード部143がデコード(再生)している場合に、検出部141から不視聴通知が入力されると再生を停止させて録画を開始する。ここで制御部142は、当該制御部142に入力されている映像データのデコード部143への出力を停止する等により再生を停止させ、当該映像データをHDD110に出力して当該映像データを記憶させて録画を行う。
次に制御部142は、検出部141から不視聴通知の後に視聴通知が入力されると、HDD110に記憶されている映像データを読み込んでデコード部143に出力し、再生処理を再開する。なお制御部142は、デコード部143がHDD110に記憶された映像データの再生を実行している場合にも録画処理を継続する。
そして制御部142は、HDD110の映像データをデコード部143に出力してデコード(再生)させている場合に検出部141から不視聴通知を受けると、HDD110の映像データの再生を停止し、当該映像データにおける再生停止位置についての情報をHDD110に記憶させる。そして制御部142は、視聴通知が再び入力されると、HDD110に記憶された映像データを、再生停止位置から読み込んでデコード部143に出力し、当該映像データを再生させる。
デコード部143は、制御部142から入力される2次元表示用又は3次元表示用の映像データをデコードする。ここでデコード部143は、2次元表示用の映像データをデコードする場合、デコードした映像データを、3次元変換部144及びGPU104のうち、制御部142からの指示に応じたモジュールに出力する。
またデコード部143は、3次元表示用の映像データをデコードする場合、入力された映像データを制御部142からの指示に応じた形式でデコードする。即ち、3次元表示用映像データの形式がSide−by−Side、Top−and−Bottom、Flame−Packingの何れであるかに応じた形式でデコードする。
3次元変換部144は、デコードされた2次元表示用映像データを用いて3次元表示用の映像データを生成する。ここで3次元変換部144は、デコードされた映像データのフレーム夫々を解析し、例えばフレーム間の画素の動きや同一フレーム内の画素値の差分等を用いることにより、各フレームに含まれる画素毎の奥行き位置を算出する。そして3次元変換部144は、推定した画素毎の奥行き位置に基づいて、1つのフレームに対応する左眼用画像データと右眼用画像データとを生成する。そして3次元変換部144は、生成した左眼用画像データと右眼用画像データとを含む3次元表示用映像データをGPU104に出力する。
次に図4を参照して、検出部141による3次元映像視聴用メガネの検出処理例を説明する。図4(A)及び(B)は、カメラ116が撮像し、検出部141に入力される撮像画像の例である。
図4(A)に示す撮像画像400aには、3次元映像視聴用メガネ200を撮像したユーザの顔画像A1及び3次元映像視聴用メガネ画像B1等が含まれている。ここで検出部141は、例えば予め登録された顔画像照合用データ及び3次元映像視聴用メガネ照合用データを用いて、顔画像及び3次元映像視聴用メガネの画像を検出する。
なお、顔画像照合用データとは、例えばユーザの顔の形状の特徴点データや顔画像データ等である。ここで顔画像照合用データは、人物毎の照合用データであっても構わないし、人間の顔の一般的な特徴についてのデータであっても構わない。さらに顔画像照合用データは、3次元映像視聴用メガネを装着した場合の顔についての特徴点データや顔画像であってもよい。また、3次元映像視聴用メガネの照合用データとは、例えば3次元映像視聴用メガネの画像データや3次元映像視聴用の形状等の特徴点データである。
そして検出部141は、これらの照合用データに類似又は一致する画像を検出することにより、撮像画像に含まれる顔画像及び3次元映像視聴用メガネの画像を検出する。なお検出部141は、必ずしも顔画像と3次元映像視聴用メガネの画像との両方を検出しなくともよく、例えば3次元映像視聴用メガネのみを検出しても良い。そして図4(A)に示す例では、検出部141は、3次元映像視聴用メガネを着用したユーザ、又は3次元映像視聴用メガネを検出して、ユーザが3次元映像を視聴中である旨を示す視聴通知を制御部142に出力する。
図4(B)に示す撮像画像400bには、3次元映像視聴用メガネ200を撮像したユーザの顔画像A1が含まれている。ここで検出部141は、当該撮像画像400bから顔画像A1を検出するが、3次元映像視聴用メガネの画像は検出しない。そのため検出部141は、不視聴通知を制御部142に出力する。また、検出部141は、例えばユーザの目の画像A2や眉毛の画像A3等を検出することにより、ユーザが3次元映像視聴用メガネを着用していないと判別し、不視聴通知を出力してもよい。即ち検出部141は、撮像画像から、ユーザがメガネを着用中の場合に当該メガネにより隠れる部分を検出した場合に、ユーザが3次元映像視聴用メガネを装着していないとして判別することもできる。なお検出部141は、撮像画像からユーザの画像を検出できない場合や、3次元映像視聴用メガネの画像を検出できない場合にも不視聴通知を出力する。
次に図5を参照して、録画再生プログラム140による再生及び録画処理例を説明する。
図5(A)は、録画再生プログラム140に3次元表示用の映像データが入力された場合の処理例を示す図である。
まず時刻T1において、録画再生プログラム140に映像データが入力され、3次元映像視聴用メガネを装着したユーザの画像を検出部141が検出している場合、制御部142は、入力された映像データをデコード部143に出力する。そしてデコード部143は、当該映像データをデコード(再生)してGPU104に出力する。GPU104は、入力された映像データから映像信号を生成し、LCD106は当該映像信号の3次元映像を表示する。
ここで時刻T2において、検出部141が3次元映像視聴用メガネを装着したユーザを検出できなくなると、制御部142は、当該制御部142に入力されている映像データのデコード部143への出力を停止し、デコード(再生)及び3次元映像の表示を停止する。また時刻T2において制御部142は、当該制御部142に入力されている映像データをHDD110に出力して映像データの録画を開始する。
次に時刻T3において、3次元映像視聴用メガネを装着したユーザを検出部141が検出すると、制御部142は、時刻T2において録画を開始した映像データをHDD110から読み込んでデコード部143に出力する。そしてデコード部143は当該映像データをデコード(再生)してLCD106が3次元映像を表示する。つまりコンピュータ100は、時刻T2において検出部141が3次元映像視聴用メガネの画像を検出しなくなった後に、時刻T3において検出部141が3次元映像視聴用メガネの画像を検出すると、HDD110に録画した映像データの映像に基づいた3次元映像を表示する。そしてT3で表示される3次元映像は、時刻T2において映像の表示を停止した位置(時点)から表示される。なお制御部142は、当該制御部142に入力されている映像データの録画処理を時刻T3の後にも継続する。
次に時刻T4において、検出部141が3次元映像視聴用メガネを装着したユーザを検出できなくなると、制御部142は、HDD110からの映像データの読み込みを停止し、映像データのデコード(再生)及び3次元映像の表示を停止させる。このとき制御部142は、映像データの再生を停止した位置をHDD110に記憶させる。なお制御部142は、時刻T4の後にも当該制御部142に入力されている映像データの録画処理を継続する。
そして時刻T5において、3次元映像視聴用メガネを装着したユーザを検出部141が検出すると、制御部142は、HDD110に記憶された映像データを、時刻T4において再生を停止した位置から読み込んでデコード部143に出力する。つまりコンピュータ100は、時刻T4において検出部141が3次元映像視聴用メガネの画像を検出しなくなった後に、時刻T5において検出部141が3次元映像視聴用メガネの画像を検出すると、HDD110に録画した映像データの映像に基づいた3次元映像を表示する。そしてT5で表示される3次元映像は、時刻T4において録画データに基づいた3次元映像の再生及び表示を停止した位置(時点)から表示される。
なお図5(A)において、時刻T2からT3の間、及び時刻T4からT5の間に、録画再生プログラム140は再生を停止するとして説明したが、当該再生は必ずしも停止しなくともよい。つまり時刻T2からT3の間、及び時刻T4からT5の間にも3次元映像を表示しても良い。この場合に録画再生プログラム140は、時刻T2及びT4において映像データをデコード(再生)していた位置についての情報をHDD110に記憶させる。そして録画再生プログラム140は、時刻T3及びT5において、当該再生位置についての情報に基づいて、時刻T2及びT4に再生していた位置から映像データを読み込む。つまりT3及びT5で表示される3次元映像は、時刻T2及びT4において3次元映像視聴用メガネの画像を検出できなくなった際に再生及び表示していた再生位置(時点)から表示される。
続いて図5(B)を参照して、録画再生プログラム140に2次元表示用の映像データが入力された場合の録画再生プログラム140による処理例を説明する。
まず時刻T6において、録画再生プログラム140に映像データが入力され、3次元映像視聴用メガネを装着したユーザを検出部141が検出している場合、制御部142は、入力された映像データをデコード部143に出力する。デコード部143は、当該映像データをデコード(再生)して3次元変換部144に出力する。そして3次元変換部144は、入力された映像データを用いて3次元表示用の映像データを生成し、当該生成した映像データをGPU104に出力する。GPU104は、入力された映像データから映像信号を生成し、LCD106は当該映像信号の3次元映像を表示する。
ここで時刻T7において、検出部141が3次元映像視聴用メガネを装着したユーザを検出できなくなると、制御部142は、3次元変換部144に対して映像データの変換の停止を指示する。また制御部142は、当該制御部142に入力されている映像データのデコード部143への出力を停止し、デコード(再生)を停止させる。なおここで制御部142は、映像データのデコードを継続させて、LCD106に2次元映像を表示させても良い。また時刻T7において制御部142は、当該制御部142に入力されている映像データをHDD110に出力して映像データの録画を開始する。
次に時刻T8において、3次元映像視聴用メガネを装着したユーザを検出部141が検出すると、制御部142は、時刻T7において録画を開始した映像データをHDD110から読み込んでデコード部143に出力する。デコード部143は当該映像データをデコード(再生)し、デコードした映像データを3次元変換部144に出力する。そして3次元変換部144は、入力された2次元用の映像データを3次元用の映像データに変換する。そして当該3次元用の映像データはGPU104で映像信号に変換され、LCD106は3次元映像を表示する。なお制御部142は、当該制御部142に入力されている映像データの録画処理を時刻T8の後にも継続する。
次に時刻T9において、検出部141が3次元映像視聴用メガネを装着したユーザを検出できなくなると、制御部142は、3次元変換部144に映像データ変換の停止を指示する。また制御部142は、HDD110からの映像データの読み込みを停止し、映像データのデコード(再生)を停止させる。そしてこのとき制御部142は、映像データの再生を停止した位置をHDD110に記憶させる。なお制御部142は、時刻T4の後にも当該制御部142に入力されている映像データの録画処理を継続する。
そして時刻T10において、3次元映像視聴用メガネを装着したユーザを検出部141が検出すると、制御部142は、HDD110に記憶された映像データを、時刻T9において再生を停止した位置から読み込んでデコード部143に出力する。そして3次元変換部144は、デコードされた2次元用の映像データから3次元用の映像データを生成する。
なお録画再生プログラム140は、時刻T7からT8の間、及び時刻T9からT10の間に、再生を停止することなく3次元映像を表示しても良い。この場合に録画再生プログラム140は、時刻T7及びT9において映像データをデコード(再生)していた位置についての情報をHDD110に記憶させる。そして時刻T8及びT10において録画再生プログラム140は、当該再生位置についての情報に基づいて、時刻T8及びT10に再生していた位置から映像データを読み込む。
また録画再生プログラム140は、時刻T7からT8の間、及び時刻T9からT10の間に2次元映像を表示してもよい。このとき録画再生プログラム140は、3次元変換部144による変換処理を停止する。そしてデコード部143は、デコードした映像データを3次元変換部144ではなくGPU104に出力する。
次に図6を参照して、録画再生プログラム140に3次元表示用の映像データが入力された場合の、コンピュータ100による映像表示に係る処理フロー例を説明する。
まずチューナ115は3次元表示用の映像データが重畳された放送信号を受信し、当該放送信号に含まれる映像データを制御部142に出力する(S601)。そして制御部142は、入力された映像データをデコード部143に出力し、デコード部143は当該映像データをデコード(再生)し、LCD106は当該デコードされた映像データに基づいて3次元映像を表示する(S602)。
次にカメラ116は、コンピュータ100のLCD106の前方を撮像し、撮像画像を検出部141に出力する。検出部141は、入力された撮像画像から、ユーザの顔画像及び3次元映像視聴用メガネの画像を検出して、ユーザが3次元映像視聴用メガネを装着しているか否かを判別する(S603)。ここで検出部141は、3次元映像視聴用メガネを装着したユーザを検出した場合(S603のYes)、S603での判別処理を繰り返し、コンピュータ100は3次元映像の表示を継続する。
一方S603において検出部141が、3次元映像視聴用メガネを装着したユーザを検出しない場合(S603のNo)、デコード部143は映像データのデコード(再生)を停止し、LCD106は3次元映像の表示を停止する(S604)。また、ここで制御部142は、チューナ115が受信している映像データをHDD110に記憶させる録画処理を開始する(S605)。
ここで検出部141が、3次元映像視聴用メガネを装着したユーザを検出した場合(S606のYes)、制御部142は、HDD110に録画された映像データを読み込んでデコード部143にデコード(再生)させ、LCD106は、デコードされた映像データに基づいて3次元映像を表示する(S607)。なお、S607において、HDD110の映像データに関する再生停止位置が記憶されている場合、制御部142は当該再生停止位置から映像データを読み込む。そして、録画された映像データの再生が完了すると(S608のYes)、当処理フローは完了する。
一方、録画された映像データの再生が完了していない場合であって(S608のNo)、検出部141が、3次元映像視聴用メガネを装着したユーザを検出できなくなると(S609のNo)、制御部142はHDD110からの映像データの読み込みと、当該読み込んだ映像データのデコード部143への出力を停止し、録画データの再生処理を停止する(S610)。また、ここで制御部142は、再生していた映像データに対して当該映像データの再生を停止した位置についての情報をHDD110に記憶させる(S611)。そして録画再生プログラム140は、S606からS611の処理を繰り返し、S608において再生が完了した場合に当処理フローは完了する。
次に図7を参照して、録画再生プログラム140に2次元表示用の映像データが入力された場合の、コンピュータ100による映像表示に係る処理フロー例を説明する。
まずチューナ115は2次元表示用の映像データが重畳された放送信号を受信し、当該放送信号に含まれる映像データを制御部142に出力する(S701)。そして制御部142は、入力された映像データをデコード部143に出力し、デコード部143は当該映像データをデコード(再生)し、3次元変換部144は当該デコードされた2次元表示用の映像データを3次元表示用の映像データに変換する(S702)。変換された映像データはGPU104で映像信号に変換され、LCD106は当該映像信号を用いて3次元映像を表示する。
次にカメラ116は、コンピュータ100のLCD106の前方を撮像し、撮像画像を検出部141に出力する。検出部141は、入力された撮像画像から、ユーザの顔画像及び3次元映像視聴用メガネの画像を検出して、ユーザが3次元映像視聴用メガネを装着しているか否かを判別する(S703)。ここで検出部141は、3次元映像視聴用メガネを装着したユーザを検出した場合(S703のYes)、S703での判別処理を繰り返し、コンピュータ100は3次元映像の表示を継続する。
一方S703において検出部141が、3次元映像視聴用メガネを装着したユーザを検出しない場合(S703のNo)、デコード部143は映像データのデコード(再生)を停止し、3次元変換部144は映像データの変換を停止し、LCD106は3次元映像の表示を停止する(S704)。また、ここで制御部142は、チューナ115が受信している映像データをHDD110に記憶させる録画処理を開始する(S705)。
ここで検出部141が、3次元映像視聴用メガネを装着したユーザを検出した場合(S706のYes)、制御部142は、HDD110に録画された映像データを読み込む。なお、ここでHDD110の映像データに関する再生停止位置が記憶されている場合、制御部142は当該再生停止位置から映像データを読み込む。そしてデコード部143は当該読み込まれた映像データをデコード(再生)し、3次元変換部144は当該デコードされた映像データを3次元表示用の映像データに変換する(S707)。LCD106は、3次元変換された映像データに基づいて3次元映像を表示する。そして、録画された映像データの再生が完了すると(S708のYes)、当処理フローは完了する。
一方、録画された映像データの再生が完了していない場合であって(S708のNo)、検出部141が、3次元映像視聴用メガネを装着したユーザを検出できなくなると(S709のNo)、制御部142はHDD110からの映像データの読み込みと、当該読み込んだ映像データのデコード部143への出力を停止し、録画データの再生及び3次元変換を停止する。また、ここで制御部142は、映像データの再生を停止した位置についての情報をHDD110に記憶させる(S711)。そして録画再生プログラム140は、S706からS711の処理を繰り返し、S708において再生が完了した場合に当処理フローは完了する。
そして上記の実施形態によれば、LCD106を視聴するユーザが3次元映像視聴用メガネ200を着用しているか否か応じて、好適な時間に録画することができる。
なお、本発明の実施形態は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具現化できる。例えばコンピュータ100は、録画再生プログラム140の一部又は全ての機能を、コンピュータに実装されたチップ等により実行してもよい。また、カメラ116はコンピュータ筐体に内蔵されていなくとも構わず、外付けのカメラが搭載されていてもよい。そしてこの場合、当該カメラは、必ずしも工場出荷時に搭載されていなくともよく、少なくともコンピュータ100が使用される際に搭載されていれば良い。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。
100…コンピュータ、101…CPU、102…ノースブリッジ、103…メモリ、104…GPU、105…VRAM、106…LCD、107…サウスブリッジ、108…BIOS−ROM、109…LANコントローラ、110…HDD、112…ODD、113…サウンドコントローラ、114…スピーカ、115…チューナ、116…カメラ、117…EC/KBC、118…キーボード、119…タッチパッド、130…OS、140…録画再生プログラム、141…検出部、142…制御部、143…デコード部、144…3次元変換部、150…表示筐体、160…本体筐体、200…3次元映像視聴用メガネ

Claims (10)

  1. 3次元映像視聴用メガネを装着したユーザに対して3次元映像を表示可能な表示装置であって、
    映像データが入力される入力手段と、
    入力された前記映像データに基づいた前記3次元映像を表示する表示手段と、
    前記表示装置の周囲の、前記表示手段に面する側の画像を撮像する撮像装置から、撮像画像が入力される画像入力手段と、
    入力された前記撮像画像から前記3次元映像視聴用メガネ及びまたはユーザの顔の画像を検出する検出手段と、
    前記検出された画像から前記ユーザの顔の目をさらに検出し、前記3次元映像視聴用メガネが前記目を覆っているか否かを判別する判別手段と
    前記判別手段が前記3次元映像視聴用メガネが前記目を覆っていないと判別した場合に、入力された前記映像データを録画する録画手段と
    を備える表示装置。
  2. 判別手段が前記3次元映像視聴用メガネが前記目を覆っていないと判別した後、さらに当判別手段が前記3次元映像視聴用メガネが前記目を覆っていると判別した場合、前記録画手段が録画した映像データの映像に基づいた前記3次元映像を前記表示手段が表示する、請求項1記載の表示装置。
  3. 前記表示手段は、前記判別手段が前記3次元映像視聴用メガネが前記目を覆っていないと判別した場合に、前記3次元映像の表示を停止する、請求項2記載の表示装置。
  4. 判別手段が前記3次元映像視聴用メガネが前記目を覆っていないと判別したに、さらに当判別手段が、前記3次元映像視聴用メガネが前記目を覆っていると判別した場合、前記録画手段が録画した映像データの映像に基づいた前記3次元映像を、前記表示を停止した時点から前記表示手段が表示する、請求項3記載の表示装置。
  5. 前記判別手段が前記3次元映像視聴用メガネが前記目を覆っていると判別した場合、入力された前記映像データをデコードし、前記判別手段が前記3次元映像視聴用メガネが前記目を覆っていないと判別した場合、前記映像データをデコードしないデコード手段を更に備え、
    前記表示手段は、デコードされた前記映像データの前記3次元映像を表示する、請求項3記載の表示装置。
  6. 3次元映像視聴用メガネを装着したユーザに対して3次元映像を表示可能な表示装置であって、
    映像データが入力される入力手段と、
    入力された前記映像データをデコードするデコード手段と、
    入力された前記映像データが2次元表示用の映像データの場合、デコードされた前記2次元表示用の映像データを用いて3次元表示用の映像データを生成する生成手段と、
    生成された前記3次元表示用の映像データに基づいた前記3次元映像を表示する表示手段と、
    前記表示装置の周囲の、前記表示手段に面する側の画像を撮像する撮像装置から、撮像画像が入力される画像入力手段と、
    入力された前記撮像画像から前記3次元映像視聴用メガネの画像を検出する検出手段と、
    前記検出手段が前記3次元映像視聴用メガネの画像を検出しない場合に、入力された前記映像データを録画する録画手段と、
    を備え、
    前記表示手段は、
    前記検出手段が前記3次元映像視聴用メガネの画像を検出しない場合には、前記3次元映像の表示を停止し、前記検出手段が前記3次元映像視聴用メガネの画像を検出しなくなった後に当該3次元映像視聴用メガネの画像を検出した場合には、前記録画手段が録画した映像データの映像に基づいた前記3次元映像を表示し、
    前記生成手段は、
    前記検出手段が前記3次元映像視聴用メガネの画像を検出しない場合、前記3次元表示用の映像データの生成を停止する
    表示装置。
  7. 前記表示手段は、前記検出手段が前記3次元映像視聴用メガネの画像を検出しない場合、デコードされた前記2次元表示用の映像データの映像を表示する、請求項6記載の表示装置。
  8. 3次元映像視聴用メガネを装着したユーザに対して3次元映像を表示可能な表示装置における録画方法であって、
    映像データが入力されることと、
    入力された前記映像データに基づいた前記3次元映像を表示することと、
    前記表示装置の周囲の、前記表示手段に面する側の画像を撮像する撮像装置から、撮像画像が入力されることと、
    入力された前記撮像画像から前記3次元映像視聴用メガネ及びまたはユーザの顔の画像を検出することと、
    前記検出された画像から前記ユーザの顔の目をさらに検出し、前記3次元映像視聴用メガネが前記目を覆っているか否かを判別する判別することと
    前記3次元映像視聴用メガネの画像が前記目を覆っていないと判別された場合に、入力された前記映像データを録画することと
    を備える録画方法。
  9. 3次元映像視聴用メガネを装着したユーザに対して3次元映像を表示可能な表示装置であって、
    映像データが入力される入力手段と、
    入力された前記映像データをデコードするデコード手段と、
    入力された前記映像データが2次元表示用の映像データの場合、デコードされた前記2次元表示用の映像データを用いて3次元表示用の映像データを生成する生成手段と、
    生成された前記3次元表示用の映像データに基づいた前記3次元映像を表示する表示手段と、
    前記表示装置の周囲の、前記表示手段に面する側の画像を撮像する撮像装置から、撮像画像が入力される画像入力手段と、
    入力された前記撮像画像から前記3次元映像視聴用メガネの画像を検出する検出手段と、
    前記検出手段が前記3次元映像視聴用メガネの画像を検出しない場合に、入力された前記映像データを録画する録画手段と、
    を備え、
    前記表示手段は、
    前記検出手段が前記3次元映像視聴用メガネの画像を検出しない場合には、前記3次元映像の表示を停止し、
    前記生成手段は、
    前記検出手段が前記3次元映像視聴用メガネの画像を検出しない場合、前記3次元表示用の映像データの生成を停止する、
    表示装置。
  10. 3次元映像視聴用メガネを装着したユーザに対して3次元映像を表示可能な表示装置であって、
    映像データが入力される入力手段と、
    入力された前記映像データをデコードするデコード手段と、
    入力された前記映像データが2次元表示用の映像データの場合、デコードされた前記2次元表示用の映像データを用いて3次元表示用の映像データを生成する生成手段と、
    生成された前記3次元表示用の映像データに基づいた前記3次元映像を表示する表示手段と、
    前記表示装置の周囲の、前記表示手段に面する側の画像を撮像する撮像装置から、撮像画像が入力される画像入力手段と、
    入力された前記撮像画像から前記3次元映像視聴用メガネの画像を検出する検出手段と、
    を備え、
    前記表示手段は、
    前記検出手段が前記3次元映像視聴用メガネの画像を検出しない場合には、前記3次元映像の表示を停止し、
    前記生成手段は、
    前記検出手段が前記3次元映像視聴用メガネの画像を検出しない場合、前記3次元表示用の映像データの生成を停止する、
    表示装置。
JP2010223185A 2010-09-30 2010-09-30 表示装置及び録画方法 Expired - Fee Related JP5039194B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2010223185A JP5039194B2 (ja) 2010-09-30 2010-09-30 表示装置及び録画方法
US13/214,829 US8717424B2 (en) 2010-09-30 2011-08-22 Display apparatus and recording medium for controlling playback of three-dimensional video based on detected presence of stereoscopic-viewing glasses

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010223185A JP5039194B2 (ja) 2010-09-30 2010-09-30 表示装置及び録画方法

Publications (2)

Publication Number Publication Date
JP2012080287A JP2012080287A (ja) 2012-04-19
JP5039194B2 true JP5039194B2 (ja) 2012-10-03

Family

ID=45889472

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010223185A Expired - Fee Related JP5039194B2 (ja) 2010-09-30 2010-09-30 表示装置及び録画方法

Country Status (2)

Country Link
US (1) US8717424B2 (ja)
JP (1) JP5039194B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130155207A1 (en) * 2011-12-15 2013-06-20 Joseph M. Freund System and method for automatically controlling a video presentation
CN103901628A (zh) * 2013-12-25 2014-07-02 京东方科技集团股份有限公司 显示面板、立体显示装置及其制造方法和立体显示系统
US11600109B2 (en) 2019-05-20 2023-03-07 Barry Katz Smart eyeglasses for special needs children and adults

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3096639B2 (ja) * 1996-07-22 2000-10-10 三洋電機株式会社 立体映像表示装置
US5781229A (en) * 1997-02-18 1998-07-14 Mcdonnell Douglas Corporation Multi-viewer three dimensional (3-D) virtual display system and operating method therefor
JP3443293B2 (ja) * 1997-08-29 2003-09-02 三洋電機株式会社 立体表示装置
JP2000004453A (ja) * 1998-06-17 2000-01-07 Sony Corp 映像表示切り換えシステムおよび映像鑑賞用眼鏡
JP2002344998A (ja) * 2001-05-14 2002-11-29 Nippon Hoso Kyokai <Nhk> 立体画像表示装置
JP2005260741A (ja) 2004-03-12 2005-09-22 Sanyo Electric Co Ltd テレビ放送受信機能付き携帯型電話機
JP4340197B2 (ja) 2004-07-02 2009-10-07 シャープ株式会社 テレビ放送受信機能付き携帯電話装置
JP2006196995A (ja) 2005-01-11 2006-07-27 Matsushita Electric Ind Co Ltd 3次元めがね視聴検知
JP3862027B2 (ja) 2005-01-25 2006-12-27 船井電機株式会社 放送信号受信システム
WO2007117485A2 (en) * 2006-04-03 2007-10-18 Sony Computer Entertainment Inc. Screen sharing method and apparatus
US8269822B2 (en) * 2007-04-03 2012-09-18 Sony Computer Entertainment America, LLC Display viewing system and methods for optimizing display view based on active tracking
JP4979136B2 (ja) * 2008-06-03 2012-07-18 Necカシオモバイルコミュニケーションズ株式会社 放送受信端末装置及びプログラム
US8314832B2 (en) * 2009-04-01 2012-11-20 Microsoft Corporation Systems and methods for generating stereoscopic images
US8370873B2 (en) * 2010-03-09 2013-02-05 Sony Corporation 3D TV glasses with TV mode control
US9118896B2 (en) * 2010-04-21 2015-08-25 Hitachi Maxell, Ltd. Digital contents receiver, digital contents receiving method and digital contents transmitting and receiving method

Also Published As

Publication number Publication date
US8717424B2 (en) 2014-05-06
JP2012080287A (ja) 2012-04-19
US20120081525A1 (en) 2012-04-05

Similar Documents

Publication Publication Date Title
US20110157325A1 (en) Video display apparatus
JP5250491B2 (ja) 記録再生装置
JP2011223558A (ja) 映像信号処理装置およびアクティブシャッターメガネ
JP5610933B2 (ja) 再生装置及びその制御方法
KR20110025123A (ko) 비디오 영상 배속 재생 방법 및 장치
JP2009111833A (ja) 情報提示装置
JP5039194B2 (ja) 表示装置及び録画方法
US8619123B2 (en) Video processing apparatus and method for scaling three-dimensional video
JP4738522B2 (ja) 映像表示装置及び映像表示方法
JP4723682B2 (ja) 表示制御装置、表示制御方法、表示制御プログラム、コンピュータ読み取り可能な記録媒体、上記表示制御装置を備えた記録再生装置、音声出力装置、及び音声出力装置を備えた記録再生装置
JP2012141448A (ja) 画像処理装置及び表示制御方法
JP5166567B2 (ja) 電子機器、映像データの表示制御方法、およびプログラム
US8736668B2 (en) Electronic apparatus and image processing method
JP5052683B1 (ja) 電子機器および映像表示方法
JP2013042196A (ja) 再生装置
JP5607226B2 (ja) 表示制御装置、表示制御方法
JP2012080288A (ja) 表示装置及び表示方法
JP2012008584A (ja) 映像表示装置、通知方法、及び位置判定装置
JP2012090107A (ja) 立体映像処理装置及びその制御方法
JP5586403B2 (ja) 映像データ送信装置及び映像データ送信方法
JP2012099905A (ja) 立体映像再生装置
JP5362082B2 (ja) 電子機器、画像処理方法、及び画像処理プログラム
JP5087695B2 (ja) 電子機器および映像表示方法
JP5526196B2 (ja) 電子機器および映像表示方法
JP2014099671A (ja) 3d映像再生装置

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20120106

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120323

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120612

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120706

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150713

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150713

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees