JP4393151B2 - 画像データ表示装置 - Google Patents
画像データ表示装置 Download PDFInfo
- Publication number
- JP4393151B2 JP4393151B2 JP2003343503A JP2003343503A JP4393151B2 JP 4393151 B2 JP4393151 B2 JP 4393151B2 JP 2003343503 A JP2003343503 A JP 2003343503A JP 2003343503 A JP2003343503 A JP 2003343503A JP 4393151 B2 JP4393151 B2 JP 4393151B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- display
- image
- dimensional
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/356—Image reproducers having separate monoscopic and stereoscopic modes
- H04N13/359—Switching between monoscopic and stereoscopic modes
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
この時分割方式では、図17のように、左眼用画像と右眼用画像が垂直1ラインおきに交互にならんだ形に配置し、左眼用画像を表示するフィールドと右眼用画像を表示するフィールドを交互に切り替えて表示するものである。左眼用画像及び右眼用画像は通常の2次元表示時に比べて垂直解像度が半分になっている。観察者はディスプレイの切り替え周期に同期して開閉するシャッタ式のメガネを着用する。ここで使用するシャッタは、左眼用画像が表示されている時は左眼側が開いて右眼側が閉じ、右眼用画像が表示されている時は左眼側が閉じて右眼側が開く。このようにすることにより左眼用画像は左眼だけで、右眼用画像は右眼だけで観察されることになり、立体視を行うことができる。
3次元動画像データの高速再生の一例として、後述する特許文献1において開示されている「立体動画像圧縮符号化装置及び立体動画像復号再生装置」があげられる。
符号化装置では、まず、カメラ等より入力された左眼用画像データと右眼用画像データから基準画像データを作成する。次に、作成した基準画像データと左眼用画像データおよび右眼用画像データとの差分を求め、それぞれ左眼用差分データおよび右眼用差分データとして出力する。これら基準画像データ、左眼用差分データおよび右眼用差分データを圧縮符号化し、多重化することにより3次元画像符号化データを作成している。
ここで、前記所定の閾値は、ユーザにより可変に設定可能であることを特徴とする。
本実施形態における画像データ表示装置は、データ読出部101、3次元識別情報解析部102、3次元表示制御情報解析部103、画像復号部104、制御部105、表示用画像生成部106、および画像表示部107から構成される。
図3(a)は、3次元識別情報オブジェクト202の詳細を示した図である。3次元識別情報オブジェクト202aには、オブジェクト固有のID(Object ID=0x11)、オブジェクト全体のサイズ(Object Size)、および3次元識別情報が格納されている。
図3(b)は、3次元表示制御情報オブジェクト203aの詳細を示した図である。3次元表示制御情報オブジェクト203aには、オブジェクト固有のID(Object ID=0x12)、オブジェクト全体のサイズ(Object Size)、および3次元表示制御情報として、画像配置情報、サンプリング情報、および2次元選択画像情報が格納されている。
なお、ここで用いた各オブジェクトのフィールドの種類および値(内容)は本実施形態における例であってこれらに限定されるものではない。
3次元表示制御情報解析部103では、データ読出部101より送られてきた3次元表示制御情報オブジェクト203aを解析し、3次元表示制御情報として、画像配置情報、サンプリング情報および2次元選択画像情報を表示用画像生成部106に通知する。
画像復号部104では、データ読出部101より送られてきた画像情報オブジェクト204aを解析し、符号化データの復号をおこない、復号された3次元画像データまたは2次元画像データを表示用画像生成部106に送る。
制御部105は、画像データの再生モードを入力するためのスイッチ群を備え、ユーザが各スイッチを操作することによって、制御部105に再生モードを入力する。
図4は、再生モードの一覧を示した図である。ユーザは、“通常再生”、“逆転再生”、“早送り再生”、“早戻し再生”、“スロー再生”、および“コマ送り再生”を選択することができる。
図5は、制御部105における入出力の関係を示した図である。識別フラグ=“1”かつ再生モード=“通常再生”、“逆転再生”、“スロー再生”、または“コマ送り再生”である場合には、“A(3次元表示)”を出力し、識別フラグ=“1”かつ再生モード=“早送り再生”または“早戻し再生”である場合には、“B(3次元→2次元変換表示)”を出力し、識別フラグ=“0”の場合には、“C(2次元表示)”を出力する。
図5における制御部105の入出力関係は一例であって、例えば、識別フラグ=“1”かつ再生モード=“逆転再生”の場合に、再生制御情報として“B(3次元→2次元変換表示)”を出力してもよい。
図6は、表示用画像生成部106の内部構成を示すブロック図である。表示用画像生成部106は、スイッチ601、並べ替え部602、選択部603および解像度変換部604から構成される。また、スイッチ601は、接点601A、接点601B、および接点601Cを備える。
制御部105より入力される再生制御情報=“B(3次元→2次元変換表示)”の場合、スイッチ601は接点601Bへ接続し、画像復号部104で復号された画像データは選択部603へ送られる。
制御部105より入力される再生制御情報=“C(2次元表示)”の場合、スイッチ601は接点601Cへ接続し、画像復号部104で復号された画像データはそのまま画像表示部107へ出力される。
例えば、画像表示部107における3次元画像表示方式が「時分割方式」の場合には、図17で示される形式、「パララクスバリア方式」の場合には、図18(b)で示される形式となるように画像データの並べ替えが行われる。並べ替え後の画像データは、3次元表示画像データとして画像表示部107へ送られる。
解像度変換部604では、選択部603で選択された1視点画像データをアスペクト比に応じて拡大あるいは縮小して、2次元表示画像データとして画像表示部107に出力する。
また、再生制御情報=“B(3次元→2次元変換表示)”の場合、すなわち、3次元画像データの“早送り再生”、または“早戻し再生”の場合、2次元画像表示モードに切り換わる。
また、再生制御情報=“C(2次元表示)”の場合、すなわち、2次元画像データの再生の場合、2次元画像表示モードに切り換わる。
図7は、本実施形態における画像データ表示装置への入力パターンの例を示した図である。ここでいう入力とは、データ読出部101に入力される画像符号化データの種類、および制御部に入力される再生モードである。
以下、図7に示された4つの入力パターンについて、本画像データ表示装置の動作を説明する。
データ読出部101に入力される3次元画像符号化データは、図2(a)で示される形式の画像符号化データである。
3次元識別情報オブジェクト202bのオブジェクトサイズは8byteであり、オブジェクトデータとして、識別情報=“3D−001”が格納されている。
3次元表示制御情報オブジェクト203bのオブジェクトサイズは256byteであり、オブジェクトデータとして、画像配置情報=(2,1)、サンプリング情報=(1/2,1)および2次元選択画像情報=(1,1)が格納されている。
画像情報オブジェクト204bのオブジェクトサイズは2048byteであり、オブジェクトデータとして、符号化データ=MPEG−4圧縮データが格納されている。
3次元表示制御情報解析部103では、3次元表示制御情報として、画像配置情報=(2,1)、サンプリング情報=(1/2,1)、2次元選択画像情報=(1,1)が解析され、それぞれ表示用画像生成部106に通知される。
制御部105では、3次元識別情報解析部102からの入力である識別フラグ=“1”およびユーザからの入力である再生モード=“通常再生”より、図5に従い、再生制御情報として“A(3次元表示)”を出力する。
ここで、復号された3次元画像データは、3次元表示制御情報解析部103で解析されたように、左眼用画像データおよび右眼用画像データがそれぞれ水平方向の解像度が1/2となるようにサンプリングされ、左右に配置された構成となっている。
並べ替え部602では、3次元画像データが、3次元表示制御情報解析部103の解析結果である画像配置情報=(2,1)およびサンプリング情報=(1/2,1)をもとに、パララクスバリア方式で表示可能な3次元画像データ形式となるように並べ替えが行われる。(図9(b))
画像表示部107では、制御部105より入力される再生制御情報=“A(3次元表示)”より、3次元画像表示モードに切り換わり、表示用画像生成部106より出力された3次元表示画像データをディスプレイ上に表示し、3次元画像符号化データの通常再生が行われる。
データ読出部101に入力される3次元画像符号化データ、データ読出部101の動作、3次元識別情報解析部102の動作、3次元表示制御情報解析部103の動作、および画像復号部104の動作は、パターン1の場合と同様であるので説明を省略する。
制御部105では、3次元識別情報解析部102からの入力である識別フラグ=“1”およびユーザからの入力である再生モード=“早送り再生”により、図5に従い、再生制御情報として“B(3次元→2次元変換表示)”を出力する。
ここで、復号された3次元画像データは、3次元表示制御情報解析部103で解析されたように、左眼用画像データおよび右眼用画像データがそれぞれ水平方向の解像度が1/2となるようにサンプリングされ、左右に配置された構成となっている。
選択部603では、3次元表示制御情報解析部103の解析結果である画像配置情報=(2,1)および2次元選択画像情報=(1,1)より、図11(a)の左半分にある左眼用画像データが選択され、解像度変換部604に送られる。
また、ここでは1視点の画像データを選択するのに、3次元表示制御情報解析部103の解析結果である2次元選択画像情報を用いたが、特に2次元選択画像情報を用いずに2次元表示画像データを選択してもよい。
また、解像度変換部604では、必ずしも表示画面と同じ解像度に変換する必要はなく、例えば、図11(b−5)のように、表示画面より解像度の小さい画像に変換してもよい。
また、表示用画像生成部106は、入力された画像データ(図11(a))をそのまま出力するようにしてもよい。
データ読出部101に入力される2次元画像符号化データは、図2(b)で示される形式の画像符号化データである。
3次元識別情報オブジェクト202cのオブジェクトサイズは、2byteであり、オブジェクトデータは存在しない。(Object ID, Object Sizeのフィールドのみ存在する。)
画像情報オブジェクト204cのオブジェクトサイズは2048byteであり、オブジェクトデータとして、符号化データ=MPEG−4圧縮データが格納されている。
3次元識別情報解析部102では、3次元識別情報が存在しないので、3次元画像符号化データでないと解析され、識別フラグとして“0”を出力する。
画像復号部104では、画像情報オブジェクト204cに格納されているMPEG−4圧縮データが復号され、2次元画像データとして表示用画像生成部106に送られる。
制御部105では、3次元識別情報解析部102からの入力である識別フラグ=“0”およびユーザからの入力である再生モード=“通常再生”または“早送り再生”より、図5に従い、再生制御情報として“C(2次元表示)”を出力する。
表示用画像生成部106では、制御部105より入力される再生制御情報=“C(2次元表示)”より、スイッチ601が接点601Cに接続し、図13で示された2次元画像データが、そのまま2次元表示画像データとして出力される。
また、3次元画像データか2次元画像データかを区別する情報は、画像データの再生中に常に表示していてもよいし、再生開始時の所定の時間(例えば5秒間)だけ表示するようにしてもよい。
ここでは、3次元識別情報=“1”かつ再生モード=“早送り再生(≦2倍速)”、3次元識別情報=“1”かつ再生モード=“早戻し再生(≦2倍速)”の場合には、再生制御情報として“A(3次元表示)”を出力し、3次元識別情報=“1”かつ再生モード=“早送り再生(>2倍速)”、3次元識別情報=“1”かつ再生モード=“早戻し再生(>2倍速)”の場合には、再生制御情報として“B(3次元→2次元変換表示)”を出力する点が図5の場合と異なる。すなわち、2倍速以下の高速再生の場合には、3次元画像データのまま表示し、2倍速を超える高速再生の場合には、2次元画像データに変換して表示する。
このように、早送りまたは早戻しの度合いに応じて3次元表示するか否かを切り替えることによって、個人差等に応じた柔軟な設定が可能となる。
このようにすることによって、特に、3次元画像表示専用のディスプレイにおいても、高速再生時に立体視する必要がない、効率的な高速再生を行うことができる。
さらに、本実施形態における画像データ表示装置では、記録媒体に記録されている画像符号化データを読出し、読み出された画像符号化データを復号した後に表示する構成としたが、本発明は、有線/無線を問わず、外部の手段により復号された3次元画像データあるいは2次元画像データを受信し、表示する形態においても同様に適用可能である。
102 3次元識別情報解析部
103 3次元表示制御情報解析部
104 画像復号部
105 制御部
106 表示用画像生成部
107 画像表示部
201 ヘッダ情報オブジェクト
202,202a,202b,202c 3次元識別情報オブジェクト
203,203a,203b 3次元表示制御情報オブジェクト
204,204a,204b,204c 画像情報オブジェクト
601 スイッチ
601A 接点A
601B 接点B
601C 接点C
602 並べ替え部
603 選択部
604 解像度変換部
1801 画像表示パネル
1802 パララクスバリア
1803 左眼
1804 右眼
Claims (7)
- 3次元画像データを立体的に表示する3次元表示モードと、前記3次元画像データを平面的に表示する2次元表示モードを切り替え可能な画像データ表示装置であって、
3次元表示モードと2次元表示モードの選択を制御する制御手段を備え、
前記制御手段は、3次元画像データが特殊再生されている場合に、2次元表示モードを選択し、
前記特殊再生は、再生速度の度合いが、所定の閾値以上の再生であることを特徴とする画像データ表示装置。 - 前記所定の閾値は、ユーザにより可変に設定可能であることを特徴とする請求項1に記載の画像データ表示装置。
- 表示用の画像を生成する表示用画像生成手段を備え、
前記表示用画像生成手段は、前記制御手段が2次元表示モードを選択した場合に、前記3次元画像データを2次元画像データに変換することを特徴とする請求項1又は2に記載の画像データ表示装置。 - 前記特殊再生は、少なくとも早送り再生もしくは早戻し再生を含むことを特徴とする請求項1乃至3のいずれかに記載の画像データ表示装置。
- 前記表示用画像生成手段は、前記3次元画像データに含まれる複数の視点画像データから1つの視点画像データを選択して2次元画像データに変換することを特徴とする請求項1乃至4のいずれかに記載の画像データ表示装置。
- 選択された前記1つの視点画像データの視点情報を表示することを特徴とする請求項5に記載の画像データ表示装置。
- 前記3次元画像データを所定の方法で表示する場合に、3次元画像データを表示していることを示す情報を表示することを特徴とする請求項1乃至6のいずれかに記載の画像データ表示装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003343503A JP4393151B2 (ja) | 2003-10-01 | 2003-10-01 | 画像データ表示装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003343503A JP4393151B2 (ja) | 2003-10-01 | 2003-10-01 | 画像データ表示装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005110121A JP2005110121A (ja) | 2005-04-21 |
JP4393151B2 true JP4393151B2 (ja) | 2010-01-06 |
Family
ID=34537448
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003343503A Expired - Fee Related JP4393151B2 (ja) | 2003-10-01 | 2003-10-01 | 画像データ表示装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4393151B2 (ja) |
Families Citing this family (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100828358B1 (ko) * | 2005-06-14 | 2008-05-08 | 삼성전자주식회사 | 영상 디스플레이 모드 전환 방법, 장치, 및 그 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체 |
JP4638784B2 (ja) * | 2005-07-19 | 2011-02-23 | オリンパスイメージング株式会社 | 画像出力装置及びプログラム |
JP5194343B2 (ja) | 2005-08-08 | 2013-05-08 | 株式会社日立製作所 | 情報再生装置及び情報再生方法 |
KR101423915B1 (ko) * | 2006-04-21 | 2014-07-29 | 삼성전자주식회사 | 3차원 그래픽을 이용한 온스크린 디스플레이 생성 방법 및장치 |
US20080303832A1 (en) * | 2007-06-11 | 2008-12-11 | Samsung Electronics Co., Ltd. | Method of generating two-dimensional/three-dimensional convertible stereoscopic image bitstream and method and apparatus for displaying the same |
CN102027749B (zh) | 2008-11-18 | 2014-02-19 | 松下电器产业株式会社 | 考虑特殊再现的再现装置、集成电路、再现方法 |
KR20140014346A (ko) * | 2009-05-19 | 2014-02-06 | 파나소닉 주식회사 | 기록매체, 재생장치, 부호화장치, 집적회로 및 재생출력장치 |
EP2442575A4 (en) * | 2009-06-10 | 2013-08-07 | Lg Electronics Inc | METHOD FOR REPRODUCING STEREOSCOPIC IMAGES IN QUICK SEARCH MODE AND DEVICE FOR REPRODUCING STEREOSCOPIC PICTURES THEREWITH |
WO2010150976A2 (en) | 2009-06-23 | 2010-12-29 | Lg Electronics Inc. | Receiving system and method of providing 3d image |
KR20120039703A (ko) | 2009-07-07 | 2012-04-25 | 엘지전자 주식회사 | 3차원 사용자 인터페이스 출력 방법 |
TW201130289A (en) * | 2009-07-14 | 2011-09-01 | Panasonic Corp | Image reproducing apparatus |
KR20110025123A (ko) | 2009-09-02 | 2011-03-09 | 삼성전자주식회사 | 비디오 영상 배속 재생 방법 및 장치 |
EP2489198A4 (en) * | 2009-10-16 | 2013-09-25 | Lg Electronics Inc | METHOD FOR DISPLAYING 3D CONTENTS AND DEVICE FOR PROCESSING A SIGNAL |
JP4823349B2 (ja) | 2009-11-11 | 2011-11-24 | パナソニック株式会社 | 三次元映像復号装置及び三次元映像復号方法 |
US20120120207A1 (en) * | 2009-12-28 | 2012-05-17 | Hiroaki Shimazaki | Image playback device and display device |
JP5450118B2 (ja) * | 2010-01-14 | 2014-03-26 | ソニー株式会社 | 映像伝送装置、映像表示装置、映像表示システム、映像伝送方法及びコンピュータプログラム |
JP2011158695A (ja) * | 2010-02-01 | 2011-08-18 | Panasonic Corp | 立体映像視聴眼鏡 |
JP5559614B2 (ja) * | 2010-04-21 | 2014-07-23 | 日立マクセル株式会社 | 受信装置および受信方法 |
JP2011250218A (ja) * | 2010-05-28 | 2011-12-08 | Hitachi Consumer Electronics Co Ltd | 受信装置、受信方法および送信方法 |
JP5559605B2 (ja) * | 2010-05-28 | 2014-07-23 | 日立マクセル株式会社 | 受信装置および受信方法 |
JP5610933B2 (ja) | 2010-09-03 | 2014-10-22 | キヤノン株式会社 | 再生装置及びその制御方法 |
JP2012114575A (ja) * | 2010-11-22 | 2012-06-14 | Sony Corp | 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法 |
JP5699566B2 (ja) * | 2010-11-29 | 2015-04-15 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
JP5595946B2 (ja) | 2011-02-04 | 2014-09-24 | 日立コンシューマエレクトロニクス株式会社 | デジタルコンテンツ受信装置、デジタルコンテンツ受信方法、およびデジタルコンテンツ送受信方法 |
JP5341942B2 (ja) * | 2011-04-05 | 2013-11-13 | 住友電気工業株式会社 | 映像再生装置 |
JP5813986B2 (ja) * | 2011-04-25 | 2015-11-17 | 株式会社東芝 | 画像処理システム、装置、方法及びプログラム |
JP5166571B2 (ja) | 2011-05-30 | 2013-03-21 | 株式会社東芝 | 電子機器、表示制御方法及び表示制御プログラム |
JP5865719B2 (ja) * | 2011-06-24 | 2016-02-17 | シャープ株式会社 | 立体映像出力装置 |
JP5450908B1 (ja) * | 2012-03-26 | 2014-03-26 | パナソニック株式会社 | 立体映像処理装置および立体映像処理方法 |
JP5904221B2 (ja) * | 2014-02-03 | 2016-04-13 | 株式会社ニコン | 画像再生装置 |
JP2017211694A (ja) * | 2016-05-23 | 2017-11-30 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP2017143552A (ja) * | 2017-03-23 | 2017-08-17 | 日立マクセル株式会社 | 受信装置および受信方法 |
-
2003
- 2003-10-01 JP JP2003343503A patent/JP4393151B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2005110121A (ja) | 2005-04-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4393151B2 (ja) | 画像データ表示装置 | |
JP4467574B2 (ja) | 画像データ表示装置 | |
JP4755565B2 (ja) | 立体画像処理装置 | |
JP4251907B2 (ja) | 画像データ作成装置 | |
EP1587330B1 (en) | Device for generating image data of multiple viewpoints, and device for reproducing these image data | |
JP6229962B2 (ja) | 符号化装置及び符号化方法 | |
JP4252105B2 (ja) | 画像データ作成装置及び画像データ再生装置 | |
JP5221227B2 (ja) | ステレオスコピック映像の部分データ区間の再生のためのステレオスコピック映像データストリーム生成方法及び装置、ステレオスコピック映像の部分データ区間の再生方法及び装置 | |
JP5369952B2 (ja) | 情報処理装置および情報処理方法 | |
DK2230844T3 (en) | REGISTRATION MEDIUM, WHICH 3D VIDEO IS REGISTERED, REGISTRATION MEDIUM FOR REGISTERING 3D VIDEO AND REPLACEMENT DEVICE AND METHOD OF REPRESENTING 3D VIDEO | |
JP5544361B2 (ja) | 三次元ビデオ信号を符号化するための方法及びシステム、三次元ビデオ信号を符号化するための符号器、三次元ビデオ信号を復号するための方法及びシステム、三次元ビデオ信号を復号するための復号器、およびコンピュータ・プログラム | |
RU2552137C2 (ru) | Точки входа для ускоренного 3d-воспроизведения | |
JP2005094168A (ja) | ファイル構造及びそれを用いる画像記録装置並びに画像再生装置 | |
JP2004357156A (ja) | 映像受信装置および映像再生装置 | |
WO2004093467A1 (ja) | 3次元画像作成装置、3次元画像再生装置、3次元画像処理装置、3次元画像処理プログラムおよびそのプログラムを記録した記録媒体 | |
JP2004240469A (ja) | 画像データ作成装置およびそのデータを再生する画像データ再生装置 | |
JP2004274091A (ja) | 画像データ作成装置、画像データ再生装置、画像データ記録方式および画像データ記録媒体 | |
JP2005184377A (ja) | 画像変換装置及びそれを用いた画像記録装置 | |
KR20100128233A (ko) | 영상 처리 방법 및 장치 | |
JP2004274253A (ja) | 映像記録装置および映像送信装置 | |
KR100861476B1 (ko) | 화상 데이터 표시 장치 | |
JP2004336492A (ja) | 画像処理装置および画像処理方法 | |
KR20200095408A (ko) | 이머시브 비디오 포맷팅 방법 및 장치 | |
EP2685730A1 (en) | Playback device, playback method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060906 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090612 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090804 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090925 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091013 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091013 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121023 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131023 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |