JP4496036B2 - デジタル放送受信機 - Google Patents

デジタル放送受信機 Download PDF

Info

Publication number
JP4496036B2
JP4496036B2 JP2004238367A JP2004238367A JP4496036B2 JP 4496036 B2 JP4496036 B2 JP 4496036B2 JP 2004238367 A JP2004238367 A JP 2004238367A JP 2004238367 A JP2004238367 A JP 2004238367A JP 4496036 B2 JP4496036 B2 JP 4496036B2
Authority
JP
Japan
Prior art keywords
display
unit
image
broadcast receiver
digital
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004238367A
Other languages
English (en)
Other versions
JP2006060382A (ja
Inventor
雅 本山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2004238367A priority Critical patent/JP4496036B2/ja
Publication of JP2006060382A publication Critical patent/JP2006060382A/ja
Application granted granted Critical
Publication of JP4496036B2 publication Critical patent/JP4496036B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Transforming Electric Information Into Light Information (AREA)

Description

本発明は、デジタル放送受信機に関し、より詳細には、液晶テレビやプラズマディスプレイ、有機ELディスプレイなど、表示装置が1ドットごとの画素を持ったデジタル機器において、例えば横1920×縦1080のハイビジョンをそのまま表示できるデジタル放送受信機に関する。
例えばブラウン管テレビでは、偏向不足によって映像の縁が出ないように、テレビジョン信号の全てを表示する領域であるフルフレームオーバースキャン処理を行うことにより、オーバースキャン部分であるフルフレームの端の部分をカットして表示する、アナログ的に拡大処理を行っていた。
一方、解像度が縦1368、横768画素程度しかないプラズマテレビや液晶テレビなどでは、オーバースキャン分を差し引いてデジタル画像処理によって縮小表示を行っていた。また、特許文献1は、パーソナルコンピュータのディスプレイとしてオーバースキャンを考慮しているが、一般的なテレビ映像、特にハイビジョン映像に関するオーバースキャンを考慮した技術は存在しない。
特開平10−56602号公報
一般的なハイビジョン映像は、縦1920×横1080ドットの画素を基づく映像であるが、本来、オーバースキャンを加味して、画面の上下5〜10%程度の領域は実表示上映らないことを想定している。例えば、旧ハイビジョンのBS9チャンネルで使用されている1035iや一般的な放送で使われているNTSCの信号をアップコンバートする際には、表示画面の上下にノイズが入る場合がある。
このような状況下においてオーバースキャンを考慮すると、ノイズを隠すためにノイズ部分を表示画面よりも外側の領域に追い出すように表示を拡大するか、或いは、オーバースキャン分をマスクする必要がある。すなわち、ハイビジョンパネルとして縦1920×横1080画素の解像度のパネルを準備しても、実際にはハイビジョンパネルの実力を発揮できない。
本発明の目的は、ハイビジョン映像の表示をオーバースキャンの表示も含めて、不要なノイズを消しつつ、可能な限り忠実な表示を行う技術を提供することである。
本発明は、フィルタ処理などにより、オーバースキャン部のノイズをカットすることを特徴とする。さらに、フィルタ処理以外の表示制御も選択可能にする。
本発明の一観点によれば、映像データを受信する映像受信部と、受信した映像データに対して信号処理を行う信号処理部と、該信号処理部により処理された映像データに基づいて表示部に映像を表示させる表示制御部と、を有するデジタル放送受信機であって、前記信号処理部は、表示する映像に対してフィルタ処理を行うフィルタ処理部と、フィルタ処理を行う範囲を指定するフィルタ処理範囲指定部とを有することを特徴とするデジタル放送受信機が提供される。このフィルタ処理は、主として帯域制限によるフィルタ処理である。フィルタ処理を行う部分を指定することにより、例えばデジタルノイズの影響を受けている領域もきれいに表示させることができる。
さらに、前記フィルタ処理範囲指定部によりオーバースキャン部分を指定してフィルタ処理を行う制御を行うことを特徴とする。これにより、オーバースキャン部も表示部に表示させることができる。
さらに、デジタルノイズを判別するデジタルノイズ判別部を備え、前記フィルタ処理範囲指定部により前記デジタルノイズ判別手段により判別されたデジタルノイズの存在する範囲を選択的に指定することを特徴とする。この場合には、1画素に着目して、それがノイズであるかそうでないかで処理を変える。すなわち、ある1画素とその周りとの比較で浮いた画素の削除を行う。
前記フィルタ処理部において表示範囲の中心方向に大きな重みを付けることも可能である。これにより、色及び輝度をなだらかに変化させることができ、オーバースキャンの部分に適用できる映像を精製することができる。
表示の周辺部方向に向けて前記フィルタ処理部における局所領域サイズを増加させることによりフィルタ処理の有効範囲を増やすことを特徴とする。表示部の端に行くほど、映像が重要ではないと判断し、ノイズへのフィルタリング量を強めることで、よりきれいな表示をすることができる。
本発明の他の観点によれば、映像データを受信する映像受信部と、受信した映像データに対して信号処理を行う信号処理部と、該信号処理部により処理された映像データに基づいて表示部に映像を表示させる表示制御部と、を有するデジタル放送受信機であって、映像から表示対象を画像認識する画像認識部と、表示対象に関する映像データを格納するデータベースと、該データベースを検索する検索部と、前記画像認識部により認識された表示対象物と前記データベース内の映像データとに基づいて、映像の続きを予測し補完する手段とを有することを特徴とするデジタル放送受信機が提供される。
これにより、単純に帯域制限によるフィルタではなく、画像処理を用いてノイズの部分を補うことができる。
また、数フレーム分の映像を保存する保存手段を有し、該保存手段に保存されている数フレームの映像について一括してフィルタ処理及び画像処理を行うこともできる。これにより、より精度の高い画像にするとともに、前後の画像における違いを少なくすることができる。
また、特定範囲において元画像とフィルタ処理後の画像との差を算出することにより部分的にノイズの有り無しを判定する判定手段と、該判定手段により判定された部分的にノイズのある範囲にフィルタ処理を行う手段とを具備しても良い。この場合には、ある範囲でノイズがあるかどうかを判定し処理を変える。例えば、ある範囲でフィルタをかけたものと元画像との比較で殆ど変わらない場合は現画像を優先するようにする。
前記フィルタ処理又は画像処理を行った後に表示する制御と、オーバースキャン部を単純にマスクして表示する制御と、オーバースキャン部が隠れるように拡大して表示する制御と、のうちからいずれかを選択する選択手段を有することを特徴とし、ユーザに選択の自由度を与えることができる。
本発明によれば、オーバースキャンなどに起因するデジタルノイズを除去し高品質な映像を表示することができる。
本発明の第1の実施の形態によるデジタル放送受信機について図面を参照しつつ説明を行う。図1は、本実施の形態によるデジタル放送受信機の一構成例を示す図であり、表示部に液晶を用いた液晶テレビを例にしている。図1に示すように、本実施の形態によるデジタル放送受信機Aは、RF信号を受信し、特定の周波数に同調してTSデータを出力するデジタルチューナ1と、TSデータからMPEG映像を抜き出し、MPEG変換のためのデコードを行い映像を出力するMPEGデコーダ2と、拡大縮小や映像調整などを行うデジタル信号処理装置(DSP)3と、液晶パネルを制御する制御信号を生成するパネルドライバ4と、液晶パネル5と、を含んでいる。DSP3には、フィルタ処理部3aが含まれている。
以下、上記デジタル放送受信機の動作について説明を行う。ユーザによって、あるチャンネルに選局された場合は、チューナ1で特定の周波数に同調し、チューナ1から出力されるTSデータをMPEGデコーダ2で受け、そこから出力される映像をDSP3に入力し画像処理などを行ったうえ、RGBデータがパネルドライバ4に渡され、パネル5が駆動され映像が表示される。
次に、液晶パネルの表示画面上のある範囲にフィルタをかける例について説明する。本実施の形態においては、仮にオーバースキャンを90%(上下5%分をカットして表示させる)とし、例えば、このオーバースキャン分のみに画像を変換するためのフィルタ処理を行う。
Figure 0004496036
フィルタ処理に関する式として上記の(1)式を用い、元画素はf(i,j) 、フィルタ係数をhij(k,l) 、フィルタ処理後の画素をg(i,j) とする。ある画素に関する画像データを考慮する周辺画素の数、すなわち局所領域サイズを3×3画素とするので、ある画素に対して±1の画素の画像情報を考慮する、すなわちM=1,N=1とする。ハイビジョン映像における解像度は、縦1080×横1920ドットであるので、それぞれ5%分を考慮して、縦0〜53、1026〜1079、横0〜95、1824〜1919の範囲がオーバースキャンされる領域となる。
Figure 0004496036
この場合のオーバースキャンされる領域におけるフィルタ係数を(2)式のhi1j1とする。この場合には中心部分の重み付けを大きくし、中心から離れるに従って重み付けを小さくしている。また、その他の映像の範囲を(3)式のhi2j2とし、中心以外の重み付けを“0”とすることによりフィルタをかけないようにすることができる。これにより、図2に示す表示領域11内の実際の表示対象15が表示されないオーバースキャンされる領域17のノイズを対象としてフィルタリング処理によりノイズ除去を行うことができる。図3が図2の画像に対してフィルタリング処理を行った後の画像を示す図である。図3に符号17で示す領域において、図2では見られたノイズが除去されている。
Figure 0004496036
Figure 0004496036
また、上記(8)式で示されるフィルタ係数において、式(4)を用い、周囲の情報から予測されるデータを取り出せるが、それを式(5)に示すように元々の画素のデータと比較し一定以上の差がある場合はノイズと見なして予測されるデータと置き換え(式(6))、それ以外の場合は元のデータを使用するようにし(式(7))、デジタルノイズを除去するようにすることもできる。
Figure 0004496036
Figure 0004496036
或いは、上下左右でフィルタ係数を変えてもよい。例えば上部にフィルタをかける際には式(9)に示すように、中心方向の情報に大きな重み(4/8)を付けることもできる。また、式(10)のフィルタ係数のように、元画素情報を使わない方法(元画像の重み付けが“0”)を用いても良い。この際、図4に示すように表示画面21を左右一方向(符号23で示す矢印)にスキャンし、順次上下方向にスキャン位置を移動させる方法の他に、図5に示すように、表示画面21において符号25で示すように渦巻き状のスキャン方法にすることで、既に使用済みの情報を再利用してもよい。左右の領域及び下部の領域も同様に処理を行うことができる。
Figure 0004496036
また、式(11)に示すように、局所領域サイズを5×5画素など増加させることも可能である。或いは、映像の端に行くに従って局所領域サイズを増加させるようにしてもフィルタ処理を行っても良い。このようにすると、映像の中心の方はより元画像に忠実に、端の方はよりノイズを検出しやすく、よりきれいな映像を表示する事ができる。
Figure 0004496036
また、f0(i,j) を対象フレームの元画素とし、f−1(i,j) を前フレームの画素、f1(i,j) を次フレームの画素とすると、式(12)で、S=1とし、前後のフレームの平均を取ることができる。
Figure 0004496036
また、式(13)及び式(14)の2つの式は、特定範囲の元画素とフィルタとの差を計算する式であり、この差が一定以上であれば(式(15))、その領域にノイズがあると判断してフィルタ処理を適用し(式(16))、この差が一定未満であれば、ノイズは無いと判断して元画素を使用するようにしてもよい(式(18))。
尚、例えば液晶テレビのリモコンによるトグル(入力)切り替え、または、メニューでの切り替えなどで、上記で説明してきた図9のようなフィルタを使った映像の表示(表示領域41とその内側の線43との間の領域(オーバースキャン領域)にフィルタを施し、内側の線の内部の領域に表示物45が表示されている)、または図10のようなオーバースキャン領域43b(内側の境界線43aにより画定される領域)をマスクした映像の表示、図11のようにオーバースキャン部分43bが隠れるように拡大した映像の表示に切り替えられるようにしてもよい。
また、図12に示すように、オーバースキャン表示設定に関する設定切り替えメニュー(設定1(47b)、設定2(47c)、設定3(47d))を用意しておき、所望のフィルタ処理を選択できるようにしても良い。また設定をチャンネル毎に独立して保存しておいてもよい。
以上、本実施の形態によるデジタル放送受信機においては、ハイビジョン映像の表示を、オーバースキャンの表示も含めて表示させることができる。さらに、この際、不要なノイズを消しつつ、可能な限り元データに忠実に表示することができるという利点がある。
次に、本発明の第2の実施の形態について図面を参照しつつ説明を行う。本実施の形態によるデジタル放送受信機は、映像データを受信する映像受信部と、受信した映像データに対して信号処理を行う信号処理部と、該信号処理部により処理された映像データに基づいて表示部に映像を表示させる表示制御部と、を有している点に関しては第1の実施の形態と同様である。但し、本実施の形態によるデジタル放送受信機は、映像から表示対象を画像認識する画像認識部と、表示対象に関する映像データを格納するデータベースと、このデータベースを検索する検索部と、画像認識部により認識された表示対象物とデータベース内の映像データとに基づいて、映像の続きを予測し補完する手段と、を有している。
すなわち、図7に示すように、例えば、木37−2や雲37−3や建物などの一般的な映像データを格納するデータベースとデジタル放送受信機とを関連付けしておき、図6に示す画像、すなわち画面31内に水平線33、木37−1、2や雲37−3が表示されている画像において、端に被っている物体、例えば木37−2、雲37−3を図8の破線で示すように認識させ、ノイズが乗っている部分を上述の方法、すなわち元画像との差分値に基づいて検出した後に、検出したその部分を映像データベースに格納された映像データ37−2、37−3(図7)を利用して補正することができる。
このようにすると、単純に帯域制限によるフィルタではなく、画像処理を使って、ノイズの部分を補うことが可能である。これらを任意に選択出来るように選択手段を設けると良い。第1の実施の形態による方法と第2の実施の形態による方法とを組み合わせても良い。
本発明は、ハイビジョン表示機能を備えた液晶テレビなどの映像表示装置に適用できる。
本発明の一実施の形態によるデジタル放送受信機の構成例を示す機能ブロック図である。 映像のオーバースキャン部分にデジタルノイズがのっている表示例を示す図である。 映像のオーバースキャン部分のノイズをカットした例である。 フィルタリングスキャンの一例を示す図である。 フィルタリングスキャンの別の例を示す図である。 ハイビジョン映像の一例を示す図である。 本発明の第2の実施の形態によるデジタル放送受信機における画像処理方法の例であって、画像データベース内に格納される画像データの一例を示す図である。 図7に示す画像データベース内の画像データを図6に示すハイビジョン映像に当てはめた例を示す図である。 フィルタ処理を適用した映像の表示例を示す図である。 画面にマスキング処理を適用した映像の表示例を示す図である。 映像を拡大表示させた例を示す図である。 オーバースキャン表示設定メニューの例を示す図である。
符号の説明
1…デジタルチューナ、2…MPEGデコーダ、3…DSP(デジタル信号処理IC)、4…パネルドライバ。

Claims (9)

  1. 映像データを受信する映像受信部と、受信した映像データに対して信号処理を行う信号処理部と、該信号処理部により処理された映像データに基づいて表示部に映像を表示させる表示制御部と、を有するデジタル放送受信機であって、
    前記信号処理部は、表示する映像に対してフィルタ処理を行うフィルタ処理部と、フィルタ処理を行う範囲を指定するフィルタ処理範囲指定部と、を有し、
    前記フィルタ処理範囲指定部によりオーバースキャン部分を指定してフィルタ処理を行うとともに、表示の周辺部方向に向けて前記フィルタ処理部における局所領域サイズを増加させることによりフィルタ処理の有効範囲を増やすことを特徴とするデジタル放送受信機。
  2. さらに、デジタルノイズを判別するデジタルノイズ判別部を備え、
    前記フィルタ処理範囲指定部により前記デジタルノイズ判別手段により判別されたデジタルノイズの存在する範囲を選択的に指定することを特徴とする請求項1に記載のデジタル放送受信機。
  3. 前記フィルタ処理部において表示範囲の中心方向に大きな重みを付けることを特徴とする請求項1又は2に記載のデジタル放送受信機。
  4. さらに、
    映像から表示対象を画像認識する画像認識部と、
    表示対象に関する映像データを格納するデータベースと、
    該データベースを検索する検索部と、
    前記画像認識部により認識された表示対象物と前記データベース内の映像データとに基づいて、映像の続きを予測し補完する手段と
    を有することを特徴とする請求項1から3までのいずれか1項に記載のデジタル放送受信機。
  5. 特定範囲において元画像とフィルタ処理後の画像との差を算出することにより部分的にノイズの有り無しを判定する判定手段と、
    該判定手段により判定された部分的にノイズのある範囲にフィルタ処理を行う手段とを具備することを特徴とする請求項1からまでのいずれか1項に記載のデジタル放送受信機。
  6. 前記フィルタ処理又は画像処理を行った後に表示する制御と、
    オーバースキャン部を単純にマスクして表示する制御と、
    オーバースキャン部が隠れるように拡大して表示する制御と、のうちからいずれかを選択する選択手段を有することを特徴とする請求項1からまでのいずれか1項に記載のデジタル放送受信機。
  7. 前記フィルタ処理又は画像処理を行った後に表示する制御と、
    前記フィルタ処理及び前記画像処理のいずれも行わずにそのまま表示する制御と、のうちからいずれかを選択する選択手段を有することを特徴とする請求項1からまでのいずれか1項に記載のデジタル放送受信機。
  8. 前記フィルタ処理と前記画像処理を行った後の表示に基づいて所望の処理を選択して表示させる選択表示手段を有することを特徴とする請求項1からまでのいずれか1項に記載のデジタル放送受信機。
  9. 前記選択を、放送のチャンネル毎に設定する手段を有することを特徴とする請求項からまでのいずれか1項に記載のデジタル放送受信機。
JP2004238367A 2004-08-18 2004-08-18 デジタル放送受信機 Expired - Fee Related JP4496036B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004238367A JP4496036B2 (ja) 2004-08-18 2004-08-18 デジタル放送受信機

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004238367A JP4496036B2 (ja) 2004-08-18 2004-08-18 デジタル放送受信機

Publications (2)

Publication Number Publication Date
JP2006060382A JP2006060382A (ja) 2006-03-02
JP4496036B2 true JP4496036B2 (ja) 2010-07-07

Family

ID=36107520

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004238367A Expired - Fee Related JP4496036B2 (ja) 2004-08-18 2004-08-18 デジタル放送受信機

Country Status (1)

Country Link
JP (1) JP4496036B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080100597A1 (en) * 2006-10-25 2008-05-01 Macrovision Corporation Method and apparatus to improve playability in overscan areas of a TV display
JP4786506B2 (ja) * 2006-11-20 2011-10-05 株式会社日立製作所 テレビジョン受信機
KR101583078B1 (ko) * 2008-08-11 2016-01-07 엘지전자 주식회사 디스플레이 장치 및 그 방법
JP2010243943A (ja) * 2009-04-09 2010-10-28 Sharp Corp 画像表示装置、該画像表示装置を制御する制御プログラム、該制御プログラムを記録した記録媒体

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01181168A (ja) * 1988-01-14 1989-07-19 Fuji Photo Film Co Ltd 画像信号処理方法
JPH04192886A (ja) * 1990-11-27 1992-07-13 Fujitsu General Ltd テレビジョン受信機のゴースト除去装置
JPH09187008A (ja) * 1995-11-02 1997-07-15 Matsushita Electric Ind Co Ltd 画像信号平滑化装置,画像信号平滑化方法,画像符号化装置,画像符号化方法,画像復号化装置および画像復号化方法
JP2660094B2 (ja) * 1990-11-30 1997-10-08 株式会社東芝 テレビジョン信号処理装置及び方法
JPH1056602A (ja) * 1996-08-08 1998-02-24 Sony Corp 液晶表示装置
JPH10150614A (ja) * 1996-11-20 1998-06-02 Zanavy Informatics:Kk 表示装置
JP2000341558A (ja) * 1999-05-31 2000-12-08 Victor Co Of Japan Ltd デジタル放送受信機
JP2001339666A (ja) * 2000-05-29 2001-12-07 Sony Corp 画像処理装置および方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01181168A (ja) * 1988-01-14 1989-07-19 Fuji Photo Film Co Ltd 画像信号処理方法
JPH04192886A (ja) * 1990-11-27 1992-07-13 Fujitsu General Ltd テレビジョン受信機のゴースト除去装置
JP2660094B2 (ja) * 1990-11-30 1997-10-08 株式会社東芝 テレビジョン信号処理装置及び方法
JPH09187008A (ja) * 1995-11-02 1997-07-15 Matsushita Electric Ind Co Ltd 画像信号平滑化装置,画像信号平滑化方法,画像符号化装置,画像符号化方法,画像復号化装置および画像復号化方法
JPH1056602A (ja) * 1996-08-08 1998-02-24 Sony Corp 液晶表示装置
JPH10150614A (ja) * 1996-11-20 1998-06-02 Zanavy Informatics:Kk 表示装置
JP2000341558A (ja) * 1999-05-31 2000-12-08 Victor Co Of Japan Ltd デジタル放送受信機
JP2001339666A (ja) * 2000-05-29 2001-12-07 Sony Corp 画像処理装置および方法

Also Published As

Publication number Publication date
JP2006060382A (ja) 2006-03-02

Similar Documents

Publication Publication Date Title
JP4561482B2 (ja) 映像表示装置
US8749710B2 (en) Method and apparatus for concealing portions of a video screen
JP2010041336A (ja) 画像処理装置、および画像処理方法
JP2001346118A (ja) デジタルテレビ放送受信機における文字データの表示方法
JP2007511159A (ja) 周囲のビデオコンテンツに基づくクローズキャプション・テキストの適合
KR100703939B1 (ko) 영상처리장치 및 영상처리방법
JP2007274070A (ja) 映像信号処理装置、映像機器、及び、映像信号処理方法
JP4605654B2 (ja) 映像信号処理装置及び同装置を備えた表示装置
JP4496036B2 (ja) デジタル放送受信機
JP2009100270A (ja) 映像編集方法およびテレビ放送受信機
JP2008122800A (ja) 画像表示装置
JP2007005933A (ja) 画像調整方法、画像処理回路、及び画像表示装置
US20060103681A1 (en) Display apparatus and control method thereof
JP2005341345A (ja) 画像表示装置
JP2005532743A (ja) 表示される画像の一部を隠すシステムおよび方法
JP4631258B2 (ja) 携帯機器
JP2010118753A (ja) 再生装置、再生装置の制御プログラム、および再生装置の制御プログラムを記録した記録媒体
KR20020062326A (ko) 원격 제어 유닛으로 비디오 디스플레이 스크린의 영역을선택하는 시스템 및 방법
KR101441689B1 (ko) 영상표시기기에서 잔상 제거 장치 및 방법
JP3834322B2 (ja) 画像表示装置及び画像表示方法
KR101500957B1 (ko) 영상처리 장치 및 방법
JP2010130643A (ja) 画像処理装置および画像処理方法
JP2010009305A (ja) 画像処理装置、画像処理方法及びプログラム
KR20120057692A (ko) 디스플레이장치 및 영상표시방법
KR100262367B1 (ko) 티브이수상기의문자정보윤곽보정장치및방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060912

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090811

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091009

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100406

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100412

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130416

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees