JP4484511B2 - 画像合成装置、画像合成用集積回路、及び画像合成方法 - Google Patents

画像合成装置、画像合成用集積回路、及び画像合成方法 Download PDF

Info

Publication number
JP4484511B2
JP4484511B2 JP2003433925A JP2003433925A JP4484511B2 JP 4484511 B2 JP4484511 B2 JP 4484511B2 JP 2003433925 A JP2003433925 A JP 2003433925A JP 2003433925 A JP2003433925 A JP 2003433925A JP 4484511 B2 JP4484511 B2 JP 4484511B2
Authority
JP
Japan
Prior art keywords
image
screen
display area
input signal
memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003433925A
Other languages
English (en)
Other versions
JP2005192128A (ja
Inventor
好将 新井
秀規 近藤
英和 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP2003433925A priority Critical patent/JP4484511B2/ja
Priority to CNA2004101011832A priority patent/CN1638444A/zh
Publication of JP2005192128A publication Critical patent/JP2005192128A/ja
Application granted granted Critical
Publication of JP4484511B2 publication Critical patent/JP4484511B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Controls And Circuits For Display Device (AREA)
  • Image Processing (AREA)
  • Studio Circuits (AREA)

Description

本発明は、画像合成装置、画像合成用集積回路、及び画像合成方法に関する。
画像合成処理技術としては、例えば、特開2001−285749号公報に開示されたOSD(On Screen Display)を用いた技術が知られている。すなわち、ビデオカメラやデジタルスチルカメラ、携帯機器等の動画像表示を行うにあたり、動画像を表示しながら同一画面上に対し、別の動画像、並びに時刻やキャプション等の情報を上書きする方式で合成する。この動画像に合成して表示するにあたり、例えば、画像データの上書き処理を行うため、数フレーム分のメモリを使用し、OSD機能を有するハードウエアでもって実現する。
特開2001−285749号公報
前述したOSD方式の画像合成処理技術にあっては、数フレーム分のメモリを使用して上書き処理を行うため、画像合成処理の複雑化を招き、メモリも数フレーム分必要となる。その結果、回路規模の増大を避けられず、コストの増大に繋がっていた。
本発明に係る画像合成装置では、少なくとも二つの画像を合成して画面に表示させるべく合成画像を生成する画像合成装置において、一方の前記画像を前記画面に表示させるにあたり、当該画面における非表示領域を指定する所定の非表示領域指定座標に基づき、前記一方の前記画像のうち当該非表示領域を除く画像データを画像メモリに格納させるべく出力するマスク回路と、他方の前記画像を前記画面の前記非表示領域に表示させるにあたり、前記非表示領域指定座標に基づき、前記他方の前記画像の画像データを前記画像メモリに格納させるべく出力するインサート回路とを備える。
また、前記一方の前記画像を前記画面に表示させるにあたり、前記マスク回路は、当該一方の前記画像を前記画面の全体に亘り表示させるべく、前記画像データを出力することとできる。
さらに、前記他方の前記画像を前記画面の前記非表示領域に表示させるにあたり、前記インサート回路は、当該他方の前記画像データを縮小処理して出力することとできる。
さらにまた、前記マスク回路によって出力される前記非表示領域を除く画像データは、前記一方の前記画像データの全体が縮小処理された画像データであることとできる。
本発明に係る画像合成用集積回路では、前記画像合成装置における前記マスク回路及び前記インサート回路が集積回路化されてなる。
本発明に係る画像合成方法では、少なくとも二つの画像を合成して画面に表示させるべく合成画像を生成する画像合成装置における画像合成方法において、 一方の前記画像を前記画面に表示させるにあたり、当該画面における非表示領域を指定する所定の非表示領域指定座標に基づき、前記一方の前記画像のうち当該非表示領域を除く画像データを画像メモリに格納させるべく出力するステップと、他方の前記画像を前記画面の前記非表示領域に表示させるにあたり、前記非表示領域指定座標に基づき、前記他方の前記画像の画像データを前記画像メモリに格納させるべく出力するステップとを備える。
二つ以上の画像を合成して画面に表示させるあたり、非表示領域指定座標に基づき、非表示領域を除く一方の画像のデータを画像メモリに格納させる一方、他方の画像を非表示領域に表示させるべく前記画像メモリに格納させる。
したがって、一方の画像について画面における非表示領域を予め座標で一度指定しておけば、各フレーム毎に画像の上書き処理といった従来のOSD処理を行わずに済むため、画像処理の負荷が格段に軽減されるとともに、回路規模の低減が図れる。
また、一方の画像について画面における非表示領域を予め座標で一度指定しておけばよい。このため、各フレーム毎に画像の上書き処理といった従来のOSD処理に必要な複数フレームの画像メモリを用意することなく、1フレームの画像メモリを用意すれば済む。したがって、画像メモリの規模縮小化が図れ、簡単な回路構成で安価な画像合成装置を実現できる。
====基本概念====
図1に、画像合成の様子を表した模式図を示す。動画像A(一方の画像)と動画像B(他方の画像)の二つを合成し、生成した合成画像をLCD等の表示装置の画面に表示させる。この際、図1の上段の画面に示すように、非表示領域を指定する始点座標(A,B)から右方向に距離X及び下方向に距離Yの範囲を非表示領域とする。画面の全体に亘り表示させる動画像Aのうち、この非表示領域を除いた部分の画像データを転送して後述の画像メモリに格納させる。これに合わせて、この非表示領域に動画像Bを挿入(インサート)して表示させるべく、動画像Bの画像データを転送して画像メモリに格納させる。この際、動画像Bを縮小化処理を施した画像データを転送する。その結果、図1の下段の画面に示すように、動画像Aに対する動画像Bの上書き処理を行うことなく、画像合成が可能となる。このような非表示領域を座標指定する画像処理の方式について、ここでは、マスク処理モードと称することとする。
このマスク処理モードでは、画面の非表示領域を予め座標で指定しておくことにより、非表示領域には動画像Aが表示されないため、動画像Bのデータによる複雑な上書き処理を行わなくて済む。したがって、動画像Aについて画面における非表示領域を予め座標で一度指定しておけば、各フレーム毎に動画像Bの上書き処理といった従来のOSD(On Screen Display)処理を行わずに済むため、画像処理の負荷が格段に軽減されるとともに、回路規模の低減が図れる。
また、動画像Aについて画面における非表示領域を予め座標で一度指定しておけばよい。このため、各フレーム毎に画像Bの上書き処理といった従来のOSD処理に必要な複数フレームの画像メモリを用意することなく、1フレーム分の画像メモリを用意すれば済む。したがって、画像メモリの規模縮小化が図れ、簡単な回路構成で安価な画像合成装置を実現できる。
なお、合成対象は、動画像A,Bに限らず、静止画像やキャプション等の表示情報でもよい。
====実施例====
<<<構成>>>
図2のブロック図は、画像合成装置たる制御用LSI100、外部メモリ200、及び、合成画像を画面に表示する液晶ディスプレイ装置(LCD)300を示す。外部メモリ200は、SDRAM等で構成され、画像メモリとして機能する。
制御用LSI100は、中央処理装置(CPU)110、PROM120、メモリコントローラ130、LCDコントローラ140、及び映像用入力インターフェース(Digital Format Converter)DFC1,DFC2を備え、図示の通りの接続関係を有する。また、この制御用LSI100は、集積回路として1チップ化されている。PROM120には、画像合成動作の制御プログラムが格納されており、中央処理装置110は、読み出した制御プログラムに従い、制御用LSI100の各構成要素の動作、並びに画像合成処理の全体を統括制御する。映像用入力インターフェース(マスク回路)DFC1には、端子T1を通じ、動画AのNTSC方式のビデオ信号(Y信号,Cb信号,Cr信号)が入力される。そして、映像用入力インターフェースDFC1は、前記各信号をそれぞれ所定のデジタル形式の画像データとして変換した上で、メモリコントローラ130を経由して外部メモリ200に転送する。外部メモリ200は、転送された画像データを格納する。
同様に、映像用入力インターフェース(インサート回路)DFC2も、端子T2を通じて入力される動画Bについて、映像用入力インターフェースDFC1と共通の外部メモリ200に、各Y信号,Cb信号,Cr信号についての画像データを転送する。なお、本実施例における共通の外部メモリ200は、前述したように、1フレーム分のメモリ領域の装備で十分である。
そして、外部メモリ200に格納された動画A及び動画Bについての画像データは、メモリコントローラ130を介して読み出されてLCDコントローラ140に送られる。LCDコントローラ140は、受け取った画像データに応じてビデオ信号を生成し、LCD300に動画A及び動画Bの合成画像を表示させる。
なお、これら各要素100〜300単体のハードウエア構成や動作については、例えば、書籍「トランジスタ技術SPECIAL No.31」(CQ出版社,1995年8月1日第7版発行,第124頁以降等)に参考例が記載されている。
<<<動作>>>
このような構成の制御用LSI100を主体とする画像合成の具体的な動作例について、図3及び図4のフローチャート、並びに図2のブロック図を参照しつつ説明する。図3に示すように、先ず、インターフェースDFC1,DFC2に内蔵されているレジスタを参照し、マスク処理モード、あるいは、縮小処理モード(後述の変形例で説明)のいずれかを確認する(S100→S200)。そして、マスク処理モードが指定されていた場合には、図4に示すように、動画(画像)A、及び動画(画像)Bのそれぞれについて、画像合成の一連の処理が並行して実行される(S300A〜,S300B〜)。
まず、画像Aの処理について説明する。合成すべき画像データを制御用LSI100から外部メモリ200へ転送するにあたり、CPU110によって、表示領域及び非表示領域を画面の座標でもって管理し、画像Aのマスクエリア(非表示領域)を設定する(S300A)。このマスクエリアとしては、図1を参照して前述したように、画面における始点座標を(A,B)とするとともに、その大きさ(サイズ)を(X,Y)とする。そして、LCD300の画面の表示サイズ(640ドット*480ドット)を1フレームとする動画Aのビデオ信号が映像用入力インタフェースDFC1に端子T1を介して入力される(S400A)。映像用入力インタフェースDFC1は、入力されてくる動画Aのビデオ信号がマスクエリアの範囲内に該当するか否かを確認する(S500A)。ビデオ信号がマスクエリアの範囲内に該当しない、すなわち、表示領域に該当する場合には(S500A:NO)、各Y信号,Cb信号,Cr信号の画像データをその画面座標に対応したメモリエリアに書き込むべく、外部メモリ200に転送する(S600A)。反対に、ビデオ信号がマスクエリアの範囲内に該当する場合には(S500A:YES)、画像データを転送しない(S700)。
すなわち、映像用入力インタフェースDFC1は、フレームを転送開始してから画面上の指定座標(A,B)までの表示領域において、画像データを外部メモリ200に転送する一方、指定座標(A,B)から横X及び縦Yのマスクエリアにおいて、画像データを転送しない。
前述したS600AもしくはS700の処理の後、動画Aの1フレーム全てについて、S400A〜S700,S800Aの処理が終了したか否かを確認する(S800A)。これが終了していなければ(S800A:NO)、S400Aの処理に戻る一方、終了していれば(S800A:YES)、動画Aの1フレームの合成処理を終了する。
次に、画像Bの処理について説明する。前述した画像Aの処理と同様、CPU110によって、前述した画像Aのマスクエリア(非表示領域)をこの画像Bの表示領域(挿入領域)として設定する(S300B)。この際、画像Bが当該表示領域のサイズに合致するべく、適宜、画像Bの縮小化(1/2,1/4,1/16,...)の設定も行う。この縮小に関するデータは、映像用入力インタフェースDF2のレジスタに格納され、当該DF2の処理に供される。この縮小処理では、公知の間引き処理等の手法を用いる。そして、LCD300の画面の表示サイズ(640ドット*480ドット)を1フレームとする動画Bのビデオ信号が映像用入力インタフェースDFC2に端子T2を介して入力される(S400B)。この際、映像用入力インタフェースDFC2は、S300Bで設定された縮尺で画像Bの縮小処理も合わせて実行する。
そして、映像用入力インタフェースDFC2は、入力されてくる動画Bのビデオ信号がマスクエリアの範囲内に該当するか否かを確認する(S500B)。ビデオ信号がマスクエリアの範囲内に該当しない、すなわち、動画Aの表示領域に該当する場合には(S500B:NO)、画像データを転送しない(S700)。反対に、ビデオ信号がマスクエリアの範囲内に該当する場合には(S500B:YES)、各Y信号,Cb信号,Cr信号の画像データをその画面座標に対応したメモリエリアに書き込むべく、外部メモリ200に転送する(S600B)。
すなわち、映像用入力インタフェースDFC2は、フレームを転送開始してから画面上の指定座標(A,B)までの表示領域において、画像データを外部メモリ200に転送しない一方、指定座標(A,B)から横X及び縦Yのマスクエリアにおいて、画像データを転送する。
前述したS600BもしくはS700の処理の後、動画Bの1フレーム全てについて、S400B〜S700,S800Bの処理が終了したか否かを確認する(S800B)。これが終了していなければ(S800B:NO)、S400Aの処理に戻る一方、終了していれば(S800B:YES)、動画Aの1フレームの合成処理を終了する。
このような各動画A,Bそれぞれについて、1フレーム分の並列処理が終了すると、次の1フレームについて、同じ処理を繰り返し実行し、動画A,Bの合成を順次行っていく。
<<<変形例>>>
図3のS200で縮小処理モードが指定されていた場合を変形例として説明する。すなわち、図5のフローチャートと図6の模式図を参照し、前述した実施例と相違する部分を中心に説明する。先ず、概略を説明すると、変形例としては、図6の上段に示すように、LCD300の画面を動画Aと動画Bとで縦割りに分割表示する場合と、図6の下段に示すように、LCD300の画面において、動画A及び動画Bをそれぞれ縮小して別個に配置して表示する場合である。
具体的に処理は、前述した図4のフローチャートと共通した部分が多いものの、図5に示すフローチャートの通りとなる。すなわち、動画A及び動画Bのそれぞれについて、画像合成の一連の処理が並行して実行される(S1100A〜,S1100B〜)。
まず、画像Aの処理について説明する。合成すべき画像データを制御用LSI100から外部メモリ200へ転送するにあたり、CPU110によって、表示領域及び非表示領域を画面の座標でもって管理し、画像Aのマスクエリア(非表示領域)を設定する(S1100A)。このマスクエリアとしては、図6に示すように、画面における動画Bの表示領域である。このマスクエリアの設定の際、前もって縮小化の倍率も合わせて設定する。そして、LCD300の画面の表示サイズ(640ドット*480ドット)を1フレームとする動画Aのビデオ信号が映像用入力インタフェースDFC1に端子T1を介して入力される(S1200A)。すると、映像用入力インタフェースDFC1は、ビデオ信号の縮小化(縦横比の不均等な縮小も含む)の処理(S1200A)を施した後、縮小化された画像データが動画Bの表示領域内に該当するか否かを確認する(S1300A)。これが該当する場合には(S1300A:YES)、画像データを外部メモリ200に転送しない(S1500)。
反対に、入力されたビデオ信号が動画Bの表示領域内に該当しない場合には(S1300A:NO)、各Y信号,Cb信号,Cr信号の画像データをその画面座標に対応したメモリエリアに書き込むべく、外部メモリ200に転送する(S1400A)。
そして、動画Aの1フレーム全てについて、S1200A〜S1400A,S1500の処理が終了したか否かを確認する(S1600A)。これが終了していなければ(S1600A:NO)、S1200Aの処理に戻る一方、終了していれば(S1600A:YES)、動画Aの1フレームの合成処理を終了する。
次に、画像Bの処理について説明する。先ず、CPU110によって、表示領域及び非表示領域を画面の座標でもって管理し、画像Bの挿入領域(表示領域)を設定する(S1100B)。この挿入領域としては、図6に示すように、画面における動画Bの表示領域である。この挿入領域の設定の際、前もって縮小化の倍率も合わせて設定する。そして、LCD300の画面の表示サイズ(640ドット*480ドット)を1フレームとする動画Bのビデオ信号が映像用入力インタフェースDFC2に端子T2を介して入力される(S1200A)。すると、映像用入力インタフェースDFC2は、ビデオ信号の縮小化(縦横比の不均等な縮小も含む)の処理(S1200B)を施した後、縮小化された画像データが設定された動画Bの表示領域内に該当するか否かを確認する(S1300B)。これが該当しない場合には(S1300B:NO)、画像データを外部メモリ200に転送しない(S1500)。
反対に、入力されたビデオ信号が動画Bの表示領域内に該当する場合には(S1300B:YES)、各Y信号,Cb信号,Cr信号の画像データをその画面座標に対応したメモリエリアに書き込むべく、外部メモリ200に転送する(S1400B)。
そして、動画Aの1フレーム全てについて、S1200B〜S1400B,S1500の処理が終了したか否かを確認する(S1600B)。これが終了していなければ(S1600B:NO)、S1200Bの処理に戻る一方、終了していれば(S1600B:YES)、動画Bの1フレームの合成処理を終了する。
このような各動画A,Bそれぞれについて、1フレーム分の並列処理が終了すると、次の1フレームについて、同じ処理を繰り返し実行し、動画A,Bの合成を順次行っていく。
本発明の一実施例に係る画像合成の様子を表した模式図である。 本発明の一実施例に係る画像合成装置を含むブロック回路図である。 本発明の一実施例に係る画像合成装置の動作例を示すフローチャートである。 本発明の一実施例に係る画像合成装置の動作例を示すフローチャートである。 本発明の一実施例に係る画像合成装置の別の動作例を示すフローチャートである。 本発明の一実施例に対する変形例に係る合成画像を表した模式図である。
符号の説明
100 制御用LSI
110 中央処理装置
120 プログラマブルROM
130 メモリコントローラ
140 LCDコントローラ
200 外部メモリ
300 液晶ディスプレイ装置
DFC1,DFC2 映像用入力インタフェース
T1〜T4 入出力用端子

Claims (5)

  1. 2つの画像入力信号を受けて、1つの画像データを合成して画面に表示させるべく合成画像を生成する画像合成装置において、
    一方の画像入力信号を受け、前記一方の画像入力信号を前記画面に表示させるにあたり、当該画面における非表示領域を指定する所定の非表示領域指定座標に基づき、前記一方の画像入力信号のうち当該非表示領域を除く画像データを画像メモリに格納させるべく出力するマスク回路を有する第1の映像用入力インタフェース回路と、
    他方の画像入力信号を受け、前記他方の画像入力信号を前記画面の前記非表示領域に表示させるにあたり、前記非表示領域指定座標に基づき、前記他方の画像入力信号の画像データを前記画像メモリに格納させるべく出力するインサート回路を有する第2の映像用入力インタフェース回路と、
    前記第1の映像用入力インタフェース回路及び前記第2の映像用入力インタフェース回路からの出力を受け、1つの画像データを合成し、その合成データを前記画像メモリに記憶するメモリコントローラと、を備え、
    前記メモリコントローラは、前記画像メモリと入出力インタフェースを介して接続されており、表示する際、前記画像メモリに記憶されている前記合成データを取り出すことを特徴とする画像合成装置。
  2. 前記一方の画像入力信号を前記画面に表示させるにあたり、前記マスク回路は、前記一方の画像入力信号を前記画面の全体に亘り表示させるべく、前記画像データを出力することを特徴とする請求項1に記載の画像合成装置。
  3. 前記他方の画像入力信号を前記画面の前記非表示領域に表示させるにあたり、前記インサート回路は、前記他方の画像入力信号のデータを縮小処理して出力することを特徴とする請求項2に記載の画像合成装置。
  4. 前記マスク回路によって出力される前記非表示領域を除く画像データは、前記一方の画像入力信号のデータの全体が縮小処理された画像データであることを特徴とする請求項3に記載の画像合成装置。
  5. 前記請求項4に記載の画像合成装置が集積回路化されてなることを特徴とする画像合成用集積回路。
JP2003433925A 2003-12-26 2003-12-26 画像合成装置、画像合成用集積回路、及び画像合成方法 Expired - Fee Related JP4484511B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2003433925A JP4484511B2 (ja) 2003-12-26 2003-12-26 画像合成装置、画像合成用集積回路、及び画像合成方法
CNA2004101011832A CN1638444A (zh) 2003-12-26 2004-12-20 图像合成装置、图像合成用集成电路及图像合成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003433925A JP4484511B2 (ja) 2003-12-26 2003-12-26 画像合成装置、画像合成用集積回路、及び画像合成方法

Publications (2)

Publication Number Publication Date
JP2005192128A JP2005192128A (ja) 2005-07-14
JP4484511B2 true JP4484511B2 (ja) 2010-06-16

Family

ID=34791158

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003433925A Expired - Fee Related JP4484511B2 (ja) 2003-12-26 2003-12-26 画像合成装置、画像合成用集積回路、及び画像合成方法

Country Status (2)

Country Link
JP (1) JP4484511B2 (ja)
CN (1) CN1638444A (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4786712B2 (ja) * 2006-04-25 2011-10-05 三菱電機株式会社 画像合成装置および画像合成方法
JP4270240B2 (ja) * 2006-08-14 2009-05-27 コニカミノルタビジネステクノロジーズ株式会社 画像表示装置、画像表示方法、および画像表示プログラム
JP5229450B2 (ja) * 2007-01-11 2013-07-03 セイコーエプソン株式会社 半導体集積回路装置及び半導体集積回路装置のレイアウト方法
JP7056554B2 (ja) * 2016-03-29 2022-04-19 ソニーグループ株式会社 情報処理装置、撮像装置、画像再生装置、および方法とプログラム
US20180012327A1 (en) * 2016-07-05 2018-01-11 Ubitus Inc. Overlaying multi-source media in vram
CN114356262B (zh) * 2021-12-24 2024-07-16 青岛信芯微电子科技股份有限公司 一种osd画面生成装置、芯片、显示设备及方法

Also Published As

Publication number Publication date
CN1638444A (zh) 2005-07-13
JP2005192128A (ja) 2005-07-14

Similar Documents

Publication Publication Date Title
JPWO2004090860A1 (ja) 映像合成回路
JP4484511B2 (ja) 画像合成装置、画像合成用集積回路、及び画像合成方法
JP6948810B2 (ja) 画像処理システム
JP5318225B2 (ja) 画像合成装置及び画像合成プログラム
JP5443085B2 (ja) 資料提示装置
JP3996580B2 (ja) 映像表示方法、映像表示装置及びプログラム
JP2008022153A (ja) 画像処理装置、および画像処理方法
JP4144258B2 (ja) 画像出力装置及び画像出力方法
JP2008116812A (ja) 表示装置、プロジェクタおよび表示方法
JP2001222270A (ja) ビデオ信号処理システム及びビデオ信号処理方法
JP4882954B2 (ja) 撮像装置、情報合成装置及びプログラム
JP5645343B2 (ja) 撮像装置
JP3838900B2 (ja) 多画面表示装置とその表示方法
JP3247595B2 (ja) 液晶表示映像信号生成装置
JP4401884B2 (ja) 映像信号処理装置及び方法
JP2006276269A (ja) 画像表示装置、画像表示方法及びそのプログラム
JP2002229554A (ja) 画像処理装置
JP4605585B2 (ja) 表示制御装置および画像合成方法
JPH04198987A (ja) 画像処理装置
JP2018067893A (ja) 画像処理装置及び画像処理方法
JP2007193159A (ja) 画像表示制御装置および画像表示制御方法
JP2005117289A (ja) 画像処理装置
CN116156340A (zh) 半导体装置和图像处理系统
JP2005175597A (ja) 電子カメラ
JP2011135474A (ja) 資料提示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100129

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100223

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100323

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130402

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees