JP4098889B2 - 電子カメラおよびその動作制御方法 - Google Patents

電子カメラおよびその動作制御方法 Download PDF

Info

Publication number
JP4098889B2
JP4098889B2 JP21202298A JP21202298A JP4098889B2 JP 4098889 B2 JP4098889 B2 JP 4098889B2 JP 21202298 A JP21202298 A JP 21202298A JP 21202298 A JP21202298 A JP 21202298A JP 4098889 B2 JP4098889 B2 JP 4098889B2
Authority
JP
Japan
Prior art keywords
mode
image
electronic camera
character
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP21202298A
Other languages
English (en)
Other versions
JP2000029988A (ja
Inventor
訓 岡本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP21202298A priority Critical patent/JP4098889B2/ja
Publication of JP2000029988A publication Critical patent/JP2000029988A/ja
Application granted granted Critical
Publication of JP4098889B2 publication Critical patent/JP4098889B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Character Input (AREA)
  • Character Discrimination (AREA)
  • Television Signal Processing For Recording (AREA)

Description

【0001】
【技術分野】
この発明は、被写体を撮影して被写体像を表す画像データを出力する電子カメラおよびその動作制御方法に関する。
【0002】
【発明の背景】
電子カメラを用いて被写体を撮影すると、被写体像を表す画像データが得られる。この画像データが、メモリ・カードなどの記録媒体に記録される。
【0003】
画像データは、バイナリ・データであるため、画像データによって表される画像の中に文字が含まれていてもその文字は、画像として認識される(画像に含まれる文字もバイナリ・データによって表される)。
【0004】
ノート、黒板などに書かれた文章を撮影する場合であっても撮影によって得られた文章は、バイナリ・データによって記録媒体に記録されている。このため、パーソナル・コンピュータにおいて撮影によって得られた文章に追加または文章を変更しようとするときは、キーボードを用いて文章を新たに入力し直したり、OCR(optical character reader)などを用いてテキスト・データ(キャラクタ・コード)に変換しなければならない。
【0005】
【発明の開示】
この発明は、文字を含む被写体を撮影した場合に、テキスト・データで記録媒体に記録することができるようにすることを目的とする。
【0006】
この発明による電子カメラは、被写体を撮影し、被写体像を表す画像データを出力する撮影手段、画像撮影モードと文字撮影モードとのいずれのモードであるかを判定するモード判定手段、上記モード判定手段によって画像撮影モードと判定されたことにより、上記撮影手段から出力された画像データを記録媒体に記録する画像データ記録制御手段、上記モード判定手段によって文字撮影モードと判定されたことにより、上記撮影手段から出力された画像データによって表される画像の中から文字を認識する文字認識手段、上記文字認識手段によって認識された文字を表すテキスト・データを生成するテキスト・データ生成手段、および上記テキスト・データ生成手段によって生成されたテキスト・データを上記記録媒体に記録するテキスト・データ記録制御手段を備えていることを特徴とする。
【0007】
この発明は、上記電子カメラの動作制御方法も提供している。すなわち、この方法は、被写体を撮影し、被写体像を表す画像データを得、画像撮影モードと文字撮影モードとのいずれのモードであるかを判定し、画像判定モードと判定されたことにより、撮影によって得られた画像データを記録媒体に記録し、文字撮影モードと判定されたことにより、撮影によって得られた画像データによって表される画像の中から文字を認識し、認識された文字を表すテキスト・データを生成し、生成されたテキスト・データを上記記録媒体に記録するものである。
【0008】
この発明によると、被写体が撮影され、被写体像を表す画像データが得られる。また、画像撮影モードか文字撮影モードかが判定される。
【0009】
画像撮影モードのときには得られた画像データが記録媒体に記録される。文字撮影モードのときには、得られた画像データによって表される画像の中から文字が認識される。認識された文字を表すテキスト・データが生成され、生成されたテキスト・データが記録媒体に記録される。
【0010】
文字撮影モードにおいて、撮影された画像の中に文字(文章)が含まれている場合には、その文字を表すテキスト・データが記録媒体に記録されるので、文字を新たにキーボードから入力してテキスト・データとして保存する必要がない。記録媒体に記録されたテキスト・データを読み出すことにより、撮影した画像の中に含まれている文字または文章を用いて比較的簡単に、新たに文章を作成することができる。
【0011】
撮影時における電子カメラの傾斜角、電子カメラに三脚が装着されたことの検出、被写体の色の変化、被写体までの距離などにもとづいて画像撮影モードか文字撮影モードかを判定することができる。
【0012】
たとえば、電子カメラが下向きに配置されて被写体を撮影するときには机の上に置かれた原稿などを撮影していることが考えられる。このため、電子カメラの傾斜角が、電子カメラが下向きであることを示していると,文字撮影モードと判定する。また、電子カメラに三脚が装着されたときには黒板、ホワイト・ボードなどに書かれた文章を撮影しようとしていることが考えられる。このため、電子カメラに三脚が装着されたときには文字撮影モードと判定する。さらに、撮影によって得られた画像データによって表される被写体像の色の変化が少ない(白黒画像など)場合、被写体までの距離が近いときも、黒板、ホワイト・ボードに書かれた文字を撮影しようとしていることが考えられる。このため文字撮影モードと判定する。
【0013】
さらに、画像撮影モードと文字撮影モードとを選択する手段を設け、その選択手段の選択に応じて画像撮影モードか文字撮影モードかを判定するようにすることもできる。
【0014】
好ましくは、ビュー・ファインダ、上記ビュー・ファインダのファインダ画面上にズーム領域を表示するように制御するズーム領域表示制御手段、および上記ズーム領域内に存在する被写体像部分を拡大するズーム手段をさらに備える。
【0015】
被写体の中に含まれている文字の大きさが小さい場合、文字を認識することが困難になる。このため、文字の部分を拡大して撮影する。文字の認識率が向上する。
【0016】
【実施例の説明】
この実施例による電子カメラは、文字(文章)を含む画像を撮影し、画像に含まれる文字をテキスト・データとしてメモリ・カードに記録する文字撮影モードと、画像を表す画像データをメモリ・カードに記録する画像撮影モードとがある。
【0017】
図1から図3は、電子カメラを用いて被写体(対象画像)を撮影する様子を示している。
【0018】
図1は、ホワイト・ボード3に書かれた文字を撮影する様子を示している。
【0019】
ユーザ2は、電子カメラ1を持ちホワイト・ボード3に向き合って構える。電子カメラ2のシャッタ・レリーズ・ボタンを押すことにより被写体としてのホワイト・ボード3を撮影する。
【0020】
撮影によってホワイト・ボードの像を表す画像データが得られる。文字撮影モードにおいては、画像データによって表される画像の中から文字が認識され、文字を表すテキスト・データがメモリ・カードに記録される。文字撮影モードにおける処理は、詳しくは、後述する。
【0021】
図2は、机の上に置かれた原稿を撮影する様子を示している。
【0022】
机5の上に原稿4が水平に置かれている。ユーザ2は、電子カメラ1を下向きに構えて机上に置かれている原稿4を撮影する。撮影によって画像データが得られる。文字撮影モードにおいては、原稿4に書かれている文字を表すテキスト・データがメモリ・カードに記録される。
【0023】
図3は、三脚を用いて原稿を撮影する様子を示している。
【0024】
三脚3は、側面から見てL字型をしている。三脚6には垂直に支持台8が立設されている。三脚6の底面には原稿4の載置台7が形成されている。原稿4が三脚6の載置台7に置かれている。載置台7の上に置かれた原稿4を撮影するように、撮影レンズが下向きになるように、電子カメラ1が、三脚6の支持台8に固定されている。
【0025】
原稿4を撮影することによって、原稿を表す画像データが得られる。文字撮影モードにおいては、原稿に書かれている文字を表すテキスト・データがメモリ・カードに記録される。
【0026】
図4は、電子カメラ1の電気的構成を示すブロック図である。
【0027】
電子カメラ1の全体の動作は、CPU10によって統括される。
【0028】
電子カメラ1には、画像撮影モードと文字撮影モードとを切り換えるためのモード切替スイッチ31が設けられている。モード切り換えスイッチ31によるモード切り換えを示す信号は、CPU10に入力する。さらに、後述のように、電子カメラ1が下向きに置かれていることを検出する水平検出回路32および電子カメラ1が三脚に取り付けられたことを検出する三脚検出回路33を電子カメラ1に設けることもできる。これらの水平検出回路32または三脚検出回路33が電子カメラ1に設けられたときには、水平検出回路32からの検出信号または三脚検出回路33からの検出信号もCPU10に入力する。
【0029】
電子カメラ1は、オート・フォーカス機能を有している。被写体までの距離を算出するための距離センサ24が電子カメラ1に設けられている。距離センサ24から出力される、被写体までの距離を表す信号もCPU10に入力する。
【0030】
電子カメラ1の各回路への電源の供給は、電池28によって行われる。各回路への電源の供給を制御するために電源コントロール回路27が電子カメラ1に設けられている。
【0031】
電子カメラ1は、画像に含まれている文字を認識する機能を有する。このために標準文字画像を表すデータを記憶しているが辞書メモリ25がCPU10に接続されている。
【0032】
フォーカス・モータ21によって撮像レンズ11が駆動され、フォーカシングが行われる。また、ズーム・モータ22が設けられ、このズーム・モータ22によって撮像レンズ11が駆動されることにより、ズーミングが行われる。さらに、絞りモータ23によって絞り12が制御される。フォーカス・モータ21、ズーム・モータ22および絞りモータ23は、コントロール回路20によって制御される。
【0033】
撮像レンズ11によって被写体像がCCD13の受光面上に結像する。被写体像の光量は、絞り12によって制限される。CCD13から被写体像を表す映像信号が出力され、アナログ信号回路14に入力する。映像信号は、アナログ信号回路14においてガンマ補正、色バランス調整などのアナログ信号処理が施される。アナログ信号回路14からの出力信号は、アナログ/ディジタル変換回路15においてディジタル画像データに変換される。
【0034】
ディジタル画像データは、ディジタル信号処理回路16に入力し、色分離処理などのディジタル信号処理が行われる。ディジタル信号処理回路16の出力信号がメモリ17に与えられ、一時的に記憶される。
【0035】
メモリ17に一時的に記憶された画像データは、メモリ17から読み出され、ディジタル/アナログ変換回路18に入力する。ディジタル/アナログ変換回路18において、ディジタル画像データがアナログ映像信号に変換され、液晶表示装置19に入力する。撮影によって得られた被写体像が液晶表示装置19に表示される。
【0036】
電子カメラ1は、被写体像を表す画像データ(後述するようにテキスト・データも)をメモリ・カード40に記録することができる。メモリ17に一時的に記憶された画像データは、メモリ17から読み出され、圧縮解凍回路26に入力する。圧縮解凍回路26において、撮影によって得られた画像データが、データ圧縮される。データ圧縮された画像データがメモリ・カード40に記録される。
【0037】
上述のように、電子カメラは、文字認識の機能を有している。文字認識は、CPU10によって実行される。認識された文字を表わすテキスト・データもCPU10によって生成される。さらに、CPU10は被写体像の色の変化の程度を検出することができる。
【0038】
図5は、メモリ・カード40のディレクトリ構造を示している。
【0039】
メモリ・カードには、バイナリ・ファイル(バイナリ・データ)の画像データとテキスト・ファイル(テキスト・データ)とが記録される。画像データとテキスト・データとはデータごとに別々に記録される。画像データのみをメモリ・カード40から読み出す場合、テキスト・データのみをメモリ・カード40から読み出す場合にそれぞれ比較的簡単に読み出すことができる。
【0040】
図6は、被写体を撮影するときの電子カメラの処理手順を示すフローチャートである。
【0041】
被写体の撮影に先立ち、ユーザによってモード切替スイッチ31が操作され、画像撮影モードまたは文字撮影モードが設定される(ステップ51)。図1から図3に示すようにホワイト・ボード3に書かれた文字を撮影する場合、机上に置かれた原稿4を撮影する場合、三脚6の載置台7に置かれた原稿を撮影する場合など文字(文章)を撮影する場合には、文字撮影モードが設定され、風景、人物などを撮影する場合には、画像撮影モードが設定される。
【0042】
文字撮影モードが設定されると、撮影によって得られた被写体像を表す画像データは、メモリ17に一時的に記憶され、CPU10に入力する。
【0043】
画像データは、CPU10において白黒の濃淡画像を表す画像データに変換され、かつ2値化される(ステップ52)。2値化されたデータから、辞書メモリ25を参照して対応する文字が見つけられ、文字認識が行われる(ステップ53)。文字が認識されると、その文字を表す画像データはテキスト・データに変換される(ステップ54)。変換されたテキスト・データがCPU10から読み出され、メモリ・カード40に記録される(ステップ56)。テキスト・データをメモリ・カード40に記録するときには圧縮解凍回路26を単に通過する。
【0044】
文字認識処理においては、必要に応じて画像データのシェーディング補正、文字領域の決定、文字を表す画像の切り出し処理が行われる。
【0045】
画像撮影モードが設定されると(ステップ51)、撮影によって得られた画像データはメモリ17から圧縮解凍回路26に入力し、データ圧縮されてメモリ・カード40に記録される(ステップ55、56)。画像撮影モードにおいては文字認識処理が行われないのはいうまでもない。
【0046】
図7は、他の実施例による電子カメラの処理手順の一部を示すフローチャートである。
【0047】
図6に示す処理においては、モード切替スイッチ31の設定に応じて文字撮影モードか画像撮影モードかを判定しているが、図7に示す処理においては自動的に文字撮影モードか画像撮影モードかを判定する。
【0048】
電子カメラ1には、水平検出回路32および三脚検出回路33が設けられる。水平検出回路32によって電子カメラ1が下向きであることが検出されるか、三脚検出回路33によって電子カメラ1に三脚6が装着されていることが検出されると(ステップ61)、文字を撮影すると判定し、文字撮影モードに移行する(図6ステップ52,53,54)。
【0049】
また、CPU10に入力された画像データによって表される被写体像の色の変化の程度を検出し、距離センサ24によって被写体までの距離を算出する。被写体像の色の変化が少なく、かつ被写体までの距離が近い場合には、文字を含む被写体を撮影すると考えられ、文字撮影モードに移行する(ステップ62)。被写体像の色の変化が少ない場合または被写体までの距離が近い場合のいずれか一方に該当する場合であっても文字撮影モードに移行するようにしてもよい。
【0050】
図8は、水平検出回路を示している。
【0051】
水平検出回路32は、正面から見て矩形の筒状の管40を有している。この筒状の管40内に水銀41が注入されている。筒状の管40 の姿勢が変わることにより、筒状の管40内に注入された水銀41が管40内を動く。
【0052】
管40の四辺の各辺には、電極E1,E2,E3およびE4が形成されている。電極E1には、プルダウン抵抗R1が接続され、電極E2には、プルダウン抵抗R2が接続され、電極E3にはプルダウン抵抗R3が接続され、電極E4にはプルダウン抵抗R4が接続されている。水銀41には電圧Vccが印加されている。
【0053】
このような水平検出回路32を、電子カメラ1を正面に向けたときに、水平検出回路32も正面を向くように(図8に示す状態となるように)電子カメラ1に内蔵する。
【0054】
電子カメラ1が下向きになったとき(または上向きとなったとき)には、水平検出回路32のすべての電極E1からE4に所定の電圧が生じる。電子カメラ1が下向きまたは上向き以外のときは電極E1からE4の中のいずれかの電極電圧は0となる。したがって電極E1から電極E4のすべての電極に所定に電圧が生じたときには電子カメラ1が下向きとなったことを検出できる。
【0055】
図9は、電子カメラ1の液晶表示装置19の画面を示している(液晶表示装置19がビュー・ファインダの役割を行う。もちろん、液晶表示装置19とは別にビュー・ファインダを設けても良い)。
【0056】
液晶表示装置19の表示画面には、ズーム領域Aが形成されている。電子カメラ1に設けられているズーム・ボタン(図示略)をユーザが押すことにより、ズーム領域A内に入っている被写体像の部分画像が拡大される。拡大率は、ユーザにの設定により決定する。
【0057】
被写体像に含まれる文字が小さい場合に、文字を大きくして被写体を撮影できるので文字認識を向上することができる。被写体の含まれる文字が大きすぎる場合に文字を小さくして撮影することができるのはいうまでもない。
【図面の簡単な説明】
【図1】電子カメラによってホワイト・ボードを撮影する様子を示している。
【図2】電子カメラによって机上に置かれた原稿を撮影する様子を示している。
【図3】三脚に装着された電子カメラによって原稿を撮影する様子を示している。
【図4】電子カメラの電気的構成を示すブロック図である。
【図5】メモリ・カードのディレクトリ構造を示している。
【図6】電子カメラの撮影処理手順を示すフローチャートである。
【図7】電子カメラの撮影処理手順の一部を示すフローチャートである。
【図8】水平検出回路を示している。
【図9】液晶表示装置の表示画面を示している。
【符号の説明】
1 電子カメラ
2 ユーザ
3 ホワイト・ボード
4 原稿
6 三脚
10 CPU
13 CCD
19 液晶表示装置
22 ズーム・モータ
24 距離センサ
25 辞書メモリ
31 モード切り換えスイッチ
32 水平検出回路
33 三脚検出回路

Claims (5)

  1. 被写体を撮影し,被写体像を表す画像データを出力する撮影手段,
    画像撮影モードと文字撮影モードとのいずれのモードであるかを判定するモード判定手段,
    上記モード判定手段によって画像撮影モードと判定されたことにより,上記撮影手段から出力された画像データを記録媒体に記録する画像データ記録制御手段,
    上記モード判定手段によって文字撮影モードと判定されたことにより,上記撮影手段から出力された画像データによって表される画像の中から文字を認識する文字認識手段,
    上記文字認識手段によって認識された文字を表すテキスト・データを生成するテキスト・データ生成手段,および
    上記テキスト・データ生成手段によって生成されたテキスト・データを上記記録媒体に記録するテキスト・データ記録制御手段を備え,
    矩形の筒状の管を有し,この管の四辺の各辺には電極が形成されており,電圧が印加されている水銀がこの管内を動く水平検出回路が,電子カメラを正面に向けたときに正面を向くように電子カメラ内に内蔵されており,
    上記四辺の各辺に形成されている電極のすべてに電圧が生じたときに電子カメラが下向きになったことを検出し,上記モード判定手段が文字撮影モードと判定する,
    電子カメラ。
  2. 上記モード判定手段が,撮影時における電子カメラの傾斜角,電子カメラに三脚が装着されたことの検出,被写体の色の変化および被写体までの距離のうちの少なくとも一つの情報にもとづいて,画像撮影モードと文字撮影モードとを判定するものである,請求項1に記載の電子カメラ。
  3. 上記モード判定手段が,
    画像撮影モードと文字撮影モードとのいずれかを選択するモード選択手段を備え,
    上記モード選択手段により選択さたモードにもとづいて画像撮影モードと文字撮影モードとを判定するものである,
    請求項1に記載の電子カメラ。
  4. ビュー・ファインダ,
    上記ビュー・ファインダのファインダ画面上にズーム領域を表示するように制御するズーム領域表示制御手段,および
    上記ズーム領域内に存在する被写体像部分を拡大するズーム手段,
    をさらに備えた請求項1に記載の電子カメラ。
  5. 被写体を撮影し,被写体像を表す画像データを得,
    画像撮影モードと文字撮影モードとのいずれのモードであるかを判定し,
    画像判定モードと判定されたことにより,撮影によって得られた画像データを記録媒体に記録し,
    文字撮影モードと判定されたことにより,撮影によって得られた画像データによって表される画像の中から文字を認識し,
    認識された文字を表すテキスト・データを生成し,
    生成されたテキスト・データを上記記録媒体に記録し,
    矩形の筒状の管を有し,この管の四辺の各辺には電極が形成されており,電圧が印加されている水銀がこの管内を動く水平検出回路が,電子カメラを正面に向けたときに正面を向くように電子カメラ内に内蔵されており,
    上記四辺の各辺に形成されている電極のすべてに電圧が生じたときに電子カメラが下向きになったことを検出し,上記モード判定手段が文字撮影モードと判定する,
    電子カメラの動作制御方法。
JP21202298A 1998-07-13 1998-07-13 電子カメラおよびその動作制御方法 Expired - Lifetime JP4098889B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP21202298A JP4098889B2 (ja) 1998-07-13 1998-07-13 電子カメラおよびその動作制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP21202298A JP4098889B2 (ja) 1998-07-13 1998-07-13 電子カメラおよびその動作制御方法

Publications (2)

Publication Number Publication Date
JP2000029988A JP2000029988A (ja) 2000-01-28
JP4098889B2 true JP4098889B2 (ja) 2008-06-11

Family

ID=16615584

Family Applications (1)

Application Number Title Priority Date Filing Date
JP21202298A Expired - Lifetime JP4098889B2 (ja) 1998-07-13 1998-07-13 電子カメラおよびその動作制御方法

Country Status (1)

Country Link
JP (1) JP4098889B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7203158B2 (en) 2000-12-06 2007-04-10 Matsushita Electric Industrial Co., Ltd. OFDM signal transmission system, portable terminal, and e-commerce system
KR20030094708A (ko) * 2002-06-07 2003-12-18 주식회사 한국인식기술 카메라를 이용한 문자인식 관리방법
US7265790B2 (en) 2003-07-07 2007-09-04 Hewlett-Packard Development Company, L.P. System and method for setting an image capture device to an operational mode
FR2872660B1 (fr) * 2004-07-05 2006-12-22 Eastman Kodak Co Appareil de prise de vue et procede pour la formation d'images annotees
JP2006174264A (ja) * 2004-12-17 2006-06-29 Sharp Corp 携帯形電子装置

Also Published As

Publication number Publication date
JP2000029988A (ja) 2000-01-28

Similar Documents

Publication Publication Date Title
US6188432B1 (en) Information processing method and apparatus for displaying and zooming an object image and a line drawing
US6342900B1 (en) Information processing apparatus
JP5623915B2 (ja) 撮像装置
US20080284867A1 (en) Image pickup apparatus with a human face detecting function, method and program product for detecting a human face
JP2005348181A (ja) 撮影装置及びその制御方法並びに制御用プログラム
JP2007310813A (ja) 画像検索装置およびカメラ
JP2007201539A (ja) デジタルカメラ
JP2007049484A (ja) デジタルカメラ
US8237802B2 (en) Method and apparatus for determining shaken image by using auto focusing
JP2006211378A (ja) 動画記録再生装置、動画記録装置、動画再生装置及びプログラム
KR101469544B1 (ko) 영상 처리 방법 및 장치, 이를 이용한 디지털 촬영 장치
JP2007148691A (ja) 画像処理装置
JP2004349750A (ja) ディジタル・カメラおよびその制御方法
JP2006094082A (ja) 画像撮影装置およびプログラム
JP2009089220A (ja) 撮像装置
JP4098889B2 (ja) 電子カメラおよびその動作制御方法
JPH07220025A (ja) 画像処理装置
KR100816949B1 (ko) 최적상태 촬상 전자카메라
JP4570171B2 (ja) 情報処理装置および記録媒体
JP2006285073A (ja) 撮像装置および撮像装置の操作方法
JP2008065851A (ja) 情報処理装置および記録媒体
KR101630295B1 (ko) 디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 매체
JP2008172501A (ja) 撮像装置
JP2003189160A (ja) デジタルカメラ
JP2003298907A (ja) デジタルカメラ及び画像表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040806

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080214

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080311

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080314

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110321

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110321

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120321

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120321

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130321

Year of fee payment: 5