JP4305473B2 - 電子スチルカメラ、画像情報の消去方法及び画像情報の状態設定方法 - Google Patents

電子スチルカメラ、画像情報の消去方法及び画像情報の状態設定方法 Download PDF

Info

Publication number
JP4305473B2
JP4305473B2 JP2006173391A JP2006173391A JP4305473B2 JP 4305473 B2 JP4305473 B2 JP 4305473B2 JP 2006173391 A JP2006173391 A JP 2006173391A JP 2006173391 A JP2006173391 A JP 2006173391A JP 4305473 B2 JP4305473 B2 JP 4305473B2
Authority
JP
Japan
Prior art keywords
information
storage
image
image information
camera shake
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006173391A
Other languages
English (en)
Other versions
JP2006295972A (ja
Inventor
泰蔵 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2006173391A priority Critical patent/JP4305473B2/ja
Publication of JP2006295972A publication Critical patent/JP2006295972A/ja
Application granted granted Critical
Publication of JP4305473B2 publication Critical patent/JP4305473B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Studio Devices (AREA)

Description

本発明は、電子スチルカメラ、画像情報の消去方法及び画像情報の状態設定方法に関し、特に、撮影時の手振れが原因で生じる不良な画像の処理方法を改善した電子スチルカメラ、画像情報の消去方法及び画像情報の状態設定方法に関する。
近年、被写体像をディジタル信号として撮影して液晶パネルに表示することができ、また、その画像情報を着脱可能なメモリカードに記憶してパソコン等により画像を処理することができる携帯情報機器として、電子スチルカメラが急速に普及している。このような電子スチルカメラにおいては、画像情報を記億するメモリの記憶容量によっては、一般的な銀塩写真における24枚撮りや36枚撮りをはるかに超える膨大な数の画像を撮影することができる。
しかしながら、技術開発に伴い、メガピクセルと呼ばれる100万画素を越える撮影解像度を有する製品が開発され、旧来のメモリの記憶容量では、記憶できる画像情報の数が激減するという問題が生じてきた。また、撮影解像度の向上に伴い、メモリの記憶容量を増加することが試みられているが、記憶媒体として利用されるメモリカードは、依然高価であり、現在標準的に利用されているメモリの記憶容量は数メガバイト程度にすぎず、高精細な画像の場合、数枚程度を記憶できるに留まっている。そのため、限られた記憶容量を有効に使う技術が求められている。
一方、電子スチルカメラは、銀塩写真用のカメラに比較して、簡易に被写体像を撮影し、その場で再生、消去を行うことができるという特徴を有しているが、図12(a)に示すように、カメラ使用者がカメラ本体100を保持し、シャッターキー101を操作する動作に何ら変わりはない。そのため、図12(b)、(c)に示すように、液晶パネル102に表示された被写体像103が、撮影時のシャッター操作により、振れ104を生じるという手振れの問題は解決されていない。
電子スチルカメラにおいては、手振れが原因で生じる不良な画像(手振れ画像)に対して、撮影後、液晶パネルにより画像を再生して確認し、消去する方法が一般的であるが、このような方法の場合、カメラ使用者は、撮影後、カメラ本体のスイッチ類を操作して再生モードに切り替え、表示された画像を確認して初めて手振れに気がつくことになるため、シャッターチャンスで満足な画像を得ることができないという問題があった。また、このような手振れの影響は、光学系のズーム倍率が向上するほど顕著になるという特徴を有しているため、その対策が重要になってきている。
手振れによる不良画像の処理方法については、例えば、特開平10−215405号公報にあるように、手振れ画像自体を演算補正する方法が知られているが、補正のための操作が煩雑なうえ、プロセッサ等への負荷が大きくなるという問題を有している。
そのため、近年においては、撮影時又は撮影後に手振れ状態を音声や表示等により警告する手法が適用され、カメラ使用者は、その警告にしたがって、再度撮影を行うことにより、所望の画像を取得することができる。
しかしながら、上述した従来技術においては、手振れ警告をカメラ使用者に認識させることはできるが、手振れを生じた画像はそのままメモリに記憶されるため、カメラ使用者は、その都度再生モードに切り替えて手振れ画像を液晶パネルに表示し、手振れの状態を確認して不要と判断した場合には、消去操作を実行しなければならないうえ、連続して撮影した複数の画像の中から手振れ画像を選択して消去操作を行うことは極めて煩雑であるという問題を有している。また、手振れ画像はメモリにそのまま記憶されることになるため、その回数が多くなるほど、メモリ中に不要な画像が蓄積されて、メモリの記憶容量が有効に利用されていないという問題も有している。そこで、本発明は、簡易な手法によりメモリに記憶された手振れ画像の無効設定を行い、手振れが生じた不要な画像によるメモリの容量不足を改善して、記憶容量の有効な利用を図ることができる電子スチルカメラ、画像情報の消去方法及び画像情報の状態設定方法を提供することを目的とする。
請求項1記載の電子スチルカメラは、被写体を撮影し、該被写体像の画像情報を発生する撮像手段と、前記被写体の撮像時に生じる手振れを検出し、手振れ情報として出力する手振れ検出手段と、前記手振れ情報に基づいて、該手振れの程度に応じたフラグ情報を生成するフラグ情報生成手段と、前記撮像手段により得られた所定の画像情報に前記フラグ情報生成手段により生成されたフラグ情報を関連付けて記憶手段に記憶させる記憶制御手段と、前記記憶手段の記憶残量を監視する記憶残量監視手段と、前記記憶残量監視手段により前記記憶手段の記憶残量が所定の残量閾値以下と判定されるときに、前記記憶手段に記憶されている画像情報のうち、前記フラグ情報に基づいて手振れが発生している画像情報を前記記憶手段から強制的に消去する画像情報消去手段と、を備えたことを特徴とする。請求項2記載の電子スチルカメラは、請求項1記載の電子スチルカメラにおいて、前記フラグ情報生成手段は、前記手振れ情報に基づいて、該手振れの程度に応じたフラグ情報を複数段の特定情報として生成し、前記記憶制御手段は、前記撮像手段により得られた所定の画像情報に前記フラグ情報生成手段により生成された特定情報を関連付けて記憶手段に記憶させ、前記画像情報消去手段は、前記記憶残量監視手段により前記記憶手段の記憶残量が所定の残量閾値以下と判定されるときに、前記記憶手段に記憶されている画像情報のうち、前記特定情報に基づいて手振れの程度が高い画像情報を前記記憶手段から強制的に消去することを特徴とする。
請求項3記載の電子スチルカメラは、被写体を撮影し、該被写体像の画像情報を発生する撮像手段と、前記被写体の撮像時に生じる手振れを検出し、手振れ情報として出力する手振れ検出手段と、前記手振れ情報に基づいて、該手振れの程度に応じたフラグ情報を生成するフラグ情報生成手段と、前記撮像手段により得られた所定の画像情報に前記フラグ情報生成手段により生成されたフラグ情報を関連付けて記憶手段に記憶させる記憶制御手段と、前記記憶手段の記憶残量を監視する記憶残量監視手段と、前記記憶残量監視手段により前記記憶手段の記憶残量が所定の残量閾値以下と判定されるときに、前記記憶手段に記憶されている画像情報のうち、前記フラグ情報に基づいて手振れが発生している画像情報を前記記憶手段から強制的に読み出す画像情報読み出し手段と、を備えたことを特徴とする。請求項4記載の電子スチルカメラは、請求項3記載の電子スチルカメラにおいて、前記フラグ情報生成手段は、前記手振れ情報に基づいて、該手振れの程度に応じたフラグ情報を複数段の特定情報として生成し、前記記憶制御手段は、前記撮像手段により得られた所定の画像情報に前記フラグ情報生成手段により生成された特定情報を関連付けて記憶手段に記憶させ、前記画像情報読み出し手段は、前記記憶残量監視手段により前記記憶手段の記憶残量が所定の残量閾値以下と判定されるときに、前記記憶手段に記憶されている画像情報のうち、前記特定情報に基づいて手振れの程度が高い画像情報を強制的上書き可能な状態に設定することを特徴とする。
請求項5記載の画像情報の消去方法は、撮影された被写体像の画像情報を生成する画像情報生成工程と、前記被写体の撮像時に生じる手振れを検出し、手振れ情報として出力する手振れ情報出力工程と、前記手振れ情報に基づいて、該手振れの程度に応じたフラグ情報を生成するフラグ情報生成工程と、画像情報生成工程で得られた所定の画像情報に前記フラグ情報生成工程で生成されたフラグ情報を関連付けて記憶手段に記憶させる記憶制御工程と、前記記憶手段の記憶残量を監視する記憶残量監視工程と、前記記憶残量監視工程で前記記憶手段の記憶残量が所定の残量閾値以下と判定されるときに、前記記憶手段に記憶されている画像情報のうち、前記フラグ情報に基づいて手振れが発生している画像情報を前記記憶手段から強制的に消去する画像情報消去工程と、を含むことを特徴とする。請求項6記載の画像情報の状態設定方法は、撮影された被写体像の画像情報を生成する画像情報生成工程と、前記被写体の撮像時に生じる手振れを検出し、手振れ情報として出力する手振れ情報出力工程と、前記手振れ情報に基づいて、該手振れの程度に応じたフラグ情報を生成するフラグ情報生成工程と、画像情報生成工程で得られた所定の画像情報に前記フラグ情報生成工程で生成されたフラグ情報を関連付けて記憶手段に記憶させる記憶制御工程と、前記記憶手段の記憶残量を監視する記憶残量監視工程と、前記記憶残量監視工程で前記記憶手段の記憶残量が所定の残量閾値以下と判定されるときに、前記記憶手段に記憶されている画像情報のうち、前記フラグ情報に基づいて手振れが発生している画像情報を前記記憶手段から強制的上書き可能な状態に設定する状態設定工程と、を含むことを特徴とする。
本発明によれば、限られた記憶容量を有効に利用することができるとともに、手振れ画像の消去等の煩雑な操作を必要としない、操作性に優れた電子スチルカメラ、画像情報の消去方法及び画像情報の読み出し方法を実現することができる
また、本発明によれば、被写体の撮影に際し、記憶手段の記憶残量を監視し、記憶残量が少なくなった場合には手振れ画像を自動的に抽出消去することができ、新たに撮影される有用な画像を順次保存することができるため、シャッターチャンスが連続するような場合においても、記憶残量を気にすることなく撮影を継続できるとともに、手振れ画像の処理操作を行う必要がなく、極めて操作性に優れた電子スチルカメラ、画像情報の消去方法及び画像情報の読み出し方法を実現することができる。
以下、本発明の実施の形態を、図面を参照しながら説明する。図1は、実施形態に係る電子スチルカメラの基本構成を示すブロック図である。
図1に示すように、実施形態に係る電子スチルカメラは、撮像部(撮像手段)10と、振動検出部(手振れ検出手段)20と、マイクロプロセッサユニット(以下、MPUと記す;制御手段)30と、記憶部(記憶手段)40と、表示部(表示手段)50と、操作部(選択手段)60とを有して構成されている。各構成について以下順次説明する。
撮像部10は、所望の被写体を撮影し、被写体像の信号情報を発生する機能を有するものであって、写真レンズ11、固体撮像素子(以下、CCDと記す)12、CCD駆動系13、サンプルホールド回路(以下、S/Hと記す)14、アナログ−ディジタル変換器(以下、A/Dと記す)15、レンズ駆動系16等を有している。
写真レンズ11は、周知の光学レンズの組み合わせによって、被写体からの光を後述するCCD12の受光面に結像させる光学系を構成している。CCD12は、電荷をアレイ状に転送する固体撮像デバイスであって、ここでは特に、二次元の光学情報を時系列(シリアル列)のアナログ電気信号に変換する固体のイメージセンサーを指す。CCD駆動系13は、CCD12の各画素に光電変換の開始及び蓄積電荷の出力を指令して、CCD12を駆動制御する機能を有する。
S/H14は、CCD12から出力される時系列のアナログ電気信号をCCD12の解像度に適合した周波数でサンプリング処理する。また、A/D15は、S/H14によりサンプリングされたアナログ電気信号をディジタル信号に変換して、後述するMPU30に出力する。
レンズ駆動系16は、自動焦点機能を実現するための測距センサや、オートフォーカス用駆動機構等を有する測定系(図示を省略)により測定される被写体までの距離等に基づいて、写真レンズ11の焦点を調整駆動する。
振動検出部20は、撮影時にカメラ本体に加わる振動、すなわち手振れを検出し、振動情報(手振れ情報)として出力するものであって、手振れが原因で生じる画像の乱れを撮影時に検出する機構を有している。その具体的な手法としては、ジャイロセンサ等の周知の振動検出センサを用いて撮影時の振動が所定値以上に達したとき、手振れが生じていると判断し、振動情報を出力する方法を適用することができる。
なお、手振れ検出の他の方法としては、撮影された画像自体を画像解析して被写体像の輪郭の鮮明さ等から手振れの程度を判断する手法、あるいは、シャッターキーを押下して被写体像を取り込むレリーズ動作の直前の画像と、レリーズ動作時の画像とを比較対照して手振れの程度を判断する手法、シャッターキーの押下速度、すなわちレリーズ速度(あるいはシャッター速度)を算出し、通常速度よりも遅い場合に手振れの可能性があると判断する手法等を採用することができる。
以下、本実施形態においては、手振れ検出の一例として振動を検出する手法を適用した場合について説明する。
記憶部40は、記録(撮影)モードにおいて、撮影された被写体の画像情報を記憶するために使用される書き換え可能な画像メモリであり、複数の画像を記憶することができる容量を有している。具体的な画像情報の記憶フォーマットについては後述する。なお、記憶部40は、カメラ本体に内蔵されたものであってもよいし、カードドライバやコネクタ、赤外線通信規格等のインターフェースを介して周辺機器として取り扱うことができるメモリカードや、パーソナルコンピュータ等のハードディスク、光磁気ディスク等の外部記憶媒体であってもよい。表示部50は、記録モードにおいては、撮影の対象となる被写体像を連続的に表示して被写体の把握を容易にし、再生モードにおいては、記憶部40に記憶された画像情報を順次スクロールして、あるいは分割画面により複数の画像を一括して表示する機能を有し、例えば表示特性が鮮明で、かつ、発色性が自然なTFT方式のカラー液晶パネルが適用される。
操作部60は、カメラ使用者が、カメラ本体に対して動作電源の投入/遮断、被写体像の撮影、再生画像の送り/戻し等の所望の動作を指令する際の入力インターフェースとしての機能を有し、電源スイッチ、シャッターキー、プラス/マイナスキー、記録/再生切り替えスイッチ(REC/PLAYキー)、モードキー等の周知の各種キースイッチ類を有し、各種操作信号を生成し、MPU30に出力する。なお、詳しくは後述するが、上記プラス/マイナスキーには、画像再生時に再生表示された画像情報を保存あるいは消去(無効設定)する選択機能が割り当てられている。
MPU30は、撮像部10から出力される被写体像の信号情報に圧縮等の所定の信号処理を施して画像情報を生成する機能、振動検出部20から出力される振動情報に基づいて手振れの状態を報知するとともに、生成された画像情報を記憶部40の所定の領域に記憶する機能、あるいは、振動情報に基づいて画像情報に手振れに関する特定情報を関連付けして記憶部の所定の領域に、所定のフォーマットで記憶する機能、振動情報に基づいて記憶部40に記憶された特定の画像情報を無効状態に設定し、その領域への新たに生成される画像情報の記憶を可能とする機能を有している。ここで、無効状態とは、記憶された画像情報の消去、あるいは、画像情報が記憶された記憶領域への上書き可能状態をいう。
なお、MPU30は、一般には、所定のプログラムを実行してカメラの動作を集中制御するものであり、記録モード用プログラム及び再生モード用プログラムが、MPU30の内部ROMに書き込まれており、各モード時に、内部ROMからMPU30の内部RAMにロードされて実行処理される。具体的には、画像信号に関する処理全般及び撮影に関する制御全般、例えば、CCD駆動系13を介してCCD12による撮影の制御、A/D15から与えられる信号にγ変換、ホワイトバランス変換、R、G、B3色の補間、輝度・色差信号への変換処理、表示部50に表示するための画像信号の生成、レンズ駆動系16及び測定系の制御、操作部60からの操作信号の処理等を実行する。
次に、上記構成により実現される画像処理方法について、図面を参照して説明する。
図2は、実施形態に係る電子スチルカメラの画像処理方法における一実施形態を示すフローチャートであり、図3は、上記構成に基づく電子スチルカメラの一例を示し、本実施形態における手振れ状態の報知例を示す図である。
以下、必要に応じて図1及び図3の構成を参照しながら、本実施形態の画像処理方法について説明する。なお、図3において、51は表示部を構成する液晶パネル、71は光学ファインダーである。また、61はREC/PLAYキー、62はシャッターキー、63はモードキーであり、図示を省略したプラス/マイナスキー等とともに操作部60を構成する。さらに、81は警告ランプ、82は内臓スピーカであって、後述する手触れ状態を報知するための報知手段を構成する。
まず、カメラ本体100のREC/PLAYキー61を操作して画像記録状態、すなわち記録モードに設定する(S111)。記録モードを設定することにより、撮像部10を介して捉えられる被写体の画像が液晶パネル51に表示されるスルー画像(ファインダ画像)表示モードが設定される。そして、所望の被写体像を液晶パネル51あるいは光学ファインダ71を介して画定した状態で、シャッターキー62を押下すると(S112)、その時点の被写体像が画像情報として取り込まれ(S113)、MPU30により周知の画像圧縮処理が施されて、記憶部40の所定の領域に記憶される(S114)。すなわち、シャッターキーの操作状態が常時監視され、操作が行われると画像情報が取得され、記憶部40に記憶される。
ここで、MPU30により施される画像圧縮処理の代表例として、JPEGについて簡単に説明する。
JPEG(Joint Photographic Expert Group)は、国際標準化機構(ISO)と国際電信電話諮問機関(CCITT)が共同でまとめた静止画像の圧縮方式である。圧縮対象となる画像データを8×8ビット画素のブロックに分割した後、DCT(Discrete Cosine Transform:離散コサイン変換)演算を行うことによって周波数成分に並び替え、各ブロックをジグザグスキャンあるいはオルタネートスキャンによって2次元から1次元のデータに変換し、当該ブロックのDCT計数を量子化テーブルに基づいて量子データ化して、ハフマンテーブルを参照して可変長符号化(可逆圧縮)処理を行うものである。
なお、近年の電子スチルカメラに採用されている画像圧縮保存方式としては、上述したJPEG方式が一般的であるが、TIFF等の他の方式を採用するものもある。
一方、画像情報の取得に際し、カメラ本体100に内蔵するジャイロセンサ等の振動検出部20により被写体を撮影した時点(画像情報を取得した時点)での手振れの状態を検出し、振動情報として取得する(S115)。具体的には、振動検出部20から出力される電気信号の大きさが、あらかじめ設定されたしきい値に達しているか否かを比較判定することにより、取得された画像情報について手振れの有無を振動情報としてMPU30に出力する。
そして、MPU30は、記憶された画像情報の手振れの状態を振動情報に基づいて判断し(S116)、手振れ画像と判断した場合には、カメラ使用者に手振れ撮影であることを報知するとともに、当該画像を強制的に記憶部40の記憶領域から消去、あるいは、後に取得した画像情報の当該記憶領域への上書きを可能な状態に設定することにより、当該画像情報を無効状態に設定する(S117)。また、手振れ画像ではなく、良好な画像と判断した場合には、画像情報をそのまま当該記憶領域に保存する。
ここで、手振れ報知の具体例について、図3を参照して説明する。
第1の報知例は、図3(a)に示すように、液晶パネル51に表示された被写体像に、重ねて“手振れ発生”等の文字51aや所定の記号(マーク)等を表示するものである。このような報知方法によれば、液晶パネル51の表示された被写体像を確認しながらシャッター操作を行う場合に、画像に重ねて報知情報が表示されるため、手振れ状態がカメラ使用者に確実に認識される。
また、第2の報知例は、図3(b)に示すように、光学ファインダ71の近傍あるいは光学ファインダ71の内部に設けられた警告ランプ81等を点灯するものである。このような報知方法によれば、光学ファインダ71を透視して被写体像を確認しながらシャッター操作を行う場合に、カメラ使用者の視野範囲内で警告ランプ81が点灯するため、手振れ状態が確実に認識される。なお、警告ランプ81による報知のほか、光学ファインダ71内に報知情報を文字あるいは記号等により表示するものであっても良い。
また、第3の報知例は、図3(c)に示すように、カメラ本体100に設けられた内蔵スピーカ82等から、例えば“手振れが発生しました”の音声や、“ピー、ピー、・・”等の警告音を発するものである。このような報知方法によれば、被写体像の確認方法によらず、手振れ状態が音声によりカメラ使用者に伝達される。さらに、上述した第1及び第2の報知例等の視覚的な報知方法と組み合わせることにより、カメラ使用者に対して視覚的な報知情報に加え、聴覚的にも報知情報を伝達することができるため、一層確実に手振れ状態が認識される。
以上の一連の処理を終了した後、再びS112の処理に戻り、シャッター操作の有無により、連続して次の撮影を行う場合や、手振れ報知にしたがって改めて撮影を行う場合を判断する。そして、直前に撮影された画像が、上記一連の処理により手振れ画像と判断されていた場合には、その画像は無効状態に設定されているため、当該画像が記憶されている領域に新たに撮影された画像が記憶される。一方、直前に撮影された画像が、手振れのない良好な画像と判断されていた場合には、その画像は当該記憶領域に保存されているため、新たに撮影された画像は、別の新たな記憶領域に記憶される。
このように、手振れが生じた画像は、一旦所定の記憶領域に記憶されるが、その直後に強制的に無効状態に設定され、再撮影により取得された画像が同一の記憶領域に記憶されるか、あるいは、一旦所定の記憶領域に記憶されるが、その直後に当該記憶領域が上書き可能な状態に設定され、次に取得された画像が同一の記憶領域に上書きして記憶されることになるため、記憶部に手振れよる不要な画像を残すことなく、良好な画像のみを記憶することができる。したがって、手振れが生じたときには手振れ報知にしたがって再撮影をすることにより、同一の記憶領域に良好な画像のみが保存されることになり、手振れ画像の消去等の煩雑な操作を行うことなく、記憶容量を有効に利用することができる。
なお、上述した本実施形態においては、取得された画像情報は、一旦所定の記憶領域に記憶された後、振動情報に基づいて、無効状態に設定される場合を示したが、本発明はこれに限定されるものではなく、例えば、手振れ(振動)が検出された場合には取得した画像情報を記憶部40に記憶せず、手振れが検出されない場合にのみ画像情報を記憶するようにしてもよい。
図4は、本実施形態に係る画像処理方法の処理手順を示すフローチャートであり、図5は、本実施形態の画像取捨選択モードにおける表示例である。
本実施形態は、上述した実施形態のフローチャート(図2参照)における、手振れ画像と判断された画像を無効状態に設定する処理(S116、S117)を、カメラ使用者の判断により選択的に実行する処理に置き換えたことを特徴としている。したがって、上述した実施形態と同等の処理手順については、その説明を省略する。
上述した実施形態と同様に、画像情報及び振動情報を取得した後、振動情報に基づいて、記憶部40の所定の記憶領域に記憶された画像情報の手振れの状態を判断し(S121)、手振れ画像と判断した場合には、当該画像情報を消去(あるいは上書き可能に設定)するか、又は、保存するかを選択する画像取捨選択モードに移行する(S122)。画像取捨選択モードを設定すると、当該画像情報が液晶パネル等の表示部50に再生表示されるとともに(S123)、当該画像が手振れ画像であることを示す文字と、当該画像を無効状態に設定するか、又は、そのまま保存するかの選択を促すための文字が、当該画像に重ねて表示される。具体的には、図5に示すように、手振れを生じた画像とともに、「手振れが発生しました」や消去するか保存するかの判断及び選択を促す「消去(−)/保存(+)」等の文字表示や、音声により報知を行うことにより、手振れを認識させ、当該画像の取捨選択の操作を促す。
そして、カメラ使用者が表示された手振れ画像を不要と判断した場合には、例えば「−」キー等の操作部60を操作することにより(S124)、当該画像を消去又は上書き可能な状態に設定する(S125)。一方、カメラ使用者が表示された手振れ画像を有用と判断した場合には、例えば「+」キー等の操作部60を操作することにより、当該画像をその記憶領域にそのまま保存する。
なお、上述した本実施形態においては、記憶部40の所定の記憶領域に一旦記憶された手振れ画像を液晶パネルに表示して、当該画像の取捨選択を促す場合について示したが、本発明はこれに限定されるものではなく、例えば、画像取捨選択モードで消去操作をした場合には取得した画像情報を記憶部40に記憶せず、保存操作をした場合にのみ画像情報を記憶するようにしてもよい。すなわち、DRAM等の一次バッファを備えたメモリ構成を有する電子スチルカメラにおいて、一旦、一次バッファに記憶された画像情報を、振動情報に基づいて再生表示し、保存操作された場合にのみ、フラッシュメモリ等の記憶部40に記憶するようにしてもよい。
このように、手振れが生じた画像の取捨選択は、一旦所定の記憶領域に記憶されるが、その直後に画像取捨選択モードに移行して、当該画像を無効状態に設定するか、あるいは、そのまま保存するかを、カメラ使用者が表示部50に再生表示された実画像を確認して判断することができる。したがって、撮影直後に、手振れが生じた画像を容易に取捨選択することができるため、従来技術に示したように、撮影後、操作部を操作して再生モードを設定し、画像を選択する操作等を行なう必要がなく、かつ、このような取捨選択操作を忘れてしまうことがない。さらに、手振れが生じた画像が、カメラ使用者が許容できる程度の手振れである場合や、予想もしない効果を有する画像を撮影できた場合には、当該画像をそのまま記憶することができるため、手振れ画像の中でも本当に不要な画像のみを消去、上書きすることができ、カメラ使用者の好みに応じた画像を、操作性良く取得することができる。
図6は、本実施形態に係る画像処理方法の概略手順を示すフローチャートである。
まず、カメラ本体のREC/PLAYキーを操作して記録モードに設定する(S201)。記録モードを設定することにより、撮像部10を介して捉えられる被写体の画像が液晶パネルに表示され、所望の被写体像を液晶パネルあるいは光学ファインダにより画定した状態で、シャッターキーを押下すると(S202)、その時点の被写体像が画像情報として取り込まれる(S203)。すなわち、シャッターキーの操作状態が常時監視され、操作が行われると画像情報が取得される。ここで、画像情報の取得に際し、振動検出部20により撮影時の手振れの状態を検出して、振動情報として取得する(S204)。
次いで、MPU30により、取得した画像情報に周知の画像圧縮処理が施され、さらに、取得した振動情報に基づいて手振れ状態を示す特定情報、すなわち手振れ画像であるか否かを示すフラグを、圧縮処理された画像情報に関連付けて記憶部40の所定の領域に記憶する(S205、S206)。具体的には、特定情報として用いられるフラグは、振動情報に基づく手振れの状態が、所定のしきい値を超過している場合には、当該画像を手振れ画像と規定するフラグを立て(“1”に設定)、それ以外の場合には、良好な画像と判断してフラグを立てない(“0”に設定)ように設定する。また、別の手法として、手振れ画像か、あるいは、良好な画像のいずれか一方にのみ特定情報を付加するようにしても良い。
このように、取得した画像情報に関連付けて、フラグ(特定情報)が設定されているため、後述するように、フラグを抽出することによって記憶部40に記憶された各画像の手振れ状態を容易に判別することができ、手振れ画像のみを迅速に抽出することができる。
ここで、記憶部40の内部領域の管理フォーマットについて、図面を参照して説明する。
図7は、画像情報が記憶される記憶部40の内部領域を示す概念図である。
図7に示すように、記憶領域40の内部領域は、大別してフォーマットテーブル領域、情報テーブル領域、画像データ領域、オフセット領域から構成される。
フォーマットテーブル領域には、画像情報に関する総合的な情報、すなわちフォーマット情報F1、F2、・・が格納される。情報テーブル領域には、画像情報を識別するための番号情報を含む画像情報識別情報D1、D2、・・、画像情報を取得した時刻を示す時間情報T1、T2、・・、画像情報を取得した時点での手振れ状態を示す特定情報(フラグ)V1、V2、・・等の画像情報を識別するための情報が格納される。画像データ領域は、圧縮処理された画像情報P1、P2、・・を格納し、オフセット領域は、画像データ領域における画像情報P1、P2、・・のデータ長を固定長とするためのオフセットデータ(ブランク)を格納する。
このように、各画像情報P1、P2、・・は、情報テーブル領域に格納された画像識別情報D1、D2、・・、時間情報T1、T2、・・、手振れ状態を規定するフラグV1、V2、・・をヘッダとして有することにより関連付けられて記憶される。
次に、上述した画像処理方法を適用して実現される手振れ画像の検索、表示方法の一実施形態について、図面を参照して説明する。
図8は、本実施形態の処理手順を示すフローチャートである。
まず、図6に示した一連の画像処理により、複数の画像情報に特定情報を関連付けて記憶部40に記憶した後、カメラ本体のREC/PLAYキー等の操作部60を操作して再生モードに切り替え設定する(S211)。次いで、モードキー及びプラス/マイナスキー等を操作することにより(S212)、記憶された画像情報を時系列的に表示部50に順次表示するスクロール表示を行う。すなわち、スクロール操作(+/−キー操作)が一度行われると、次の画像が指定され、再度スクロール操作が行われるまで現在の画像表示を継続する。
スクロール表示に際し、画像情報に関連付けされた特定情報、すなわちフラグが抽出、判別されて(S213)、表示される画像情報が手振れ画像であるか否かが判断される(S214)。フラグが“1”に設定されている場合には手振れ画像と判断して、当該画像情報を表示する際に、音や光、マーク表示等により手振れ画像が表示されたこと、及び、当該画像情報を消去するか、又は、保存するかの判断をカメラ使用者に促す報知を行う(S215)。カメラ使用者が表示された手振れ画像を不要と判断して消去操作を実行した場合には(S216)、当該画像情報を消去又は上書き可能な状態に設定する(S217)。一方、カメラ使用者が表示された手振れ画像を有用と判断して消去操作を行わない場合や保存操作を行った場合には、当該画像情報をそのまま保存する。
また、フラグが“0”に設定されている場合には通常画像と判断して、通常の再生表示を行う(S218)。
以上の一連の処理をスクロール操作が中断するまで、あるいは、記憶された全ての画像情報の表示が終了するまで実行する。
このように、振動情報に基づいて、画像情報に関連付けられた特定情報(フラグ)を抽出、判別することにより、複数の画像情報の中から手振れ画像を抽出することができ、スクロール表示による再生モードにおいて、カメラ使用者に手振れ画像を認識させるように報知することができる。したがって、カメラ使用者は、シャッターチャンスにおいて連続的に撮影を行い、その後再生画像を確認しながら手振れ画像の消去、保存を判断することができるため、シャッターチャンスが連続するような場合や、手振れが連続して生じた場合に、その都度手振れ画像を消去、保存する処理を行う必要がなく、MPU30における制御処理を簡略化して、記録モードにおける撮影間隔の短縮化を実現しつつ、再生モードにおける手振れ画像の取捨選択の容易化を図った、操作性に優れた電子スチルカメラを実現することができる。
次に、本実施形態における手振れ報知の具体例について、図面を参照して説明する。
図9は、再生表示における手振れ画像の報知例を示す図である。
再生画像のスクロール表示において、図9(a)に示すように、例えば記憶部40に記憶された画像情報P2及びP7が手振れ画像と判断された場合には、時系列的に順次表示される画像情報P1→P2→P3→…のうち、画像情報P2及びP7を表示する際に、図9(b)に示すように、画像情報P2に重ねて“手振れ”の文字表示とともに、当該画像を消去するか、保存するかの指示を促す“消去(−)/保存(+)”の文字表示を行い、手振れ画像であることを報知する。
なお、再生画像のマルチ画面表示においては、4分割や9分割画面により複数の画像情報が一括して表示されるため、図9(a)に示すように、画像情報P2及びP7が手振れ画像と判断された場合には、図9(c)に示すように、複数の分割画面に表示される画像情報P1、P2、P3、…、P9のうち、画像情報P2及びP7が表示される分割画面にのみフラッシング等を施して手振れ画像であることを報知する方法を適用することができる。この場合、フラッシングが施された画像情報を選択することにより、図9(b)に示したような取捨選択の画像表示に切り替えるようにしてカメラ使用者の判断を促すようにしても良い。
次に、上述した画像処理方法を適用して実現される手振れ画像の検索、表示方法の他の実施形態について、図面を参照して説明する。
図10は、本実施形態の処理手順を示すフローチャートである。
まず、図6に示した一連の画像処理により、複数の画像情報に特定情報を関連付けて記憶部40に記憶した後、カメラ本体のREC/PLAYキー等の操作部60を操作して再生モードに切り替え設定する(S221)。次いで、モードキー等を操作することにより、記憶された画像情報から手振れ画像を検索、抽出するモードを設定する(S222)。その後、画像情報に関連付けされた特定情報(フラグ)を抽出、判別することにより(S223)、手振れ画像が存在するか否かを判断する(S224)。すなわち、画像情報に関連付けられたフラグが“1”に設定されている場合には、手振れ画像と判断して、例えば記憶部40の他の記憶領域に抽出、転送する(S225)。
次いで、抽出された手振れ画像のみを、表示部50に順次スクロール表示し(S226)、カメラ使用者がすでに表示された手振れ画像の全てを不要と判断した場合には、プラス/マイナスキー等の操作部60により一括消去操作を行うことにより(S227)、表示された全ての手振れ画像について消去又は上書き可能な状態に設定する(S228)。一方、カメラ使用者がすでに表示された手振れ画像を有用と判断して一括消去操作を行わない場合や保存操作を行った場合には、当該画像情報群をそのまま保存する。
なお、本実施形態においては、抽出された手振れ画像をスクロール表示する場合について示したが、マルチ画面表示により、例えば4分割あるいは9分割画面に表示された複数の手振れ画像毎に一括消去操作を実行するものであっても良い。
また、複数の手振れ画像を一括消去する手法の他に、表示された画像を確認しつつ選択的に消去する手法を採用する物であっても良い。
このように、振動情報に基づいて、画像情報に関連付けられた特定情報を検索することにより、複数の画像の中から手振れ画像のみを抽出して表示することができ、カメラ使用者に複数の手振れ画像を認識させて、消去、保存の処理を一括して行うことができる。したがって、カメラ使用者は、シャッターチャンスにおいて連続的に撮影を行い、その後、再生モードにおいて手振れ画像を確認しながら容易に取捨選択(消去あるいは保存)を判断することができるため、手振れ撮影毎に、あるいは、再生画像毎に煩雑な操作を行う必要がなく、操作性に優れた電子スチルカメラを実現することができる。
次に、上述した画像処理方法を適用して実現される手振れ画像の自動消去方法の一実施形態について、図面を参照して説明する。
図11は、本実施形態の処理手順を示すフローチャートである。
まず、カメラ本体のREC/PLAYキーを操作して記録モードに設定する(S231)。記録モードを設定することにより、撮像部10を介して捉えられる被写体の画像が液晶パネルに表示され、所望の被写体像を液晶パネルあるいは光学ファインダにより画定した状態で、シャッターキーを押下すると(S232)、その時点の被写体像が画像情報として取り込まれる(S233)。すなわち、シャッターキーの操作状態が常時監視され、操作が行われると画像情報が取得される。ここで、画像情報の取得に際し、振動検出部20により撮影時の手振れの状態を検出して、振動情報として取得する(S234)。
次いで、MPU30により記憶部40の記憶残量が監視され(S235)、記憶残量が所定のしきい値以下か否かが判断される(S236)。ここで、所定のしきい値とは、例えば新たな画像情報を記憶するために必要な最低限の容量をいう。そして、記憶残量がしきい値容量以下に達している場合には、記憶部40にすでに記憶されている画像情報に関連付けられている特定情報(フラグ)を抽出、判別して、手振れ画像を検索し(S237)、強制的に消去又は上書き可能な状態に設定して(S238)、今回取得された画像情報を記憶するための記憶容量を確保する。一方、記憶残量がしきい値に達していない場合には、今回取得された画像情報を良好に記憶することができる十分な記憶容量が確保されているものと判断する。次いで、図6に示した一連の画像処理と同様に、振動情報に基づいて規定される手振れ状態に関する特定情報を当該画像情報に関連付けて、記憶部40に新たに確保された領域に記憶する(S239)。
以上の一連の処理を終了した後、再びS232の処理に戻り、シャッター操作の有無に応じて、新たな画像情報の取得、記憶残量の監視、手振れ画像の検索、消去等の処理を繰り返す。
なお、本実施形態においては、記憶部40の記憶残量の監視、手振れ画像の検索、消去等の一連の処理を、シャッターキーを操作し、新たな画像情報を取得した後に実行する場合について示したが、記録モード設定直後に、これらの処理を自動的に実行し、十分な記憶容量を確保してから新たな画像情報を取り込むものであっても良い。
このように、記憶部の記憶残量が少なくなった状態で、新たな画像情報が取得されると、記憶部内に記憶された手振れ画像を検索して無効状態に設定することにより、一般的に不要と判断される可能性が高い手振れ画像を自動的に抽出して消去することができ、新たに撮影される有用な画像を順次保存することができるため、限られた記憶容量を有効に利用することができる。したがって、カメラ使用者は、シャッターチャンスが連続するような場合においても、煩雑な手振れ画像の消去操作を行う必要がなく、また、記憶残量を気にする必要がないため、極めて操作性に優れた電子スチルカメラを実現することができる。
なお、上述した各実施形態においては、特定情報として、手振れ画像であるか否かの2値を識別するフラグを利用する方法を示したが、振動情報に基づいて手振れの程度を、複数のしきい値を用いてクラス分けすることにより、手振れ度として多値化し、例えば、手振れ度“A”、“B”、“C”・・・を特定情報として画像情報に関連付けて、記憶部40の所定の領域に記憶するものであってもよい。この場合、手振れ度に応じて画像情報を検索、抽出することにより、手振れ画像を無効状態に設定する際に、手振れ度が高い画像情報から順次無効状態に設定することができるため、手振れ画像の消去、保存の判別処理を簡易かつ自動的に行うことができるとともに、記憶容量の有効利用を図ることができる。
ところで、上述した各実施形態においては、撮影した画像情報について、電子スチルカメラに設けられた種々の構成及び手段を用いて、手振れ画像を無効状態に設定する場合について示したが、本発明は、このような実施形態に限定されるものではなく、例えば、電子スチルカメラにより撮影された画像情報に特定情報を関連付けて、パソコンや携帯情報端末等の他の情報機器に転送し、これらの情報機器側で、手振れの報知、検索、消去(一括消去を含む)等の処理及び操作を実行するものであっても良い。
実施形態に係る電子スチルカメラの基本構成を示すブロック図である。 電子スチルカメラの画像処理方法における一実施形態を示すフローチャートである。 本実施形態における手触れ状態の報知例を示す図である。 電子スチルカメラの画像処理方法における一実施形態を示すフローチャートである。 本実施形態における画像取捨選択モードの表示例である。 電子スチルカメラの画像処理方法における一実施形態を示すフローチャートである。 記憶部40の内部領域を示す概念図である。 手振れ画像の検索、表示方法の一実施形態を示すフローチャートである。 再生表示における手振れ画像の報知例を示す図である。 手振れ画像の検索、表示方法の他の実施形態を示すフローチャートである。 手振れ画像の自動消去方法の一実施形態を示すフローチャートである。 手振れの発生状況を示す概念図である。
符号の説明
10 撮像部(撮像手段)
20 振動検出部(手振れ検出手段)
30 MPU(第1制御手段、第2制御手段、第3制御手段
40 記憶部(記憶手段)
50 表示部(表示手段)
60 操作部(選択手段)

Claims (6)

  1. 被写体を撮影し、該被写体像の画像情報を発生する撮像手段と、
    前記被写体の撮像時に生じる手振れを検出し、手振れ情報として出力する手振れ検出手段と、
    前記手振れ情報に基づいて、該手振れの程度に応じたフラグ情報を生成するフラグ情報生成手段と、
    前記撮像手段により得られた所定の画像情報に前記フラグ情報生成手段により生成されたフラグ情報を関連付けて記憶手段に記憶させる記憶制御手段と、
    前記記憶手段の記憶残量を監視する記憶残量監視手段と、
    前記記憶残量監視手段により前記記憶手段の記憶残量が所定の残量閾値以下と判定されるときに、前記記憶手段に記憶されている画像情報のうち、前記フラグ情報に基づいて手振れが発生している画像情報を前記記憶手段から強制的に消去する画像情報消去手段と、
    を備えたことを特徴とする電子スチルカメラ。
  2. 前記フラグ情報生成手段は、前記手振れ情報に基づいて、該手振れの程度に応じたフラグ情報を複数段の特定情報として生成し、
    前記記憶制御手段は、前記撮像手段により得られた所定の画像情報に前記フラグ情報生成手段により生成された特定情報を関連付けて記憶手段に記憶させ、
    前記画像情報消去手段は、前記記憶残量監視手段により前記記憶手段の記憶残量が所定の残量閾値以下と判定されるときに、前記記憶手段に記憶されている画像情報のうち、前記特定情報に基づいて手振れの程度が高い画像情報を前記記憶手段から強制的に消去することを特徴とする請求項1記載の電子スチルカメラ。
  3. 被写体を撮影し、該被写体像の画像情報を発生する撮像手段と、
    前記被写体の撮像時に生じる手振れを検出し、手振れ情報として出力する手振れ検出手段と、
    前記手振れ情報に基づいて、該手振れの程度に応じたフラグ情報を生成するフラグ情報生成手段と、
    前記撮像手段により得られた所定の画像情報に前記フラグ情報生成手段により生成されたフラグ情報を関連付けて記憶手段に記憶させる記憶制御手段と、
    前記記憶手段の記憶残量を監視する記憶残量監視手段と、
    前記記憶残量監視手段により前記記憶手段の記憶残量が所定の残量閾値以下と判定されるときに、前記記憶手段に記憶されている画像情報のうち、前記フラグ情報に基づいて手振れが発生している画像情報を前記記憶手段から強制的上書き可能な状態に設定する状態設定手段と、
    を備えたことを特徴とする電子スチルカメラ。
  4. 前記フラグ情報生成手段は、前記手振れ情報に基づいて、該手振れの程度に応じたフラグ情報を複数段の特定情報として生成し、
    前記記憶制御手段は、前記撮像手段により得られた所定の画像情報に前記フラグ情報生成手段により生成された特定情報を関連付けて記憶手段に記憶させ、
    前記画像情報読み出し手段は、前記記憶残量監視手段により前記記憶手段の記憶残量が所定の残量閾値以下と判定されるときに、前記記憶手段に記憶されている画像情報のうち、前記特定情報に基づいて手振れの程度が高い画像情報を前記記憶手段から強制的上書き可能な状態に設定することを特徴とする請求項3記載の電子スチルカメラ。
  5. 撮影された被写体像の画像情報を生成する画像情報生成工程と、
    前記被写体の撮像時に生じる手振れを検出し、手振れ情報として出力する手振れ情報出力工程と、
    前記手振れ情報に基づいて、該手振れの程度に応じたフラグ情報を生成するフラグ情報生成工程と、
    画像情報生成工程で得られた所定の画像情報に前記フラグ情報生成工程で生成されたフラグ情報を関連付けて記憶手段に記憶させる記憶制御工程と、
    前記記憶手段の記憶残量を監視する記憶残量監視工程と、
    前記記憶残量監視工程で前記記憶手段の記憶残量が所定の残量閾値以下と判定されるときに、前記記憶手段に記憶されている画像情報のうち、前記フラグ情報に基づいて手振れが発生している画像情報を前記記憶手段から強制的に消去する画像情報消去工程と、
    を含むことを特徴とする画像情報の消去方法。
  6. 撮影された被写体像の画像情報を生成する画像情報生成工程と、
    前記被写体の撮像時に生じる手振れを検出し、手振れ情報として出力する手振れ情報出力工程と、
    前記手振れ情報に基づいて、該手振れの程度に応じたフラグ情報を生成するフラグ情報生成工程と、
    画像情報生成工程で得られた所定の画像情報に前記フラグ情報生成工程で生成されたフラグ情報を関連付けて記憶手段に記憶させる記憶制御工程と、
    前記記憶手段の記憶残量を監視する記憶残量監視工程と、
    前記記憶残量監視工程で前記記憶手段の記憶残量が所定の残量閾値以下と判定されるときに、前記記憶手段に記憶されている画像情報のうち、前記フラグ情報に基づいて手振れが発生している画像情報を前記記憶手段から強制的上書き可能な状態に設定する状態設定工程と、
    を含むことを特徴とする画像情報の状態設定方法。
JP2006173391A 2006-06-23 2006-06-23 電子スチルカメラ、画像情報の消去方法及び画像情報の状態設定方法 Expired - Fee Related JP4305473B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006173391A JP4305473B2 (ja) 2006-06-23 2006-06-23 電子スチルカメラ、画像情報の消去方法及び画像情報の状態設定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006173391A JP4305473B2 (ja) 2006-06-23 2006-06-23 電子スチルカメラ、画像情報の消去方法及び画像情報の状態設定方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP34935898A Division JP3915285B2 (ja) 1998-11-24 1998-11-24 電子スチルカメラ及びその画像処理方法

Publications (2)

Publication Number Publication Date
JP2006295972A JP2006295972A (ja) 2006-10-26
JP4305473B2 true JP4305473B2 (ja) 2009-07-29

Family

ID=37415942

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006173391A Expired - Fee Related JP4305473B2 (ja) 2006-06-23 2006-06-23 電子スチルカメラ、画像情報の消去方法及び画像情報の状態設定方法

Country Status (1)

Country Link
JP (1) JP4305473B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7362748B2 (ja) * 2019-08-28 2023-10-17 富士フイルム株式会社 撮像素子、撮像装置、撮像素子の作動方法、及びプログラム

Also Published As

Publication number Publication date
JP2006295972A (ja) 2006-10-26

Similar Documents

Publication Publication Date Title
JPH08331498A (ja) 画像データ再圧縮装置
CN104159021A (zh) 成像设备、成像方法和程序
JP3915285B2 (ja) 電子スチルカメラ及びその画像処理方法
JPWO2009025211A1 (ja) デジタルカメラ
US7855733B2 (en) Electronic camera and recording medium for images and image information and recording image reproduction program
US8723973B2 (en) Imaging apparatus using a recording medium with a function to transmit image data recorded in a predetermined folder to an external device, and recording reduced image data in a folder different from the predetermined folder after transmitting the image data, and control method and non-transitory computer readable storage medium thereof
JP2007295181A (ja) 撮像装置、画像記録装置及びそのプログラム
JP2002369125A (ja) 撮像装置およびその画像の削除方法
JP4570171B2 (ja) 情報処理装置および記録媒体
US7653303B2 (en) Digital camera and digital camera printing system applied thereon
JP4305473B2 (ja) 電子スチルカメラ、画像情報の消去方法及び画像情報の状態設定方法
JP2004104601A (ja) 撮像装置、撮像装置制御方法、その記録媒体およびそのプログラム
JP3880489B2 (ja) 撮像装置、撮像装置におけるデータ処理方法、記憶媒体およびプログラム
JP4826480B2 (ja) 撮像装置、画像管理方法及びプログラム
JP2006253998A (ja) 撮像装置および撮像方法
JP2009044728A (ja) データ記録装置、およびカメラ
JP4921118B2 (ja) 映像信号処理装置、映像信号処理方法、及びプログラム
JP2007267227A (ja) 画像解析装置、画像解析方法、画像解析プログラム及び撮像装置
JP4012471B2 (ja) デジタルカメラ
JP5055573B2 (ja) 電子カメラ
JP2006253761A (ja) 撮像装置およびプログラム
JP4520816B2 (ja) カメラ及び電子装置
JP4056353B2 (ja) デジタルカメラ
JP4571111B2 (ja) 情報処理装置および記録媒体
JP2005150835A (ja) 画像処理装置、デジタルカメラシステム、及びデジタルカメラ

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090123

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090407

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090420

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120515

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120515

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130515

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130515

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees