JP3885013B2 - 撮像装置、撮像装置制御方法、その記録媒体およびそのプログラム - Google Patents

撮像装置、撮像装置制御方法、その記録媒体およびそのプログラム Download PDF

Info

Publication number
JP3885013B2
JP3885013B2 JP2002265759A JP2002265759A JP3885013B2 JP 3885013 B2 JP3885013 B2 JP 3885013B2 JP 2002265759 A JP2002265759 A JP 2002265759A JP 2002265759 A JP2002265759 A JP 2002265759A JP 3885013 B2 JP3885013 B2 JP 3885013B2
Authority
JP
Japan
Prior art keywords
imaging
recording medium
data
image data
recording
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002265759A
Other languages
English (en)
Other versions
JP2004104601A (ja
Inventor
順一 馬庭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2002265759A priority Critical patent/JP3885013B2/ja
Priority to EP03255669A priority patent/EP1398949B1/en
Priority to CN03156594.8A priority patent/CN1231045C/zh
Priority to DE60325678T priority patent/DE60325678D1/de
Priority to US10/660,871 priority patent/US7324141B2/en
Publication of JP2004104601A publication Critical patent/JP2004104601A/ja
Application granted granted Critical
Publication of JP3885013B2 publication Critical patent/JP3885013B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は、撮像により画像データを生成する撮像装置、撮像装置制御方法、その記録媒体およびそのプログラムに関するものである。
【0002】
【従来の技術】
従来、電子スチルカメラ等の撮像装置において、撮像素子により光電変換された撮像信号は、多くの場合A/D変換回路によりディジタルデータである撮像データ(以下、RAW画像データとする)に変換される。次に、そのRAW画像データに対して必要な画像処理を行い、例えばRGB値から成る画像データを生成する。次に、その画像データに対してJPEG(Joint Photographic Experts Group)符号化に代表される非可逆データ圧縮を施して圧縮画像データを生成して記録媒体に格納する(この記録形式を以下、非可逆データ圧縮形式とする)ことで、限りある記録媒体の記録容量を効率的に利用している。
【0003】
しかし、画像データに対して非可逆データ圧縮を施すと、再生時に十分な画質が得られない場合があるという問題があった。また、圧縮前の画像データを記録媒体に記録したとしても、上述したRAW画像データを信号処理して画像データを生成する過程でホワイトバランス等の処理が行われていることから、使用者が記録媒体より読み出した圧縮前の画像データに対して画像処理を行うことが困難になる場合があるという問題があった。上述した問題を解決する撮像画像の記録形式として、撮像素子から読み出された画素ごとのディジタルデータであるRAW画像データをそのまま記録媒体に格納するRAW形式がある。このRAW形式は、使用者にとって撮影後に画像処理の自由度を持たせることができ、有益な記録形式であると言える。
【0004】
【発明が解決しようとする課題】
しかしながら、RAW画像データは、データ圧縮されていないか、圧縮されているとしても圧縮率の低い可逆データ圧縮形式である。このため、近年の撮像素子の高画素化やA/D変換器の精度向上(ビット数の増加)に伴い、RAW画像データのデータ量が増大し、容量的に限られた記録媒体に記録するには不便であるという問題がある。このデータ量の増大に対処する一方法として、使用者が大容量もしくは複数の記録媒体を携帯する方法があるが、当然コスト面においても使用者の負担を招き、かつ、記録時間も延びるため軽快な撮影動作を阻害するという問題がある。
本発明は上記問題点を鑑みてなされたものであり、使用者がRAW形式で記録したい場合に、簡単な操作で即座にRAW形式で撮影画像を記録でき、かつ記録媒体を効率的に使用することのできる撮像装置、撮像装置制御方法、その記録媒体およびそのプログラムを提供することを目的とする。
【0005】
【課題を解決するための手段】
この発明は、上述した課題を解決すべくなされたもので、本発明による撮像装置においては、撮像素子からの撮像信号をディジタル化した撮像データを保持する保持手段と、保持手段が保持している撮像データを処理して非可逆圧縮形式の画像データを生成する生成手段と、画像データ生成手段によって非可逆圧縮されていない撮像データを記録媒体に記録するよう指示された場合、撮像データを記録媒体に記録するとともに、生成手段によって生成された撮像データに対応する画像データを消去する制御手段とを具備することを特徴とする。
【0006】
また、本発明による撮像装置制御方法においては、撮像素子を具備する撮像装置を制御する撮像装置制御方法であって、撮像素子からの撮像信号をディジタル化した撮像データを保持する第一のステップと、第一のステップで保持している撮像データを処理して非可逆圧縮形式の画像データを生成する第二のステップと、非可逆圧縮されていない撮像データを記録媒体に記録するよう指示された場合、撮像データを記録媒体に記録するとともに、撮像データに対応する画像データを消去するよう制御する第三のステップとを有することを特徴とする。
【0007】
また、本発明による記録媒体は、撮像素子を具備する撮像装置を制御するプログラムを記録した記録媒体であって、撮像素子からの撮像信号をディジタル化した撮像データを保持する第一のステップと、第一のステップで保持している撮像データを処理して非可逆圧縮形式の画像データを生成する第二のステップと、撮像データを記録媒体に記録するよう指示された場合、撮像データを記録媒体に記録するとともに撮像データに対応する画像データを消去するよう制御する第三のステップとを撮像装置内のコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【0008】
また、本発明によるプログラムは、撮像素子を具備する撮像装置を制御するプログラムであって、撮像素子からの撮像信号をディジタル化した撮像データを保持する第一のステップと、第一のステップで保持している撮像データを処理して非可逆圧縮形式の画像データを生成する第二のステップと、撮像データを記録媒体に記録するよう指示された場合、撮像データを記録媒体に記録するとともに、撮像データに対応する画像データを記録媒体から消去するよう制御する第三のステップとを撮像装置内のコンピュータに実行させるためのプログラムである。
【0009】
これにより、本発明の撮像装置、撮像装置制御方法、その記録媒体およびそのプログラムによれば、撮像データを基に非可逆圧縮形式の画像データを生成して記録した記録媒体に撮像データを記録したい場合に記録指示を与えることで、撮像データを記録媒体に記録し、撮像データに対応する画像データを記録媒体から消去するよう撮像装置を制御することができる。すなわち、使用者がRAW形式(撮像データを記録する記録形式)で記録したい場合に、記録指示を与えるという簡単な操作で即座にRAW形式で撮影画像を記録でき、かつ画像データを消去することで記録媒体を効率的に使用することができる。
【0010】
【発明の実施の形態】
以下、図面を用いて本発明の実施形態について説明する。
図1は、本発明の一実施形態における撮像装置の構成を示すブロック図である。図1において、100は、撮像装置であり、具体的にはディジタルスチルカメラ等であって、撮影画像を記録媒体に記録する機能を有する。
【0011】
10は撮影レンズであり、12は絞り機能を備えるシャッタである。14は光学像を電気信号に変換する例えばCCD(Charge Coupled Device)やCMOSセンサなどの撮像素子である。16は撮像素子14のアナログ信号出力(撮像信号)をディジタル信号(撮像データ)に変換するA/D変換器である。18は、撮像素子14、A/D変換器16、D/A変換器26にクロック信号や制御信号を供給するタイミング発生回路である。また、タイミング発生回路18は、後述するメモリ制御回路22及びシステム制御回路50により制御される。
【0012】
20は画像処理回路であり、A/D変換器16からの撮像データ(以下、RAW画像データとする)や、メモリ制御回路22からの画像データに対して所定の画素補間処理や色変換処理を行う。また、画像処理回路20においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御回路50が露光制御回路40、測距制御手段42に対して制御を行う、TTL(スルー・ザ・レンズ)方式のAF(オートフォーカス)処理、AE(自動露出)処理を行っている。さらに、画像処理回路20においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてTTL方式のAWB(オートホワイトバランス)処理も行っている。
【0013】
22はメモリ制御回路であり、A/D変換器16、タイミング発生回路18、画像処理回路20および後述する画像表示メモリ24、D/A変換器26、メモリ30、圧縮・伸長回路32を制御する。このメモリ制御回路22の制御により、A/D変換器16が出力するRAW画像データが画像処理回路20、メモリ制御回路22を介して、或いはA/D変換器16が出力するRAW画像データが直接メモリ制御回路22を介して、後述する画像表示メモリ24或いはメモリ30に書き込まれる。
【0014】
24は画像表示メモリであり、後述する画像表示部28へ表示するための画像データを上述したメモリ制御回路22より受信する。26はD/A変換器であり、画像データをアナログの画像信号へ変換する。28はTFT(薄膜トランジスタ)・LCD等である画像表示部である。以上の構成により、画像表示メモリ24に書き込まれた表示用の画像データはD/A変換器26を介して画像表示部28により表示される。また、画像表示部28を用いて撮像した画像データを逐次表示すれば、電子ファインダ機能を実現することが可能である。また、画像表示部28は、システム制御回路50の指示により任意に表示をオン/オフすることが可能であり、表示をオフすることで撮像装置100の電力消費を大幅に低減することが出来る。
【0015】
30は撮影した静止画像や動画像を格納するためのメモリ(保持手段)であり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶容量を備えている。これにより、メモリ制御回路22は、複数枚の静止画像を連続して撮影する連射撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ30に対して行うことが可能となる。また、メモリ30はシステム制御回路50の作業領域としても使用することが可能である。
【0016】
32は適応離散コサイン変換(ADCT)等により画像データをJPEG方式で圧縮伸長する圧縮・伸長回路である。メモリ制御回路22の制御により、圧縮・伸長回路32は、メモリ30に格納された画像データを読み込んで例えばJPEG圧縮処理あるいはJPEG伸長処理を行い、処理を終えた画像データをメモリ30に書き込む。尚、圧縮・伸長回路32が処理可能な圧縮・伸長方式は、JPEG方式に限らず、種々の画像圧縮・伸長方式を処理可能として好適である。また、圧縮・伸長回路32が複数の圧縮・伸長方式で処理可能な場合は、使用者により所望の圧縮・伸長方式を選択させてよい。
【0017】
40は絞り機能を備えるシャッタ12を制御する露光制御回路である。42は撮影レンズ10の焦点調整を制御する測距制御手段である。44は撮影レンズ10のズーミングを制御するズーム制御手段である。また、上述した露光制御回路40、測距制御手段42はTTL方式を用いて制御されており、撮像した画像データを画像処理回路20によって演算した演算結果に基づき、後述するシステム制御回路50が露光制御回路40、測距制御手段42に対して制御を行う。
【0018】
50は撮像装置100全体を制御するシステム制御回路である。52はシステム制御回路50の動作用の定数、変数、プログラム等を記憶するメモリである。また、RAW画像データをメモリ30に記録するか否かを指示する記録指示を撮像装置100が予め保持する場合は、このメモリ52が記録指示に関する情報を保持する。すなわち、システム制御回路50は、メモリ52より読み出したプログラムを実行することで、撮像装置100の制御を行う。例えば、システム制御回路50は、メモリ52より上述した記録指示に関する情報を参照して、メモリ制御回路22を制御することで、メモリ30にRAW画像データを記録する処理を制御する。また、システム制御回路50は、後述する記録媒体200、210において記録可能な最大の情報量を示す記録容量や、メモリの空き容量を示す残容量などの情報を取得する機能を有する。
【0019】
54はシステム制御回路50でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態(撮影枚数、電池残量など)やメッセージ等を表示する液晶表示装置またはスピーカ等から構成される通知部である。この通知部54は、撮像装置100の操作部近辺の視認し易い位置に単数或いは複数個所設置され、例えばLCDやLED、発音素子等の組み合わせにより構成されている。また、通知部54は、その一部の機能が光学ファインダ104内に設置されている。
【0020】
通知部54の表示内容のうち、LCD等に表示するものとしては、動作モード表示、シングルショット/連写撮影表示、セルフタイマー表示、圧縮率表示、記録画素数表示、記録枚数表示、残撮影可能枚数表示、シャッタスピード表示、絞り値表示、露出補正表示、ストロボ表示、赤目緩和表示、マクロ撮影表示、ブザー設定表示、時計用電池残量表示、電池残量表示、エラー表示、複数桁の数字による情報表示、記録媒体200及び210の着脱状態表示、通信I/F動作表示、日付・時刻表示、RAW形式記録表示等がある。
【0021】
また、通知部54の表示内容のうち、光学ファインダ104内に表示するものとしては、動作モード表示、合焦表示、手振れ警告表示、ストロボ充電表示、シャッタスピード表示、絞り値表示、露出補正表示、RAW形式記録表示等がある。56は電気的に消去・記録可能な不揮発性メモリであり、例えばEEPROM等が用いられる。また、不揮発性メモリ56には、例えば撮像装置100の起動に必要なプログラム等が格納されている。
【0022】
また、モードダイアルスイッチ60、シャッタスイッチSW1・62、シャッタスイッチSW2・64および操作部70は、システム制御回路50の各種の動作指示を入力するための操作手段であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。
ここで、これらの操作手段の具体的な説明を行う。
【0023】
モードダイアルスイッチ60は、電源オフ、撮影モード、パノラマ撮影モード、再生モード、マルチ画面再生・消去モード等の各機能モードを切り替え設定することが出来る。シャッタスイッチSW1・62は、不図示のシャッタボタンの操作途中でオンとなる。シャッタスイッチSW2・64は、不図示のシャッタボタンの操作完了でオンとなる。上述したシャッタスイッチSW2・64がオンすることにより、システム制御回路50は、撮像素子12から読み出した撮像信号をA/D変換器16、メモリ制御回路22を介してメモリ30に撮像データ(RAW画像データ)として書き込む露光処理や、画像処理回路20やメモリ制御回路22での演算により撮像データ(RAW画像データ)より画像データを生成する現像処理や、メモリ30から画像データを読み出し、圧縮・伸長回路32で圧縮して圧縮画像データを生成し、記録媒体200或いは210にその圧縮画像データを書き込む記録処理という一連の処理の動作開始を指示する。
【0024】
操作部70は各種ボタンやタッチパネル等から構成され、具体的には、メニューボタン、セットボタン、マクロボタン、プラスボタン、マイナスボタン、再生ボタン、撮影画質選択ボタン、露出補正ボタン、画像表示ON/OFFボタン、RAW形式記録指示ボタン等がある。尚、上述したモードダイアルスイッチ60、操作部70の種類は一例であり、撮像装置100の有する機能に応じて任意に設けて好適である。また、操作部70のRAW形式記録指示ボタンを押下することで、撮像装置100のシステム制御回路50へ記録指示が伝達される
【0025】
90及び94はメモリカードやハードディスク等の記録媒体とのインターフェース回路である。92及び96は後述する記録媒体200や210と接続を行うためのコネクタである。98はコネクタ92や96に記録媒体200や210が装着されているか否かを検知する記録媒体着脱検知回路である。尚、本実施例では記録媒体200、210を取り付けるインターフェース及びコネクタを2系統持つものとして説明している。もちろん、記録媒体を取り付けるインターフェース及びコネクタは、単数或いは複数のいずれの系統数を備える構成としても構わない。また、異なる規格のインターフェース及びコネクタを組み合わせて備える構成としても構わない。
【0026】
さらに、インターフェース90及び94、コネクタ92及び96を所定の規格に準拠したものを用いて構成した場合、各種通信カードを接続することにより、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合う機能を撮像装置100が有することが出来る。また、光学ファインダ104は、画像表示部28による電子ファインダ機能を使用すること無しに、撮影を行うことが可能である。また、光学ファインダ104内には、通知部54の一部の機能、例えば、合焦表示、手振れ警告表示、ストロボ充電表示、シャッタスピード表示、絞り値表示、露出補正表示、RAW形式記録表示などが設けられていても良い。
【0027】
110は通信手段であり、RS232CやUSB、IEEE1394、LAN等の各種通信規格のいずれか一つまたは複数を利用して、有線通信または無線通信を行う機能を有する。112は通信手段110により撮像装置100を他の機器と接続する有線通信用のコネクタ或いは無線通信用のアンテナである。記録媒体200、210は、メモリカードやハードディスク等の不揮発性の記録媒体であり、撮像装置100に着脱可能な構成である。ここで、記録媒体200は、半導体メモリや磁気ディスク等から構成される記録部202、撮像装置100とのインターフェース204、撮像装置100と接続を行うコネクタ206を備えている。同様に、記録媒体210は、半導体メモリや磁気ディスク等から構成される記録部212、撮像装置100とのインターフェース214、撮像装置100と接続を行うコネクタ216を備えている。
【0028】
尚、図1のシステム制御部50の処理は、専用のハードウェアにより実現されるものであってもよく、また、各処理は撮像装置100内のメモリ52等より各処理を実現する為のプログラムを読み込んで実行することにより実現させるものであってもよい。
また、上記メモリ52等は、ハードディスク装置や光磁気ディスク装置、フラッシュメモリ等の不揮発性のメモリや、CD−ROM等の読み出しのみが可能な記録媒体、RAM(Random Access Memory)のような揮発性のメモリ、あるいはこれらの組み合わせによるコンピュータ読み取り、書き込み可能な記録媒体より構成されるものとする。
【0029】
次に、図1に示した撮像装置100の動作について説明する。
図2は、図1に示した撮像装置100におけるの撮影時のフローチャートを示す図である。図2を用いて、撮像装置100のRAW形式記録時の動作を説明する。
まず、撮像装置100において、シャッタスイッチSW2・64による指示により、システム制御回路50は、露光制御回路40を介して、シャッタ12を駆動し露光制御を実行する(ステップS100)。次に、適正期間露光後、システム制御回路50は、撮像素子14、A/D変換器16、画像処理回路20、メモリ制御回路22を介して、或いはA/D変換器16から直接メモリ制御回路22を介して、RAW画像データを読み出す。これにより、メモリ制御回路22は、メモリ30のRAWデータ領域へ読み出したRAW画像データを格納する(ステップS101)。
【0030】
このとき、画像処理回路20で行われる画像処理は、撮像素子12の縦横画素比率を1:1に補間する画素正方化処理等の、必要最低限の処理であり、メモリ30のRAWデータ領域には、非可逆圧縮されていない、実質的に撮像素子14から読み出したままのRAW画像データが格納されている。
【0031】
次に、上述したステップS101を終えた後、圧縮する記録形式として非可逆圧縮形式であるJPEG形式が指定されている場合、システム制御回路50は、メモリ30のRAWデータ領域に書き込まれたRAW画像データを読み出して、メモリ制御回路22そして必要に応じて画像処理回路20を用いて各種画像処理を施し画像データを生成する。更に、システム制御回路50は、圧縮・伸長回路32を用いて、指定されたJPEG形式に圧縮変換する画像圧縮処理を画像データに対して行い、非可逆圧縮された圧縮画像データを生成する。以上に示すように、システム制御回路50は、RAW画像データ処理を実行して、JPEG形式の圧縮画像データ(以下、JPEG画像データとする)を生成する(ステップS102)。
【0032】
次に、システム制御回路50は、上述したステップS102にて作成された非可逆圧縮形式のJPEG画像データをインターフェース90或いは94、コネクタ92或いは96を介して記録媒体200或いは210へ書き込むJPEGデータ記録処理を実行する(ステップS103)。次に、システム制御回路50は、撮影後に撮影画像を保存する前に確認するために保存される画像を画像表示部28に表示する(以下、レックレビュー表示とする)ようあらかじめ設定されている場合や、操作部70によりレックレビュー表示を指定された場合(ステップS104のYES)、生成した圧縮画像データを画像表示メモリ24およびD/A変換器26を介して、画像表示部28に表示(レックレビュー表示)する(ステップS105)。
【0033】
ここで、レックレビュー表示中に、操作部70によりRAW形式記録の指示が行われた場合、システム制御回路50は、図9に示すように画像表示部28に「RAW形式で記録しますか?」と確認のメッセージ表示枠およびそのメッセージに対して「キャンセル」、「OK」を選択する選択枠を含む記録形式選択枠28aを表示する(ステップS106)。尚、上述した選択枠は操作部70にて選択することができる。ここで記録形式選択枠28aの「キャンセル」が選択された場合や、「OK」の選択が行われない場合(ステップS106のNO)、次のステップS109へ進む。
【0034】
次に、ステップS109において、記録形式選択枠28aの「OK」の選択が行われないまま所定時間が経過してレックレビュー表示が終了した場合やシャッタスイッチ62、64もしくは操作部70の操作によりレックレビュー表示が終了した場合(ステップS109のYES)、RAW形式記録は実行されず、撮影動作が終了する。また、レックレビュー表示が終了していない場合(ステップS109のNO)は、ステップS106へ戻る。すなわち、記録形式選択枠28aが画像表示部28に表示され続ける。
【0035】
一方、記録形式選択枠28aにおいて「OK」が選択された場合(ステップS106のYES)、システム制御回路50は、記録メモリ30のRAWデータ領域に書き込まれているRAW画像データを読み出して、インターフェース90或いは94、コネクタ92或いは96を介して、記録媒体200或いは210へ記録する(ステップS107)。
【0036】
次に、システム制御回路50は、ステップS103で記録媒体200或いは210へ記録したJPEG画像データを消去し(ステップS108)、撮影動作を終了する。以上で、撮像装置100における一連の撮影動作が完了する。
このように、本発明によれば、RAW画像データを記録媒体200または210へ記録した後、JPEG画像データを記録媒体200または210から消去することにより、使用者が撮影中に任意に撮影画像をRAW形式で記録しながら、記録媒体を効率的に利用することが可能となる。
【0037】
尚、ここでは記録媒体200、210に書き込む画像データを対象として説明を行ったが、記録媒体200、210へ画像データを直接書き込むのではなく、遅延書き込み処理等を利用して、画像データを一旦画像バッファ上に書き込むように構成して、その画像バッファへ書き込む画像データに対しての処理としても同様である。
【0038】
また、ステップS106においてレックレビュー表示中にRAW形式記録を行うか否かを選択するものとして説明を行ったが、レックレビュー表示の状態によらず、撮影後、次の撮影を開始するまでの間であれば、任意のタイミングでRAW形式記録を指示できるようにすることも可能である。更には、ステップS108においてRAW形式記録処理の実行ごとにRAW画像データに対応するJPEG画像データを消去するとして説明したが、RAW形式記録を行ったRAW画像データに対応するJPEG画像データを、自動的にもしくは何らかの指示手段による処理開始指示により、後でまとめて記録媒体200、210から消去することも可能であるし、次回以降のRAW形式記録処理の際等、別のタイミングにより、RAW形式記録を行ったRAW画像データに対応するJPEG画像データを消去することも可能である。
【0039】
次に、図2に示したステップS107、S108の処理(以下、RAW形式記録処理とする)において、異なる第二のRAW形式記録処理例について図を用いて説明する。
図3は、図2に示したRAW形式記録処理と異なる第二のRAW形式記録処理例を示す図である。ここで第二のRAW形式記録処理とは、JPEG画像データを記録媒体から消去する際に、JPEG画像データに音声データやメモデータ等の付加データが付加されていた場合の、撮像装置100における処理例である。
【0040】
例えば操作部70からのRAW形式記録指示により、第二のRAW形式記録処理を開始する場合(図2のステップS106のYES)に、まず、システム制御回路50は、RAW画像データを記録媒体200または210へ記録する(ステップS110)。次に、システム制御回路50は、RAW画像データに対応するJPEG画像データに音声データやメモデータ等の付加データが付加されているかどうかを確認する(ステップS111)。
【0041】
ここで、JPEG画像データに付加データが付加されていない場合(ステップS111のNO)には、処理をステップS113に進める。また、JPEG画像データに付加データが添付されている場合(ステップS111のNO)には、システム制御回路50は、それらの付加データを対応するRAW画像データに付加して記録媒体200または210へ格納する(ステップS112)。次に、ステップS113において、システム制御回路50は、記録媒体200または210からJPEG画像データを消去する(S113)。以上により、撮像装置100における第二のRAW形式記録処理を完了する。
【0042】
以上に示したように、JPEG画像データに付加されていた付加データをRAW画像データへ付加し直すことにより、RAW画像データを記録媒体200または210へ記録した後に、RAW画像データに対応するJPEG画像データを記録媒体200または210から消去することで、JPEG画像データに付加された付加データが失われること無く、RAW形式記録処理を行うことが可能となる。
【0043】
尚、JPEG画像データに付加されていた付加データをRAW画像データに付加し直すか、JPEG画像データと一緒に消去するかを使用者に選択できるようにしてもよい。また、付加データを必ず消去するように設定することももちろん可能である。また、上記の付加データに画像記録形式データ等の情報が含まれている場合は、撮影画像の記録形式をJPEG形式からRAW形式に変更したことに応じて、その画像記録形式データ等を変更する必要がある。この場合は、撮像装置100は、付加データの必要個所(画像記録形式データ等)を自動的に修正することも可能である。
【0044】
次に、図2に示したRAW形式記録処理と異なる第三のRAW形式記録処理例について図を用いて説明する。
図4は、図2に示したRAW形式記録処理と異なる第三のRAW形式記録処理例を示す図である。ここで第三のRAW形式記録処理とは、RAW画像データを記録媒体へ記録した後、JPEG画像データを記録媒体から消去する処理である。
【0045】
例えば操作部70からのRAW形式記録指示により、第三のRAW形式記録処理を開始すると、まず、システム制御回路50は、RAW画像データを記録媒体200または210へ記録する(ステップS120)。次に、システム制御回路50は、記録媒体200または210からステップS120で記録したRAW画像データに応じたJPEG画像データを消去する(ステップS121)。以上により、撮像装置100は、第三のRAW形式記録処理を完了する。
【0046】
以上に示したように、第三のRAW形式記録処理においては、RAW画像データを記録媒体200または210へ記録した後、JPEG画像データを記録媒体200または210から消去することにより、画像データを確実に記録媒体200または210に記録することができる。例えば、JPEG画像データを記録媒体から消去した後、記録媒体へRAW画像データを記録する処理方法であると、その記録処理が完了するまでの間に、撮像装置の電源が遮断される等の不慮の事態が発生した場合に、撮影した画像データが記録媒体へ記録されずに失われてしまうが、上述した第三のRAW形式記録処理であれば、少なくともJPEG画像データまたはRAW画像データのいずれかが記録媒体に残るため、これを防止することが可能である。
【0047】
次に、図2に示したRAW形式記録処理と異なる第四のRAW形式記録処理例について図を用いて説明する。
図5は、図2に示したRAW形式記録処理と異なる第四のRAW形式記録処理例を示す図である。ここで第四のRAW形式記録処理とは、JPEG画像データを記録媒体から消去した後、RAW画像データを記録媒体へ記録する処理である。
【0048】
例えば操作部70からのRAW形式記録指示により、第四のRAW形式記録処理を開始すると、まず、システム制御回路50は、記録媒体200または210から次のステップで記録するRAW画像データに対応するJPEG画像データを消去する(ステップS130)。次に、システム制御回路50は、ステップS130において消去したJPEG画像データに対応するRAW画像データを記録媒体200または210へ記録する(ステップS131)。以上により、撮像装置100は、第四のRAW形式記録処理を完了する。
【0049】
以上に示したように、JPEG画像データを記録媒体200または210から消去した後、RAW画像データを記録媒体200または210へ記録することにより、記録媒体200または210におけるフラグメンテーションの発生を防止し、記録媒体200または210を効率的に利用することが可能となる。
【0050】
次に、図2に示したRAW形式記録処理と異なる第五のRAW形式記録処理例について図を用いて説明する。
図6は、図2に示したRAW形式記録処理と異なる第五のRAW形式記録処理例を示す図である。ここで第五のRAW形式記録処理とは、記録媒体の残容量に応じて、RAW画像データの記録媒体への記録と、JPEG画像データの記録媒体からの消去の順序を切り替える処理である。
【0051】
例えば操作部70からのRAW形式記録指示により、第五のRAW形式記録処理を開始すると、まず、システム制御回路50は、記録媒体200または210の残容量を確認する(ステップS140)。次に、記録媒体200または210の残容量が所定量以上の場合(ステップS140のYES)、システム制御回路50は、RAW画像データを記録媒体200または210へ記録する(S141)。次に、システム制御回路50は、記録媒体200または210からステップS141で記録したRAW画像データに対応するJPEG画像データを消去する(ステップS142)。以上により、撮像装置100は第五のRAW形式記録処理を完了する。
【0052】
また、記録媒体200または210の残容量が所定量に満たない場合(ステップS140のNO)、システム制御回路50は、記録媒体200または210からJPEG画像データを消去する(ステップS143)。次に、システム制御回路50は、RAW画像データを記録媒体200または210へ記録する(ステップS144)。以上により、撮像装置100は第五のRAW形式記録処理を完了する。
【0053】
以上に示したように、記録媒体200または210の残容量に応じて、RAW画像データの記録媒体200または210への記録と、JPEG画像データの記録媒体200または210からの消去の順序を切り替えることにより、記録媒体200または210の残容量が充分にある場合は、撮影済みの画像データの安全性を優先して(記録が先)記録媒体200または210への記録を行い、記録媒体200または210の残容量が少ない場合は、記録媒体200または210の利用効率を優先して(消去が先)記録媒体200または210への記録を行うことができる。これにより、撮像装置100は、撮影済みの画像データの安全性を保持しながら、残容量に応じて記録媒体200または210を効率的に利用することが可能となる。
【0054】
ここで、RAW画像データの記録媒体200または210への記録と、JPEG画像データの記録媒体200または210からの消去の順序を切り替える閾値となる、記録媒体の残容量は、任意に設定できるようにしてもよい。また、記録媒体200または210の残容量によらず、常にどちらかの順序で記録処理を行うよう設定できるようにすることも可能である。
【0055】
次に、図2に示したRAW形式記録処理と異なる第六のRAW形式記録処理例について図を用いて説明する。
図7は、図2に示したRAW形式記録処理と異なる第六のRAW形式記録処理例を示す図である。ここで第六のRAW形式記録処理とは、RAW画像データを記録媒体へ記録した後、JPEG画像データを記録媒体から消去するか否かを選択する処理である。
【0056】
例えば操作部70からのRAW形式記録指示により、第六のRAW形式記録処理を開始すると、システム制御回路50は、RAW画像データを記録媒体200または210へ記録する(ステップS150)。次に、システム制御回路50は、図10に示すように画像表示部28に「JPEGデータを消去しますか?」というメッセージ表示枠およびそのメッセージに対して「キャンセル」、「OK」を選択する選択枠からなるデータ消去選択枠28bを表示する(ステップS151)。これにより、使用者にJPEG画像データを記録媒体から消去するか否かを問い合わせる。ここで、操作部70を用いてデータ消去選択枠28bの「キャンセル」が選択された場合(ステップS151のNO)には、記録媒体200または210からJPEG画像データを消去せずに、撮像装置100は、第六のRAW形式記録処理を完了する。
【0057】
一方、操作部70を用いてデータ消去選択枠28bにおいて「OK」が選択された場合(ステップS151のYES)、消去指示がシステム制御回路50へ伝達され、その消去指示を基にシステム制御回路50は、記録媒体200または210からステップS150で記録したRAW画像データに対応するJPEG画像データを消去する(ステップS152)。すなわち、撮像装置100は、使用者の操作部70の操作による外部から入力された消去指示に応じてJPEG画像データの消去を制御する。以上により、撮像装置100は第六のRAW形式記録処理を完了する。
【0058】
このようにして、JPEG画像データを記録媒体200または210から消去するか否かを撮像装置100の使用者が選択できるようにすることで、RAW形式記録処理を実行する際に、使用者が希望する画像については、RAW画像データと共に、JPEG画像データを記録媒体200または210に記録しておくことが可能となる。
【0059】
次に、図2に示したRAW形式記録処理と異なる第七のRAW形式記録処理例について図を用いて説明する。
図8は、図2に示したRAW形式記録処理と異なる第七のRAW形式記録処理例を示す図である。ここで第七のRAW形式記録処理とは、RAW形式記録時に記録媒体の空き容量がRAW形式記録に必要な量に満たない場合にその旨を使用者へ警告する処理である。
【0060】
例えば操作部70からのRAW形式記録指示により、第七のRAW形式記録処理を開始すると、システム制御回路50は、記録媒体200または210の残り容量を確認する(ステップS160)。ここで、記録媒体200または210の残り容量が所定量以上の場合(ステップS160のYES)、システム制御回路50は、RAW画像データを記録媒体200または210へ記録する(ステップS161)。次に、システム制御回路50は、記録媒体200または210からJPEG画像データを消去する(ステップS162)。以上により、撮像装置100は第七のRAW形式記録処理を完了する。
【0061】
また、記録媒体200または210の残り容量が所定量に満たない場合(ステップS160のNO)、RAW画像データの記録およびJPEG画像データの消去を行わず、図11に示すように画像表示部28に「RAW形式で記録できません」という警告を伝えるメッセージ表示枠28cを表示する(ステップS163)。以上により、撮像装置100は第七のRAW形式記録処理を完了する。これにより、撮像装置100は、使用者にRAW形式記録が行えないことを警告することができる。
【0062】
尚、上述した実施形態においては使用者への警告は、画像表示装置28を用いて行うと説明したが、光学ファインダ104内に表示したり、撮像装置100にスピーカを設けて警告音を発音したりすることにより、RAW形式記録が行えないことを警告することも可能である。
【0063】
また、上述した実施形態の説明においては、非可逆データ圧縮形式の一例としてJPEG形式を用いて説明を行ったが、他の非可逆データ圧縮形式であっても勿論構わない。また、RAW形式データは非データ圧縮形式であるように説明したが、これをデータ劣化のない可逆データ圧縮形式としても勿論構わない。
【0064】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【0065】
【発明の効果】
以上説明したように、本発明の撮像装置、撮像装置制御方法、その記録媒体およびそのプログラムによれば、撮像データを基に非可逆圧縮形式の画像データを生成して記録した記録媒体に撮像データを記録したい場合に記録指示を与えることで、撮像データを記録媒体に記録し、撮像データに対応する非可逆圧縮形式の画像データを記録媒体から消去するよう撮像装置を制御することができる。すなわち、使用者がRAW形式(撮像データを記録する記録形式)で記録したい場合に、記録指示を与えるという簡単な操作で即座にRAW形式で撮影画像を記録でき、かつ画像データを消去することで記録媒体を効率的に使用することができる。
【0066】
また、本発明の撮像装置においては、上記制御を行う制御手段を具備し、その制御手段は、消去する画像データに付加データが付加されている場合に、生成された画像データに対応する撮像データに付加データを付加して記録媒体に記録するよう制御するので、画像データに付加された付加データが失われること無く、撮像データの記録処理を行うことができる。
【0067】
また、本発明の撮像装置においては、上記制御手段は、撮像データを記録媒体に記録した後に、撮像データに対応する画像データを消去するよう制御するので、撮像データまたは画像データを確実に記録媒体に記録することができる。
【0068】
また、本発明の撮像装置においては、上記制御手段は、記録媒体より撮像データに対応する画像データを消去した後に、撮像データを記録媒体に記録するよう制御するので、記録媒体におけるフラグメンテーションの発生を防止し、記録媒体を効率的に利用することができる。
【0069】
また、本発明の撮像装置においては、上記制御手段は、記録媒体の残容量が所定量より多い場合は、撮像データを記録媒体へ記録した後に撮像データに対応する画像データを記録媒体から消去し、記録媒体の残容量が所定量より少ない場合は、撮像データに対応する画像データを記録媒体から消去した後に撮像データを記録媒体へ記録するよう制御するので、撮影済みの画像データの安全性を保持しながら、残容量に応じて記録媒体を効率的に利用することができる。
【0070】
また、本発明の撮像装置においては、上記制御手段は、撮像データに対応する画像データを記録媒体から消去する際に、外部から入力される消去するか否かを指示する消去指示に応じて消去の処理を制御するので、撮像データの記録処理を実行する際に、使用者が希望する画像については、撮像データと共に、画像データを記録媒体に記録することができる。
【0071】
また、本発明の撮像装置においては、上記制御手段は、記録媒体の残容量が所定量より少ない場合に、使用者に撮像データの記録が実行できないことを警告し、撮像データを記録媒体に記録しないよう制御するので、使用者に撮像データの記録が行えないことを警告することができる。
【図面の簡単な説明】
【図1】本発明の一実施形態における撮像装置の構成を示すブロック図である。
【図2】図1に示した撮像装置100におけるの撮影時のフローチャートを示す図である。
【図3】図2に示したRAW形式記録処理と異なる第二のRAW形式記録処理例を示す図である。
【図4】図2に示したRAW形式記録処理と異なる第三のRAW形式記録処理例を示す図である。
【図5】図2に示したRAW形式記録処理と異なる第四のRAW形式記録処理例を示す図である。
【図6】図2に示したRAW形式記録処理と異なる第五のRAW形式記録処理例を示す図である。
【図7】図2に示したRAW形式記録処理と異なる第六のRAW形式記録処理例を示す図である。
【図8】図2に示したRAW形式記録処理と異なる第七のRAW形式記録処理例を示す図である。
【図9】図1に示した画像表示部28に表示される記録形式選択枠の例を示す図である。
【図10】図1に示した画像表示部28に表示されるデータ消去選択枠の例を示す図である。
【図11】図1に示した画像表示部28に表示されるメッセージ表示枠の例を示す図である。
【符号の説明】
100 撮像装置
10 撮影レンズ 、12 シャッタ
14 撮像素子 、16 A/D変換器
18 タイミング発生回路 、20 画像処理回路
22 メモリ制御回路 、24 画像表示メモリ
26 D/A変換器 、28 画像表示部
30 メモリ 、32 画像圧縮・伸長回路
40 露光制御回路 、42 測距制御手段
44 ズーム制御手段 、50 システム制御回路
52 メモリ 、54 通知部
56 不揮発性メモリ 、60 モードダイアルスイッチ
62 シャッタスイッチSW1 、64 シャッタスイッチSW2
70 操作部 、90,94 インターフェース
92,96 コネクタ 、98 記録媒体着脱検知手段
104 光学ファインダ 、110 通信手段
112 コネクタ(またはアンテナ)
200,210 記録媒体
202,212 記録部
204,214 インターフェース
206,216 コネクタ

Claims (12)

  1. 撮像素子からの撮像信号をディジタル化した撮像データを保持する保持手段と、
    前記保持手段が保持している前記撮像データを処理して非可逆圧縮形式の画像データを生成する生成手段と、
    前記画像データ生成手段によって非可逆圧縮されていない撮像データを記録媒体に記録するよう指示された場合、前記撮像データを前記記録媒体に記録するとともに、前記生成手段によって生成された前記撮像データに対応する画像データを消去する制御手段と
    を具備することを特徴とする撮像装置。
  2. 前記制御手段は、消去する前記画像データに付加データが付加されている場合に、前記生成手段によって生成された画像データに対応する撮像データに付加データを付加して前記記録媒体に記録するよう制御することを特徴とする請求項1に記載の撮像装置。
  3. 前記制御手段は、前記撮像データに対応する画像データを消去した後に、前記撮像データを前記記録媒体に記録するよう制御することを特徴とする請求項1に記載の撮像装置。
  4. 前記制御手段は、前記撮像データを前記記録媒体に記録した後に、前記撮像データに対応する画像データを消去するよう制御することを特徴とする請求項1に記載の撮像装置。
  5. 前記制御手段は、前記生成手段による画像データの生成に応じて前記記録媒体に前記画像データを記録するように制御され、前記記録媒体の残容量が所定量より多い場合は、前記撮像データを前記記録媒体へ記録した後に前記撮像データに対応する前記画像データを前記記録媒体から消去し、前記記録媒体の残容量が前記所定量より少ない場合は、前記撮像データに対応する前記画像データを前記記録媒体から消去した後に前記撮像データを前記記録媒体へ記録するよう制御することを特徴とする請求項1に記載の撮像装置。
  6. 前記制御手段は、前記撮像データに対応する前記画像データを前記記録媒体から消去する際に、外部から入力される消去するか否かを指示する消去指示に応じて消去の処理を制御することを特徴とする請求項1に記載の撮像装置。
  7. 前記制御手段は、前記記録媒体の残容量が所定量より少ない場合に、使用者に撮像データの記録が実行できないことを警告し、撮像データを前記記録媒体に記録しないよう制御することを特徴とする請求項1に記載の撮像装置。
  8. 前記撮像データは、前記撮像素子から読み出したままのデータまたは可逆圧縮されたデータであることを特徴とする請求項1に記載の撮像装置。
  9. 前記記録媒体は、前記撮像装置に着脱可能であることを特徴とする請求項1に記載の撮像装置。
  10. 撮像素子を具備する撮像装置を制御する撮像装置制御方法であって、
    前記撮像素子からの撮像信号をディジタル化した撮像データを保持する第一のステップと、
    前記第一のステップで保持している前記撮像データを処理して非可逆圧縮形式の画像データを生成する第二のステップと、
    前記非可逆圧縮されていない撮像データを記録媒体に記録するよう指示された場合、前記撮像データを前記記録媒体に記録するとともに、前記撮像データに対応する画像データを消去するよう制御する第三のステップと
    を有することを特徴とする撮像装置制御方法。
  11. 撮像素子を具備する撮像装置を制御するプログラムを記録した記録媒体であって、
    前記撮像素子からの撮像信号をディジタル化した撮像データを保持する第一のステップと、
    前記第一のステップで保持している前記撮像データを処理して非可逆圧縮形式の画像データを生成する第二のステップと、
    前記撮像データを記録媒体に記録するよう指示された場合、前記撮像データを前記記録媒体に記録するとともに前記撮像データに対応する画像データを消去するよう制御する第三のステップと
    を前記撮像装置内のコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
  12. 撮像素子を具備する撮像装置を制御するプログラムであって、
    前記撮像素子からの撮像信号をディジタル化した撮像データを保持する第一のステップと、
    前記第一のステップで保持している前記撮像データを処理して非可逆圧縮形式の画像データを生成する第二のステップと、
    前記撮像データを記録媒体に記録するよう指示された場合、前記撮像データを記録媒体に記録するとともに、前記撮像データに対応する画像データを前記記録媒体から消去するよう制御する第三のステップと
    を前記撮像装置内のコンピュータに実行させるためのプログラム。
JP2002265759A 2002-09-11 2002-09-11 撮像装置、撮像装置制御方法、その記録媒体およびそのプログラム Expired - Fee Related JP3885013B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2002265759A JP3885013B2 (ja) 2002-09-11 2002-09-11 撮像装置、撮像装置制御方法、その記録媒体およびそのプログラム
EP03255669A EP1398949B1 (en) 2002-09-11 2003-09-10 Image sensing apparatus and data processing method used therein
CN03156594.8A CN1231045C (zh) 2002-09-11 2003-09-10 摄影装置和摄影装置中的数据处理方法
DE60325678T DE60325678D1 (de) 2002-09-11 2003-09-10 Datenverarbeitungsverfahren und Bildaufnahmevorrichtung
US10/660,871 US7324141B2 (en) 2002-09-11 2003-09-11 Image sensing apparatus and data processing method used therein

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002265759A JP3885013B2 (ja) 2002-09-11 2002-09-11 撮像装置、撮像装置制御方法、その記録媒体およびそのプログラム

Publications (2)

Publication Number Publication Date
JP2004104601A JP2004104601A (ja) 2004-04-02
JP3885013B2 true JP3885013B2 (ja) 2007-02-21

Family

ID=32264806

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002265759A Expired - Fee Related JP3885013B2 (ja) 2002-09-11 2002-09-11 撮像装置、撮像装置制御方法、その記録媒体およびそのプログラム

Country Status (1)

Country Link
JP (1) JP3885013B2 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4852830B2 (ja) * 2004-07-28 2012-01-11 ソニー株式会社 画像処理装置及び画像処理方法
JP4560422B2 (ja) * 2005-02-16 2010-10-13 キヤノン株式会社 撮像装置及びその制御方法
JP2007019745A (ja) * 2005-07-06 2007-01-25 Nikon Corp 画像処理システム
JP4743180B2 (ja) 2006-09-28 2011-08-10 セイコーエプソン株式会社 画像表示制御装置、撮影装置、画像表示方法及びそのプログラム
JP4743179B2 (ja) 2006-09-28 2011-08-10 セイコーエプソン株式会社 画像表示制御装置、撮影装置、画像表示方法及びそのプログラム
CN100525396C (zh) * 2006-09-28 2009-08-05 精工爱普生株式会社 图像显示控制装置、摄影装置以及图像显示方法
JP5317547B2 (ja) * 2008-06-19 2013-10-16 キヤノン株式会社 画像処理装置及び画像処理装置の制御方法
JP5561044B2 (ja) * 2010-09-07 2014-07-30 カシオ計算機株式会社 撮像装置、撮像方法及びプログラム
JP6283170B2 (ja) * 2013-03-26 2018-02-21 京セラ株式会社 携帯通信装置、撮影方法及び撮影プログラム
JP6341745B2 (ja) * 2014-04-24 2018-06-13 キヤノン株式会社 画像処理装置、およびそれを備えた撮像装置、画像処理方法

Also Published As

Publication number Publication date
JP2004104601A (ja) 2004-04-02

Similar Documents

Publication Publication Date Title
JP4481842B2 (ja) 撮像装置及びその制御方法
JP4809960B2 (ja) 画像処理装置、方法および記録媒体
JP4035543B2 (ja) 撮像装置
JP5366584B2 (ja) 撮像装置、画像処理方法およびプログラム
JP2005176136A (ja) 画像処理装置、画像再生方法、プログラムおよび記憶媒体
US7324141B2 (en) Image sensing apparatus and data processing method used therein
JP3885013B2 (ja) 撮像装置、撮像装置制御方法、その記録媒体およびそのプログラム
US6937281B1 (en) Image pickup apparatus, method and computer program procduct in which a decision to finish a displayed image is made and/or and a kept displayed image is processed
JP4095383B2 (ja) 撮像装置及びその制御方法並びに記憶媒体
JP2011077654A (ja) 撮像装置、その制御方法、及びプログラム
JP2007028070A (ja) 画像保存装置、画像保存方法及び制御プログラム
US20040032490A1 (en) Image sensing apparatus, image sensing method, program, and storage medium
JP4574426B2 (ja) データ処理装置装置およびデータ処理方法
JP4818158B2 (ja) 画像処理装置、その制御方法、及びコンピュータプログラム
JP4948011B2 (ja) 撮像装置及びその制御方法、コンピュータプログラム及び記憶媒体
JP2007189524A (ja) 画像処理装置及び画像処理方法
JP2007214774A (ja) 撮像装置
JP4701297B2 (ja) 画像処理装置、方法および記録媒体
JP2002152557A (ja) 電子カメラ装置および画像処理装置
JP4717762B2 (ja) 画像再生装置、画像再生装置の制御方法、プログラム、及び記録媒体
JP2008092075A (ja) 撮影装置及びそのプログラム
JP2006345188A (ja) 撮像装置及びその制御方法
JP2007267000A (ja) 撮像装置及び撮像装置の制御方法
JP2006203665A (ja) 撮像装置及び方法、並びに記録媒体及びプログラム
JP2003046850A (ja) 画像処理装置、画像処理方法、記録媒体及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050907

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20061018

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061120

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101124

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101124

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111124

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121124

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131124

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees