JP4467232B2 - 画像記録装置及び方法 - Google Patents

画像記録装置及び方法 Download PDF

Info

Publication number
JP4467232B2
JP4467232B2 JP2002349714A JP2002349714A JP4467232B2 JP 4467232 B2 JP4467232 B2 JP 4467232B2 JP 2002349714 A JP2002349714 A JP 2002349714A JP 2002349714 A JP2002349714 A JP 2002349714A JP 4467232 B2 JP4467232 B2 JP 4467232B2
Authority
JP
Japan
Prior art keywords
image
still image
moving image
recording
shooting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002349714A
Other languages
English (en)
Other versions
JP2004186866A (ja
Inventor
大介 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2002349714A priority Critical patent/JP4467232B2/ja
Publication of JP2004186866A publication Critical patent/JP2004186866A/ja
Application granted granted Critical
Publication of JP4467232B2 publication Critical patent/JP4467232B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は画像記録装置及び方法に係り、特に、静止画撮像モードと動画撮像モードとに切り替えて使用できる画像記録装置及び方法に関する。
【0002】
【従来の技術】
近年、静止画撮像モードと動画撮像モードとに切り替えて使用できるデジタルカメラ、カメラ一体型VTR等の画像記録装置が普及しつつある。この種の画像記録装置の使用方法の一例として、たとえば、結婚式の披露宴を動画撮像モードで撮影している際に、シャッターチャンスにめぐり合った場合には静止画撮像モードに瞬間的に切り換えて、格好のポジションの静止画像を撮影する使用方法が挙げられる。
【0003】
この種の画像記録装置では撮像手段(レンズ系、CCD等)を1組しか備えていないのが一般的であり、静止画像を撮影している間の動画像の記録が抜けてしまうという問題点を有している。この問題点の対処方法として、静止画像を動画像の抜けた部分にはめ込むという方法が採用されている例が多い。
【0004】
ところが、上記したような使用方法では、静止画像を撮影するときにのみ補助光源としてのストロボ等を発光させることが多く、静止画像が動画像より明るく撮影され、これを動画像の抜けた部分にはめ込むと、動画像を再生した場合に見苦しい画像となってしまう。
【0005】
このような問題点の対処方法として、いくつかの提案がなされている(特許文献1参照)。
【0006】
【特許文献1】
特開平5−37896号公報
【0007】
【発明が解決しようとする課題】
しかしながら、上記従来技術(特許文献1)は、静止画像を撮影している際にストロボ発光があった場合、発光があった際に記録されるべき動画のフレームの1つ前のフレームを記録することにより、動画像からストロボ発光により明るくなったフレームを除去するものである。この方法では、ストロボ発光があった際のフレームが1つ前のフレームで代替されるため、動画像の動きが一瞬停止し、不自然になってしまうという欠点が残る。
【0008】
本発明は、このような事情に鑑みてなされたもので、動画撮像モードで撮影している際に、静止画撮像モードに瞬間的に切り換えて静止画像を撮影する場合であっても、自然な感じの動画像が得られる画像記録装置及び方法を提供することを目的としている。
【0009】
【課題を解決するための手段】
前記目的を達成するために、本発明は、撮像手段と、記録手段と、静止画撮像モードと動画撮像モードとに切り替えるモード切り換え手段と、撮影された画像の解像度を変換する解像度変換手段と、を備え、撮像した静止画像及び動画像をそれぞれ前記記録手段中の記録媒体の異なる領域に記録する画像記録装置であって、発光手段と、前記静止画撮モードでの静止画撮影時に前記発光手段を発光させて撮影する場合には、静止画像撮影の間のみ前記発光手段により被写体を照明するとともに、適正露出になるように調光して静止画像を撮影する手段と、を備え、前記動画撮像モードでの動画像撮影中に撮影者による静止画撮像の操作があると、前記モード切り換え手段により静止画像撮影の間のみ静止画撮像モードに切り換えて静止画像を撮影し、前記撮影された静止画像を、前記記録手段により前記記録媒体の静止画像用の領域に記録するとともに、前記撮影された静止画像の解像度を、前記解像度変換手段により動画像の解像度に合せて解像度変換し、前記解像度変換された静止画像を、前記記録手段により動画像の1フレームとして前記動画像の該当領域に、前記静止画の撮影前に記録されている動画像の最終フレームに連続して記録することを特徴とする画像記録装置を提供する。
また、本発明は、撮像手段と、記録手段と、静止画撮像モードと動画撮像モードとに切り替えるモード切り換え手段と、撮影された画像の解像度を変換する解像度変換手段と、発光手段と、を備え、撮像した静止画像及び動画像をそれぞれ前記記録手段中の記録媒体の異なる領域に記録する画像記録方法であって、前記動画撮像モードでの動画像撮影中に撮影された動画像を前記記録媒体の動画像用の領域に記録し、前記動画撮像モードでの動画像撮影中に撮影者による静止画撮像の操作があると、前記モード切り換え手段により静止画像撮影の間のみ静止画撮像モードに切り換えて静止画像を撮影するとともに、前記発光手段を発光させて静止画撮影する場合には、静止画像撮影の間のみ前記発光手段により被写体を照明し、適正露出になるように調光して静止画像を撮影し、前記静止画撮影した静止画像を前記記録媒体の静止画像用の領域に記録するとともに、該静止画像の解像度を前記解像度変換手段により動画像の解像度に合せる解像度変換を行い、該解像度変換された静止画像を前記記録手段により動画像の1フレームとして前記記録媒体の動画像用の領域に、前記静止画の撮影前に記録されている動画像の最終フレームに連続して記録し、前記静止画撮モードでの前記静止画像の撮影後、前記動画撮モードに切り換えて動画像撮影及び記録を継続することを特徴とする画像記録方法を提供する。
【0010】
本発明によれば、動画像撮影中に静止画撮像モードが選択された場合、この撮影された静止画像の解像度を動画像の解像度に合せて解像度変換し、動画像として動画像の該当領域に記録する。したがって、自然な感じの動画像が得られる。
【0012】
補助光源なしでの動画像撮影中に静止画撮像モードが選択された場合、静止画像の撮影の際にのみストロボ等の補助光源(発光手段)を使用すると、良質の静止画像が得られることが多いが、このような場合に本発明の効果がより一層発揮できるからである。
【0013】
【発明の実施の形態】
以下添付図面に従って、本発明に係る画像記録装置及び方法の好ましい実施の形態について詳説する。図1は、本発明に係る画像記録装置のハードウェア構成例を示すブロック図である。
【0014】
この画像記録装置の例は、撮影した静止画像や動画像をメモリカード19に記録するデジタルカメラであり、カメラ全体の動作は、中央処理装置(CPU)20によって統括制御される。
【0015】
デジタルカメラには、二段ストローク・ タイプのシャッタボタン22の第1段階の押下によりS1オン信号が発生し、シャッタボタン22の第2段階の押下によりS2オン信号が発生する。 発生したS1オン信号およびS2オン信号は、CPU20に入力する。
【0016】
また、デジタルカメラには、撮影モードと再生モードとを切り換えるためのモード・ スイッチ21が設けられている。 撮影モードが設定されるときには、モード・ スイッチ21のa端子が接続され、再生モードが設定されるときには、モード・ スイッチ21のb端子が接続される。 接続状況を示す信号は、CPU20に入力する。
【0017】
デジタルカメラはストロボ発光可能なようにストロボ発光装置(発光手段)24が設けられている。 このストロボ発光装置24はストロボ制御装置23により発光制御される。
【0018】
被写体を示す画像光は、フォーカスレンズを含むレンズ光学系1及び虹彩絞り2を介して固体撮像素子(CCD)3の受光面に結像される。レンズ光学系1は、CPU20によって制御されるモータ・ドライバ11によって駆動され、フォーカス制御等が行われる。虹彩絞り2は、5枚の絞り羽根からなり、CPU20によって制御されるモータ・ドライバ12によって駆動され、使用絞りがF2.8 〜F11まで1/3・AV 刻みで13段階に絞り制御される。
【0019】
また、CPU20は、モータ・ ドライバ12を介して虹彩絞り2を制御するとともに、タイミング・ジェネレータ13を介してCCD3での電荷蓄積時間(シャッタスピード)を制御する。
【0020】
CCD3に蓄積された信号電荷は、タイミング・ジェネレータ13から加えられる転送パルスによって信号電荷に応じた電圧信号として順次読み出される。CCD3から順次読み出された電圧信号は、相関二重サンプリング回路(CDS回路)/増幅器4に加えられ、ここで各画素ごとのR、G、B信号がサンプリングホールドされ、増幅されたのちA/D変換器5に加えられる。A/D変換器5は、順次入力するR、G、B信号をデジタルのR、G、B信号に変換して画像入力コントローラ6に出力する。
【0021】
信号処理回路7は、画像入力コントローラ6を介して入力するデジタルの画像信号に対して、オフセット処理、ホワイトバランス補正及び感度補正を含むゲイン・ コントロール処理、ガンマ補正処理等の所定の信号処理を行う。
【0022】
信号処理回路7で処理された画像データは、VRAM17に入力する。VRAM17には、それぞれが1駒分の画像を表す画像データを記憶するA領域とB領域とが含まれている(物理的に領域が分割されている必要はなく、論理的に領域を分けることができればよい) 。VRAM17において1駒分の画像を表す画像データがA領域とB領域とで交互に書き換えられる。VRAM17のA領域及びB領域のうち、画像データが書き換えられている方の領域以外の領域から、書き込まれている画像データが読み出される。VRAMから読み出された画像データはビデオ・エンコーダ9においてエンコーディングされ、カメラ背面に設けられている液晶モニタなどの画像表示装置10に出力され、これにより被写体像が画像表示装置10の表示画面上に表示される。
【0023】
シャッタボタン22の第1段階の押下があると、AE動作及びAF動作が開始する。 すなわち、A/D変換器5から出力される画像データがAF検出回路14並びにAE/AWB検出回路15に入力し、AF検出回路14では、画像のコントラスト情報をCPU20に出力する。AE/AWB検出回路15では、撮像領域を水平方向8、垂直方向8に分割して得られる各分割領域ごとにR、G、Bの画像データをR、G、Bごとに積算し、各領域ごとの、かつR、G、Bごとの各積算データをCPU20に出力する。
【0024】
CPU20は、AF検出回路14から入力するコントラスト情報に基づいてモータ・ドライバ11を介してレンズ光学系1を制御するとともに、AE/AWB検出回路15から入力する積算データより被写体の明るさ(撮影Ev値)を算出し、この撮影Ev値に基づいて虹彩絞り2の絞り値及びCCD3の電子シャッタ(シャッタスピード)を決定し、決定した絞り値に基づいてモータ・ ドライバ12を介して虹彩絞り2を制御するとともに、決定したシャッタスピードに基づいてタイミング・ジェネレータ13を介してCCD3での電荷蓄積時間を制御する。
【0025】
AE動作及びAF動作が終了し、シャッタボタン22の第2段階の押下があると、その押下に応答してA/D変換器5から出力される1駒分の画像データが画像入力コントローラ6からメモリ(SDRAM) 16に入力し、一時的に記憶される。
【0026】
画像データは、メモリ16から読み出され、信号処理回路7において輝度データ及び色差データの生成処理(YC処理)を含む所定の信号処理が行われる。YC処理された画像データ(YCデータ)は、信号処理回路7から読み出され、再びメモリ16に記憶される。続いて、YCデータは圧縮伸長処理回路8に出力され、JPEG (joint photgraphic experts group)などの所定の圧縮処理が実行される。 圧縮されたYCデータは、再びメモリ16に出力されて記憶されたのち、メディア・コントローラ18によって読み出され、メモリカード19に記録される。
【0027】
モード・スイッチ21により再生モードが設定されると、メモリカード19に記録されている圧縮されたYCデータが読み出され、メモリ16に一時的に記憶される。この圧縮されたYCデータは、メモリ16から読み出され、圧縮伸長回路8においてデータ伸長される。伸長されたYCデータは、メモリ16に出力され再び記憶されたのち、メモリ16から読み出され、ビデオ・エンコーダ9を介して画像表示装置10に入力する。 これにより、メモリカード19に記録されている画像データによって表される画像が画像表示装置10の表示画面上に表示されるようになる。
【0028】
以上で説明したのは、静止画像撮影の流れに対応したハードウェア構成であるが、動画像撮影においてもこれに準じるハードウェア構成が使用されることより、詳細の説明は省略する。なお、静止画撮像モードと動画撮像モードとに切り替えるためのモード切り替えスイッチ25が設けられている。 静止画撮影モードが設定されるときには、モード切り替えスイッチ25のa端子が接続され、動画撮像モードが設定されるときには、モード切り替えスイッチ25のb端子が接続される。 接続状況を示す信号は、CPU20に入力する。
【0029】
以上のハードウェア構成のうち、撮影された画像の解像度を変換する解像度変換手段の役割は、主に信号処理回路7とCPU20が分担する。
【0030】
次に、本発明に係る画像記録装置において、動画撮像モードでの動画像撮影中に静止画撮像モードが選択された場合のフローの概略について説明する。図2(a)は、この動作の流れを説明するフロー図である。
【0031】
動画撮像モードが選択され、動画の撮影が開始(ステップS1)され、動画の撮影が行われる(ステップS2)。この間で、操作者により静止画撮像の要求(操作)があった場合(ステップS3)、必要に応じて補助光源(ストロボ発光装置24)を発光させ(ステップS4)、略同時に静止画撮像モードに切り換え静止画像を撮影(記録)する(ステップS5)。
【0032】
次いで、記録した静止画像をメモリカード(記録媒体)19の静止画像用の領域に記録するとともに、この静止画像の解像度を動画像記録用に解像度変換し、動画像の1フレームとしてメモリカード(記録媒体)19の動画像用の領域に記録する(ステップS6)。なお、このステップS6の詳細については、後で詳述する。
【0033】
そして、以下、ステップS2に戻り動画の撮影が継続され、この撮影中に再度操作者により静止画撮像の要求があった場合には、同様の手順で撮影(記録)がなされる。静止画撮像の要求がなかった場合には、撮影終了の操作があるまで動画の撮影が継続される(ステップS2)。
【0034】
以上が本発明に係る画像記録装置において、動画撮像モード中に静止画像を撮影するフローであるが、従来技術もこれと比較して説明する。図2(c)は、従来の一般的なデジタルカメラによる、動画撮像中に静止画像を撮影するフローであり、図2(b)は、従来技術(特許文献1)の記録装置による、動画撮像中に静止画像を撮影するフローである。
【0035】
これらのフローのうち、動画の撮影開始(ステップS11、S21)から静止画像の記録(ステップS15、S25)までは、図2(a)の本発明のフローと同一なので、説明は省略する。
【0036】
図2(c)の従来の一般的なデジタルカメラの場合には、補助光源(ストロボ発光装置等)が発光した場合、記録する動画像中に大幅に露出オーバーなフレームを生じてしまい、不自然な動画像となってしまう。
【0037】
図2(b)の従来技術(特許文献1)の場合には、既述したように、補助光源(ストロボ発光装置等)が発光した際の動画フレームをスキップして動画像の記録がなされる(ステップS16)。この場合には、記録された動画像の動きが一瞬不自然になるといった不具合を生じる。
【0038】
これに対し、本発明に係る画像記録装置によれば、静止画記録画像は適正露出に調光されているため、動画像撮影中に撮影されても、不自然な動画像とはならない。
【0039】
次に、解像度変換に関するステップS6の詳細について説明する。図3は、この解像度変換の流れを示すフロー図である。この例では、静止画像の記録データは、1600×1200ピクセルとなっている。
【0040】
先ず、この静止画像の記録データに対し、信号処理回路7により縮小処理を行う(ステップS61)。次いで、縮小処理されたデータに対し、圧縮伸長処理回路8によりデータ圧縮処理を行う(ステップS62)。そして、圧縮処理されたデータをメディア・コントローラ18を経由して記録メディア(メモリカード19)に動画像記録データとして記録する(ステップS63)。処理が終了すると、通常の動画処理(図2(a)のステップS2)へ復帰する(ステップS999)。
【0041】
以上、本発明に係る画像記録装置の実施形態の例について説明したが、本発明は上記実施形態の例に限定されるものではなく、各種の態様が採り得る。
【0042】
たとえば、本実施形態の例では、画像記録装置としてデジタルカメラが使用されているが、これ以外の装置、たとえば、カメラ一体型VTR等の装置も採用できる。
【0043】
また、画像記録装置のハードウェア構成において、記録媒体として、メモリ(SDRAM) 16、VRAM17及びメモリカード19の組み合わせが採用されているが、ハードディスク装置、磁気テープ等の記録媒体を採用したり、各種の構成例が採用できる。
【0044】
【発明の効果】
以上説明したように、本発明によれば、動画像撮影中に静止画撮像モードが選択された場合、この撮影された静止画像の解像度を動画像の解像度に合せて解像度変換し、動画像として動画像の該当領域に記録する。したがって、自然な感じの動画像が得られる。
【図面の簡単な説明】
【図1】本発明に係る画像記録装置のハードウェア構成例を示すブロック図
【図2】動画撮像モード中に静止画像を撮影する際の流れを示すフロー図
【図3】解像度変換の流れを示すフロー図
【符号の説明】
1…レンズ光学系、2…虹彩絞り、3…固体撮像素子(CCD)、7…信号処理回路、10…画像表示装置、15…AE/AWB検出回路、20…中央処理装置(CPU)、22…シャッタボタン、23…ストロボ制御装置、24…ストロボ発光装置(発光手段)、25…モード切り替えスイッチ

Claims (2)

  1. 撮像手段と、記録手段と、静止画撮像モードと動画撮像モードとに切り替えるモード切り換え手段と、撮影された画像の解像度を変換する解像度変換手段と、を備え、撮像した静止画像及び動画像をそれぞれ前記記録手段中の記録媒体の異なる領域に記録する画像記録装置であって、
    発光手段と、
    前記静止画撮モードでの静止画撮影時に前記発光手段を発光させて撮影する場合には、静止画像撮影の間のみ前記発光手段により被写体を照明するとともに、適正露出になるように調光して静止画像を撮影する手段と、を備え、
    前記動画撮像モードでの動画像撮影中に撮影者による静止画撮像の操作があると、前記モード切り換え手段により静止画像撮影の間のみ静止画撮像モードに切り換えて、前記静止画像を撮影し、
    前記撮影された静止画像を、前記記録手段により前記記録媒体の静止画像用の領域に記録するとともに、
    前記撮影された静止画像の解像度を、前記解像度変換手段により動画像の解像度に合せて解像度変換し、
    前記解像度変換された静止画像を、前記記録手段により動画像の1フレームとして前記動画像の該当領域に、前記静止画の撮影前に記録されている動画像の最終フレームに連続して記録することを特徴とする画像記録装置。
  2. 撮像手段と、記録手段と、静止画撮像モードと動画撮像モードとに切り替えるモード切り換え手段と、撮影された画像の解像度を変換する解像度変換手段と、発光手段と、を備え、撮像した静止画像及び動画像をそれぞれ前記記録手段中の記録媒体の異なる領域に記録する画像記録方法であって、
    前記動画撮像モードでの動画像撮影中に撮影された動画像を前記記録媒体の動画像用の領域に記録し、
    前記動画撮像モードでの動画像撮影中に撮影者による静止画撮像の操作があると、前記モード切り換え手段により静止画像撮影の間のみ静止画撮像モードに切り換えて静止画像を撮影するとともに、前記発光手段を発光させて静止画撮影する場合には、静止画像撮影の間のみ前記発光手段により被写体を照明し、適正露出になるように調光して静止画像を撮影し、
    前記静止画撮影した静止画像を前記記録媒体の静止画像用の領域に記録するとともに、該静止画像の解像度を前記解像度変換手段により動画像の解像度に合せる解像度変換を行い、該解像度変換された静止画像を前記記録手段により動画像の1フレームとして前記記録媒体の動画像用の領域に、前記静止画の撮影前に記録されている動画像の最終フレームに連続して記録し、
    前記静止画撮モードでの前記静止画像の撮影後、前記動画撮モードに切り換えて動画像撮影及び記録を継続することを特徴とする画像記録方法。
JP2002349714A 2002-12-02 2002-12-02 画像記録装置及び方法 Expired - Fee Related JP4467232B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002349714A JP4467232B2 (ja) 2002-12-02 2002-12-02 画像記録装置及び方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002349714A JP4467232B2 (ja) 2002-12-02 2002-12-02 画像記録装置及び方法

Publications (2)

Publication Number Publication Date
JP2004186866A JP2004186866A (ja) 2004-07-02
JP4467232B2 true JP4467232B2 (ja) 2010-05-26

Family

ID=32752172

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002349714A Expired - Fee Related JP4467232B2 (ja) 2002-12-02 2002-12-02 画像記録装置及び方法

Country Status (1)

Country Link
JP (1) JP4467232B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4552631B2 (ja) * 2004-12-03 2010-09-29 株式会社ニコン デジタルカメラ
EP1667418B1 (en) 2004-12-03 2013-01-16 Nikon Corporation Digital camera having video file creating function
KR100713404B1 (ko) 2005-03-24 2007-05-04 삼성전자주식회사 동영상 녹화 중 사진 촬영을 할 수 있는 장치 및 방법
JP4035543B2 (ja) 2005-04-04 2008-01-23 キヤノン株式会社 撮像装置
JP4984476B2 (ja) * 2005-09-30 2012-07-25 ソニー株式会社 映像表示装置および機能追加デバイス
JP5896181B2 (ja) 2014-01-23 2016-03-30 カシオ計算機株式会社 撮像装置、撮像制御方法、及びプログラム
JP6090485B2 (ja) * 2016-02-15 2017-03-08 カシオ計算機株式会社 撮像装置、撮像制御方法、及びプログラム

Also Published As

Publication number Publication date
JP2004186866A (ja) 2004-07-02

Similar Documents

Publication Publication Date Title
JP4569389B2 (ja) 撮像装置、画像処理方法及びプログラム
JP2003008948A (ja) 電子カメラ及びその画像表示方法並びに画像記録方法
JP4556195B2 (ja) 撮像装置、動画再生装置及びそのプログラム
JP2004120576A (ja) デジタルカメラ
JP2009111518A (ja) 撮像装置、画像再生装置及びそのプログラム、画像ファイルのデータ構造
JP2004289376A (ja) デジタルカメラ
JP2009077272A (ja) 撮像装置及びそのプログラム
JP4245782B2 (ja) 撮像装置
JP2001203926A (ja) 撮像装置および方法
JP4123352B2 (ja) 動画撮像装置及び動画再生装置
JP4467232B2 (ja) 画像記録装置及び方法
JP4033456B2 (ja) デジタルカメラ
JP2009089037A (ja) 撮影制御装置、撮影制御方法、撮影制御プログラム、および撮影装置
JP2009077265A (ja) 撮像装置
JP5012985B2 (ja) 撮像装置及びそのプログラム
JP4179711B2 (ja) 電子カメラ
JP4045377B2 (ja) 情報処理装置および記録媒体
JP3727841B2 (ja) デジタルスチルカメラ
JPH11112841A (ja) デジタルカメラ
JP4558108B2 (ja) 情報処理装置、情報処理方法、および、記録媒体
JP2003061103A (ja) 撮像装置およびホワイトバランス調整方法およびその動作処理プログラム
JP2006094200A (ja) 撮像装置、合焦表示方法及びプログラム
JP4306182B2 (ja) 撮像制御装置および撮像制御方法、並びにプログラムおよび記録媒体
JP4539901B2 (ja) 面順次発光ストロボ付きデジタルカメラ
JP2000059656A (ja) デジタルカメラ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050315

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061211

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061226

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070226

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070514

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070711

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20070905

A912 Removal of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20071005

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100223

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130305

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130305

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140305

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees