JP5222047B2 - 撮像装置及びその制御方法 - Google Patents

撮像装置及びその制御方法 Download PDF

Info

Publication number
JP5222047B2
JP5222047B2 JP2008174958A JP2008174958A JP5222047B2 JP 5222047 B2 JP5222047 B2 JP 5222047B2 JP 2008174958 A JP2008174958 A JP 2008174958A JP 2008174958 A JP2008174958 A JP 2008174958A JP 5222047 B2 JP5222047 B2 JP 5222047B2
Authority
JP
Japan
Prior art keywords
image
memory
moving image
stored
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008174958A
Other languages
English (en)
Other versions
JP2010016651A (ja
JP2010016651A5 (ja
Inventor
淳 寺島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2008174958A priority Critical patent/JP5222047B2/ja
Publication of JP2010016651A publication Critical patent/JP2010016651A/ja
Publication of JP2010016651A5 publication Critical patent/JP2010016651A5/ja
Application granted granted Critical
Publication of JP5222047B2 publication Critical patent/JP5222047B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)

Description

本発明は、動画撮影が可能な撮像装置及びその制御方法に関するものである。
近年、デジタルカメラやデジタルビデオカメラなどの様に、CCD等の撮像素子を用いて撮影した画像をデジタル画像データとして記録する撮像装置が数多く市場に出回ってきている。デジタルカメラでは、従来より記録媒体として使用していた感光フィルムを使用せずに、半導体メモリカードやハードディスク装置等のデータ記録媒体に、撮影したデジタル画像データを記録する。これらのデータ記録媒体はフィルムと違って何度でも書き込むことができ、また簡単に消去できる。またフィルムのように現像しなくても撮影した画像をカメラの表示部に表示して確認できる。また必要な画像のみを現像し保存できるため、現像等のための消耗品の経費を少なく抑えることができる。このような利便性と、撮像素子の高画素化などの技術革新により、デジタルカメラの利用範囲は拡大しており、近年では一眼レフ方式などのように、レンズ交換が可能なデジタルカメラも多くなってきている。
更に上述したデジタルカメラの中には動画像を撮影できるものがある。このようなデジタルカメラでは、動画像の撮影を開始して動画像の撮影が終了した直後に、その撮影した動画像を表示部で再生して、その動画像の内容を確認することができる。このような機能は、レックレビュー(rec review)とよばれ、その機能を指示するボタンが撮影スタンバイ中に押されると、録画済の部分を数秒間再生してスタンバイ状態に戻るように動作する。また撮影した画像を確認するのにも使用される。
特許文献1は、表示部を有するビデオカメラ等で、撮影した動画像の内容を短時間で簡単に把握するために、撮影した動画像のダイジェストを表示する表示方法と、そのダイジェストを作成するための撮影した動画像の抜粋、及び選択方法を提案している。このような技術を利用することにより、ユーザが撮影する意図を反映したダイジェストを作成することができ、これを動画像を撮影した後に表示させることで、ユーザは、その撮影した動画像の内容を容易に確認できることが記載されている。
特開平06−165009号公報
しかしながら、上記の特許文献1に記載の技術は、動画の撮影時に操作されたボタン操作の履歴に基づいて、ダイジェストで使用する画像を抜粋、選択するものである。このため、この従来技術には以下のような問題がある。
(1)動画の記録時間、即ち動画の撮影開始から終了までの時間はまちまちであリ、また、その動画撮影中にボタンが操作されるとは限らない。このため、その撮影状況によってはダイジェスト用のレックレビュー画像(確認用画像)が生成されない場合が生じる。また動画の記録時間が長時間になった場合などには、レックレビュー画像の数が極端に増えてしまい、レックレビュー画像を再生して表示するだけでも長時間を要し、迅速性が要求される撮影直後の画像確認ができなくなってしまう。
(2)レックレビュー画像は、静止画像、動画像を問わず撮影終了の直後に一時的に使用するものである。このため、そのレックレビュー画像は通常、バッファメモリ等の揮発性メモリに記憶される。このため、動画の記録時間が長時間に亘り、レックレビュー画像の枚数(データ量)が増えるとバッファメモリの総容量に占めるレックレビュー画像データの量が多くなり、撮像装置は機能低下を起こしてしまうことになる。
本発明は、このような従来技術の問題点を解決するためになされたものである。
本発明の一態様に係る撮像装置及びその制御方法よれば、動画像が撮影可能な撮像装置において、動画撮影時間の長短に関係なく、生成される動画信号の確認用画像データフレーム数が所定値を超えないようにメモリに記録する数を制御できる。このため、メモリを圧迫することなく、処理時間にばらつきが生じることもない。従って、処理動作が早く、且つ安定した撮像装置が実現できる。
上記目的を達成するために本発明の一態様に係る撮像装置は以下のような構成を備える。即ち、
撮像手段と、
前記撮像手段により得られた動画信号を記録媒体に記録する記録手段と、
前記動画信号の記録を開始した後、前記撮像手段により得られた動画信号から所定の間隔でフレームを抽出し、前記抽出したフレームを前記記録媒体に記録された動画信号の確認用画像データとしてメモリに記憶する確認用画像生成手段と、
前記動画信号の記録を開始した後、前記メモリに記憶された前記確認用画像データのフレーム数が所定数に達したことに応じて、前記所定数に達した時点で前記メモリに記憶されている前記確認用画像データから、前記メモリに記憶された順に1フレームおきに一部の前記確認用画像データを削除するとともに、前記確認用画像生成手段による前記確認用画像データの抽出間隔を長く設定する制御手段と、
前記動画信号の記録を終了した後、前記メモリに記憶されている前記確認用画像データを順次読み出して表示する表示手段と、を有することを特徴とする。
上記目的を達成するために本発明の一態様に係る撮像装置の制御方法は以下のような工程を備える。即ち、
撮像手段により動画撮影が可能な撮像装置の制御方法であって、
前記撮像手段により得られた動画信号を記録媒体に記録する記録工程と、
前記動画信号の記録を開始した後、前記撮像手段により得られた動画信号から所定の間隔でフレームを抽出し、前記抽出したフレームを前記記録媒体に記録された動画信号の確認用画像データとしてメモリに記憶する確認用画像生成工程と、
前記動画信号の記録を開始した後、前記メモリに記憶された前記確認用画像データのフレーム数が所定数に達したことに応じて、前記所定数に達した時点で前記メモリに記憶されている前記確認用画像データから、前記メモリに記憶された順に1フレームおき一部の前記確認用画像データを削除するとともに、前記確認用画像生成工程による前記確認用画像データの抽出間隔を長く設定する制御工程と、
前記動画信号の記録を終了した後、前記メモリに記憶されている前記確認用画像データを順次読み出して表示する表示工程と、を有することを特徴とする。
本発明によれば、動画信号の確認用画像データがメモリの容量に占める割合を一定量に抑えることができるため、撮像装置における機能低下を招く心配がないという効果がある。
以下、添付図面を参照して本発明の好適な実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
[実施形態1]
図1は、本発明の実施形態に係る撮像装置の機能構成を示すブロック図である。
同図において、100は、例えばデジタルカメラやデジタルビデオカメラ等の撮像装置である。10は撮影レンズであり、12は絞り機能を備えるシャッタである。撮像素子14は、入射した光学像を電気信号に変換する。A/D変換器16は、撮像素子14から出力されるアナログ信号をディジタル信号に変換する。タイミング発生回路18は、撮像素子14とA/D変換器16とD/A変換器26とに、それらの動作を制御するクロック信号や制御信号を供給している。このタイミング発生回路18は、メモリ制御回路22及びシステム制御回路50により制御される。システム制御回路50は、CPU120、CPU120により実行されるプログラムを記憶しているプログラムメモリ121、CPU120による処理時に各種データを記憶するワークメモリとして使用されるRAM122を備えている。またタイマ123は、CPU120からの指示に従って、計時を開始し、その指示された時間が経過するとCPU120に対して割り込み等を発生して、その時間が経過したことを通知する機能を有している。
画像処理回路20はフィルタ回路やゲイン回路が組み合わされており、A/D変換器16からデジタル信号又はメモリ制御回路22からのデータに対して所定の画素補間処理や色変換処理を行う。また画像処理回路20は、撮像した画像データを用いて所定の演算処理を行う。その演算の結果に基づいて、システム制御回路50が露光制御部40及び測距制御部42を制御する、TTL(スルーザレンズ)方式のAF(オートフォーカス)処理、AE(自動露出)処理及びEF(フラッシュプリ発光)処理を行う。更に画像処理回路20は、撮像した画像データを用いて所定の演算処理を行い、その演算により得られた演算結果に基づいてTTL方式のAWB(オートホワイトバランス)処理も行う。
メモリ制御回路22は、A/D変換器16、タイミング発生回路18、画像処理回路20、画像表示メモリ24、D/A変換器26、第1のメモリ30及び圧縮・伸長回路32を制御し、静止画像の再生表示及び動画のスルー画表示、再生表示を制御する。またA/D変換器16から出力されるデジタル信号は、画像処理回路20及びメモリ制御回路22を介して、または直接、メモリ制御回路22を介して、画像表示メモリ24或は第1のメモリ30に書き込まれる。画像表示メモリ24は、画像表示部28に表示される画像データを格納する。D/A変換器26は、メモリ制御回路22を介して入力されるデジタル画像データをアナログ信号に変換して画像表示部28に出力している。画像表示部28は、例えばTFT方式の液晶等で構成されており、画像表示メモリ24に書き込まれた表示用の画像データはD/A変換器26を介して画像表示部28により表示される。この画像表示部28を用いて撮像した画像データを逐次表示すれば、電子ファインダ機能を実現することが可能である。また画像表示部28は、システム制御回路50の指示により、任意に表示をオン/オフでき、表示をオフにした場合には撮像装置100の電力消費を大幅に低減することができる。第1のメモリ30は、撮影された静止画像や動画像を格納するためのメモリで、所定枚数の静止画像や、所定時間の動画像を一時的に格納するための揮発性メモリ、所謂バッファメモリである。これにより複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像データを第1のメモリ30に対して書き込むことが可能となる。また第1のメモリ30は、システム制御回路50の作業領域としても使用することが可能である。圧縮・伸長回路32は、適応離散コサイン変換(ADCT)等により画像データを圧縮或は伸長する。圧縮・伸長回路32は、第1のメモリ30に格納された画像データを読み出して圧縮処理または伸長処理を行い、その処理を行った画像データを第1のメモリ30に書き込む。
露光制御部40は、前述の絞り機能を備えるシャッタ12を制御しており、フラッシュ部48と連携することによりフラッシュ調光機能も有している。測距制御部42は、撮影レンズ10のフォーカシングを制御している。露光制御部40及び測距制御部42は、TTL方式を用いて制御されており、撮像した画像データを画像処理回路20によって演算した演算結果に基づき、システム制御回路50が露光制御部40及び測距制御部42に対して制御を行う。ズーム制御部44は、撮影レンズ10のズーミングを制御する。バリア制御部46は、バリアである保護部102の動作を制御する。フラッシュ部48は、キセノン管による発光部とコンデンサによる充電部とを具備し、充電電圧検出機能、AF補助光の投光機能、フラッシュ調光機能等を有している。
システム制御回路50は、撮像装置100全体の動作を制御している。第2のメモリ52は、このシステム制御回路50の動作用の定数、変数、プログラム等を記憶している。第2のメモリ52は更に、AEで用いるプログラム線図も格納している。このプログラム線図は、露出値に対する絞り開口径とシャッタ速度の制御値との関係を定義したテーブルである。
表示部54は、システム制御回路50でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を表示する液晶表示装置、スピーカ等を含んでいる。この表示部54は、撮像装置100の操作部近辺の視認し易い位置に単数または複数箇所設置され、例えばLCDやLED、発音素子等の組み合わせにより構成されている。また表示部54は、その一部の機能が光学ファインダ104内に設置されている。この表示部54の表示内容のうち、液晶表示装置に表示するものには、シングルショット/連写撮影表示、セルフタイマ表示、圧縮率表示、記録画素数表示、記録枚数表示、残撮影可能枚数表示、シャッタスピード表示、絞り値表示、露出補正表示がある。更に、フラッシュ表示、赤目緩和表示、マクロ撮影表示、ブザー設定表示、時計用電池残量表示、電池残量表示、エラー表示、複数桁の数字による情報表示、記録媒体200及び210の着脱状態表示、通信I/F動作表示、日付・時刻表示等がある。また表示部54の表示内容のうち、光学ファインダ104内に表示するものとしては、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタスピード表示、絞り値表示、露出補正表示等がある。
不揮発性メモリ56は、電気的に消去・記録可能なメモリで、例えばEEPROM等である。60,61,62,64,66及び70は、システム制御回路50の各種の動作指示を入力するための操作部材等であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数または複数の組み合わせで構成される。次にこれらの操作部材等の具体的な説明を行う。
モードダイアルスイッチ60は、電源オフ、自動撮影モード、撮影モード、パノラマ撮影モード、再生モード、マルチ画面再生・消去モード、PC接続モード等の各機能モードを切り替えて設定するのに使用される。動画ボタン61は、動画撮影の開始と終了とを指示するのに使用され、動画撮影されていないときに押下されると動画撮影開始となり、動画撮影中に押下されると動画撮影終了となる。シャッタスイッチ(SW1)62は、不図示のシャッタボタンの操作途中でオンとなり、AF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理、EF(フラッシュプリ発光)処理等の動作開始を指示する。シャッタスイッチ(SW2)64は、不図示のシャッタボタンの操作完了でオンとなる。シャッタスイッチ(SW2)64は、撮像素子14から読み出した画像信号をA/D変換器16及びメモリ制御回路22を介して第1のメモリ30に画像データに対する現像処理を指示するのに使用される。即ち、画像データに対する露光処理、画像処理回路20やメモリ制御回路22での演算を用いた現像処理を指示するのに使用される。更には、第1のメモリ30から画像データを読み出し、圧縮・伸長回路32で圧縮し、記録媒体200,210に、その圧縮した画像データを書き込む記録処理という一連の処理の動作開始を指示する。画像表示オン/オフスイッチ66は、画像表示部28のオン/オフを設定するのに使用される。この機能により、光学ファインダ104を用いて撮影を行う際に、LCD等からなる画像表示部28への電流供給を遮断することにより、省電力を図ることが可能となる。操作部70は各種ボタンやタッチパネル等を具備し、これらボタンは、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写/連写/セルフタイマ切り替えボタンを含む。更に、メニュー移動+(プラス)ボタン、メニュー移動−(マイナス)ボタン、再生画像移動+(プラス)ボタン、再生画像−(マイナス)ボタン、撮影画質選択ボタン、露出補正ボタン、日付/時間設定ボタン等を含んでいる。
電源制御部80は、電池検出回路、DC−DCコンバータ、通電するブロックを切り替えるスイッチ回路等を含んでいる。電源制御部80は、電池の装着の有無、電池の種類、電池残量の検出を行い、その検出結果及びシステム制御回路50の指示に基づいてDC−DCコンバータを制御している。そして、必要な電圧を必要な期間、記録媒体200,210を含む各部へ供給する。第1の内側コネクタ82及び第1の外側コネクタ84は、アルカリ電池やリチウム電池等の一次電池やニッカド電池やニッケル水素電池、リチウムイオン電池等の二次電池、ACアダプタ等からなる電源部86を接続している。
第1のインターフェース90及び第2のインターフェース94はそれぞれ、メモリカードやハードディスク等の記録媒体200,210とのインターフェースである。第2の内側コネクタ92及び第3の内側コネクタ96のそれぞれは、メモリカードやハードディスク等の記録媒体200,210のそれぞれと接続している。記録媒体着脱検知部98は、これら第2及び第3のコネクタ92,96のそれぞれに、各記録媒体200,210が装着されているか否かを検知している。
尚、本実施形態では、記録媒体を取り付けるインターフェース及びコネクタを2系統持つものとして説明している。もちろん、記録媒体を取り付けるインターフェース及びコネクタは、単数又は複数のいずれの系統数を備える構成としても構わない。また、異なる規格のインターフェース及びコネクタを組み合わせて備える構成としても構わない。インターフェース及びコネクタとしては、PCMCIAカードやCF(コンパクトフラッシュ(登録商標))カード等の規格に準拠したものを用いて構成して構わない。更に、第1及び第2のインターフェース90,94、第2及び第3の内側コネクタ92,96をPCMCIAカードやCF(コンパクトフラッシュ(登録商標))カード等の規格に準拠したものを用いて構成しても良い。またLANカードやモデムカード、USBカード、IEEE1394カード、P1284カード、SCSIカード、PHS等の通信カード、等の各種通信カードを接続しても良い。この場合には、他のコンピュータやプリンタ等の周辺機器との間で、画像データや画像データに付属した管理情報を相互に転送できる。
保護部102は、撮像装置100のレンズ10を含む撮像部を覆うことにより、撮像部の汚れや破損を防止するバリアとして機能する。光学ファインダ104を使用すると、画像表示部28による電子ファインダ機能を使用することなく、光学ファインダ104のみを用いて撮影を行うことが可能である。また、この光学ファインダ104内には、表示部54の一部の機能、例えば、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタスピード表示、絞り値表示、露出補正表示などが設置されている。
通信部110は、RS232CやUSB,IEEE1394,P1284,SCSI,モデム、LAN、無線通信、等の各種通信機能を有する。コネクタ112は、通信部110により撮像装置100を他の機器と接続するコネクタ、もしくは無線通信の場合はアンテナである。
第1の記録媒体200はメモリカードやハードディスク等の記録媒体である。この第1の記録媒体200は、半導体メモリや磁気ディスク等から構成される第1の記録部202と、撮像装置100との間の第3のインターフェース204と、撮像装置100と接続する第2の外側コネクタ206とを備えている。第2の記録媒体210は、メモリカードやハードディスク等の記録媒体である。この第2の記録媒体210は、半導体メモリや磁気ディスク等から構成される第2の記録部212と、撮像装置100との間の第4のインターフェース214と、撮像装置100と接続する第3の外側コネクタ216とを備えている。
[第1実施形態]
図2乃至図5は、本発明の第1実施形態に係る撮像装置100のシステム制御回路50による処理手順の一例を示すフローチャートである。尚、この処理を実行するプログラムはプログラムメモリ121に記憶されており、CPU120の制御の下に実行される。
まず、図2のフローチャートに示す処理について説明する。
この処理は電池交換等の電源投入により開始され、先ずステップS201で、システム制御回路50はフラグや制御変数等を初期化する。次にステップS202に進み、画像表示部28の画像表示をオフ状態に初期設定する。次にステップS203に進み、システム制御回路50は、モードダイアルスイッチ60の設定位置を判断する。ここでモードダイアルスイッチ60が電源オフの位置であった場合はステップS205に進み、各表示部の表示を終了状態に変更し、保護部102のバリアを閉じて撮像部を保護する。更に、フラグや制御変数等を含む必要なパラメータや設定値、設定モードを不揮発性メモリ56に記録し、電源制御部80により画像表示部28を含む撮像装置100各部の不要な電源を遮断する等の所定の終了処理を行う。
一方、ステップS203で、モードダイアルスイッチ60が動画撮影モードの位置であった場合はステップS206に進む。またステップS203で、モードダイアルスイッチ60がその他のモードの位置であった場合はステップS204に進み、システム制御回路50は、その選択されたモードに応じた処理を実行し、その処理を終えるとステップS203に戻る。
動画撮影モードの場合はステップS206で、システム制御回路50は電源制御部80を使用して、電池等により構成される電源部86の残容量や動作情況が、動画撮影において支障となるかものであるか否かを判断する。この判断の結果、支障になると判断するとステップS208に進み、表示部54を用いて画像や音声により所定の警告表示を行ってステップS203に戻る。
一方、ステップS206で動画撮影に支障がないと判断するとステップS207に進み、システム制御回路50は、記録媒体200或は記録媒体210の動作状態が撮像装置100の動作、特に動画データの記録再生動作に問題があるか否かを判断する。この判断の結果、問題があると判断すると前述のステップS208に進むが、ステップS207の判断の結果、問題が無いと判断するとステップS209に進む。
ステップS209では、スルー画像(静止画を撮影する前後にファインダ機能として表示させるための撮像素子14によって撮像された動画像)を画像表示部28に表示するための撮影準備の初期化を行う。そして撮影準備が完了するとステップS210に進み、スルー画像を画像表示部28に表示する。このスルー画像表示状態では、撮像素子14、A/D変換器16、画像処理回路20及びメモリ制御回路22を介して、画像表示メモリ24に逐次書き込まれたデータを、メモリ制御回路22、D/A変換器26を介して画像表示部28に出力して逐次表示する。これにより、電子ファインダ機能が実現される。
次に、図3のフローチャートを参照して、スルー画像の表示状態から動画撮影開始に至るまでのカメラ動作について説明する。
図2のステップS210でスルー画像が表示されるとステップS211(図3)に進み、モードダイアルスイッチ60の位置が変更されているか否かを判定する。この判定の結果、ダイアルスイッチ60の設定位置が変更されているとステップS203(図2)に戻り、モードダイアルスイッチ60の設定位置を再度チェックする。一方、ステップS211で、モードダイアルスイッチ60の設定位置が変更されていなければステップS212に進む。ステップS212では、動画の撮影を指示する動画ボタン61が押されているか否かを判断する。ここで動画ボタン61がまだ押されていないと判断するとステップS213に進み、スルー画像の表示を継続する。次にステップS214で、画像処理回路20が撮像素子14から得られた信号に対して所定の測距演算を行い、その演算結果を第1のメモリ30に格納する。システム制御回路50はこの演算結果を基に、測距制御部42を用いてAF処理を行い、撮影レンズ10の焦点を被写体に合わせる。そしてステップS215に進み、画像処理回路20が撮像素子14から得られた信号に対して所定の測光演算を行い、その演算結果を第1のメモリ30に格納する。システム制御回路50はこの演算結果を基に、露光制御部40を用いてスルー画像に対するAE処理を行う。次にステップS216に進み、画像処理回路20はシステム制御回路50からの指示に従い、画像データを第1のメモリ30から読み出し、撮影処理で得られたWB処理結果に基づいて色補正(ホワイトバランス(WB))を行う。このとき得られたホワイトバランス制御値は、ホワイトバランス制御値として第1のメモリ30に格納される。その後、ステップS211に戻る。
一方、ステップS212で動画ボタン61が押されたと判断するとステップS217に進み、システム制御回路50に設けられているタイマ123をリセットすると同時に、動画撮影の継続時間の計測を開始する。次にステップS218に進み、一連の撮影動作を行って動画の撮影処理を実行する。この動画撮影処理の後、撮像素子14からA/D変換器16を通して読み出された信号処理前の未処理画像データを第1のメモリ30に保存する。そして、その未処理画像データをJPEG形式、H264コーディック等の所定の現像及び圧縮処理を行い、処理後の画像データを第1のメモリ30に保存する。更に第1のメモリ30に保存された圧縮画像データを動画ファイルとして第1の記録媒体200へ書き込む。
次にステップS219に進み、画像データの最初の1フレーム(1画面)の画像データを抽出して確認用画像ファイル、即ちレックレビュー画像を生成する。次にステップS220に進み、第1のメモリ30にレックレビュー画像データとして記憶する。次にステップS221に進み、ステップS218で撮像された画像をスルー画像として画像表示部28に表示して、動画撮影の開始処理を完了する。
次に、図4のフローチャートを参照して、本実施形態の特徴である動画撮影中の処理について説明する。
図3のステップS221でスルー画像が画像表示部28に表示されるとステップS222(図4)に進み、モードダイアルスイッチ60の設定位置が変更されているか否かを判断する。ここで、モードダイアルスイッチ60の設定位置が変更されていると判断すると、動画撮影処理を終了してステップS203(図2)に戻り、モードダイアルスイッチ60の設定位置を再度チェックする。一方、ステップS222で、モードダイアルスイッチ60の設定位置が変更されていなければステップS223に進み、動画ボタン61が押されているか否かを判断する。この判断の結果、動画ボタン61が押されていると判断すると動画撮影の終了が指示されているため、動画撮影処理を終了して図5のステップS236に進む。
一方、ステップS223で動画ボタン61が押されていないと判断するとステップS224に進み、動画の撮影処理を継続する。ステップS224では、一連の撮影動作における動画撮影処理を実行する。この動画撮影の処理後、第1のメモリ30に、撮像素子14からA/D変換器16を通して読み出された信号処理前の未処理画像データを保存する。次にステップS225に進み、画像処理回路20が撮像素子14から得られた信号に対して所定の測光演算を行い、その演算結果を第1のメモリ30に格納する。システム制御回路50はこの演算結果を基に、露光制御部40を用いてAE処理を行う。ステップS226では、画像処理回路20はシステム制御回路50からの指示に従い、画像データを第1のメモリ30から読み出し、撮影処理で得られたWB処理結果に基づいて色補正(ホワイトバランス(WB))を行う。このとき得られたホワイトバランス制御値は、動画用のホワイトバランス制御値として第1のメモリ30に格納される。次にステップS227に進み、ステップS224で撮像された画像をスルー画像として画像表示部28に表示する。次にステップS228に進み、第1のメモリ30に保存された画像データをJPEG、H264コーディック等の所定の現像及び圧縮処理を行い、処理後の画像データを第1のメモリ30に保存する。こうして第1のメモリ30に保存された圧縮画像データを動画ファイルとして第1の記録媒体200へ書き込んでステップS229に進む。
ステップS229では、システム制御回路50のタイマ123による計時値を基に、動画撮影の継続時間が、予め設定されている設定時間t1に達しているか否かを判断する。その設定時間t1に達していなければステップS222に進む。こうしてステップS229で、タイマ123による計時値が設定時間t1に達するとステップS230に進み、システム制御回路50のタイマ123をリセットすると同時に、次に動画の撮影時間の計時を開始する。このようにして、タイマ123に設定されている時間に達する毎にタイマ123のリセットと計時の再開が行われる。そしてステップS231で、この時点で読み出された画像データの1フレーム(1画面)分のデータから確認用画像ファイル、即ちレックレビュー画像を生成する。次にステップS232に進み、既に第1のメモリ30に一時的に保存されているレックレビュー画像データに連続する次のレックレビュー画像データとして時系列で記録する。
次にステップS233で、レックレビュー画像のデータ量が規定値(或は画像の数が規定の枚数)に達したか否かを判断する。ここで規定の容量又は規定の枚数に達していなければステップS222へ戻って前述の処理を繰り返し、前述の設定時間t1毎に連続してレックレビュー画像を生成して記録する。こうしてステップS233で、レックレビュー画像のデータ量が規定の容量又は規定の枚数に達したと判定するとステップS234に進む。ステップS234では、設定時間の延長処理が行われる。ここでは、これまでの設定時間t1に対して2倍の時間t2を新たな設定時間として設定する。次にステップS235に進み、これまで第1のメモリ30に記録してきたレックレビュー画像に対して間引き処理を行う。この間引き処理では、動画記録開始時に生成された最初の1フレーム分のレックレビュー画像を残し、時系列で記憶されている連続する3つの画像データのうち中間の画像データを消去してステップS222へ戻る。即ち、一番最初のレックレビュー画像を残し、記憶されているレックレビュー画像を1つおきに間引くことにより、レックレビュー画像のデータ量或は枚数を減らす。
図6は、第1のメモリ30に一時的に保存されているレックレビュー画像を説明する図である。
610は、設定された時間間隔t1で、生成されたレックレビュー画像601が時系列に格納された状態を説明している。ここで、この格納されたレックレビュー画像601のデータ量或は枚数が制限値(所定量)(ここでは9枚)に達すると、611で示すように、格納されたレックレビュー画像601を1つおきに間引く。602は間引かれたレックレビュー画像を示し、603は間引かれずに残存するレックレビュー画像を示している。このように等時間間隔t1で格納されたレックレビュー画像601を1つおきに間引くことにより、第1のメモリ30に格納されたレックレビュー画像が2倍の時間間隔t2で格納されたものと等価となる。そして、これ以降のレックレビュー画像を生成する時間間隔をt2とすることにより、レックレビュー画像のデータ量或は枚数が制限値を越えた後は、倍の時間間隔でレックレビュー画像が生成されて格納されることになる。
そして更に、時間間隔t2で格納されたレックレビュー画像のデータ量或は枚数が規定値を超えると、前述と同様に、それら格納されたレックレビュー画像を1つおきに間引く。これによりレックレビュー画像がt2の2倍の時間間隔t3で格納されたものと等価となる。そして、それ以降、レックレビュー画像を生成する時間間隔も2倍にする。このような処理が動画撮影が継続されている限り実行され、その動画撮影の時間がどのように長くなっても、レックレビュー画像データの量が規定値を超えないように制御できる。
次に、図5のフローチャートを参照して、動画撮影の終了直後における画像確認、即ちレックレビュー画像表示の処理について説明する。
図4のステップS223で、動画撮影の終了を指示する動画ボタン61が押されたと判断するとステップS236(図5)に進み、動画撮影の終了処理を行う。次にステップS237に進み、レックレビュー画像の表示制御処理を行う。ここでは第1のメモリ30に記憶されているレックレビュー画像を、その格納されている時系列の順に、所定時間間隔(例えば2秒間隔)で表示する(スライドショー)。次にステップS238に進み、レックレビュー画像を動画像(本画像)に関連付けて記録媒体200或は210へ記録する記録指示が設定されているかを判断する。保存するように設定されていればステップS239に進み、その生成されたレックレビュー画像を動画像(本画像)に対応つけて記録媒体200或は210へ書込む。そして図2のステップS203(図2)へ戻る。ステップS238で、保存設定になっていなければ書き込みを行わずにそのままステップS203(図2)へ戻る。
図7は、動画撮影中のレックレビュー画像の生成処理を説明するタイミングチャートで、ここではレックレビュー画像のデータ量が規定の設定値に達するまでのレックレビュー画像の生成処理の場合を示している。
ここでは一例として、データ量の制限値を、レックレビュー画像の9枚分とした場合で説明する。尚、この制限値は、撮像装置で予め設定してあってもよいし、ユーザが任意に設定できるようにしてもよい。図7において、Tは経過時間を示す。まず最初に撮像装置100は、スルー画表示状態(スルー画表示オン)になっており、レンズを介して結像された画像に応じて撮像素子14から出力される画像信号に基づいて画像表示部28に連続的にスルー画像を表示している。ここで動画ボタン61が押されると、動画撮影がスタートする。一方レックレビュー画像は、図3〜図5のフローチャートに基づき、最初の1フレーム(画面)分のレックレビュー画像R1を生成して第1のメモリ30に記憶する。次に動画撮影の開始から所定時間t1が経過すると、撮像素子14から連続的に出力される画像信号に基づく画像データを抽出して2番目のレックレビュー画像R2を生成して第1のメモリ30に格納する。この所定時間t1は、撮像装置のユーザインフォメーション機能等を使用して、予めユーザが任意に設定することが可能である。こうして所定時間t1が経過する毎に、順次、3番目のレックレビュー画像R3、4番目のレックレビュー画像R4を生成して第1の画像メモリに、そのレックレビュー画像の生成順に時系列で記憶する。こうして9番目のレックレビュー画像R9が生成されて第1のメモリ30に格納されると、ここではレックレビュー画像のデータ量の制限値を画像9枚分としている。
この時点で動画ボタン61が再び押されて動画撮影の中止が指示されると、その動画撮影を中断する。そして、スルー画像表示を一旦オフした直後に、第1のメモリ30に記憶されているレックレビュー画像データを順次読み出し、これら画像を生成した時系列の順に、画像R1、画像R2、画像R3,…,画像R9を一定時間間隔で順次表示する。またこの時、レックレビュー画像を保存する設定になっていれば、その表示中に、これらレックレビュー画像を動画像(本画像)に関連付けて記録媒体200或は210へ書込む。
次に、図8を参照してレックレビュー画像のデータ量が規定の設定値を超えた後のレックレビュー画像の生成処理について説明する。
図8は、動画撮影中のレックレビュー画像の生成処理を説明するタイミングチャートで、ここではレックレビュー画像のデータ量が制限値に達した後のレックレビュー画像の生成処理の場合を示している。
動画ボタン61が押されてからの経過時間Tにおいて、9番目のレックレビュー画像R9の生成と記録までは、図7と同じである。その後の経過時間Tにおいて、動画撮影が継続していると、10番目のレックレビュー画像R10が新たな時間間隔t2で生成される。この時間間隔t2は、時間間隔t1の2倍の時間である。この10番目のレックレビュー画像R10が生成された時点で、データ量の制限値を超えているので、既に第1のメモリ30に格納されているレックレビュー画像を間引くためのデータ処理が行われる。ここで間引かれるレックレビュー画像は、最初の1フレーム目の画像R1を除き、画像R2、画像R4、画像R6、画像R8となる。即ち、最初の1フレーム目のレックレビュー画像R1から数えて、時間的に連続する3つの画像データのうち中間のレックレビュー画像を消去する。こうして間引きを実行した後、残されたレックレビュー画像を生成する時間間隔はt2となり、これは時間間隔t1の2倍の時間となる。
こうしてこれ以降、動画撮影が継続すると、11番目、12番目のレックレビュー画像R11,R12が生成されて第1のメモリ30に格納される。こうして第1のメモリ30に格納された画像データの量が再び制限値に達したら、更に、時間間隔t2を倍にするとともに、第1のメモリ30に記憶されているレックレビュー画像を間引くためのデータ処理を繰り返す。尚、動画ボタン61が再び押された以降の動作は、図7の説明と同じである。
このように、動画撮影が継続している時間に関係なく、レックレビュー画像は、常に等時間間隔で生成される。またデータ量に関しては、設定された制限値を超えないように制御されるため、バッファメモリ(第1のメモリ30)を圧迫することなく、処理時間が不用意に長くなることがない。
以上説明したように第1実施形態によれば、動画撮影の直後に、記録された動画ファイルを一々再生しなくとも、撮影した画像の確認を迅速かつ容易に行うことができる。
また動画撮影時間の長短に関係なく、確認用画像(レックレビュー画像)を時間的に常に等間隔で生成するように構成しているため、記録された動画像を全体としてムラなく確認できる。
また動画撮影時間の長短に関係なく、生成される確認用画像(レックレビュー画像)のデータ量が、設定された規定値を超えないように記録されるデータ量の制御できる。このため、バッファメモリを圧迫することなく、処理時間にばらつきが生じることもない。従って、処理動作が早く、且つ安定した撮像装置が実現できるという効果がある。
[実施形態2]
前述の実施形態1では、レックレビュー画像のデータ量或は枚数が規定値を越えると、それまで第1のメモリ30に記憶されている画像の枚数を半分に間引き、レックレビュー画像を生成する時間間隔を2倍にする例で説明した。
これに対して実施形態2では、レックレビュー画像のデータ量或は枚数が制限値を越えるとレックレビュー画像を生成する時間間隔を2倍にすることは共通にし、第1のメモリ30に記憶されている画像の削除方法を変更している。
図9は、本発明の実施形態2に係るレックレビュー画像の間引き処理を説明するタイミング図である。尚、この実施形態2の撮像装置の構成は前述の実施形態1と同様であるため、その説明を省略する。
900は、第1のメモリ30に記憶されたレックレビュー画像データの量が制限値(9枚)に達した状態を示している。901では、900の状態から次のレックレビュー画像が生成されると、第1のメモリ30に記憶されているレックレビュー画像の内、間引き対象(消去対象)の画像の最も古い画像R2を削除する。即ち、消去対象の確認画像の最も以前に記憶された確認用画像を消去する。そして時間間隔t2で生成されたレックレビュー画像R10を記憶した状態を示す。次に902では、901の状態から次の時間間隔t2でレックレビュー画像R11が生成されると、第1のメモリ30に記憶されているレックレビュー画像の内、間引き対象の画像の次に画像R4を削除して、レックレビュー画像R11を格納している。903は、このような処理を繰り返し実行して、時間間隔t2で、9枚のレックレビュー画像が時間間隔t2で第1のメモリ30に格納された状態を示している。更にこの後は、時間間隔をt2の2倍のt3とし、次のレックレビュー画像R14が生成されると、間引き対象の画像の最も古い画像R3を削除して、その画像R14を第1のメモリ30に格納する。
こうすることにより、レックレビュー画像の時間間隔が一様でない状態が発生するが、元々、より短い時間間隔で生成されて保存されていたレックレビュー画像が可能な限りメモリに保持される。
また本実施形態2では、第1のメモリに保持されているレックレビュー画像の量が制限値を超えた後は、前述の実施形態1のように、メモリに格納されているレックレビュー画像のデータ量が制限値の略半分にまで減少されるといった事態が発生しない。よって、レックレビュー画像の量が制限値を超えた後、その制限値までレックレビュー画像を保持したままで順次レックレビュー画像を更新できるため、より有効にメモリ領域を利用してレックレビュー画像を保持できるという効果がある。
以上説明したように実施形態2によれば、動画撮影の直後に、記録された動画ファイルをいちいち再生しなくとも、撮影した画像の確認を迅速かつ容易に行うことができる。
また動画撮影時間の長短に関係なく、生成される確認画像(レックレビュー画像)のデータ量に関して、設定された規定値を超えないように記録されるデータ量を制御できる。このため、バッファメモリを圧迫することなく、処理時間にばらつきが生じることもない。従って、処理動作が早く、且つ安定した撮像装置が実現できるという効果がある。
(他の実施形態)
以上、本発明の実施形態について詳述したが、本発明は、複数の機器から構成されるシステムに適用しても良いし、また一つの機器からなる装置に適用しても良い。
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムを読み出して実行することによっても達成され得る。その場合、プログラムの機能を有していれば、形態は、プログラムである必要はない。
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明のクレームでは、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等、プログラムの形態を問わない。
プログラムを供給するための記録媒体としては、様々なものが使用できる。例えば、フロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、MO、CD−ROM、CD−R、CD−RW、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD−ROM,DVD−R)などである。
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページからハードディスク等の記録媒体にダウンロードすることによっても供給できる。その場合、ダウンロードされるのは、本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルであってもよい。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明のクレームに含まれるものである。
また、本発明のプログラムを暗号化してCD−ROM等の記憶媒体に格納してユーザに配布する形態としても良い。その場合、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムが実行可能な形式でコンピュータにインストールされるようにする。
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される形態以外の形態でも実現可能である。例えば、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
更に、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれるようにしてもよい。この場合、その後で、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行ない、その処理によって前述した実施形態の機能が実現される。
本発明の実施形態に係る撮像装置の機能構成を示すブロック図である。 本実施形態に係る撮像装置のシステム制御回路による処理手順の一例を示すフローチャートである。 第1のメモリに一時的に保存されているレックレビュー画像を説明する図である。 動画撮影中のレックレビュー画像の生成処理を説明するタイミングチャートで、ここではレックレビュー画像のデータ量が規定の設定値に達するまでのレックレビュー画像の生成処理の場合を示す図である。 動画撮影中のレックレビュー画像の生成処理を説明するタイミングチャートで、ここではレックレビュー画像のデータ量が規定の設定値に達した後のレックレビュー画像の生成処理の場合を示す図である。 本発明の実施形態2に係るレックレビュー画像の間引き処理を説明するタイミング図である。
符号の説明
20 画像処理回路
22 メモリ制御回路
24 画像表示メモリ
28 画像表示部
30 第1のメモリ
32 圧縮・伸長回路
50 システム制御回路
61 動画ボタン

Claims (3)

  1. 撮像手段と、
    前記撮像手段により得られた動画信号を記録媒体に記録する記録手段と、
    前記動画信号の記録を開始した後、前記撮像手段により得られた動画信号から所定の間隔でフレームを抽出し、前記抽出したフレームを前記記録媒体に記録された動画信号の確認用画像データとしてメモリに記憶する確認用画像生成手段と、
    前記動画信号の記録を開始した後、前記メモリに記憶された前記確認用画像データのフレーム数が所定数に達したことに応じて、前記所定数に達した時点で前記メモリに記憶されている前記確認用画像データから、前記メモリに記憶された順に1フレームおきに一部の前記確認用画像データを削除するとともに、前記確認用画像生成手段による前記確認用画像データの抽出間隔を長く設定する制御手段と、
    前記動画信号の記録を終了した後、前記メモリに記憶されている前記確認用画像データを順次読み出して表示する表示手段と、
    を有することを特徴とする撮像装置。
  2. 前記制御手段は、前記動画信号の記録を開始した後、前記メモリに記憶された前記確認用画像データのフレーム数が前記所定数に達する毎に、前記所定数に達した時点で前記メモリに記憶されている前記確認用画像データから、前記メモリに記憶された順に1フレームおきに一部の前記確認用画像データを削除するとともに、前記抽出間隔をそれまでよりも長く設定することを特徴とする請求項1に記載の撮像装置。
  3. 撮像手段により動画撮影が可能な撮像装置の制御方法であって、
    前記撮像手段により得られた動画信号を記録媒体に記録する記録工程と、
    前記動画信号の記録を開始した後、前記撮像手段により得られた動画信号から所定の間隔でフレームを抽出し、前記抽出したフレームを前記記録媒体に記録された動画信号の確認用画像データとしてメモリに記憶する確認用画像生成工程と、
    前記動画信号の記録を開始した後、前記メモリに記憶された前記確認用画像データのフレーム数が所定数に達したことに応じて、前記所定数に達した時点で前記メモリに記憶されている前記確認用画像データから、前記メモリに記憶された順に1フレームおき一部の前記確認用画像データを削除するとともに、前記確認用画像生成工程による前記確認用画像データの抽出間隔を長く設定する制御工程と、
    前記動画信号の記録を終了した後、前記メモリに記憶されている前記確認用画像データを順次読み出して表示する表示工程と、
    を有することを特徴とする撮像装置の制御方法。
JP2008174958A 2008-07-03 2008-07-03 撮像装置及びその制御方法 Expired - Fee Related JP5222047B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008174958A JP5222047B2 (ja) 2008-07-03 2008-07-03 撮像装置及びその制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008174958A JP5222047B2 (ja) 2008-07-03 2008-07-03 撮像装置及びその制御方法

Publications (3)

Publication Number Publication Date
JP2010016651A JP2010016651A (ja) 2010-01-21
JP2010016651A5 JP2010016651A5 (ja) 2011-08-18
JP5222047B2 true JP5222047B2 (ja) 2013-06-26

Family

ID=41702326

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008174958A Expired - Fee Related JP5222047B2 (ja) 2008-07-03 2008-07-03 撮像装置及びその制御方法

Country Status (1)

Country Link
JP (1) JP5222047B2 (ja)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1032775A (ja) * 1996-07-15 1998-02-03 Sharp Corp 情報記録再生装置
JP2001057662A (ja) * 1999-08-18 2001-02-27 Canon Inc 撮像装置及び磁気記録再生装置
JP2002191017A (ja) * 2000-12-22 2002-07-05 Fujitsu General Ltd 画像データ記録方法
JP2006174025A (ja) * 2004-12-15 2006-06-29 Canon Inc 動画静止画同時記録可能な撮像記録再生装置
JP2006246039A (ja) * 2005-03-03 2006-09-14 Alps Electric Co Ltd ビデオカメラおよび画像管理方法

Also Published As

Publication number Publication date
JP2010016651A (ja) 2010-01-21

Similar Documents

Publication Publication Date Title
JP5366584B2 (ja) 撮像装置、画像処理方法およびプログラム
JP4603985B2 (ja) 撮像装置、撮像方法及び制御プログラム
JP2005176136A (ja) 画像処理装置、画像再生方法、プログラムおよび記憶媒体
JP2005244311A (ja) 撮像装置、撮像装置の制御方法、及び制御プログラム
JP4324116B2 (ja) 画像処理装置及びその制御方法、プログラム、記憶媒体
JP2004096686A (ja) 撮像装置及びその制御方法並びに記憶媒体
JP5064686B2 (ja) 撮像装置、当該装置の制御方法、及び制御プログラム、並びに記録媒体
JP4498169B2 (ja) 画像処理装置及びその制御方法
JP4136296B2 (ja) 画像処理装置、方法、及びコンピュータ読み取り可能な記憶媒体
JP4700796B2 (ja) 撮像装置及びその制御方法並びに記憶媒体
JP2008072516A (ja) 画像処理装置及び画像処理方法
JP4810485B2 (ja) 画像処理装置、画像処理方法、及びコンピュータプログラム
JP2006203689A (ja) 撮像装置及びその制御方法及びプログラム及び記憶媒体
JP2004096227A (ja) 音声処理装置、方法、コンピュータプログラム、及びコンピュータ読み取り可能な記憶媒体
JP5222047B2 (ja) 撮像装置及びその制御方法
JP2001275037A (ja) 撮像装置、撮像方法及び記憶媒体
JP2007189524A (ja) 画像処理装置及び画像処理方法
JP4845539B2 (ja) 画像撮像装置、当該装置の制御方法及び制御プログラム
JP4298534B2 (ja) 画像表示装置及び方法
JP4560189B2 (ja) 撮像装置
JP4766706B2 (ja) 画像処理装置及びその制御方法、プログラム、記憶媒体
JP2007267000A (ja) 撮像装置及び撮像装置の制御方法
JP2005110128A (ja) 撮像装置及び撮像制御方法
JP2008066967A (ja) 画像処理装置、その制御方法、及びコンピュータプログラム
JP2006203665A (ja) 撮像装置及び方法、並びに記録媒体及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110630

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110630

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120608

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120618

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120808

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130308

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160315

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160315

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees