JP3667065B2 - Imaging recording apparatus and control method thereof - Google Patents
Imaging recording apparatus and control method thereof Download PDFInfo
- Publication number
- JP3667065B2 JP3667065B2 JP35377497A JP35377497A JP3667065B2 JP 3667065 B2 JP3667065 B2 JP 3667065B2 JP 35377497 A JP35377497 A JP 35377497A JP 35377497 A JP35377497 A JP 35377497A JP 3667065 B2 JP3667065 B2 JP 3667065B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- recording
- still image
- recording medium
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【0001】
【発明の属する技術分野】
本発明は撮像記録装置及びその制御方法、詳しくは撮像素子を用いて撮像した撮像信号の記録及び再生処理を行なう撮像装置に関するものである。
【0002】
【従来の技術】
近年、ディジタル信号処理技術の進歩に伴い、撮像信号をディジタル処理し、それをディジタルビデオ信号としてテープやディスク装置に記録する方式の撮像記録装置が多く提案されている。
【0003】
これらは、CCD等の撮像素子の出力信号をADコンバータでアナログディジタル変換し、これをディジタル信号処理回路で信号処理して、ディジタルビデオ信号を得て、これをディジタル記録処理回路により記録データに変換し、テープやディスク装置に記録している。また再生部を有する場合は、テープやディスク装置の出力からディジタル再生処理回路によりディジタルビデオ信号を形成し再生ディジタルビデオ信号として外部機器に出力する。
【0004】
【発明が解決しようとする課題】
再生出力信号であるディジタルビデオ信号は、種々の外部機器に接続される。例えば、DA変換を行った後、通常のテレビモニタに接続したり、別のVTRに接続したり、パーソナルコンピュータ(以下、PCという)等の静止画入力機器、同じくPCの動画入力機器、更には、カラープリンタに接続される。
【0005】
これらの接続先のうち、テレビモニタや、別のVTRに接続した際、記録されたテープの中から所望のシーンを見つけ出すためには、非常に手間と時間がかかるという問題がある。特に、複数のテープが有る場合、実際にそれぞれのテープの全ての内容を再生してみるまで、所望の内容が含まれているかどうか分からないため、なおさらであろう。
【0006】
また、これらの接続先のうち、パソコンの静止画入力機器、カラープリンタなどでは記録されている画像データのうち所定部分の静止画像を抜き出すことが必要になる。しかし、目的の画像を抜出すためには、非常に時間がかかる。たとえば、1時間の動画を記録して有るテープから1枚の画像を探すのに、標準速で見ると、最大1時間かかる計算になる。高速サーチで探せばさらに短くする事は可能であるが、テープの場合、画面に所望の画像が現れてからストップを押しても、かなり先まで進んでしまうので、一般には、また巻き戻して所望の画像まで進めて静止させる等の操作が必要になる。また、高速サーチの速度が速すぎると、見逃してしまうことも当然あるだろう。
【0007】
また、これらの画像の中から一枚の静止画を選び出した後、上述のようにパソコンや、カラープリンタへ出力する際に、撮影条件によっては、露出が不適性であったり、焦点が合っていなかったり、静止画として、不適切な画像が出力されてしまうということもあり得る。更にまた、所望の被写体が、写っていても、画面上の適切な位置に写っていないために静止画として不適切な画像が出力されることもある。
【0008】
【課題を解決するための手段】
本発明はかかる問題点に鑑みなされたものであり、動画撮影を行なう装置において、更に静止画として記録手段を備え、予め被写体の特徴を表す画像データと相関性の高い静止画のみを別記録媒体に記録させることを可能ならしめる撮像記録装置を提供しようとするものである。
【0009】
この課題を解決するため例えば本発明の撮像記録装置は以下の構成を備える。すなわち、
撮像素子を有し、当該撮像素子で撮影された映像を順次所定の第1の記録媒体に動画として記録する撮像装置であって、
前記第1の記録媒体とは異なる、第2の記録媒体を装着もしくは接続可能な手段と、
被写体の特徴を表す画像データを複数種類保持する記憶保持手段と、
動画記録の実行中に入力された前記撮像素子で撮影された映像データが、前記記憶保持手段に保持された前記複数種類の画像データから選択された一の画像データとマッチング演算を行なうことにより相関性があると判断されたときに、前記撮像素子で撮影された映像データを静止画画像データとして前記第2の記録媒体に記録させる静止画記録制御手段とを備える。
【0010】
【発明の実施の形態】
以下、添付図面に従って本発明に係る実施形態を詳細に説明する。
【0011】
図1は、実施形態におけるデジタルビデオカメラの記録部の主要な部分のブロック構成図を示している。
【0012】
図中、1は焦点調整、露出調節、撮像光学系を含むレンズ、2は撮像素子であるCCD、3はADコンバータ、4はカメラ信号処理、5はAE・AF回路、6はVTR信号処理、7は磁気ヘッド、8はテープ、9は静止画信号処理、10は静止画記録検出、11はフラッシュメモリ、または、バックアップされたSRAMまたはハードディスク装置などのメモリ、12は録画の開始停止を操作するトリガスイッチ、13は静止画の記録を指示する静止画録画スイッチ、14は録画する静止画の条件を設定する条件設定スイッチである。
【0013】
不図示の被写体像はレンズ1により焦点調整、露出調整された後CCD2の結像面に結像される。CCD2では、受光した被写体像を光電変換し、撮像信号として出力する。その撮像信号は、ADコンバータ3によりアナログディジタル変換され、ディジタル撮像信号となり、カメラ信号処理4およびAE・AF回路5に入力される。カメラ信号処理4では入力されたディジタル撮像信号にクランプ、色分離、ホワイトバランス、ガンマ補正、黒クリップ、白クリップなどの信号処理を行い、ディジタルビデオ信号を生成する。
【0014】
一方、AE・AF回路5においてはまず、入力されたディジタルビデオ信号の、所定の検出領域内の信号を積分し、その積分値を所定の基準値と比較し、基準値より大きければレンズ1の露出調整に光量を減ずるように信号を発生し、上述の積分値が基準値より小さい時は、光量を増加させるように信号を発生するというフィードバック制御により、上述の積分値が基準値と一致するように制御する。
【0015】
AE・AF回路5はまた、入力されたディジタル撮像信号の高周波成分を検出し、その高周波成分の所定の領域内の値を用いて、その値が最大になるように上述のレンズ1の焦点調整を制御する。これには、例えば山登り法と呼ばれる方法により、現在の高周波成分の値と、前回の高周波成分の値を比較し、もし現在の方が大きければ焦点調整を更に同じ方向へ進め、もし現在の方が小さければ焦点調整を逆の方向へ進め、もし変化が無ければ焦点調整をその位置で停止させるという制御によって行う。
【0016】
このAE・AF回路5は、また、現在のAEおよびAFの状態を表すAE・AF状態信号を静止画記録検出9に出力する。また、このAE・AF状態信号であるが、AEについては前述の積分値が前述の基準値と一致しているか、あるいはその差の絶対値が所定値よりも小さい時に良好な露出状態を示すものであり、それ以外は良好でない露出状態を示す。また、AFについては、前述の山登り制御において、現在の高周波成分の値と、前回の高周波成分の値が一致しているか、あるいは、その差の絶対値が所定値以下である時に良好な焦点調整状態である事を示し、そうでない時は良好な焦点状態でない事を示す。
【0017】
カメラ信号処理4の出力のディジタルビデオ信号は、VTR信号処理部6、静止画信号処理部9および静止画記録検出部10に供給される。まずVTR信号処理部6では入力されたディジタルビデオ信号を内部になるフレームメモリにいったん保存し、そのフレームメモリに保存された信号を所定の順番でブロック毎に読み出し、DCTにより各々のブロックを変換した後量子化し、さらにハフマン符号化し、記録用の処理をした後、ヘッド7を通して、テープ8に記録する。
【0018】
また、静止画信号処理部9においては、入力されたディジタルビデオ信号のうち、後述する方法により静止画記録検出部10により発生された静止画記録制御信号に対応する画像を、JPEG圧縮等の静止画圧縮により圧縮して、圧縮された静止画を生成し、メモリ11に保存する。メモリ11は内蔵されているものでもよいし、あるいは、本体に着脱可能なメモリカード(例えばPCMCIAカード)、もしくはハードディスクカードであってもよい。
【0019】
メモリ11に保存された圧縮された静止画は、不図示の読み取り再生手段によりパーソナルコンピュータに適したデータ(例えばパーソナルコンピュータがビデオキャプチャ機能を有しているのであればNTSC形式のビデオ信号で、或いは、パーソナルコンピュータ側で伸張処理するのであれば通信インタフェースに向けて、記録された圧縮符号化データをそのままデジタルデータで出力する)とにし、所定の通信インタフェースを介して出力する。パーソナルコンピュータ側では、そのインタフェースを介して受信した画像データを、例えば自身が備えるハードディスク等に記憶させたり、表示したりすることになる。また、プリンタに直接出力する場合には、伸張し尚且つそのプリンタが解釈できる制御コマンドを付随させて出力する。
【0020】
また、上述のようにメモリ11が着脱可能な場合は、メモリ11が本実施形態の筐体から抜き取られて、パーソナルコンピュータのメモリスロットなどに挿入されて、圧縮された画像データが直接読み取られる。この場合には、パーソナルコンピュータ側にはその画像データを伸張する処理プログラム又はハードウェアを必要とするものの、転送にかかる時間を大幅に節約することができる。
【0021】
静止画記録検出部10では、入力されたディジタルビデオ信号、AE・AF状態信号、スイッチ12、13、14の出力の状態と共に、ディジタルビデオ信号が静止画として所定の条件を満足している時にその画像を記録するように静止画記録制御信号を生成する。
【0022】
トリガスイッチ12は操作者が撮影の開始時に押す事により、まず、VTR信号処理部6を制御して録画を開始し、また、再び押す事により録画を停止する。また、トリガスイッチ12が押されて、所定条件が揃うと、静止画記録検出10により静止画記録制御信号が発生され、メモリ11に圧縮された静止画が記録される。
【0023】
その所定条件としては、例えば、VTR信号処理部6が録画開始状態になってから、実際にテープ8にデータが記録されるまでの時間の経過した後静止画記録制御信号を発生したり、テープ8への録画中に所定の間隔を置いて、静止画記録制御信号を発生するなどがある。
【0024】
静止画録画スイッチ13は操作者が静止画録画をしたい時に押すスイッチで、これが押された時に無条件で静止画記録制御信号を発生しても良いが、本実施形態では、他の条件との組合わせで、例えば、このスイッチ13が押された後、AE・AFの状態が良好になれば(先に説明した良好な状態を示す2つの信号が揃えば)静止画記録制御信号が発生させるようにした。実際、AE・AFの状態が良好になるのは静止画録画スイッチ13が操作されてから多少遅延するかもしれないが、操作者にとってはその時間は瞬時であるので問題はない。
【0025】
条件設定スイッチ14は、幾つかの設定位置を有する。例えば、画面上に人物が所定の大きさで所定の位置に入った時に静止画を記録する人物撮影モードと、画面上に風景が所定の大きさで所定の位置に入った時に静止画を記録する風景撮影モードと、オフの3つの設定位置を有する。静止画記録検出部10の入力ディジタルビデオ信号が設定された条件を満足する時に、静止画記録制御信号が発生される。オフの時は、画像の状態によって静止画記録制御信号が発生される事はない。
【0026】
尚、静止画記録検出部10において、静止画記録制御信号が発生される条件は、上述の条件のみによらず、それらの組合わせによって発生するようにする事も可能である。
【0027】
たとえば、条件設定スイッチ14によって人物撮影モードが設定されていて、画像中から人物が検出され、トリガスイッチ12によって録画中で、所定の間隔は必ず開ける(同じシーンを撮像を避けるため)、AE・AFが良好という条件が揃った時のみ静止画記録制御信号が発生される様にするなどである。
【0028】
図2は、図1における静止画記録検出部10の詳細ブロック構成図である。
【0029】
図中、20、21、22、23、24は夫々、ディジタルビデオ信号、AE・AF状態信号(2ビット)、スイッチ12の出力、スイッチ13の出力、スイッチ14の出力信号の各入力端子である。25は入力画像を走査順に順次書き込み、与えられた読み出しアドレスに応じてランダムに読み出す事が可能なメモリ、26、27は被写体の特徴を表す画像を複数種類保持するROM、28はメモリ25の読み出しアドレス、ROM26、ROM27の内容を読み出すためのアドレス、ROM内の被写体の特徴を表す画像のどの部分を指示しているかの選択を表すアドレス信号を発生するアドレス発生部、29はROM26、ROM27の出力を選択するスイッチ回路である。30はメモリ25の内容及びスイッチ回路29の出力を用いて、例えば、当該領域の各画素ごとの値の差の二乗あるいは絶対値を累算するなどのマッチング演算を行い、2つの画像信号のマッチング度に応じた値を出力するマッチング演算部、31は入力されたマッチング度と、スイッチ14の出力と、アドレス発生部28の被写体部分の選択を表す信号を用いて、ディジタルビデオ信号の表す画像が、所定のシーンであるという条件を満足するかどうかの判定を行うシーン判定部、32は信号が入力されると、所定時間経った後に出力を発生するタイマー、33はORゲート、34はANDゲートである。
【0030】
上記構成において、入力端子20から入力されたディジタルビデオデータは、まず、メモリ25に走査順に書き込まれる。
【0031】
この書き込まれたデータは、アドレス発生28によって発生されたアドレスに応じて読み出さる。ROM26およびROM27に書き込まれているデータは、同じくアドレス発生28によって発生されたアドレスに応じてそれぞれ読み出される。これらのデータのうち、入力端子24より入力された信号に応じてスイッチ回路14は何れか一方を選択し、マッチング演算30に出力する。
【0032】
マッチング演算30では、入力された2つの信号が表す画像のマッチング度を求める。
【0033】
たとえば、ROM26には、人間の顔の部分部分の画像、例えば、目の画像、口の画像、鼻の画像等が記録されており、スイッチ回路29がROM26側を選択しているとする。メモリ26の中の画像に、人間の顔が含まれている際、アドレス発生28によって発生された読み出しアドレスによって読み出されたメモリ26の出力の人間の目の画像の位置が、ROM26から読みだされた目の画像の位置と一致した際に、大きなマッチング度がマッチング演算30より出力される。このほかにも、鼻と鼻、口と口などで大きなマッチング度が得られる。
【0034】
ROM27には人間以外の被写体の画像として、例えば、空や、建物、木などの画像が記録されており、スイッチ29がROM27側を選択している時、メモリ26の中の画像に、それらの画像に相当する画像が含まれている場合、大きなマッチング度が、マッチング演算30から得られる。
【0035】
シーン判定部31では、入力されたマッチング演算30の出力と、スイッチ14の出力と、アドレス発生28の発生する被写体の部分の選択を表す信号を用いて、ディジタルビデオ信号が表す画像が、所定のシーンであるかを判定する。この判定には大きく分けて3つのステップがある。
【0036】
まず、初めのステップでは、マッチング演算部30の出力を用いて、マッチング度の高い部分の中心の値と座標を各部分部分毎に求める。
【0037】
例えば、前述のように、スイッチ回路29が、人間顔の部分の画像を記録しているROM26の側を選択している時、目の画像とのマッチング度の高い位置の中心または重心の位置と、その値を求め、さらに、鼻の画像、口の画像についても同様に行う。
【0038】
次のステップでは、それらの、各部分の中心の位置における値から、判定に用いる候補を抽出する。これは、例えば、各々の値か、あるいは、各々の値を全体の分散で正規化した、標準偏差が、所定の閾値を越えているかどうかを判定する。
【0039】
最後のステップでは、前のステップで得られた候補の相対的な位置関係を用いて、最終的なシーン判定を行う。例えば、目の候補が所定の範囲の間隔で横並びに2つ有り、その中央の下に鼻の候補が有り、その更に下に口の候補があれば、人間の顔が有ると判定し、更に、その顔が、画面上の所定の範囲内にあれば、静止画撮影を行うための判定信号を出力する。
【0040】
同様に、風景を検出する場合でも、各画像の候補が、所定の条件に合致している時に、静止画撮影を行うための判定信号を出力する。
【0041】
この判定信号は、ORゲート33に入力され、そのORゲート33の出力は、入力端子21から入力されるAE・AF検出信号と共にANDゲート34に入力される。ORゲート33に入力される他の信号については後述する。
【0042】
ANDゲート34では、上記のようにしてシーン判定信号が発生し、かつ、AE及びAFの両状態が良好である事を示すAE・AF信号が入力された場合に、検出信号を出力端子35へ出力し、前述した静止画信号処理部9を制御する。つまり、ディジタルビデオ信号が表す画像がスイッチ14によって設定された所定のシーンであると判定され、かつAF・AEの状態が良好な時に、静止画像が、前述のメモリ11に記録される。
【0043】
また、入力端子22に入力されたスイッチ12の出力信号は、タイマー32によって所定の時間、例えば前述したように、スイッチ12が押されてから、撮影が開始されるまでの時間を経過した後、出力を発生し、その出力は前述のシーン判定31の出力とともにORゲート33に入力される。この経路により、スイッチ12が押されてから所定の時間経過した時、その時、AE・AFの状態が良好であれば、その時の静止画像が、前述のメモリ11に記録される。
【0044】
また、スイッチ13の出力は入力端子23を経由して、OR33に入力される。これにより、スイッチ13が押された時は、その時、AE・AFの状態が良好であれば、その時の静止画像が、前述のメモリ11に記録される。
【0045】
図3は、実施形態における図2中のシーン判定部31の詳細ブロック構成図である。
【0046】
図中、40はマッチング演算部30の出力のマッチング度の入力端子、41はアドレス発生部28から発生される、被写体の部分を選択する信号の入力端子、42はスイッチ14の出力を入力する入力端子である。43はマッチング度の高い部分の中心を求める中心検出部、44は求めた中心におけるマッチング度の値から、判定に用いる候補を抽出する候補抽出部、45は候補抽出部44で求めた候補から、判定信号を発生するためのニューラルネットワークである。
【0047】
47〜59は中心検出部43の構成要素であって、47は入力されたマッチング度を順次書き込み、制御信号発生48から発生される読み出しアドレスに応じて読み出すメモリ、48は上述のメモリ47の読み出しアドレスと、49〜53の各レジスタの書き込み信号を発生する制御信号発生部、49〜53は夫々、注目点の上、右、中心、下、左の各位置におけるメモリ47の読み出し値を制御信号発生部48からの書き込み信号に応じて書き込むレジスタ、54〜57は減算器、58は入力された信号の符号を判定する符号判定部、59は符号判定の結果に応じてレジスタ51の値をゲートするゲートである。
【0048】
入力端子40からされたマッチング度はメモリ47に順次書き込まれる。このメモリ47に書き込まれたデータは、制御信号発生部48により、読み出され、レジスタ49〜53に書き込まれる。この時、制御信号発生部48は、ある注目点のデータをレジスタ51に、その注目点の上の位置のデータをレジスタ49に、同様に右のデータをレジスタ50に、下のデータをレジスタ52に、左のデータをレジスタ53に書き込むように、メモリ47の読み出しアドレス、各レジスタの書さ込み信号を発生すると同時に、その注目点の座標値を候補抽出部44に出力する。この動作によりレジスタ49、50、52、53に書き込まれたデータは減算器54〜57に供給され、そこで中心位置のマッチング度が格納されているレジスタ51が減じられる。各減算器54〜57は、減算結果の符号を符合判定部58に供給する。符号判定部58では入力された夫々の減算結果の符号をもとに、中心の値が最も大さい時(全ての減算器54〜57からの符号が負である場合)、ゲート信号を発生する。これにより、現在の注目点が2次元的に極大値である時にゲート信号が発生される。ゲート59ではこの符号判定58の出力するゲート信号が発生された時に、中心のレジスタ51の値を出力する。
【0049】
60、61は候補抽出部44の構成要素であって、60は入力と、所定の基準値Srefとを比較して比較出力を発生する閾値比較部、61は閾値比較部60から発生された比較出力に応じて、入力された注目点の位置と、入力端子41から入力された被写体部分の選択を表す信号を記録するメモリである。
【0050】
ゲート59の出力は、閾値比較部60に入力され、所定の基準値Srefと比較されてSrefより大きい時は比較出力が発生される。その比較出力が発生されるとメモリ61にその時の制御信号発生48から発生された注目点の座標値と、入力端子41から入力された被写体の部分の選択を表す信号を記録する。
【0051】
ニューラルネットワーク45では、あらかじめ学習によって決められた各ノードの係数をセットしたニューラルネットワークに、メモリ61に記録された情報を順次読み出し、それらの値と、入力端子42から入力されたスイッチ14の出力を入力し、静止画シーンとして適しているかどうかについて判定し、その結果を判定信号として出力する。
【0052】
ニューラルネットワーク45としては、画面上の所定の範囲内に、所定の画像が写っている状態である、静止画シーンとして適しているデータと、その他の画像のみにより構成された静止画シーンとして適していないデータを学習に必要な種類用意し、バックアノテーション法などを用いて学習させる。その際、シーンの選択データも一緒に入力により、シーンの設定の違いによる判断の違いも学習させる。あるいは、スイッチ14の出力により、ニューラルネットワーク45の内部の各ノードの値を切り換えてもよい。
【0053】
図4は図1における静止画記録検出部10の別の詳細ブロック構成図である。70は被写体記録スイッチ、71はRAMで有る。
【0054】
本構成における特徴は、被写体が視野内にあるか否かを判定する際に、操作者が自由にその比較対象の被写体の画像を記憶させるものである。
【0055】
被写体記録スイッチ70が押されると、撮影しているビデオディジタル信号の一部分をRAM71に書き込む。書き込む画像データは、例えば視野の中心位置をその中心とする所定サイズ(そのサイズを可変にしても良い)の領域内の画像データである。
【0056】
被写体記録スイッチ70が離された後、スイッチ14によってRAM71の出力がスイッチ回路29により選択されると、前述の例と同様に、マッチング演算30、シーン判定部31により、所定の条件を満足すると、静止画記録検出結果が出力される。
【0057】
この動作により、操作者により、設定された被写体が撮影されている時にその時の画像が静止画像として、メモリ11に書き込むことが可能になる。
【0058】
図5は、上記図4における被写体記録スイッチ70を操作する際のファインダー(もしくは不図示の表示部の表示例)を示す図である。図中、80は撮影している範囲、81は被写体、82は撮影範囲の内、RAM71に書き込まれる領域である。被写体記録スイッチ70が押されると、この領域の画像が、RAM71に書き込まれる。その後、被写体記録スイッチ70を離し、スイッチ14を前述のようにセットすると、82の範囲で示される被写体像が画面上の所定の範囲内に有る時は、その画像が静止画像としてメモリ11に記録される。
【0059】
この時、被写体の大きさが若干変化しても、検出が行えるように、アドレス発生28により発生されるアドレスをリニアでは無く、メモリ25のN画素についてRAM71のM画素分間引させるか、あるいは逆を行うように、アドレスを発生すれば、そのNとMの比率によって、大ささの異なる被写体に対しても、検出を行う事が可能である。
【0060】
上記の構成により、操作者にとっては静止画撮影指示した画像を探し出す場合には、テープ8ではなく、メモリ11内に格納された静止画を探せば良くなり、検索に係る操作性が大幅に向上することになる。しかも、その静止画は少なくともAE及びAF共、良好な状態で撮影されたものであるので、従来の如く、探し出した映像が期待ものよりピントがずれていた等の問題もない。
【0061】
尚、メモリ11が本装置から着脱自在であれば、それをパーソナルコンピュータ等のメモリを装着する部分にそれをセットして、アプリケーション等で直接そのデータを復号化、伸張すれば良い。
【0062】
そこで、以下では本装置側でサーチする場合の手順を図6に従って説明する。
【0063】
操作者は、不図示の操作部より、サーチ対象として静止画として撮影された映像もしくは、動画記録された中からサーチするのかを選択する。動画記録、すなわち、テープ8内からのサーチであると判断した場合には、ステップS2に進んで、通常のサーチ処理を行なう。
【0064】
一方、静止画サーチを選択した場合には、ステップS3に進んで、静止画信号処理部9を制御してメモリ11から圧縮記憶された静止画データを伸張し、それを不図示の表示部に表示する。最初にこのステップS3に移行した場合には最初の静止画を再生し表示するものとする。また、表示部は、その映像が確認できれば良いわけであるから、必ずしも、伸張した画像をそのまま表示ずる必要はなく、例えば間引き処理を施して表示してもよい。
【0065】
次いで、ステップS4に進み、表示された画像が目的のものであるか否かの指示を受け、その判断を行なう。目的の画像ではない旨の指示があった場合には、ステップS3に戻り、次の静止画を表示させる。こうして、目的の静止画を探し出せ、その旨の指示があると、処理はステップS5に進み、そいの時に表示していた画像に対応する静止画画像データ(間引きしていない静止画データ)を不図示のインタフェースを介して出力する。
【0066】
尚、上記の静止画サーチの処理手順は一例であって、これによって本願発明が限定されるものではない。例えば、サーチする静止画を1つずつコマ送りするのではなく、何コマ目にするかを指示しても良いし、最後に記録されたコマからサーチしてもよい。更には、所定時間内に出力指示を与えない限りは、自動的に次のコマの映像を表示するようにしてもよい。
【0067】
また、出力するインタフェースであるが、例えばテレビ装置やVTR装置、或いはパーソナルコンピュータ等の装着されたビデオキャプチャカードに向けて出力するためのインタフェースには、NTSC方式で出力する。また、ディジタルデータとして出力する場合、例えば、パーソナルコンピュータにそれ専用のカードを装着している場合には、伸張して得られた静止画画像データをそのまま出力する。但し、パーソナルコンピュータ側に、伸張処理を行なうデバイスドライバやアプリケーションが稼働しているのであれば、メモリ11から読出した圧縮符号化されたデータをそのまま送出するようにしてもよい。この場合、転送にかかる情報量は少ないので、短時間に転送できる。また、プリンタに直接出力する場合には、それ専用のインタフェースを介して、そのプリンタが解釈できる制御コマンドを付加して転送する。これら出力インタフェースのいずれを使用するかは、予め、操作部により選択させておけばよい。場合によっては、NTSC信号以外のインタフェースについては互いに通信できるか否かを確かめ、通信できる状態にある場合には、その通信可能なインタフェース全てに対し、上記のようなデータを出力するようにしても良いであろう。
【0068】
また、実施形態におけるメモリ11としては、文字通り、メモリICカードに限るものではなく、フロッピーディスク、MO、更には磁気テープ等であっても良いので、これによって本願発明が限定されるものではない。
【0069】
以上説明したように本実施形態に従えば、動画と同時に記録された静止画像を見る事により、動画としてどのようなシーンが記録されているか容易に判定できる。
【0070】
また、その時得られる静止画像は、焦点調整や露出が適切で、静止画として適当な画像が得られる。
【0071】
更にまた、操作者が静止画として必要な画像も更に静止画として記録されるため、上述の利便性が更に増すとともに、その記録される静止画は、焦点調整や露出が適切で、静止画として適当な画像が得られる。
【0072】
そして、操作者が、撮影を意図する被写体の画像が撮影され、かつ、静止画として適当な画像である時にその画像が静止画として自動的に記録されるため、動画撮影中に静止画を記録するための操作が不要になり、静止画を記録するためのスイッチを押したりする際に生ずる装置のぶれがなくなり、適切な動画と静止画が得られる。
【0073】
【発明の効果】
以上説明したように本発明によれば、動画撮影を行なう装置において、更に静止画として記録手段を備え、予め被写体の特徴を表す画像データと相関性の高い静止画のみを別記録媒体に記録させることが可能になる。
【0074】
【図面の簡単な説明】
【図1】実施形態における撮像装置の記録に関する構成を示す図である。
【図2】図1における静止画記録検出部10の詳細ブロック構成図である。
【図3】図2におけるシーン判定部31の詳細ブロック構成図である。
【図4】図1における静止画記録検出部10の別の詳細ブロック構成図である。
【図5】図4における被写体記録スイッチ70を操作する際のファインダー内の映像をを示す図である。
【図6】実施形態における静止画サーチ処理手順の一例を示す図である。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an imaging recording apparatus and a control method thereof, and more particularly to an imaging apparatus that performs recording and reproduction processing of an imaging signal imaged using an imaging element.
[0002]
[Prior art]
2. Description of the Related Art In recent years, with the advancement of digital signal processing technology, many imaging recording apparatuses have been proposed that process an imaging signal digitally and record it as a digital video signal on a tape or disk device.
[0003]
In these, the output signal of an image sensor such as a CCD is converted from analog to digital by an AD converter, this is signal processed by a digital signal processing circuit to obtain a digital video signal, and this is converted to recording data by a digital recording processing circuit. And recorded on a tape or disk device. In the case of having a playback unit, a digital video signal is formed from the output of the tape or disk device by a digital playback processing circuit and output to the external device as a playback digital video signal.
[0004]
[Problems to be solved by the invention]
A digital video signal which is a reproduction output signal is connected to various external devices. For example, after D / A conversion, it is connected to a normal TV monitor, connected to another VTR, a still image input device such as a personal computer (hereinafter referred to as a PC), a video input device of a PC, and Connected to a color printer.
[0005]
Among these connection destinations, when connecting to a TV monitor or another VTR, there is a problem that it takes much time and time to find a desired scene from the recorded tape. This is especially true when there are multiple tapes, since it is not known whether the desired content is included until the entire content of each tape is actually played.
[0006]
Of these connection destinations, a still image input device of a personal computer, a color printer, and the like need to extract a predetermined portion of a still image from recorded image data. However, it takes a very long time to extract the target image. For example, it takes a maximum of one hour to search for one image from a tape on which a one-hour moving image is recorded when viewed at a standard speed. It is possible to make it even shorter if you search with a high-speed search, but in the case of a tape, even if you press the stop after the desired image appears on the screen, it will advance considerably further. Operations such as moving to an image and making it stand still are necessary. Of course, if the speed of the high-speed search is too fast, you may miss it.
[0007]
In addition, after selecting a single still image from these images, when outputting to a personal computer or color printer as described above, depending on the shooting conditions, the exposure may be inappropriate or in focus. Or an inappropriate image may be output as a still image. Furthermore, even if a desired subject is captured, it is not captured at an appropriate position on the screen, so that an inappropriate image may be output as a still image.
[0008]
[Means for Solving the Problems]
The present invention has been made in view of such problems, and in an apparatus for taking a moving image, the image recording apparatus further includes recording means as a still image,Make it possible to record only still images with high correlation with image data representing the characteristics of the subject in advance on a separate recording medium.An imaging recording apparatus is to be provided.
[0009]
In order to solve this problem, for example, an imaging recording apparatus of the present invention has the following configuration. That is,
An image pickup apparatus that has an image pickup device and sequentially records videos taken by the image pickup device as a moving image on a predetermined first recording medium,
Means capable of mounting or connecting a second recording medium different from the first recording medium;
Storage holding means for holding a plurality of types of image data representing the characteristics of the subject;
The correlation between the video data captured by the image sensor input during the recording of the moving image and the one image data selected from the plurality of types of image data held in the storage holding unit is performed by performing a matching operation. When it is determined thatStill image recording control means for recording video data captured by the image sensor on the second recording medium as still image data.
[0010]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments according to the present invention will be described in detail with reference to the accompanying drawings.
[0011]
FIG. 1 is a block diagram of a main part of a recording unit of a digital video camera in the embodiment.
[0012]
In the figure, 1 is a lens including focus adjustment, exposure adjustment, and an imaging optical system, 2 is a CCD as an imaging device, 3 is an AD converter, 4 is camera signal processing, 5 is an AE / AF circuit, 6 is VTR signal processing, 7 is a magnetic head, 8 is a tape, 9 is still image signal processing, 10 is still image recording detection, 11 is a flash memory, or a memory such as a backed up SRAM or hard disk device, and 12 is used to start / stop recording. A trigger switch, 13 is a still image recording switch for instructing recording of a still image, and 14 is a condition setting switch for setting conditions for a still image to be recorded.
[0013]
A subject image (not shown) is focused and exposed by the lens 1 and then formed on the imaging surface of the CCD 2. The CCD 2 photoelectrically converts the received subject image and outputs it as an imaging signal. The imaging signal is converted from analog to digital by the
[0014]
On the other hand, in the AE /
[0015]
The AE /
[0016]
The AE /
[0017]
The digital video signal output from the camera signal processing 4 is supplied to the VTR signal processing unit 6, the still image
[0018]
In the still image
[0019]
The compressed still image stored in the memory 11 is read by data suitable for a personal computer (for example, an NTSC video signal if the personal computer has a video capture function) If decompression processing is performed on the personal computer side, the recorded compressed encoded data is output as digital data as it is to the communication interface, and is output via a predetermined communication interface. On the personal computer side, the image data received via the interface is stored or displayed on, for example, a hard disk included in the personal computer. In the case of direct output to a printer, a control command that is decompressed and interpretable by the printer is output.
[0020]
When the memory 11 is detachable as described above, the memory 11 is removed from the housing of the present embodiment, inserted into a memory slot of a personal computer, and the compressed image data is directly read. In this case, although a processing program or hardware for decompressing the image data is required on the personal computer side, the time required for transfer can be greatly saved.
[0021]
The still image
[0022]
When the operator presses the
[0023]
As the predetermined condition, for example, after the time from when the VTR signal processing unit 6 is in the recording start state until data is actually recorded on the tape 8, a still image recording control signal is generated, For example, a still image recording control signal is generated at a predetermined interval during the recording to 8.
[0024]
The still
[0025]
The
[0026]
In the still image
[0027]
For example, when the person shooting mode is set by the
[0028]
FIG. 2 is a detailed block diagram of the still image
[0029]
In the figure, 20, 21, 22, 23 and 24 are input terminals for a digital video signal, an AE / AF state signal (2 bits), an output of the
[0030]
In the above configuration, the digital video data input from the
[0031]
The written data is read according to the address generated by the
[0032]
In the
[0033]
For example, it is assumed that an image of a part of a human face, for example, an image of an eye, an image of a mouth, an image of a nose, or the like is recorded in the
[0034]
For example, images of sky, buildings, trees, and the like are recorded in the
[0035]
In the
[0036]
First, in the first step, using the output of the matching
[0037]
For example, as described above, when the
[0038]
In the next step, candidates used for determination are extracted from the values at the center positions of the respective parts. For example, it is determined whether or not the standard deviation obtained by normalizing each value by the total variance exceeds a predetermined threshold value.
[0039]
In the final step, the final scene determination is performed using the relative positional relationship of the candidates obtained in the previous step. For example, if there are two eye candidates side by side in a predetermined range, there is a nose candidate below the center, and there is a mouth candidate below that, it is determined that there is a human face, If the face is within a predetermined range on the screen, a determination signal for taking a still image is output.
[0040]
Similarly, even when a landscape is detected, a determination signal for taking a still image is output when each image candidate meets a predetermined condition.
[0041]
This determination signal is input to the
[0042]
In the AND gate 34, when the scene determination signal is generated as described above and the AE / AF signal indicating that both the AE and AF states are good is input, the detection signal is output to the
[0043]
The output signal of the
[0044]
The output of the
[0045]
FIG. 3 is a detailed block diagram of the
[0046]
In the figure, 40 is an input terminal for the degree of matching of the output of the matching
[0047]
[0048]
The matching degree from the
[0049]
60 and 61 are components of the
[0050]
The output of the
[0051]
In the
[0052]
The
[0053]
FIG. 4 is another detailed block diagram of the still image
[0054]
A feature of this configuration is that, when determining whether or not the subject is in the field of view, the operator can freely store the image of the subject to be compared.
[0055]
When the
[0056]
When the output of the
[0057]
By this operation, when the set subject is photographed by the operator, the image at that time can be written in the memory 11 as a still image.
[0058]
FIG. 5 is a diagram showing a viewfinder (or a display example of a display unit (not shown)) when the
[0059]
At this time, the address generated by the
[0060]
With the above configuration, when searching for an image for which an operator has instructed to shoot a still image, it is only necessary to search for a still image stored in the memory 11 instead of the tape 8, and the operability related to the search is greatly improved. Will do. Moreover, since the still image is taken in a good state at least for both AE and AF, there is no problem that the searched image is out of focus as expected.
[0061]
If the memory 11 is detachable from the apparatus, it may be set in a portion where a memory such as a personal computer is mounted, and the data may be directly decrypted and decompressed by an application or the like.
[0062]
In the following, the procedure for searching on the apparatus side will be described with reference to FIG.
[0063]
The operator selects whether to search from a video captured as a still image or a video recorded as a search target by using an operation unit (not shown). If it is determined that the recording is a moving image recording, that is, a search from within the tape 8, the process proceeds to step S2 to perform a normal search process.
[0064]
On the other hand, when the still image search is selected, the process proceeds to step S3, where the still image
[0065]
Next, the process proceeds to step S4, where an instruction as to whether or not the displayed image is the target is received and a determination is made. If there is an instruction that the image is not the target image, the process returns to step S3 to display the next still image. When the target still image can be found in this way and there is an instruction to that effect, the process proceeds to step S5, and still image data (still image data that has not been thinned out) corresponding to the image displayed at that time is not stored. Output via the interface shown.
[0066]
The above-described still image search processing procedure is an example, and the present invention is not limited thereby. For example, instead of sending the still images to be searched one frame at a time, it may be instructed how many frames are to be searched, or the last recorded frame may be searched. Further, unless the output instruction is given within a predetermined time, the video of the next frame may be automatically displayed.
[0067]
The output interface is, for example, an interface for outputting to a video capture card mounted on a television apparatus, VTR apparatus, personal computer, or the like, and outputs in the NTSC system. When outputting as digital data, for example, when a dedicated card is attached to a personal computer, still image data obtained by decompression is output as it is. However, if a device driver or application for performing decompression processing is running on the personal computer side, the compression-encoded data read from the memory 11 may be sent as it is. In this case, since the amount of information required for transfer is small, it can be transferred in a short time. In the case of direct output to a printer, a control command that can be interpreted by the printer is added and transferred via a dedicated interface. Which of these output interfaces is to be used may be selected in advance by the operation unit. In some cases, it is confirmed whether or not the interfaces other than the NTSC signal can communicate with each other, and if the communication is possible, the above data may be output to all the communicable interfaces. Will be good.
[0068]
In addition, the memory 11 in the embodiment is not limited to a memory IC card, literally, but may be a floppy disk, an MO, or a magnetic tape, and the present invention is not limited thereby.
[0069]
As described above, according to the present embodiment, it is possible to easily determine what scene is recorded as a moving image by viewing a still image recorded simultaneously with the moving image.
[0070]
In addition, the still image obtained at that time has appropriate focus adjustment and exposure, and an appropriate image can be obtained as a still image.
[0071]
Furthermore, since the image necessary for the operator as a still image is further recorded as a still image, the above-described convenience is further increased, and the recorded still image has a proper focus adjustment and exposure, and is recorded as a still image. A suitable image is obtained.
[0072]
Then, when the operator captures an image of the subject intended for shooting, and the image is automatically recorded as a still image when the image is suitable as a still image, the still image is recorded during movie shooting. This eliminates the need for an operation to perform the operation, eliminates the shake of the device that occurs when a switch for recording a still image is pressed, and obtains an appropriate moving image and still image.
[0073]
【The invention's effect】
As described above, according to the present invention, the apparatus for taking a moving image further includes a recording unit as a still image,Record only still images with high correlation with image data representing the characteristics of the subject in advance on a separate recording medium.It becomes possible.
[0074]
[Brief description of the drawings]
FIG. 1 is a diagram illustrating a configuration related to recording of an imaging apparatus according to an embodiment.
FIG. 2 is a detailed block configuration diagram of a still image
3 is a detailed block configuration diagram of a
4 is another detailed block configuration diagram of the still image
5 is a view showing an image in the viewfinder when the
FIG. 6 is a diagram illustrating an example of a still image search processing procedure in the embodiment.
Claims (7)
前記第1の記録媒体とは異なる、第2の記録媒体を装着もしくは接続可能な手段と、
被写体の特徴を表す画像データを複数種類保持する記憶保持手段と、
動画記録の実行中に入力された前記撮像素子で撮影された映像データが、前記記憶保持手段に保持された前記複数種類の画像データから選択された一の画像データとマッチング演算を行なうことにより相関性があると判断されたときに、前記撮像素子で撮影された映像データを静止画画像データとして前記第2の記録媒体に記録させる静止画記録制御手段とを備えることを特徴とする撮像記録装置。An image pickup apparatus that has an image pickup device and sequentially records videos taken by the image pickup device as a moving image on a predetermined first recording medium,
Means capable of mounting or connecting a second recording medium different from the first recording medium;
Storage holding means for holding a plurality of types of image data representing the characteristics of the subject;
The correlation between the video data captured by the image sensor input during the recording of the moving image and the one image data selected from the plurality of types of image data held in the storage holding unit is performed by performing a matching operation. An image recording apparatus comprising: a still image recording control unit that records video data captured by the image sensor on the second recording medium as still image data when it is determined that .
該指示手段による指示があった場合に、前記第2の記録媒体に格納された静止画を再生すると共に、所定のインタフェースに静止画データを出力する出力手段とを備えることを特徴とする請求項第1項に記載の撮像記録装置。An instruction means for instructing reproduction of the still image recorded on the second recording medium;
An output means for reproducing a still image stored in the second recording medium and outputting still image data to a predetermined interface when instructed by the instruction means. The imaging recording apparatus according to item 1.
前記静止画記録制御手段は、前記AF手段により合焦したことを示す信号、及び前記AE手段により適正露出になったことを示す信号の両方が出力された場合に、静止画を前記第2の記録媒体に記録させることを特徴とする請求項1に記載の撮像記録装置。The still image recording control means outputs the still image as the second image when both a signal indicating that the AF means is in focus and a signal indicating that the AE means is in proper exposure are output. The imaging recording apparatus according to claim 1, wherein recording is performed on a recording medium.
前記第2の記録媒体が装着もしくは接続され、前記第1の記録媒体に動画記録の実行中に、前記撮像素子で撮影された映像データが、前記記憶保持手段に保持された前記複数種類の画像データから選択された一の画像データとマッチング演算を行なうことにより相関性があると判断されたときに、前記撮像素子で撮影された映像データを静止画画像データとして前記第2の記録媒体に記録させる
ことを特徴とする撮像記録装置の制御方法。An image pickup device and means for sequentially recording a video taken by the image pickup device as a moving image on a predetermined first recording medium and capable of mounting or connecting a second recording medium different from the first recording medium And a control method for an imaging and recording apparatus having storage holding means for holding a plurality of types of image data representing characteristics of a subject ,
The plurality of types of images in which the second recording medium is mounted or connected, and video data captured by the image sensor during the recording of moving images on the first recording medium is held in the storage holding unit. When it is determined that there is a correlation by performing a matching operation with one image data selected from the data, the video data captured by the image sensor is recorded as still image data on the second recording medium. A method for controlling an imaging and recording apparatus, comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP35377497A JP3667065B2 (en) | 1997-12-22 | 1997-12-22 | Imaging recording apparatus and control method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP35377497A JP3667065B2 (en) | 1997-12-22 | 1997-12-22 | Imaging recording apparatus and control method thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH11187350A JPH11187350A (en) | 1999-07-09 |
JP3667065B2 true JP3667065B2 (en) | 2005-07-06 |
Family
ID=18433134
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP35377497A Expired - Fee Related JP3667065B2 (en) | 1997-12-22 | 1997-12-22 | Imaging recording apparatus and control method thereof |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3667065B2 (en) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1081946A3 (en) * | 1999-09-03 | 2004-01-02 | Victor Company Of Japan, Limited | Recording apparatus and recording method of video signal |
JP4549481B2 (en) * | 2000-03-09 | 2010-09-22 | オリンパス株式会社 | Focusing device |
JP4986175B2 (en) | 2007-12-28 | 2012-07-25 | カシオ計算機株式会社 | Imaging apparatus and program |
JP2012165407A (en) * | 2007-12-28 | 2012-08-30 | Casio Comput Co Ltd | Imaging apparatus and program |
JP2010199927A (en) * | 2009-02-25 | 2010-09-09 | Nikon Corp | Imaging apparatus |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3395197B2 (en) * | 1992-02-20 | 2003-04-07 | ソニー株式会社 | Video signal recording device |
JP3658020B2 (en) * | 1993-09-29 | 2005-06-08 | キヤノン株式会社 | Imaging device |
JP2630923B2 (en) * | 1994-12-05 | 1997-07-16 | 日本アイ・ビー・エム株式会社 | Image recognition method and apparatus |
JP3629764B2 (en) * | 1995-08-25 | 2005-03-16 | ソニー株式会社 | Video signal recording apparatus, recording method, editing method and system thereof |
JPH09274133A (en) * | 1996-01-31 | 1997-10-21 | Canon Inc | Correlator and picture correlator, signal adder, picture processing circuit and automatic focusing camera using them |
-
1997
- 1997-12-22 JP JP35377497A patent/JP3667065B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH11187350A (en) | 1999-07-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7881601B2 (en) | Electronic camera | |
EP1667418A2 (en) | Digital camera having video file creating function | |
US20070268394A1 (en) | Camera, image output apparatus, image output method, image recording method, program, and recording medium | |
JP4364464B2 (en) | Digital camera imaging device | |
US20180199120A1 (en) | Method of controlling digital photographing apparatus and digital photographing apparatus using the same | |
JP4364465B2 (en) | Imaging device | |
JPH1169293A (en) | Image processing system and camcorder | |
JP2003179798A (en) | Digital camera | |
JPH11239291A (en) | Image pickup controller and image pickup control method | |
JP4497761B2 (en) | Image processing apparatus and index creation method | |
EP0996286A2 (en) | Electronic camera | |
JP3667065B2 (en) | Imaging recording apparatus and control method thereof | |
JP2004248171A (en) | Moving image recorder, moving image reproduction device, and moving image recording and reproducing device | |
JP2001230955A (en) | Device and system for picking up image | |
JP2010237911A (en) | Electronic apparatus | |
JPH03230691A (en) | Digital electronic still camera | |
KR100286306B1 (en) | Panorama photograph method for digital still camera | |
JP2011119934A (en) | Image shooting device and image shooting method | |
JP2004186866A (en) | Image recording apparatus | |
KR101480407B1 (en) | Digital image processing apparatus, method for controlling the same and medium of recording the method | |
JP2006054636A (en) | Imaging apparatus | |
JP2008048152A (en) | Moving picture processing apparatus, moving picture photographing apparatus and moving picture photographing program | |
JP2000041170A (en) | Image pickup device and method | |
JP2000299800A (en) | Image pickup method and device and storage medium | |
KR100292498B1 (en) | Multi-mode camcorder and control method thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041118 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041122 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050121 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050328 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050405 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090415 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090415 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100415 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110415 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130415 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130415 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140415 Year of fee payment: 9 |
|
LAPS | Cancellation because of no payment of annual fees |