JP3403106B2 - 動画像記録装置 - Google Patents

動画像記録装置

Info

Publication number
JP3403106B2
JP3403106B2 JP03050799A JP3050799A JP3403106B2 JP 3403106 B2 JP3403106 B2 JP 3403106B2 JP 03050799 A JP03050799 A JP 03050799A JP 3050799 A JP3050799 A JP 3050799A JP 3403106 B2 JP3403106 B2 JP 3403106B2
Authority
JP
Japan
Prior art keywords
image
data
block
writing
read
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP03050799A
Other languages
English (en)
Other versions
JP2000232619A (ja
Inventor
順也 郭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=12305740&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP3403106(B2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP03050799A priority Critical patent/JP3403106B2/ja
Priority to CNB001007726A priority patent/CN1181676C/zh
Priority to CNB2004100383857A priority patent/CN100477735C/zh
Priority to US09/498,648 priority patent/US6697568B1/en
Priority to KR1020000005738A priority patent/KR100686278B1/ko
Priority to EP00102622A priority patent/EP1026891B1/en
Priority to DE60041296T priority patent/DE60041296D1/de
Publication of JP2000232619A publication Critical patent/JP2000232619A/ja
Publication of JP3403106B2 publication Critical patent/JP3403106B2/ja
Application granted granted Critical
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】この発明は、動画像記録装置に関
し、特にたとえばディジタルカメラに適用され、記録指
示に応答して複数フレームの画像データを記録媒体に記
録する、動画像記録装置に関する。
【0002】
【従来の技術】従来のディジタルカメラでは、シャッタ
ボタンが押されると、動画像データの圧縮処理が開始さ
れ、生成された圧縮動画像データは一時的に内部メモリ
に格納されていた。その後、シャッタボタンがオフされ
ると、圧縮処理が中止され、内部メモリに格納された圧
縮動画像データはまとめて記録媒体に記録されていた。
【0003】
【発明が解決しようとする課題】しかし、このような従
来技術では、圧縮動画像データは内部メモリを介して記
録媒体に記録されるため、連続して記録できる時間は内
部メモリの容量に依存してしまうという問題があった。
それゆえに、この発明の主たる目的は、メモリ容量に関
係なく長時間の動画像を記録できる、動画像記録装置を
提供することである。
【0004】
【課題を解決するための手段】この発明によれば、動画
像を形成するかつ所定フレームレートで得られる複数フ
レームの圧縮画像データを内部メモリを介して記録媒体
に記録する動画像記録装置圧縮画像データを内部メ
モリに循環的に書き込む画像書き込み手段、圧縮画像デ
ータを内部メモリから循環的に読み出画像読み出し手
段、および内部メモリ上で画像書き込み位置が画像読み
出し位置を追い越す前に画像書き込み手段を不能化する
不能化手段を備え、画像書き込み手段の書き込み速度は
画像読み出し手段の読み出し速度よりも速いことを特徴
とする。
【0005】
【作用】画像書き込み手段は画像データを内部メモリに
循環的に書き込み、画像読み出し手段は画像データを内
部メモリから循環的に読み出して記録媒体に記録する。
書き込み手段は、画像書き込み位置と画像読み出し位置
とが所定の関係になったときに不能化手段によって不能
化される。
【0006】この発明のある局面では、内部メモリは複
数の画像ブロックを有し、それぞれの画像ブロックは所
定フレーム数の画像データに相当する容量を持つ。この
発明のある実施例では、画像書き込み手段は次のように
動作する。つまり、指定手段がそれぞれの画像ブロック
を1つずつかつ循環的に指定し、画像データ書き込み手
段が、指定された画像ブロックに所定フレーム数の画像
データを書き込む。
【0007】この発明の他の実施例では、複数のブロッ
クフラグが複数の画像ブロックにそれぞれ対応し、各ブ
ロックフラグの状態は、対応する画像ブロックに対する
アクセス状態を示す。画像書き込み手段では、1つの画
像ブロックへの書き込みが完了する毎に、セット手段が
対応するブロックフラグをセットする。また、1つの画
像ブロックからの読み出しが完了する毎に、リセット手
段が対応するブロックフラグをリセットする。画像読み
出し手段では、画像データ読み出し手段が、1つの画像
ブロックから所定バイト数ずつ画像データを読み出す。
また、更新手段が、所定バイト数の読み出しが完了する
毎に読み出しアドレスを更新する。リセット手段は、前
記読み出しアドレスを検出し、検出結果に基づいて画像
ブロックからの読み出しの完了を判別する。不能化手段
は、このようなブロックフラグの状態に応じて、画像書
き込み手段を不能化する。
【0008】この発明の他の局面では、圧縮手段が複数
フレームの画像データを圧縮する。このため、画像書き
込み手段は、圧縮手段によって圧縮された圧縮画像デー
タを内部メモリに書き込み、画像読み出し手段は、圧縮
画像データを内部メモリから読み出す。
【0009】
【発明の効果】この発明によれば、画像データを内部メ
モリに循環的に書き込み、その後、画像データを内部メ
モリから循環的に読み出して記録媒体に記録するように
したため、内部メモリの容量が小さいときでも長時間の
動画像を記録できる。また、画像書き込み位置と画像読
み出し位置とが所定の関係になったときに画像書き込み
手段を不能化するため、未だ読み出されていない画像デ
ータが後続の画像データによって上書きされることがな
い。
【0010】この発明の上述の目的,その他の目的,特
徴および利点は、図面を参照して行う以下の実施例の詳
細な説明から一層明らかとなろう。
【0011】
【実施例】図1を参照して、この実施例のディジタルカ
メラ10はCCDイメージャ12を含む。CCDイメー
ジャ12の前面には色フィルタ(図示せず)が装着さ
れ、被写体の光像はこの色フィルタを介してCCDイメ
ージャ12に照射される。モード切換スイッチ60を
“カメラ”側に切り換えると、システムコントローラ5
4がカメラモードを設定する。タイミングジェネレータ
(TG)14は、シグナルジェネレータ(SG)16か
ら出力される垂直同期信号および水平同期信号に基づい
てタイミング信号を生成し、CCDイメージャ12をプ
ログレッシブスキャン方式で駆動する。この結果、各フ
レームのカメラ信号が1/15秒毎にCCDイメージャ
12から出力される。出力されたカメラ信号は、CDS
/AGC回路18で周知のノイズ除去およびレベル調整
を施され、その後、A/D変換器16によってディジタ
ル信号であるカメラデータに変換される。信号処理回路
22は、A/D変換器16から出力されたカメラデータ
にYUV変換を施してYUVデータを生成する。CCD
イメージャ12は各フレームのカメラ信号を1/15秒
毎に出力するため、各フレームのYUVデータ(静止画
像データ)もまた、1/15秒毎に出力される。信号処
理回路22は、このようにして生成された静止画像デー
タを書き込みリクエストとともにメモリ制御回路26に
出力する。
【0012】メモリ制御回路26は、書き込みリクエス
トに応答して、静止画像データをSDRAM28に書き
込む。SDRAM54には図3に示すような表示画像エ
リアが形成されており、静止画像データはここに書き込
まれる。表示画像エリアは1フレーム分の容量しか持た
ず、各フレームの静止画像データは1/15秒毎に更新
される。一方、ビデオエンコーダ38は1/15秒毎に
リクエスト信号を出力し、メモリ制御回路26は静止画
像データを表示画像エリアから1/15秒毎に読み出
す。読み出された各フレームの静止画像データは、バス
24aを介してビデオエンコーダ38に与えられる。な
お、静止画像データの読み出しには、インタレーススキ
ャン方式が用いられる。
【0013】ビデオエンコーダ38は、入力された各フ
レームの静止画像データからNTSCフォーマットのコ
ンポジット画像信号を生成し、生成したコンポジット画
像信号をモニタ40に与える。この結果、被写体像の動
画像が、リアルタイムでモニタ40に表示される。オペ
レータがシャッタボタン58を押せば、システムコント
ローラ54はCPU32に対して動画像および音声の記
録処理を指示する。すると、CPU32は、1/15秒
毎に画像圧縮命令および音声処理命令を発生する。画像
圧縮命令はJPEGコーデック30に与えられ、音声処
理命令は信号処理回路46に与えられる。
【0014】JPEGコーデック30は、画像圧縮命令
に応答して読み出しリクエストをメモリ制御回路26に
出力する。このため、SDRAM28の表示画像エリア
に格納された静止画像データが、メモリ制御回路26に
よって1/15秒毎に読み出される。読み出された静止
画像データはバス24aを介してJPEGコーデック3
0に与えられ、JPEG圧縮を施される。JPEGコー
デック30は、1フレーム分の圧縮画像データが得られ
る毎に、このような圧縮画像データの書き込みをメモリ
制御回路26にリクエストする。これに応じて、メモリ
制御回路26は、各フレームの圧縮画像データを図3に
示す圧縮画像エリアに書き込む。圧縮画像エリアには、
15フレーム分の圧縮画像データを格納できる画像ブロ
ックが複数形成されており、圧縮画像データは各圧縮画
像ブロックに15フレームずつ書き込まれる。
【0015】一方、信号処理回路46は、音声処理命令
に応答して、A/D変換器44から音声データを取り込
む。つまり、マイク42によって捉えられかつA/D変
換を施された音声データを取り込む。そして、取り込ん
だ音声データに所定の処理を施し、処理された音声デー
タを書き込みリクエストとともにメモリ制御回路26に
出力する。音声処理命令は1/15秒毎に与えられるた
め、1/15秒分つまり524バイトの音声データがメ
モリ制御回路46に出力される。メモリ制御回路26
は、書き込みリクエストに応答して、このような524
バイトの音声データを図3に示す音声エリアに書き込
む。音声エリアには、1秒分(7866バイト)の音声
データを格納できる音声ブロックが形成されており、音
声データはこのような音声ブロックに1秒ずつ書き込ま
れていく。
【0016】CPU32はまた、15フレーム分の圧縮
画像データおよび1秒分の音声データがSDRAM28
に書き込まれる毎に、画像ヘッダデータおよび音声ヘッ
ダデータを作成し、これらのヘッダデータの書き込みを
メモリ制御回路26にリクエストする。メモリ制御回路
26は、画像ヘッダデータおよび音声ヘッダデータを、
図3に示すヘッダエリアに形成されたヘッダブロックに
書き込む。なお、互いに関連する画像ヘッダデータおよ
び音声ヘッダデータは、同じヘッダブロックに書き込ま
れる。このようにして書き込み処理が実行されること
で、互いに対応する圧縮画像データ,音声データおよび
ヘッダデータは、同じ係数を持つ画像ブロック,音声ブ
ロックおよびヘッダブロックにそれぞれ書き込まれる。
【0017】CPU32はまた、メモリ制御回路26に
対してデータの読み出しをリクエストする。メモリ制御
回路26は、このようなリクエストに応答して、同じ係
数を持つブロックから音声ヘッダ、音声、画像ヘッダ、
画像の順でデータを読み出す。まずヘッダブロックから
音声ヘッダデータが読み出され、音声ブロックから1秒
分の音声データが読み出される。次に、ヘッダブロック
から画像ヘッダデータが読み出され、画像ブロックから
15フレーム分の圧縮画像データが読み出される。CP
U32は、このようにして読み出されたデータをメモリ
カード36に記録する。
【0018】メモリカード36には、最初のシャッタボ
タン58の操作に応答してAVI(Audio Video Interl
eave)ファイルのヘッダが新規に作成され、SDRAM
28から読み出されたデータはファイルヘッダ以降に書
き込まれていく。この結果、図2に示すように、1秒分
の音声データからなる音声チャンクおよび15フレーム
分の圧縮画像データからなる画像チャンクが交互に形成
される。音声ヘッダデータは音声チャンクの先頭に設け
られ、画像ヘッダデータは画像チャンクの先頭に設けら
れる。なお、この実施例では、1秒分の動画像は15フ
レームからなり、1つの音声チャンクおよびこれに続く
1つの画像チャンクが互いに対応する。
【0019】シャッタボタン58がオフされると、CP
U32は信号処理回路46に対する音声処理命令の出力
およびJPEGコーデック30に対する画像圧縮命令の
出力を中止する。つまり、SDRAM28に対するデー
タの書き込み処理を中止する。但し、記録処理は、SD
RAM28の全てのデータがメモリカード36に記録さ
れたときに終了される。
【0020】図3を参照して、書き込み処理によってブ
ロック(N−1)への書き込みが完了すると、次の書き
込み先はブロック0となる。また、記録処理によってブ
ロック(N−1)からの読み出しが完了すると、次の読
み出し先はブロック(N−1)となる。つまり、SDR
AM28はリングバッファとして動作し、書き込みブロ
ックおよび読み出しブロックは、圧縮画像エリア,音声
エリアおよびヘッダエリアのそれぞれでリング状につま
り循環的に更新される。但し、SDARM28へのデー
タ書き込み速度は、SDRAM28からのデータ読み出
し速度と必ずしも一致しない。むしろ、データ書き込み
速度は、データ読み出し速度よりも速い。このため、書
き込みブロックが読み出しブロックに追いついたとき
は、シャッタボタン58がオン状態でも、書き込みモー
ドが強制的に中止される。この結果、未だ読み出されて
いないデータに後続のデータが上書きされることはな
い。記録処理は、上述と同様に、SDRAM28の全て
のデータがメモリカード36に記録された時点で終了さ
れる。
【0021】なお、ビデオエンコーダ38は、シャッタ
ボタン58が押されている間も1/15秒毎に読み出し
リクエストを発生し、メモリ制御回路28は表示画像エ
リアから各フレームの静止画像データを読み出す。この
ため、メモリカード36に記録される動画像と同じ動画
像が、モニタ40に表示される。書き込みブロックが読
み出しブロックに追いつき、書き込みモードが強制的に
中止されたときは、中止された時点の静止画像がモニタ
40に表示され続ける。
【0022】シャッタボタン58が操作されたとき、C
PU32は、図5〜図7に示す書き込みモード処理(書
き込み処理)ならびに図8および図9に示すBGモード
処理(記録処理)を実行する。つまり、CPU32には
μiTRONのようなマルチタスクOSが搭載されてお
り、これらの処理が並行して実行される。なお、書き込
みモード処理では、必要に応じて図10〜図16にサブ
ルーチンが処理される。まず、図5を参照して、CPU
32はシャッタボタン58の押圧に応答してステップS
1を処理する。ステップS1では、図10および図11
に示すサブルーチンによって各種の変数が初期化され
る。CPU32は次に、ステップS3でBG(Back Gro
und )モードを起動し、ステップS5でBGモードフラ
グfBGをセットする。BGモードが起動されると、図8
および図9に示すルーチンが並行して処理される。
【0023】ステップS7では、ブロックフラグfnが
セットされているかどうかを判別する。1回目のステッ
プS7では、ブロックフラグf1が判断対象となる。ス
テップS1における初期化処理によってブロック番号n
が“0”にセットされ、さらに全てのブロックフラグf
0〜f(N−1)がリセットされるため、このときの判
断結果はYESとなる。なお、ブロックフラグfnは、
画像ブロックn,音声ブロックnおよびヘッダブロック
nに対応する。
【0024】ステップS9に進むと、CPU32は図1
2および図13に示すサブルーチンを処理し、画像ブロ
ックn,音声ブロックnおよびヘッダブロックnに圧縮
画像データ,音声データおよびヘッダデータをそれぞれ
書き込む。書き込みが完了すると、ステップS11でブ
ロックフラグfnをセットする。ブロックフラグfn
は、ブロックnに対する書き込みの完了に応答してセッ
トされ、ブロックnからの読み出しの完了に応答してリ
セットされる。このため、ブロックフラグfnのセット
状態は、ブロックnからのデータの読み出しが未だ完了
していないことを意味する。
【0025】ステップS13では、図14〜図16に示
すサブルーチンを処理し、ブロックnに関連する指示リ
ストを作成する。作成された指示リストは、BGモード
の処理に用いられる。CPU32は続いて、ステップS
15でカウント値Mを“14”と比較し、15フレーム
に相当するデータが全てブロックnに書き込まれたかど
うかを判断する。これによって、ブロックnへの書き込
みの途中でシャッタボタン58がオフされたかどうかが
判別できる。途中でシャッタボタン58がオフされたと
きは、ステップS15でYESと判断し、ステップS1
7に進む。ステップS17ではBGフラグfBGをリセッ
トし、続くステップS19ではBGモード処理が終了し
たかどうかを判断する。ここでYESと判断されると、
CPU32は書き込みモード処理を終了する。
【0026】一方、シャッタボタン58が押され続けて
いれば、CPU32はステップS21に進み、ファイル
ポインタFPのアドレス情報を取得する。そしてステッ
プS23で、ファイルポインタFPが数1に示す条件を
満たすかどうかを判断する。
【0027】
【数1】VSA0≦FP<VSA1 ASA0≦FP<ASA1 HSA0≦FP<HSA1 VSAn;画像ブロックnの先頭アドレス ASAn;音声ブロックnの先頭アドレス HSAn;ヘッダブロックnの先頭アドレス これらの条件のいずれか1つでも満たせば、BGモード
での読み出し処理はブロック0に対して行われている。
このときCPU32は、ステップS25におけるブロッ
クフラグfN-1 のリセット処理を経て、ステップS41
に進む。一方、いずれの条件も満たさなければ、CPU
32はステップS27でブロック番号Kを“1”にセッ
トし、ステップS29でファイルポインタFPが数2に
示す条件を満たすかどうかを判断する。
【0028】
【数2】VSAK≦FP<VSA(K+1) ASAK≦FP<ASA(K+1) HSAK≦FP<HSA(K+1) ここでも、いずれか1つでも条件が満たされれば、ブロ
ックKからデータが読み出されていると判断し、ステッ
プS31でブロックフラグfK-1 をリセットしてからス
テップS41に進む。いずれの条件も満たされなけれ
ば、CPU32は、ステップS33でブロック番号Kを
インクリメントし、ステップS35で現ブロック番号K
を“N−1”と比較する。K=N−1とならない限り、
CPU32はステップS29に戻り、この結果、ステッ
プS29およびS33の処理が繰り返される。K=N−
1となると、CPU32はステップS37に進み、ファ
イルポインタFPが数3に示す条件を満たすかどうかを
判断する。
【0029】
【数3】VSA(N−1)≦FP≦VEASA(N−1)≦FP≦AEASA(N−1)≦FP≦HEAEA;圧縮画像エリアの末尾アドレス AEA;音声エリアの末尾アドレス HEA;ヘッダエリアの末尾アドレス このステップでも、いずれかの条件を満たせばYESと
判断され、いずれの条件も満たさなければNOと判断さ
れる。YESの判断はデータの読み出し動作がブロック
(N−1)に対して行われていることを意味し、CPU
32は、ステップS39でブロックフラグfN-2 をリセ
ットしてからステップS41に進む。なお、NOと判断
されれば、CPU32はそのままステップS17に戻
る。
【0030】このように、BGモード処理によってブロ
ックnから全てのデータが読み出されると、対応するブ
ロックフラグnがリセットされる。ステップS41では
ブロック番号nをインクリメントし、続くステップS4
3では現ブロック番号nを“N−1”と比較する。そし
て、NOであればそのままステップS47に進み、YE
SであればステップS45でブロック番号nをリセット
してからステップS47に進む。ステップS47ではシ
ャッタボタン58がオフされたかどうか判断し、NOで
あればステップS7に戻るが、YESであればステップ
S17に移行する。ステップS41〜S45から分かる
ように、ブロック番号nは、“N−1”までインクリメ
ントされた後にリセットされる。このため、書き込み先
の画像ブロック,音声ブロックおよびヘッダブロックは
循環的に指定され、圧縮画像データ,音声データおよび
ヘッダデータはリング状に書き込まれる。
【0031】このような循環的な書き込み動作は、シャ
ッタボタン58がオフされると同時に中止される。つま
り、ブロックnへの書き込みの途中およびブロックnへ
の書き込みが完了した時点のいずれでシャッタボタン5
8がオフされた場合でも、書き込みモード処理はこのオ
フ動作に応答して中止される。SDRAM28に保持さ
れたデータは、BGモード処理によってメモリカード3
6に記録される。
【0032】書き込みモード処理は、シャッタボタン5
8がオフされたときだけでなく、ステップS7でNOと
判断されたときも中止される。このような書き込み動作
の強制中止は、SDRAM28からの読み出し速度が書
き込み速度よりも遅く、データの読み出しが完了してい
ないブロックに対してデータを書き込もうとする場合に
行われる。この結果、未だ読み出されていないデータに
後続のデータが上書きされるのを防止することができ
る。
【0033】図8を参照して、BGモード処理を説明す
る。CPU32は、まずステップS51でメール書き込
み番号WN ,メール読み出し番号RN およびカウント値
mをリセットする。次に、ステップS53およびS55
で、カウント値mが“0”よりも大きいかどうか、およ
びBGフラグfBGがリセットされているかどうかを判断
する。m>0であればステップS53からステップS5
7に進み、m≦0でかつBGフラグfBGがセット状態で
あればステップS53に進み、そしてm≦0でかつBG
フラグfBGがリセット状態であれば処理を終了する。
【0034】カウント値mはステップS51でリセット
されるが、上述の書き込みモード処理、具体的にはステ
ップS13の指示リスト作成処理によってインクリメン
トされる。これによってm>0となり、ステップS53
でYESと判断される。すると、CPU32はステップ
S57でファイルポインタFPをメール読み出し番号R
N に対応する読み出し開始アドレスにセットし、カウン
ト値Sをメール読み出し番号RN に対応するデータサイ
ズにセットする。上述のステップS13では、図4に示
すような指示リスト32aが作成される。図4によれ
ば、読み出し開始アドレスならびにバイト数で表される
データサイズが、各メール番号に対応付けられる。ステ
ップS57およびS59では、現メール読み出し番号R
N と同じ値をもつメール番号を指示リスト32aから検
出し、検出したメール番号に対応する読み出し開始アド
レスおよびデータサイズを読み出す。そして、読み出さ
れたアドレスデータおよびサイズデータをファイルポイ
ンタFPおよびカウント値Sにそれぞれセットする。
【0035】CPU32は続いて、ステップS61でS
DRAM28へのアクセスが可能かどうか判断する。シ
ャッタボタン58が押されている期間、メモリ制御回路
26は、CPU32だけでなく、信号処理回路22およ
び46,JPEGコーデック30およびビデオエンコー
ダ38からもアクセスリクエストを受け、これらのリク
エストを調停しながらSDRAM28に対する書き込み
/読み出しを行う。このため、ステップS61ではメモ
リ制御回路26に対してリクエストを出力し、メモリ制
御回路26から許可信号が返ってきたときにYESと判
断する。ステップS61におけるリクエストの出力時、
CPU32は、ファイルポインタFPが持つアドレス情
報も同時に出力する。メモリ制御回路26は、このよう
なアドレス情報に従ってSDRAM28から1バイト分
のデータを読み出す。このため、CPU32は許可信号
に続いて1バイトのデータを受ける。
【0036】CPU32は、入力された1バイトのデー
タをステップS63でメモリカード36に記録し、ステ
ップS65およびS67でファイルポインタFPおよび
カウント値Sを更新する。ファイルポインタFPが持つ
アドレス情報はインクリメントされ、カウント値Sはデ
ィクリメントされる。ステップS69ではカウント値S
を“0”と比較し、S>0であればステップS61に戻
る。この結果、現メール読み出し番号RNに対応するデ
ータが全てメモリカード36に記録されるまで、ステッ
プS61〜S69の処理が繰り返される。
【0037】カウント値Sが“0”となると、CPU3
2は、現メール読み出し番号RN に対応するデータの読
み出し処理が完了したと判断し、ステップS71でカウ
ント値mをディクリメントする。カウント値mは、指示
リスト作成処理によってインクリメントされ、このステ
ップでディクリメントされる。このため、カウント値m
は、SDRAM28に書き込まれかつ未だ読み出されて
いないデータ量を意味する。
【0038】CPU32はその後、ステップS73でメ
ール読み出し番号RN をインクリメントし、ステップS
75で現メール読み出し番号RN を“L−1”と比較す
る。図4から分かるように、“L−1”はメール番号の
最大値(たとえば1999)である。このため、RN
L−1であればそのままステップS79に進むが、R N
>L−1であれば、ステップS75でメール読み出し番
号RN をリセットしてからステップS79に進む。この
結果、メール読み出し番号RN も循環的に更新される。
【0039】ステップS79では、カウント値mを“L
−1”と比較する。通常、カウント値mが“L−1”を
超えることはなく、CPU32はこのステップでNOと
判断してステップS53に戻る。この結果、上述のステ
ップS53〜S79の処理が繰り返され、SDRAM2
8に格納されたデータがメモリカード36に順次記録さ
れていく。一方、カウント値mが“L−1”を超えてし
まったときは、ステップS79でYESと判断し、ステ
ップS81のエラー処理を経てBGモード処理を終了す
る。m>L−1の状態は、カウント値mのディクリメン
ト速度がインクリメント速度よりも遅い場合、つまりS
DRAM28からの読み出し速度が書き込み速度よりも
遅い場合に発生する。このようなとき、BGモード処理
は強制終了される。
【0040】図10および図11を参照して、各種変数
を初期化するときの具体的な処理を説明する。CPU3
2は、まずステップS101で、画像ブロック0の先頭
アドレスVSA0を圧縮画像エリアの先頭アドレスVS
セットし、音声ブロック0の先頭アドレスASA0を音声
エリアの先頭アドレスAS にセットし、そしてヘッダブ
ロック0の先頭アドレスHSA0をヘッダエリアの先頭ア
ドレスHS にセットする。次に、ステップS103でブ
ロックフラグf0およびブロック番号nをリセットし、
ステップS105でカウント値Mを“14”に、ブロッ
ク番号jを“1”にそれぞれセットする。
【0041】CPU32はその後ステップS107に進
み、数4に従って画像ブロックjの先頭アドレスV
SAj,音声ブロックjの先頭アドレスASAjおよびヘッ
ダブロックjの先頭アドレスHSAjを算出する。
【0042】
【数4】VSAj=VSA(j−1)+VMAXSIZE ×15 ASAj=ASA(j−1)+ASIZESAj=HSA(j−1)+HAVSIZEMAXSIZE ;1フレームの圧縮画像データの最大サイズ HAVSIZE;音声ヘッダおよび画像ヘッダのサイズ 圧縮画像データのサイズは被写体像に応じて異なるが、
最大サイズVMAXSIZEは予め決められている。このた
め、“VMAXSIZE ×15”を先頭アドレスVSA(j−
1)に加算して、先頭アドレスVSAiを求めている。一
方、音声データは圧縮されず、1秒分の音声データのサ
イズASIZEは当初から分かっている。このため、“A
SIZE”を先頭アドレスASA(j−1)に加算することで
先頭アドレスA SAjが求められる。ヘッダデータについ
ても、サイズは当初から分かっているため、上述の演算
によって先頭アドレスHSAjが求められる。なお、H
AVSIZEは、1個の音声ヘッダおよび1個の画像ヘッダの
合計サイズである。
【0043】ステップS109ではブロックフラグfj
をリセットし、ステップS111ではブロック番号jを
インクリメントする。その後、ステップS113で現ブ
ロック番号jを“N−1”と比較し、j≦N−1であれ
ばステップS107に戻る。したがって、ステップS1
07〜S111の処理が繰り返され、画像ブロック1〜
(N−1),音声ブロック1〜(N−1)およびヘッダ
ブロック1〜(N−1)のそれぞれの先頭アドレスが算
出される。このようなステップS107〜S111の処
理および最初のステップS101の処理によって、N個
の画像ブロック,N個の音声ブロックおよびN個のヘッ
ダブロックが、図3に示すようにSDRAM28に形成
される。
【0044】ステップS113でYESと判断される
と、CPU32はステップS115に進み、画像書き込
みアドレスVWAおよび画像読み出しアドレスVRAを画像
ブロック0の先頭アドレスVSA0にセットし、音声書き
込みアドレスAWAおよび音声読み出しアドレスARAを音
声ブロック0の先頭アドレスASA0にセットし、そして
ヘッダ書き込みアドレスHWAおよびヘッダ読み出しアド
レスHRAをヘッダブロック0の先頭アドレスHSA0にセ
ットする。
【0045】続いて、ステップS117で音声ブロック
0に書き込む音声データのサイズA SIZEを“0”とし、
ステップS119でフレーム番号iをリセットする。ス
テップS121ではiフレーム目の圧縮画像データのサ
イズVSIZEiを“0”とし、続くステップS123では
ブロック番号iをインクリメントする。そして、ステッ
プS125でブロック番号iをカウント値M(=14)
と比較し、i>MとなるまでステップS121およびS
123の処理を繰り返す。この結果、ブロック0に関連
する各種の変数が“0”にセットされる。i>Mとなる
と、CPU32は図5に示すルーチンに復帰する。
【0046】図12を参照して、ブロックnに対する書
き込み処理について説明する。CPU32は、まずステ
ップS901でフレーム番号iをリセットし、ステップ
S903で信号処理回路46に設けられたFIFOメモ
リ46aをクリアする。続いてステップS905で、画
像書き込みアドレスVWAを画像ブロックnの先頭アドレ
スVSAnにセットし、音声書き込みアドレスAWAを音声
ブロックnの先頭アドレスASAnにセットし、そしてヘ
ッダ書き込みアドレスHWAをヘッダブロックnの先頭ア
ドレスHSAnにセットする。この後、SG16から垂直
同期信号が出力されると、CPU32はステップS90
7でYESと判断し、ステップS909でJPEGコー
デック30に対して画像圧縮命令を出力する。なお、画
像圧縮命令の出力時、CPU32は画像書き込みアドレ
スVWAもJPEGコーデック30に出力する。
【0047】JPEGコーデック30は、画像圧縮命令
に応答して静止画像データの読み出しをメモリ制御回路
26にリクエストする。この結果、図3に示す表示画像
エリアに格納された1フレームの静止画像データがメモ
リ制御回路26によって読み出され、バス24bおよび
24aを介してJPEGコーデック30に入力される。
JPEGコーデック30は、入力された静止画像データ
にJPEG圧縮を施し、圧縮画像データを生成する。1
フレームの圧縮処理が完了すると、JPEGコーデック
30はこのような圧縮画像データの書き込みをメモリ制
御回路26にリクエストする。リクエスト時、JPEG
コーデック30は、圧縮画像データおよびリクエスト信
号に加えて、上述の画像書き込みアドレスVWAをメモリ
制御回路26に出力する。これに応じて、メモリ制御回
路26は、与えられた圧縮画像データを画像書き込みア
ドレスVWA以降に書き込む。
【0048】CPU32は、ステップS909で画像圧
縮命令を出力した後、ステップS911で圧縮処理が終
了したかどうかを判断する。ここで圧縮処理が終了した
と判断すれば、CPU32はステップS913に進み、
今回生成された圧縮画像データのデータサイズVSIZE
を取得する。JPEGコーデック30は、1フレーム分
の圧縮処理が終了する毎に終了信号およびデータサイズ
信号を出力する。したがって、ステップS911ではこ
のような終了信号によって圧縮処理の終了の有無を判断
し、ステップS913ではデータサイズ信号からデータ
サイズVSIZEiを検出する。ステップS915では数5
を演算し、データサイズVSIZEiに従って画像書き込み
アドレスVWAを更新する。
【0049】
【数5】VWA=VWA+VSIZEi CPU32は続いてステップS917で、音声処理命令
を音声書き込みアドレスAWAとともに信号処理回路46
に与える。マイク42で捉えられた音声信号は、A/D
変換器44で音声データに変換される。信号処理回路4
6は、このような音声データを音声処理命令に応答して
取り込み、FIFOメモリ46aに書き込む。信号処理
回路46はまた、FIFOメモリ46aから1/15秒
分つまりASIZE/15バイトの音声データを読み出し、
リクエスト信号および音声書き込みアドレスAWAととも
にメモリ制御回路26に出力する。この結果、信号処理
回路46から出力されたASIZE/15バイトの音声デー
タは、メモリ制御回路26によって音声書き込みアドレ
スAWA以降に書き込まれる。
【0050】CPU32は、ステップS917で音声処
理命令を出力した後、ステップS919で数6に従って
音声書き込みアドレスAWAを更新する。つまり、1/1
5秒分の音声データのサイズは予め分かっているため、
信号処理回路46からデータサイズ信号を受けることな
く、音声書き込みアドレスAWAが更新される。
【0051】
【数6】AWA=AWA+ASIZE/15 ステップS921では、シャッタボタン58がオフされ
たかどうか判断する。ここでYESであれば、CPU3
2はステップS923でカウント値Mに現フレーム番号
番号をセットし、ステップS929に進む。シャッタボ
タン58が押され続けていれば、CPU32は、ステッ
プS925でフレーム番号iをインクリメントし、ステ
ップS927で現フレーム番号iをカウント値M(=1
4)と比較する。ここでi≦Mであれば、CPU32は
ステップS907に戻り上述の処理を繰り返すが、i>
Mであれば、ステップS929に進む。
【0052】ステップS929では、上述の音声データ
に対応する音声ヘッダデータならびに上述の圧縮画像デ
ータに対応する画像ヘッダデータを作成し、ステップS
931でこれらのヘッダデータをリクエスト信号および
ヘッダ書き込みアドレスHWAとともにメモリ制御回路2
6に出力する。メモリ制御回路26は、与えられた音声
ヘッダデータおよび画像ヘッダデータを、この順でヘッ
ダ書き込みアドレスH WA以降に書き込む。そして、ステ
ップS923で数7に従ってヘッダ書き込みアドレスH
WAを更新し、図5に示すルーチンに復帰する。
【0053】
【数7】HWA=HWA+HASIZE +HVSIZEASIZE ;音声ヘッダデータのサイズ HVSIZE ;画像ヘッダデータのサイズ このような書き込み処理が施された結果、15フレーム
分(または15フレーム未満)の圧縮画像データが画像
ブロックnに格納され、1秒分(または1秒未満)の音
声データが音声ブロックnに格納され、そして対応する
ヘッダデータがヘッダブロックnに格納される。
【0054】図5のステップS13における指示リスト
作成処理を、図14〜図16を用いて詳しく説明する。
CPU32は、まずステップS1301でフレーム番号
iをリセットする。次にステップS1303で、画像ブ
ロックnの先頭アドレスVSAn,音声ブロックnの先頭
アドレスASAnおよびヘッダブロックnの先頭アドレス
SAnを画像読み出しアドレスVRA,音声読み出しアド
レスARAおよびヘッダ読み出しアドレスHRAにそれぞれ
セットする。
【0055】CPU32は続いてステップS1305に
進み、ヘッダ読み出しアドレスHRAおよび音声ヘッダサ
イズHASIZE を図4に示す指示リスト32aに書き込
む。具体的には、現メール書き込み番号WN と同じ値の
メール番号を検出し、検出したメール番号に対応する位
置にヘッダ読み出しアドレスHRAおよび音声ヘッダサイ
ズHASIZE を書き込む。メール書き込み番号WN は図8
に示すステップS51でリセットされるため、1回目の
ステップS1305の処理では、WN =0に対応する位
置にヘッダ読み出しアドレスHRAおよび音声ヘッダサイ
ズHASIZE が書き込まれる。CPU32はその後、ステ
ップS1307でメール書き込み番号WNおよびカウン
ト値mをインクリメントし、ステップS1309で現メ
ール書き込み番号WN を“L−1”と比較する。ここで
N ≦L−1であればそのままステップS1313に進
むが、WN >L−1であれば、ステップS1311でメ
ール書き込み番号WN をリセットしてからステップS1
313に進む。
【0056】ステップS1313では、カウント値mを
“L−1”と比較する。カウント値mは、通常、m≦L
−1の条件を満たす。このため、CPU32はステップ
S1317で数8に従ってヘッダ読み出しアドレスHRA
を更新し、その後ステップS1319に進む。
【0057】
【数8】HRA=HRA+HASIZE なお、BGモード処理が異常に遅いためにカウント値m
のインクリメント速度がディクリメント速度を大きく上
回り、m>L−1となった場合に、ステップS1313
でYESと判断される。このとき、CPU32は、ステ
ップS1315でエラー処理を行い、書き込みモード処
理を強制終了する。
【0058】ステップS1319では、音声読み出しア
ドレスARAおよび音声サイズASIZEを現メール読み出し
番号RN に対応付けて指示リスト32aに書き込む。C
PU32は続いて、ステップS1312〜S1327で
上述のステップS1307〜S1313と同様の処理を
行う。そして、ステップS1313でYESのときにス
テップS1315に移行し、NOのときにステップS1
329に進む。なお、音声読み出しアドレスARAはこれ
以降必要とされないため、更新処理は行われない。
【0059】ステップS1329では、ヘッダ読み出し
アドレスHRAおよび画像ヘッダサイズHVSIZE を現メー
ル読み出し番号RN に対応付けて指示リスト32aに書
き込む。そして、ステップS1331〜S1337で上
述のステップS1307〜S1313と同様の処理を行
い、ステップS1337でNOと判断されたときに、ス
テップS1341に進む。
【0060】CPU32はその後ステップS1341に
進み、画像読み出しアドレスVRAならびに上述のステッ
プS913で取得した画像サイズVSIZEiを指示リスト
32aの現メール読み出し番号RN に対応する位置に書
き込む。そして、ステップS1343〜S1349でス
テップS1307〜S1313と同様の処理を行い、ス
テップS1349でNOと判断されたときに、ステップ
S1351で数9に従って画像読み出しアドレスVRA
更新する。
【0061】
【数9】VRA=VRA+VSIZEi このようにしてiフレーム目の画像に関連するアドレス
データおよびサイズデータが指示リスト32aに書き込
まれると、CPU32はステップS1353でフレーム
番号iをインクリメントする。そして、ステップS13
35で現フレーム番号iをカウント値M(=14)と比
較し、i>MとなるまでステップS1329〜S135
3の処理を繰り返す。この結果、画像ブロックnに書き
込まれた15フレーム分の圧縮画像データに関連するア
ドレスデータおよびサイズデータが指示リスト32aに
確保される。i>Mとなると、CPU32はステップS
1335でYESと判断し、図5に示すルーチンに復帰
する。
【0062】この実施例によれば、圧縮画像データ,音
声データおよびヘッダデータをSDRAMに書き込むと
き、圧縮画像エリア,音声エリアおよびヘッダエリアは
循環的にアクセスされる。これらのデータを読み出すと
きも、圧縮画像エリア,音声エリアおよびヘッダエリア
は循環的にアクセスされる。このため、SDRAMの容
量が小さいときでも、長時間の動画像および音声をメモ
リカードに記録することができる。また、SDRAMへ
の書き込み速度が読み出し速度よりも速いために、書き
込みブロックが読み出しブロックに追いついてきたとき
は、書き込みモードが強制的に中止される。このため、
未だ読み出されていないデータが後続のデータによって
上書きされるのを防止できる。
【0063】なお、この実施例ではJPEG圧縮された
画像データをメモリカードに記録するようにしている
が、メモリカードに記録する画像データはMPEG圧縮
された圧縮データであってもよく、また圧縮処理が施さ
れていない画像データであってもよい。
【図面の簡単な説明】
【図1】この発明の1実施例を示すブロック図である。
【図2】AVIファイルを示す図解図である。
【図3】SDRAMを示す図解図である。
【図4】指示リストを示す図解図である。
【図5】図1実施例の動作の一部を示すフロー図であ
る。
【図6】図1実施例の動作の他の一部を示すフロー図で
ある。
【図7】図1実施例の動作のその一部を示すフロー図で
ある。
【図8】図1実施例の動作のさらにその他の一部を示す
フロー図である。
【図9】図1実施例の動作の他の一部を示すフロー図で
ある。
【図10】図1実施例の動作のその他の一部を示すフロ
ー図である。
【図11】図1実施例の動作のさらにその他の一部を示
すフロー図である。
【図12】図1実施例の動作の他の一部を示すフロー図
である。
【図13】図1実施例の動作のその他の一部を示すフロ
ー図である。
【図14】図1実施例の動作のさらにその他の一部を示
すフロー図である。
【図15】図1実施例の動作の他の一部を示すフロー図
である。
【図16】図1実施例の動作のその他の一部を示すフロ
ー図である。
【符号の説明】
10 …ディジタルカメラ 26 …メモリ制御回路 28 …SDRAM 30 …JPEGコーデック 32 …CPU 36 …メモリカード 38 …ビデオエンコーダ 46 …信号処理回路
フロントページの続き (58)調査した分野(Int.Cl.7,DB名) H04N 5/76 - 5/956 H04N 5/225 - 5/243 H04N 101:00

Claims (9)

    (57)【特許請求の範囲】
  1. 【請求項1】動画像を形成するかつ所定フレームレート
    で得られる複数フレームの圧縮画像データを内部メモリ
    を介して記録媒体に記録する動画像記録装置において 前記圧縮画像データを前記内部メモリに循環的に書き込
    む画像書き込み手段、 前記圧縮画像データを前記内部メモリから循環的に読み
    画像読み出し手段、および前記内部メモリ上で画像書き込み位置が画像読み出し位
    置を追い越す前 に前記画像書き込み手段を不能化する不
    能化手段を備え 前記画像書き込み手段の書き込み速度は前記画像読み出
    し手段の読み出し速度よりも速い ことを特徴とする、動
    画像記録装置。
  2. 【請求項2】前記内部メモリは複数の画像ブロックを有
    し、 それぞれの画像ブロックは所定フレーム数の圧縮画像デ
    ータに相当する容量を持つ、請求項1記載の動画像記録
    装置。
  3. 【請求項3】前記画像書き込み手段は、それぞれの画像
    ブロックを1つずつかつ循環的に指定する指定手段、お
    よび前記指定手段によって指定された画像ブロックに前
    記所定フレーム数の圧縮画像データを書き込む画像デー
    タ書き込み手段を含む、請求項2記載の動画像記録装
    置。
  4. 【請求項4】前記複数の画像ブロックにそれぞれ対応す
    るかつアクセス状態を示す複数のブロックフラグをさら
    に備える、請求項2または3記載の動画像記録装置。
  5. 【請求項5】前記画像書き込み手段は、1つの画像ブロ
    ックへの書き込みが完了する毎に対応するブロックフラ
    グをセットするセット手段、および1つの画像ブロック
    からの読み出しが完了する毎に対応するブロックフラグ
    をリセットするリセット手段をさらに含む、請求項4記
    載の動画像記録装置。
  6. 【請求項6】前記画像読み出し手段は、1つの画像ブロ
    ックから所定バイト数ずつ前記圧縮画像データを読み出
    す画像データ読み出し手段、および前記所定バイト数の
    読み出しが完了する毎に読み出しアドレスを更新する更
    新手段を含み、 前記リセット手段は、前記読み出しアドレスを検出する
    検出手段、および前記検出手段の検出結果に基づいて前
    記画像ブロックからの読み出しの完了を判別する判別手
    段を含む、請求項5記載の動画像記録装置。
  7. 【請求項7】前記不能化手段は前記ブロックフラグの状
    態に応じて前記画像書き込み手段を不能化する、請求項
    4ないし6のいずれかに記載の動画像記録装置。
  8. 【請求項8】前記所定フレームレートで被写体像を撮影
    て複数フレームの画像データを生成する撮影手段、お
    よび 前記撮影手段から出力された各フレームの画像データを
    個別に圧縮する圧縮手段 をさらに備える、請求項1ない
    のいずれかに記載の動画像記録装置。
  9. 【請求項9】前記圧縮画像データに対応する音声データ
    を前記内部メモリに循環的に書き込む音声書き込み手
    段、および 前記音声データを前記内部メモリから循環的に読み出し
    前記記録媒体に記録する音声読み出し手段をさらに備
    える、請求項1ないしのいずれかに記載の動画像記録
    装置。
JP03050799A 1999-02-08 1999-02-08 動画像記録装置 Expired - Lifetime JP3403106B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP03050799A JP3403106B2 (ja) 1999-02-08 1999-02-08 動画像記録装置
CNB001007726A CN1181676C (zh) 1999-02-08 2000-02-03 移动图像记录装置与数码照相机
CNB2004100383857A CN100477735C (zh) 1999-02-08 2000-02-03 移动图像记录装置与数码照相机
US09/498,648 US6697568B1 (en) 1999-02-08 2000-02-07 Motion image recording apparatus and digital camera
KR1020000005738A KR100686278B1 (ko) 1999-02-08 2000-02-08 동화상 기록 장치 및 디지털 카메라
EP00102622A EP1026891B1 (en) 1999-02-08 2000-02-08 Motion image recording apparatus and digital camera
DE60041296T DE60041296D1 (de) 1999-02-08 2000-02-08 Bewegtbildaufnahmeanlage und digitale Kamera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP03050799A JP3403106B2 (ja) 1999-02-08 1999-02-08 動画像記録装置

Publications (2)

Publication Number Publication Date
JP2000232619A JP2000232619A (ja) 2000-08-22
JP3403106B2 true JP3403106B2 (ja) 2003-05-06

Family

ID=12305740

Family Applications (1)

Application Number Title Priority Date Filing Date
JP03050799A Expired - Lifetime JP3403106B2 (ja) 1999-02-08 1999-02-08 動画像記録装置

Country Status (1)

Country Link
JP (1) JP3403106B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7583299B2 (en) * 2004-01-14 2009-09-01 Casio Computer Co., Ltd. Moving image recording apparatus with a stream recording function of a moving image
JP7249759B2 (ja) * 2018-11-08 2023-03-31 日本特殊陶業株式会社 接合体

Also Published As

Publication number Publication date
JP2000232619A (ja) 2000-08-22

Similar Documents

Publication Publication Date Title
US8411158B2 (en) Image sensing apparatus and storage medium
JP3311715B2 (ja) ディジタルカメラ
JP3877474B2 (ja) 電子カメラ
JP4179831B2 (ja) 動画像記録装置
US6084633A (en) Digital electronic still-video camera, and method of controlling same
CN101404706A (zh) 误删除判断装置、方法、程序及图像文件生成装置
US11622175B2 (en) Electronic apparatus and control method thereof
JP3403106B2 (ja) 動画像記録装置
JP2001069453A (ja) 静止画カメラ
JP4518582B2 (ja) 画像撮像装置及び方法
JP2006020096A (ja) 撮像記録装置、撮像記録方法及び撮像記録制御プログラム
JP4872785B2 (ja) 撮影装置、被写体選択方法及び被写体選択プログラム
JP2000236467A (ja) ディジタルカメラ
JP2007235432A (ja) 画像音声記録装置および画像音声記録制御プログラム
JP2001094919A (ja) 画像記録装置、方法、及びコンピュータ読み取り可能な記憶媒体
JP2003163825A (ja) 撮像装置
JP3538324B2 (ja) 電子スチルカメラ、電子スチルカメラの動画撮影方法、およびコンピュータが実行可能なプログラムを格納した記録媒体
JP4971807B2 (ja) 画像記憶装置、その制御方法、プログラムおよびデジタルカメラ
JP3528058B2 (ja) デジタルスチルカメラ
JP3244446B2 (ja) ディジタルカメラ
JP2002237984A (ja) ディジタルカメラ
JP2018195892A (ja) 撮像装置
JPH11136627A (ja) ディジタルカメラ
JP4259921B2 (ja) 画像転送装置
JP3416651B2 (ja) ディジタルカメラ

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20030204

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090228

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090228

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100228

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110228

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110228

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120229

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120229

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130228

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130228

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140228

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140228

Year of fee payment: 11

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140228

Year of fee payment: 11

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term