JP3342388B2 - ディジタルカメラ - Google Patents

ディジタルカメラ

Info

Publication number
JP3342388B2
JP3342388B2 JP4075098A JP4075098A JP3342388B2 JP 3342388 B2 JP3342388 B2 JP 3342388B2 JP 4075098 A JP4075098 A JP 4075098A JP 4075098 A JP4075098 A JP 4075098A JP 3342388 B2 JP3342388 B2 JP 3342388B2
Authority
JP
Japan
Prior art keywords
data
image data
area
camera
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP4075098A
Other languages
English (en)
Other versions
JPH11239321A (ja
Inventor
昌彦 西川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP4075098A priority Critical patent/JP3342388B2/ja
Priority to KR1019990005404A priority patent/KR100315964B1/ko
Priority to US09/252,679 priority patent/US6661452B1/en
Publication of JPH11239321A publication Critical patent/JPH11239321A/ja
Application granted granted Critical
Publication of JP3342388B2 publication Critical patent/JP3342388B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/907Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/7921Processing of colour television signals in connection with recording for more than one processing mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H04N9/8047Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】この発明はディジタルカメラに関
し、特にたとえば撮影された画像データをJPEGフォ
ーマットで圧縮し、圧縮データをフラッシュメモリのよ
うな記録媒体に記録する、ディジタルカメラに関する。
【0002】
【従来の技術】従来のこの種のディジタルカメラでは、
撮影された画像データはDRAMのようなメモリに一時
的に格納され、この画像データに1ブロック毎に圧縮処
理が施され、そして全ブロックに対する圧縮処理が完了
した時点で、圧縮データが記録媒体に記録されていた。
【0003】
【発明が解決しようとする課題】しかし、このようなデ
ィジタルカメラでは、圧縮データはDRAMのワークエ
リアに一旦格納する必要があるため、CCDイメージャ
の画素数が増えるにつれてDRAMの容量が大きくなる
という問題があった。それゆえに、この発明の主たる目
的は、メモリ容量を削減できる、ディジタルカメラを提
供することである。
【0004】
【課題を解決するための手段】この発明は、撮影指令に
応答して撮影された被写体像の第1画像データを出力す
る出力手段(12,18,20)、出力手段から出力された第1画
像データを画像データエリアに書き込む第1書込手段(2
8a,30)、画像データエリアに格納された第1画像データ
に所定のデータ処理を施すデータ処理手段(24)、データ
処理手段によって生成された第2画像データをワークエ
リアに書き込む第2書込手段(28a,30)、ワークエリアに
格納された第画像データに基づいて圧縮画像データを
生成する圧縮手段(56)、圧縮手段によって生成された圧
縮画像データを画像データエリアに格納された同じ被写
体像の第1画像データに上書きする上書き手段(28f,3
0)、および画像データエリアに格納された圧縮画像デー
タを記録媒体に記録する記録手段(44)を備える、ディジ
タルカメラである。
【0005】
【作用】撮影指令に応答して撮影された被写体像の第1
画像データが出力手段から出力されると、この第1画像
データが第1書込手段によってメモリの画像データエリ
アに書き込まれる。画像データエリアに格納された第1
画像データはデータ処理手段によって所定のデータ処理
を施され、これによって生成された第2画像データが第
2書込手段によってワークエリアに書き込まれる。圧縮
手段は、第1画像データに基づいて圧縮画像データを生
成し、圧縮画像データは、上書き手段によって、画像デ
ータエリアに格納された同じ被写体像の第1画像データ
に上書きされる。画像データエリアに格納された圧縮画
像データは記録手段によって記録媒体に記録される。
【0006】
【発明の効果】この発明によれば、圧縮画像データを画
像データエリアに格納された同じ被写体像の第1画像デ
ータに上書きするようにしたため、メモリ容量を削減す
ることができる。この発明の上述の目的,その他の目
的,特徴および利点は、図面を参照して行なう以下の実
施例の詳細な説明から一層明らかとなろう。
【0007】
【実施例】図1を参照して、この実施例のディジタルカ
メラ10は、CCDイメージャ12を含む。CCDイメ
ージャ12は約120万画素を有し、水平方向および垂
直方向のそれぞれには、1280画素および960画素
が存在する。このため、CCDイメージャ12から全ラ
インのカメラ信号を読み出すためには1/7.5秒の期
間が必要となる。被写体の光像は、図2に示すようにC
y,Ye,MgおよびGがモザイク状に配列された色フ
ィルタ14を介して、このようなCCDイメージャ12
に照射される。
【0008】LCD40にリアルタイムの動画像を表示
するカメラモードでは、垂直方向のライン数が1/4に
間引かれたカメラ信号が、CCDイメージャ12から出
力される。つまり、垂直方向に連続する8ラインに注目
したとき、最初のCy,Ye,・・・のラインおよび4
番目のMg,G・・・のラインの信号だけが出力され、
他のラインの信号は掃き捨てられる。したがって、CC
Dイメージャ12から出力される1280画素×240
ラインのカメラ信号には、Cy,Ye,・・・のライン
およびMg,G・・・のラインが交互に含まれる。垂直
方向のライン数が1/4に間引かれるため、この128
0画素×240ラインのカメラ信号を出力するために要
する時間は、1/30秒となる。
【0009】なお、オペレータがモード切換スイッチ4
8をカメラ側にセットすると、システムコントローラ4
6がカメラモードの設定指令をCPU44に与える。A
SIC42に設けられたタイミングジェネレータ16
は、CPU44によって制御され、カメラモードでは、
CCDイメージャ12が上述の所定ラインのみを出力す
るように、タイミング信号を出力する。
【0010】CCDイメージャ12から出力されたカメ
ラ信号は、CDS/AGC回路18によって周知のノイ
ズ除去およびレベル調整を施される。そして、このよう
な処理を施されたカメラ信号が、A/D変換器20によ
って、12MHzのクロックレートで、10ビットのデ
ィジタルデータ(カメラデータ)に変換される。カメラ
モードでは、スイッチSW1はA/D変換器20側に接
続され、スイッチSW2は間引き回路26側に接続さ
れ、さらに間引き回路26の間引き率は、水平方向およ
び垂直方向のそれぞれにおいて“1/2”および“0”
に設定される。このため、A/D変換器20から出力さ
れたカメラデータが、信号処理回路24によって色分離
およびYUV変換を施され、YUVデータの水平画素数
が、間引き回路26によって“640”に間引かれる。
そして、640画素×240ラインのYUVデータが、
スイッチSW2を介して、バッファコントロール回路2
8に入力される。なお、スイッチSW1およびSW2の
切換ならびに間引き回路26の間引き率の設定も、CP
U44が行なう。
【0011】バッファコントロール回路28およびバッ
ファ32は、具体的には図3に示すように構成される。
バッファコントロール回路28に、6つのコントローラ
28a〜28fが設けられ、それぞれに、SRAMによ
って形成されたバッファ32a〜32fが割り当てられ
る。また、コントローラ28a〜28fはそれぞれカウ
ンタ29a〜29fを有する。これらのカウンタ29a
〜29fには、CPU44からのアドレスデータがロー
ドされる。
【0012】スイッチSW2を介したYUVデータはコ
ントローラ28aに入力される。同時に、タイミングジ
ェネレータ16から、CCDイメージャ12の有効エリ
アを規定するウィンドウ信号が入力される。コントロー
ラ28aは、ウィンドウ信号がハイレベルのときだけ、
YUVデータを12MHzのクロックレートでバッファ
32aに書き込み、同じYUVデータをバッファ32a
から48MHzのクロックレートで読み出す。読み出さ
れたYUVデータは、SDRAMコントロール回路30
に連続して入力される。コントローラ28aはまた、こ
のYUVデータを書き込むエリアの先頭アドレスデータ
をCPU44から受け、この先頭アドレスデータを基準
にYUVデータの書込アドレスを決定する。つまり、カ
ウンタ29aに先頭アドレスをロードし、このカウンタ
29aを48MHzのクロックレートでインクリメント
する。そして、YUVデータの入力に並行して、カウン
ト値つまり書込アドレスデータを4アドレスに1回ずつ
SDRAMコントロール回路30に入力する。
【0013】図4を参照して具体的に説明すると、コン
トローラ28aはまず、図4(A)に示す要求信号RE
QUESTをSDRAMコントロール回路30に出力す
る。そして、SDRAMコントロール回路30からの図
4(B)に示す承認信号ACKNOLEGEおよび図4
(C)に示すバッファ32aの識別番号(SRAMN
o.)に応答して、図4(D)に示すYUVデータおよ
び図4(E)に示すアドレスデータをSDRAMコント
ロール回路30に出力する。SDRAMコントロール回
路30は、コントローラ28a〜28fのすべてに承認
信号ACKNOLEGEおよび識別番号を与え、識別番
号に従って、対応するコントローラだけがデータを出力
する。このように、SDRAMコントロール回路30は
調停回路としても動作する。
【0014】なお、SDRAMコントロール回路30と
の間では、いずれの信号ないしデータも、バス66を介
してやり取りされる。このような信号ないしデータのや
り取りは、コントローラ28aのほか、コントローラ2
8b〜28fも行い、かつJPEGコーデック56との
やり取りには、バス62または64が用いられる。SD
RAMコントロール回路30は、入力されたYUVデー
タを、バス60を介してSDRAM58の所望のアドレ
スに書き込む。つまり、SDRAMコントロール回路3
0は、入力されたアドレスデータが示すアドレスから続
く4つのアドレスに、4アドレス分のYUVデータを書
き込む。また、次のアドレスデータの入力に応じて、そ
のデータが示すアドレスから続く4つのアドレスに、次
の4アドレス分のYUVデータを書き込む。カウンタ2
9aには、図6に示す表示データエリアの先頭アドレス
がロードされ、YUVデータはこの表示データエリアに
書き込まれる。SDRAMコントロール回路30もま
た、48MHzのクロックレートで書き込みを実行す
る。
【0015】このように、SDRAM30へのアクセス
には、アドレスデータが常に必要とされることはなく、
間欠的にアドレスデータが与えられればよい。このよう
なSDRAM30の特性と48MHzのクロックレート
によって、高速アクセスを実現できる。SDRAM30
は、図5に示すように、カラム方向(横方向)に512
アドレス、ロウ方向(縦方向)に2048アドレス有
し、各アドレスは16ビットである。CPU44は、カ
メラモードにおいて、図7(A)に示す各エリアの先頭
アドレスをロードし、SDRAM30を図4に示すよう
にマッピングする。つまり、300Kバイトの表示デー
タエリア,約1.5Mバイトのカメラデータエリア,4
0KバイトのJPEG用データエリア,40Kバイトの
サムネイル用データエリア,88Kバイトのソフト用ワ
ークエリアおよび36Kバイトのキャラクタエリアを、
SDRAM30に形成する。
【0016】信号処理回路24は、いわゆる4:2:2
変換によって、図8に示すようにYUVデータを生成す
る。Yデータ,UデータおよびVデータはそれぞれ8ビ
ットであるため、4画素分のYUVデータのデータ量
は、64ビットつまり4アドレスとなる。平均すると、
YUVデータは1画素あたり16ビット(2バイト)で
あり、間引き回路26から出力される640画素×24
0ラインのYUVデータは、307200バイト(30
0Kバイト)となる。上述のように、表示データエリア
は300Kバイトの容量を有するため、640画素×2
40ラインのYUVデータは、表示データエリアに適切
に格納される。
【0017】表示データエリアに格納されたYUVデー
タは、バス60が開放されているときに、SDRAMコ
ントロール回路30によって読み出される。つまり、S
DRAM58は48MHzの高速クロックレートでアク
セスされるため、バス60が空いている期間にYUVデ
ータの読み出しが行われる。SDRAMコントロール回
路30は、1フレームの画像を作成するために同じYU
Vデータを2回読み出す。このとき、図3に示すコント
ローラ28bが、アドレスデータを4アドレスに1回ず
つSDRAMコントロール回路30に入力し、SDRA
Mコントロール回路30が、所望のデータを48MHz
のクロックレートで読み出す。読み出されたYUVデー
タはコントローラ28bに与えられ、クロックレート
が、バッファ32bにおいて12MHzに戻される。
【0018】コントローラ28bから出力されたYUV
データは、擬似フレーム化回路34に入力され、各ライ
ンデータに所定の重み付けがなされる。具体的には、1
フレーム期間の前半に入力されたYUVデータに対する
重み付け量を“0.25”とし、1フレーム期間の後半
に入力されたYUVデータに対する重み付け量を“0.
75”とする。これによって、図9に示すように、奇数
ラインデータおよび偶数ラインデータがそれぞれの入力
ラインデータから擬似的に生成される。このようにして
得られたインタレーススキャンデータが、エンコーダ3
6を経た後、D/A変換器38によってアナログ信号に
変換される。このアナログ信号つまりインタレーススキ
ャンされたYUV信号は、出力端子S1から出力される
とともに、LCD40に入力され、LCD40にリアル
タイムの動画像が表示される。
【0019】動画像が表示されている状態で、オペレー
タによってシャッタボタン52が押されると、システム
コントローラ46は、CPU44に対して撮影指令を与
える。すると、CPU44は、スイッチSW1をバッフ
ァコントロール回路28側に接続し、スイッチSW2を
間引き回路22側に接続する。CPU44はまた、全ラ
インのカメラ信号がインタレーススキャン方式でCCD
イメージャ12から出力されるように、タイミングジェ
ネレータ16を制御する。これによって、1画面分のイ
ンタレーススキャンカメラ信号が、1/7.5秒かけて
CCDイメージャ12から出力される。このカメラ信号
は、CDS/AGC回路18を介してA/D変換器20
に与えられる。シャッタボタン52が押されてから1/
7.5秒経過すると、CPU44によってCCDイメー
ジャ12が不能化される。つまり、シャッタボタン52
が押された後は、1画面分のカメラ信号しか得られな
い。
【0020】A/D変換器20から出力された全ライン
のカメラデータは、間引き回路22に入力される。この
とき、間引き回路22の間引き率は、垂直方向および水
平方向のいずれも“0”に設定され、全ラインのカメラ
データはそのままコントローラ28aに与えられる。コ
ントローラ28aにはまた、シャッタボタン52の操作
に応答して、SDRAM58に形成されたカメラデータ
エリアの先頭アドレスがロードされる。コントローラ2
8aは、上述と同様に、入力されたカメラデータを一旦
バッファ32aに格納し、その後アドレスデータととも
に、SDRAMコントロール回路30に与える。このア
ドレスデータもまた、ロードされた先頭アドレスデータ
を基準に生成される。したがって、SDRAMコントロ
ール回路30は、入力されたカメラデータを図6に示す
カメラデータエリアに書き込む。なお、このカメラデー
タはインタレーススキャンデータであるため、カメラデ
ータエリアの前半に奇数フィールドデータが格納され、
後半に偶数フィールドデータが格納される。つまり、カ
メラデータエリアの中に、奇数フィールドエリアおよび
偶数フィールドエリアが形成される。
【0021】シャッタボタン52の操作に応じて得られ
る全ラインのカメラデータは、1280画素×960ラ
インであり、かつそれぞれの画素データは10ビットで
ある。つまり、この全ラインのカメラデータは、153
6000バイト(=1280画素×960ライン×10
ビット/8ビット)すなわち1.5Mバイトのデータ量
を持ち、カメラデータエリアに十分に格納される。な
お、図5に示すように、SDRAM58の各アドレスは
16ビットであるため、8画素分のカメラデータの書き
込みに5アドレスが用いられる。
【0022】全ラインのカメラデータの書き込みが完了
すると、SDRAMコントロール回路30は、コントロ
ーラ28dからのアドレスデータに従って、このカメラ
データの読み出しを実行する。このとき、カメラデータ
は、奇数フィールドエリアおよび偶数フィールドエリア
から1ラインずつ交互に読み出され、これによって、イ
ンタレーススキャンデータがプログレッシブスキャンデ
ータに変換される。SDRAMコントロール回路30
は、読み出したプログレッシブスキャンデータをコント
ローラ28dに与え、コントローラ28dは、入力され
たプログレッシブスキャンデータを、スイッチSW1を
介して信号処理回路24に与える。これによって、C
y,Ye,MgおよびGのカメラデータが、色分離およ
びYUV変換を施され、1280画素×960ラインの
YUVデータが生成される。間引き回路26の間引き率
は、CPU44によって、水平方向および垂直方向のそ
れぞれについて“1/2”および“1/4”に設定され
る。このため、1280画素×960ラインのYUVデ
ータが、640画素×240ラインのYUVデータとな
る。
【0023】全ラインのカメラデータがカメラデータエ
リアに書き込まれた時点で、CPU44はスイッチSW
2の接続を間引き回路26側に切り換える。このため、
間引き回路26から出力されたYUVデータは、スイッ
チSW2を介して、再びコントローラ28aに入力され
る。コントローラ28aは、動画像を表示するときと同
じ要領で、このYUVデータを表示データエリアに書き
込む。さらに、この書き込みが完了した時点で、コント
ローラ28bが同じYUVデータを読み出し、擬似フレ
ーム化回路34に出力する。これによって、シャッタボ
タン52が操作された時点の画像、すなわち記録画像と
同じフリーズ画像が、LCD40に表示される。
【0024】コントローラ28dは、フリーズ画像がL
CD40に表示された後、全ラインのカメラデータをカ
メラデータエリアから再度読み出す。このときも、カメ
ラデータは、奇数フィールドエリアおよび偶数フィール
ドエリアから1ラインずつ交互に読み出される。ただ
し、読み出しは8ライン毎に行なわれる。コントローラ
28dは、読み出した8ライン分のプログレッシブスキ
ャンデータを、再度信号処理回路24に与える。このと
き、CPU44は、間引き回路26の間引き率を、水平
方向および垂直方向のいずれについても“0”に設定す
る。したがって、信号処理回路24から出力される12
80画素×8ラインのYUVデータは、そのままコント
ローラ28aに戻される。
【0025】この1280画素×8ラインのYUVデー
タは、SDRAMコントロール回路30を介してSDR
AM58に入力され、図6に示すJPEG用ワークエリ
アに格納される。このときも、CPU44が、JPEG
用ワークエリアの先頭アドレスをコントローラ28aに
ロードし、コントローラ28aがアドレスデータをSD
RAMコントロール回路30に与える。YUV変換は
4:2:2の比率で行われるため、1280画素×8ラ
インのYUVデータは、20480バイト(=1280
画素×8ライン×16ビット/8ビット)すなわち20
Kバイトである。したがって、40KバイトのJPEG
用ワークエリアには、1280画素×16ラインのYU
Vデータを書き込むことができる。つまり、ある8ライ
ン分のYUVデータはJPEG用ワークエリアの前半2
0Kバイトエリアに書き込まれ、続く8ライン分のYU
VデータはJPEG用ワークエリアの後半20Kバイト
エリアに書き込まれる。
【0026】SDRAMコントロール回路30は、バッ
ファコントロール回路28からのアドレスデータに従っ
て、図10に示すように、Yデータ,UデータおよびV
データを個別に格納する。8ライン分のYデータは10
Kバイトであるので、このYデータは一方の20Kバイ
トエリアの前半に格納され、8ライン分のUデータおよ
びVデータはそれぞれ5Kバイトであるので、残りの1
0Kバイトに個別に格納される。
【0027】このようにして8ライン分のYUVデータ
の書き込みが完了すると、CPU44が、この8ライン
分のYUVデータに基づいてサムネイル画像データを作
成する。20Kバイトエリアには10240画素(12
80画素×8ライン)のYUVデータが存在し、64画
素(8画素×8ライン)を1ブロックとすると、20K
バイトエリアのYUVデータは160ブロックに分割で
きる。CPU44は、SDRAMコントロール回路30
を介してSDRAM58にアクセスし、1ブロック毎に
Yデータ,UデータおよびVデータを読み出す。そし
て、それぞれのブロックから1画素分のサムネイルデー
タを作成する。CPU44はその後、作成したサムネイ
ルデータを、SDRAMコントロール回路30を介し
て、図4に示すサムネイル用ワークエリアに1画素ずつ
書き込む。これによって、20KバイトエリアのYUV
データから160画素分のサムネイルデータが得られ
る。
【0028】160画素分のサムネイルデータの作成処
理が完了すると、SDRAMコントロール回路30は、
コントローラ28eからのアドレスデータに従って、同
じ20KバイトエリアからYデータ,UデータおよびV
データを1ブロック(8画素×8ライン)ずつ読み出
す。Yデータ,UデータおよびVデータは、JPEG用
ワークエリアに個別に書き込まれており、さらにY:
U:V=4:2:2であるため、まずYデータが1ブロ
ックずつ2回読み出される。つまり、Yデータは連続し
て2回読み出される。次にUデータおよびVデータが1
ブロックずつ読み出される。このような読み出し処理が
コントローラ28eによって繰り返し実行され、読み出
されたそれぞれのブロックデータは、バス62を介し
て、JPEGコーデック56に入力される。つまり、J
PEGコーデック56には、Yデータ,Yデータ,Uデ
ータ,Vデータの順で、ブロックデータが繰り返し入力
される。JPEGコーデック56は、Yデータ,Uデー
タおよびVデータに対して、1ブロック毎にJPEGフ
ォーマットに従った圧縮処理を施す。そして、1ブロッ
ク分の圧縮処理が完了する毎に、圧縮データを、バス6
2を介してコントローラ28fに入力する。
【0029】コントローラ28fには、図6に示すカメ
ラデータエリアの先頭アドレスがロードされる。したが
って、コントローラ28fは、入力された圧縮データ
を、SDRAMコントロール回路30を介して、カメラ
データエリアに格納する。SDRAM58には、YUV
変換や圧縮処理が施されていないカメラデータも存在す
るため、圧縮データは、このような未処理のカメラデー
タを回避するように、カメラデータエリアに上書きされ
る。換言すれば、圧縮データは、既に圧縮処理が完了し
たカメラデータの上に書き込まれる。圧縮データのデー
タ量はカメラデータよりも少ないので、カメラデータエ
リアの先頭から圧縮データを書き込んでいけば、未処理
のカメラデータの上に圧縮データが書き込まれることは
ない。このように、圧縮データをカメラデータエリアに
上書きするようにしたため、メモリ容量を削減すること
ができる。
【0030】JPEG用ワークエリアに格納された8ラ
イン分のYUVデータに対する圧縮処理と同時に、コン
トローラ28dによって次の8ライン分のカメラデータ
がカメラデータエリアから読み出され、このカメラデー
タに信号処理回路24によってYUV変換が施される。
そして、YUVデータが、コントローラ28aによって
JPEG用ワークエリアに書き込まれる。一方の20K
バイトエリアに格納されたYUVデータに対して圧縮処
理が行なわれている場合、新たに生成されたYUVデー
タは、他方の20Kバイトエリアに格納される。
【0031】このように、JPEG用ワークエリアに4
0Kバイトつまり16ライン分のメモリ容量が確保さ
れ、現YUVデ−タの圧縮処理と次のYUVデ−タの生
成処理とが並行して行なわれる。カメラデータエリアに
格納された全てのカメラデータに対する圧縮処理が完了
すると、この全てのカメラデータに対応する圧縮データ
がカメラデータエリアに得られる。同時に、全てのカメ
ラデータに対応するサムネイルデータがサムネイル用ワ
ークエリアに得られる。CPU44は、圧縮処理が完了
した時点で、SDRAMコントロール回路30を通し
て、圧縮データをカメラデータエリアから読み出し、サ
ムネイルデータをサムネイル用ワークエリアから読み出
す。そして、圧縮データとサムネイルデータとをフラッ
シュメモリ54に記録する。つまり、CPU44は、全
てのカメラデータに対応する圧縮データおよびサムネイ
ルデータを一度にフラッシュメモリ54に記録する。
【0032】カメラデータエリアに格納されたカメラデ
ータを8ラインずつ圧縮データに変換するときの動作
を、図9を用いて説明する。CPU44がバッファコン
トロール回路28に対してYUV作成要求を与えると、
バッファコントロール回路28は、SDRAM58から
8ライン分のカメラデータを読み出し、信号処理回路2
4に入力する。これによって、信号処理回路24から8
ライン分のYUVデータが出力される。バッファコント
ロール回路28は、生成された8ライン分のYUVデー
タをJPEG用ワークエリアに書き込む。
【0033】その後、CPU44がバッファコントロー
ル回路28に対して割込要求を出力し、自らSDRAM
58にアクセスする。そして、JPEG用ワークエリア
に格納された8ライン分のYUVデータからサムネイル
データを作成し、サムネイルデータをサムネイル用ワー
クエリアに書き込む。8ライン分のYUVデータに相当
するサムネイルデータが作成されると、CPU44は、
バッファコントロール回路28に対してYUV作成要求
および圧縮要求を与える。このため、次の8ライン分の
YUVデータの作成処理とJPEG用ワークエリアに書
き込まれた8ライン分のYUVデータの圧縮処理とが、
並行して行なわれる。YUV作成処理および圧縮処理の
両方が完了すると、CPU44はバッファコントロール
回路28に対して再び割込要求を出力する。
【0034】オペレータが連写モードオン/オフスイッ
チ50をオン側に設定し、シャッタボタン52を押しつ
づけると、被写体が所定期間おきに10回撮影される。
つまり、CCDイメージャ12から、1280画素×9
60ラインのインタレーススキャンカメラ信号が、間欠
的に10回出力される。連写モードでは、CPU44
は、間引き回路22の垂直方向における間引き率を“1
/2”に設定し、水平方向における間引き率を“0”に
設定する。このため、A/D変換器20から出力される
カメラデータのライン数が“480”に減少する。バッ
ファコントロール回路28には、1280画素×480
ラインのインタレーススキャンカメラデータが、間欠的
に10回入力される。CPU44はまた、SDRAM5
8を図12に示すようにマッピングするために、図7
(B)に示す各エリアの先頭アドレスをバッファコント
ロール回路28にロードする。
【0035】連写モードでは、コントローラ28aに入
力されるカメラデータのライン数が、通常のカメラモー
ドの半分であるため、カメラデータエリアの容量は、
1.5Mバイトのほぼ半分の771Kバイトで十分であ
る。CPU44は、余った773Kバイトに圧縮データ
エリアを形成する。コントローラ28aは、間欠的に入
力されるそれぞれのインタレーススキャンカメラデータ
を、SDRAMコントロール回路30を介して、カメラ
データエリアに格納する。このときも、奇数フィールド
データはカメラデータエリアの前半(奇数フィールドエ
リア)に格納され、偶数フィールドデータはカメラデー
タエリアの後半(偶数フィールドエリア)に格納され
る。カメラデータエリアに書き込まれたカメラデータ
は、その後、コントローラ28dによって奇数フィール
ドエリアおよび偶数フィールドエリアから交互に読み出
され、通常のカメラモードと同様に、信号処理回路24
によるYUV変換および間引き回路26による間引き処
理を施される。ただし、YUVデータのライン数は“4
80”であるため、間引き回路26の垂直方向における
間引き率は“1/2”に設定される。
【0036】間引き回路26からの640画素×240
ラインのYUVデータは、コントローラ28aによって
表示データエリアに書き込まれる。そして、通常のカメ
ラモードと同様に、コントローラ28bが表示データエ
リアからYUVデータを読み出し、最終的に、このYU
Vデータに対応するフリーズ画が、LCD40に表示さ
れる。
【0037】カメラデータエリアに格納されたカメラデ
ータはまた、8ライン毎に読み出され、YUV変換を施
される。そして、8ライン分のYUVデータが、間引き
処理を施されることなくSDRAM58に戻され、JP
EG用ワークエリアに書き込まれる。連写モードでも、
通常のカメラモードと同様に、CPU44がこの8ライ
ン分のYUVデータからサムネイルデータを作成すると
ともに、JPEGコーデック56がこの8ライン分のY
UVデータを1ブロックずつ圧縮する。ただし、連写モ
ードでは、圧縮データエリアがSDRAM58に形成さ
れるため、JPEGコーデック56から出力された圧縮
データがカメラデータエリアに上書きされることはな
い。つまり、コントローラ28fは、圧縮データを圧縮
データエリアに書き込む。このようなサムネイルデータ
の作成処理ならびにJPEGフォーマットによる圧縮処
理が、8ライン毎に繰り返され、1枚分のカメラデータ
に対応するサムネイルデータおよび圧縮データが、圧縮
データエリアおよびサムネイル用ワークエリアに得られ
る。
【0038】連写モードでは、1枚分のカメラデータに
対する圧縮処理が完了した後も、別のカメラデータがC
CDイメージャ12から出力され、このカメラデータも
カメラデータエリアに格納する必要がある。このため、
圧縮データエリアがSDRAM58に形成され、JPE
Gコーデック56によって生成される圧縮データは、す
べて圧縮データエリアに格納される。
【0039】圧縮データエリアおよびサムネイル用ワー
クエリアのそれぞれに10枚分のサムネイルデータおよ
び圧縮データが格納されると、CPU44がこれらのデ
ータを一括してフラッシュメモリ54に記録する。つま
り、サムネイルデータおよび圧縮データの作成が10回
繰り返され、その後10枚分のサムネイルデータおよび
圧縮データが一度に記録される。一方、LCD40に表
示されるフリーズ画は、対応する画像データの圧縮が完
了する毎に更新される。このため、撮影された10枚の
画像が、所定期間ずつ表示される。
【0040】オペレータがモード切換スイッチ48を再
生側にセットすると、システムコントローラ46がCP
U44に対して再生指令を与える。このとき、CPU4
4は、図7(C)に示す先頭アドレスをバッファコント
ロール回路28にロードし、SDRAM58を図13に
示すようにマッピングする。SDRAM58には、60
0Kバイトの表示エリアおよび1.2Mバイトの圧縮デ
ータエリアが形成される。つまり、表示エリアはカメラ
モードの2倍の容量を持ち、圧縮データエリアはカメラ
モードの約1.5倍の容量を持つ。
【0041】フラッシュメモリ54に記録された圧縮デ
ータは、CPU44によって再生される。CPU44
は、再生した圧縮データを、SDRAMコントロール回
路30を介して圧縮データエリアに書き込む。圧縮デー
タエリアに書き込まれた圧縮データは、その後コントロ
ーラ28fによって読み出され、バス64を介してJP
EGコーデック56に与えられる。JPEGコーデック
56は、入力された圧縮データを1ブロックずつ伸長
し、伸長データをバス62を介してコントローラ28e
に入力し、コントローラ28eが伸長データを1ブロッ
クずつJPEGワーークエリアに格納する。
【0042】通常のカメラモードで撮影され記録された
画像データを再生する場合、伸長されたYUVデータは
1280画素×960ラインのデータ量を持つが、60
0Kバイトの表示エリアには、640画素×480ライ
ンしか格納できない。したがって、CPU44は、JP
EGワークエリアに格納された伸長データに対して、ソ
フト的に間引き処理を行う。このときの間引き率は、水
平方向および垂直方向のいずれについても“1/2”で
ある。これによって640画素×480ラインのYUV
データが得られる。CPU44は、間引き処理が施され
たYUVデータを、SDRAMコントロール回路30を
介して表示エリアに書き込む。このようにして表示エリ
アに書き込まれたYUVデータは、カメラモードと同様
にコントローラ28bによって読み出され、最終的に、
再生画像がLCD40に表示される。
【0043】以上の説明から分かるように、コントロー
ラ28aは、すべてのモードにおいて、スイッチSW2
を介して入力されたデータをSDRAM58の所望のエ
リアに書き込む。コントローラ28bもまた、すべての
モードにおいて、表示データエリアからのデータの読み
出しを担当する。一方、コントローラ28dは、カメラ
モードにおいて、カメラデータエリアからのデータの読
み出しを担当する。コントローラ28eは、カメラモー
ドで、圧縮処理を施すデータをJPEGコーデック56
に入力し、再生モードで、JPEGコーデック56で伸
長されたデータを受け取る。コントローラ28fは、カ
メラモードで、JPEGコーデック56で圧縮されたデ
ータを受け取り、再生モードで、伸長処理を施すデータ
をJPEGコーデック56に入力する。なお、コントロ
ーラ28cは、図6,図12および図13に示すキャラ
クタエリアからのキャラクタデータの読み出しを担当す
る。
【図面の簡単な説明】
【図1】この発明の1実施例を示すブロック図である。
【図2】色フィルタを示す図解図である。
【図3】バッファコントロール回路およびバッファを示
す図解図である。
【図4】バッファコントロール回路の動作の一部を示す
タイミング図である。
【図5】SDRAMを示す図解図である。
【図6】通常のカメラモードにおけるSDRAMのマッ
ピング状態を示す図解図である。
【図7】通常のカメラモード,連写モードおよび再生モ
ードのそれぞれにおいてSDRAMにマッピングされる
各エリアの先頭アドレスを示す図解図である。
【図8】YUVデータを示す図解図である。
【図9】擬似フレーム化回路の動作を示す図解図であ
る。
【図10】SDRAMに形成されるJPEG用ワークエ
リアを示す図解図である。
【図11】カメラモードにおける動作の一部を示すタイ
ミング図である。
【図12】連写モードにおけるSDRAMのマッピング
状態を示す図解図である。
【図13】再生モードにおけるSDRAMのマッピング
状態を示す図解図である。
【符号の説明】
10 …ディジタルカメラ 22,26 …間引き回路 28 …バッファコントロール回路 30 …SDRAMコントロール回路 54 …フラッシュメモリ 56 …JPEGコーデック 58 …SDRAM
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平9−83863(JP,A) 特開 平9−261522(JP,A) 特開 平8−154212(JP,A) 特開 平8−149371(JP,A) 特開 平8−265644(JP,A) 特開 平9−312818(JP,A) 特開 平8−335387(JP,A) 特開 平8−195927(JP,A) 特開 平7−131748(JP,A) (58)調査した分野(Int.Cl.7,DB名) H04N 5/225 - 5/247 H04N 5/76 - 5/937

Claims (8)

    (57)【特許請求の範囲】
  1. 【請求項1】撮影指令に応答して撮影された被写体像の
    第1画像データを出力する出力手段(12,18,20)、 前記出力手段から出力された前記第1画像データを画
    データエリアに書き込む第1書込手段(28a,30)、前記画像データエリアに格納された前記第1画像データ
    に所定のデータ処理を施すデータ処理手段(24)、 前記データ処理手段によって生成された第2画像データ
    をワークエリアに書き込む第2書込手段(28a,30)、 前記ワークエリアに格納された前記第画像データに基
    づいて圧縮画像データを生成する圧縮手段(56)、 前記圧縮手段によって生成された前記圧縮画像データを
    前記画像データエリアに格納された同じ被写体像の前記
    第1画像データに上書きする上書き手段(28f,30)、およ
    び前記画像データエリアに格納された前記圧縮画像デー
    タを記録媒体に記録する記録手段(44)を備える、ディジ
    タルカメラ。
  2. 【請求項2】前記圧縮手段は第1画素数毎に圧縮処理を
    行い、 前記上書き手段は前記データ処理および前記圧縮処理が
    施されていない前記第1画像データを回避するように上
    書きを行う、請求項1記載のディジタルカメラ。
  3. 【請求項3】前記圧縮手段はJPEGフォーマットに従
    って圧縮を行なう、請求項1または2記載のディジタル
    カメラ。
  4. 【請求項4】前記データ処理手段は前記第1画像データ
    に前記第1画素数よりも多い第2画素数毎に前記データ
    処理を施す、請求項2または3記載のディジタルカメ
    ラ。
  5. 【請求項5】前記ワークエリアに前記第2画素数毎に格
    納される前記第2画像データに基づいてサムネイル画像
    データを作成するサムネイル作成手段(44)をさらに備
    え、 前記記録手段は前記サムネイル画像データおよび前記圧
    縮画像データを記録する、請求項4記載のディジタルカ
    メラ。
  6. 【請求項6】前記第1画像データはそれぞれの画素が異
    なる色成分を有するデータであり、 前記第2画像データはYUV形式のデータである、請求
    1ないし5のいずれかに記載のディジタルカメラ。
  7. 【請求項7】前記第1画像データはインタレーススキャ
    ンデータであり、 前記第1書込手段は奇数フィールドデータおよび偶数フ
    ィールドデータを個別に前記画像データエリアに書き込
    む、請求項1ないし6のいずれかに記載のディジタルカ
    メラ。
  8. 【請求項8】前記出力手段は被写体の光学像を取り込む
    イメージャ (12)を含み、 前記第1画像データは前記イメージャから出力された撮
    像信号のディジタルデータである、請求項1ないし
    いずれかに記載のディジタルカメラ。
JP4075098A 1998-02-23 1998-02-23 ディジタルカメラ Expired - Fee Related JP3342388B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP4075098A JP3342388B2 (ja) 1998-02-23 1998-02-23 ディジタルカメラ
KR1019990005404A KR100315964B1 (ko) 1998-02-23 1999-02-18 디지털 카메라
US09/252,679 US6661452B1 (en) 1998-02-23 1999-02-22 Digital camera capable of decreasing a required memory capacity

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP4075098A JP3342388B2 (ja) 1998-02-23 1998-02-23 ディジタルカメラ

Publications (2)

Publication Number Publication Date
JPH11239321A JPH11239321A (ja) 1999-08-31
JP3342388B2 true JP3342388B2 (ja) 2002-11-05

Family

ID=12589320

Family Applications (1)

Application Number Title Priority Date Filing Date
JP4075098A Expired - Fee Related JP3342388B2 (ja) 1998-02-23 1998-02-23 ディジタルカメラ

Country Status (3)

Country Link
US (1) US6661452B1 (ja)
JP (1) JP3342388B2 (ja)
KR (1) KR100315964B1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3416536B2 (ja) * 1998-10-14 2003-06-16 三洋電機株式会社 ディジタルカメラ
JP3311715B2 (ja) * 1999-12-01 2002-08-05 三洋電機株式会社 ディジタルカメラ
US7424207B2 (en) 2000-02-18 2008-09-09 Sanyo Electric Co., Ltd. Digital camera
US7471321B2 (en) * 2002-01-30 2008-12-30 Ricoh Company, Ltd. Photographing apparatus and photographing method
US20040051793A1 (en) * 2002-09-18 2004-03-18 Tecu Kirk S. Imaging device
US20050140990A1 (en) * 2003-10-15 2005-06-30 Akira Ueno Image processing apparatus and method and image data display method for digital camera
WO2005089397A2 (en) 2004-03-16 2005-09-29 Advanced Tracking Technologies, Inc. Geographic information data base engine
EP1657915A1 (en) * 2004-11-12 2006-05-17 Dialog Semiconductor GmbH Sized optimized pixel line to pixel block conversion algorithm
US7813565B2 (en) 2006-04-05 2010-10-12 Sharp Kabushiki Kaisha Image processing apparatus, image forming apparatus, and image processing method
KR101409769B1 (ko) * 2007-08-01 2014-06-19 삼성전자주식회사 영상 데이터 처리 장치 및 그의 영상 데이터 처리 방법
KR101477537B1 (ko) * 2008-08-04 2014-12-30 삼성전자주식회사 오버 라이딩 모드를 지원하는 디지털 카메라 및 그제어방법

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3226271B2 (ja) * 1989-07-27 2001-11-05 オリンパス光学工業株式会社 ディジタル電子スチルカメラ
US5164831A (en) * 1990-03-15 1992-11-17 Eastman Kodak Company Electronic still camera providing multi-format storage of full and reduced resolution images
TW301101B (ja) * 1994-11-17 1997-03-21 Matsushita Electric Ind Co Ltd
JP3311549B2 (ja) * 1995-08-22 2002-08-05 シャープ株式会社 画像処理装置の変倍制御装置
US5822542A (en) * 1996-10-31 1998-10-13 Sensormatic Electronics Corporation Electronic and structural components of an intelligent video information management apparatus
JPH10145716A (ja) 1996-11-13 1998-05-29 Kawasaki Steel Corp データ圧縮装置
JP3368157B2 (ja) * 1996-11-18 2003-01-20 キヤノン株式会社 データ圧縮装置、方法及びシステム
US6043845A (en) * 1997-08-29 2000-03-28 Logitech Video capture and compression system and method for composite video

Also Published As

Publication number Publication date
JPH11239321A (ja) 1999-08-31
US6661452B1 (en) 2003-12-09
KR100315964B1 (ko) 2001-12-12
KR19990072731A (ko) 1999-09-27

Similar Documents

Publication Publication Date Title
JP3438205B2 (ja) デジタル電子カメラ装置
US6671408B1 (en) Motion image reproducing apparatus
US5786851A (en) Imaging system for recording or reproducing a photographed image signal or input audio signal as a digital signal
US6683642B1 (en) Digital camera using separate buses for transferring DMA processed data and CPU processed data
US8005342B2 (en) Digital camera
JPH07311569A (ja) 画像処理装置および方法
JP3342388B2 (ja) ディジタルカメラ
JP3348917B2 (ja) 画像信号処理装置
US6356306B1 (en) Digital camera capable of converting a progressive scan signal into an interlace scan signal
JPH114402A (ja) テンプレート画像と撮影画像の合成方法,テンプレート画像の記録方法,ディジタルカメラおよびテンプレート画像記録装置
JP3515467B2 (ja) ディジタルカメラ
JP3416536B2 (ja) ディジタルカメラ
JP3253538B2 (ja) 画像処理装置及びその画像処理方法
JP2000354193A (ja) カメラシステムおよび映像信号処理方法
JP3515466B2 (ja) ディジタルカメラ
JP3483411B2 (ja) 撮像装置及び該装置におけるメモリ制御方法
JP3276858B2 (ja) デジタルスチルカメラ
JPH07322195A (ja) 画像記録再生装置及び画像・音声記録再生装置
JP3221004B2 (ja) ビデオカメラ
JP3338357B2 (ja) ディジタルカメラ
JP4459322B2 (ja) 撮像装置
JPH11252502A (ja) ディジタルカメラ
JP3384767B2 (ja) Yuvデータ処理回路
JP4279910B2 (ja) ディジタルスチルカメラ用信号処理装置
JPH10108128A (ja) ディジタル電子スチールカメラ

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20020730

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070823

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080823

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090823

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100823

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100823

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110823

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110823

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120823

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130823

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130823

Year of fee payment: 11

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130823

Year of fee payment: 11

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees