JP4118766B2 - 撮像装置および撮像方法 - Google Patents

撮像装置および撮像方法 Download PDF

Info

Publication number
JP4118766B2
JP4118766B2 JP2003300635A JP2003300635A JP4118766B2 JP 4118766 B2 JP4118766 B2 JP 4118766B2 JP 2003300635 A JP2003300635 A JP 2003300635A JP 2003300635 A JP2003300635 A JP 2003300635A JP 4118766 B2 JP4118766 B2 JP 4118766B2
Authority
JP
Japan
Prior art keywords
compression
image
size
main image
compressed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003300635A
Other languages
English (en)
Other versions
JP2005072989A (ja
Inventor
篤志 松谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2003300635A priority Critical patent/JP4118766B2/ja
Priority to US10/919,445 priority patent/US7536058B2/en
Publication of JP2005072989A publication Critical patent/JP2005072989A/ja
Application granted granted Critical
Publication of JP4118766B2 publication Critical patent/JP4118766B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/0044Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/333Mode signalling or mode changing; Handshaking therefor
    • H04N1/33307Mode signalling or mode changing; Handshaking therefor prior to start of transmission, input or output of the picture signal only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/41Bandwidth or redundancy reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00Still video cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077Types of the still picture apparatus
    • H04N2201/0084Digital still camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/333Mode signalling or mode changing; Handshaking therefor
    • H04N2201/33307Mode signalling or mode changing; Handshaking therefor of a particular mode
    • H04N2201/33342Mode signalling or mode changing; Handshaking therefor of a particular mode of transmission mode
    • H04N2201/33357Compression mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/907Television signal recording using static stores, e.g. storage tubes or semiconductor memories

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、固定長圧縮を行う撮像装置および撮像方法に関し、特に、主画像の固定長圧縮の工程を減少させた撮像装置および撮像方法に関する。
デジタルカメラなどの画像処理装置での静止画圧縮形式として、JPEG(Joint Photographic Experts Group)が標準的に採用されている。デジタルカメラなどの記録容量に制限がある画像符号化装置では、残り何枚記録できるかを使用者に明示するために、画像一枚あたりのサイズを固定長にしたいという要求があり、このため、可変長符号化方式であるJPEG形式で固定長符号化を行うのが一般的になっている。一方、デジタルカメラなどで画像を作成する時には、主画像とともにファイルの中身を簡単に識別するための表示用縮小画像を作ることが一般的になっており、主画像と表示用縮小画像は、同一データから生成されるのが普通である。
上述した従来の固定長圧縮を行う撮像装置として、本出願人が提案した特開平9−294265号公報記載の画像処理方法および画像処理装置がある。この装置は、離散コサイン変換係数を用いて画像データを周波数変換係数に変換し、変換された周波数変換係数の量子化の重み付けを示す量子化係数を用いて量子化し、量子化されたデータを符号化し、符号化手段による量子化されたデータの符号化処理の実行中において予め定められた所定時間間隔ごとに符号化されたデータの符号量を検出し、検出された符号量に基づいて符号化処理の実行中において量子化係数を変更するものである。
特開平9−294265号公報
しかしながら、上記発明では、固定長にかかる時間の短縮方法が表示用縮小画像の作成場面とは切り離されて考えられ、画像のサイズは、画像の内容に依存し圧縮してみないと分からない。従って、圧縮してみて目標サイズに収まらない場合は圧縮率を代える必要があった。
本発明は、上述した事情を鑑みてなされたものであり、表示用縮小画像の作成時のデータを活用することで固定長にかかる時間が短縮された、少なくとも画像もしくは映像を撮像し固定長に圧縮する手段を有した撮像装置および撮像方法を提供することを目的としている。
上記課題を解決するために、請求項1記載の撮像装置は、画像を撮像する撮像手段と、
前記撮像手段により撮像された圧縮前主画像を固定長に圧縮して主画像を作成する主画像作成手段と、
前記圧縮前主画像をリサイズして圧縮前縮小画像を作成し、前記圧縮前縮小画像を圧縮して表示用縮小画像を作成する表示用縮小画像作成手段とを備えた撮像装置において、
前記表示用縮小画像作成手段で作成されたデータに基づいて前記圧縮前主画像を目標サイズ近傍に圧縮するための最適圧縮パラメータを予測する最適圧縮パラメータ予測手段と、
前記最適圧縮パラメータに基づいて最適圧縮率を求め、前記最適圧縮率で前記圧縮前主画像を固定長に圧縮する圧縮手段とを備え
前記最適圧縮パラメータ予測手段は、圧縮後の表示用縮小画像のサイズをx、圧縮後の主画像のサイズをyとすると、前記圧縮前縮小画像と前記圧縮前主画像を同一の圧縮率T0で圧縮した場合の相関関係y=a*x+b(a、bは係数)を用いて、前記圧縮率T0および前記圧縮率T0で圧縮した表示用縮小画像のサイズx1から、前記圧縮前主画像を前記圧縮率T0で圧縮した場合の前記圧縮後主画像のサイズy1を求め、前記圧縮率T0および前記サイズy1から前記最適圧縮パラメータを予測し、
前記相関関係のy切片の値は、撮像指令前の画像あるいは撮像直後の前記圧縮前主画像から抽出された高周波成分が最低レベルでの前記相関関係のy切片をblとし、前記高周波成分が最高レベルでの前記相関関係のy切片をbhとして、前記高周波成分の値と前記y切片を比例関係におき、blからbhの間で前記高周波成分の値に基づきbに傾斜をかけることで求められる
ことを特徴としている。
また、請求項2の発明は、請求項1記載の撮像装置に係り、前記最適圧縮パラメータは、前記圧縮前主画像を前記圧縮前縮小画像にリサイズする際に副産された中間サイズの画像を圧縮し、前記圧縮後の中間サイズの画像のサイズをxとして上記相関関係から予測されることにより得たデータを含むことを特徴としている
た、請求項記載の発明は、請求項1または2記載の撮像装置に係り、上記最適圧縮パラメータに基づいて圧縮された圧縮画像のサイズが目標サイズ近傍にあるか判別する判別手段と、前記判別手段の結果に応じて前記圧縮パラメータを補正する補正手段とを備えたことを特徴としている。
また、請求項4記載の発明は、請求項1〜3のいずれかに記載の撮像装置に係り、前記相関関係の係数a、bは、複数の画像に対して前記圧縮率T0にて圧縮し、多数の(x、y)の組を求め、最小二乗法で求めることを特徴としている。
また、請求項記載の撮像方法は、画像を撮像する撮像手順と、
前記撮像手順により撮像された圧縮前主画像を固定長に圧縮して主画像を作成する主画像作成手順と、
前記圧縮前主画像をリサイズして圧縮前縮小画像を作成し、前記圧縮前縮小画像を圧縮して表示用縮小画像を作成する表示用縮小画像作成手順とを備えた撮像方法において、
前記表示用縮小画像作成手順で作成されたデータに基づいて前記圧縮前主画像を目標サイズ近傍に圧縮するための最適圧縮パラメータを予測する最適圧縮パラメータ予測手順と、
前記最適圧縮パラメータに基づいて最適圧縮率を求め、前記最適圧縮率で前記圧縮前主画像を固定長に圧縮する圧縮手順とを備え、
前記最適圧縮パラメータ予測手順は、圧縮後の表示用縮小画像のサイズをx、圧縮後の主画像のサイズをyとすると、前記圧縮前表示用画像と前記圧縮前主画像を同一の圧縮率T0で圧縮した場合の相関関係y=a*x+b(a、bは係数)を用いて、前記圧縮率T0および前記圧縮率T0で圧縮した表示用縮小画像のサイズx1から、前記圧縮前主画像を前記圧縮率T0で圧縮した場合の前記圧縮後主画像のサイズy1を求め、前記圧縮率T0および前記サイズy1から前記最適圧縮パラメータを予測し、
前記相関関係のy切片の値は、撮像指令前の画像あるいは撮像直後の前記圧縮前主画像から抽出された高周波成分が最低レベルでの前記相関関係のy切片をblとし、前記高周波成分が最高レベルでの前記相関関係のy切片をbhとして、前記高周波成分の値と前記y切片を比例関係におき、blからbhの間で前記高周波成分の値に基づきbに傾斜をかけることで求められる
ことを特徴としている
また、請求項記載の発明は、請求項に記載の撮像方法に係り、上記最適圧縮パラメータは、上記圧縮前主画像を上記表示用縮小画像にリサイズする際に副産された中間サイズの画像を圧縮し、前記圧縮後の中間サイズの画像の大きさをxとして上記相関関係から予測することにより得たデータを含むことを特徴としている。
また、請求項記載の発明は、請求項5または6に記載の撮像方法に係り、上記最適圧縮パラメータに基づいて圧縮された圧縮画像のサイズが目標サイズ近傍にあるか判別する判別手順と、上記判別手順の結果に応じて上記圧縮パラメータを補正する補正手順とを含むことを特徴としている。
また、請求項8記載の発明は、請求項5〜7のいずれかに記載の撮像方法に係り、前記相関関係の係数a、bは、複数の画像に対して前記圧縮率T0にて圧縮し、多数の(x、y)の組を求め、最小二乗法で求められることを特徴としている。
以上述べたように、本発明の構成によれば、主画像の固定長化にかかる時間が短縮され、圧縮の工程を減少することができる。すなわち、本発明の請求項1の撮像装置によれば、
画像を撮像する撮像手段と、
前記撮像手段により撮像された圧縮前主画像を固定長に圧縮して主画像を作成する主画像作成手段と、
前記圧縮前主画像をリサイズして圧縮前縮小画像を作成し、前記圧縮前縮小画像を圧縮して表示用縮小画像を作成する表示用縮小画像作成手段とを備えた撮像装置において、
前記表示用縮小画像作成手段で作成されたデータに基づいて前記圧縮前主画像を目標サイズ近傍に圧縮するための最適圧縮パラメータを予測する最適圧縮パラメータ予測手段と、
前記最適圧縮パラメータに基づいて最適圧縮率を求め、前記最適圧縮率で前記圧縮前主画像を固定長に圧縮する圧縮手段とを備え、
前記最適圧縮パラメータ予測手段は、圧縮後の表示用縮小画像のサイズをx、圧縮後の主画像のサイズをyとすると、前記圧縮前縮小画像と前記圧縮前主画像を同一の圧縮率T0で圧縮した場合の相関関係y=a*x+b(a、bは係数)を用いて、前記圧縮率T0および前記圧縮率T0で圧縮した表示用縮小画像のサイズx1から、前記圧縮前主画像を前記圧縮率T0で圧縮した場合の前記圧縮後主画像のサイズy1を求め、前記圧縮率T0および前記サイズy1から前記最適圧縮パラメータを予測し、
前記相関関係のy切片の値は、撮像指令前の画像あるいは撮像直後の前記圧縮前主画像から抽出された高周波成分が最低レベルでの前記相関関係のy切片をblとし、前記高周波成分が最高レベルでの前記相関関係のy切片をbhとして、前記高周波成分の値と前記y切片を比例関係におき、blからbhの間で前記高周波成分の値に基づきbに傾斜をかけることで求められるため、圧縮前縮小画像と圧縮前主画像を同一の圧縮率で圧縮した場合の相関関係の式の精度を上げることができ、より簡潔に且つ高精度に最適圧縮パラメータを予測することが可能となり、繰り返して圧縮する必要がなく、主画像の固定長化にかかる時間を大幅に短縮することが可能になる
また、本発明の請求項の撮像装置によれば、前記最適圧縮パラメータは、前記圧縮前主画像を前記圧縮前縮小画像にリサイズする際に副産された中間サイズの画像を圧縮し、前記圧縮後の中間サイズの画像のサイズをxとして上記相関関係から予測されることにより得たデータを含むことにより、表示用圧縮画像を作成する途中の中間画像を利用するため、主画像の固定長化にかかる時間をさらに短縮することが可能になる。
また、本発明の請求項の撮像装置によれば、最適圧縮パラメータに基づいて圧縮された圧縮画像のサイズが目標サイズ近傍にあるか否かを判別する判別手段と、最適圧縮パラメータを補正する補正手段とを備えているため、再度試行でき、より完全な撮像装置を提供することが可能となる。
また、本発明の請求項4の撮像装置によれば、前記相関関係の係数a、bは、複数の画像に対して前記圧縮率T0にて圧縮し、多数の(x、y)の組を求め、最小二乗法で求めることにより、簡潔に且つ的確に最適圧縮パラメータを予測することが可能となる。
また、本発明の請求項5の撮像方法によれば、画像を撮像する撮像手順と、
前記撮像手順により撮像された圧縮前主画像を固定長に圧縮して主画像を作成する主画像作成手順と、
前記圧縮前主画像をリサイズして圧縮前縮小画像を作成し、前記圧縮前縮小画像を圧縮して表示用縮小画像を作成する表示用縮小画像作成手順とを備えた撮像方法において、
前記表示用縮小画像作成手順で作成されたデータに基づいて前記圧縮前主画像を目標サイズ近傍に圧縮するための最適圧縮パラメータを予測する最適圧縮パラメータ予測手順と、
前記最適圧縮パラメータに基づいて最適圧縮率を求め、前記最適圧縮率で前記圧縮前主画像を固定長に圧縮する圧縮手順とを備え、
前記最適圧縮パラメータ予測手順は、圧縮後の表示用縮小画像のサイズをx、圧縮後の主画像のサイズをyとすると、前記圧縮前表示用画像と前記圧縮前主画像を同一の圧縮率T0で圧縮した場合の相関関係y=a*x+b(a、bは係数)を用いて、前記圧縮率T0および前記圧縮率T0で圧縮した表示用縮小画像のサイズx1から、前記圧縮前主画像を前記圧縮率T0で圧縮した場合の前記圧縮後主画像のサイズy1を求め、前記圧縮率T0および前記サイズy1から前記最適圧縮パラメータを予測し、
前記相関関係のy切片の値は、撮像指令前の画像あるいは撮像直後の前記圧縮前主画像から抽出された高周波成分が最低レベルでの前記相関関係のy切片をblとし、前記高周波成分が最高レベルでの前記相関関係のy切片をbhとして、前記高周波成分の値と前記y切片を比例関係におき、blからbhの間で前記高周波成分の値に基づきbに傾斜をかけることで求められるので、圧縮前縮小画像と圧縮前主画像を同一の圧縮率で圧縮した場合の相関関係の式の精度を上げることができ、
より簡潔に且つ精度の高い最適圧縮パラメータを予測することが可能となり、繰り返して圧縮する必要がなく、主画像の固定長化にかかる時間を大幅に短縮することが可能になる
た、本発明の請求項の撮像方法によれば、前記最適圧縮パラメータは、前記圧縮前主画像を前記圧縮前縮小画像にリサイズする際に副産された中間サイズの画像を圧縮し、前記圧縮後の中間サイズの画像のサイズをxとして上記相関関係から予測されることにより得たデータを含むことにより、表示用圧縮画像を作成する途中の中間画像を利用するため、主画像の固定長化にかかる時間をさらに短縮することが可能になる。
また、本発明の請求項の撮像方法によれば、最適圧縮パラメータに基づいて圧縮された圧縮画像のサイズが目標サイズ近傍にあるか否かを判別する判別手段と、最適圧縮パラメータを補正する補正手段とを備えているため、再度試行でき、より完全な撮像方法を提供することが可能となる。
また、本発明の請求項8の撮像方法によれば、前記相関関係の係数a、bは、複数の画像に対して前記圧縮率T0にて圧縮し、多数の(x、y)の組を求め、最小二乗法で求めることにより、簡潔に且つ的確に最適圧縮パラメータを予測することが可能となる。
以下、図面を参照して、本発明の実施の形態について詳細に説明する。ここでは、本発明の撮像装置をデジタルカメラに適用した場合の例として説明する。
まず、図1,図2を参照して、本発明の撮像装置の実施の形態1を適用したデジタルカメラの構成について説明する。図1(a)、(b)、(c)は、本発明の撮像装置の実施の形態1を適用したデジタルカメラの構成をそれぞれ示す外観図であり、このうち、(a)は上面図、(b)は、正面図、(c)は背面図である。また、図2は、本発明の撮像装置の実施の形態1を適用したデジタルカメラの構成を示すブロック図である。
図1に示すように、デジタルカメラ上面は、サブLCD1,シャッタレリーズSW1,モードダイアルSW2で構成され、デジタルカメラ正面は、SDカード/電池蓋2,ストロボ発光部3,光学ファインダ4,測距ユニット5,リモコン受光部6,鏡胴ユニット7で構成され、デジタルカメラ背面は、AF LED8,光学ファインダ4,ストロボLED9,LCDモニタ10,スイッチSW1〜SW13より構成されている。スイッチSW1はシャッタレリーズ、SW2はモードダイアル、SW3はZOOMスイッチ(WIDE)、SW4はZOOMスイッチ(TELE)、SW5はセルフタイマ/削除スイッチ、SW6はMENUスイッチ、SW7は上/ストロボスイッチ、SW8は右スイッチ、SW9はDISPLAYスイッチ、SW10は下/マクロスイッチ、SW11左/画像確認スイッチ、SW12はOKスイッチ、SW13は電源スイッチである。
次に、図2を参照して、デジタルカメラの各部の構成について説明する。
鏡胴ユニット7は、被写体の光学画像を取り込むズームレンズ71a,ズーム駆動モータ71bからなるズーム光学系71と、フォーカスレンズ72a,フォーカス駆動モータ72bからなるフォーカス光学系72と、絞り73a,絞りモータ73bからなる絞りユニット73と、メカシャッタ74a,メカシャッタモータ74bからなるメカシャッタユニット74と、各モータを駆動するモータドライバ75とを有する。
モータドライバ75は、リモコン受光部6の入力や操作KeyユニットSW1〜SW13の操作入力に基づく、後述するデジタルスチルカメラプロセッサ104内にあるCPUブロック(Central Processing Unit:中央演算処理部)1043からの駆動指令により駆動制御される。
ROM108には、CPUブロック1043にて解読可能なコードで記述された制御プログラムや制御するためのパラメータが格納されている。このデジタルカメラの電源がオン状態になると、ROM8に格納された制御プログラムは、メインメモリ(図示せず)にロードされ、CPUブロック1043は、そのプログラムに従って、装置各部の動作を制御するとともに、制御に必要なデータ等を、一時的に、RAM107および後述するデジタルスチルカメラプロセッサ104内にあるLocal SRAM1044に保存する。ROM108に書き換え可能なフラッシュROMを使用することで、制御プログラムや制御するためのパラメータを変更することが可能になり、機能のVersion・Upが容易に行える。
CCD(Charge Coupled Device:電化結合素子)101は、光学画像を光電変換するための固体撮像素子であり、F/E(フロントエンド)−IC102は、画像ノイズ除去用相関二重サンプリングを行うCDS(Correrated Double Sampling:相関二重サンプリング)1021、利得調整を行うAGC(Automatic Gain Control)1022、デジタル信号変換を行うA/D(Analogue/Digital)1023、駆動タイミング信号を発生するTG1024を有する。TG1024は、CCD1制御ブロック1041より、垂直同期信号(以下、VDと記す。)、水平同期信号(以下、HDと記す。)を供給され、CPUブロック1043によって制御されるCCD101およびF/E−IC102の駆動タイミング信号を発生する。
デジタルスチルカメラプロセッサ104は、CCD101よりF/E−IC102の出力データにホワイトバランス設定やガンマ設定を行い、また、前述したように、VD信号、HD信号を供給するCCD1制御ブロック1041、フィルタリング処理により輝度データ・色差データへの変換を行うCCD2制御ブロック1042、前述した装置各部の動作を制御するCPUブロック1043、前述した制御に必要なデータ等を、一時的に保存するLocal SRAM1044、パソコン等の外部機器とUSB通信を行うUSBブロック1045、パソコン等の外部機器とシリアル通信を行うシリアルブロック1046、JPEG(Joint Photographic Experts Group)圧縮・伸を行うJPEG CODECブロック1047、画像データのサイズを補間処理により拡大/縮小するRESIZEブロック1048、画像データを液晶モニタやTV等の外部表示機器に表示するためのビデオ信号に変換するTV信号表示ブロック1049、撮影された画像データを記録するメモリカード1212の制御を行うメモリカードコントローラブロック10410を有する。
SDRAM103は、前述したデジタルスチルカメラプロセッサ104で画像データに各種処理を施す際に、画像データを一時的に保存する。保存される画像データは、例えば、CCD101から、F/E−IC102を経由して取り込んで、CCD1信号処理ブロック1041でホワイトバランス設定、ガンマ設定が行われた状態の「RAW−RGB画像データ」やCCD2制御ブロック1042で輝度データ・色差データ変換が行われた状態の「YUV画像データ」、JPEG CODECブロック1047で、JPEG圧縮された「JPEG画像データ」などである。
メモリカードスロットル121は、着脱可能なメモリカード1212を装着するためのスロットルである。内蔵メモリ120は、前述したメモリカードスロットル121にメモリカードが装着されていない場合でも、撮像した画像データを記憶できるようにするためのメモリである。
LCDドライバ117は、後述するLCDモニタ10を駆動するドライブ回路であり、TV信号表示ブロック1049から出力されたビデオ信号を、LCDモニタ10に表示するための信号に変換する機能も有している。 LCDモニタ10は、撮影前に被写体の状態を監視したり、撮影した画像を確認したり、メモリカードや前述した内蔵メモリ120に記録した画像データを表示したりするためのモニタである。
ビデオAMP118は、TV信号表示ブロック1049から出力されたビデオ信号を、75Ωインピーダンス変換するためのアンプであり、ビデオジャック119は、TVなどの外部表示機器と接続するためのジャックである。
USBコネクタ122は、パソコンなどの外部機器とUSB接続を行うためのコネクタである。シリアルドライバ回路1231は、パソコンなどの外部機器とシリアル通信を行うために、前述したシリアルブロック1046の出力信号を電圧変換するための回路であり、RS−232Cコネクタ1232は、パソコンなどの外部機器とシリアル接続を行うためのコネクタである。
SUB−CPU109は、ROM・RAMをワンチップに内蔵したCPUであり、操作KeyユニットSW1〜13やリモコン受光部6の出力信号をユーザの操作情報として、前述したCPUブロック1043に出力したり、前述したCPUブロック1043より出力されるカメラの状態を、後述するサブLCD1、AF LED8、ストロボLED9、ブザー113の制御信号に変換して、出力する。
サブLCD1は、例えば、撮影可能枚数などを表示するための表示部であり、LCDドライバ111は、前述したSUB−CPU109の出力信号より、前述したサブLCD1を駆動するためのドライブ回路である。
AF LED8は、撮影時の合焦状態を表示するためのLEDであり、ストロボLED9は、ストロボの充電状態を表すためのLEDであり、充電が完了すると点灯する。尚、このAF LED8とストロボLED9を、メモリアクセス中などの別の表示用途に使用しても良い。
操作KeyユニットSW1〜13は、ユーザが操作するKey回路であり、リモコン受光部6は、ユーザが操作したリモコン送信機の信号の受信部である。
音声記録ユニット115は、ユーザが音声信号を入力するマイク1153、入力された音声信号を増幅するマイクAMP1152、増幅された音声信号を記録する音声記録回路1153からなる。また、音声再生ユニット116は、記録された音声信号をスピーカから出力できる信号に変換する音声再生回路1161、変換された音声信号を増幅し、スピーカを駆動するためのオーディオAMP1162、音声信号を出力するスピーカ1163からなる。
次に、図3を参照して、本発明の撮像装置の実施の形態1における圧縮の動作について説明する。図3は、本発明の撮像装置の圧縮の手順を説明する概略図であり、シャッタボタン押下後(シャッタレリーズスイッチSW1のON後)の撮像シーケンスを示している。
まず、シャッタボタン押下後、CCD101によりRGB(Red・Green・Blue)画像が取り込まれ、CCD101からFE−IC102を経由して、CCD1信号処理ブロック1041でホワイトバランス設定,ガンマ設定が行われた状態のRGB画像データを、CCD2信号処理ブロック1042で低解像度のYUV(輝度・色差信号)画像データに変換する。このYUV画像が、図3に示す主画像用YUV画像に相当する。この主画像用YUV画像を元にサムネイルと主画像が作成される。サムネイルは、RESISEブロック1048で主画像用YUV画像をリサイズしたり間引くことにより、縮小されたサムネイル用YUV画像を作成し、これをJPEG CODECブロック1047で圧縮することで作成される。作成過程によっては、縮小途中のサイズの画像が副産されることもある。この一例として、図3に、リサイズ途中のサムネイル用YUV画像とリサイズ後のサムネイル画像を示している。主画像の作成方法は、まず、主画像用YUV画像をリサイズして予め指定された画素数に変更し、このリサイズ後主画像用YUV画像を最適な圧縮率で圧縮することで作成される。
図4は、本発明の撮像装置の実施の形態1の動作を示すフローチャートである。
同図に示すように、まず、シャッタボタンを押下し(S1)、ZOOMレンズ71a、FOCUSレンズ72aで結像された画像をCCD101によりRGB画像として取り込む(S2)。次に、得られたRGB画像データを主画像用YUV画像データに変換する(S3)。この主画像用YUV画像をリサイズしたり間引くことにより、縮小されたサムネイル用YUV画像を作成する(S4)。このサムネイル用YUV画像を圧縮してサムネイルを作成する(S5)。最適な圧縮率を短時間で求めるために、本発明では、サムネイル作成時で発生したデータを流用する。すなわち、サムネイル用YUV画像の圧縮後のサイズから主画像用YUV画像の圧縮後のサイズを予測し(S6)、次に、圧縮サイズを目標サイズに収めるための圧縮率を求め(S7)、求めた圧縮率により主画像を作成する(S8)。
図5は、本発明の撮像装置の実施の形態1における主画像の圧縮率を求める方法を示すグラフである。このグラフは、上述したサムネイル作成時のデータを使って主画像の圧縮率を求める一例を示すものであり、サムネイル用YUV画像と主画像用YUV画像を同一の圧縮率(この圧縮率をT0とする)で圧縮したときの相関関係を示している。本実施の形態では、この相関関係が直線である場合を想定して説明する。
まず、サムネイル用YUV画像の圧縮後のサイズをx、主画像用YUV画像の圧縮後のサイズをyとすると、x,yの関係は、係数a,bを用いて
y=a*x+b (式1)
と表現できる。この式は、複数の画像に対して圧縮率T0にて圧縮し、多数の(x,y)の組を求め、係数a,b最小二乗法などで求めることにより特定される。
撮影時には、主画像より先にサムネイルを作成することとし、サムネイルの圧縮時には、所定の圧縮率T0で圧縮を行う。圧縮率T0でのサムネイル用YUV画像の圧縮後のサイズをx1とし、式1に代入すれば、主画像用YUV画像を圧縮率T0で圧縮したときのサイズy1が求まる。圧縮率T0で主画像を圧縮したときの圧縮サイズが予測されたので、(T0,y1)から補正を行い、圧縮サイズを目標サイズに収めるための圧縮率T1を求める。
次に、本発明の撮像装置の実施の形態2について説明する。
図6,図7は、本発明の撮像装置の実施の形態2における主画像の圧縮率を求める方法を示すグラフである。図6は、高周波成分と式1のy切片との関係を示し、図7は、式1のbに傾斜をかけて精度を上げる方法を示している。本実施の形態では、式1の作り方に関して、上記の相関関係に撮影直前の画像の高周波成分を付加している。例えば、外部センサからあるいは撮影直前に取り込んだ画像のAF評価値から高周波成分の数値を測定し、図6に示すように、高周波成分が最低レベルでのy切片をblとし、高周波成分が最高レベルの時のy切片をbhとしている。高周波成分の数値とy切片を比例関係において、高周波成分の数値からy切片が求まるようにする。すなわち、図7に示すように、y=a*x+b,y=a*x+bh,y=a*x+blのようにbに傾斜をかけ、式1の精度を上げ、より精度が高い予測を可能とする。高周波の数値の求め方として撮影画像そのものを高周波のみが有効になる圧縮テーブルでもって圧縮し、圧縮サイズの大きさと関連づけても良い。
このようにして、図4に示す実施の形態1と同様の方法で、主画像を作成する。すなわち、まず、シャッタボタンを押下し(S1)、CCD101からRG画像を取り込む(S2)。次に、得られたRGB画像データを主画像用YUV画像データに変換する(S3)。この主画像用YUV画像をリサイズしたり間引くことにより、縮小されたサムネイル用YUV画像を作成する(S4)。このサムネイル用YUV画像を圧縮してサムネイルを作成する(S5)。次に、サムネイル用YUV画像の圧縮後のサイズと、高周波成分の数値から求めたy切片から主画像用YUV画像の圧縮後のサイズを予測する(S6)。次に、圧縮サイズを目標サイズに収めるための圧縮率を求め(S7)、求めた圧縮率により主画像を作成する(S8)。
次に、本発明の撮像装置の実施の形態3について説明する。
図8は、本発明の撮像装置の実施の形態3の動作を示すフローチャートである。
上述した実施の形態1では、圧縮率を求めるために流用したデータは、サムネイルの作成結果を利用したものであったが、本実施の形態では、サムネイル作成途中に副産されたものを利用している。すなわち、サムネイルへリサイズされる途中でVGAサイズの画像(図3に示すリサイズ途中サムネイル用YUV画像に相当)が作られた場合、このVGA画像を圧縮率T0で圧縮して圧縮サイズを求める。この圧縮サイズから主画像を圧縮率T0で圧縮した時の圧縮サイズを予測する。
すなわち、図8に示すように、まず、シャッタボタンを押下し(S11)、CCD101からRGB画像を取り込む(S12)。次に、得られたRGB画像データを主画像用YUV画像データに変換する(S13)。この主画像用YUV画像をリサイズする途中に生成されるリサイズ途中サムネイル用YUV画像を作成する(S14)。このリサイズ途中サムネイル用YUV画像の圧縮後のサイズから主画像用YUV画像の圧縮後のサイズを予測する(S15)。次に、圧縮サイズを目標サイズに収めるための圧縮率を求め(S16)、求めた圧縮率により主画像を作成する(S17)。
本実施の形態では、実施の形態1とは異なり、圧縮工程そのものは増えるが、画像サイズが大きいので、精度が上がるという効果があり、補正をする回数が減る。
以上、この発明を図面を参照して詳述してきたが、具体的な構成は、この実施の形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計の変更があってもこの発明に含まれる。
例えば、上述の実施の形態においては、式1を元にして圧縮率を求めたが、その圧縮率で目標サイズ近傍に収まらない場合、さらに補正、圧縮を繰り返しても構わない。
また、上述の実施の形態においては、デジタルスチルカメラを例として挙げたが、このカメラに限定されるものではなく、少なくとも画像もしくは映像を撮像し、表示用縮小画像を作成する手段と、画像を固定長に圧縮する手段を有していればよいため、他の画像の記録手段や表示手段を有していても構わない。さらに、画像の記録手段・表示手段を有していない電子機器にも応用することができる。従って、他のあらゆる電子機器にも適用することができる。
また、上述の実施の形態においては、式1を元にして最適圧縮率を求めたが、式1が直線である必要はなく、数値の入力に対して出力がある数字モデルであれば何でも構わない。
また、上述の実施の形態においては、式1を元にして最適圧縮率を求めたが、種々の事情により再度圧縮したりしてより精度の高い最適圧縮率を求めるため、判別手段を用いて圧縮後の画像を判別したり、補正手段を用いてその画像を補正したりすることもできる。
本発明の実施の形態1に係る撮像装置であるデジタルカメラの外観構成を示す平面図である。 本発明の実施の形態1に係る撮像装置であるデジタルカメラの外観構成を示す正面図である。 本発明の実施の形態1に係る撮像装置であるデジタルカメラの外観構成を示す背面図である。 本発明の実施の形態1に係る撮像装置であるデジタルカメラの各部の構成を示すブロック図である。 本発明の実施の形態1に係る撮像装置における圧縮の動作を示す概略図である。 本発明の実施の形態1に係る撮像装置における圧縮の動作を示すフローチャートである。 本発明の実施の形態1に係る撮像装置における圧縮率を求めるためのグラフである。 本発明の実施の形態2に係る撮像装置における圧縮率を求めるためのグラフである。 本発明の実施の形態2に係る撮像装置における圧縮率の精度を挙げる方法を示すグラフである。 本発明の実施の形態3に係る撮像装置における圧縮の動作を示すフローチャートである。
符号の説明
1 サブLCD
2 SDカード/電池蓋
3 ストロボ発光部
4 光学ファインダ
5 測距ユニット
6 リモコン受光部
7 鏡胴ユニット
8 AF LED
9 ストロボLED
10 LCDモニタ
101 CCD
102 F/E−IC
103 SDRAM
104 デジタルスチルカメラプロセッサ
107 RAM
108 ROM
109 SUB−CPU
111 LCDドライバ
113 ブザー
115 音声記録ユニット
116 音声再生ユニット
117 LCDドライバ
118 ビデオAMP
119 ビデオジャック
120 内蔵メモリ
121 メモリカードスロットル
1212 メモリカード
122 USBコネクタ
1231 シリアルドライバ回路
1232 RS−232Cコネクタ
SW1〜SW13 操作Keyユニット

Claims (8)

  1. 画像を撮像する撮像手段と、
    前記撮像手段により撮像された圧縮前主画像を固定長に圧縮して主画像を作成する主画像作成手段と、
    前記圧縮前主画像をリサイズして圧縮前縮小画像を作成し、前記圧縮前縮小画像を圧縮して表示用縮小画像を作成する表示用縮小画像作成手段とを備えた撮像装置において、
    前記表示用縮小画像作成手段で作成されたデータに基づいて前記圧縮前主画像を目標サイズ近傍に圧縮するための最適圧縮パラメータを予測する最適圧縮パラメータ予測手段と、
    前記最適圧縮パラメータに基づいて最適圧縮率を求め、前記最適圧縮率で前記圧縮前主画像を固定長に圧縮する圧縮手段とを備え
    前記最適圧縮パラメータ予測手段は、圧縮後の表示用縮小画像のサイズをx、圧縮後の主画像のサイズをyとすると、前記圧縮前縮小画像と前記圧縮前主画像を同一の圧縮率T0で圧縮した場合の相関関係y=a*x+b(a、bは係数)を用いて、前記圧縮率T0および前記圧縮率T0で圧縮した表示用縮小画像のサイズx1から、前記圧縮前主画像を前記圧縮率T0で圧縮した場合の前記圧縮後主画像のサイズy1を求め、前記圧縮率T0および前記サイズy1から前記最適圧縮パラメータを予測し、
    前記相関関係のy切片の値は、撮像指令前の画像あるいは撮像直後の前記圧縮前主画像から抽出された高周波成分が最低レベルでの前記相関関係のy切片をblとし、前記高周波成分が最高レベルでの前記相関関係のy切片をbhとして、前記高周波成分の値と前記y切片を比例関係におき、blからbhの間で前記高周波成分の値に基づきbに傾斜をかけることで求められる
    ことを特徴とする撮像装置。
  2. 前記最適圧縮パラメータは、前記圧縮前主画像を前記圧縮前縮小画像にリサイズする際に副産された中間サイズの画像を圧縮し、前記圧縮後の中間サイズの画像のサイズをxとして上記相関関係から予測されることにより得たデータを含むことを特徴とする請求項1に記載の撮像装置。
  3. 前記最適圧縮パラメータに基づいて圧縮された圧縮画像のサイズが目標サイズ近傍にあるか判別する判別手段と、前記判別手段の結果に応じて前記圧縮パラメータを補正する補正手段とを備えたことを特徴とする請求項1または2に記載の撮像装置。
  4. 前記相関関係の係数a、bは、複数の画像に対して前記圧縮率T0にて圧縮し、多数の(x、y)の組を求め、最小二乗法で求めることを特徴とする請求項1から3のいずれかに記載の撮像装置。
  5. 画像を撮像する撮像手順と、
    前記撮像手順により撮像された圧縮前主画像を固定長に圧縮して主画像を作成する主画像作成手順と、
    前記圧縮前主画像をリサイズして圧縮前縮小画像を作成し、前記圧縮前縮小画像を圧縮して表示用縮小画像を作成する表示用縮小画像作成手順とを備えた撮像方法において、
    前記表示用縮小画像作成手順で作成されたデータに基づいて前記圧縮前主画像を目標サイズ近傍に圧縮するための最適圧縮パラメータを予測する最適圧縮パラメータ予測手順と、
    前記最適圧縮パラメータに基づいて最適圧縮率を求め、前記最適圧縮率で前記圧縮前主画像を固定長に圧縮する圧縮手順とを備え、
    前記最適圧縮パラメータ予測手順は、圧縮後の表示用縮小画像のサイズをx、圧縮後の主画像のサイズをyとすると、前記圧縮前表示用画像と前記圧縮前主画像を同一の圧縮率T0で圧縮した場合の相関関係y=a*x+b(a、bは係数)を用いて、前記圧縮率T0および前記圧縮率T0で圧縮した表示用縮小画像のサイズx1から、前記圧縮前主画像を前記圧縮率T0で圧縮した場合の前記圧縮後主画像のサイズy1を求め、前記圧縮率T0および前記サイズy1から前記最適圧縮パラメータを予測し、
    前記相関関係のy切片の値は、撮像指令前の画像あるいは撮像直後の前記圧縮前主画像から抽出された高周波成分が最低レベルでの前記相関関係のy切片をblとし、前記高周波成分が最高レベルでの前記相関関係のy切片をbhとして、前記高周波成分の値と前記y切片を比例関係におき、blからbhの間で前記高周波成分の値に基づきbに傾斜をかけることで求められる
    ことを特徴とする撮像方法。
  6. 前記最適圧縮パラメータは、前記圧縮前主画像を前記圧縮前縮小画像にリサイズする際に副産された中間サイズの画像を圧縮し、前記圧縮後の中間サイズの画像のサイズをxとして上記相関関係から予測されることにより得たデータを含むことを特徴とする請求項に記載の撮像方法。
  7. 前記最適圧縮パラメータに基づいて圧縮された圧縮画像のサイズが目標サイズ近傍にあるか判別する判別手段と、前記判別手段の結果に応じて前記圧縮パラメータを補正する補正手順とを含むことを特徴とする請求項またはに記載の撮像方法。
  8. 前記相関関係の係数a、bは、複数の画像に対して前記圧縮率T0にて圧縮し、多数の(x、y)の組を求め、最小二乗法で求めることを特徴とする請求項5から7のいずれかに記載の撮像方法。
JP2003300635A 2003-08-25 2003-08-25 撮像装置および撮像方法 Expired - Fee Related JP4118766B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2003300635A JP4118766B2 (ja) 2003-08-25 2003-08-25 撮像装置および撮像方法
US10/919,445 US7536058B2 (en) 2003-08-25 2004-08-17 Imaging apparatus and imaging method for compressing image data to a fixed length

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003300635A JP4118766B2 (ja) 2003-08-25 2003-08-25 撮像装置および撮像方法

Publications (2)

Publication Number Publication Date
JP2005072989A JP2005072989A (ja) 2005-03-17
JP4118766B2 true JP4118766B2 (ja) 2008-07-16

Family

ID=34372411

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003300635A Expired - Fee Related JP4118766B2 (ja) 2003-08-25 2003-08-25 撮像装置および撮像方法

Country Status (2)

Country Link
US (1) US7536058B2 (ja)
JP (1) JP4118766B2 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005341136A (ja) * 2004-05-26 2005-12-08 Matsushita Electric Ind Co Ltd 画像処理装置
JP4619051B2 (ja) 2004-07-01 2011-01-26 株式会社リコー プリントシステム、プリント装置、撮像装置、プリント方法および画像送信方法
JP4725217B2 (ja) * 2005-07-11 2011-07-13 株式会社ニコン 撮像装置
JP4828334B2 (ja) * 2006-07-11 2011-11-30 京セラ株式会社 表示機器
JP4718498B2 (ja) 2007-01-29 2011-07-06 株式会社リコー 撮像装置および撮像方法
KR20090122701A (ko) * 2008-05-26 2009-12-01 삼성전자주식회사 화질 개선을 위한 영상처리장치 및 방법
JP5430379B2 (ja) * 2009-02-03 2014-02-26 キヤノン株式会社 撮像装置及びその制御方法及びプログラム
TWI475888B (zh) * 2011-07-06 2015-03-01 Altek Corp 預估影像壓縮尺寸的方法
US9020291B2 (en) 2012-08-31 2015-04-28 Hewlett-Packard Development Company, L.P. Resized image compression based on frequency content
US11593632B2 (en) * 2016-12-15 2023-02-28 WaveOne Inc. Deep learning based on image encoding and decoding

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3093233B2 (ja) * 1990-03-16 2000-10-03 キヤノン株式会社 画像符号化装置及びその方法
JP3795932B2 (ja) 1994-05-19 2006-07-12 富士写真フイルム株式会社 画像データ圧縮符号化方法および装置
JP3682353B2 (ja) 1996-02-29 2005-08-10 株式会社リコー 画像圧縮方法および画像圧縮装置
JPH10336647A (ja) * 1997-06-04 1998-12-18 Nikon Corp 画像圧縮装置および画像圧縮処理プログラムを記録したコンピュータ読み取り可能な記録媒体
US6195462B1 (en) * 1998-03-30 2001-02-27 Eastman Kodak Company Image compression
JP2001169280A (ja) 1999-12-09 2001-06-22 Sharp Corp 画像圧縮装置、画像圧縮方法及び記憶媒体

Also Published As

Publication number Publication date
JP2005072989A (ja) 2005-03-17
US20050068425A1 (en) 2005-03-31
US7536058B2 (en) 2009-05-19

Similar Documents

Publication Publication Date Title
US7151564B2 (en) Image recording apparatus and method
JP5005570B2 (ja) 画像処理装置およびプログラム
US20110138332A1 (en) Information processing device and method for controlling information processing device
JP4869149B2 (ja) 画像データ圧縮装置、画像データ圧縮方法およびプログラム
TWI492618B (zh) 攝影裝置及電腦可讀取記錄媒體
JP4118766B2 (ja) 撮像装置および撮像方法
US8189055B2 (en) Digital photographing apparatus and method of controlling the same
JP2004328117A (ja) ディジタルカメラおよび撮像制御方法
WO2007132679A1 (ja) 画像傾き補正装置及び画像傾き補正方法
JP4645228B2 (ja) 撮影装置及びプログラム
JP2008109305A (ja) 画像処理装置および画像処理装置の制御方法
US20090244358A1 (en) Electronic Apparatus Having Autofocus Camera Function
JP2008078828A (ja) 撮像装置
JP2010020081A (ja) 撮像装置及び撮像方法、並びに制御プログラム及び記憶媒体
JP4707590B2 (ja) 撮像装置および撮像方法
JP5742237B2 (ja) 撮像装置および撮像方法
JP4714561B2 (ja) 撮像装置および撮像方法
JP2008072501A (ja) 撮像装置、撮像方法、プログラムおよび記録媒体
JP5195887B2 (ja) 撮像装置および撮像方法
JP5625325B2 (ja) 画像データ記録装置および画像データ記録プログラム
JP5799690B2 (ja) 撮像装置及びその制御方法
JP4733597B2 (ja) 画像撮影装置および画像撮影装置の表示方法
JP5091091B2 (ja) 撮像装置及びそのオートフォーカス制御方法、並びに制御プログラム
JP2007110221A (ja) 撮像装置
JP4188808B2 (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051013

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070815

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080422

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080423

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110502

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120502

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120502

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130502

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140502

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees