JP4233562B2 - Imaging device - Google Patents
Imaging device Download PDFInfo
- Publication number
- JP4233562B2 JP4233562B2 JP2005363807A JP2005363807A JP4233562B2 JP 4233562 B2 JP4233562 B2 JP 4233562B2 JP 2005363807 A JP2005363807 A JP 2005363807A JP 2005363807 A JP2005363807 A JP 2005363807A JP 4233562 B2 JP4233562 B2 JP 4233562B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- index value
- compression
- data
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Devices (AREA)
Description
この発明は、デジタルカラー撮像機器において画像の圧縮処理を行う撮像装置に関するものである。 The present invention relates to an imaging apparatus that performs image compression processing in a digital color imaging apparatus.
第1図は、例えば、特開平11−331672号公報に示された従来のデジタルスチルカメラの概略構成を示す図であり、圧縮前の画像データを記憶するためのフレームメモリを必要としないデジタルスチルカメラの構成を示すものである。 FIG. 1 is a diagram showing a schematic configuration of a conventional digital still camera disclosed in, for example, Japanese Patent Laid-Open No. 11-331672, and does not require a frame memory for storing image data before compression. 1 shows a configuration of a camera.
第1図において、11は撮像レンズ、12は絞りを兼ねるシャッター、13は光電変換素子であるCCD、14はアナログ信号処理部(CDS/AGC)、15はADコンバータ、16はタイミングジェネレータ(TG)、17はデジタル信号処理部(DSP)、18は画像圧縮部(JPEGエンコーダ)、20はフラッシュメモリ、21はメモリカードインタフェース(PCMCIA I/F)、22は制御部である。 In FIG. 1, 11 is an imaging lens, 12 is a shutter that also serves as an aperture, 13 is a CCD that is a photoelectric conversion element, 14 is an analog signal processor (CDS / AGC), 15 is an AD converter, and 16 is a timing generator (TG). , 17 is a digital signal processing unit (DSP), 18 is an image compression unit (JPEG encoder), 20 is a flash memory, 21 is a memory card interface (PCMCIA I / F), and 22 is a control unit.
撮像レンズ11は、撮影対象からの光をCCD13の受光面に結像させる。絞り兼シャッター12は撮像レンズ11からCCD13に至る光束径を規制してCCD13の受光量を調節するとともに、CCD13が光電変換を開始した後所定時間が経過した時点で閉じて、CCD13の露光時間を制限する。CCD13は、赤(R)、緑(G)、青(B)の光にそれぞれ感応する3種の画素を交互にマトリクス状に数十万配列して成り、画素毎に、受けた光を電荷に変換して蓄積し、蓄積電荷をアナログ信号として出力する。
The
アナログ信号処理部14はCCD13の出力信号を2重相関サンプリングし自動ゲイン処理する。ADコンバータ15は、アナログ信号処理部14から入力されるアナログ信号をデジタル信号に変換して、デジタル信号処理部17に出力する。
The analog
タイミングジェネレータ16はCCD13に、バッファ16a、16bを介して、それぞれ水平走査および垂直走査の時期を示すタイミング信号SH、SVを与える。タイミングジェネレータ16は、また、アナログ信号処理部14にCCD13の出力信号をサンプリングする時期を示すタイミング信号SSを与え、ADコンバータ15にアナログ信号処理部14の出力信号を変換する時期を示すタイミング信号SCを与える。
The
デジタル信号処理部17はADコンバータ15によってデジタル化されたCCD13の出力信号に対して、ホワイトバランス補正、シェーディング、R、G、Bの3色の信号の補間、ガンマ補正等の処理を施して、輝度信号および色信号より成る画像データを生成する。デジタル信号処理部17によって生成される一組の画像データは撮影された1フレームの画像を表すものであり、そのまま表示可能である。
The digital
画像圧縮部18はデジタル信号処理部17によって生成された画像データを圧縮する。画像圧縮部18は、デジタル信号処理部17が出力する画像データを所定の大きさ(8×8画素)の画素ブロックごとに順次離散コサイン変換する離散コサイン変換器(DCT)18a、変換された画像データを量子化する量子化器18b、および量子化された画像データをハフマン符号化するハフマン符号化器18cより成る。
The
フラッシュメモリ20は画像圧縮部18によって圧縮された画像データを記憶する。カードインタフェース21はフラッシュメモリ20に記憶されている画像データをフレーム単位で、着脱自在なメモリカードに複写する。JPEG方式に従う他の機器は、複写された画像データをメモリカードから読み出して、複合化、逆量子化、および逆離散コサイン変換を施すことにより、撮影された画像を再生することが出来る。
The
制御部22は、絞り兼シャッター12の開き具合を調節してCCD13に結像する像の明るさを調節する。また、不図示の操作部に設けられたレリーズボタンが操作され、画像の記憶を開始する指示が与えられたときに、動作開始を命じる制御信号SOを画像圧縮部18に与える。
The
制御信号SOを与えられた画像圧縮部18は制御信号STをタイミングジェネレータ16に与える。これに応じてタイミングジェネレータ16は、タイミング信号SH、SV、SS、SCをCCD13、アナログ信号処理部14、およびADコンバータ15に出力して、各部を所定のタイミングで動作させる。タイミング信号SH、SSおよびSCの出力周期は、画像圧縮部18が8ライン分の画像データを圧縮するのに要する時間の1/8に設定されている。
The
画像圧縮部18は制御信号STを出力した後、8ライン分の画像データを圧縮するのに要する時間が経過した時点で、制御信号SPをデジタル信号処理部17に与え、次の制御信号STをタイミングジェネレータ16に与える。デジタル信号処理部17に与えられる制御信号SPは生成した8ライン分の画像データを出力することを要求する信号である。画像圧縮部18は制御信号SPに応じてデジタル信号処理部17が出力する画像データを圧縮し、各部は制御部22から次の指示が与えられるまで動作を休止する。
After outputting the control signal ST, the
制御部22はレリーズボタンの操作によって画像の記憶が指示されるまでは絞り兼シャッター12を閉じさせておき、レリーズボタンの操作がなされた時点で絞り兼シャッター12を適切な範囲まで開かせる。そして略1/30秒に設定された所定時間が経過した時点で、絞り兼シャッター12を再び閉じさせる。この制御により、CCD13の露光時間は従来通りとなり、CCD13が飽和してしまったり、撮影対象の移動やカメラぶれにより撮像した画像にぶれが生じたりする不都合が防止される。
The
デジタルスチルカメラは生成された画像データを一時的に記憶しておくためのフレームメモリを必要としており、このフレームメモリがなければ画像データ圧縮処理を適切に行うことが出来ないという問題点があった。上記の従来のデジタルスチルカメラはこの問題点を鑑み、圧縮前の画像データを記憶するためのフレームメモリを必要としないものである。 The digital still camera requires a frame memory for temporarily storing the generated image data, and there is a problem that the image data compression process cannot be performed properly without this frame memory. . In view of this problem, the above-described conventional digital still camera does not require a frame memory for storing image data before compression.
しかしながら、上記の従来のデジタルスチルカメラではCCDの動作を間欠的に停止させることによってフレームメモリを不要としているため、1フレームの画像を撮影するために要する時間が長くなるという課題があった。 However, since the conventional digital still camera described above eliminates the need for a frame memory by intermittently stopping the operation of the CCD, there is a problem that it takes a long time to capture an image of one frame.
また画像の圧縮処理では、使い勝手をよくするために、記録媒体に記録する圧縮画像の枚数を予め定めておくのが一般的である。このため、1フレームの画像に割り当てられる記録容量は画像の種類にかかわらず一定であり、どのような画像データも一定量を超えない範囲で、その一定量に近い圧縮データとされる。データのこのような圧縮の方法は定レート制御と呼ばれる。一般に圧縮データのサイズは、画像データの性質によって大きく異なるため、定レート制御を行うには量子化処理で使用する量子化テーブル内容等の画像圧縮処理のパラメータを動的に変更して、一定量以下の圧縮データを得るまで圧縮を繰り返すことが必要であるが、上記従来のデジタルスチルカメラでは圧縮の際のパラメータを動的に変更する手段を持たないため、定レート制御を行うことが出来ない。 In the image compression processing, in order to improve usability, the number of compressed images to be recorded on a recording medium is generally determined in advance. Therefore, the recording capacity allocated to an image of one frame is constant regardless of the type of image, and any image data is compressed data close to a certain amount within a range not exceeding the certain amount. This method of compressing data is called constant rate control. In general, the size of the compressed data varies greatly depending on the nature of the image data. Therefore, to perform constant rate control, the parameters of the image compression processing such as the quantization table used in the quantization processing are dynamically changed to a certain amount. Although it is necessary to repeat compression until the following compressed data is obtained, the above-mentioned conventional digital still camera does not have means for dynamically changing parameters during compression, and thus cannot perform constant rate control. .
定レート制御を行う方法として、例えば特開平11−234669号公報には、高域抽出回路を用いて画像のデジタル信号に含まれる高周波成分を抽出し、その結果に基づいて画像圧縮処理の際の圧縮パラメータを制御する方法が開示されている。 As a method for performing constant rate control, for example, in Japanese Patent Laid-Open No. 11-234669, a high frequency component included in a digital signal of an image is extracted using a high-frequency extraction circuit, and an image compression process is performed based on the result. A method for controlling compression parameters is disclosed.
しかしながら、デジタルスチルカメラでは、撮影対象画像を確認するために液晶表示装置に画像データを常時表示する場合と、シャッター動作により画像を記録媒体に記録する場合とでCCDの動作状態および電荷蓄積時間、絞りの入射光量設定といった設定値を変更することが多い。これは撮影対象画像確認時には画像データの転送量を減らし、画像の更新周期を上げることによって操作性の向上を図るとともに、画像を記録する際には画像の転送量を増やし精緻な画像の記録を行うという、二つの目的を両立させるためである。しかも撮影する画像のサイズや、デジタルズーム処理により、撮影対象画像確認時、撮像時、それぞれの動作で必要な画像の大きさは変化するため、CCDの動作状態の切り替えにも複数のパターンが存在する。このような制御において定レート制御を行う場合、CCDや絞りの設定条件を同一にした上で高域抽出回路等による圧縮パラメータの制御を行う必要があり、シャッター動作を行ってから、画像が記録媒体に記録されるまでの時間が長くなるという課題があった。 However, in the digital still camera, the operation state of the CCD and the charge accumulation time in the case where the image data is always displayed on the liquid crystal display device to confirm the image to be photographed and the case where the image is recorded on the recording medium by the shutter operation, In many cases, a setting value such as an incident light amount setting of a diaphragm is changed. This is to improve the operability by reducing the transfer amount of image data when confirming the image to be captured and increasing the update period of the image, while increasing the transfer amount of the image when recording the image and recording a precise image. This is to achieve both purposes. In addition, since the size of the image required for each operation varies depending on the size of the image to be captured and the digital zoom processing, when confirming the image to be captured and when capturing, there are multiple patterns for switching the operating state of the CCD. . When performing constant rate control in such control, it is necessary to control the compression parameters using a high-frequency extraction circuit, etc., with the same CCD and aperture setting conditions, and the image is recorded after the shutter operation is performed. There is a problem that the time until recording on the medium becomes long.
また、画像が記録されるまでの時間が長いことにより、動きの激しい被写体の撮像時にシャッター動作を行った時の画像と実際に記録媒体に記録される画像の差異が大きくなるという課題があった。 In addition, since the time until the image is recorded is long, there is a problem that the difference between the image when the shutter operation is performed during imaging of a subject that moves rapidly and the image actually recorded on the recording medium increases. .
この発明は上記のような課題を解決するためになされたもので、撮影対象画像を確認するために液晶表示装置に画像データを常時表示する場合と、シャッター動作により画像を記録媒体に記録する場合とでCCDの動作状態および電荷蓄積時間、絞りの入射光量設定といった設定値を変更する場合においても、画像が記録媒体に記録される時間を伸ばすことなく定レート制御を行うことを目的とする。 The present invention has been made to solve the above-described problems. When image data is always displayed on a liquid crystal display device in order to confirm an image to be photographed, and when an image is recorded on a recording medium by a shutter operation. The purpose of this is to perform constant rate control without increasing the time during which an image is recorded on a recording medium, even when changing the setting values such as the operating state of the CCD, the charge accumulation time, and the incident light quantity setting of the aperture.
この発明に係る撮像装置は、固体撮像素子より得られた映像信号から圧縮時の符号量を予測するための指標値を抽出するとともに、複数のフレームにわたって算出した指標値を記憶しておき、撮像フレーム間での指標値の変化量によって指標値に補正を加える指標値算出手段と、指標値算出手段によって求められた指標値に基づいて前記データ圧縮手段で使用する圧縮係数を決定する圧縮係数制御手段とを備え、圧縮係数制御手段は、撮像前の撮像画像確認動作時に前記指標値算出手段が求めた指標値を用い、撮像動作時には圧縮係数を決定していることを特徴とするものである。
The imaging apparatus according to the present invention extracts an index value for predicting a code amount at the time of compression from a video signal obtained from a solid-state imaging device, stores an index value calculated over a plurality of frames, and captures an image Index value calculation means for correcting the index value according to the change amount of the index value between frames, and compression coefficient control for determining a compression coefficient to be used in the data compression means based on the index value obtained by the index value calculation means And the compression coefficient control means uses the index value obtained by the index value calculation means during the captured image confirmation operation before imaging, and determines the compression coefficient during the imaging operation. .
このことによって、撮像動作が指示された後すぐに画像の圧縮、記録動作を行うことができ、シャッター操作のレスポンスがよくなるという効果がある。 As a result, the image compression and recording operations can be performed immediately after the imaging operation is instructed, and the shutter operation response is improved.
以下、この発明をより詳細に説明するために、この発明を実施するための最良の形態について、添付の図面にしたがって説明する。
実施の形態1.
第2図は、この発明の実施の形態1による撮像装置の構成を示すブロック図である。
Hereinafter, in order to describe the present invention in more detail, the best mode for carrying out the present invention will be described with reference to the accompanying drawings.
Embodiment 1 FIG.
FIG. 2 is a block diagram showing the configuration of the image pickup apparatus according to Embodiment 1 of the present invention.
図において、11は撮像レンズ、12は光電変換素子であるCCD、13はアナログ信号処理部(CDS/AGC)、14はADコンバータ、15はデジタル信号処理部(DSP)、16は画像データから圧縮時の符号量を予測するための指標値を抽出する指標値算出回路、17は指標値算出回路16によって求められた指標値に基づいて後述する画像圧縮部で使用する圧縮係数を制御する圧縮係数制御回路、18は画像圧縮部(JPEGエンコーダ)、19は画像を記録するための記録媒体、20はCCDを駆動するためのタイミングジェネレータ(TG)、21は各処理部分の動作を制御するための制御部、22はシャッターボタンである。
In the figure, 11 is an imaging lens, 12 is a CCD which is a photoelectric conversion element, 13 is an analog signal processing unit (CDS / AGC), 14 is an AD converter, 15 is a digital signal processing unit (DSP), and 16 is compressed from image data. An index value calculation circuit for extracting an index value for predicting the code amount at the time, 17 is a compression coefficient for controlling a compression coefficient used in an image compression unit described later based on the index value obtained by the index value calculation circuit 16 A control circuit, 18 is an image compression unit (JPEG encoder), 19 is a recording medium for recording an image, 20 is a timing generator (TG) for driving a CCD, and 21 is for controlling the operation of each processing part. A
次に動作について説明する。 Next, the operation will be described.
まず、撮像レンズ11は、撮影対象からの光をCCD12の受光面に結像させる。CCD12は赤(R)、緑(G)、青(B)の光にそれぞれ感応する3種の画素を交互にマトリクス状に数十万配列して成り、画素毎に受けた光を電荷に変換して蓄積し、蓄積電荷をアナログ信号として出力する。
First, the
また、CCD12は、例えば全ての蓄積電荷を順次出力する駆動モードと、1ラインおきの蓄積電荷のみを順次出力する駆動モードといった複数の駆動モードを持ち、タイミングジェネレータ20からの制御により動的に駆動モードを変更することが可能な仕組みを備える。
The
アナログ信号処理部13は、CCD12からの出力信号を2重相関サンプリングし、ゲイン制御を行う。ADコンバータ14はアナログ信号処理部13から入力されるアナログ信号をデジタル信号に変換して、デジタル信号処理部15に出力する。
The analog
タイミングジェネレータ20は、CCD12に対して水平走査および垂直走査の時期を示すタイミング信号を与える。またタイミングジェネレータ20から出力される信号を制御することによりCCD12の持つ複数の駆動モードを動的に切り替える機能を有する。
The
デジタル信号処理部15は、ADコンバータ14によってデジタル化されたCCD12の出力信号に対して、ホワイトバランス調整、欠陥画素補正、R、G、B3色の信号の補間、ガンマ補正、色変換等の処理を行い、輝度信号および色差信号から成る画像データを生成する。
The digital
画像圧縮部18は、デジタル信号処理部17によって生成された画像データを圧縮する。画像圧縮部18は、デジタル信号処理部17が出力する画像データを所定の大きさ(8×8画素)の画素ブロックごとに順次離散コサイン変換する離散コサイン変換器(DCT)18a、変換された画像データを量子化する量子化器18b、および量子化された画像データをハフマン符号化するハフマン符号化器18cから成る。
The
また、画像圧縮部18は、圧縮した画像データを記憶媒体19に記憶させる。JPEG方式に従う他の機器は、複写された画像データを記録媒体から読み出して、復号化、逆量子化、および逆コサイン変換を施すことにより、画像データを再生することができる。
Further, the
指標値算出回路16は、デジタル信号処理部15によって生成された画像データから、圧縮時の符号量を予測するための指標値を算出する。指標値として、例えば画像信号の高周波成分を抽出し、画像に含まれる周波数成分の量を数値化したもの等が考えられる。
The index
シャッターボタン22は、使用者が撮像動作を指示する際に操作される。シャッターボタン22は使用者の操作により、画像の記録が指示されたことを制御部21に伝える。
The
制御部21は、シャッターボタン22が押された際に、タイミングジェネレータ20、アナログ信号処理部13、デジタル信号処理部15の動作設定を対象画像確認用の設定から画像撮影用の設定に切り替える。この切り替えにおいて、撮影対象画像確認時、撮像時のそれぞれの動作設定は、使用者によって指定される撮影画像サイズやデジタルズーム倍率設定等に応じて異なる。よって切り替えのパターンも撮影対象画像確認時、撮像時のそれぞれの動作設定の組み合わせにより、複数存在することになる。制御部21は、圧縮係数制御回路17に対しても、シャッターボタン22が押されたことを通知するとともに、その際のタイミングジェネレータ20、アナログ信号処理部13、デジタル信号処理部15の動作設定変更内容を合わせて通知する。
When the
圧縮係数制御回路17では、指標値算出回路16によって算出された指標値に基づき、画像圧縮部18で使用する圧縮係数を制御する。ここで圧縮係数とは画像圧縮部18に含まれる量子化器18bにおいて、量子化の精度を規定するためのパラメータ(以下、Q値と記載する)を指す。Q値の値を大きくすると、離散コサイン変換されたデータの量子化精度が上がるため、圧縮された画像の画質は向上する。それと同時に生成される符号量が増加するため、生成される圧縮画像データのサイズは大きくなる。
The compression
逆にQ値の値を小さくすると、離散コサイン変換されたデータの量子化精度が下がり、圧縮された画像の画質は悪化する。この場合生成される符号量は減少し、生成される圧縮画像データのサイズは小さくなる。よって圧縮係数制御回路17では、指標値算出回路16から出力される指標値から、生成される圧縮画像データのデータサイズが大きくなると予測される場合は、Q値を小さくする制御を行い、圧縮画像データのサイズを低く抑える。また生成される圧縮画像データのサイズが小さくなると予測される場合は、Q値を大きくする制御を行い、圧縮画像の画質を向上させる。
Conversely, if the Q value is decreased, the quantization accuracy of the discrete cosine transformed data is lowered, and the image quality of the compressed image is deteriorated. In this case, the generated code amount is reduced, and the size of the generated compressed image data is reduced. Therefore, the compression
また実施の形態1の圧縮係数制御回路17は、制御部21からの信号を受け取る仕組みを持っており、圧縮係数制御回路17の動作は、制御部21を介してシャッターボタン22が押されたことを通知された場合に限られる。これは、画像圧縮部18の動作が、シャッターボタン22が押され、圧縮画像データを記憶媒体19に記憶させる場合にのみ必要なためである。このとき圧縮係数制御回路17は、制御部22から、タイミングジェネレータ20、アナログ信号処理部13、デジタル信号処理部15の動作がどのように変更されるかという情報を受け取り、その情報に基づいて指標値算出回路16によって出力される指標値からQ値を制御する方法を変化させる。
The compression
液晶画面23は、使用者によって撮像が指示される前の撮影画像確認動作時に撮像対象を随時表示するためのものである。撮影画像確認動作時には、タイミングジェネレータ20の設定によりCCD12から蓄積電荷を間欠的に読み出す制御を行い、画像1フレームの読み出しに必要な時間を減らすことでフレームの更新レートを上げ、使用者が撮影画像の画角を調整する際の操作性を向上させる。またアナログ信号処理部13やデジタル信号処理部15はCCD12の駆動モードに合わせて、出力される画像サイズや画素データの並び順が変更されるため、CCD12の駆動モードに合致した動作設定が行われている必要がある。撮像動作確認動作時の画像データは、逐一圧縮および記録する必要がないため、デジタル信号処理部15にて画像処理を行ったものが圧縮処理部18を通過することなくそのまま液晶画面23に送られ、撮影画像確認用の画像として表示される。
The
ここでシャッターボタン22による撮影画像確認動作から撮影動作への切り替えの際の圧縮係数制御回路17の動作について詳しく述べる。
Here, the operation of the compression
第3図は、指標値とファイルサイズの関係を示す説明図である。この図は、指標値算出回路16から出力される指標値と圧縮後のファイルサイズの関係をグラフ化したものである。圧縮係数制御回路17では、このグラフに相当する指標値とファイルサイズの対応情報をデータとして保持しておく。このデータは、実際に画像を撮影した場合の圧縮結果から予め測定しておく必要がある。第3図のグラフにおいて各折れ線は、ある特定のQ値設定における指標値と圧縮後のファイルサイズの関係を示している。Q値が大きくなると、同じ指標値に対する圧縮後のファイルサイズが大きくなるので、グラフは上方にずれる。Q値が小さくなると、圧縮後のファイルサイズが小さくなるので、グラフは下方にずれる。
FIG. 3 is an explanatory diagram showing the relationship between the index value and the file size. This figure is a graph of the relationship between the index value output from the index
この第3図のグラフを使用して、圧縮係数制御回路17がQ値を決定するための方法について述べる。ここでは指標値算出回路16によって現在撮影中の画像に対応する指標値が算出されているので、指標値と予め決めておいた目標ファイルサイズとの交点を求める。ここで、この目標ファイルサイズと指標値の交点を超えることなく、最も上方に位置する折れ線が、目標ファイルサイズを超えない範囲で使用可能な最大のQ値を表すことになる。よってこの折れ線に対応するQ値を参照し、画像圧縮部18の制御を行えばよい。
A method for the compression
上記の方法は、撮像動作時にシステムの動作設定の変更がない場合について述べたものである。実際には撮像動作時にシステムの動作設定が変更されるため、指標値に基づいて決定したQ値による圧縮ファイルサイズが、目標ファイルサイズから大きく外れた値となってしまう可能性がある。 The above method describes a case where there is no change in system operation settings during an imaging operation. Actually, since the system operation setting is changed during the imaging operation, there is a possibility that the compressed file size based on the Q value determined based on the index value is a value greatly deviating from the target file size.
第4図は、指標値補正係数テーブルを示す説明図である。図示したものは、上記のようなファイルサイズのずれを防止するために利用する指標値補正係数テーブルの一例である。例えば撮像動作において、CCD動作モードが間引き読み出しから全画素読み出しに変更される場合には、撮影画像確認動作時が間引き読み出し、撮影動作時が全画素読み出しとなる項を参照し、得られた係数を補正係数として、算出された指標値に乗ずる。これにより、動作設定の変更による指標値の誤差を修正し、目標ファイルサイズに対して適切なQ値を求めることができる。 FIG. 4 is an explanatory diagram showing an index value correction coefficient table. What is shown is an example of an index value correction coefficient table used to prevent the file size shift as described above. For example, in the imaging operation, when the CCD operation mode is changed from thinning readout to all pixel readout, the coefficient obtained by referring to the section in which thinning readout is performed during the captured image confirmation operation and all pixel readout is performed during the photographing operation. Is multiplied by the calculated index value as a correction coefficient. Thereby, the error of the index value due to the change of the operation setting can be corrected, and an appropriate Q value for the target file size can be obtained.
なお、この指標値補正係数テーブルの係数は実際にCCD動作モードを切り替えて画像を撮影した場合の指標値の変化を測定し、測定結果に基づいて予め算出しておく必要がある。 The coefficients in the index value correction coefficient table need to be calculated in advance based on the measurement results obtained by measuring changes in index values when the CCD operation mode is actually switched and an image is taken.
CCD動作モードの変化するパターンは、使用者によって指定される撮影画像サイズやデジタルズーム倍率設定等に応じて異なる可能性があるが、第4図のようにCCD12が対応する全ての動作モードについて組み合わせのテーブルを用意しておけば、変化のパターンにかかわらず適切な補正係数を選択することが出来る。
The pattern in which the CCD operation mode changes may vary depending on the photographed image size specified by the user, the digital zoom magnification setting, etc., but combinations of all the operation modes supported by the
以上のように、実施の形態1によれば、撮像動作に入る前の指標値情報を利用して、撮像時の圧縮パラメータを適切に決定するようにしたので、撮像動作が指示された後すぐに画像の圧縮、記録動作を行うことができ、シャッター操作のレスポンスがよくなる効果がある。 As described above, according to the first embodiment, since the index value information before entering the imaging operation is used to appropriately determine the compression parameter at the time of imaging, immediately after the imaging operation is instructed. In addition, image compression and recording operations can be performed, and the response of the shutter operation is improved.
また、圧縮前の画像を一旦記録するためのフレームバッファを備える必要がないようにしたので、撮像装置の構成に必要なコストを削減することができる効果がある。 In addition, since it is not necessary to provide a frame buffer for temporarily recording an uncompressed image, there is an effect that the cost required for the configuration of the imaging apparatus can be reduced.
また、指標値を算出し、適切な補正を行った後、その値を利用して圧縮時の係数を決定するようにしたので、撮像動作時と撮影画像確認動作時との間でCCD12の動作モードが異なる場合にも目標ファイルサイズに対して誤差の少ない定レート制御を実現することができる効果がある。
In addition, after calculating the index value and performing appropriate correction, the coefficient at the time of compression is determined using the value, so that the operation of the
また、撮像動作時における、撮像装置の動作設定変更に対する補正を、テーブルを利用して行うようにしたので、撮影対象画像確認時、撮像時のそれぞれの動作設定の組み合わせにより、多数の動作切り替えパターンが存在する場合でも、全てのパターンに対して誤差の少ない定レート制御を実現することができる効果がある。 In addition, since correction for changes in the operation settings of the imaging device during the imaging operation is performed using a table, a number of operation switching patterns can be selected depending on the combination of the respective operation settings at the time of shooting target image confirmation and imaging. Even in the case where there is, there is an effect that it is possible to realize constant rate control with less error for all patterns.
また、画像圧縮部18の動作がシャッターボタン22を操作した際の撮像動作時に限られるようにしたので、消費電力を抑え、電池による駆動時間の長いシステムを実現することができる効果がある。
In addition, since the operation of the
実施の形態2.
前述の実施の形態1では、指標値は単独の値であり、その値に基づいて圧縮係数制御回路が画像圧縮部のQ値を制御していた。ところがフレームバッファを持たない撮像装置において、画像圧縮部以前の画像データの転送レートに対して画像圧縮部以降の画像データの転送レートをより低い値に制限している場合がある。これは画像圧縮によってデータ量が減少することを見込み、画像圧縮後は必要最低限の転送レートのみを確保するようにして、当該装置全体のコストを削減することを狙ったものである。こういった撮像装置においては、画像全体での圧縮データ量が目標データ量と合致するように制御されていたとしても、局所的に圧縮データサイズが大きくなると、データ転送量が転送能力をオーバーし、正常に画像圧縮処理を行えない現象が発生する可能性がある。
Embodiment 2. FIG.
In the first embodiment, the index value is a single value, and the compression coefficient control circuit controls the Q value of the image compression unit based on the index value. However, in an imaging apparatus having no frame buffer, the transfer rate of image data after the image compression unit may be limited to a lower value than the transfer rate of image data before the image compression unit. This is expected to reduce the amount of data due to image compression, and aims to reduce the overall cost of the apparatus by ensuring only the necessary minimum transfer rate after image compression. In such an imaging device, even if the compressed data amount of the entire image is controlled so as to match the target data amount, if the compressed data size is locally increased, the data transfer amount exceeds the transfer capability. There is a possibility that a phenomenon that the image compression processing cannot be normally performed may occur.
このようなフレームバッファを持たない撮像装置において、2種類の指標値を利用し、適切な画像圧縮処理を行う実施の形態2よる撮像装置を説明する。 An imaging apparatus according to Embodiment 2 that performs appropriate image compression processing using two types of index values in an imaging apparatus that does not have such a frame buffer will be described.
実施の形態2による撮像装置は、第2図に示した実施の形態1による撮像装置と同様に構成される。ここでは、実施の形態2による撮像装置の構成の説明を省略する。 The imaging apparatus according to the second embodiment is configured similarly to the imaging apparatus according to the first embodiment shown in FIG. Here, the description of the configuration of the imaging apparatus according to Embodiment 2 is omitted.
次に動作について説明する。 Next, the operation will be described.
実施の形態2による撮像装置は、動作も実施の形態1で説明したものと概ね同様で、実施の形態1による撮像装置と同様な動作について、その説明を省略し、実施の形態2による撮像装置の特徴となる動作について説明する。実施の形態2による撮像装置は、第2図に示した指標値算出回路16および圧縮係数制御回路17の動作が実施の形態1で説明したものと異なる。
The operation of the imaging apparatus according to the second embodiment is substantially the same as that described in the first embodiment, and the description of the same operation as that of the imaging apparatus according to the first embodiment is omitted, and the imaging apparatus according to the second embodiment. The operation which is the feature of the will be described. In the imaging apparatus according to the second embodiment, the operations of the index
実施の形態2による撮像装置の指標値算出回路16および圧縮係数制御回路17の動作について詳しく説明する。
The operations of the index
指標値算出回路16では、実施の形態1と同様に、入力画像の全面に対応した指標値を算出すると同時に、入力画像を複数のエリアに分割し、個々のエリアに対する指標値を算出する。分割したエリアに対する指標値のうち最も値の大きいものを、エリア分割時の最大指標値として、該画像全面の指標値と共に圧縮係数制御回路17に出力する。
As in the first embodiment, the index
圧縮係数制御回路17では、実施の形態1と同様に予め定めた目標ファイルサイズに加え、画像圧縮部18以降の画像データ転送レートを元に、限界圧縮サイズを定める。
The compression
限界圧縮サイズは、圧縮前の画像サイズとの比率が、画像圧縮部18以降と画像圧縮部18以前の画像データ転送レートの比率に一致するよう定めておけば、局所的にデータ転送量が転送能力をオーバーすることがなくなる。
If the limit compression size is determined so that the ratio of the pre-compression image size matches the ratio of the image data transfer rate after the
圧縮係数制御回路17では、実施の形態1と同様に、第3図に示した指標値とファイルサイズの相関関係、および第4図に示した指標値補正係数テーブルを参照し、画像圧縮部18の制御を行うための適切なQ値を求める。この際、画像のエリア全面の指標値と目標ファイルサイズの組み合わせによるQ値と、該エリア分割時の最大指標値と限界ファイルサイズの組み合わせによるQ値の2つの値が求められる。
As in the first embodiment, the compression
この二つのQ値のうち、値の小さい方を使用して画像圧縮部18の制御を行うことにより、ファイルサイズが目標ファイルサイズを超えることなく、なおかつ局所的なデータ転送量オーバーも発生しないように画像の圧縮を行うことが可能である。
By controlling the
以上のように、実施の形態2によれば、目標ファイルサイズに加えて、データ転送レートによる局所的なファイルサイズの増大を考慮したQ値の制御を行うようにしたので、画像圧縮後の出力データの転送レートが制限されている撮像装置でも、該転送レート制限を加味した上で最も適切な圧縮ファイルサイズの制御を行うことができる効果がある。 As described above, according to the second embodiment, in addition to the target file size, the Q value is controlled in consideration of the local file size increase due to the data transfer rate. Even in an imaging apparatus in which the data transfer rate is limited, there is an effect that the most appropriate compressed file size can be controlled in consideration of the transfer rate limitation.
実施の形態3.
前述の実施の形態2では、データ圧縮時の符号量を予測するための指標値として、直前のフレームで算出された指標値のみを使用している。この時、特に撮影対象画像確認時のCCD駆動モードが間引き読み出しであり、撮像動作時に間引き読み出しから全画素読み出しにCCD駆動モードが変更されるような場合には、画像の間引きによって撮影対象画像確認時の画像データにおいて一部の情報が失われている状態となるため、第4図の指標値補正係数テーブルによる補正を行っても、補正誤差が残ってしまうケースが考えられる。
Embodiment 3 FIG.
In the second embodiment described above, only the index value calculated in the immediately preceding frame is used as the index value for predicting the code amount at the time of data compression. At this time, especially when the CCD drive mode at the time of confirming the image to be photographed is thinning readout, and the CCD drive mode is changed from thinning readout to all pixel readout at the time of the imaging operation, the image to be photographed is confirmed by thinning the image Since some information is lost in the image data at that time, there may be a case where a correction error remains even if correction is performed using the index value correction coefficient table of FIG.
このようなケースで、さらに時系列での指標値の変化に基づいて補正誤差を抑える実施の形態3による撮像装置を説明する。 In this case, an imaging apparatus according to Embodiment 3 that further suppresses correction errors based on changes in index values in time series will be described.
実施の形態3による撮像装置は、第2図に示した実施の形態1による撮像装置と同様に構成される。ここでは、実施の形態3による撮像装置の構成の説明を省略する。 The imaging apparatus according to the third embodiment is configured in the same manner as the imaging apparatus according to the first embodiment shown in FIG. Here, the description of the configuration of the imaging apparatus according to Embodiment 3 is omitted.
次に動作について説明する。 Next, the operation will be described.
実施の形態3による撮像装置は、動作も実施の形態1で説明したものと概ね同様で、実施の形態1による撮像装置と同様な動作について、その説明を省略し、実施の形態3による撮像装置の特徴となる動作について説明する。実施の形態3による撮像装置は、第2図に示した指標値算出回路16の動作が、実施の形態1で説明したものと異なる。
The operation of the imaging apparatus according to the third embodiment is substantially the same as that described in the first embodiment, and the description of the same operation as that of the imaging apparatus according to the first embodiment is omitted, and the imaging apparatus according to the third embodiment. The operation which is the feature of the will be described. In the imaging apparatus according to the third embodiment, the operation of the index
実施の形態3による指標値算出回路16は、実施の形態1と同じくデジタル信号処理部15によって生成された画像データに基づき、圧縮時の符号量を予測するための指標値を算出する。ここで指標値算出回路16は、直近の複数フレームに関して算出した指標値を記憶しておく。
The index
例えば、指標値として画像の高周波成分を抽出する場合を考えると、CCD12が間引き読み出し駆動時の指標値に対して補正係数による補正を行ったものと、CCD12が全画素読み出し駆動時の指標値との間に誤差が発生するのは、画像が全画素読み出しでは認識できるが、間引きモードでは消えてしまうような特定の高周波成分を多く含む場合であると考えられる。このような時、間引きモードにおける画像は、CCD12の撮像面の撮像素子同士の間隔と画像の高周波成分との位相関係によって、大きく画素値が変動するため、指標値自体の時系列による変化が激しくなることが予想される。
For example, considering a case where a high-frequency component of an image is extracted as an index value, the
第5図は、指標値の変動幅と追加補正係数の関係を示す説明図である。指標値算出回路16では、複数フレームにわたって記憶した指標値の履歴から、指標値の最大値および最小値の間の変動幅を求める。この変動幅が大きいことは画像に高周波成分が多く、全画素モードにおける指標値が補正係数による補正よりもさらに大きくなる可能性が高いことを示している。よって第5図のような、指標値の変動幅と追加補正係数の関係を示すテーブルを予め作成しておき、指標値の変動幅に対応する追加補正係数を、指標値に補正係数を適用した値に対してさらに追加して乗ずる。
FIG. 5 is an explanatory diagram showing the relationship between the fluctuation range of the index value and the additional correction coefficient. The index
以上のように、実施の形態3によれば、時系列での指標値の変動に基づいて、算出された指標値の追加補正を行うようにしたので、より精度の高い圧縮ファイルサイズの制御を行うことが可能になる効果がある。 As described above, according to the third embodiment, since the calculated index value is additionally corrected based on the fluctuation of the index value in time series, the compressed file size can be controlled with higher accuracy. There is an effect that can be performed.
実施の形態4.
前述の各実施の形態では、圧縮係数制御回路17で使用する圧縮符号量予測指標値とファイルサイズの関係性データや、補正係数テーブルのデータを予め測定し、回路内に固定データとして設定しておく必要がある。しかし実際の使用状態を想定した場合には、上記の各種データは光学系の性能やCCD12の感度特性といった撮像装置全体としての特性の影響を大きく受けるため、回路の設計段階から固定値を決定しておくことは困難である。また、これらのデータを完全な固定データとして設定しておくと、光学系の変更等による該装置全体としての特性変更に対して柔軟に対応することができない。
In each of the above-described embodiments, the relationship data between the compression code amount prediction index value and the file size used in the compression
このような状況を考慮し、圧縮係数制御回路17で使用するデータを、通信手段により外部から書き換え可能とする実施の形態4による撮像装置を説明する。
Considering such a situation, an image pickup apparatus according to
第6図は、この発明の実施の形態4による撮像装置の構成を示すブロック図である。第2図に示したものと同一あるいは相当する部分に同じ符号を使用し、その説明を省略する。24は圧縮係数制御回路17で使用する圧縮符号量予測指標値とファイルサイズの関係性データや、補正係数テーブルのデータを格納するためのデータテーブルである。
FIG. 6 is a block diagram showing a configuration of an image pickup apparatus according to
このデータテーブル24は、外部との通信機能を有し、例えばシリアル通信等を用いて、後述する自ら備えるメモリに記憶保持している各データの設定値を、自由に書き換えることができるものである。 The data table 24 has a communication function with the outside and can freely rewrite the setting values of each data stored and held in a memory provided later, for example, using serial communication or the like. .
また、データテーブル24は、撮像装置全体の設定がリセットされたり、電源切断後再投入されたりした場合でも記憶している各データの設定値が保存される不揮発性メモリを備える。 Further, the data table 24 includes a nonvolatile memory in which setting values of each stored data are saved even when the settings of the entire imaging apparatus are reset or the power is turned off and then on again.
次に動作について説明する。 Next, the operation will be described.
実施の形態3による撮像装置は、実施の形態1による撮像装置にデータテーブル24を備えたもので、その他は同様に構成され、動作も同様である。前述のようにデータテーブル24は、外部とシリアル通信を行う通信手段と各種データを記憶保存する不揮発性のメモリとを備えたもので、予め、例えば圧縮係数制御回路17で使用する圧縮符号量予測指標値とファイルサイズの関係性データや、補正係数テーブルのデータ等をメモリに記憶させておく。外部からデータの設定値を変更するように指示され、変更するデータが送られてきたとき、データテーブル24は、記憶保存しているデータの設定値を、この外部から送られてきたものに書き換える。その他の動作は、実施の形態1で説明したものと同様で、その説明を省略する。
The imaging apparatus according to the third embodiment includes the data table 24 in the imaging apparatus according to the first embodiment, and the other configuration is the same and the operation is the same. As described above, the data table 24 includes communication means for performing serial communication with the outside and a non-volatile memory for storing and saving various data. For example, the compression code amount prediction used in the compression
以上のように、実施の形態4によれば、外部との通信により自由に圧縮係数制御回路17で使用する各種データを書き換え可能としたので、レンズ11の特性やCCD12の感度特性が変更されても、圧縮係数制御のために使用する各種データを変更することができるため、柔軟に該装置の構成の変更に対応することが可能になる効果がある。
As described above, according to the fourth embodiment, since various data used in the compression
以上のように、この発明に係る撮像装置は、撮像動作が指示された後すぐに画像の圧縮、記録動作を行い、シャッター操作のレスポンスが素早い撮像装置を実施するのに適している。 As described above, the imaging apparatus according to the present invention is suitable for implementing an imaging apparatus that performs an image compression and recording operation immediately after an imaging operation is instructed and has a quick response to a shutter operation.
Claims (1)
前記固体撮像素子より得られた映像信号から圧縮時の符号量を予測するための指標値を抽出するとともに、複数のフレームにわたって算出した指標値を記憶しておき、撮像フレーム間での指標値の変化量によって指標値に補正を加える指標値算出手段と、
前記指標値算出手段によって求められた指標値に基づいて前記データ圧縮手段で使用する圧縮係数を決定する圧縮係数制御手段とを備え、
前記圧縮係数制御手段は、撮像前の撮像画像確認動作時に前記指標値算出手段が求めた指標値を用い、撮像動作時には圧縮係数を決定していることを特徴とする撮像装置。 In an imaging apparatus comprising a solid-state imaging device and data compression means for compressing a video signal obtained from the solid-state imaging device,
An index value for predicting the code amount at the time of compression is extracted from the video signal obtained from the solid-state imaging device, and the index value calculated over a plurality of frames is stored, and the index value between the imaging frames is stored. Index value calculation means for correcting the index value according to the amount of change;
Compression coefficient control means for determining a compression coefficient to be used in the data compression means based on the index value obtained by the index value calculation means,
The imaging apparatus according to claim 1, wherein the compression coefficient control means uses the index value obtained by the index value calculation means during a captured image confirmation operation before imaging, and determines a compression coefficient during the imaging operation.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005363807A JP4233562B2 (en) | 2005-12-16 | 2005-12-16 | Imaging device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005363807A JP4233562B2 (en) | 2005-12-16 | 2005-12-16 | Imaging device |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005500455A Division JP3795516B2 (en) | 2003-09-30 | 2003-09-30 | Imaging apparatus and imaging method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006129522A JP2006129522A (en) | 2006-05-18 |
JP4233562B2 true JP4233562B2 (en) | 2009-03-04 |
Family
ID=36723614
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005363807A Expired - Fee Related JP4233562B2 (en) | 2005-12-16 | 2005-12-16 | Imaging device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4233562B2 (en) |
-
2005
- 2005-12-16 JP JP2005363807A patent/JP4233562B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2006129522A (en) | 2006-05-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7136100B1 (en) | Electronic still camera capable of removing noise component in image data and signal processing method thereof | |
JP4560422B2 (en) | Imaging apparatus and control method thereof | |
KR101477537B1 (en) | Digital camera for supporting overriding mode and the controlling method thereof | |
CN101282421B (en) | Image pickup apparatus and control method thereof | |
JP4769567B2 (en) | IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, COMPUTER PROGRAM, AND STORAGE MEDIUM | |
JP2008113070A (en) | Imaging device and imaging method | |
JP2004328117A (en) | Digital camera and photographing control method | |
JP3795516B2 (en) | Imaging apparatus and imaging method | |
US7187408B2 (en) | Digital camera | |
US7671896B2 (en) | Image sensing apparatus | |
JP2006345388A (en) | Imaging apparatus | |
JP4595231B2 (en) | Electronic camera | |
JP2008017198A (en) | Device and method for calculating light source color, and photographing device | |
JP4233562B2 (en) | Imaging device | |
JP4241725B2 (en) | Imaging device | |
JP4529782B2 (en) | Imaging apparatus and signal processing method thereof | |
JPH07131721A (en) | Digital still camera | |
JP2004104222A (en) | Imaging unit | |
JP4635076B2 (en) | Solid-state imaging device | |
JP5164366B2 (en) | Imaging device, display device and program thereof | |
JP2007025129A (en) | Exposure setting method and device | |
JP2016201781A (en) | Image recording apparatus, image recording method, and imaging apparatus | |
JP3840157B2 (en) | Electronic still camera and operation control method thereof | |
JP2006166259A (en) | Digital camera and digital camera system, image compression method, and image processing method, programs and computer-readable recording medium recorded with them | |
JP2005223370A (en) | Solid-state image pickup device, image recording method thereof and image reproducing method thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071003 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080626 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080826 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081006 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081111 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081209 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111219 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4233562 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111219 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121219 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121219 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131219 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |