JPWO2014171198A1

JPWO2014171198A1 - Imaging apparatus and imaging control system

Info

Publication number: JPWO2014171198A1
Application number: JP2015512345A
Authority: JP
Inventors: 康裕山元
Original assignee: Ricoh Imaging Co Ltd
Current assignee: Ricoh Imaging Co Ltd
Priority date: 2013-04-19
Filing date: 2014-03-03
Publication date: 2017-02-16
Also published as: WO2014171198A1

Abstract

移動部材（例えばイメージセンサ）を光軸直交平面内で駆動して光学的なローパスフィルタ効果を得る場合とそうでない場合とにかかわらず、常に、好適な量子化処理ひいては符号化処理を施して、高詳細で優れた画像品質を実現する。量子化テーブル保持部は、入力画像データに含まれる高周波成分を除去しつつこれを高い圧縮率で非可逆圧縮するための高圧縮用量子化テーブルと、入力画像データに含まれる高周波成分を残しつつこれを低い圧縮率で非可逆圧縮するための低圧縮用量子化テーブルと、を保持する。量子化処理部は、光学的なローパスフィルタ効果を得るために移動部材を駆動している場合における入力画像データを、高圧縮用量子化テーブルを用いて非可逆圧縮する一方、光学的なローパスフィルタ効果を得るために移動部材を駆動していない場合における入力画像データを、低圧縮用量子化テーブルを用いて非可逆圧縮する。Regardless of whether or not an optical low-pass filter effect is obtained by driving a moving member (for example, an image sensor) in a plane orthogonal to the optical axis, a suitable quantization process and an encoding process are always performed. Realize high detail and excellent image quality. The quantization table holding unit removes high-frequency components included in the input image data while irreversibly compressing the high-frequency components at a high compression rate, and leaves the high-frequency components included in the input image data. A low compression quantization table for irreversibly compressing this at a low compression rate is held. The quantization processing unit irreversibly compresses input image data when a moving member is driven to obtain an optical low-pass filter effect using a high compression quantization table, while an optical low-pass filter. In order to obtain the effect, the input image data when the moving member is not driven is irreversibly compressed using the low compression quantization table.

Description

本発明は、移動部材（例えばイメージセンサ）を光軸直交平面内で駆動して光学的なローパスフィルタ効果を得るとともに、イメージセンサが取得した入力画像に対してJPEGに代表される符号化処理（圧縮処理）を施す撮影装置及び撮影制御システムに関する。 The present invention obtains an optical low-pass filter effect by driving a moving member (for example, an image sensor) in a plane orthogonal to the optical axis, and encodes an input image acquired by the image sensor (typically JPEG) ( The present invention relates to a photographing apparatus and a photographing control system that perform compression processing.

特許文献１には、被写体に本来存在しないモアレ縞や偽色などの発生を抑制するために、イメージセンサ（移動部材、振れ補正部材）を撮影光学系の光軸と直交する平面内で駆動して、被写体光束をイメージセンサの検出色の異なる複数の画素に入射させることで、光学的なローパスフィルタ効果を与える撮影装置が開示されている。 In Patent Document 1, an image sensor (moving member, shake correction member) is driven in a plane orthogonal to the optical axis of the imaging optical system in order to suppress the occurrence of moiré fringes or false colors that do not originally exist in the subject. Thus, there has been disclosed a photographing apparatus that provides an optical low-pass filter effect by causing a subject light beam to enter a plurality of pixels having different detection colors of an image sensor.

また撮影装置では、イメージセンサが取得した入力画像に対してJPEG（Joint Photographic Experts Group）符号化処理を施すことがある。JPEG符号化処理では、イメージセンサが取得した入力画像をＤＣＴ変換し、ＤＣＴ変換後の入力画像を非可逆圧縮し、非可逆圧縮後の入力画像を可逆圧縮により符号化する。ＤＣＴ変換後の入力画像を非可逆圧縮する処理は「量子化処理」と呼ばれ、入力画像の情報量を削減するものであり、JPEG符号化処理の中核を担っている。 Also, in the photographing apparatus, JPEG (Joint Photographic Experts Group) encoding processing may be performed on the input image acquired by the image sensor. In the JPEG encoding process, the input image acquired by the image sensor is DCT converted, the input image after DCT conversion is irreversibly compressed, and the input image after irreversible compression is encoded by lossless compression. The process of irreversibly compressing the input image after DCT conversion is called “quantization process”, which reduces the amount of information of the input image, and plays a central role in the JPEG encoding process.

ところが、イメージセンサを光軸直交平面内で駆動して光学的なローパスフィルタ効果を得る場合とそうでない場合とでは、撮影画像に含まれる空間周波数成分が劇的に変わることから、好適な量子化処理ひいては符号化処理を施すのが困難である。その結果、撮影画像中に高周波成分がランダムノイズとして残る、あるいは撮影画像中の高周波成分を過剰に除去して詳細度が低下するといった不具合が生じてしまう。 However, since the spatial frequency component contained in the captured image changes dramatically depending on whether the image sensor is driven in the plane orthogonal to the optical axis to obtain the optical low-pass filter effect or not, suitable quantization is performed. It is difficult to perform the process and the encoding process. As a result, the high-frequency component remains as random noise in the captured image, or the high-frequency component in the captured image is excessively removed to reduce the detail.

特開２００８−３５２４１号公報JP 2008-35241 A

本発明は、以上の問題意識に基づいて完成されたものであり、移動部材（例えばイメージセンサ）を光軸直交平面内で駆動して光学的なローパスフィルタ効果を得る場合とそうでない場合とにかかわらず、常に、好適な量子化処理ひいては符号化処理を施して、高詳細で優れた画像品質を実現することができる撮影装置及び撮影制御システムを得ることを目的とする。 The present invention has been completed on the basis of the above problem awareness, and when the moving member (for example, an image sensor) is driven in the plane orthogonal to the optical axis to obtain an optical low-pass filter effect and when it is not. Regardless, it is an object of the present invention to obtain a photographing apparatus and a photographing control system capable of realizing high-detail and excellent image quality by always performing a suitable quantization process and thus a coding process.

本発明の撮影装置は、撮影光学系を通った被写体光束により形成された被写体像を露光して、電気的な画素信号に変換することで、入力画像データを取得するイメージセンサ；前記撮影光学系を含む被写体像を結像させる光学要素の少なくとも一部をなすレンズと前記イメージセンサの少なくとも一方を移動部材とし、この移動部材を前記撮影光学系の光軸と直交する平面内で駆動することにより、被写体光束を前記イメージセンサの検出色の異なる複数の画素に入射させて、光学的なローパスフィルタ効果を得る駆動部；前記入力画像データに含まれる高周波成分を除去しつつ前記入力画像データを高い圧縮率で非可逆圧縮するための高圧縮用量子化テーブルと、前記入力画像データに含まれる高周波成分を残しつつ前記入力画像データを低い圧縮率で非可逆圧縮するための低圧縮用量子化テーブルと、を保持する量子化テーブル保持部；及び光学的なローパスフィルタ効果を得るために前記駆動部によって前記移動部材を光軸直交平面内で駆動している場合において、前記イメージセンサが前記入力画像データを取得したとき、この入力画像データを、前記量子化テーブル保持部が保持する前記高圧縮用量子化テーブルを用いて非可逆圧縮する一方、光学的なローパスフィルタ効果を得るために前記駆動部によって前記移動部材を光軸直交平面内で駆動していない場合において、前記イメージセンサが前記入力画像データを取得したとき、この入力画像データを、前記量子化テーブル保持部が保持する前記低圧縮用量子化テーブルを用いて非可逆圧縮する量子化処理部；を備えることを特徴としている。 An image sensor for acquiring input image data by exposing a subject image formed by a subject light flux that has passed through a photographing optical system and converting it into an electrical pixel signal; And at least one of a lens that forms at least a part of an optical element that forms a subject image including the image sensor and a moving member, and the moving member is driven in a plane orthogonal to the optical axis of the photographing optical system. A driving unit that makes a subject luminous flux enter a plurality of pixels having different detection colors of the image sensor to obtain an optical low-pass filter effect; the input image data is increased while removing high-frequency components contained in the input image data A high compression quantization table for irreversible compression at a compression rate, and the input image data while leaving high frequency components included in the input image data A low compression quantization table for irreversibly compressing at a high compression rate; and a quantization table holding unit for holding; and an optical axis orthogonal plane by the drive unit to obtain an optical low-pass filter effect When the image sensor acquires the input image data, the input image data is irreversibly compressed using the high compression quantization table held by the quantization table holding unit. On the other hand, when the image sensor acquires the input image data in the case where the moving member is not driven in the optical axis orthogonal plane by the driving unit in order to obtain an optical low-pass filter effect, A quantization processing unit that irreversibly compresses data using the low compression quantization table held by the quantization table holding unit; It is characterized in that.

ここで、「高い圧縮率（高圧縮用量子化テーブル）」と「低い圧縮率（低圧縮用量子化テーブル）」の文言は、両圧縮率を比べたときの相対的な尺度として用いているものであり、両圧縮率の絶対的な評価値をもって「高い圧縮率（高圧縮用量子化テーブル）」と「低い圧縮率（低圧縮用量子化テーブル）」を規定（区分け）することを意図しているものではない。 Here, the terms “high compression ratio (high compression quantization table)” and “low compression ratio (low compression quantization table)” are used as relative measures when comparing both compression ratios. It is intended to specify (partition) “high compression ratio (high compression quantization table)” and “low compression ratio (low compression quantization table)” with absolute evaluation values of both compression ratios. It is not what you are doing.

本発明の撮影装置は、前記イメージセンサが取得した入力画像データをＤＣＴ変換するＤＣＴ変換部と、前記ＤＣＴ変換部がＤＣＴ変換した後に前記量子化処理部が非可逆圧縮した入力画像データを可逆圧縮により符号化する符号化部と、をさらに備えることができる。 The imaging apparatus according to the present invention includes a DCT conversion unit that performs DCT conversion on input image data acquired by the image sensor, and lossless compression of input image data that has been irreversibly compressed by the quantization processing unit after the DCT conversion unit performs DCT conversion. And an encoding unit that performs encoding according to the above.

本発明の撮影装置は、前記符号化部が符号化した入力画像データのファイルサイズを固定長符号に調整する固定長符号化部をさらに備えることができる。 The photographing apparatus of the present invention can further include a fixed length encoding unit that adjusts the file size of the input image data encoded by the encoding unit to a fixed length code.

前記固定長符号化部は、前記符号化部が符号化した入力画像データの任意の点をサンプリングデータとして抽出するステップと、抽出したサンプリングデータの総和が所望のサイズ以下であるか否かを判定するステップと、抽出したサンプリングデータの総和が所望のサイズ以下でないと判定したとき、前記高圧縮用量子化テーブルまたは前記低圧縮用量子化テーブルの各画素ブロックの要素を１ずつインクリメントした上で、前記量子化処理部による量子化処理と前記符号化部による符号化処理を実行させた後に、再度、抽出したサンプリングデータの総和が所望のサイズ以下であるか否かを判定するステップと、抽出したサンプリングデータの総和が所望のサイズ以下であると判定したときに処理を終了して、前記符号化部が符号化した入力画像データのファイルサイズを固定長符号に調整するステップと、を実行することができる。 The fixed-length encoding unit extracts any point of the input image data encoded by the encoding unit as sampling data, and determines whether or not the sum of the extracted sampling data is equal to or smaller than a desired size. And determining that the sum of the extracted sampling data is not less than or equal to a desired size, incrementing the element of each pixel block of the high compression quantization table or the low compression quantization table by one, After executing the quantization processing by the quantization processing unit and the encoding processing by the encoding unit, the step of determining again whether or not the total of the extracted sampling data is less than or equal to a desired size, and extracted When it is determined that the total sum of the sampling data is equal to or smaller than the desired size, the process is terminated and the encoding unit encodes And adjusting the file size of the force image data into fixed-length codes can be performed.

前記所望のサイズは、前記量子化テーブルが量子化処理に当たって前記高圧縮用量子化テーブルと前記低圧縮用量子化テーブルのいずれを用いているかに応じて変動するように設定することができる。 The desired size can be set so as to vary depending on whether the quantization table is using the high compression quantization table or the low compression quantization table in the quantization process.

本発明の撮影装置は、前記符号化部が符号化した入力画像データのファイルサイズを調整することなく可変長符号として出力する可変長符号化部をさらに備えることができる。 The imaging apparatus of the present invention can further include a variable length encoding unit that outputs the variable length code without adjusting the file size of the input image data encoded by the encoding unit.

前記符号化部は、前記量子化処理部が非可逆圧縮した入力画像データをハフマン符号によって符号化するエントロピー符号化部から構成することができる。 The encoding unit may include an entropy encoding unit that encodes input image data that has been irreversibly compressed by the quantization processing unit using a Huffman code.

前記駆動部は、前記移動部材の駆動範囲ならびに光学的なローパスフィルタ効果を段階的に切り替えることができ、前記量子化テーブル保持部は、前記駆動部が段階的に切り替える前記移動部材の駆動範囲ならびに光学的なローパスフィルタ効果のそれぞれに対応させて、複数種類の高圧縮用量子化テーブルを保持することができる。 The driving unit can switch the driving range of the moving member and the optical low-pass filter effect in stages, and the quantization table holding unit can change the driving range of the moving member switched by the driving unit and A plurality of types of high compression quantization tables can be held corresponding to each of the optical low-pass filter effects.

本発明の撮影制御システムは、撮影光学系を通った被写体光束により形成された被写体像を露光して、電気的な画素信号に変換することで、入力画像データを取得するイメージセンサ；前記撮影光学系を含む被写体像を結像させる光学要素の少なくとも一部をなすレンズと前記イメージセンサの少なくとも一方を移動部材とし、この移動部材を前記撮影光学系の光軸と直交する平面内で駆動することにより、被写体光束を前記イメージセンサの検出色の異なる複数の画素に入射させて、光学的なローパスフィルタ効果を得る駆動部；前記入力画像データに含まれる高周波成分を除去しつつ前記入力画像データを高い圧縮率で非可逆圧縮するための高圧縮用量子化テーブルと、前記入力画像データに含まれる高周波成分を残しつつ前記入力画像データを低い圧縮率で非可逆圧縮するための低圧縮用量子化テーブルと、を保持する量子化テーブル保持部；及び光学的なローパスフィルタ効果を得るために前記駆動部によって前記移動部材を光軸直交平面内で駆動している場合において、前記イメージセンサが前記入力画像データを取得したとき、この入力画像データを、前記量子化テーブル保持部が保持する前記高圧縮用量子化テーブルを用いて非可逆圧縮する一方、光学的なローパスフィルタ効果を得るために前記駆動部によって前記移動部材を光軸直交平面内で駆動していない場合において、前記イメージセンサが前記入力画像データを取得したとき、この入力画像データを、前記量子化テーブル保持部が保持する前記低圧縮用量子化テーブルを用いて非可逆圧縮する量子化処理部；を備えることを特徴としている。 An imaging control system of the present invention is an image sensor that acquires input image data by exposing a subject image formed by a subject light flux that has passed through a photographing optical system and converting it into an electrical pixel signal; A lens that forms at least a part of an optical element that forms a subject image including a system and at least one of the image sensor as a moving member, and the moving member is driven in a plane orthogonal to the optical axis of the photographing optical system. By driving the subject luminous flux into a plurality of pixels having different detection colors of the image sensor to obtain an optical low-pass filter effect; removing the high frequency component contained in the input image data, the input image data A high-compression quantization table for irreversible compression at a high compression rate, and the input image while leaving a high-frequency component included in the input image data A low-compression quantization table for irreversibly compressing the data at a low compression rate; and a quantization table holding unit for holding the optical data; In the case of driving in an axis orthogonal plane, when the image sensor acquires the input image data, the input image data is obtained using the high compression quantization table held by the quantization table holding unit. While irreversibly compressing, when the moving member is not driven in the optical axis orthogonal plane by the drive unit to obtain an optical low-pass filter effect, when the image sensor acquires the input image data, A quantization processing unit that irreversibly compresses this input image data using the low compression quantization table held by the quantization table holding unit It is characterized in that it comprises.

本発明によれば、移動部材（例えばイメージセンサ）を光軸直交平面内で駆動して光学的なローパスフィルタ効果を得る場合とそうでない場合とにかかわらず、常に、好適な量子化処理ひいては符号化処理を施して、高詳細で優れた画像品質を実現することができる撮影装置及び撮影制御システムが得られる。 According to the present invention, regardless of whether or not an optical low-pass filter effect is obtained by driving a moving member (for example, an image sensor) in a plane orthogonal to the optical axis, a suitable quantization process and code are always obtained. An imaging device and an imaging control system that can realize high-detail and excellent image quality can be obtained.

本発明の第１実施形態に係るデジタルカメラ（撮影装置）の要部構成を示すブロック図である。1 is a block diagram illustrating a main configuration of a digital camera (photographing apparatus) according to a first embodiment of the present invention. 本発明の第１実施形態に係るデジタルカメラ（撮影装置）の手振れ補正装置（イメージセンサ駆動部）の要部構成を示すブロック図である。It is a block diagram which shows the principal part structure of the camera-shake correction apparatus (image sensor drive part) of the digital camera (imaging apparatus) which concerns on 1st Embodiment of this invention. 本発明の第１実施形態に係るデジタルカメラ（撮影装置）の手振れ補正装置（イメージセンサ駆動部）の構成を示す側面図である。1 is a side view illustrating a configuration of a camera shake correction device (image sensor driving unit) of a digital camera (imaging device) according to a first embodiment of the present invention. 図４（Ａ）、（Ｂ）は所定軌跡を描くようにイメージセンサを駆動することで光学的なローパスフィルタ効果を与えるための動作を示す図であり、図４（Ａ）は撮影光学系の光軸を中心とする回転対称な円形軌跡を描くようにイメージセンサを駆動する場合、図４（Ｂ）は撮影光学系の光軸を中心とする回転対称な正方形軌跡を描くようにイメージセンサを駆動する場合をそれぞれ示している。4A and 4B are diagrams showing an operation for giving an optical low-pass filter effect by driving the image sensor so as to draw a predetermined locus, and FIG. 4A is a diagram of the photographing optical system. When the image sensor is driven so as to draw a rotationally symmetric circular locus centering on the optical axis, FIG. 4B shows the image sensor being drawn so as to draw a rotationally symmetric square locus centering on the optical axis of the photographing optical system. Each case of driving is shown. 本発明の第１実施形態に係るデジタルカメラ（撮影装置）のＤＳＰ（画像処理部）の構成を示す機能ブロック図である。1 is a functional block diagram illustrating a configuration of a DSP (image processing unit) of a digital camera (imaging device) according to a first embodiment of the present invention. 図６（Ａ）は量子化テーブル保持部が保持する高圧縮用量子化テーブルを示す図であり、図６（Ｂ）は量子化テーブル保持部が保持する低圧縮用量子化テーブルを示す図である。6A is a diagram showing a high compression quantization table held by the quantization table holding unit, and FIG. 6B is a diagram showing a low compression quantization table held by the quantization table holding unit. is there. 図７（Ａ）はＤＣＴ変換部から量子化処理部に入力した入力画像データの画素値を示す図であり、図７（Ｂ）は図７（Ａ）の入力画像データを図６（Ａ）の高圧縮用量子化テーブルによって非可逆圧縮した結果を示す図であり、図７（Ｃ）は図７（Ａ）の入力画像データを図６（Ｂ）の低圧縮用量子化テーブルによって非可逆圧縮した結果を示す図である。FIG. 7A is a diagram illustrating pixel values of input image data input from the DCT transform unit to the quantization processing unit, and FIG. 7B is a diagram illustrating the input image data of FIG. FIG. 7C is a diagram showing a result of irreversible compression using the high compression quantization table of FIG. 7, and FIG. 7C shows the irreversible input image data of FIG. 7A using the low compression quantization table of FIG. It is a figure which shows the compression result. ＤＳＰ（画像処理部）による入力画像データの圧縮符号化処理を示すフローチャートである。It is a flowchart which shows the compression encoding process of the input image data by DSP (image processing part). 本発明の第２実施形態を示す図５に対応する機能ブロック図である。It is a functional block diagram corresponding to FIG. 5 which shows 2nd Embodiment of this invention. 本発明の第２実施形態を示す図８に対応するフローチャートである。It is a flowchart corresponding to FIG. 8 which shows 2nd Embodiment of this invention.

（第１実施形態）
図１ないし図８を参照して、本発明の第１実施形態に係るデジタルカメラ（撮影装置、撮影制御システム）１０について説明する。(First embodiment)
A digital camera (imaging apparatus, imaging control system) 10 according to a first embodiment of the present invention will be described with reference to FIGS.

図１に示すように、デジタルカメラ１０は、そのカメラボディ２０に着脱自在に装着された撮影レンズ１１を備えており、撮影レンズ１１は、被写体側（図の左側）から順に、撮影光学系としての撮影レンズ群（移動部材、振れ補正部材）Ｌ及び絞り１３を備え、カメラボディ２０は、シャッタ（撮影光学系）１５及びイメージセンサ（移動部材、振れ補正部材）１７を備えている。撮影レンズ群Ｌから入射し、絞り１３及び開放されたシャッタ１５を通った被写体光束による被写体像が、イメージセンサ１７（の受光面）上に形成され、露光される。イメージセンサ１７上に形成された被写体像は、マトリックス状に配置された多数の画素によって、電気的な画素信号に変換され、入力画像データ（入力画像信号）としてＤＳＰ（画像処理部）２１に出力される。ＤＳＰ（画像処理部）２１は、入力画像データに所定の圧縮符号化処理を施して、これを表示部材（ＬＣＤモニタ）２３に表示し、着脱可能なメモリカード２５に書き込む。ＤＳＰ（画像処理部）２１による入力画像データの圧縮符号化処理については後に詳細に説明する。ＤＳＰ２１は、電源スイッチ、レリーズスイッチなどの操作部材２７、後述するローパスフィルタ動作をオン／オフするスイッチ、ローパスフィルタ効果を調整する調整スイッチ、ローパスフィルタ動作時のイメージセンサの振動方向を選択する方向選択スイッチなどを含むローパスフィルタ操作部２９、絞り１３とシャッタ１５を駆動制御する絞り／シャッタ駆動回路３１、イメージセンサ振動回路（イメージセンサ駆動部、移動部材駆動部、振れ補正部材駆動部、駆動部）３３、及びカメラ機能に関するプログラム、ローパスフィルタに関するデータなどが書き込まれたメモリ３５と接続されている。撮影レンズ１１は、絞り１３の開口径（絞り値）情報、撮影レンズ群Ｌの解像力（ＭＴＦ）情報を記憶したメモリ１９を搭載していて、これらの情報がＤＳＰ２１に読み込まれる。撮影レンズ群Ｌは、通常、絞り１３を光軸方向に挟んで複数のレンズ群を有する。 As shown in FIG. 1, the digital camera 10 includes a photographic lens 11 that is detachably attached to the camera body 20, and the photographic lens 11 serves as a photographic optical system in order from the subject side (left side in the figure). The camera body 20 includes a shutter (shooting optical system) 15 and an image sensor (moving member, shake correction member) 17. A subject image is formed on the image sensor 17 (light-receiving surface thereof) by being incident on the image pickup lens group L, and passes through the aperture 13 and the opened shutter 15, and is exposed. The subject image formed on the image sensor 17 is converted into an electrical pixel signal by a large number of pixels arranged in a matrix, and is output to a DSP (image processing unit) 21 as input image data (input image signal). Is done. The DSP (image processing unit) 21 performs a predetermined compression encoding process on the input image data, displays it on a display member (LCD monitor) 23, and writes it in a removable memory card 25. The compression encoding process of input image data by the DSP (image processing unit) 21 will be described in detail later. The DSP 21 includes an operation member 27 such as a power switch and a release switch, a switch for turning on / off a low-pass filter operation described later, an adjustment switch for adjusting a low-pass filter effect, and a direction selection for selecting a vibration direction of the image sensor during the low-pass filter operation. Low-pass filter operation unit 29 including a switch, an aperture / shutter drive circuit 31 for driving and controlling the aperture 13 and the shutter 15, an image sensor vibration circuit (image sensor drive unit, moving member drive unit, shake correction member drive unit, drive unit) 33, and a memory 35 in which a program related to a camera function, data related to a low-pass filter, and the like are written. The photographic lens 11 includes a memory 19 that stores aperture diameter (aperture value) information of the diaphragm 13 and resolving power (MTF) information of the photographic lens group L, and these pieces of information are read into the DSP 21. The photographic lens group L usually has a plurality of lens groups with the diaphragm 13 sandwiched in the optical axis direction.

図１ないし図３に示すように、イメージセンサ１７は、撮影レンズ１１の光軸Ｚと直交する平面内でＸ軸方向とＹ軸方向（直交二方向）に移動可能に手ぶれ補正装置（イメージセンサ駆動部、移動部材駆動部、振れ補正部材駆動部、駆動部）４０に搭載されている。手ぶれ補正装置４０は、カメラボディ２０のシャーシなどの構造物に固定される固定支持基板４１と、イメージセンサ１７を固定した、固定支持基板４１に対してスライド可能な可動ステージ４２と、固定支持基板４１の可動ステージ４２との対向面に固定した磁石Ｍ１、Ｍ２、Ｍ３と、固定支持基板４１に可動ステージ４２を挟んで各磁石Ｍ１、Ｍ２、Ｍ３と対向させて固定した、各磁石Ｍ１、Ｍ２、Ｍ３との間に磁気回路を構成する磁性体からなるヨーク４３１、４３２、４３３と、可動ステージ４２に固定した、前記磁気回路の磁界内において電流を受けることにより駆動力を発生する駆動用コイルＣ１、Ｃ２、Ｃ３とを有し、イメージセンサ振動回路３３から駆動用コイルＣ１、Ｃ２、Ｃ３に交流電圧を印加することにより、固定支持基板４１に対して可動ステージ４２（イメージセンサ１７）が振動するようになっている。 As shown in FIGS. 1 to 3, the image sensor 17 is a camera shake correction device (image sensor) that is movable in the X-axis direction and the Y-axis direction (two orthogonal directions) in a plane orthogonal to the optical axis Z of the photographing lens 11. (Drive unit, moving member drive unit, shake correction member drive unit, drive unit) 40. The camera shake correction device 40 includes a fixed support substrate 41 fixed to a structure such as a chassis of the camera body 20, a movable stage 42 to which the image sensor 17 is fixed and slidable with respect to the fixed support substrate 41, and a fixed support substrate. Magnets M1, M2, and M3 fixed to the surface of 41 that opposes movable stage 42, and magnets M1 and M2 that are fixed opposite to each of magnets M1, M2, and M3 with movable stage 42 sandwiched between fixed support substrate 41. , M3 and yokes 431, 432, and 433 made of a magnetic material constituting a magnetic circuit, and a driving coil that is fixed to the movable stage 42 and generates a driving force by receiving a current in the magnetic field of the magnetic circuit. C1, C2, and C3, and by applying an AC voltage from the image sensor vibration circuit 33 to the driving coils C1, C2, and C3, the fixed support Movable stage 42 (image sensor 17) is adapted to vibrate the substrate 41.

この実施形態では、磁石Ｍ１、ヨーク４３１及び駆動用コイルＣ１からなる磁気駆動手段と、磁石Ｍ２、ヨーク４３２及び駆動用コイルＣ２からなる磁気駆動手段（２組の磁気駆動手段）とがイメージセンサ１７の長手方向（水平方向、Ｘ軸方向）に所定間隔で配置され、磁石Ｍ３、ヨーク４３３及び駆動用コイルＣ３からなる磁気駆動手段（１組の磁気駆動手段）が長手方向と直交する短手方向（鉛直（垂直）方向、Ｙ軸方向）に配置されている。イメージセンサ振動回路３３は、各駆動用コイルＣ１、Ｃ２及びＣ３への電流を独立して制御するＹ軸駆動回路３３Ｙ１、３３Ｙ２及びＸ軸駆動回路３３Ｘを備えている。 In this embodiment, the image sensor 17 includes a magnetic drive unit including the magnet M1, the yoke 431, and the drive coil C1, and a magnetic drive unit (two sets of magnetic drive units) including the magnet M2, the yoke 432, and the drive coil C2. Are arranged at predetermined intervals in the longitudinal direction (horizontal direction, X-axis direction) of the magnetic drive means (a set of magnetic drive means) composed of the magnet M3, the yoke 433, and the drive coil C3. (Vertical (vertical) direction, Y-axis direction). The image sensor vibration circuit 33 includes Y-axis drive circuits 33Y1 and 33Y2 and an X-axis drive circuit 33X that independently control currents to the drive coils C1, C2, and C3.

さらに固定支持基板４１には、各駆動用コイルＣ１ないしＣ３の近傍（中央空間部）に、磁石Ｍ１、Ｍ２、Ｍ３の磁力を検知して可動ステージ４２の位置を検知するホールセンサＨ１、Ｈ２、Ｈ３が配置されている。ホールセンサＨ１、Ｈ２により可動ステージ４２のＹ軸方向位置及び傾き（回転）を検知し、ホールセンサＨ３により可動ステージ４２のＸ軸方向位置を検知する。ＤＳＰ２１は、ホールセンサＨ１、Ｈ２、Ｈ３の出力により可動ステージ４２の位置を検知しながらＹ軸駆動回路３３Ｙ１、３３Ｙ２及びＸ軸駆動回路３３Ｘにより各駆動用コイルＣ１ないしＣ３に駆動電流を流し、可動ステージ４２を所定の経路、軌跡及び速さ（周期）で移動させる。ＤＳＰ２１は、手ぶれ補正動作時に、図示しない角速度センサによりデジタル一眼レフカメラ１０のぶれを検出して、イメージセンサ１７に対して被写体像が相対移動しないようにイメージセンサ振動回路３３を介して手ぶれ補正装置４０の可動ステージ４２（イメージセンサ１７）をぶれ軽減駆動制御する。 Furthermore, on the fixed support substrate 41, Hall sensors H1, H2, which detect the position of the movable stage 42 by detecting the magnetic force of the magnets M1, M2, M3 in the vicinity (central space) of each of the driving coils C1 to C3. H3 is arranged. The hall sensors H1 and H2 detect the position and tilt (rotation) of the movable stage 42 in the Y-axis direction, and the hall sensor H3 detects the position of the movable stage 42 in the X-axis direction. The DSP 21 sends a drive current to each of the driving coils C1 to C3 by the Y-axis drive circuits 33Y1, 33Y2 and the X-axis drive circuit 33X while detecting the position of the movable stage 42 based on the outputs of the hall sensors H1, H2, and H3. The stage 42 is moved with a predetermined route, trajectory, and speed (cycle). The DSP 21 detects a shake of the digital single-lens reflex camera 10 with an angular velocity sensor (not shown) during a shake correction operation, and a shake correction device via the image sensor vibration circuit 33 so that the subject image does not move relative to the image sensor 17. Forty movable stages 42 (image sensor 17) are controlled to reduce vibration.

本実施形態のイメージセンサ振動回路３３及び手ぶれ補正装置４０は、撮影光学系の光軸Ｚと直交する平面内において所定軌跡を描くようにイメージセンサ１７を駆動して、被写体光束をイメージセンサ１７の複数の検出色の異なる画素に入射させることで、光学的なローパスフィルタ効果（以下、ＬＰＦ効果ということがある）を与えるイメージセンサ駆動部（移動部材駆動部、振れ補正部材駆動部、駆動部）を構成している。 The image sensor vibration circuit 33 and the camera shake correction device 40 according to the present embodiment drive the image sensor 17 so as to draw a predetermined locus in a plane orthogonal to the optical axis Z of the photographing optical system, so that the subject light flux is emitted from the image sensor 17. Image sensor driving unit (moving member driving unit, shake correction member driving unit, driving unit) that provides an optical low-pass filter effect (hereinafter sometimes referred to as an LPF effect) by being incident on a plurality of pixels having different detection colors. Is configured.

図４（Ａ）、（Ｂ）を参照して、イメージセンサ駆動部（イメージセンサ振動回路３３及び手ぶれ補正装置４０）が、所定軌跡を描くようにイメージセンサ１７を駆動して、該イメージセンサ１７によってＬＰＦ効果を与えるローパスフィルタ動作について説明する。同図において、イメージセンサ１７は、受光面にマトリックス状に所定の画素ピッチＰで配置された多数の画素１７ａを備え、各画素１７ａの前面にベイヤ配列のカラーフィルタＲ、Ｇ、Ｂのいずれかが配置されている。各画素１７ａは、前面のいずれかのカラーフィルタＲ、Ｇ、Ｂを透過して入射した被写体光線の色を検出、つまり、色成分（色帯域）の光を光電変換し、その強さ（輝度）に応じた電荷を蓄積する。 4A and 4B, the image sensor driving unit (the image sensor vibration circuit 33 and the camera shake correction device 40) drives the image sensor 17 to draw a predetermined locus, and the image sensor 17 The low-pass filter operation that gives the LPF effect will be described. In the figure, the image sensor 17 includes a large number of pixels 17a arranged in a matrix at a predetermined pixel pitch P on the light receiving surface, and any one of the color filters R, G, and B in a Bayer array on the front surface of each pixel 17a. Is arranged. Each pixel 17a detects the color of a subject light beam that has passed through one of the color filters R, G, and B on the front surface, that is, photoelectrically converts light of a color component (color band), and the intensity (luminance) ) Is stored.

図４（Ａ）は、イメージセンサ１７を、撮影光学系の光軸Ｚを中心とする回転対称な円形軌跡を描くように駆動する場合を示している。この円形軌跡は、イメージセンサ１７の画素ピッチＰの２^1/2／２倍を半径ｒとする円形の閉じた経路である。図４（Ｂ）は、イメージセンサ１７を、撮影光学系の光軸Ｚを中心とする回転対称な正方形軌跡を描くように駆動する場合を示している。この正方形軌跡は、イメージセンサ１７の画素ピッチＰを一辺とした正方形の閉じた経路である。図４（Ｂ）では、イメージセンサ１７を、画素１７ａの互いに直交する並び方向の一方（鉛直方向）と平行なＹ軸方向、他方（水平方向）と平行なＸ軸方向に１画素ピッチＰ単位で交互にかつ正方形経路となるように移動させている。FIG. 4A shows a case where the image sensor 17 is driven to draw a rotationally symmetric circular locus centering on the optical axis Z of the photographing optical system. This circular locus is a circular closed path having a radius r of 2 ^1/2 / 2 times the pixel pitch P of the image sensor 17. FIG. 4B shows a case where the image sensor 17 is driven so as to draw a rotationally symmetric square locus around the optical axis Z of the photographing optical system. This square locus is a square closed path with the pixel pitch P of the image sensor 17 as one side. In FIG. 4B, the image sensor 17 is arranged in units of one pixel pitch P in the Y-axis direction parallel to one (vertical direction) of the pixels 17a orthogonal to each other and in the X-axis direction parallel to the other (horizontal direction). Are alternately moved to form a square path.

図４（Ａ）、（Ｂ）のように、露光中にイメージセンサ１７を円形または正方形の所定軌跡を描くように駆動すると、各カラーフィルタＲ、Ｇ、Ｂ（画素１７ａ）の中央に入射した被写体光線（光束）が、４個のカラーフィルタＲ、Ｇ、Ｂ、Ｇに均等に入射するので、光学ローパスフィルタと同等の効果が得られる。つまり、どのカラーフィルタＲ、Ｇ、Ｂ、Ｇ（画素１７ａ）に入射した光線も、必ずその周辺のカラーフィルタＲ、Ｇ、Ｂ、Ｇ（画素１７ａ）に入射するので、恰も光学ローパスフィルタを光線が通過したのと同等の効果（ＬＰＦ効果）が得られる。 As shown in FIGS. 4A and 4B, when the image sensor 17 is driven so as to draw a circular or square predetermined locus during exposure, the light enters the center of each color filter R, G, B (pixel 17a). Since the subject light beam (light beam) is equally incident on the four color filters R, G, B, and G, the same effect as the optical low-pass filter can be obtained. That is, since light rays incident on any color filter R, G, B, G (pixel 17a) are always incident on the surrounding color filters R, G, B, G (pixel 17a), the optical low-pass filter is passed through the optical low-pass filter. An effect equivalent to that passed through (LPF effect) can be obtained.

さらに、イメージセンサ１７の駆動範囲を段階的に切り替える（円形軌跡の場合は半径ｒを異ならせ、正方形軌跡の場合は一辺の長さを異ならせる）ことで、イメージセンサ１７によるＬＰＦ効果の強弱を段階的に切り替えることができる。つまり、円形軌跡の半径ｒまたは正方形軌跡の一辺を長くする（被写体光線が入射するイメージセンサ１７の検出色の異なる画素１７ａ（カラーフィルタＲ、Ｇ、Ｂ、Ｇ）に入射する画素１７ａの範囲を拡大する）に連れてＬＰＦ効果が強くなり、一方、同半径ｒまたは一辺を短くする（被写体光線が入射するイメージセンサ１７の検出色の異なる画素１７ａ（カラーフィルタＲ、Ｇ、Ｂ、Ｇ）に入射する画素１７ａの範囲を縮小する）に連れてＬＰＦ効果が弱くなる。表１に示すように、本実施形態では、イメージセンサ１７の駆動範囲ならびにＬＰＦ効果を「ＯＦＦ」、「小」、「中」、「大」の４段階で切り替えることができる。イメージセンサ１７の駆動範囲ならびにＬＰＦ効果が「ＯＦＦ」とは、イメージセンサ１７を駆動することなく、従ってＬＰＦ効果が得られない状態を意味する。

Further, by switching the driving range of the image sensor 17 stepwise (in the case of a circular locus, the radius r is varied, and in the case of a square locus, the length of one side is varied), the intensity of the LPF effect by the image sensor 17 can be increased. It can be switched in stages. In other words, the radius r of the circular locus or one side of the square locus is lengthened (the range of the pixel 17a incident on the pixel 17a (color filter R, G, B, G) having a different detection color of the image sensor 17 on which the subject light ray is incident). The LPF effect becomes stronger as the magnification increases, while the same radius r or one side is shortened (to the pixels 17a (color filters R, G, B, G) having different detection colors of the image sensor 17 on which the subject light beam is incident). The LPF effect becomes weaker as the range of the incident pixel 17a is reduced. As shown in Table 1, in the present embodiment, the driving range of the image sensor 17 and the LPF effect can be switched in four stages of “OFF”, “small”, “medium”, and “large”. The driving range of the image sensor 17 and the LPF effect being “OFF” means that the image sensor 17 is not driven and therefore the LPF effect cannot be obtained.

イメージセンサ１７の駆動範囲ならびにＬＰＦ効果の切り替えは、例えば、ローパスフィルタ操作部２９の手動操作により行う態様、あるいはＤＳＰ２１が種々の撮影条件パラメータに基づいて自動で行う態様が可能であり、その態様には自由度がある。 The switching of the driving range of the image sensor 17 and the LPF effect can be performed, for example, by a manual operation of the low-pass filter operation unit 29 or by the DSP 21 automatically based on various imaging condition parameters. Has a degree of freedom.

続いて、図５〜図８を参照して、ＤＳＰ（画像処理部）２１の構成およびＤＳＰ（画像処理部）２１による入力画像データの圧縮符号化処理について詳細に説明する。本実施形態では、イメージセンサ１７から入力した入力画像データを８×８画素からなるブロックに分割し、各ブロックの画素をＤＣＴ（Discrete Cosine Transform）変換により空間周波数分布の係数に変換し、視覚に適用した閾値で量子化し、求まった量子化係数を統計的に求めたハフマンンテーブルにより符号化するJPEG（Joint Photographic Experts Group）符号化処理を適用している。 Next, the configuration of the DSP (image processing unit) 21 and the compression encoding processing of input image data by the DSP (image processing unit) 21 will be described in detail with reference to FIGS. In the present embodiment, the input image data input from the image sensor 17 is divided into blocks of 8 × 8 pixels, and the pixels of each block are converted into coefficients of the spatial frequency distribution by DCT (Discrete Cosine Transform) conversion. A JPEG (Joint Photographic Experts Group) encoding process is applied in which quantization is performed with the applied threshold value and the obtained quantization coefficient is encoded using a Huffman table obtained statistically.

図５に示すように、ＤＳＰ（画像処理部）２１は、ＤＣＴ変換部５０と、量子化処理部６０と、量子化テーブル保持部（Ｑテーブル保持部）６５と、エントロピー符号化部（ハフマン符号化部）７０と、固定長符号化部８０とを備えている。 As illustrated in FIG. 5, the DSP (image processing unit) 21 includes a DCT conversion unit 50, a quantization processing unit 60, a quantization table holding unit (Q table holding unit) 65, and an entropy coding unit (Huffman code). 70) and a fixed-length encoding unit 80.

ＤＣＴ変換部５０には、イメージセンサ１７から、輝度Ｙ及び色差Ｃｂ、色差Ｃｒごとに８×８画素のブロックを単位に分割され且つオフセット減算（−１２８）が施された入力画像データが入力する。ＤＣＴ変換部５０は、入力画像データの各ブロックに対してＤＣＴ変換処理を施すことで空間領域から周波数領域に変換する。 The DCT conversion unit 50 receives input image data that is divided into blocks of 8 × 8 pixels for each of the luminance Y, color difference Cb, and color difference Cr and subjected to offset subtraction (−128). . The DCT conversion unit 50 performs conversion from the spatial domain to the frequency domain by performing DCT conversion processing on each block of the input image data.

量子化処理部６０は、ＤＣＴ変換部５０によってＤＣＴ変換された入力画像データの画素値に対し、ＤＣＴ変換部５０と同じく８×８画素のブロック単位で量子化処理を施すことで非可逆圧縮する。量子化処理とは、８×８画素のブロック内の各画素に対する除算演算であり、除算に使用する係数の集合である８×８画素のブロックからなる量子化テーブル（Ｑテーブル）が、量子化テーブル保持部６５に保持されている。 The quantization processing unit 60 performs irreversible compression by subjecting the pixel values of the input image data DCT-transformed by the DCT conversion unit 50 to quantization processing in units of 8 × 8 pixel blocks as in the DCT conversion unit 50. . The quantization process is a division operation on each pixel in the 8 × 8 pixel block, and a quantization table (Q table) composed of an 8 × 8 pixel block, which is a set of coefficients used for division, is quantized. It is held by the table holding unit 65.

図６（Ａ）、（Ｂ）は、量子化テーブル保持部６５が保持する量子化テーブルを示している。同図において、横軸はＸ方向の空間周波数成分を示していて左側から右側に向かうに連れて周波数成分が高くなっていき、縦軸はＹ方向の空間周波数成分を示していて上側から下側に向かうに連れて周波数成分が高くなっていく。図６（Ａ）は、入力画像データに含まれる高周波成分を可及的に除去しつつ入力画像データを高い圧縮率で非可逆圧縮するための高圧縮用量子化テーブルであり、ＬＰＦ効果を得るためにイメージセンサ１７を駆動している場合に取得した入力画像を非可逆圧縮したときに、撮影画像中に高周波成分がランダムノイズとして残るのを効果的に防止することができる。図６（Ｂ）は、入力画像データに含まれる高周波成分を可及的に残しつつ入力画像データを低い圧縮率で非可逆圧縮するための低圧縮用量子化テーブルであり、ＬＰＦ効果を得るためにイメージセンサ１７を駆動していない場合に取得した入力画像を非可逆圧縮したときに、撮影画像中の高周波成分を過剰に除去して詳細度が低下するのを効果的に防止することができる。すなわち、量子化テーブル保持部６５は、イメージセンサ１７を光軸直交平面内で駆動してＬＰＦ効果を得る場合とそうでない場合に応じて、量子化処理部６０が量子化処理を施すのに最適な高圧縮用量子化テーブルと低圧縮用量子化テーブルを別々に保持している。 6A and 6B show the quantization tables held by the quantization table holding unit 65. FIG. In the figure, the horizontal axis indicates the spatial frequency component in the X direction, and the frequency component increases from the left side to the right side, and the vertical axis indicates the spatial frequency component in the Y direction. The frequency component becomes higher as it goes to. FIG. 6A shows a high compression quantization table for irreversibly compressing input image data at a high compression rate while removing as much as possible high frequency components contained in the input image data, and obtains the LPF effect. Therefore, when the input image acquired when the image sensor 17 is driven is irreversibly compressed, it is possible to effectively prevent high frequency components from remaining as random noise in the captured image. FIG. 6B is a low-compression quantization table for irreversibly compressing input image data at a low compression rate while leaving as much of the high-frequency component contained in the input image data as possible, in order to obtain the LPF effect. When the input image acquired when the image sensor 17 is not driven is irreversibly compressed, it is possible to effectively prevent a reduction in detail by excessively removing high-frequency components in the captured image. . That is, the quantization table holding unit 65 is optimal for the quantization processing unit 60 to perform the quantization processing depending on whether the image sensor 17 is driven in the plane orthogonal to the optical axis to obtain the LPF effect or not. A high compression quantization table and a low compression quantization table are held separately.

図７（Ａ）は、ＤＣＴ変換部５０から量子化処理部６０に入力した入力画像データの画素値を示しており、図７（Ｂ）は、図７（Ａ）の入力画像データを図６（Ａ）の高圧縮用量子化テーブルによって非可逆圧縮（量子化）した結果を示しており、図７（Ｃ）は、図７（Ａ）の入力画像データを図６（Ｂ）の低圧縮用量子化テーブルによって非可逆圧縮（量子化）した結果を示している。図７（Ｂ）に明らかなように、ＬＰＦ効果を得るためにイメージセンサ１７を駆動している場合に取得した入力画像を高圧縮用量子化テーブルによって非可逆圧縮することで、撮影画像中に高周波成分がランダムノイズとして残るのを効果的に防止することができている。図７（Ｃ）に明らかなように、ＬＰＦ効果を得るためにイメージセンサ１７を駆動していない場合に取得した入力画像を低圧縮用量子化テーブルによって非可逆圧縮することで、撮影画像中の高周波成分を過剰に除去して詳細度が低下するのを効果的に防止することができている。 FIG. 7A shows the pixel values of the input image data input from the DCT transform unit 50 to the quantization processing unit 60, and FIG. 7B shows the input image data of FIG. FIG. 7C shows the result of irreversible compression (quantization) using the high compression quantization table shown in FIG. 7A. FIG. 7C shows the input image data shown in FIG. The result of irreversible compression (quantization) by the quantization table is shown. As is apparent from FIG. 7B, the input image acquired when the image sensor 17 is driven to obtain the LPF effect is irreversibly compressed by the high compression quantization table, so that the captured image is displayed. High frequency components can be effectively prevented from remaining as random noise. As apparent from FIG. 7C, the input image acquired when the image sensor 17 is not driven to obtain the LPF effect is irreversibly compressed by the low compression quantization table, so that It is possible to effectively prevent a reduction in detail by excessively removing high frequency components.

ここで、図示は省略しているが、量子化テーブル保持部６５は、イメージセンサ駆動部（３３、４０）を介して段階的に切り替えるイメージセンサ１７の駆動範囲ならびにＬＰＦ効果のそれぞれに対応させて、複数種類の高圧縮用量子化テーブルを保持している。本実施形態では、イメージセンサ１７の駆動範囲ならびにＬＰＦ効果を「小」、「中」、「大」に切り替え可能になっているので、量子化テーブル保持部６５は、これらに対応させて、この順番に圧縮率が高くなる３種類の高圧縮用量子化テーブルを保持している。 Here, although not shown, the quantization table holding unit 65 corresponds to each of the driving range of the image sensor 17 and the LPF effect that are switched in stages via the image sensor driving unit (33, 40). A plurality of types of high compression quantization tables are held. In the present embodiment, the drive range of the image sensor 17 and the LPF effect can be switched between “small”, “medium”, and “large”, so the quantization table holding unit 65 corresponds to these, Three types of high-compression quantization tables that increase the compression rate in order are held.

エントロピー符号化部７０は、量子化処理部６０が量子化（非可逆圧縮）した入力画像を、ハフマン符号を用いた可逆圧縮によってエントロピー符号化する。量子化処理部６０によって量子化された入力画像データは８×８画素の２次元ブロック単位で構成されているため、左上からジグザグに１次元化され、エントロピー符号化（ハフマン符号化）される。 The entropy coding unit 70 entropy codes the input image quantized (lossy compression) by the quantization processing unit 60 by lossless compression using a Huffman code. Since the input image data quantized by the quantization processing unit 60 is configured in a two-dimensional block unit of 8 × 8 pixels, it is one-dimensionally zigzag from the upper left and is entropy encoded (Huffman encoded).

固定長符号化部８０は、エントロピー符号化部７０がエントロピー符号化した入力画像データのファイルサイズを固定長符号に調整する。より具体的に、固定長符号化部８０は、エントロピー符号化部７０がエントロピー符号化した入力画像データの任意の点（例えば５点）をサンプリングデータとして抽出し、このサンプリングデータの総和が所望のサイズ以下であるか否かを判定する。固定長符号化部８０は、サンプリングデータの総和が所望のサイズ以下であるときは、入力画像データのファイルサイズが固定長あるいはそれ以下であるので、処理を終了する。固定長符号化部８０は、サンプリングデータの総和が所望のサイズ以下でないときは、量子化テーブル保持部６５が保持する高圧縮用量子化テーブルまたは低圧縮用量子化テーブルの８×８画素の各ブロックの要素を１ずつインクリメントした上で、量子化処理部６０による量子化処理（非可逆圧縮）およびエントロピー符号化部７０によるエントロピー符号化処理（可逆圧縮）を実行させた後に、再度、サンプリングデータの総和が所望のサイズ以下であるか否かを判定する。固定長符号化部８０は、以上の処理をサンプリングデータの総和が所望のサイズ以下となるまで繰り返す。 The fixed length encoding unit 80 adjusts the file size of the input image data entropy encoded by the entropy encoding unit 70 to a fixed length code. More specifically, the fixed-length encoding unit 80 extracts arbitrary points (for example, 5 points) of the input image data entropy-encoded by the entropy encoding unit 70 as sampling data, and the total sum of the sampling data is desired. It is determined whether or not it is smaller than the size. When the sum of the sampling data is equal to or smaller than the desired size, the fixed length encoding unit 80 ends the process because the file size of the input image data is equal to or smaller than the fixed length. When the sum of the sampling data is not less than or equal to the desired size, the fixed length encoding unit 80 is configured to store each of 8 × 8 pixels of the high compression quantization table or the low compression quantization table held by the quantization table holding unit 65. After incrementing the block elements by one, the quantization processing unit 60 performs the quantization process (lossy compression) and the entropy coding unit 70 performs the entropy coding process (lossless compression), and then again the sampling data. It is determined whether or not the total sum is less than or equal to a desired size. The fixed-length encoding unit 80 repeats the above processing until the total sum of the sampling data is equal to or smaller than a desired size.

ここで、固定長符号化部８０は、ＬＰＦ効果を得るためにイメージセンサ１７を駆動している場合における入力画像データのファイルサイズの固定長（サンプリングデータの総和）を、ＬＰＦ効果を得るためにイメージセンサ１７を駆動していない場合における入力画像ファイルの固定長（サンプリングデータの総和）よりも短く（小さく）なるように設定している。 Here, the fixed length encoding unit 80 obtains the fixed length of the file size of the input image data (sum of sampling data) when the image sensor 17 is driven to obtain the LPF effect, in order to obtain the LPF effect. It is set to be shorter (smaller) than the fixed length of the input image file (the total sum of sampling data) when the image sensor 17 is not driven.

図８は、ＤＳＰ（画像処理部）２１による入力画像データの圧縮符号化処理を示すフローチャートである。 FIG. 8 is a flowchart showing compression encoding processing of input image data by the DSP (image processing unit) 21.

まず、イメージセンサ１７による被写体像の撮像が行われると、イメージセンサ１７からＤＣＴ変換部５０に、輝度Ｙ及び色差Ｃｂ、色差Ｃｒごとに８×８画素のブロックを単位に分割され且つオフセット減算（−１２８）が施された入力画像データが入力する（ステップＳ１）。 First, when a subject image is picked up by the image sensor 17, the image sensor 17 divides the block by 8 × 8 pixels for each of the luminance Y, the color difference Cb, and the color difference Cr from the image sensor 17 and offset subtraction ( -128) is input (step S1).

次いで、ＤＣＴ変換部５０は、イメージセンサ１７から入力した入力画像データの各ブロックに対してＤＣＴ変換処理を施すことで空間領域から周波数領域に変換する（ステップＳ２）。 Next, the DCT conversion unit 50 performs a DCT conversion process on each block of the input image data input from the image sensor 17 to convert from the spatial domain to the frequency domain (step S2).

次いで、量子化処理部６０は、量子化テーブル保持部６５が保持する量子化テーブルを初期化した上で、量子化（非可逆圧縮）に使用する量子化テーブルを選択する（ステップＳ３）。より具体的に、量子化処理部６０は、イメージセンサ１７から入力した入力画像がＬＰＦ効果を得るためにイメージセンサ１７を駆動している場合に取得したものであるときは、図６（Ａ）に示す高圧縮用量子化テーブルを使用することを選択し、イメージセンサ１７から入力した入力画像がＬＰＦ効果を得るためにイメージセンサ１７を駆動していない場合に取得したものであるときは、図６（Ｂ）に示す低圧縮用量子化テーブルを使用することを選択する。 Next, the quantization processing unit 60 initializes the quantization table held by the quantization table holding unit 65 and then selects a quantization table used for quantization (irreversible compression) (step S3). More specifically, when the input image input from the image sensor 17 is acquired when the image sensor 17 is driven in order to obtain the LPF effect, the quantization processing unit 60 uses FIG. Is selected when the quantization table for high compression shown in FIG. 5 is used, and the input image input from the image sensor 17 is obtained when the image sensor 17 is not driven to obtain the LPF effect. It is selected to use the low compression quantization table shown in FIG.

次いで、量子化処理部６０は、選択した高圧縮用量子化テーブルまたは低圧縮用量子化テーブルを使用して、ＤＣＴ変換部５０によってＤＣＴ変換された入力画像データの画素値に対し、ＤＣＴ変換部５０と同じく８×８画素のブロック単位で量子化処理を施すことで非可逆圧縮する（ステップＳ４）。 Next, the quantization processing unit 60 uses the selected high compression quantization table or low compression quantization table to perform DCT conversion on the pixel values of the input image data DCT-converted by the DCT conversion unit 50. As in the case of 50, irreversible compression is performed by performing quantization processing in units of 8 × 8 pixel blocks (step S4).

次いで、エントロピー符号化部７０は、量子化処理部６０が量子化（非可逆圧縮）した入力画像を、ハフマン符号を用いた可逆圧縮によってエントロピー符号化する（ステップＳ５）。 Next, the entropy encoding unit 70 performs entropy encoding on the input image quantized (lossy compression) by the quantization processing unit 60 by lossless compression using a Huffman code (step S5).

次いで、固定長符号化部８０は、エントロピー符号化部７０がエントロピー符号化した入力画像データの任意の点（例えば５点）をサンプリングデータとして抽出し、このサンプリングデータの総和が所望のサイズ以下であるか否かを判定する（ステップＳ６）。固定長符号化部８０は、サンプリングデータの総和が所望のサイズ以下であるときは（ステップＳ６：ＹＥＳ）、入力画像データのファイルサイズが固定長あるいはそれ以下であるので、処理を終了する。固定長符号化部８０は、サンプリングデータの総和が所望のサイズ以下でないときは（ステップＳ６：ＮＯ）、量子化テーブル保持部６５が保持する高圧縮用量子化テーブルまたは低圧縮用量子化テーブルの８×８画素の各ブロックの要素を１ずつインクリメントした上で（ステップＳ７、ステップＳ８）、量子化処理部６０による量子化処理（非可逆圧縮）およびエントロピー符号化部７０によるエントロピー符号化処理（可逆圧縮）を実行させた後に（ステップＳ４、ステップＳ５）、再度、サンプリングデータの総和が所望のサイズ以下であるか否かを判定する（ステップＳ６）。固定長符号化部８０は、ステップＳ４、ステップＳ５、ステップＳ７、ステップＳ８の処理ループをサンプリングデータの総和が所望のサイズ以下となる（ステップＳ６：ＹＥＳ）まで繰り返す。固定長符号化部８０は、以上の処理により、エントロピー符号化部７０がエントロピー符号化した入力画像データのファイルサイズを固定長符号に調整する。 Next, the fixed-length encoding unit 80 extracts arbitrary points (for example, 5 points) of the input image data entropy-encoded by the entropy encoding unit 70 as sampling data, and the sum of the sampling data is less than a desired size. It is determined whether or not there is (step S6). If the total sum of the sampling data is less than or equal to the desired size (step S6: YES), the fixed length encoding unit 80 ends the process because the file size of the input image data is the fixed length or less. When the sum of the sampling data is not less than or equal to the desired size (step S6: NO), the fixed length encoding unit 80 stores the high compression quantization table or the low compression quantization table held by the quantization table holding unit 65. After incrementing the element of each block of 8 × 8 pixels by 1 (steps S7 and S8), the quantization processing by the quantization processing unit 60 (lossy compression) and the entropy coding processing by the entropy coding unit 70 ( After performing reversible compression (step S4, step S5), it is determined again whether the sum of the sampling data is equal to or smaller than a desired size (step S6). The fixed-length encoding unit 80 repeats the processing loop of step S4, step S5, step S7, and step S8 until the sum of the sampling data becomes equal to or smaller than a desired size (step S6: YES). The fixed-length encoding unit 80 adjusts the file size of the input image data entropy-encoded by the entropy encoding unit 70 to a fixed-length code through the above processing.

ここで、固定長符号化部８０は、ステップＳ６において、抽出したサンプリングデータの総和が所望のサイズ以下であるか否かを判定するのであるが、この「所望のサイズ」の閾値は、ステップＳ３において高圧縮用量子化テーブルと低圧縮用量子化テーブルのいずれを選択したのか（つまりＬＰＦ駆動の有無）に応じて変動するように設定されている。 Here, the fixed-length encoding unit 80 determines whether or not the total sum of the extracted sampling data is equal to or smaller than a desired size in step S6. The threshold of the “desired size” is determined in step S3. Are set so as to vary depending on whether the quantization table for high compression or the quantization table for low compression is selected (that is, whether or not LPF driving is performed).

（第２実施形態）
図９、図１０は本発明の第２実施形態を示している。第１実施形態と同一の構成要素および処理ステップには同一の符号を付してその説明を省略する。(Second Embodiment)
9 and 10 show a second embodiment of the present invention. The same components and processing steps as those in the first embodiment are denoted by the same reference numerals, and description thereof is omitted.

図９に示すように、第２実施形態のＤＳＰ（画像処理部）２１は、第１実施形態の固定長符号化部８０に代えて、可変長符号化部９０を備えている。この可変長符号化部９０は、エントロピー符号化部７０がエントロピー符号化した入力画像データのファイルサイズを調整することなく可変長符号として出力する。従って、第２実施形態では、図１０のフローチャートに示すように、図８（第１実施形態）のフローチャートにおけるステップＳ６、ステップＳ７、ステップＳ８の処理が存在せず、その代わりに、ステップＳ６'において、可変長符号化部９０が、エントロピー符号化部７０がエントロピー符号化した入力画像データのファイルサイズを調整することなく可変長符号として出力する。 As shown in FIG. 9, the DSP (image processing unit) 21 of the second embodiment includes a variable length encoding unit 90 instead of the fixed length encoding unit 80 of the first embodiment. The variable length encoding unit 90 outputs the variable length code without adjusting the file size of the input image data entropy encoded by the entropy encoding unit 70. Therefore, in the second embodiment, as shown in the flowchart of FIG. 10, the processes of step S6, step S7, and step S8 in the flowchart of FIG. 8 (first embodiment) do not exist, and instead, step S6 ′. The variable length encoding unit 90 outputs the variable length code as the variable length code without adjusting the file size of the input image data entropy encoded by the entropy encoding unit 70.

このように本実施形態のデジタルカメラ（撮影装置）１０は、量子化テーブル保持部６５が、入力画像データに含まれる高周波成分を可及的に除去しつつこれを高い圧縮率で非可逆圧縮するための高圧縮用量子化テーブルと、入力画像データに含まれる高周波成分を可及的に残しつつこれを低い圧縮率で非可逆圧縮するための低圧縮用量子化テーブルと、を保持している。また量子化処理部６０が、光学的なローパスフィルタ効果（ＬＰＦ効果）を得るためにイメージセンサ（移動部材）１７を駆動している場合における入力画像データを、高圧縮用量子化テーブルを用いて非可逆圧縮する一方、光学的なローパスフィルタ効果（ＬＰＦ効果）を得るためにイメージセンサ（移動部材）１７を駆動していない場合における入力画像データを、低圧縮用量子化テーブルを用いて非可逆圧縮する。これにより、イメージセンサ（移動部材）１７を光軸直交平面内で駆動して光学的なローパスフィルタ効果（ＬＰＦ効果）を得る場合とそうでない場合とにかかわらず、常に、好適な量子化処理ひいては符号化処理を施して、高詳細で優れた画像品質を実現することができる。 As described above, in the digital camera (imaging apparatus) 10 according to the present embodiment, the quantization table holding unit 65 irreversibly compresses the high-frequency component included in the input image data at a high compression rate while removing it as much as possible. And a low-compression quantization table for irreversibly compressing the high-frequency component included in the input image data at a low compression rate while leaving the high-frequency component included in the input image data as much as possible. . The input image data when the quantization processing unit 60 drives the image sensor (moving member) 17 to obtain an optical low-pass filter effect (LPF effect) is obtained using a high compression quantization table. While irreversibly compressing, the input image data when the image sensor (moving member) 17 is not driven to obtain an optical low-pass filter effect (LPF effect) is irreversibly using a low compression quantization table. Compress. Thereby, regardless of the case where the image sensor (moving member) 17 is driven in the plane orthogonal to the optical axis to obtain an optical low-pass filter effect (LPF effect) or not, a suitable quantization process is always performed. Encoding processing can be performed to achieve high detail and excellent image quality.

以上の実施形態では、ＤＳＰ（画像処理部）２１がJPEG符号化処理を実行する場合を例示して説明したが、本発明は、量子化処理（非可逆圧縮）を必須とする符号化方式である限りにおいて、JPEG符号化処理以外の符号化方式にも適用することができる。 In the above embodiment, the case where the DSP (image processing unit) 21 executes the JPEG encoding process has been described as an example. However, the present invention is an encoding method that requires quantization processing (irreversible compression). As long as it is, the present invention can also be applied to encoding methods other than JPEG encoding processing.

以上の実施形態では、ＬＰＦ駆動の有無に応じて、高圧縮用量子化テーブルと低圧縮用量子化テーブルのいずれか一方を選択使用する場合を例示して説明したが、撮影者の設定した圧縮率（例えば、「高」、「中」、「低」）を前後で複数に分け（例えば、「中のうち高い方」と「中のうち低い方」）、その中でＬＰＦ駆動の有無によりこれらの圧縮率を制御する態様も可能である。また圧縮率に応じて、ＬＰＦ駆動の強弱またはＯＮ／ＯＦＦを定める態様も可能である。 In the above embodiment, the case where one of the high compression quantization table and the low compression quantization table is selected and used according to the presence / absence of the LPF drive has been described as an example. However, the compression set by the photographer is described. The rate (for example, “high”, “medium”, “low”) is divided into a plurality of front and rear (for example, “higher of the middle” and “lower of the middle”), and depending on the presence or absence of the LPF drive A mode of controlling these compression ratios is also possible. Moreover, the aspect which determines the strength of LPF drive or ON / OFF according to a compression rate is also possible.

以上の実施形態では、イメージセンサ１７を「移動部材」として、このイメージセンサ１７を光軸直交平面内で駆動する態様を例示して説明したが、本発明はこれに限定されるものではない。例えば、撮影レンズ群（撮影光学系）Ｌを含む被写体像を結像させる光学要素の少なくとも一部をなすレンズを「移動部材」として、このレンズを撮影レンズ１１内に設けたボイスコイルモータ（駆動機構）によって光軸直交平面内で駆動する態様も可能である。あるいは、イメージセンサ１７と撮影レンズ（撮影光学系）Ｌの一部をなすレンズの双方を「移動部材」として、これらを光軸直交平面内で駆動する態様も可能である。いずれの態様であっても、イメージセンサ１７上への被写体像の結像位置を変位させて像振れを補正するとともに、被写体光束をイメージセンサ１７の検出色の異なる複数の画素に入射させて光学的なローパスフィルタ効果を得ることができる。 In the above embodiment, the image sensor 17 is used as the “moving member” and the image sensor 17 is driven in the plane orthogonal to the optical axis. However, the present invention is not limited to this. For example, a lens that forms at least a part of an optical element that forms a subject image including the photographing lens group (shooting optical system) L is a “moving member”, and this lens is provided in the photographing lens 11 (driving). A mode of driving in a plane orthogonal to the optical axis by a mechanism) is also possible. Alternatively, a mode in which both the image sensor 17 and the lens forming a part of the photographing lens (shooting optical system) L are “moving members” and these are driven in a plane orthogonal to the optical axis is possible. In either embodiment, the image blur is corrected by displacing the image formation position of the subject image on the image sensor 17, and the subject light flux is incident on a plurality of pixels having different detection colors of the image sensor 17 to optically. A typical low-pass filter effect can be obtained.

以上の実施形態では、イメージセンサ１７が描く所定軌跡を、撮影光学系の光軸Ｚを中心とする回転対称な円形軌跡または正方形軌跡とした場合を例示して説明したが、これに限定されず、例えば、撮影光学系の光軸Ｚと直交する平面内における直線往復移動軌跡としてもよい。 In the above embodiment, the case where the predetermined trajectory drawn by the image sensor 17 is a rotationally symmetric circular trajectory or square trajectory centered on the optical axis Z of the photographing optical system has been described as an example, but the present invention is not limited thereto. For example, it may be a linear reciprocating movement locus in a plane orthogonal to the optical axis Z of the photographing optical system.

本発明の撮影装置及び撮影制御システムは、デジタルカメラ等の撮影装置及び撮影制御システムに用いて好適である。 The photographing apparatus and photographing control system of the present invention are suitable for use in photographing apparatuses such as digital cameras and photographing control systems.

１０デジタルカメラ（撮影装置、撮影制御システム）
１１撮影レンズ
Ｌ撮影レンズ群（撮影光学系、移動部材、振れ補正部材）
１３絞り（撮影光学系）
１５シャッタ（撮影光学系）
１７イメージセンサ（移動部材、振れ補正部材）
１７ａ画素
１９メモリ
２０カメラボディ
２１ＤＳＰ（画像処理部）
２３表示部材（ＬＣＤモニタ）
２５メモリカード
２７操作部材
２９ローパスフィルタ操作部
３１絞り／シャッタ駆動回路
３３イメージセンサ振動回路（イメージセンサ駆動部、移動部材駆動部、振れ補正部材駆動部、駆動部）
３３ＸＸ軸駆動回路
３３Ｙ１３３Ｙ２Ｙ軸駆動回路
３５メモリ
４０手ぶれ補正装置（イメージセンサ駆動部、移動部材駆動部、振れ補正部材駆動部、駆動部）
４１固定支持基板
４２可動ステージ
４３１４３２４３３ヨーク
５０ＤＣＴ変換部
６０量子化処理部
６５量子化テーブル保持部（Ｑテーブル保持部）
７０エントロピー符号化部（ハフマン符号化部）
８０固定長符号化部
９０可変長符号化部
Ｃ１Ｃ２Ｃ３駆動用コイル
Ｈ１Ｈ２Ｈ３ホールセンサ
Ｍ１Ｍ２Ｍ３磁石
ＲＧＢカラーフィルタ10 Digital camera (shooting device, shooting control system)
11 Shooting lens L Shooting lens group (shooting optical system, moving member, shake correction member)
13 Aperture (Optical system)
15 Shutter (shooting optical system)
17 Image sensor (moving member, shake correction member)
17a pixel 19 memory 20 camera body 21 DSP (image processing unit)
23 Display member (LCD monitor)
25 Memory card 27 Operation member 29 Low-pass filter operation unit 31 Aperture / shutter drive circuit 33 Image sensor vibration circuit (image sensor drive unit, moving member drive unit, shake correction member drive unit, drive unit)
33X X-axis drive circuit 33Y1 33Y2 Y-axis drive circuit 35 Memory 40 Camera shake correction device (image sensor drive unit, moving member drive unit, shake correction member drive unit, drive unit)
41 fixed support substrate 42 movable stage 431 432 433 yoke 50 DCT conversion unit 60 quantization processing unit 65 quantization table holding unit (Q table holding unit)
70 Entropy encoding unit (Huffman encoding unit)
80 Fixed length coding unit 90 Variable length coding unit C1 C2 C3 Driving coil H1 H2 H3 Hall sensor M1 M2 M3 Magnet R GB Color filter

Claims

An image sensor that obtains input image data by exposing a subject image formed by a subject luminous flux that has passed through a photographing optical system and converting it into an electrical pixel signal;
At least one of a lens that forms at least a part of an optical element that forms a subject image including the photographing optical system and at least one of the image sensors is a moving member, and the moving member is in a plane orthogonal to the optical axis of the photographing optical system. A drive unit that obtains an optical low-pass filter effect by driving a subject luminous flux to a plurality of pixels having different detection colors of the image sensor by driving;
A high-compression quantization table for irreversibly compressing the input image data at a high compression rate while removing high-frequency components included in the input image data, and the input while leaving high-frequency components included in the input image data A low compression quantization table for irreversibly compressing image data at a low compression rate; and a quantization table holding unit for holding the optical data; and the driving unit to light the moving member to obtain an optical low-pass filter effect In the case of driving in an axis orthogonal plane, when the image sensor acquires the input image data, the input image data is obtained using the high compression quantization table held by the quantization table holding unit. While irreversibly compressing, in order to obtain an optical low-pass filter effect, the moving member is driven in the optical axis orthogonal plane by the drive unit In a case where the image sensor acquires the input image data in a case where there is not, a quantization processing unit that irreversibly compresses the input image data using the low compression quantization table held by the quantization table holding unit A photographing apparatus comprising:

In the photographing apparatus according to claim 1,
A DCT conversion unit for DCT converting the input image data acquired by the image sensor;
An imaging apparatus, further comprising: an encoding unit that encodes the input image data that has been irreversibly compressed by the quantization processing unit after the DCT conversion by the DCT conversion unit by lossless compression.

In the imaging device according to claim 2,
An imaging apparatus, further comprising: a fixed-length encoding unit that adjusts a file size of input image data encoded by the encoding unit to a fixed-length code.

In the imaging device according to claim 3,
The fixed-length encoding unit is
Extracting any point of the input image data encoded by the encoding unit as sampling data;
Determining whether the sum of the extracted sampling data is less than or equal to a desired size;
When it is determined that the total sum of the extracted sampling data is not less than a desired size, the quantization process is performed after incrementing the element of each pixel block of the high compression quantization table or the low compression quantization table by one. Determining whether the sum of the extracted sampling data is less than or equal to a desired size after performing the quantization process by the unit and the encoding process by the encoding unit;
The process is terminated when it is determined that the total sum of the extracted sampling data is not more than a desired size, and the file size of the input image data encoded by the encoding unit is adjusted to a fixed-length code. Shooting device to do.

In the imaging device according to claim 4,
The imaging apparatus in which the desired size is set so as to vary depending on whether the quantization table is using the high compression quantization table or the low compression quantization table in the quantization process.

In the imaging device according to claim 2,
An imaging apparatus, further comprising: a variable length encoding unit that outputs a variable length code without adjusting a file size of input image data encoded by the encoding unit.

In the imaging device according to any one of claims 2 to 6,
The encoding unit is an imaging apparatus including an entropy encoding unit that encodes input image data irreversibly compressed by the quantization processing unit using a Huffman code.

The photographing apparatus according to any one of claims 1 to 7,
The drive unit can switch the drive range of the moving member as well as the optical low-pass filter effect in stages,
The quantization table holding unit holds a plurality of types of quantization tables for high compression corresponding to the driving range of the moving member and the optical low-pass filter effect that the driving unit switches in stages. .

An image sensor that obtains input image data by exposing a subject image formed by a subject luminous flux that has passed through a photographing optical system and converting it into an electrical pixel signal;
At least one of a lens that forms at least a part of an optical element that forms a subject image including the photographing optical system and at least one of the image sensors is a moving member, and the moving member is in a plane orthogonal to the optical axis of the photographing optical system. A drive unit that obtains an optical low-pass filter effect by driving a subject luminous flux to a plurality of pixels having different detection colors of the image sensor by driving;
A high-compression quantization table for irreversibly compressing the input image data at a high compression rate while removing high-frequency components included in the input image data, and the input while leaving high-frequency components included in the input image data A low compression quantization table for irreversibly compressing image data at a low compression rate; and a quantization table holding unit for holding the optical data; and the driving unit to light the moving member to obtain an optical low-pass filter effect In the case of driving in an axis orthogonal plane, when the image sensor acquires the input image data, the input image data is obtained using the high compression quantization table held by the quantization table holding unit. While irreversibly compressing, in order to obtain an optical low-pass filter effect, the moving member is driven in the optical axis orthogonal plane by the drive unit In a case where the image sensor acquires the input image data in a case where there is not, a quantization processing unit that irreversibly compresses the input image data using the low compression quantization table held by the quantization table holding unit An imaging control system comprising: