KR101862643B1

KR101862643B1 - Control apparatus, image processing apparatus, lens apparatus, image processing system, control method and image processing method

Info

Publication number: KR101862643B1
Application number: KR1020150166897A
Authority: KR
Inventors: 쿠니히로 시라이
Original assignee: 캐논 가부시끼가이샤
Priority date: 2014-12-01
Filing date: 2015-11-27
Publication date: 2018-05-31
Also published as: CN105657248A; JP6573386B2; CN105657248B; KR20160065751A; JP2016110622A

Abstract

제어장치(103)는, 복수의 계수 데이터를 포함하는 제1의 데이터를 기억하는 기억부(103b)와, 광학계를 사용해서 촬영된 화상에 대하여 화상처리를 행하는 화상처리장치의 정보에 근거하여, 상기 기억부에 기억된 상기 제1의 데이터로부터, 해당 제1의 데이터보다도 데이터 양이 적은 제2의 데이터를 결정하는 결정부(103c)를 구비하고, 상기 광학계의 광학전달 함수는, 상기 복수의 계수 데이터를, 소정의 차수를 갖는 근사 함수의 계수로서 사용하여서 나타낼 수 있다.The control device 103 includes a storage section 103b for storing first data including a plurality of coefficient data and a storage section 103b for storing, based on the information of the image processing apparatus that performs image processing on the image photographed using the optical system, And a determination unit (103c) that determines second data having a data amount smaller than that of the first data from the first data stored in the storage unit, wherein the optical transfer function of the optical system The coefficient data can be represented by using the coefficient data as a coefficient of an approximate function having a predetermined order.

Description

TECHNICAL FIELD [0001] The present invention relates to a control apparatus, an image processing apparatus, a lens apparatus, an image processing system, a control method, and an image processing method.

본 발명은, 촬상 광학계에 의한 열화 화상을 고해상도와 고품위로 보정하는 화상처리 시스템에 관한 것이다.The present invention relates to an image processing system for correcting a deteriorated image by an imaging optical system with high resolution and high quality.

촬상 광학계를 통해 촬영된 피사체상은, 촬상 광학계에서 발생하는 회절이나 수차 등의 영향으로 인해, 1점으로부터 발생한 광을 다른 점에 수속시킬 수 없고, 미소한 확산을 가진다. 이러한 미소 확산된 분포를, 점상 강도 분포 함수(ＰＳＦ)라고 부른다. 이러한 촬상 광학계의 영향으로 인해, 촬영 화상은, 피사체상에 ＰＳＦ가 접어 넣어져 형성됨에 따라서, 화상이 흐릿해져 해상도가 열화된다.The subject image photographed through the imaging optical system can not converge light generated from one point to another point due to the influence of diffraction or aberration generated in the imaging optical system and has a small diffusion. This slightly diffused distribution is called a point-like intensity distribution function (PSF). Due to the influence of such an imaging optical system, the photographed image is blurred as the PSF is formed by being folded on the object, and the resolution is deteriorated.

최근, 촬영 화상을 전자 데이터로서 기억하는 것이 일반적이고, 화상처리에 의해 광학계에 의해 생긴 화상열화를 보정하는 기술이 제안되어 있다. 일본 특허 제4337463호에는, 화상열화를 보정하기 위한 필터 계수를 기억하여 화상처리를 행하는 화상처리방법이 개시되어 있다. 일본 특허공개 2013-33496호 공보에는, 화상열화를 보정하기 위한 소정의 근사 함수의 필터 계수를 기억하여 화상열화를 보상하는 화상처리방법이 개시되어 있다.In recent years, it has been common to store photographed images as electronic data, and a technique for correcting image degradation caused by an optical system by image processing has been proposed. Japanese Patent No. 4337463 discloses an image processing method of storing filter coefficients for correcting image deterioration and performing image processing. Japanese Patent Laying-Open No. 2013-33496 discloses an image processing method for storing filter coefficients of a predetermined approximate function for correcting image deterioration to compensate for image deterioration.

그렇지만, 일본 특허 제4337463호에 개시된 화상처리방법에서는, 촬영 화상의 열화 보정을 행할 때에, 화상회복 필터를 작성하기 위한 광학전달 함수의 정보(ＯＴＦ데이터)를 화소마다 기억할 필요가 있다. 상기 ＯＴＦ데이터는, 촬상 소자 및 촬상 광학계의 각각의 정보에 의거해 산출되므로, 방대한 양이 되고, 이에 따라 각 장치에 모든 ＯＴＦ데이터를 기억시키는 것은 어렵다. 일본 특허공개 2013-33496호 공보에 개시된 화상처리방법에서는, ＯＴＦ데이터를 삭감 가능하지만, 특정한 장치에 적절하게 근사를 행하는 경우도, 다른 장치에 있어서 양호한 보정효과가 얻어지지 않을 가능성이 있다.However, in the image processing method disclosed in Japanese Patent No. 4337463, when performing the deterioration correction of the photographed image, it is necessary to store the information (OTF data) of the optical transfer function for creating the image recovery filter for each pixel. Since the OTF data is calculated on the basis of the respective information of the image pickup element and the imaging optical system, it becomes a large amount, and it is difficult to store all the OTF data in each apparatus accordingly. In the image processing method disclosed in JP-A-2013-33496, it is possible to reduce OTF data, but even when approximation is appropriately performed for a specific apparatus, there is a possibility that a good correction effect can not be obtained in other apparatuses.

본 발명은, 화상회복 처리를 행하는 화상처리장치에 따라서 적절한 ＯＴＦ데이터를 제공 가능한 제어장치, 렌즈 장치, 화상처리 시스템 및 제어 방법을 제공한다.The present invention provides a control device, a lens device, an image processing system, and a control method capable of providing appropriate OTF data in accordance with an image processing apparatus that performs image restoration processing.

본 발명은, 화상회복 처리를 행하기 위해 적절한 ＯＴＦ데이터를 기억 가능한 화상처리장치, 화상처리 시스템 및 화상처리방법을 한층 더 제공한다.The present invention further provides an image processing apparatus, an image processing system, and an image processing method capable of storing appropriate OTF data for performing image restoration processing.

본 발명의 일측면으로서의 제어장치는, 복수의 계수 데이터를 포함하는 제1의 데이터를 기억하는 기억부와, 광학계를 사용해서 촬영된 화상에 대하여 화상처리를 행하는 화상처리장치의 정보에 근거하여, 상기 기억부에 기억된 상기 제1의 데이터로부터, 해당 제1의 데이터보다도 데이터양이 적은 제2의 데이터를 결정하는 결정부를 구비하고, 상기 광학계의 광학전달 함수는, 상기 복수의 계수 데이터를 소정의 차수를 갖는 근사 함수의 계수로서 사용하여서 나타낼 수 있다.A control device as one aspect of the present invention includes: a storage unit that stores first data including a plurality of coefficient data; and a control unit that, based on information of an image processing apparatus that performs image processing on an image photographed using the optical system, And a determination unit that determines second data having a data amount smaller than that of the first data from the first data stored in the storage unit, wherein the optical transfer function of the optical system is a function of transferring the plurality of coefficient data As the coefficient of the approximate function having the degree of the "

본 발명의 다른 측면으로서의 렌즈 장치는, 피사체상을 형성하는 광학계와, 상기 제어장치를 구비한다.A lens apparatus as another aspect of the present invention includes an optical system for forming a subject image and the control device.

본 발명의 다른 측면으로서의 화상처리 시스템은, 상기 제어장치와, 상기 제2의 데이터를 사용해서 화상회복 처리를 행하는 화상처리장치를 구비한다.An image processing system as another aspect of the present invention includes the control device and an image processing device that performs image restoration processing using the second data.

본 발명의 다른 측면으로서의 제어 방법은, 광학계를 사용해서 촬영된 화상에 대하여 화상처리를 행하는 화상처리장치의 정보를 입력하는 단계와, 상기 화상처리장치의 정보에 근거하여 기억부에 기억된, 복수의 계수 데이터를 포함하는 제1의 데이터로부터, 해당 제1의 데이터보다도 데이터 양이 적은 제2의 데이터를 결정하는 단계를 포함하고, 상기 광학계의 광학전달 함수는, 상기 복수의 계수 데이터를 소정의 차수를 갖는 근사 함수의 계수로서 사용하여서 나타낼 수 있다.According to another aspect of the present invention, there is provided a control method including: inputting information of an image processing apparatus that performs image processing on an image photographed using an optical system; And determining second data having a smaller data amount than the first data, from the first data including the coefficient data of the first coefficient data, wherein the optical transfer function of the optical system converts the plurality of coefficient data into a predetermined As a coefficient of an approximate function having a degree.

본 발명의 다른 측면으로서의 화상처리장치는, 복수의 계수 데이터를 포함하는 제1의 데이터를 받는 입력부와, 상기 제1의 데이터로부터, 해당 제1의 데이터보다도 데이터 양이 적은 제2의 데이터를 결정하는 결정부와, 상기 제2의 데이터를 사용하여서, 광학계를 사용해서 촬영된 화상에 대하여 화상처리를 행하는 처리부를 구비하고, 상기 광학계의 광학전달 함수는, 상기 복수의 계수 데이터를 소정의 차수를 갖는 근사 함수의 계수로서 사용하여서 나타낼 수 있다.An image processing apparatus according to another aspect of the present invention includes an input unit for receiving first data including a plurality of coefficient data, and an output unit for outputting, from the first data, second data having a smaller data amount than the first data And a processing unit for performing image processing on an image photographed using an optical system by using the second data, wherein the optical transfer function of the optical system is a function of converting the plurality of coefficient data into a predetermined degree As the coefficient of the approximate function having the function of the function.

본 발명의 다른 측면으로서의 화상처리 시스템은, 상기 화상처리장치와, 상기 제1의 데이터를 출력하는 제어장치를 구비한다.An image processing system as another aspect of the present invention includes the image processing apparatus and a control device for outputting the first data.

본 발명의 다른 측면으로서의 화상처리방법은, 복수의 계수 데이터를 포함하는 제1의 데이터를 받는 단계와, 상기 제1의 데이터로부터, 해당 제1의 데이터보다도 데이터 양이 적은 제2의 데이터를 결정하는 단계와, 상기 제2의 데이터를 사용하여, 광학계를 사용해서 촬영된 화상에 대하여 화상처리를 행하는 단계를 포함하고, 상기 광학계의 광학전달 함수는, 상기 복수의 계수 데이터를 소정의 차수를 갖는 근사 함수의 계수로서 사용하여서 나타낼 수 있다.An image processing method as another aspect of the present invention includes the steps of: receiving first data including a plurality of coefficient data; determining, from the first data, second data having a smaller data amount than the first data And performing image processing on an image photographed by using an optical system by using the second data, wherein the optical transfer function of the optical system is a function of converting the plurality of coefficient data into a plurality of coefficient data having a predetermined degree Can be represented by using as an approximate function coefficient.

본 발명의 또 다른 특징들 및 측면들은, 첨부도면을 참조하여 이하의 실시예들의 설명으로부터 명백해질 것이다.Further features and aspects of the present invention will become apparent from the following description of embodiments with reference to the accompanying drawings.

도 1a는, 제1실시예에 있어서의 화상처리 시스템의 구성도다.
도 1b는, 제1실시예에 있어서의 제어장치의 블록도다.
도 1c는, 제1실시예에 있어서의 화상처리장치의 블록도다.
도 2는, 제1실시예에 있어서의 ＯＴＦ데이터의 데이터 전송 처리를 나타내는 흐름도다.
도 3은, 제1실시예에 있어서의 접속된 디바이스(촬상 장치)와 최대 차수와의 관계를 나타내는 테이블의 일례다.
도 4는, 제2실시예에 있어서의 화상처리 시스템의 구성도다.
도 5는, 제2실시예에 있어서의 화상처리 시스템의 시퀀스 도다.
도 6a 내지 6d는, 제2실시예에 있어서의 ＯＴＦ데이터의 일례다.
도 7a 내지 7c는, 제2실시예에 있어서의 ＭＴＦ와 최대 게인을 나타내는 그래프다.
도 8a 내지 8d는, 제2실시예에 있어서의 개구 조리개에 따른 ＯＴＦ데이터의 일례다.
도 9a 및 9b는, 제2실시예에 있어서의 참조 테이블 및 최대 게인 테이블의 도면이다.1A is a configuration diagram of an image processing system according to the first embodiment.
Fig. 1B is a block diagram of the control device in the first embodiment. Fig.
1C is a block diagram of an image processing apparatus according to the first embodiment.
Fig. 2 is a flowchart showing data transfer processing of OTF data in the first embodiment.
3 is an example of a table showing the relationship between the connected device (image pickup device) and the maximum degree in the first embodiment.
4 is a configuration diagram of an image processing system in the second embodiment.
Fig. 5 is a sequence diagram of the image processing system in the second embodiment. Fig.
6A to 6D are examples of the OTF data in the second embodiment.
7A to 7C are graphs showing the MTF and the maximum gain in the second embodiment.
8A to 8D are examples of OTF data according to the aperture stop in the second embodiment.
9A and 9B are diagrams of a reference table and a maximum gain table in the second embodiment.

이하, 본 발명의 실시예에 대해서, 첨부도면을 참조하여 설명한다.Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings.

우선, 일반적인 화상회복 방법에 대해서 설명한다. 실제 공간(x, ｙ)상에서, 광학계에 의한 열화되지 않는 화상을 f(x, y), 점상 강도 분포 함수(ＰＳＦ)를 h(x, y), 열화된 화상을 g(x, y)이라고 하면, 이하의 식(1)을 만족한다.First, a general image recovery method will be described. (X, y), a point-like intensity distribution function (PSF) is denoted by h (x, y), and a degraded image is denoted by g (x, y) , The following expression (1) is satisfied.

g(x, y)＝∫∫f(X, Y)＊h(x-X, y-Y)ｄＸｄＹ …(1)g (x, y) =? f (X, Y) * h (x-X, y-Y) (One)

식(1)에 푸리에 변환을 실행하여 실제 공간(x, y)로부터 주파수 공간(u, v)으로 변환을 행하면, 이하의 식(2)를 만족한다.When the Fourier transform is performed on the equation (1) to convert from the actual space (x, y) to the frequency space (u, v), the following equation (2) is satisfied.

G(u, v)=F(u, v)＊H(u, v) …(2)G (u, v) = F (u, v) * H (u, v) (2)

식(2)에 있어서, F(u, v)은 f(x, y)의 푸리에 변환의 결과, G(u, v)은 g(x, y)의 푸리에 변환의 결과, H(u, v)은 h(x, y)의 푸리에 변환의 결과다. 식(2)에 따라, 이하의 식(3)이 만족한다.As a result of Fourier transform of f (x, y), F (u, v) is a result of Fourier transform of g (x, y) ) Is the result of the Fourier transform of h (x, y). According to the equation (2), the following equation (3) is satisfied.

F(u, v)=G(u, v)/H(u, v) …(3)F (u, v) = G (u, v) / H (u, v) (3)

식(3)은, 주파수 공간에서, 열화 화상g(x, y)의 푸리에 변환의 결과G(u, v)를 점상 강도 분포 함수(ＰＳＦ)인 ｈ(x, y)의 푸리에 변환의 결과 H(u, v)로 나누어서, 열화되지 않은 화상f(x, y)의 푸리에 변환 결과F(u, v)를 얻을 수 있는 것을 의미한다. 그러므로, F(u, v)에 푸리에 역변환을 실행함으로써, 열화되지 않은 화상f(x, y)을 얻을 수 있다.The equation (3) shows the result F (u, v) of the Fourier transform of the degraded image g (x, y) in the frequency space as a result H (x, y) of the Fourier transform h (u, v) to obtain the Fourier transform result F (u, v) of the non-degraded image f (x, y). Therefore, by performing Fourier inverse transform on F (u, v), an image f (x, y) which has not been degraded can be obtained.

그렇지만, 실제로, 이러한 처리를 행해서 열화되지 않은 화상f(x, y)을 얻으면, 촬상 소자에 의해 생긴 노이즈가 증폭하고, 이에 따라 양호한 화상을 얻을 수는 없다.However, in reality, when such an image f (x, y) obtained by performing such processing is obtained, the noise generated by the image pickup device is amplified, and thus a good image can not be obtained.

이 문제를 해결하기 위해서, 노이즈의 증폭을 억제하기 위한 화상회복 방법으로서, 이하의 식(4)로 나타내는 위너(Wiener) 필터W(u, v)를 사용하는 것이 알려져 있다.In order to solve this problem, it is known to use a Wiener filter W (u, v) expressed by the following equation (4) as an image recovery method for suppressing the amplification of noise.

1/H(u, v)＊(｜H(u, v)|²/(|H(u, v)|²+Γ)) …(4)1 / H (u, v) * (| H (u, v) | 2 / (| H (u, v) | 2 + Γ)) ... (4)

식(4)에 있어서, 기호 H(u, v)는 광학전달 함수(ＯＴＦ)이며, 기호 Γ는 노이즈의 증폭량을 감소하기 위한 정수다.In equation (4), the symbol H (u, v) is an optical transfer function (OTF), and the symbol Γ is an integer for reducing the amount of amplification of noise.

식(4)를, 촬상 광학계의 주파수정보 및 위상정보를 갖는 ＯＴＦ에 적산함으로써, 광학계의 회절이나 수차로 인해 발생하는 ＰＳＦ의 위상이 0가 되고, 주파수특성이 증폭됨에 따라서, 고해상도와 양호한 화상이 얻어질 수 있다. 식(4)를 효과적으로 사용하기 위해서는, 촬상 광학계의 정확한 ＯＴＦ정보를 얻을 필요가 있다. ＯＴＦ정보를 얻는 방법으로서, 촬상 광학계의 설계 값 정보가 이용 가능하면, ＯＴＦ정보는 그 설계 값 정보에 근거한 계산에 의해 얻어질 수 있다. 또는, ＯＴＦ정보는, 점광원을 촬영하고, 그 점상 강도 분포 함수(ＰＳＦ)에 푸리에 변환을 실행하여서 얻어질 수 있다. 일반적으로, 카메라에 사용된 촬상 광학계는, 그 광학성능(F값과 수차등)이 상높이에 따라 크게 변동한다. 이에 따라, 피사체상의 열화를 보정하기 위해서는, 식(4)를 직접 주파수 공간상에서의 일괄 계산할 수 없고, 대신에, 상높이마다 식(4)를 실제 공간상의 필터로 변환하여, 열화를 보정하는 처리를 행한다.By integrating the equation (4) into the OTF having the frequency information and the phase information of the imaging optical system, the phase of the PSF generated due to the diffraction or aberration of the optical system becomes zero, and as the frequency characteristic is amplified, Can be obtained. In order to effectively use the equation (4), it is necessary to obtain accurate OTF information of the imaging optical system. When the design value information of the imaging optical system is available as the method of obtaining the OTF information, the OTF information can be obtained by calculation based on the design value information. Alternatively, OTF information can be obtained by photographing a point light source and performing Fourier transform on the point intensity distribution function (PSF). Generally, in an imaging optical system used in a camera, its optical performance (F value and aberration) fluctuates largely depending on the image height. Thus, in order to correct the deterioration of the object, the equation (4) can not be directly calculated in the frequency space, and instead, the equation (4) is converted into a filter on the actual space for each image height, .

촬상 광학계에 의해 결상(형성)된 광학상(피사체상)은, 촬상 소자에 의해 전기적으로 샘플링된다. 원래 연속적인 값을 갖는 광학상이 이산적인 값으로 변환되므로, 광학상은, 주파수공간에 있어서, 샘플링 주파수의 주기의 주파수 신호를 갖는다. 이 주기성으로 인해, 주파수신호가 샘플링 주파수의 2분의 1을 초월해서 분포되어 있을 경우, 주파수신호가 겹침에 따라서, 정확한 신호를 재현할 수 없다. 이 샘플링 주파수의 2분의 1의 값을 나이퀴스트(Nyquist) 주파수라고 한다. 나이퀴스트 주파수는, ｆｎ=1/(2＊b)로 나타내고, 여기서 b는 촬상 소자의 화소 피치다.The optical image (object image) formed (formed) by the imaging optical system is electrically sampled by the imaging element. Since the optical image having the original continuous value is converted into the discrete value, the optical image has the frequency signal of the period of the sampling frequency in the frequency space. Due to this periodicity, when the frequency signal is distributed over one-half of the sampling frequency, the accurate signal can not be reproduced as the frequency signal overlaps. A value of one half of this sampling frequency is called a Nyquist frequency. The Nyquist frequency is represented by fn = 1 / (2 * b), where b is the pixel pitch of the image pickup device.

촬상 소자의 직전에 있어서의 광학상의 공간 주파수 특성은, 촬상 광학계의 ＯＴＦ로 나타낸다. 화상회복 처리를 행할 경우, 화상회복 필터의 1탭의 크기와 촬상 소자의 1화소의 크기를 일치시킬 필요가 있고, 또한, 촬상 소자의 개구특성도 반영시키는 것이 바람직하다. 전자는 ＯＴＦ를 촬상 소자의 나이퀴스트 주파수가 최대치인 공간주파수로 잘라내는 것에 해당하고, 후자는 촬상 소자에 의해 ＯＴＦ에 로우 패스 필터가 걸리는 것에 해당한다. 이 때문에, 화상회복 필터의 작성에 사용된 ＯＴＦ정보는, 촬상 광학계만으로는 유일하게 결정되지 않고, 촬상 소자에 의존한다.The spatial frequency characteristic of the optical image immediately before the image pickup element is represented by the OTF of the imaging optical system. It is desirable to match the size of one tap of the image recovery filter with the size of one pixel of the image pickup device and also to reflect the aperture characteristics of the image pickup device. The former corresponds to cutting the OTF to a spatial frequency at which the Nyquist frequency of the image pickup element is the maximum, and the latter corresponds to the case where the low-pass filter is applied to the OTF by the image pickup element. Therefore, the OTF information used for creating the image recovery filter is not solely determined by the imaging optical system alone, but depends on the imaging element.

(제1실시예)(Embodiment 1)

우선, 도 1a를 참조하여, 본 발명의 제1실시예에 있어서의 화상처리 시스템에 대해서 설명한다. 도 1a는, 본 실시예에 있어서의 화상처리 시스템의 구성도(전체도)다. 도 1a에 있어서, 참조부호 101은 촬상 광학계의 광학전달 함수(ＯＴＦ)를, 설계 값 또는 측정 값에 의거하여 산출해서 기억하는 정보처리장치다. 정보처리장치(101)는, 촬영 화상의 보정용의 광학전달 함수 데이터(ＯＴＦ데이터)를 제공하는 제공자에 의해 제공된다. 정보처리장치(101)에 의해 작성된 ＯＴＦ데이터는, 네트워크(102)상에서 관리될 수 있다.First, the image processing system according to the first embodiment of the present invention will be described with reference to FIG. 1A. Fig. 1A is a configuration diagram (overall view) of an image processing system in the present embodiment. 1A, reference numeral 101 denotes an information processing apparatus for calculating and storing an optical transfer function (OTF) of an imaging optical system based on a design value or a measured value. The information processing apparatus 101 is provided by a provider that provides optical transfer function data (OTF data) for correction of a shot image. OTF data created by the information processing apparatus 101 can be managed on the network 102. [

다음에, 정보처리장치(101)에 의해 작성된 ＯＴＦ데이터의 데이터 작성 방법에 대해서 상세히 설명한다. 본 실시예에서는, 촬상 광학계의 ＯＴＦ(설계 값 또는 측정 값)를 소정의 함수에의 피팅(fitting) 처리에 의해 근사함으로써, 계수를 작성해서 기억하는 방법을 설명한다. 피팅 처리에 사용된 함수로서, 본 실시예에서는 르장드르(Ｌｅｇｅｎｄｒｅ) 다항식을 사용한다. 그러나, 본 실시예는 이것에 한정되는 것이 아니고, 예를 들면 Ｃｈｅｂｕｙｓｈｅｖ다항식등의 다른 직교함수가 사용되어도 좋다. 상기 르장드르 다항식은, 이하의 식(5)로 나타낸다. 이 식(5)에서, 기호 [x]는 x의 값을 초과하지 않는 최대의 정수다Next, a method of creating data of OTF data created by the information processing apparatus 101 will be described in detail. In this embodiment, a method of generating and storing a coefficient by approximating an OTF (design value or measured value) of an imaging optical system by fitting processing to a predetermined function will be described. As a function used in fitting processing, the present embodiment uses a Legendre polynomial. However, the present embodiment is not limited to this, and another orthogonal function such as a Chebyshev polynomial may be used. The Rajendor polynomial is expressed by the following equation (5). In this equation (5), the symbol [x] is the maximum integer that does not exceed the value of x

ＯＴＦ는, z=f(x, y)의 형태로 나타낸다. 이 때문에, 본 실시예에서는, 이하의 식(6)중의 계수a_ij를 산출할 필요가 있다.The OTF is expressed in the form of z = f (x, y). For this reason, in the present embodiment, it is necessary to calculate the coefficient a _ij in the following expression (6).

식(6)은 직교함수(근사 함수)이며, 계수a_ij의 값은, 피팅 처리에 사용된 상기 차수에 의존하지 않고 결정된다. 상술한 것처럼, 촬상 광학계의 ＯＴＦ를 소정의 함수에의 피팅 처리에 의해 근사하고, 계수를 작성함에 따라, 필요한 데이터의 기억량을 감소시킬 수 있다. 또한, 식(6)으로 나타낸 직교함수의 특성을 이용함으로써, ＯＴＦ의 피팅 처리는, 충분히 고정밀도로 피팅 처리를 실행 가능한 정도까지 낮은 차수에 의해 중단될 수 있고, 이에 따라 기억될 계수의 정보량은 감소될 수 있다.Equation (6) is an orthogonal function (approximate function), and the value of the coefficient a _ij is determined without depending on the order used in the fitting process. As described above, the storage amount of necessary data can be reduced by approximating the OTF of the imaging optical system by fitting processing to a predetermined function and creating a coefficient. Further, by using the characteristic of the orthogonal function expressed by the equation (6), the fitting process of the OTF can be stopped with a low degree to the extent that the fitting process can be performed with high accuracy with a high degree, .

ＯＴＦ의 실수부는, 메리디오널 방향 및 새지털 방향의 각각에 대해 대칭이다. ＯＴＦ의 허수부는, 메리디오널 방향에 대해 그것의 부호(플러스나 마이너스)가 반대이긴 하지만 대칭이며, 새지탈 방향에 대해서는 대칭이다. 이러한 대칭성에 의하면, 피팅에 사용되는 ＯＴＦ의 데이터로서는, 영역(domain)전체에서 적어도 4분의 1(1/4) 영역등의 대칭 영역의 정보가 충분하다. 본 실시예에서는, 이러한 이유에 의해, ＯＴＦ로부터 실수부 및 허수부 각각에 대해 영역전체의 1/4의 영역은, ＤＣ성분을 포함하도록 잘라내서 ＯＴＦ의 고정밀의 피팅 처리를 행한다.The real part of the OTF is symmetrical with respect to each of the meridional direction and the sagittal direction. The imaginary part of the OTF is symmetric with respect to the meridional direction, although its sign (plus or minus) is opposite, and symmetrical with respect to the sideward direction. According to this symmetry, as the data of the OTF used for the fitting, information of a symmetric area such as at least a 1/4 (1/4) area in the entire domain is sufficient. In this embodiment, for this reason, the 1/4 region of the entire region from the OTF to the real part and the imaginary part is cut so as to include the DC component to perform the high-precision fitting processing of the OTF.

소정의 정밀도가 필요할 경우, 상기 피팅 처리는 낮은 차수로 중단되면, 원래의 ＯＴＦ를 재구성할 수 없고, 이에 따라 적절한 보정을 행할 수 없을 가능성이 있다. 이 때문에, 적절한 차수는, 원래의 ＯＴＦ의 형상에 따라서 다르다. 다시 말해, 제공자가 ＯＴＦ데이터를 작성할 때, 충분한 차수(즉, 충분히 고차수)를 사용하여서 근사를 행할 필요가 있다. 작성된 ＯＴＦ데이터는, 네트워크(102)상에서 관리되어, 유저에게 항상 사용할 수 있게 하는 것이 바람직하다.If a certain precision is required, if the fitting process is stopped with a low order, the original OTF can not be reconstructed, and accordingly, there is a possibility that appropriate correction can not be performed. Therefore, the proper order differs depending on the shape of the original OTF. In other words, when the provider creates the OTF data, it is necessary to perform the approximation using a sufficient degree (that is, a sufficiently high number of orders). It is desirable that the created OTF data is managed on the network 102 so that it can be always used by the user.

이러한 방법에 의해 작성된 ＯＴＦ데이터에 대하여, 유저는, 유저가 소유하는 정보처리장치103으로부터, 네트워크(102)를 통해 정보처리장치101에 액세스하여, 필요한 광학계의 정보만을 취득할 수 있다. 본 실시예에서는, 유저는, 네트워크(102)를 통해 정보처리장치(101)에 기억된 ＯＴＦ데이터를 취득하고, 또는 ＣＤ-R과 ＤＶＤ등의 기록 매체(기억 매체)에 ＯＴＦ데이터를 기록해서 배포할 수도 있다.With respect to the OTF data created by this method, the user can access the information processing apparatus 101 through the network 102 from the information processing apparatus 103 possessed by the user, and obtain only necessary optical system information. In this embodiment, the user acquires the OTF data stored in the information processing apparatus 101 via the network 102 or records the OTF data in a recording medium (storage medium) such as a CD-R and a DVD You may.

유저는, 유저가 소유하는 정보처리장치(103)를 이용하여서, 보정대상이 되는 광학계(촬상 광학계)의 ＯＴＦ정보(ＯＴＦ데이터)를 취득할 수 있다. 본 실시예의 화상처리장치는, 예를 들면 유저가 소유하는 정보처리장치(103)(정보처리장치 103에 인스톨된 (도시되지 않은) 화상처리 어플리케이션), 또는, 유저가 소유하고 있는 촬상 장치(104, 105, 106)다. 각각의 화상처리장치의 보정에 필요한 ＯＴＦ데이터의 정밀도가 서로 다를 가능성이 높다. 이에 따라서, 적은 ＯＴＦ데이터양(ＯＴＦ정보량)으로, 촬영 화상을 적절하게 보정하기 위해서는, 화상처리장치마다 적절한 (보다 바람직하게는, 최적의) ＯＴＦ데이터(ＯＴＦ정보)를 송신할 필요가 있다. 본 실시예에서는, 화상처리장치로서 제공된, 정보처리장치(103)에 인스톨된 화상처리 어플리케이션, 및 촬상 장치(104, 105, 106)의 각각에, 적절한 ＯＴＦ데이터를 송신할 수 있다. 예를 들면, 전술한 화상처리 어플리케이션은, 프로그램을 변경하면 어떤 ＯＴＦ데이터에도 적용될 수 있다. 한편, 촬상 장치(104∼106) 각각에 제공된 화상처리부(본 실시예에 있어서의 화상처리장치)는, 일반적으로 처리 속도가 우선되기 때문에, 하드웨어로 구성되고, 입력 데이터의 양은 많은 경우에 제한된다. 이 때문에, 특히, 비용 우선의 저렴한 촬상 장치에 있어서, ＯＴＦ데이터의 근사 계수는 제한되어도 된다.The user can acquire the OTF information (OTF data) of the optical system (imaging optical system) to be corrected using the information processing apparatus 103 possessed by the user. The image processing apparatus of the present embodiment can be applied to, for example, an information processing apparatus 103 owned by a user (an image processing application installed in the information processing apparatus 103 (not shown)) or an image capturing apparatus 104 , 105, 106). There is a high possibility that the accuracy of the OTF data required for the correction of each image processing apparatus is different from each other. Accordingly, in order to appropriately correct the photographed image with a small amount of OTF data (OTF information amount), it is necessary to transmit appropriate (more preferably optimal) OTF data (OTF information) for each image processing apparatus. In this embodiment, it is possible to transmit appropriate OTF data to each of the image processing application installed in the information processing apparatus 103 and the image pickup apparatuses 104, 105, and 106 provided as an image processing apparatus. For example, the above-described image processing application can be applied to any OTF data by changing the program. On the other hand, the image processing units (image processing apparatuses in this embodiment) provided in each of the image capturing apparatuses 104 to 106 are generally constituted by hardware because the processing speed is prioritized, and the amount of input data is limited in many cases . For this reason, in particular, in a cost-effective and inexpensive imaging apparatus, the approximation coefficient of the OTF data may be limited.

본 실시예는, 촬상 장치(104∼106) 각각에 원하는 광학계의 ＯＴＦ데이터를 설정하는 방법을 제공한다. 예를 들면, 정보처리장치 103은, 네트워크(102)를 통해 정보처리장치 101에 설치된 기억 매체에 보존되어 있는 ＯＴＦ데이터를 취득한다. 그리고, 정보처리장치(101)에 의해 취득된 ＯＴＦ데이터를, ＵＳＢ나 통신(유선통신 또는 무선통신)을 거쳐 촬상 장치(104∼106)에 전송한다. 본 실시예에 있어서, 정보처리장치(103)는, 접속처의 디바이스(예를 들면, 촬상 장치 104∼106중 어느 하나)에 따라 적절한 ＯＴＦ데이터를 전송한다.The present embodiment provides a method of setting OTF data of a desired optical system in each of the imaging apparatuses 104 to 106. [ For example, the information processing apparatus 103 acquires the OTF data stored in the storage medium installed in the information processing apparatus 101 via the network 102. [ Then, OTF data acquired by the information processing apparatus 101 is transferred to the imaging apparatuses 104 to 106 via USB or communication (wired communication or wireless communication). In this embodiment, the information processing apparatus 103 transmits appropriate OTF data in accordance with the device (for example, any one of the imaging apparatuses 104 to 106) to which the information processing apparatus 103 is connected.

다음에, 도 1b을 참조하여, 정보처리장치(103)(제어장치)의 개요에 대해서 설명한다. 도 1b는, 정보처리장치(103)의 블록도다. 정보처리장치(103)(제어장치)는, 입력 회로(입력부)(103a), 기억 회로(메모리 또는 기억부)(103b), 결정 회로(결정기 또는 결정부)(103c) 및 출력 회로(출력부)(103d)를 구비한다. 입력 회로(103a) 및 출력 회로(103d)는, 예를 들면 Ｗｉ-Ｆｉ(무선 충실도) 통신모듈이다. 그 접속 모듈은, 무선통신용 통신 회로에 한정되는 것이 아니고, 이와는 달리 유선통신용 통신 회로이어도 좋다. 기억 회로(103b)는 ＲＯＭ등의 메모리이며, 결정 회로(103c)는 ＣＰＵ등의 프로세서다.Next, an outline of the information processing apparatus 103 (control apparatus) will be described with reference to Fig. 1B. Fig. 1B is a block diagram of the information processing apparatus 103. Fig. The information processing apparatus 103 (control apparatus) includes an input circuit (input section) 103a, a memory circuit (memory or storage section) 103b, a decision circuit (decision section or decision section) 103c, ) 103d. The input circuit 103a and the output circuit 103d are, for example, a Wi-Fi (wireless fidelity) communication module. The connection module is not limited to the communication circuit for wireless communication, but may alternatively be a communication circuit for wired communication. The memory circuit 103b is a memory such as a ROM, and the decision circuit 103c is a processor such as a CPU.

입력 회로(103a)는, 화상처리장치(예를 들면, 정보처리장치 103에 인스톨된 화상처리 어플리케이션이나, 촬상 장치 104∼106 각각)의 정보를 입력한다. 기억 회로(103b)는, 제1의 광학전달 함수(ＯＴＦ)에 관한 데이터, 즉 복수의 계수 데이터를 포함하는 제1의 데이터(예를 들면, 네트워크(102)를 통해서 얻어진 ＯＴＦ데이터)를 기억한다. 결정 회로(103c)는, 기억 회로(103b)에 기억된 제1의 데이터로부터, 제1의 데이터보다도 데이터 양이 적은 제2의 데이터를 결정한다. 제2의 데이터는, 제2의 광학전달 함수에 관한 데이터, 즉 각 화상처리장치에 적절한 ＯＴＦ데이터다. 출력 회로(103d)는, 제2의 데이터를 화상처리장치에 출력한다. 광학계의 광학전달 함수(ＯＴＦ)는, 복수의 계수 데이터를, 소정의 차수(m번째 차수)를 갖는 근사 함수의 계수로서 사용하는 것에 의해 나타낼 수 있다. 바람직하게는, 복수의 계수 데이터는, 광학계의 광학전달 함수를, 소정의 차수(소정의 정도)를 갖는 근사 함수에 근사하여서 결정된다. 바람직하게는, 제2의 데이터는, 근사 함수의 상기 소정의 차수보다도 작은 차수(n번째 차수(n<m))에 대응하는 계수 데이터다.The input circuit 103a inputs information of the image processing apparatus (for example, the image processing application installed in the information processing apparatus 103 and the image pickup apparatuses 104 to 106, respectively). The storage circuit 103b stores first data (e.g., OTF data obtained through the network 102) including data relating to the first optical transfer function (OTF), that is, a plurality of coefficient data . The determination circuit 103c determines second data having a smaller data amount than the first data from the first data stored in the storage circuit 103b. The second data is data relating to the second optical transfer function, that is, OTF data suitable for each image processing apparatus. The output circuit 103d outputs the second data to the image processing apparatus. The optical transfer function OTF of the optical system can be represented by using a plurality of coefficient data as a coefficient of an approximate function having a predetermined order (m-th order). Preferably, the plurality of coefficient data is determined by approximating an optical transfer function of the optical system to an approximate function having a predetermined degree (predetermined degree). Preferably, the second data is coefficient data corresponding to an order (n-th order (n <m)) smaller than the predetermined order of the approximate function.

다음에, 도 2를 참조하여, 정보처리장치(103)가 접속처의 디바이스에 따라 최적의 ＯＴＦ데이터를 전송하는 처리 플로우에 대해서 설명한다. 도 2는, ＯＴＦ데이터의 데이터 전송 처리를 나타내는 흐름도다. 도 2의 각 단계는, 정보처리장치(103)의 제어부(ＣＰＵ)에 의해, 정보처리장치(103)에 인스톨된 어플리케이션의 프로그램의 지시에 근거해서 실행된다.Next, with reference to Fig. 2, a processing flow for transmitting the optimum OTF data according to the device to which the information processing apparatus 103 is connected will be described. 2 is a flow chart showing data transfer processing of OTF data. Each step of FIG. 2 is executed by a control unit (CPU) of the information processing apparatus 103 based on an instruction of a program of an application installed in the information processing apparatus 103.

먼저, 단계S201에 있어서, 정보처리장치(103)(제어부)는, 보정대상의 광학계, 즉 촬영 화상의 취득에 사용된 촬상 광학계의 ＯＴＦ데이터(적절한 ＯＴＦ데이터)를, 정보처리장치(101)로부터 네트워크(102)를 통해 다운로드(취득)한다. 예를 들면, 정보처리장치(103)에는, 유저가 소유하는 데이터 등록용의 어플리케이션이 인스톨되고, 유저는, 이 어플리케이션을 사용하여서 필요한 광학계(촬상 광학계)를 선택할 수 있다. 단계S201에서 취득한 ＯＴＦ데이터는, 유저의 정보처리장치(103)내에 설치된 메모리(기억 회로)에 격납된다.First, in step S201, the information processing apparatus 103 (control section) transmits OTF data (appropriate OTF data) of the imaging optical system used for acquiring the photographed image, that is, the correction target optical system, from the information processing apparatus 101 (Acquired) through the network 102. For example, an application for data registration owned by the user is installed in the information processing apparatus 103, and the user can select a required optical system (imaging optical system) by using this application. The OTF data acquired in step S201 is stored in a memory (storage circuit) provided in the user's information processing apparatus 103. [

이어서, 단계S202에 있어서, 정보처리장치(103)(정보처리장치(103)에 인스톨된 어플리케이션)는, 정보처리장치(103)에 접속된 디바이스(예를 들면, 촬상 장치(104∼106)등의 화상처리장치)의 정보를 취득한다. 구체적으로는, 정보처리장치(103)는, 촬상 장치(104∼106)의 ＯＴＦ데이터를 사용해서 보정을 행하는 화상처리 블록에 이용 가능한 차수를 판정한다.Next, in step S202, the information processing apparatus 103 (an application installed in the information processing apparatus 103) is connected to a device (for example, the imaging apparatuses 104 to 106, etc.) connected to the information processing apparatus 103 Of the image processing apparatus). Specifically, the information processing apparatus 103 determines the degree that can be used for the image processing block that performs correction using the OTF data of the image pickup apparatuses 104 to 106. [

이어서, 단계S203에 있어서, 정보처리장치(103)는, 단계S201에서 취득한 ＯＴＦ데이터로부터, 단계S202에서 취득한 접속된 디바이스 정보(최대 차수)에 근거하여, ＯＴＦ데이터의 차수(일부 데이터)를 삭감하고, 전송용의 ＯＴＦ데이터를 작성한다. 달리 말하면, 결정 회로(103c)는, 기억 회로(103b)에 기억된 제1의 데이터(단계S201에서 취득한 ＯＴＦ데이터)에 의거하여, 제1의 데이터보다도 데이터 양이 적은 제2의 데이터(전송용의 ＯＴＦ데이터)를 결정한다. 이 경우에, 필요한 차수(정도)를 판정하는 방법으로서, 정보처리장치(103)는, 접속된 디바이스(촬상 장치104∼106)로부터 직접, 이용가능한 최대 차수를 수신하는 방법을 채용할 수 있다. 또한, 정보처리장치(103)는, 정보처리장치(103)내에 설치된 기억 회로(103b)에, 상기 접속된 디바이스와 최대 차수와의 관계를 나타내는 테이블을 기억시키고, 그 테이블에 근하여 상기 필요한 차수를 산출해도 좋다.Subsequently, in step S203, the information processing apparatus 103 reduces the order (some data) of the OTF data based on the connected device information (maximum degree) acquired in step S202 from the OTF data acquired in step S201 , And creates OTF data for transmission. In other words, based on the first data (OTF data acquired in step S201) stored in the storage circuit 103b, the determination circuit 103c generates second data (data for transfer) smaller than the first data Of the OTF data). In this case, the information processing apparatus 103 can employ a method of directly receiving the maximum available degree from the connected devices (the imaging apparatuses 104 to 106) as a method of determining the required degree (degree). The information processing apparatus 103 also stores a table indicating the relationship between the connected device and the maximum degree in the storage circuit 103b provided in the information processing apparatus 103, .

도 3은, 접속된 디바이스(촬상 장치로서의 카메라A∼C)와 최대 차수와의 관계를 나타내는 테이블의 일례다. 도 3에 나타낸 것처럼, 고급의 카메라A의 최대 차수는 20차이고(즉, 카메라A는 20차까지 적용 가능하다), 염가의 카메라C의 최대 차수는 5차다(즉, 카메라C는 5차까지 적용 가능하다).3 is an example of a table showing the relationship between connected devices (cameras A to C as image pickup devices) and the maximum degree. As shown in FIG. 3, the maximum degree of the advanced camera A is 20 (that is, the camera A is applicable up to 20), and the maximum degree of the cheap camera C is five (that is, It is possible).

단계S202, S203에서 접속된 디바이스(촬상 장치)마다 최대차수(적용 가능한 최대 차수)가 결정된 후, 단계S204의 흐름으로 진행된다. 단계S204에 있어서, 정보처리장치(103)는, 단계S201에서 취득한 ＯＴＦ데이터의 차수 중에서, 상기 접속된 디바이스의 최대 차수까지를 추출하여서 얻어진 ＯＴＦ데이터를, 각 디바이스에 전송한다. 이 경우에, 정보처리장치(103)에 인스톨된 화상처리 어플리케이션으로 화상회복 처리를 행할 경우, 어플리케이션의 최대 차수를 채택하여서 화상회복 처리를 행할 수 있다. 촬상 장치와 동등한 효과가 요구될 때, 화상 파일에 촬영시에 얻어진 최대 차수를 기록해 두고, 그 값(즉, 기록된 최대 차수)에 근거해서 보정처리를 행해도 좋다.After the maximum degree (applicable maximum degree) is determined for each device (imaging device) connected in steps S202 and S203, the flow proceeds to step S204. In step S204, the information processing apparatus 103 extracts up to the maximum degree of the connected devices among the orders of the OTF data acquired in step S201, and transfers the obtained OTF data to each device. In this case, when the image restoration processing is performed by the image processing application installed in the information processing apparatus 103, the image restoration processing can be performed by adopting the maximum degree of the application. When an effect equivalent to that of the image pickup apparatus is required, the maximum degree obtained at the time of photographing may be recorded in the image file, and the correction processing may be performed based on the value (that is, the recorded maximum degree).

도 2에 나타낸 흐름에 따라, 하나의 원래의 데이터에 근거하여 각 촬상 장치의 특성에 따른 개별 데이터를 결정하고, 그 개별 데이터를 대응한 촬상 장치에 전송할 수 있다. 이 때문에, 각 촬상 장치에 ＯＴＦ데이터의 원래의 데이터를 기억시키지 않고 촬상 장치(화상처리장치)마다 적절한 보정을 행하는 것이 가능하다.According to the flow shown in Fig. 2, individual data according to the characteristics of each imaging apparatus can be determined based on one original data, and the individual data can be transferred to the corresponding imaging apparatus. Therefore, it is possible to perform appropriate correction for each image pickup apparatus (image processing apparatus) without storing the original data of the OTF data in each image pickup apparatus.

이상과 같이, 제1의 실시예에서는, 정보처리장치(103)가 접속된 디바이스인 화상처리장치의 정보에 근거하여, ＯＴＦ데이터의 차수를 삭감하여, 전송용의 ＯＴＦ데이터를 작성하는 구성을 일례로서 설명하였지만, 이것에 한정되는 것이 아니다.As described above, in the first embodiment, a configuration for generating OTF data for transmission by reducing the order of OTF data based on information of an image processing apparatus that is a device connected to the information processing apparatus 103 is described as an example The present invention is not limited to this.

도 1c는, 화상회복 처리에 대한 화상처리장치의 구성을 나타내는 블록도다. 화상처리장치의 일례인 촬상 장치(104)는, 입력 회로(입력부)(104a), 결정 회로(결정기 또는 결정부)(104b), 기억 회로(메모리 또는 기억부)(104c), 및 처리 회로(프로세서 또는 처리부)(104d)를 구비한다. 입력 회로(104a)는, 예를 들면 Ｗｉ-Ｆｉ통신 모듈이다. 통신 모듈은, 무선통신용 통신 회로에 한정되는 것이 아니고, 또는 유선통신용 통신 회로이어도 좋다. 결정 회로(104b) 및 처리 회로(104d)는 ＣＰＵ등의 프로세서로 구성되고, 기억 회로(104c)는 ＲＯＭ등의 메모리다.1C is a block diagram showing a configuration of an image processing apparatus for image restoration processing. An image sensing apparatus 104 that is an example of an image processing apparatus includes an input circuit (input section) 104a, a determination circuit (a determiner or a determination section) 104b, a storage circuit (memory or storage section) 104c, Processor or processing unit) 104d. The input circuit 104a is, for example, a Wi-Fi communication module. The communication module is not limited to the communication circuit for wireless communication, or may be a communication circuit for wired communication. The determination circuit 104b and the processing circuit 104d are constituted by a processor such as a CPU and the memory circuit 104c is a memory such as a ROM.

예를 들면, 정보처리장치(103)는 취득한 ＯＴＦ데이터를 그대로 촬상 장치(104)에 전송하고, 촬상 장치(104)는 입력 회로(104a)를 통해 ＯＴＦ데이터를 받는다. 결정 회로(104b)는 받은 ＯＴＦ데이터의 차수를 삭감하고, 기억 회로(104c)에 기억되고, 처리 회로(104d)는 이 기억된 ＯＴＦ데이터를 사용해서 회복 필터를 생성하여, 화상회복 처리를 행한다.For example, the information processing apparatus 103 directly transfers the acquired OTF data to the image capturing apparatus 104, and the image capturing apparatus 104 receives the OTF data through the input circuit 104a. The decision circuit 104b reduces the order of the received OTF data and is stored in the storage circuit 104c. The processing circuit 104d generates a recovery filter using the stored OTF data and performs an image recovery process.

혹은, 정보처리장치(103)는, 취득한 ＯＴＦ데이터를 차수에 따라서 분할해서 촬상 장치(104)에 전송할 수 있다. 결정 회로(104b)는, 입력 회로(104a)가 받은 ＯＴＦ데이터 중 적용 가능한 차수의 ＯＴＦ데이터만을 기억 회로(104c)에 기억하여도 좋다.Alternatively, the information processing apparatus 103 can divide the acquired OTF data according to the degree and transmit the divided OTF data to the image capturing apparatus 104. [ The determination circuit 104b may store only applicable OTF data of the OTF data received by the input circuit 104a in the storage circuit 104c.

(제2실시예)(Second Embodiment)

다음에, 도 4를 참조하여, 본 발명의 제2실시예에 있어서의 화상처리 시스템에 대해서 설명한다. 도 4는, 본 실시예에 있어서의 화상처리 시스템의 구성도이며, 교환 렌즈 방식의 촬상 장치에 적용 가능한 화상처리 시스템을 나타내고 있다.Next, an image processing system according to a second embodiment of the present invention will be described with reference to FIG. Fig. 4 is a configuration diagram of the image processing system according to the present embodiment, and shows an image processing system applicable to the image pickup apparatus of the interchangeable lens system.

참조부호 401은 광학계(촬상 광학계)를 구비한 교환 렌즈(렌즈 장치)이며, 여러 가지 촬상 장치(예를 들면, 촬상 장치 402, 403, 404)에 장착가능하다. 교환 렌즈(401)는, 입력 회로(입력부)(401a), 기억 회로(메모리 또는 기억부)(401b), 결정 회로(결정기 또는 결정부)(401c), 및 출력 회로(출력부)(401d)를 구비한다. 이것들의 요소는, 도 1b를 참조해서 설명한 제1실시예의 정보처리장치(103)의 각각의 요소와 동등한 기능을 갖는다. 교환 렌즈(401)의 ＲＯＭ(기억 회로40lb)은, 광학계에 의해 생긴 열화(광학열화)를 보정하기 위한 ＯＴＦ데이터(ＯＴＦ정보)를 기억한다. 예를 들면, 교환 렌즈(401)의 ＲＯＭ은, 제1실시예에서 설명한 형식으로, 그 특성의 재현에 충분한 차수(정도)를 포함하는 ＯＴＦ데이터를 기억하고 있다.Reference numeral 401 denotes an interchangeable lens (lens device) having an optical system (imaging optical system), which can be mounted on various imaging apparatuses (for example, imaging apparatuses 402, 403, and 404). The interchangeable lens 401 includes an input circuit (input section) 401a, a memory circuit (memory or storage section) 401b, a decision circuit (decision section or decision section) 401c and an output circuit (output section) Respectively. These elements have functions equivalent to those of the respective elements of the information processing apparatus 103 of the first embodiment described with reference to Fig. 1B. The ROM (storage circuit 40 lb) of the interchangeable lens 401 stores OTF data (OTF information) for correcting deterioration (optical deterioration) caused by the optical system. For example, the ROM of the interchangeable lens 401 stores the OTF data including the degree (degree) sufficient to reproduce the characteristics in the format described in the first embodiment.

촬상 장치 402, 403, 404 각각에는, 교환 렌즈(401)가 장착가능하고, 특히 촬상 장치 402는 고급기, 촬상 장치 403은 중급기, 촬상 장치 404는 보급기를 각각 나타내고 있다. 일반적으로는, 고급기(촬상 장치402)는, 중급기(촬상 장치403)나 보급기(촬상 장치404)에 비교해서 고 스펙(spec) 하드웨어 구성을 구비하고, 그 고급기는 용량과 처리 속도에 있어서 성능이 높다.The interchangeable lens 401 can be mounted on each of the image sensing apparatuses 402, 403, and 404, and particularly, the image sensing apparatus 402 is an advanced apparatus, the image sensing apparatus 403 is an intermediate stage, and the image sensing apparatus 404 is a distributor. Generally, the high-end device (imaging device 402) has a high-spec hardware configuration as compared with the intermediate device (imaging device 403) and the air supply device (imaging device 404) high.

본 실시예에 있어서, 교환 렌즈(401)는, 제1실시예의 정보처리장치(103)와 마찬가지로, 촬상 장치(402∼404)의 시스템 제약에 따라서, ＲＯＭ(기억 회로)내에 기억되어 있는 ＯＴＦ데이터의 차수를 선택해서 송부하도록 구성되어 있다. 이 경우, 염가의 촬상 장치 404(보급기)가 허용하는 최대 차수의 ＯＴＦ데이터를 사용하여서 교환 렌즈(401)의 특정한 영역에서는 충분한 보정을 할 수 없을 가능성이 있다. 이 현상에 대해서, 도 6a 내지 6d를 참조하여 설명한다. 도6a 내지 6d는, 본 실시예에 있어서의 ＯＴＦ데이터의 일례다.In the present embodiment, similar to the information processing apparatus 103 of the first embodiment, the interchangeable lens 401 is configured so that the OTF data stored in the ROM (storage circuit) And transmits the selected order. In this case, there is a possibility that sufficient correction can not be performed in a specific region of the interchangeable lens 401 by using OTF data of the maximum degree allowed by the inexpensive imaging apparatus 404 (air supply unit). This phenomenon will be described with reference to Figs. 6A to 6D. 6A to 6D are examples of OTF data in this embodiment.

제1실시예에서 설명한 바와 같이, ＯＴＦ데이터에는 실수부 및 허수부가 존재하고, 실수부 및 허수부의 조합에 대해 반대 푸리에 변환 함에 의해, 원점의 확산 함수인 ＰＳＦ를 재구성하는 것이 가능해진다. 도 6a 및 6b는, 교환 렌즈(401)의 특정한 촬영 조건에 있어서의 ＯＴＦ데이터의 실수부(원 데이터에서 ＯＴＦ의 실수부) 및 허수부(원 데이터에서 ＯＴＦ의 허수부)를 각각 나타내고 있다. 도 6c 및 6d는, 차수를 삭감한 ＯＴＦ데이터에 근거하여 재구성된 ＯＴＦ데이터의 실수부(재구성 ＯＴＦ의 실수부) 및 허수부(재구성 ＯＴＦ의 허수부)를, 실제의 데이터로서 각각 나타내고 있다.As described in the first embodiment, there is a real part and an imaginary part in the OTF data, and the inverse Fourier transform is performed on the combination of the real part and the imaginary part, thereby making it possible to reconstruct the PSF which is the diffusion function of the origin. 6A and 6B show the real part (the real part of OTF in the raw data) and the imaginary part (the imaginary part of OTF in the original data) of the OTF data in a specific photographing condition of the interchangeable lens 401, respectively. FIGS. 6C and 6D show the real part (the real part of the reconstructed OTF) and the imaginary part (the imaginary part of the reconstructed OTF) of the reconstructed OTF data based on the OTF data with reduced orders, respectively, as actual data.

도 6a와 도 6c, 및 도 6b와 도 6d간을 비교하면 알 수 있듯이, 각각의 함수(ＯＴＦ데이터)의 형상이 변화된다. 다시 말해, 도 ６c와 도 ６d에 근거하여 재구성된 ＰＳＦ는, 원래의 ＰＳＦ로부터 변화된다. 재구성후의 ＯＴＦ가 재구성전의 ＯＴＦ와 다른 경우, 촬상에 사용된 광학계(촬상 광학계)의 특성과 다른 특성으로 보정이 실행되는 것이기 때문에, 보정화상에서 예기치 않는 효과가 나타날 가능성이 있다. 구체적으로는, 엣지가 진동해서 링잉(ringing)과 같은 복수 엣지가 드러나거나, 또는, 엣지의 테두리가 크게 잠기는 블랙레벨 함몰과 같은 폐해가 화상에 나타난다. 이에 따라서, 적절한 보정을 행하는데 충분한 차수를 유지할 수 없는 염가의 촬상 장치(404)의 경우, 전술과 같은 폐해의 발생을 감소하기 위해서, 보정량을 약화시키는 대책을 취할 필요가 있다.6A and 6C, and FIGS. 6B and 6D, the shape of each function (OTF data) is changed. In other words, the reconstructed PSF based on Figs. 6C and 6D is changed from the original PSF. When the OTF after reconstruction is different from the OTF before reconstruction, since the correction is performed with characteristics different from those of the optical system (imaging optical system) used for imaging, there is a possibility that an unexpected effect appears in the corrected image. Concretely, the edges are vibrated to reveal a plurality of edges such as ringing or a black level depression in which edges of the edges are largely immersed. Accordingly, in the case of an inexpensive imaging apparatus 404 which can not maintain a sufficient degree to perform appropriate correction, it is necessary to take measures to weaken the correction amount in order to reduce the occurrence of the above-mentioned inconveniences.

보정량을 약화시키는 대책의 일례로서, 최대 게인을 감소하는 방법이 있다. 우선, 최대 게인에 대해서 설명한다. 화상회복 필터의 작성시에, 식(4)로 나타낸 위나 필터와 같이, 필터의 작성에 있어서는 단순한 ＯＴＦ의 역수를 사용하는 대신에, Γ 등의 노이즈 항을 고려해서 필터를 작성할 필요가 있다. Γ의 값(함수)을 제어함에 의해, 주파수영역내의 최대 게인을 제공할 수 있다. 도 7a 내지 7c를 참조하여, 그것에 대해서 설명한다.As an example of a countermeasure for weakening the correction amount, there is a method of reducing the maximum gain. First, the maximum gain will be described. In creating the image recovery filter, it is necessary to create a filter in consideration of the noise term such as Γ, instead of using the inverse of the simple OTF in the creation of the filter, as shown in Equation (4) or the filter. By controlling the value (function) of?, It is possible to provide the maximum gain in the frequency domain. The description will be made with reference to Figs. 7A to 7C.

도 7a 내지 7c는, ＭＴＦ와 최대 게인을 나타내는 그래프다. 도 7a는, 보정대상의 광학계의 ＭＴＦ의 그래프를 나타내고 있다. 상기 ＯＴＦ와 ＭＴＦ와의 관계는, 이하의 식(7)로 나타낼 수 있다.7A to 7C are graphs showing the MTF and the maximum gain. 7A shows a graph of the MTF of the optical system to be corrected. The relationship between the OTF and the MTF can be expressed by the following equation (7).

상술한 것처럼, ＭＴＦ(ＭｏｄｕｌａｔｉｏｎＴｒａｎｓｆｅｒＦｕｎｃｔｉｏｎ)는 ＯＴＦ의 절대치이며, ＰＴＦ(ＰｈａｓｅＴｒａｎｓｆｅｒＦｕｎｃｔｉｏｎ)은 공간주파수의 함수인 위상 차이이다.As described above, the MTF (Modulation Transfer Function) is the absolute value of the OTF, and the PTF (Phase Transfer Function) is the phase difference which is a function of the spatial frequency.

화상회복 처리는, 그 회복의 강도에 대해서는 ＭＴＦ의 역수를 필터로서 걸려서(즉, 곱하여서), ＭＴＦ의 회복을 행하는 처리다. 이 경우에, 고주파영역에서는, 도 7a에 도시된 것처럼 신호가 크게 저감된다. 이 때문에, ＭＴＦ의 역수를 화상에 곱하면, 큰 게인이 걸리고, 그 결과 출력 화상으로서 바람직하지 못하다. 따라서, 전술한 것처럼, 식(4)로 나타낸 위나 필터와 같이 고주파의 게인을 감소시키는 항을 삽입하여서 필터를 작성하는 방법이 일반적으로 채용된다. 위나 필터의 Γ의 함수에 대한 대책을 취함으로써, 고주파의 게인을 감소시키는 방법을 조정하는 것이 가능하다. 다시 말해, 상기 Γ의 항을 조정함으로써, 상기 게인은, 회복의 정도를 결정하는(즉, 화상을 어느 정도 회복시킬지의) 파라미터로서 제어될 수 있다.The image restoration process is a process of restoring the MTF by taking the inverse number of the MTF as a filter (i.e., multiplying) by the intensity of the recovery. In this case, in the high frequency region, the signal is greatly reduced as shown in Fig. 7A. Therefore, if the image is multiplied by the reciprocal of the MTF, a large gain is required, and as a result, it is not preferable as an output image. Therefore, as described above, a method of creating a filter by inserting a term such as the formula (4) or a term for reducing the gain of high frequency like a filter is generally adopted. It is possible to adjust the method of reducing the high frequency gain by taking measures against the function of? In other words, by adjusting the term of?, The gain can be controlled as a parameter that determines the degree of recovery (i.e., how much the image is to be restored).

예를 들면, 하드웨어 제약이 적고, 비교적 적극적인 회복 처리가 가능한 촬상 장치(402)에 관해서는, 도 7b에 도시된 것처럼, 최대 게인의 값이 Ｍａｘ_b가 되도록 Γ의 항을 설정한다. 한편, 하드웨어 제약이 크고 적극적인 보정을 할 수 없는 촬상 장치(404)에 관해서는, 도 ７c에 도시된 것처럼, 최대 게인의 값이 Ｍａｘ_b보다도 값이 작은 Ｍａｘ_c의 값으로 되도록 Γ의 항을 설정한다. 이 결과, 화상회복 효과를 감소할 수 있고, 링잉과 블랙레벨 함몰과 같은 폐해를 감소하는 것이 가능해진다. 이에 따라, 하드웨어 제약이 큰 촬상 장치(404)는, 촬상 장치(404)의 이용 가능한 차수가 작은 경우라도 적절한 화상회복 처리를 실행할 수 있다.For example, with respect to the imaging apparatus 402 that has a relatively limited hardware restriction and can perform a relatively aggressive recovery process, the term of? Is set so that the value of the maximum gain becomes Max_b, as shown in Fig. 7B. On the other hand, with respect to the imaging device 404, which has a large hardware restriction and can not actively correct, the term of? Is set so that the maximum gain value becomes a value of Max_c smaller than Max_b, as shown in FIG. As a result, the image restoration effect can be reduced, and it becomes possible to reduce adverse effects such as ringing and black level depression. Accordingly, the imaging device 404 having a large hardware restriction can perform appropriate image recovery processing even when the number of usable orders of the imaging device 404 is small.

상술한 것처럼, 촬상 장치(404)에 대하여 어떤 조건에 대하여도 일정한 최대 게인을 사용하여서 제약을 적용하면, 저차원의 근사로 충분히 ＯＴＦ데이터를 재현할 수 있는 영역에 있어서 게인을 감소시키기 때문에, 필요 이상으로 보정효과를 감소할 가능성이 있다. 이 구체예에 대해서, 도 8a 내지 8d를 참조해서 설명한다.As described above, when the constraint is applied to the image pickup apparatus 404 by using a constant maximum gain for any condition, the gain is reduced in the region where the OTF data can be sufficiently reproduced with the approximation of low dimension, There is a possibility of reducing the correction effect. This specific example will be described with reference to Figs. 8A to 8D.

도 8a 내지 8d는, 본 실시예에 있어서의 개구 조리개에 따른 ＯＴＦ데이터의 일례다. 도 8a 및 8b는, 어떤 교환 렌즈의 개구 조리개가 개방 상태인 조건에서 ＯＴＦ의 실수부(개방 상태에서의 ＯＴＦ의 실수부) 및 허수부(개방상태에서의 ＯＴＦ의 허수부)의 ＯＴＦ데이터(재구성전의 데이터)의 일례다. 도 ８c 및 8d는, 상기 교환 렌즈의 상기 개구 조리개가 작은 조리개 상태에 있는 조건에서 ＯＴＦ의 실수부(작은 조리개 상태에서 ＯＴＦ의 실수부) 및 허수부(작은 조리개 상태에서 ＯＴＦ의 허수부)의 ＯＴＦ데이터(재구성전의 데이터)의 일례다.8A to 8D are examples of OTF data according to the aperture stop in this embodiment. FIGS. 8A and 8B show OTF data (reconstruction) of the real part (the real part of the OTF in the open state) and the imaginary part (the imaginary part of the OTF in the open state) of the OTF under the condition that the aperture stop of a certain interchangeable lens is in the open state Quot; data "). FIGS. 8C and 8D are graphs showing OTF (imaginary part of the OTF in the small iris state) and imaginary part (imaginary part of the OTF in the small iris state) of the OTF in the condition that the aperture stop of the interchangeable lens is in the small iris state. It is an example of data (data before reconstruction).

일반적인 교환 렌즈에 있어서, 많은 경우에, 도 8a 및 8b에 도시된 것처럼 개방 상태에 부근에서는 여러 가지 수차가 발생하고, 이에 따라, ＯＴＦ는 복잡한 형상을 갖는다. 한편, 개구 조리개의 개구를 좁히면, 회절의 영향이 커지고, 다른 수차의 영향이 파묻혀버린다. 이에 따라서, 도 ８c 및 8d에 도시된 것처럼, ＯＴＦ는 단순한 형상(즉, 수차가 단순한 형상)을 갖는다. 다시 말해, 개방 상태에서 ＯＴＦ에 대해서, 고차수의 근사 함수로 원래의 ＯＴＦ를 재현하여서 상기 근사를 행할 필요가 있고, 작은 조리개 상태에서는 저차수의 근사 함수가 충분히 원래의 ＯＴＦ를 재현하는데 사용될 수 있다.In a common interchangeable lens, in many cases, various aberrations occur near the open state as shown in Figs. 8A and 8B, and accordingly, the OTF has a complicated shape. On the other hand, if the aperture of the aperture stop is narrowed, the influence of diffraction becomes large, and the influence of other aberrations is buried. Accordingly, as shown in Figs. 8C and 8D, the OTF has a simple shape (i.e., aberration is a simple shape). In other words, for the OTF in the open state, it is necessary to reproduce the original OTF with a higher order approximation function to perform the approximation, and in the small aperture state, a lower order approximation function can be used to sufficiently reproduce the original OTF .

이러한 현상에 따라, 도 5를 참조하여, 하드웨어 제약이 큰 촬상 장치에서도 최대한 보정효과를 얻기 위한 방법에 대해서 설명한다. 도 5는, 본 실시예에 있어서의 화상처리 시스템의 시퀀스 도이며, 교환 렌즈(401)가 촬상 장치(402∼404) 중 어느 하나에 장착하고 있을 경우의 데이터 시퀀스를 나타내고 있다.In accordance with this phenomenon, a method for obtaining the maximum correction effect even in an imaging apparatus with a large hardware restriction will be described with reference to Fig. 5 is a sequence diagram of the image processing system according to the present embodiment, which shows a data sequence when the interchangeable lens 401 is attached to any one of the image pickup devices 402 to 404.

교환 렌즈(401)가 촬상 장치(화상처리장치) 중 어느 하나에 장착되었을 경우, 단계S501에 있어서, 교환 렌즈(401)는, 상기 접속된 촬상 장치에 대하여, 촬상 장치의 종류에 관한 정보를 요구한다. 예를 들면, 교환 렌즈(401)는, 상기 접속된 촬상 장치가 보정처리 가능한(즉, 화상회복 처리가 가능한) 것인가 아닌가에 관한 정보를 요구한다. 그리고, 교환 렌즈(401)는, 접속된 촬상 장치가 화상회복 처리 가능한 것인가 아닌가를 판정하고, 그 판정 결과를 상기 접속된 촬상 장치에 송신한다. 상기 교환 렌즈(401)는, 상기 접속된 촬상 장치가 화상회복 처리 가능할 경우, 최대 차수에 관한 정보(최대 차수 정보)를 상기 접속된 촬상 장치에 대하여 요구한다.When the interchangeable lens 401 is mounted in any one of the image pickup apparatuses (image processing apparatuses), in step S501, the interchangeable lens 401 requests information on the type of the image pickup apparatus to the connected image pickup apparatus do. For example, the interchangeable lens 401 requests information as to whether or not the connected imaging apparatus can perform correction processing (that is, image restoration processing is possible). Then, the interchangeable lens 401 determines whether or not the connected imaging apparatus is capable of image restoration processing, and transmits the determination result to the connected imaging apparatus. When the connected imaging apparatus is capable of image restoration processing, the interchangeable lens 401 requests information on the maximum order (maximum order information) for the connected imaging apparatus.

계속해서, 단계S502에 있어서, 촬상 장치는, 단계S501에서의 교환 렌즈(401)로부터의 요구에 응답하여, 상기 촬상 장치가 화상회복 처리가 가능할 경우, 촬상 장치가 허용하는 최대 차수에 관한 정보(최대 차수 정보)를 상기 교환 렌즈(401)에 송신한다. 이 경우에, 교환 렌즈(401)는, 입력 회로(401a)를 통하여, 촬상 장치로부터 송신된 최대 차수 정보(촬상 장치의 정보)를 입력한다. 그리고, 단계S503에 있어서, 교환 렌즈(401)는, 단계S502에서 촬상 장치로부터 취득한 최대 차수 정보에 따라, 교환 렌즈(401)에 설치된 ＲＯＭ에 기억된 참조 테이블로부터, 최대 게인 테이블을 추출하여 촬상 장치에 송신한다. 달리 말하면, 결정 회로(401c)는, 화상처리장치가 허용하는 최대 차수에 관한 정보에 따라, 제2의 데이터를 결정한다. 바람직하게는, 결정 회로(401c)는, 최대 차수에 관한 정보에 따라, 화상회복 필터를 생성하는데 사용된 최대 게인(보정강도)에 관한 정보를 결정한다. 바람직하게는, 결정 회로(401c)는, 화상을 촬영하는데 결정된 촬영 조건 정보에 근거하여 제2의 데이터를 결정한다.Subsequently, in step S502, in response to a request from the interchangeable lens 401 in step S501, the image capturing apparatus obtains information about the maximum degree allowed by the image capturing apparatus Maximum degree information) to the interchangeable lens 401. In this case, the interchangeable lens 401 inputs the maximum order information (information of the image pickup apparatus) transmitted from the image pickup apparatus via the input circuit 401a. In step S503, the interchangeable lens 401 extracts the maximum gain table from the reference table stored in the ROM provided in the interchangeable lens 401, in accordance with the maximum order information obtained from the image pickup apparatus in step S502, . In other words, the determination circuit 401c determines the second data in accordance with information on the maximum degree allowed by the image processing apparatus. Preferably, the determination circuit 401c determines information on the maximum gain (correction strength) used to generate the image recovery filter, according to the information on the maximum degree. Preferably, the determination circuit 401c determines the second data based on the photographing condition information determined to photograph the image.

도 9a 및 9b를 참조하여, 교환 렌즈(401)에 설치된 ＲＯＭ에 기억된 참조 테이블, 및 상기 참조 테이블로부터 추출된 최대 게인 테이블에 대해서 설명한다. 도 9a 및 9b는, 참조 테이블 및 최대 게인 테이블을 도시한 도면이며, 도 9a 및 9b는 참조 테이블 및 최대 게인 테이블의 일례를 각각 나타내고 있다.Referring to Figs. 9A and 9B, the reference table stored in the ROM provided in the interchangeable lens 401 and the maximum gain table extracted from the reference table will be described. 9A and 9B are diagrams showing a reference table and a maximum gain table, and Figs. 9A and 9B show an example of a reference table and a maximum gain table, respectively.

도 9a에 도시된 참조 테이블은, 상기 접속된 촬상 장치의 차수에 따라 송신되는 게인 테이블을 결정하는 테이블, 즉 촬상 장치의 차수와 게인 테이블을 관련되게 만드는 테이블이다. 도 9a는, 예를 들면 최대차수가 10차인 촬상 장치가 "Ｔａｂｌｅ B"의 게인 테이블을 송신하는 것을 나타낸다.The reference table shown in FIG. 9A is a table for determining a gain table to be transmitted according to the order of the connected image pickup apparatus, that is, a table that makes the degree of the image pickup apparatus and the gain table associated with each other. 9A shows that, for example, the image pickup apparatus whose maximum order is 10 orders transmits the gain table of " Table B ".

도 ９b에 도시된 최대 게인 테이블은, 개구 조리개에 따라 최대 게인의 값을 나타내는 테이블이다. 전술한 것처럼, 최대 차수가 10차인 촬상 장치를 사용하는 경우, 도 9a의 "Ｔａｂｌｅ B"을 참조하게 된다. 이 때문에, 조리개 값F5.6으로 촬영한 화상에 대하여는, 최대 게인이 4인 조건에서 상기 필터를 생성하게 된다. 특히, 촬상 장치가 하드웨어 제약이 클 경우, 도 9a의 "Ｔａｂｌｅ C"을 참조하게 된다. 이 경우에, 개구 조리개의 개방 상태에 있어서 최대 게인은 2이고, 작은 조리개 상태에 있어서 최대 게인은 5이다. 달리 말하면, 도 8a 내지 8d를 참조해서 설명한 바와 같이, ＯＴＦ의 재현에 고차수가 필요한 영역에서는, 적극적인 보정을 행할 수 없기 때문에, 최대 게인을 2배로 설정하여, 상기 폐해의 발생을 감소한다. 한편, 작은 조리개 상태에 있어서는, ＯＴＦ는 저차수에 의해 재현될 수 있기 때문에, 적극적인 보정이 가능하다. 본 실시예에서는, 개구 조리개에 대한 최대 게인 테이블에 대해서 설명하고 있지만, 광학계의 특징에 따라 다른 파라미터(촬영 거리와 초점거리 등의 다른 촬영 조건 정보)를 고려한 테이블을 작성해도 좋다.The maximum gain table shown in Fig. 9B is a table showing the value of the maximum gain according to the aperture diaphragm. As described above, in the case of using an image pickup apparatus whose maximum order is 10th, "Table B" in FIG. 9A is referred to. For this reason, for the image photographed at the aperture value F5.6, the filter is generated under the condition that the maximum gain is 4. Particularly, when the imaging apparatus has a large hardware restriction, " Table C " in Fig. 9A is referred to. In this case, the maximum gain is 2 in the open state of the aperture stop, and the maximum gain is 5 in the small aperture state. In other words, as described with reference to Figs. 8A to 8D, since the positive correction can not be performed in a region where a higher order number is required for reproduction of the OTF, the maximum gain is set to be doubled to reduce the occurrence of the above-mentioned malfunction. On the other hand, in the small iris state, since the OTF can be reproduced by the low order, active correction is possible. Although the maximum gain table for the aperture stop is described in this embodiment, a table may be created in consideration of other parameters (other shooting condition information such as the shooting distance and the focal distance) depending on the characteristics of the optical system.

다음에, 도 5에 되돌아가서, 촬영시의 동작에 대해서 설명한다. 단계S504에 있어서, 촬영시에 유저가 셔터 버튼을 누른 타이밍(S2)에서, 촬상 장치는, 초점거리, 촬영 거리, 및 개구 조리개 등의 촬영 조건정보를 교환 렌즈(401)에 송신한다. 화상을 촬상하는데 촬영 조건정보가 결정되면, ＯＴＦ가 특정된다. 이 때문에, 교환 렌즈(401)는, 교환 렌즈(401)에 설치된 ＲＯＭ에 기억되어 있는 ＯＴＦ데이터(ＯＴＦ계수 데이터)로부터, 적절한 ＯＴＦ데이터를 촬상 장치에 송신한다. 이 경우에, ＯＴＦ데이터는, 단계S502에서 취득한 촬상 장치의 최대 차수의 데이터까지 송신된다. ＯＴＦ데이터를 받는 촬상 장치는, 교환 렌즈(401)가 장착시에(단계S503) 얻어진 참조 테이블 및 최대 게인 테이블에 근거해서 최대 게인을 결정하고, 화상회복 필터를 생성해서 화상회복을 행한다. 상술한 것처럼, 교환 렌즈(401)에 설치된 ＲＯＭ에 1종류의 ＯＴＦ데이터를 준비함으로써, 장착 가능한 여러 가지의 촬상 장치에 따라서 적절한 화상회복 처리를 행하는 것이 가능하다.Next, returning to Fig. 5, the operation at the time of photographing will be described. In step S504, at the timing (S2) when the user presses the shutter button at the time of photographing, the image capturing apparatus transmits the photographing condition information such as the focal length, the photographing distance, and the aperture stop to the interchangeable lens 401. When photographing condition information is determined for photographing an image, OTF is specified. Therefore, the interchangeable lens 401 transmits appropriate OTF data from the OTF data (OTF coefficient data) stored in the ROM provided in the interchangeable lens 401 to the image pickup apparatus. In this case, the OTF data is transmitted up to the data of the maximum degree of the imaging apparatus acquired in step S502. The imaging device that receives the OTF data determines the maximum gain based on the reference table and the maximum gain table obtained when the interchangeable lens 401 is mounted (step S503), and generates an image recovery filter to perform image recovery. As described above, by preparing one kind of OTF data in the ROM provided in the interchangeable lens 401, appropriate image restoration processing can be performed in accordance with various mountable image pickup apparatuses.

교환 렌즈(401)는 ＲＯＭ에 기억된 ＯＴＦ데이터를 그대로 촬상 장치에 송신하고, 촬상 장치가 ＯＴＦ데이터에 포함된 차수를 조정하여 참조 테이블 및 최대 게인 테이블에 근거해서 최대 게인을 결정하도록 구성되어도 좋다.The interchangeable lens 401 may transmit the OTF data stored in the ROM to the image pickup device as it is, and the image pickup device may adjust the degree included in the OTF data to determine the maximum gain based on the reference table and the maximum gain table.

(그 밖의 실시예)(Other Embodiments)

또한, 본 발명의 실시예(들)는, 기억매체(보다 완전하게는 '비일시적 컴퓨터 판독 가능한 기억매체'라고도 함)에 레코딩된 컴퓨터 실행가능한 명령어들(예를 들면, 하나 이상의 프로그램)을 판독하고 실행하여 상술한 실시예(들)의 하나 이상의 기능을 수행하는 것 및/또는 상술한 실시예(들)의 하나 이상의 기능을 수행하기 위한 하나 이상의 회로(예를 들면, 주문형 반도체(ASIC))를 구비하는 것인, 시스템 또는 장치를 갖는 컴퓨터에 의해 실현되고, 또 예를 들면 상기 기억매체로부터 상기 컴퓨터 실행가능한 명령어를 판독하고 실행하여 상기 실시예(들)의 하나 이상의 기능을 수행하는 것 및/또는 상술한 실시예(들)의 하나 이상의 기능을 수행하는 상기 하나 이상의 회로를 제어하는 것에 의해 상기 시스템 또는 상기 장치를 갖는 상기 컴퓨터에 의해 행해지는 방법에 의해 실현될 수 있다. 상기 컴퓨터는, 하나 이상의 프로세서(예를 들면, 중앙처리장치(CPU), 마이크로처리장치(MPU))를 구비하여도 되고, 컴퓨터 실행 가능한 명령어를 판독하여 실행하기 위해 별개의 컴퓨터나 별개의 프로세서의 네트워크를 구비하여도 된다. 상기 컴퓨터 실행가능한 명령어를, 예를 들면 네트워크나 상기 기억매체로부터 상기 컴퓨터에 제공하여도 된다. 상기 기억매체는, 예를 들면, 하드 디스크, 랜덤액세스 메모리(RAM), 판독전용 메모리(ROM), 분산형 컴퓨팅 시스템의 스토리지, 광 디스크(콤팩트 디스크(CD), 디지털 다기능 디스크(DVD) 또는 블루레이 디스크(BD)^TM등), 플래시 메모리 소자, 메모리 카드 등 중 하나 이상을 구비하여도 된다.The embodiment (s) of the present invention may also be used to read computer-executable instructions (e.g., one or more programs) recorded on a storage medium (more fully, also referred to as a 'non-transitory computer readable storage medium' (E.g., an application specific integrated circuit (ASIC)) for performing one or more functions of the embodiment (s) described above and / or performing one or more functions of the above- (E. G., By reading and executing the computer-executable instructions from the storage medium to perform one or more functions of the embodiment (s) and / or < / RTI > / RTI > by the computer having the system or the device by controlling the one or more circuits that perform one or more functions of the above-described embodiment (s) It can be realized by the method to be. The computer may comprise one or more processors (e.g., a central processing unit (CPU), a microprocessor unit (MPU)) or may be a separate computer or a separate processor for reading and executing computer- A network may be provided. The computer-executable instructions may be provided to the computer from, for example, a network or the storage medium. The storage medium may be, for example, a hard disk, a random access memory (RAM), a read only memory (ROM), a storage of a distributed computing system, an optical disk (compact disk (CD), digital versatile disk Ray disk (BD) ^TM, etc.), a flash memory device, a memory card, and the like.

이렇게 각 실시예에서는, 광학전달 함수(ＯＴＦ)를 재구성해서 열화 화상(촬영 화상)을 보정하는, 즉 화상회복 처리를 행하는, 화상처리 시스템에 있어서, 화상회복 처리를 행하는 화상처리장치에 따른 적절한 ＯＴＦ데이터(근사 데이터)를 제공할 수 있다. 각 실시예에 의하면, 화상회복 처리를 행하는 화상처리장치에 따라서 적절한 ＯＴＦ데이터를 제공 가능한, 제어장치, 화상처리 시스템, 렌즈 장치, 화상처리 시스템, 제어 방법 및 화상처리방법을 제공할 수 있다. 또한, 각 실시예 에 의하면, 화상회복 처리를 행하기 위한 적절한 ＯＴＦ데이터를 기억 가능한 제어장치, 화상처리장치, 렌즈 장치, 화상처리 시스템 및 화상처리방법을 제공할 수 있다.In each of the embodiments described above, in the image processing system for correcting the deteriorated image (captured image) by reconstructing the optical transfer function OTF, that is, for performing the image recovery process, an appropriate OTF Data (approximate data) can be provided. According to the embodiments, it is possible to provide a control device, an image processing system, a lens device, an image processing system, a control method, and an image processing method capable of providing appropriate OTF data in accordance with an image processing apparatus that performs image restoration processing. Further, according to each embodiment, it is possible to provide a control device, an image processing device, a lens device, an image processing system, and an image processing method capable of storing appropriate OTF data for performing image restoration processing.

본 발명을 실시예들을 참조하여 기재하였지만, 본 발명은 상기 개시된 실시예들에 한정되지 않는다는 것을 알 것이다. 아래의 청구항의 범위는, 모든 변형예, 동등한 구조 및 기능을 포함하도록 폭 넓게 해석해야 한다.While the present invention has been described with reference to exemplary embodiments, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. The scope of the following claims is to be accorded the broadest interpretation so as to encompass all modifications, equivalent structures and functions.

Claims

An acquisition unit that acquires information of an image processing apparatus that performs image processing according to an optical transfer function of the optical system with respect to an image photographed using an optical system;
A storage unit for storing first data including a plurality of coefficient data for obtaining an approximate function having a predetermined order of an optical transfer function of the optical system;
Determining a second data including a plurality of coefficient data corresponding to an order less than the predetermined order from the first data stored in the storage section based on the acquired information of the image processing apparatus; part; And
And an output unit for transmitting the second data determined by the determination unit to the image processing apparatus.

delete

The method according to claim 1,
Wherein the approximate function is an orthogonal function.

delete

The method according to claim 1,
Wherein the determination unit determines the second data in accordance with information on a maximum degree allowed by the image processing apparatus.

6. The method of claim 5,
Wherein the determining unit determines information on the maximum gain used to generate the image recovery filter according to the information on the maximum degree.

The method according to claim 1,
Wherein the determining unit determines the second data based on photographing condition information determined to photograph the image.

8. The method of claim 7,
Wherein the photographing condition information includes information on a focal length, a photographing distance and an aperture stop.

The method according to claim 1,
Wherein the storage unit is capable of acquiring the first data through a network.

delete

An optical system for forming a subject image;
An acquisition unit that acquires information of an image processing apparatus that performs image processing according to an optical transfer function of the optical system with respect to an image photographed using an optical system;
A storage unit for storing first data including a plurality of coefficient data for obtaining an approximate function having a predetermined order of an optical transfer function of the optical system;
Determining a second data including a plurality of coefficient data corresponding to an order less than the predetermined order from the first data stored in the storage section based on the acquired information of the image processing apparatus; part; And
And an output unit for transmitting the second data determined by the determination unit to the image processing apparatus.

An image processing device;
An acquisition unit that acquires information of an image processing apparatus that performs image processing according to an optical transfer function of the optical system with respect to an image photographed using an optical system;
A storage unit for storing first data including a plurality of coefficient data for obtaining an approximate function having a predetermined order of an optical transfer function of the optical system;
Determining a second data including a plurality of coefficient data corresponding to an order less than the predetermined order from the first data stored in the storage section based on the acquired information of the image processing apparatus; part; And
And an output unit for transmitting the second data determined by the determination unit to the image processing apparatus,
Wherein the image processing apparatus performs image restoration processing using the second data.

delete

Inputting information of an image processing apparatus that performs image processing in accordance with an optical transfer function of the optical system with respect to an image photographed using the optical system;
From the first data including a plurality of coefficient data for obtaining an approximate function having a predetermined order of the optical transfer function of the optical system stored in the storage unit based on the information of the image processing apparatus, Determining second data including a plurality of coefficient data corresponding to orders less than the first order; And
And transmitting the determined second data to the image processing apparatus.

delete