JP5396964B2

JP5396964B2 - Imaging apparatus and image processing apparatus

Info

Publication number: JP5396964B2
Application number: JP2009081993A
Authority: JP
Inventors: 啓一新田
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2009-03-30
Filing date: 2009-03-30
Publication date: 2014-01-22
Anticipated expiration: 2029-03-30
Also published as: JP2010239189A

Description

この発明は、撮影装置および画像処理装置に関するものである。 The present invention relates to a photographing apparatus and an image processing apparatus.

従来より、デジタルカメラなどの撮影装置において、ブレにより劣化した画像を修復し、ブレのない元の画像を復元する技術が知られている（例えば、特許文献１参照）。 2. Description of the Related Art Conventionally, there has been known a technique for restoring an image that has deteriorated due to blurring and restoring an original image without blurring in an imaging apparatus such as a digital camera (see, for example, Patent Document 1).

特開昭６２−１２７９７６号公報Japanese Patent Laid-Open No. 62-127976

しかしながら、上記従来技術は、ブレにより劣化した画像を修復する際に、撮影光学系を構成する撮影レンズの収差などの撮影光学系の光学特性を考慮したものではなく、そのため、撮影光学系の光学特性の影響により、適切な修復画像が得られないという問題があった。
本発明が解決しようとする課題は、好適にブレを補正することができる撮影装置及び画像処理装置を提供することである。 However, the above-described prior art does not consider the optical characteristics of the photographic optical system such as aberration of the photographic lens constituting the photographic optical system when repairing an image deteriorated due to blurring. There is a problem that an appropriate repaired image cannot be obtained due to the influence of the characteristics.
The problem to be solved by the present invention is to provide a photographing apparatus and an image processing apparatus capable of preferably correcting blurring.

この発明は、以下の解決手段によって上記課題を解決する。なお、発明の実施形態を示す図面に対応する符号を付して説明するが、この符号は発明の理解を容易にするためだけのものであって発明を限定する趣旨ではない。 The present invention solves the above problems by the following means. In addition, although the code | symbol corresponding to drawing which shows embodiment of this invention is attached | subjected and demonstrated, this code | symbol is only for making an understanding of invention easy, and is not the meaning which limits invention.

[１]発明に係る撮像装置は、光学系による像を撮影し、撮影画像を生成する撮影部（１１）と、前記光学系の収差に関する情報を取得する情報取得部（１９１）と、ブレを検出するブレ検出部（１２，１３）と、前記光学系の収差ごとに、ブレ方向と、撮影画面内の特定位置に位置する点像の移動方向および移動割合との関係を示すテーブルと、前記ブレ検出部により検出されたブレとを用いて、前記撮影画像のブレを補正するための点像分布関数を演算する演算部（１９５）とを含み、前記演算部は、前記テーブル中の前記特定位置における、前記点像の移動方向および移動割合との関係を用いて補完演算を行うことにより、前記特定位置とは異なる位置の前記点像分布関数を算出することを特徴とする。 [1] An imaging apparatus according to the present invention includes an imaging unit (11) that captures an image by an optical system and generates a captured image, an information acquisition unit (191) that acquires information relating to aberrations of the optical system , and blurring. A table that shows a relation between a blur direction, a moving direction and a moving ratio of a point image located at a specific position in the photographing screen, for each aberration of the optical system, by using the detected blur by the shake detection unit, wherein and a calculator for calculating a point spread function for correcting a blur of a captured image (195), said arithmetic unit, said particular in the table The point image distribution function at a position different from the specific position is calculated by performing a complementary operation using the relationship between the movement direction and the movement ratio of the point image at the position .

[２]上記撮影装置に係る発明において、前記情報取得部（１９１）が、前記光学系の収差に関する情報に加えて、前記光学系の焦点距離に関する情報を取得するように構成することができる。 [ 2 ] In the invention relating to the photographing apparatus, the information acquisition unit (191) may be configured to acquire information related to the focal length of the optical system in addition to information related to the aberration of the optical system.

[３]上記撮影装置に係る発明において、前記点像分布関数を用いて前記撮影画像のブレを補正する補正部（１９６）を含むように構成することができる。 [ 3 ] The invention relating to the above-described photographing apparatus may be configured to include a correction unit (196) that corrects blurring of the photographed image using the point spread function.

[４]発明に係る画像処理装置は、撮影画像と、光学系の収差に関する情報と、撮影装置のブレに関する情報とが入力される入力部と、前記光学系の収差ごとに、ブレ方向と、撮影画面内の特定位置に位置する点像の移動方向および移動割合との関係を示すテーブルと、前記撮影装置のブレに関する情報とを用いて、前記撮影画像のブレを補正するための点像分布関数を演算する演算部（１９５）とを含み、前記演算部は、前記テーブル中の前記特定位置における、前記点像の移動方向および移動割合との関係を用いて補完演算を行うことにより、前記特定位置とは異なる位置の前記点像分布関数を算出することを特徴とする。 [ 4 ] An image processing apparatus according to the present invention includes an input unit to which a captured image, information on aberration of the optical system , and information on blur of the photographing apparatus are input , a blur direction for each aberration of the optical system, a table showing the relationship between the moving direction and the moving rate of a point image located at a particular position in the shooting screen, using the information on blur in the imaging device, the point spread for correcting blur in the captured image A calculation unit (195) that calculates a function, and the calculation unit performs a complementary calculation by using a relationship between a movement direction and a movement ratio of the point image at the specific position in the table. The point spread function at a position different from the specific position is calculated .

[５]上記画像処理装置に係る発明において、前記入力部には、前記光学系の焦点距離に関する情報がさらに入力されるように構成することができる。 [ 5 ] In the invention according to the image processing apparatus, the input unit may be configured to further receive information related to the focal length of the optical system .

[６]上記画像処理装置に係る発明において、前記点像分布関数を用いて前記撮影画像のブレを補正する補正部（１９６）を含むように構成することができる。 [ 6 ] The invention according to the image processing apparatus may include a correction unit (196) that corrects blurring of the captured image using the point spread function.

この発明によれば、撮影光学系の光学特性の影響を受けることなく、適切な修復画像を得ることができる。 According to the present invention, an appropriate repaired image can be obtained without being affected by the optical characteristics of the photographing optical system.

図１は、本実施形態に係るデジタルカメラ１の構成を示すブロック図である。FIG. 1 is a block diagram illustrating a configuration of a digital camera 1 according to the present embodiment. 図２は、カメラ制御部１９の構成を示すブロック図である。FIG. 2 is a block diagram illustrating a configuration of the camera control unit 19. 図３は、角速度信号の波形を示す図である。FIG. 3 is a diagram illustrating a waveform of the angular velocity signal. 図４は、相対角度信号の波形を示す図である。FIG. 4 is a diagram illustrating a waveform of the relative angle signal. 図５は、相対角度信号の分布を示す図である。FIG. 5 is a diagram showing a distribution of relative angle signals. 図６は、撮影画面および撮影画面上に設定される座標を示す図である。FIG. 6 is a diagram illustrating a shooting screen and coordinates set on the shooting screen. 図７は、点像の移動位置および移動方向の一例を示す図である。FIG. 7 is a diagram illustrating an example of the moving position and moving direction of the point image. 図８は、点像の移動位置および移動方向の他の例を示す図である。FIG. 8 is a diagram illustrating another example of the moving position and moving direction of the point image. 図９は、点像の移動方向および移動割合のテーブルを示すである。FIG. 9 is a table showing the movement direction and movement ratio of point images. 図１０は、本実施形態に係るカメラ１の修復画像信号の生成処理における動作を示すフローチャートである。FIG. 10 is a flowchart showing an operation in the repair image signal generation process of the camera 1 according to the present embodiment.

以下、本発明の実施形態を図面に基づいて説明する。図１は、本実施形態に係るデジタルカメラ１の構成を示すブロック図であり、上記発明の撮像装置および画像処理装置に関する構成以外のカメラの一般的構成については、その図示と説明を一部省略する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing a configuration of a digital camera 1 according to the present embodiment. A part of the general configuration of the camera other than the configuration related to the imaging apparatus and the image processing apparatus of the invention is partially omitted. To do.

図１に示すように、本実施形態のデジタルカメラ１（以下、単にカメラ１という。）は、カメラボディ１０と、交換可能なレンズ鏡筒２０とを備え、これらカメラボディ１０とレンズ鏡筒２０とはマウント部を介して、着脱可能に結合されている。 As shown in FIG. 1, a digital camera 1 according to the present embodiment (hereinafter simply referred to as camera 1) includes a camera body 10 and a replaceable lens barrel 20, and these camera body 10 and lens barrel 20. Is detachably coupled via a mount portion.

レンズ鏡筒２０は、撮影レンズ２１を備えている。撮影レンズ２１は、カメラボディ１０に備えられた撮像素子１１の撮像面上に被写体像を結像する。また、撮影レンズ２１は、ズームレンズでありドライバ２３により光軸方向に駆動可能となっている。ここでドライバ２３はズームレンズのズーム駆動機構およびその駆動回路と、フォーカシングレンズのフォーカス駆動機構およびその駆動回路とを備えており、それぞれレンズ制御部２２により制御される。 The lens barrel 20 includes a photographic lens 21. The photographing lens 21 forms a subject image on the imaging surface of the imaging element 11 provided in the camera body 10. The photographing lens 21 is a zoom lens and can be driven in the optical axis direction by a driver 23. Here, the driver 23 includes a zoom driving mechanism and its driving circuit for the zoom lens, and a focusing driving mechanism and its driving circuit for the focusing lens, which are respectively controlled by the lens control unit 22.

レンズ制御部２２は、マイクロプロセッサとメモリなどの周辺部品から構成され、カメラボディ１０に備えられたカメラ制御部１９からの指令に基づき、撮影レンズ２１の絞り値の設定や、ドライバ２３を制御することにより、撮影レンズ２１の撮影距離や焦点状態の調節を行う。 The lens control unit 22 includes peripheral components such as a microprocessor and a memory, and controls the setting of the aperture value of the photographing lens 21 and the driver 23 based on a command from the camera control unit 19 provided in the camera body 10. As a result, the photographing distance and the focus state of the photographing lens 21 are adjusted.

一方、カメラボディ１０は、撮像素子１１を備えている。撮像素子１１は、たとえば、ＣＣＤ型やＭＯＳ型の固体撮像素子であり、光電変換撮像素子を備え、撮影レンズ２１によって撮像面上に結像された被写体像が、光電変換撮像素子により光電変換され、画像信号が出力される。そして、出力された画像信号は、Ａ／Ｄ変換器１５により、デジタル画像信号に変換され、ＲＡＭ等の揮発性のメモリ１６に格納される。メモリ１６に格納されたデジタル画像信号は、液晶表示部１７により画像表示されるとともに、フラッシュメモリ等の不揮発性の記録媒体１８に記録される。 On the other hand, the camera body 10 includes an image sensor 11. The image pickup device 11 is, for example, a CCD type or MOS type solid state image pickup device, and includes a photoelectric conversion image pickup device. A subject image formed on the image pickup surface by the photographing lens 21 is photoelectrically converted by the photoelectric conversion image pickup device. The image signal is output. The output image signal is converted into a digital image signal by the A / D converter 15 and stored in a volatile memory 16 such as a RAM. The digital image signal stored in the memory 16 is displayed on the liquid crystal display unit 17 and recorded on a non-volatile recording medium 18 such as a flash memory.

角速度センサＶ１２および角速度センサＨ１３は、カメラ１の手ブレを検出するためのブレ検出センサである。これら角速度センサＶ１２および角速度センサＨ１３は、撮影レンズ２１の光軸と直交し、かつ互いに直交する２つの軸回りのカメラ１の角速度信号をそれぞれ所定間隔で検出する。そして、検出され各速度信号は、所定の間隔でＡ／Ｄ変換され、デジタルデータに変換され、デジタルデータに変換された角速度信号は、カメラ制御部１９へ送信される。 The angular velocity sensor V12 and the angular velocity sensor H13 are shake detection sensors for detecting camera shake of the camera 1. The angular velocity sensor V12 and the angular velocity sensor H13 detect angular velocity signals of the camera 1 around two axes that are orthogonal to the optical axis of the photographing lens 21 and orthogonal to each other at predetermined intervals. Each detected velocity signal is A / D converted at a predetermined interval and converted into digital data, and the angular velocity signal converted into digital data is transmitted to the camera control unit 19.

操作部１４は、シャッターレリーズボタンや撮影者がカメラ１の各種動作モードを設定するための入力スイッチを備える。そして、撮影者により操作部１４に備えられた入力スイッチの操作が行われると、操作部１４は、撮影者の操作に応じた信号をカメラ制御部１９に送信する。 The operation unit 14 includes a shutter release button and an input switch for the photographer to set various operation modes of the camera 1. When the photographer operates an input switch provided in the operation unit 14, the operation unit 14 transmits a signal corresponding to the operation of the photographer to the camera control unit 19.

また、カメラボディ１０には、不図示の光学ファインダが備えられており、これにより撮影者は被写体を観察できるようになっている。 In addition, the camera body 10 is provided with an optical viewfinder (not shown) so that the photographer can observe the subject.

カメラ制御部１９は、マイクロプロセッサから構成され、マウント部に設けられた電気信号接点部によりレンズ制御部２２と電気的に接続され、このレンズ制御部２２からレンズ情報を受信するとともに、レンズ制御部２２へ撮影距離や焦点調節の制御信号などの情報を送信する。また、カメラ制御部１９は、これらに加えて、カメラボディ１０に備えられた各構成による各動作を制御するなど、カメラ１全体の制御を司る。 The camera control unit 19 includes a microprocessor, and is electrically connected to the lens control unit 22 through an electrical signal contact unit provided in the mount unit. The camera control unit 19 receives lens information from the lens control unit 22 and also has a lens control unit. Information such as a shooting distance and a control signal for focus adjustment is transmitted to 22. In addition to the above, the camera control unit 19 controls the entire camera 1 such as controlling each operation of each configuration provided in the camera body 10.

図２に、カメラ制御部１９の構成を示すブロック図を示す。図２に示すように、カメラ制御部１９は、レンズ情報取得部１９１、積分演算部１９２、撮影制御部１９３、ブレ分布記憶部１９４、点像分布関数演算部１９５、および画像修復部１９６を有する。 FIG. 2 is a block diagram showing the configuration of the camera control unit 19. As shown in FIG. 2, the camera control unit 19 includes a lens information acquisition unit 191, an integration calculation unit 192, a shooting control unit 193, a blur distribution storage unit 194, a point spread function calculation unit 195, and an image restoration unit 196. .

レンズ情報取得部１９１は、レンズ鏡筒２０に備えられたレンズ制御部２２から、レンズ鏡筒２０の光学特性に関する情報の取得を行う。レンズ情報取得部１９１により取得される光学特性に関する情報としては、たとえば、レンズ鏡筒２０の製品名、レンズ鏡筒２０のロットナンバー、レンズ鏡筒の製造メーカなどの情報が挙げられる。そして、レンズ情報取得部１９１は、レンズ鏡筒２０の製品名、レンズ鏡筒２０のロットナンバー、レンズ鏡筒の製造メーカなどの光学特性に関する情報を取得することにより、撮影倍率および収差特性を含むレンズ鏡筒２０の光学特性の特定を行う。この場合において、レンズ鏡筒２０の光学特性を特定するための方法としては、特に限定されないが、たとえば、カメラ制御部１９内に、レンズ鏡筒２０の製品名またはレンズ鏡筒２０のロットナンバーと、これらの撮影倍率および収差特性を含む光学特性との対応関係を示すデータベースを備える構成とし、該データベースを参照することで、レンズ鏡筒２０の製品名、レンズ鏡筒２０のロットナンバーなどの情報から、撮影倍率および収差特性を含むレンズ鏡筒２０の光学特性の特定を行う方法などが挙げられる。 The lens information acquisition unit 191 acquires information related to the optical characteristics of the lens barrel 20 from the lens control unit 22 provided in the lens barrel 20. Examples of the information on the optical characteristics acquired by the lens information acquisition unit 191 include information on the product name of the lens barrel 20, the lot number of the lens barrel 20, the manufacturer of the lens barrel, and the like. The lens information acquisition unit 191 includes information regarding the optical characteristics such as the product name of the lens barrel 20, the lot number of the lens barrel 20, the manufacturer of the lens barrel, and the like, thereby including the imaging magnification and aberration characteristics. The optical characteristics of the lens barrel 20 are specified. In this case, the method for specifying the optical characteristics of the lens barrel 20 is not particularly limited. For example, the product name of the lens barrel 20 or the lot number of the lens barrel 20 is included in the camera control unit 19. The database includes a database showing a correspondence relationship between the imaging magnification and the optical characteristics including the aberration characteristics. By referring to the database, information such as the product name of the lens barrel 20 and the lot number of the lens barrel 20 is provided. From the above, a method for specifying the optical characteristics of the lens barrel 20 including the imaging magnification and the aberration characteristics can be mentioned.

あるいは、レンズ鏡筒２０が、レンズ制御部２２に備えられた内部メモリにレンズ鏡筒２０の撮影倍率および収差特性を含む光学特性の情報を備えているものである場合には、レンズ情報取得部１９１は、これらの情報を直接取得することも可能である。 Alternatively, when the lens barrel 20 includes information on optical characteristics including the imaging magnification and aberration characteristics of the lens barrel 20 in an internal memory provided in the lens control unit 22, a lens information acquisition unit 191 can also directly acquire such information.

そして、レンズ情報取得部１９１により取得された撮影倍率および収差特性を含むレンズ鏡筒２０の光学特性の情報は、点像分布関数演算部１９５に送信される。 Then, the information on the optical characteristics of the lens barrel 20 including the imaging magnification and the aberration characteristics acquired by the lens information acquisition unit 191 is transmitted to the point spread function calculation unit 195.

積分演算部１９２は、角速度センサＶ１２および角速度センサＨ１３から送信された角速度信号を、積分して、相対角度信号（積分定数を除いた相対的な角度変位を表す）に変換する。図３に、手ブレとしてサイン波が加わった場合における、角速度センサＶ１２および角速度センサＨ１３で検出される１次元の角速度信号の波形を、図４に、図３の角速度信号を積分演算部１９２により積分した場合の相対角度信号の波形を、それぞれ示す。そして、積分演算部１９２により変換された相対角度信号は、ブレ分布記憶部１９４に送信される。 The integral calculation unit 192 integrates the angular velocity signals transmitted from the angular velocity sensor V12 and the angular velocity sensor H13 and converts them into a relative angle signal (representing a relative angular displacement excluding an integration constant). FIG. 3 shows a waveform of a one-dimensional angular velocity signal detected by the angular velocity sensor V12 and the angular velocity sensor H13 when a sine wave is added as camera shake. FIG. 4 shows an angular velocity signal of FIG. The waveforms of relative angle signals when integrated are shown. Then, the relative angle signal converted by the integral calculation unit 192 is transmitted to the blur distribution storage unit 194.

撮影制御部１９３は、操作部１４から、撮影者による操作に応じたレリーズ信号を受信することにより、被写体輝度、撮像素子１１の感度、撮影レンズ２１の絞り値に基づいて露光時間の設定を行い、設定した露光時間に基づいて撮像素子１１の露光を制御するとともに、露光タイミング信号をブレ分布記憶部１９４に送信する。 The imaging control unit 193 receives the release signal corresponding to the operation by the photographer from the operation unit 14, and sets the exposure time based on the subject brightness, the sensitivity of the imaging device 11, and the aperture value of the imaging lens 21. The exposure of the image sensor 11 is controlled based on the set exposure time, and an exposure timing signal is transmitted to the blur distribution storage unit 194.

ブレ分布記憶部１９４は、撮影制御部１９３からの露光タイミング信号に応じて、露光期間中において、積分演算部１９２から受信した相対角度信号を記憶する。図５に、ブレ分布記憶部１９４に記憶される相対角度信号のデータの２次元的な状態の一例を示す。図５においては、露光期間中に所定時間間隔でサンプリングされた相対角度のデータ値を黒丸で示している。なお、本実施形態においては、ｘ軸およびｙ軸は、図６に示すように、撮影画面３０において互いに直交するように定義している。また、図５において、θｘはｘ軸回りの角度を表しており、また、θｙはｙ軸回りの角度を表している。さらに、本実施形態においては、露光期間中にサンプリングされた相対角度の総サンプリング数をＮとし、ｎ回目にサンプリングされた相対角度データを（θｘｎ，θｙｎ）としている。ここで、ブレ分布記憶部１９４は、１〜Ｎ回のサンプリングにおける相対角度データの平均値を（θｘ_{（ａｖｅ）}，θｙ_{（ａｖｅ）}）とした場合に、（θｘ_{（ａｖｅ）}，θｙ_{（ａｖｅ）}）＝（０，０）となるように、サンプリングされた相対角度データの変換した状態で記憶する。 The shake distribution storage unit 194 stores the relative angle signal received from the integral calculation unit 192 during the exposure period in accordance with the exposure timing signal from the imaging control unit 193. FIG. 5 shows an example of a two-dimensional state of relative angle signal data stored in the shake distribution storage unit 194. In FIG. 5, data values of relative angles sampled at predetermined time intervals during the exposure period are indicated by black circles. In the present embodiment, the x-axis and the y-axis are defined so as to be orthogonal to each other on the photographing screen 30, as shown in FIG. In FIG. 5, θx represents an angle around the x axis, and θy represents an angle around the y axis. Further, in this embodiment, the total number of relative angles sampled during the exposure period is N, and the relative angle data sampled n times is (θxn, θyn). Here, the blur distribution storage unit 194 has (θx _(ave) , θy _(ave) when the average value of the relative angle data in 1 to N samplings is (θx _(ave) , θy _(ave)). ) = (0,0), and stores the sampled relative angle data in a converted state.

点像分布関数演算部１９５は、レンズ情報取得部１９１から送信された撮影倍率および収差特性を含むレンズ鏡筒２０の光学特性の情報に基づき、ブレ分布記憶部１９４に記憶された相対角度信号を、撮影画面３０上における像ブレ信号に変換するための点像分布関数を生成する。ここで、点像分布関数とは、点像がブレによりボケたときの強度分布を表す関数である。以下、点像分布関数演算部１９５による点像分布関数の生成方法について説明する。 The point spread function calculation unit 195 calculates the relative angle signal stored in the blur distribution storage unit 194 based on the information on the optical characteristics of the lens barrel 20 including the imaging magnification and aberration characteristics transmitted from the lens information acquisition unit 191. Then, a point spread function for converting to an image blur signal on the photographing screen 30 is generated. Here, the point spread function is a function representing an intensity distribution when the point image is blurred due to blurring. Hereinafter, a method of generating a point spread function by the point spread function calculation unit 195 will be described.

まず、点像分布関数演算部１９５により生成する点像分布関数について説明する。
撮影画面３０上の座標位置を（ｘ，ｙ）とし、ブレのない時の画像の画像情報を関数ｆ（ｘ，ｙ）とし、ブレにより劣化した画像の画像情報を関数ｇ（ｘ，ｙ）とし、ブレにより点像がボケた時の画像情報を点像分布関数ｈ（ｘ，ｙ）とすると、下記式（１）の関係が成立する。
ｆ（ｘ，ｙ）＊ｈ（ｘ，ｙ）＝ｇ（ｘ，ｙ） …（１）
ここで、上記式（１）において「＊」はコンボリューション演算を表す記号である。 First, the point spread function generated by the point spread function calculation unit 195 will be described.
The coordinate position on the photographing screen 30 is (x, y), the image information of the image when there is no blur is the function f (x, y), and the image information of the image deteriorated due to the blur is the function g (x, y). Assuming that the image information when the point image is blurred due to blurring is the point image distribution function h (x, y), the following equation (1) is established.
f (x, y) * h (x, y) = g (x, y) (1)
Here, in the above formula (1), “*” is a symbol representing convolution calculation.

上記式（１）の両辺をフーリエ変換すると、周波数領域において下記式（２）が成立する。
Ｆ（ｕ，ｖ）×Ｈ（ｕ，ｖ）＝Ｇ（ｕ，ｖ） …（２）
ここで、関数Ｇ（ｕ，ｖ），Ｆ（ｕ，ｖ），Ｈ（ｕ，ｖ）は、それぞれ関数ｇ（ｘ，ｙ），ｆ（ｘ，ｙ），ｈ（ｘ，ｙ）のフーリエ変換関数であり、また、ｕ，ｖは、それぞれｘ，ｙ方向の周波数を表す。 When both sides of the above equation (1) are Fourier transformed, the following equation (2) is established in the frequency domain.
F (u, v) × H (u, v) = G (u, v) (2)
Here, the functions G (u, v), F (u, v), and H (u, v) are Fouriers of the functions g (x, y), f (x, y), and h (x, y), respectively. It is a conversion function, and u and v represent frequencies in the x and y directions, respectively.

そして、上記式（２）の両辺をフーリエ変換関数Ｈ（ｕ，ｖ）で除すと下記式（３）となる。
Ｆ（ｕ，ｖ）＝Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ） …（３） Then, when both sides of the above equation (2) are divided by the Fourier transform function H (u, v), the following equation (3) is obtained.
F (u, v) = G (u, v) / H (u, v) (3)

さらに、上記式（３）を逆フーリエ変換すると、下記式（４）となり、これにより、ブレのない元の画像情報である関数ｆ（ｘ，ｙ）が得られる。
ｆ（ｘ，ｙ）＝Ｓ（Ｆ（ｕ，ｖ））＝Ｓ（Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）） …（４）
なお、上記式（４）において、Ｓ（）は逆フーリエ変換を表す。 Further, when the above expression (3) is subjected to inverse Fourier transform, the following expression (4) is obtained, and thereby a function f (x, y) which is original image information without blurring is obtained.
f (x, y) = S (F (u, v)) = S (G (u, v) / H (u, v)) (4)
In the above formula (4), S () represents inverse Fourier transform.

すなわち、上記式（１）〜（４）に基づいて、ブレにより劣化した画像関数のフーリエ変換を行い、これをブレによる点像分布関数のフーリエ変換で除し、更に逆フーリエ変換することにより、ブレのない元の画像関数を求めることができる。そのため、点像分布関数演算部１９５は、この点像分布関数ｈ（ｘ，ｙ）を求めるものであり、求めた点像分布関数ｈ（ｘ，ｙ）を、画像修復部１９６に送信する。そして、本実施形態では、点像分布関数演算部１９５により生成された点像分布関数ｈ（ｘ，ｙ）を用い、画像修復部１９６により、画像修復処理を行うことで、ブレのない元の画像を得ることを可能とするものである。 That is, based on the above formulas (1) to (4), the Fourier transform of the image function deteriorated by blurring is performed, and this is divided by the Fourier transform of the point spread function due to blurring, and further the inverse Fourier transform is performed. The original image function without blur can be obtained. Therefore, the point spread function calculation unit 195 obtains this point spread function h (x, y) and transmits the obtained point spread function h (x, y) to the image restoration unit 196. In the present embodiment, the image restoration process is performed by the image restoration unit 196 using the point spread function h (x, y) generated by the point spread function calculation unit 195, so that the original image without blurring is obtained. It is possible to obtain an image.

ここで、レンズ鏡筒２０の収差特性と、撮影画面３０上における、手ブレによる点像の移動との関係について、説明する。
図７は、カメラ１がｘ軸と水平な方向にブレた場合における、点像の移動位置および移動方向を示す図である。図７中においては、各点Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇは、カメラ１がブレる前における点像の位置を示している。 Here, the relationship between the aberration characteristics of the lens barrel 20 and the movement of the point image due to camera shake on the photographing screen 30 will be described.
FIG. 7 is a diagram illustrating the moving position and moving direction of the point image when the camera 1 is shaken in the direction horizontal to the x-axis. In FIG. 7, the points A, B, C, D, E, F, and G indicate the position of the point image before the camera 1 is shaken.

そして、図７に示すように、カメラ１が、ｘ軸と水平な方向にブレた場合には、撮影画面３０の中央部付近の点Ａに位置する点像は、ｘ軸と水平な方向に移動して、点Ａ’の位置まで移動することとなる。その一方で、撮影画面３０の中央上端部付近の点Ｂに位置する点像は、点Ａ→点Ａ’の移動と同様に、ｘ軸と水平な方向に移動して、点Ｂ’の位置まで移動する一方で、レンズ鏡筒２０の収差特性の影響により、点Ａ→点Ａ’の移動よりも、その移動距離が大きなものとなる。同様に、撮影画面３０の中央下端部付近の点Ｃに位置する点像も、点Ｂ→点Ｂ’の移動と同様に、レンズ鏡筒２０の収差特性の影響により、点Ｃ’の位置まで移動することになる。 As shown in FIG. 7, when the camera 1 is shaken in the direction horizontal to the x axis, the point image located at the point A near the center of the shooting screen 30 is in the direction horizontal to the x axis. It will move to the position of point A ′. On the other hand, the point image located at the point B near the center upper end of the photographing screen 30 moves in the direction parallel to the x-axis in the same manner as the movement from the point A to the point A ′, and the position of the point B ′. On the other hand, due to the influence of the aberration characteristic of the lens barrel 20, the movement distance becomes larger than the movement from the point A to the point A ′. Similarly, the point image located at the point C near the lower end of the center of the photographing screen 30 is also moved to the position of the point C ′ due to the influence of the aberration characteristic of the lens barrel 20 in the same manner as the movement from the point B to the point B ′. Will move.

さらには、撮影画面３０の左上端部付近の点Ｄに位置する点像については、カメラ１が、ｘ軸と水平な方向にブレた場合には、レンズ鏡筒２０の収差特性の影響により、ｘ軸と水平な方向ではなく、斜め方向に移動して、点Ｄ’の位置まで移動することとなる。同様に、点Ｅ，Ｆ，Ｇに位置する点像も、点Ｄ→点Ｄ’の移動と同様に、レンズ鏡筒２０のレンズ収差の影響により、斜め方向に移動して、点Ｅ’，Ｆ’，Ｇ’の位置まで移動することとなる。 Further, regarding the point image located at the point D near the upper left end of the photographing screen 30, when the camera 1 is shaken in the direction horizontal to the x axis, due to the influence of the aberration characteristics of the lens barrel 20, It moves not in the horizontal direction to the x-axis but in an oblique direction and moves to the position of point D ′. Similarly, the point images located at the points E, F, and G are also moved in an oblique direction due to the lens aberration of the lens barrel 20 in the same manner as the movement from the point D to the point D ′. It will move to the position of F ′, G ′.

すなわち、カメラ１が、ｘ軸と水平な方向にブレた場合には、撮影画面３０上の各点像は、一様に移動するのではなく、レンズ鏡筒２０の収差特性の影響により、異なる移動距離および移動方向で移動することとなる。 That is, when the camera 1 is shaken in the horizontal direction with respect to the x-axis, each point image on the photographing screen 30 does not move uniformly, but differs due to the influence of the aberration characteristics of the lens barrel 20. It moves with the moving distance and moving direction.

また、図８に示すように、カメラ１が、ｙ軸と水平な方向にブレた場合においても、ｘ軸と水平な方向にブレた場合と同様に、撮影画面３０上の各点像は、レンズ鏡筒２０の収差特性の影響により、異なる移動距離および移動方向で移動することとなる。すなわち、図８中において、各点Ｈ，Ｉ，Ｊ，Ｋ，Ｌ，Ｍ，Ｎに位置する各点像は、各点Ｈ’，Ｉ’，Ｊ’，Ｋ’，Ｌ’，Ｍ’，Ｎ’の位置まで移動することとなる。さらに、カメラ１が、ｘ軸またはｙ軸と水平な方向以外の方向にブレた場合においても同様の傾向となる。 Further, as shown in FIG. 8, even when the camera 1 is shaken in a direction horizontal to the y axis, each point image on the shooting screen 30 is Due to the influence of the aberration characteristics of the lens barrel 20, the lens barrel 20 moves at different movement distances and movement directions. That is, in FIG. 8, each point image located at each point H, I, J, K, L, M, N is represented by each point H ′, I ′, J ′, K ′, L ′, M ′, It will move to the position of N ′. Further, the same tendency occurs when the camera 1 is shaken in a direction other than the direction horizontal to the x-axis or the y-axis.

そのため、本実施形態においては、点像分布関数演算部１９５は、レンズ情報取得部１９１から送信されたレンズ鏡筒２０の光学特性の情報、特にレンズ鏡筒２０の収差特性を考慮して、点像分布関数の生成を行う。具体的には、レンズ鏡筒２０の収差特性に応じて、撮影画面３０上の各位置に対し、各位置（ｘ，ｙ）に対応した異なる複数の点像分布関数ｈ_ｘｙ（ｘ，ｙ）を生成する。 Therefore, in this embodiment, the point spread function calculation unit 195 takes into account the information on the optical characteristics of the lens barrel 20 transmitted from the lens information acquisition unit 191, particularly the aberration characteristics of the lens barrel 20. Generate an image distribution function. Specifically, a plurality of different point spread functions h _xy (x, y) corresponding to each position (x, y) for each position on the imaging screen 30 according to the aberration characteristics of the lens barrel 20. Is generated.

この場合において、点像分布関数演算部１９５は、レンズ鏡筒２０の収差特性ごとに、ブレ方向と、カメラ１が該ブレ方向にブレた場合における撮影画面３０上に存在する点像の移動方向および移動割合と、の関係を示すテーブルを備え、これを利用して、撮影画面３０上の各位置に対し、異なる複数の点像分布関数ｈ_ｘｙ（ｘ，ｙ）を生成するような構成とすることが望ましい。特に、本実施形態においては、レンズ鏡筒２０の収差特性ごとに、カメラ１がｘ軸と水平な方向にブレた場合におけるテーブル、およびｙ軸と水平な方向にブレた場合におけるテーブルを、それぞれ備える構成とすることが好適である。このような構成とすることにより、カメラ１が、ｘ軸またはｙ軸と水平な方向以外の斜め方向にブレた場合でも、ブレ分布記憶部１９４に記憶された相対角度信号を、ｘ軸方向およびｙ軸方向に分解し、撮影画面３０上の各点像における移動ベクトルを合成することで、撮影画面３０上の各点像の移動方向および移動距離を算出することができる。 In this case, for each aberration characteristic of the lens barrel 20, the point spread function calculation unit 195 moves the blur direction and the moving direction of the point image existing on the shooting screen 30 when the camera 1 blurs in the blur direction. And a table showing the relationship between the moving ratio and the movement ratio, and using this, a plurality of different point spread functions h _xy (x, y) are generated for each position on the photographing screen 30. It is desirable to do. In particular, in this embodiment, for each aberration characteristic of the lens barrel 20, a table when the camera 1 is shaken in a direction horizontal to the x axis and a table when the camera 1 is shaken in a direction horizontal to the y axis are respectively It is preferable to have a configuration provided. By adopting such a configuration, even when the camera 1 shakes in an oblique direction other than the direction parallel to the x-axis or the y-axis, the relative angle signal stored in the shake distribution storage unit 194 is converted into the x-axis direction and By decomposing in the y-axis direction and synthesizing the movement vectors in the respective point images on the shooting screen 30, the moving direction and moving distance of each point image on the shooting screen 30 can be calculated.

また、このようなテーブルを用いて、複数の点像分布関数を生成する場合においては、該テーブルとしては、撮影画面３０上の全ての位置について、ブレ方向と、カメラ１が該ブレ方向にブレた場合における撮影画面３０上に存在する点像の移動方向および移動割合と、の関係についてのデータを備えるものである必要はなく、これらの関係についてのデータが備えられていない位置については、補間により算出することで対応するような構成とすればよい。 Further, when a plurality of point spread functions are generated using such a table, the table includes the blur direction and the camera 1 in the blur direction for all positions on the shooting screen 30. It is not necessary to provide data on the relationship between the moving direction and the moving ratio of the point image existing on the photographing screen 30 in the case of the image, and interpolation is performed for positions where data on these relationships are not provided. It may be configured so as to cope with the above calculation.

なお、図９に、このようなテーブルの一例を示す。図９に示すテーブルにおいては、レンズ鏡筒２０が所定の収差特性を有する場合において、カメラ１がｘ軸と水平な方向にブレた場合における、図７に示す各点Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇに位置する点像の移動方向および移動割合の一例を示している。 FIG. 9 shows an example of such a table. In the table shown in FIG. 9, when the lens barrel 20 has a predetermined aberration characteristic, each point A, B, C, D shown in FIG. 7 when the camera 1 is shaken in a direction horizontal to the x-axis. , E, F, G shows an example of the moving direction and moving ratio of point images.

そのため、本実施形態では、点像分布関数演算部１９５は、レンズ情報取得部１９１から送信された撮影倍率および収差特性を含むレンズ鏡筒２０の光学特性の情報に基づき、撮影画面３０の各位置における点像分布関数ｈ_ｘｙ（ｘ，ｙ）を求め、これを画像修復部１９６に送信する。 Therefore, in the present embodiment, the point spread function calculation unit 195 is based on the information on the optical characteristics of the lens barrel 20 including the imaging magnification and the aberration characteristics transmitted from the lens information acquisition unit 191. The point spread function h _xy (x, y) at is obtained and transmitted to the image restoration unit 196.

なお、収差特性以外のレンズ鏡筒２０の光学特性、特に、レンズ鏡筒２０の撮影倍率によっても、上述のように、撮影画面３０上に存在する点像の移動方向および移動割合は変化する傾向にある。そのため、点像分布関数演算部１９５は、上記に加えて、撮影倍率をさらに考慮して、撮影画面３０上の各位置に対し、異なる複数の点像分布関数ｈ_ｘｙ（ｘ，ｙ）を生成するものであることがより望ましい。この場合においても、カメラ制御部１９が、レンズ鏡筒２０の撮影倍率ごとに、カメラ１がｘ軸と水平な方向にブレた場合におけるテーブル、およびｙ軸と水平な方向にブレた場合におけるテーブルを、それぞれ備える構成とし、点像分布関数演算部１９５は、これを参照するような構成とすることが望ましい。
また、上述の例では、撮影光学系の特性がたる型の歪曲収差特性をもつ場合について、説明したが、撮影光学系の収差特性が糸巻き型の特性等、たる型とは異なる特性をもつ場合であっても同様に適用することができる。 Note that the moving direction and moving ratio of the point image existing on the shooting screen 30 tend to change depending on the optical characteristics of the lens barrel 20 other than the aberration characteristics, in particular, the shooting magnification of the lens barrel 20 as described above. It is in. Therefore, in addition to the above, the point spread function calculation unit 195 further generates a plurality of different point spread functions h _xy (x, y) for each position on the shooting screen 30 in consideration of the shooting magnification. It is more desirable to do. Also in this case, the camera control unit 19 sets the table when the camera 1 is shaken in the direction parallel to the x axis and the table when the camera 1 is shaken in the direction parallel to the y axis for each photographing magnification of the lens barrel 20. Are preferably provided, and the point spread function calculation unit 195 is preferably configured to refer to this.
In the above example, the case where the characteristics of the photographing optical system have a barrel distortion characteristic has been described. However, the case where the aberration characteristics of the photographing optical system have characteristics different from the barrel type, such as a pincushion type characteristic. However, it can be similarly applied.

なお、本実施形態においては、点像分布関数演算部１９５により、異なる複数の点像分布関数ｈ_ｘｙ（ｘ，ｙ）を求める際においては、まず、撮影倍率および収差特性を含むレンズ鏡筒２０の光学特性を考慮せずに、ブレ分布記憶部１９４に記憶された相対角度信号から、該相対角度信号に応じた点像分布関数ｈ（ｘ，ｙ）を算出するための演算を行い、次いで、撮影倍率および収差特性を含むレンズ鏡筒２０の光学特性に基づいて、撮影画面３０の各位置（ｘ，ｙ）ごとに、異なる複数の点像分布関数ｈ_ｘｙ（ｘ，ｙ）を算出するための演算を行うような構成としてもよいし、あるいは、これらの演算を同時に行うような構成としてもよい。 In the present embodiment, when the point spread function calculation unit 195 obtains a plurality of different point spread functions h _xy (x, y), first, the lens barrel 20 including the photographing magnification and the aberration characteristics. Without calculating the optical characteristics of the image, a calculation for calculating the point spread function h (x, y) corresponding to the relative angle signal is performed from the relative angle signal stored in the blur distribution storage unit 194, and then A plurality of different point spread functions h _xy (x, y) are calculated for each position (x, y) on the imaging screen 30 based on the optical characteristics of the lens barrel 20 including the imaging magnification and aberration characteristics. It is also possible to adopt a configuration for performing the calculation for the above, or a configuration for performing these calculations simultaneously.

画像修復部１９６は、メモリ１６に格納された画像信号を読み出し、点像分布関数演算部１９５により求められた撮影画面３０の各位置に対する、複数の点像分布関数ｈ_ｘｙ（ｘ，ｙ）を用いて、上記式（１）〜（４）に基づいて、読み出した画像信号について、ブレにより劣化した画像関数のフーリエ変換を行い、これをブレによる点像分布関数のフーリエ変換で除し、更に逆フーリエ変換することにより、画像修復処理を施すことにより、修復画像信号を生成し、これをメモリ１６に格納する。 The image restoration unit 196 reads the image signal stored in the memory 16 and calculates a plurality of point spread functions h _xy (x, y) for each position on the shooting screen 30 obtained by the point spread function calculation unit 195. Using the above-described equations (1) to (4), the read image signal is subjected to Fourier transform of the image function deteriorated due to blur, and this is divided by the Fourier transform of the point spread function due to blur, By performing image restoration processing by inverse Fourier transform, a repaired image signal is generated and stored in the memory 16.

次に動作を説明する。 Next, the operation will be described.

図１０は、本実施形態に係るカメラ１の修復画像信号の生成処理における動作を示すフローチャートである。なお、本実施形態に係る修復画像信号の生成処理は、操作部１４に備えられたシャッターレリーズボタンが押下げられる（ステップＳ１）ことにより、開始する。 FIG. 10 is a flowchart showing an operation in the repair image signal generation process of the camera 1 according to the present embodiment. The restoration image signal generation process according to the present embodiment is started when the shutter release button provided in the operation unit 14 is pressed (step S1).

まず、ステップＳ１において、操作部１４に備えられたシャッターレリーズボタンが押下げられることにより、操作部１４から撮影者による操作に応じたレリーズ信号が、カメラ制御部１９の撮影制御部１９３に入力されると、ステップＳ２に進み、撮影制御部１９３により、撮像素子１１の露光時間の設定が行われる。また、撮影制御部１９３は、ブレ分布記憶部１９４に露光タイミング信号を送信する。 First, in step S <b> 1, when a shutter release button provided in the operation unit 14 is pressed, a release signal corresponding to an operation by the photographer is input from the operation unit 14 to the shooting control unit 193 of the camera control unit 19. Then, the process proceeds to step S <b> 2, and the shooting control unit 193 sets the exposure time of the image sensor 11. In addition, the imaging control unit 193 transmits an exposure timing signal to the blur distribution storage unit 194.

ステップＳ３では、ステップＳ２にて設定された露光時間に基づいて、撮像素子１１への露光が開始され、撮像素子１１により、被写体像の撮影が行われる。そして、撮像素子１１により出力された画像信号は、Ａ／Ｄ変換器１５により、デジタル画像信号に変換され、メモリ１６に格納される。 In step S <b> 3, exposure to the image sensor 11 is started based on the exposure time set in step S <b> 2, and a subject image is taken by the image sensor 11. The image signal output from the image sensor 11 is converted into a digital image signal by the A / D converter 15 and stored in the memory 16.

ステップＳ４では、カメラ制御部１９のブレ分布記憶部１９４により、ステップＳ２にて受信した撮影制御部１９３からの露光タイミング信号に応じて、露光期間中における、積分演算部１９２から受信した角速度センサＶ１２および角速度センサＨ１３に基づく相対角度信号の記憶が行われる。記憶された相対角度信号は、点像分布関数演算部１９５に送られる。なお、ステップＳ４は、ステップＳ３と同時に行われる。 In step S4, the angular velocity sensor V12 received from the integral calculation unit 192 during the exposure period according to the exposure timing signal from the imaging control unit 193 received in step S2 by the blur distribution storage unit 194 of the camera control unit 19. And the relative angle signal based on the angular velocity sensor H13 is stored. The stored relative angle signal is sent to the point spread function calculation unit 195. Step S4 is performed simultaneously with step S3.

ステップＳ５では、カメラ制御部１９のレンズ情報取得部１９１により、レンズ鏡筒２０の光学特性に関する情報の取得、および取得した情報に基づく、撮影倍率および収差特性を含むレンズ鏡筒２０の光学特性の特定が行われる。そして、特定されたレンズ鏡筒２０の光学特性は、カメラ制御部１９の点像分布関数演算部１９５に送られる。なお、レンズ鏡筒２０の光学特性に関する情報の取得、および取得した情報に基づく、レンズ鏡筒２０の光学特性の特定は、シャッターレリーズボタンの押下げが行われる前に予め行っておくような構成としてもよい。 In step S5, the lens information acquisition unit 191 of the camera control unit 19 acquires information on the optical characteristics of the lens barrel 20, and the optical characteristics of the lens barrel 20 including the imaging magnification and aberration characteristics based on the acquired information. Identification is done. The specified optical characteristics of the lens barrel 20 are sent to the point spread function calculation unit 195 of the camera control unit 19. In addition, the acquisition of information regarding the optical characteristics of the lens barrel 20 and the specification of the optical characteristics of the lens barrel 20 based on the acquired information are performed in advance before the shutter release button is pressed. It is good.

ステップＳ６では、カメラ制御部１９の点像分布関数演算部１９５により、ステップＳ５においてレンズ情報取得部１９１から送られた撮影倍率および収差特性を含むレンズ鏡筒２０の光学特性の情報に基づいて、ステップＳ４において記憶された相対角度信号を、画面上における像ブレ信号に変換するための点像分布関数の生成が行われる。なお、本実施形態においては、上述したように、点像分布関数演算部１９５は、撮影画面３０上の各位置に対応した異なる複数の点像分布関数ｈ_ｘｙ（ｘ，ｙ）の生成を行う。そして、生成された異なる複数の点像分布関数ｈ_ｘｙ（ｘ，ｙ）は、カメラ制御部１９の画像修復部１９６に送られる。 In step S6, the point spread function calculation unit 195 of the camera control unit 19 based on the optical characteristic information of the lens barrel 20 including the photographing magnification and the aberration characteristic sent from the lens information acquisition unit 191 in step S5. A point spread function for converting the relative angle signal stored in step S4 into an image blur signal on the screen is generated. In the present embodiment, as described above, the point spread function calculation unit 195 generates a plurality of different point spread functions h _xy (x, y) corresponding to the respective positions on the shooting screen 30. . Then, the plurality of generated different point spread functions h _xy (x, y) are sent to the image restoration unit 196 of the camera control unit 19.

ステップＳ７では、画像修復部１９６により、ステップＳ８にて生成された点像分布関数ｈ_ｘｙ（ｘ，ｙ）を用いて、メモリ１６に格納された画像信号について、画像修復処理が実行され、生成した修復画像信号が、メモリ１６に格納される。
以上のようにして、本実施形態に係る修復画像信号の生成処理は実行される。 In step S7, the image restoration unit 196 performs image restoration processing on the image signal stored in the memory 16 using the point spread function h _xy (x, y) generated in step S8, and generates the image signal. The restored image signal is stored in the memory 16.
As described above, the restoration image signal generation process according to the present embodiment is executed.

本実施形態によれば、ブレ分布記憶部１９４に記憶された相対角度信号を、撮影画面３０上における像ブレ信号に変換するための点像分布関数を求める際に、撮影倍率および収差特性を含むレンズ鏡筒２０の光学特性の情報に基づいて、撮影画面３０上の各位置に対し、各位置（ｘ，ｙ）に対応した異なる複数の点像分布関数ｈ_ｘｙ（ｘ，ｙ）を求め、そしてこれを用いて、画像信号の修復処理を行う。そのため、本実施形態によれば、撮影倍率および収差特性を含むレンズ鏡筒２０の光学特性の影響を受けずに、画像の修復を適切に行うことができ、これにより良好な修復画像を得ることができる。 According to the present embodiment, when obtaining a point spread function for converting the relative angle signal stored in the shake distribution storage unit 194 into an image shake signal on the shooting screen 30, the shooting magnification and aberration characteristics are included. Based on the optical characteristic information of the lens barrel 20, a plurality of different point spread functions h _xy (x, y) corresponding to each position (x, y) are obtained for each position on the imaging screen 30; Then, using this, the image signal is repaired. Therefore, according to the present embodiment, it is possible to appropriately repair the image without being affected by the optical characteristics of the lens barrel 20 including the imaging magnification and the aberration characteristics, thereby obtaining a good repaired image. Can do.

なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。 The embodiment described above is described for facilitating the understanding of the present invention, and is not described for limiting the present invention. Therefore, each element disclosed in the above embodiment is intended to include all design changes and equivalents belonging to the technical scope of the present invention.

たとえば、上述の実施形態では、交換可能なレンズ鏡筒２０を備えるデジタルカメラ１に本発明の撮影装置を適用した例について説明したが、本発明の撮影装置としては、特にこれに限定されず、レンズが一体化され、レンズが着脱できないような構成を備えるカメラや、ビデオカメラ、携帯電話用のカメラなどのその他の光学機器に本発明を適用してもよい。また、本発明の撮影装置としては、レンズを備えないカメラボディのみも当然含まれる。
また、図１０のステップＳ６及びＳ７をパーソナルコンピューター（以下、ＰＣと称する。）で実行することも好ましい。この場合、記憶媒体（図示せず）を用いて、上述した光学特性の情報、相対角度信号、画像信号などを互いに関連付けた状態でＰＣに供給することにより、ＰＣのプログラムは、供給された情報、信号を用いて、上述したステップＳ６及びＳ７を実行することができる。また、カメラで上述した図１０のステップＳ１〜Ｓ６を行い、記録媒体を用いて上述した複数の点像分布関数ｈ_ｘｙ（ｘ，ｙ）、画像信号などを互いに関連付けた状態でＰＣに供給し、ＰＣのプログラムがステップＳ７を実行することも好ましい。 For example, in the above-described embodiment, the example in which the photographing apparatus of the present invention is applied to the digital camera 1 including the interchangeable lens barrel 20 has been described. However, the photographing apparatus of the present invention is not particularly limited thereto, The present invention may be applied to other optical devices such as a camera having a configuration in which a lens is integrated and the lens cannot be attached and detached, a video camera, and a camera for a mobile phone. In addition, the photographing apparatus of the present invention naturally includes only a camera body that does not include a lens.
It is also preferable to execute steps S6 and S7 in FIG. 10 with a personal computer (hereinafter referred to as a PC). In this case, by using a storage medium (not shown) and supplying the above-described optical characteristic information, relative angle signal, image signal, and the like to the PC in a state of being associated with each other, the PC program can supply the supplied information. The above-described steps S6 and S7 can be executed using the signal. Further, the above-described steps S1 to S6 in FIG. 10 are performed by the camera, and the above-described plurality of point spread functions h _xy (x, y), image signals, and the like are supplied to the PC in a state of being associated with each other using the recording medium. It is also preferred that the PC program executes step S7.

また、上述した実施形態では、レンズ鏡筒２０の光学特性に関する情報を取得するためのレンズ情報取得部１９１を、カメラボディ１０に備えられたカメラ制御部１９に備えるような構成を例示したが、レンズ情報取得部１９１は、レンズ鏡筒２０に備えられたレンズ制御部２２に備えられているような構成としてもよい。 In the above-described embodiment, the configuration in which the lens control unit 19 provided in the camera body 10 includes the lens information acquisition unit 191 for acquiring information related to the optical characteristics of the lens barrel 20 has been exemplified. The lens information acquisition unit 191 may be configured to be provided in the lens control unit 22 provided in the lens barrel 20.

さらに、上述した実施形態では、画像修復部１９６により、点像分布関数演算部１９５により求められた複数の点像分布関数Ｈ_ｘｙ（ｕ，ｖ）により、画像信号の修復を行い、得られた修復画像信号をメモリ１６に格納するような構成としたが、画像修復部１９６により画像信号の修復を行わずに、点像分布関数演算部１９５により求められた複数の点像分布関数Ｈ_ｘｙ（ｕ，ｖ）を、対応する画像信号に関連付けて、メモリ１６に格納するような構成としてもよい。そして、この場合においては、メモリ１６に格納された画像信号と、該画像信号に関連付けて格納された複数の点像分布関数Ｈ_ｘｙ（ｕ，ｖ）とをカメラ１以外の画像処理装置に送信し、カメラ１以外の画像処理装置により、修復画像信号を生成するような構成としてもよい。 Further, in the above-described embodiment, the image restoration unit 196 restores the image signal using the plurality of point spread function H _xy (u, v) obtained by the point spread function calculation unit 195, and the obtained image signal is obtained. The repaired image signal is stored in the memory 16, but the image restoration unit 196 does not restore the image signal, and a plurality of point spread functions H _xy ( u, v) may be stored in the memory 16 in association with the corresponding image signal. In this case, the image signal stored in the memory 16 and a plurality of point spread functions H _xy (u, v) stored in association with the image signal are transmitted to an image processing apparatus other than the camera 1. However, the repaired image signal may be generated by an image processing apparatus other than the camera 1.

１…デジタルカメラ
１０…カメラボディ
１１…撮像素子
１２，１３…角速度センサ
１４…操作部
１５…Ａ／Ｄ変換器
１６…メモリ
１７…液晶表示部
１８…記録媒体
１９…カメラ制御部
２０…レンズ鏡筒
２１…撮影レンズ
２２…レンズ制御部
２３…ドライバ DESCRIPTION OF SYMBOLS 1 ... Digital camera 10 ... Camera body 11 ... Imaging element 12, 13 ... Angular velocity sensor 14 ... Operation part 15 ... A / D converter 16 ... Memory 17 ... Liquid crystal display part 18 ... Recording medium 19 ... Camera control part 20 ... Lens mirror Tube 21 ... Shooting lens 22 ... Lens control unit 23 ... Driver

Claims

A photographing unit for photographing an image by an optical system and generating a photographed image;
An information acquisition unit for acquiring information on aberrations of the optical system;
A blur detection unit for detecting blur;
Each aberration of the optical system, by using the blur direction, and a table showing the relationship between the moving direction and the moving rate of a point image located at a particular position in the shooting screen, the blur detected by the blur detection unit A calculation unit that calculates a point spread function for correcting blur of the captured image,
The calculation unit performs the complementary calculation using the relationship between the movement direction and the movement ratio of the point image at the specific position in the table, thereby calculating the point spread function at a position different from the specific position. An imaging apparatus characterized by calculating .

An imaging apparatus according to claim 1 ,
The information acquisition unit acquires information related to a focal length of the optical system in addition to information related to aberrations of the optical system.

The imaging device according to claim 1 or 2 ,
An imaging apparatus comprising: a correction unit that corrects blurring of the captured image using the point spread function.

An input unit for inputting a photographed image, information on aberrations of the optical system , and information on blur of the photographing apparatus;
Each aberration of the optical system, by using the blur direction, and a table showing the relationship between the moving direction and the moving rate of a point image located at a particular position in the shooting screen, and information about motion of the imaging device, wherein A calculation unit that calculates a point spread function for correcting blurring of a captured image,
The calculation unit performs the complementary calculation using the relationship between the movement direction and the movement ratio of the point image at the specific position in the table, thereby calculating the point spread function at a position different from the specific position. An image processing apparatus characterized by calculating .

An image processing apparatus according to claim 4 ,
The image processing apparatus according to claim 1, wherein information regarding a focal length of the optical system is further input to the input unit.

An image processing apparatus according to claim 4 or 5 , wherein
An image processing apparatus comprising: a correction unit that corrects blurring of the photographed image using the point spread function.