JP5933306B2

JP5933306B2 - Imaging device

Info

Publication number: JP5933306B2
Application number: JP2012066138A
Authority: JP
Inventors: 浩一新谷; 加藤　茂; 茂加藤; 篤史高橋; 金子　哲也; 哲也金子; 貴史丸藤
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2012-03-22
Filing date: 2012-03-22
Publication date: 2016-06-08
Anticipated expiration: 2032-03-22
Also published as: JP2013198109A

Description

本発明は、被写体を撮像して該被写体の画像データを生成する撮像装置に関する。 The present invention relates to an imaging apparatus that images a subject and generates image data of the subject.

従来、一つの撮影画像から２個の異なる画像を生成し、両画像を１画面分の画像に合成して表示することができる撮像装置が知られている（例えば、特許文献１を参照）。この撮像装置では、撮影画面内の部分領域である第１の領域の画像信号と、第１の領域に含まれる第２の領域の画像信号とを抽出し、第２の領域の画像信号を第１の領域を除いた領域のサイズに拡大して第１の領域の画像信号と合成することにより、１画面分の表示用の画像信号を生成する。 2. Description of the Related Art Conventionally, there has been known an imaging apparatus that can generate two different images from one photographed image and synthesize and display both images on an image for one screen (see, for example, Patent Document 1). In this imaging apparatus, an image signal of a first area, which is a partial area in the shooting screen, and an image signal of a second area included in the first area are extracted, and the image signal of the second area is extracted from the first area. An image signal for display for one screen is generated by enlarging the size of the area excluding the one area and combining it with the image signal of the first area.

ところで、撮影画面内の部分領域の画像（部分画像）の場合、一般に撮影画面とは画面中心の位置が異なる。このため、光学系がコマ収差や倍率色収差等の非対称収差を有している場合には、部分画像において収差の影響（コマ収差における光点ボケなど）がアンバランスで不自然に見えてしまうことがあった。 By the way, in the case of an image (partial image) of a partial area in the shooting screen, the position of the screen center is generally different from that of the shooting screen. For this reason, when the optical system has asymmetrical aberrations such as coma and lateral chromatic aberration, the influence of aberrations (such as light spot blur in coma) appears unbalanced and unnatural in partial images. was there.

上述した非対称収差の影響を補正する技術として、撮像系の光学伝達係数（ＯＴＦ）に基づいて生成または選択された画像回復フィルタによって画像の位相劣化成分を低減させる補正を行う技術が開示されている（例えば、特許文献２を参照）。 As a technique for correcting the influence of the above-described asymmetric aberration, a technique for correcting a phase deterioration component of an image by an image restoration filter generated or selected based on an optical transmission coefficient (OTF) of an imaging system is disclosed. (For example, see Patent Document 2).

特開平５−２５２４４０号公報JP-A-5-252440 特開２０１１−１２３５８９号公報JP 2011-123589 A

しかしながら、上述した特許文献２に記載の技術は、あくまでも画面全体における画質の劣化を防止するものであり、画面の一部である部分画像に生じる不自然さを解消することは想定されていなかった。 However, the technique described in Patent Document 2 described above merely prevents deterioration of image quality in the entire screen, and it has not been assumed to eliminate unnaturalness that occurs in a partial image that is a part of the screen. .

本発明は、上記に鑑みてなされたものであって、撮像画像の部分画像において収差に基づいて生じる不自然さを解消することができる撮像装置を提供することを目的とする。 The present invention has been made in view of the above, and an object of the present invention is to provide an imaging apparatus that can eliminate unnaturalness caused by aberration in a partial image of a captured image.

上述した課題を解決し、目的を達成するために、本発明に係る撮像装置は、被写体からの光を集光して結像する光学系と、該光学系が結像した光を光電変換することによって画像データを生成する撮像素子と、前記画像データに対応する画像を表示可能な表示部とを備え、前記表示部が表示する画像中で指定された領域に対応する部分画像を撮影可能な撮像装置であって、前記光学系が有する光学特性に基づいて、前記部分画像における非対称部分を補正する補正部を備えたことを特徴とする。 In order to solve the above-described problems and achieve the object, an imaging apparatus according to the present invention photoelectrically converts an optical system that focuses light from a subject and forms an image, and light that is formed by the optical system An image sensor for generating image data and a display unit capable of displaying an image corresponding to the image data, and capable of capturing a partial image corresponding to a region designated in the image displayed by the display unit The imaging apparatus includes a correction unit that corrects an asymmetric part in the partial image based on optical characteristics of the optical system.

また、本発明に係る撮像装置は、上記発明において、前記部分画像に対して前記補正部による補正が必要であるか否かを判定する判定部をさらに備え、前記補正部は、前記判定部によって補正が必要であると判定された場合に前記部分画像の補正を行うことを特徴とする。 The imaging apparatus according to the present invention further includes a determination unit that determines whether or not the correction by the correction unit is necessary for the partial image in the above-described invention, and the correction unit is configured by the determination unit. The partial image is corrected when it is determined that correction is necessary.

また、本発明に係る撮像装置は、上記発明において、前記補正部は、前記光学系の非対称収差に起因して前記部分画像に生じた非対称部分を対称化することを特徴とする。 In the imaging device according to the present invention, the correction unit symmetrizes an asymmetric portion generated in the partial image due to the asymmetric aberration of the optical system.

また、本発明に係る撮像装置は、上記発明において、前記非対称収差はコマ収差であり、前記非対称部分は光点のボケであることを特徴とする。 The imaging device according to the present invention is characterized in that, in the above-mentioned invention, the asymmetric aberration is coma aberration, and the asymmetric part is blurring of a light spot.

また、本発明に係る撮像装置は、上記発明において、前記補正部は、前記光学系の周辺光量の低下に起因して前記部分画像に生じた非対称部分を対称化することを特徴とする。 The image pickup apparatus according to the present invention is characterized in that, in the above-described invention, the correction unit symmetrizes an asymmetric part generated in the partial image due to a decrease in a peripheral light amount of the optical system.

また、本発明に係る撮像装置は、上記発明において、前記表示部が表示する画像および前記部分画像を並行して撮像可能であることを特徴とする。 In the image pickup apparatus according to the present invention, the image displayed on the display unit and the partial image can be picked up in parallel.

また、本発明に係る撮像装置は、上記発明において、前記撮像素子、前記表示部、および前記補正部を含む本体部と、前記光学系、および前記光学系の光学特性情報を記録する光学特性情報記録部を含み、前記本体部との間で通信可能であるとともに前記本体部に対して着脱自在であるレンズ部と、を有し、前記補正部は、前記レンズ部から受信した前記光学特性情報に基づいて前記部分画像の補正を行うことを特徴とする。 Further, the imaging apparatus according to the present invention is the above-described invention, wherein the imaging device, the display unit, and the main unit including the correction unit, the optical system, and optical characteristic information that records optical characteristic information of the optical system. A lens unit including a recording unit and capable of communicating with the main body unit and detachable from the main body unit, and the correction unit receives the optical characteristic information received from the lens unit The partial image is corrected based on the above.

また、本発明に係る撮像装置は、上記発明において、前記表示部の表示画面に重ねて設けられ、外部からの接触位置に応じて前記部分領域を指定する信号の入力を受け付ける入力部をさらに備えたことを特徴とする。 The imaging apparatus according to the present invention further includes an input unit that is provided so as to overlap the display screen of the display unit and receives an input of a signal that specifies the partial region according to a contact position from the outside. It is characterized by that.

本発明によれば、光学系が有する光学特性に基づいて撮像画像の部分画像における非対称部分を補正するため、撮像画像の部分画像において収差に基づいて生じる不自然さを解消することができる。 According to the present invention, since the asymmetric part in the partial image of the captured image is corrected based on the optical characteristics of the optical system, unnaturalness caused by the aberration in the partial image of the captured image can be eliminated.

図１は、本発明の実施の形態１に係る撮像装置の構成を示すブロック図である。FIG. 1 is a block diagram showing a configuration of an imaging apparatus according to Embodiment 1 of the present invention. 図２は、本発明の実施の形態１に係る撮像装置のレンズ情報記録部が記録する光学特性情報の例を示す図である。FIG. 2 is a diagram illustrating an example of optical characteristic information recorded by the lens information recording unit of the imaging apparatus according to Embodiment 1 of the present invention. 図３は、図２に示す光学特性情報をグラフ化した図（ＭＴＦチャート）である。FIG. 3 is a graph (MTF chart) in which the optical characteristic information shown in FIG. 2 is graphed. 図４は、本発明の実施の形態１に係る撮像装置が備える制御部とレンズ制御部との同期通信の一例を示すタイミングチャートである。FIG. 4 is a timing chart illustrating an example of synchronous communication between the control unit and the lens control unit included in the imaging apparatus according to Embodiment 1 of the present invention. 図５は、本発明の実施の形態１に係る撮像装置を用いて撮影を行う状況を模式的に示す図である。FIG. 5 is a diagram schematically showing a situation in which shooting is performed using the imaging apparatus according to Embodiment 1 of the present invention. 図６は、本発明の実施の形態１に係る撮像装置が図５に示す状況で撮像した場合の表示部におけるスルー画表示の画面表示例を示す図である。FIG. 6 is a diagram showing a screen display example of a through image display on the display unit when the imaging apparatus according to Embodiment 1 of the present invention captures an image in the situation shown in FIG. 図７は、本発明の実施の形態１に係る撮像装置が備える切出し処理部が切出した部分画像における補正処理の概要を示す図である。FIG. 7 is a diagram showing an outline of the correction process in the partial image cut out by the cut-out processing unit included in the imaging apparatus according to Embodiment 1 of the present invention. 図８は、本発明の実施の形態１に係る撮像装置が行う処理の概要を示すフローチャートである。FIG. 8 is a flowchart showing an outline of processing performed by the imaging apparatus according to Embodiment 1 of the present invention. 図９は、本発明の実施の形態１に係る撮像装置が備える切出し処理部が切出した部分画像を模式的に示す図である。FIG. 9 is a diagram schematically showing a partial image cut out by the cut-out processing unit included in the imaging apparatus according to Embodiment 1 of the present invention. 図１０は、図９に示す光点のサジタル方向における輝度分布を示す図である。FIG. 10 is a diagram showing a luminance distribution in the sagittal direction of the light spot shown in FIG. 図１１は、図９に示す光点のメリジオナル方向における輝度分布を示す図である。FIG. 11 is a diagram showing a luminance distribution in the meridional direction of the light spot shown in FIG. 図１２は、本発明の実施の形態１に係る撮像装置が行う画像補正処理の概要を示すフローチャートである。FIG. 12 is a flowchart showing an outline of image correction processing performed by the imaging apparatus according to Embodiment 1 of the present invention. 図１３は、ボケ部の周辺が低コントラストである場合の処理の概要を模式的に示す図である。FIG. 13 is a diagram schematically illustrating an outline of processing in the case where the periphery of the blurred portion has low contrast. 図１４は、本発明の実施の形態１に係る撮像装置の補正部が行う対称化処理における光点の輝度分布の変化を示す図である。FIG. 14 is a diagram illustrating a change in luminance distribution of light spots in the symmetrization process performed by the correction unit of the imaging apparatus according to Embodiment 1 of the present invention. 図１５は、本発明の実施の形態１に係る撮像装置の補正部が行うボケ部の補正処理（第１例）の概要を示す図である。FIG. 15 is a diagram illustrating an outline of a blur correction process (first example) performed by the correction unit of the imaging apparatus according to Embodiment 1 of the present invention. 図１６は、本発明の実施の形態１に係る撮像装置の補正部が行うボケ部の補正処理（第２例）の概要を示す図である。FIG. 16 is a diagram illustrating an outline of a blur correction process (second example) performed by the correction unit of the imaging apparatus according to Embodiment 1 of the present invention. 図１７は、本発明の実施の形態１に係る撮像装置が表示部が主画像と部分画像をともに表示するスルー画の表示例を示す図である。FIG. 17 is a diagram illustrating a display example of a through image in which the display device displays both the main image and the partial image in the imaging apparatus according to Embodiment 1 of the present invention. 図１８は、本発明の実施の形態２に係る撮像装置が行う処理の概要を示すフローチャートである。FIG. 18 is a flowchart illustrating an outline of processing performed by the imaging apparatus according to Embodiment 2 of the present invention. 図１９は、本発明の実施の形態２に係る撮像装置が行う画像補正処理の概要を示すフローチャートである。FIG. 19 is a flowchart showing an outline of image correction processing performed by the imaging apparatus according to Embodiment 2 of the present invention. 図２０は、本発明の実施の形態２に係る撮像装置が行うボケ部の記録処理を説明する図である。FIG. 20 is a diagram for explaining a blur recording process performed by the imaging apparatus according to Embodiment 2 of the present invention. 図２１は、本発明の実施の形態２に係る撮像装置が行う画像補正処理の概要を示す図である。FIG. 21 is a diagram showing an overview of image correction processing performed by the imaging apparatus according to Embodiment 2 of the present invention. 図２２は、本発明の実施の形態３に係る撮像装置が処理対象とする画像の例を示す図である。FIG. 22 is a diagram illustrating an example of an image to be processed by the imaging apparatus according to Embodiment 3 of the present invention. 図２３は、本発明の実施の形態３に係る撮像装置のレンズ情報記録部が記録する周辺光量と画像の像高との関係を示す図である。FIG. 23 is a diagram illustrating the relationship between the amount of peripheral light recorded by the lens information recording unit of the imaging apparatus according to Embodiment 3 of the present invention and the image height of the image. 図２４は、本発明の実施の形態３に係る撮像装置が行う画像補正処理の概要を模式的に示す図である。FIG. 24 is a diagram schematically showing an outline of image correction processing performed by the imaging apparatus according to Embodiment 3 of the present invention.

以下、添付図面を参照して、本発明を実施するための形態（以下、「実施の形態」という）を説明する。 DESCRIPTION OF EMBODIMENTS Hereinafter, embodiments for carrying out the present invention (hereinafter referred to as “embodiments”) will be described with reference to the accompanying drawings.

（実施の形態１）
図１は、本発明の実施の形態１に係る撮像装置の構成を示すブロック図である。同図に示す撮像装置１は、本体部２と、本体部２に着脱自在なレンズ部３と、を備える。また、撮像装置１の本体部２には、アクセサリ部４を着脱自在に取付可能である。 (Embodiment 1)
FIG. 1 is a block diagram showing a configuration of an imaging apparatus according to Embodiment 1 of the present invention. An imaging apparatus 1 shown in FIG. 1 includes a main body unit 2 and a lens unit 3 that is detachable from the main body unit 2. Moreover, the accessory part 4 can be attached to the main-body part 2 of the imaging device 1 so that attachment or detachment is possible.

本体部２は、シャッタ１０と、シャッタ駆動部１１と、撮像素子１２と、撮像素子駆動部１３と、信号処理部１４と、Ａ／Ｄ変換部１５と、画像処理部１６と、ＡＥ処理部１７と、ＡＦ処理部１８と、画像圧縮展開部１９と、入力部２０と、表示部２１と、表示駆動部２２と、記録媒体２３と、メモリＩ／Ｆ２４と、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）２５と、Ｆｌａｓｈメモリ２６と、本体通信部２７と、第２通信部２８と、制御部２９と、を備える。本体部２内部のデータの転送は、バス２Ｂを介して行われる。 The main body 2 includes a shutter 10, a shutter driving unit 11, an image sensor 12, an image sensor driving unit 13, a signal processing unit 14, an A / D conversion unit 15, an image processing unit 16, and an AE processing unit. 17, AF processing unit 18, image compression / decompression unit 19, input unit 20, display unit 21, display drive unit 22, recording medium 23, memory I / F 24, SDRAM (Synchronous Dynamic Random Access Memory) ) 25, a flash memory 26, a main body communication unit 27, a second communication unit 28, and a control unit 29. Data in the main body 2 is transferred via the bus 2B.

シャッタ１０は、撮像素子１２の状態を露光状態または遮光状態に設定する。シャッタ駆動部１１は、ステッピングモータ等を用いて構成され、制御部２９から入力される指示信号に応じてシャッタ１０を駆動する。 The shutter 10 sets the state of the image sensor 12 to an exposure state or a light shielding state. The shutter drive unit 11 is configured using a stepping motor or the like, and drives the shutter 10 in accordance with an instruction signal input from the control unit 29.

撮像素子１２は、レンズ部３が集光した光を受光して電気信号に変換するＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等を用いて構成される。撮像素子駆動部１３は、所定のタイミングで撮像素子１２から画像データ（アナログ信号）を信号処理部１４に出力させる。この意味で、撮像素子駆動部１３は、電子シャッタとして機能する。 The imaging device 12 is configured using a CCD (Charge Coupled Device), a CMOS (Complementary Metal Oxide Semiconductor), or the like that receives the light collected by the lens unit 3 and converts it into an electrical signal. The image sensor drive unit 13 causes the signal processing unit 14 to output image data (analog signal) from the image sensor 12 at a predetermined timing. In this sense, the image sensor driving unit 13 functions as an electronic shutter.

信号処理部１４は、撮像素子１２から入力されるアナログ信号に対して、アナログ処理を施してＡ／Ｄ変換部１５に出力する。具体的には、信号処理部１４は、アナログ信号に対して、ノイズ低減処理およびゲインアップ処理等を行う。例えば、信号処理部１４は、アナログ信号に対して、リセットノイズ等を低減した上で波形整形を行い、さらに目的の明るさとなるようにゲインアップを行う。 The signal processing unit 14 performs analog processing on the analog signal input from the image sensor 12 and outputs the analog signal to the A / D conversion unit 15. Specifically, the signal processing unit 14 performs noise reduction processing, gain increase processing, and the like on the analog signal. For example, the signal processing unit 14 performs waveform shaping on the analog signal after reducing reset noise and the like, and further increases the gain so that the target brightness is obtained.

Ａ／Ｄ変換部１５は、信号処理部１４から入力されるアナログ信号に対してＡ／Ｄ変換を行うことによってデジタルの画像データを生成し、ＳＤＲＡＭ２５に出力する。 The A / D conversion unit 15 generates digital image data by performing A / D conversion on the analog signal input from the signal processing unit 14 and outputs the digital image data to the SDRAM 25.

画像処理部１６は、ＳＤＲＡＭ２５から画像データを取得し、取得した画像データ（ＲＡＷデータ）に対して各種の画像処理を行う。処理済みの画像データは、ＳＤＲＡＭ２５に出力される。画像処理部１６は、入力部２０から入力された信号に基づいて表示画像内の所定領域を切り出す切出し処理部１６１と、切出された領域に対応する部分画像における非対称部分を、レンズ部３が有する光学系の光学特性に基づいて補正する補正部１６２と、を有する。補正部１６２は、より具体的には、光学系が有する非対称収差であるコマ収差に起因する光点のボケを補正する。また、画像処理部１６は、画像データに対して、少なくとも、オプティカルブラック減算処理、ホワイトバランス（ＷＢ）調整処理、撮像素子がベイヤー配列の場合には画像データの同時化処理、カラーマトリクス演算処理、ガンマ補正処理、色再現処理およびエッジ強調処理等を含む基本の画像処理を行う。 The image processing unit 16 acquires image data from the SDRAM 25 and performs various types of image processing on the acquired image data (RAW data). The processed image data is output to the SDRAM 25. The image processing unit 16 includes an extraction processing unit 161 that extracts a predetermined area in the display image based on a signal input from the input unit 20, and an asymmetric part in a partial image corresponding to the extracted area. And a correction unit 162 that performs correction based on the optical characteristics of the optical system. More specifically, the correction unit 162 corrects the blur of the light spot caused by coma aberration, which is an asymmetric aberration of the optical system. In addition, the image processing unit 16 performs at least optical black subtraction processing, white balance (WB) adjustment processing, image data synchronization processing, color matrix calculation processing when the image sensor is a Bayer array, Basic image processing including gamma correction processing, color reproduction processing, edge enhancement processing, and the like is performed.

ＡＥ処理部１７は、ＳＤＲＡＭ２５に記録された画像データを取得し、取得した画像データに基づいて、静止画撮影または動画撮影を行う際の露出条件を設定する。具体的には、ＡＥ処理部１７は、画像データから輝度を算出し、算出した輝度に基づいて、例えば絞り値（Ｆ値）の設定値、シャッタ速度等を決定することで撮像装置１の自動露出を行う。 The AE processing unit 17 acquires image data recorded in the SDRAM 25, and sets an exposure condition when performing still image shooting or moving image shooting based on the acquired image data. Specifically, the AE processing unit 17 calculates the luminance from the image data, and based on the calculated luminance, for example, determines the setting value of the aperture value (F value), the shutter speed, etc. Perform exposure.

ＡＦ処理部１８は、ＳＤＲＡＭ２５に記録された画像データを取得し、取得した画像データに基づいて、撮像装置１の自動焦点の調整を行う。例えば、ＡＦ処理部１８は、画像データから高周波成分の信号を取り出し、高周波成分の信号に対してＡＦ（Auto Focus）演算処理（コントラストＡＦ処理と呼ばれることもある）を行うことによって、撮像装置１の合焦評価を決定することで撮像装置１の自動焦点の調整を行う。 The AF processing unit 18 acquires the image data recorded in the SDRAM 25, and adjusts the automatic focus of the imaging device 1 based on the acquired image data. For example, the AF processing unit 18 extracts a high-frequency component signal from the image data, and performs AF (Auto Focus) calculation processing (sometimes referred to as contrast AF processing) on the high-frequency component signal, whereby the imaging apparatus 1. The automatic focus adjustment of the imaging apparatus 1 is performed by determining the in-focus evaluation.

画像圧縮展開部１９は、ＳＤＲＡＭ２５から画像データを取得し、取得した画像データに対して所定の形式に従って圧縮し、この圧縮した画像データをＳＤＲＡＭ２５に出力する。ここで、所定の形式としては、ＪＰＥＧ（Joint Photographic Experts Group）方式、ＭｏｔｉｏｎＪＰＥＧ方式およびＭＰ４（Ｈ．２６４）方式等である。また、画像圧縮展開部１９は、バス２ＢおよびメモリＩ／Ｆ２４を介して記録媒体２３に記録された画像データ（圧縮画像データ）を取得し、取得した画像データを展開（伸長）してＳＤＲＡＭ２５に出力する。なお、記録媒体２３の代わりに撮像装置１の内部に記憶部を設けてもよい。 The image compression / decompression unit 19 acquires image data from the SDRAM 25, compresses the acquired image data according to a predetermined format, and outputs the compressed image data to the SDRAM 25. Here, the predetermined format includes a JPEG (Joint Photographic Experts Group) system, a Motion JPEG system, and an MP4 (H.264) system. The image compression / decompression unit 19 acquires image data (compressed image data) recorded on the recording medium 23 via the bus 2B and the memory I / F 24, expands (decompresses) the acquired image data, and stores it in the SDRAM 25. Output. Note that a storage unit may be provided inside the imaging apparatus 1 instead of the recording medium 23.

入力部２０は、表示部２１の表示画面上に重ねて設けられ、外部からの接触位置に応じた信号の入力を受け付けるタッチパネル２０１を有する。入力部２０は、タッチパネル２０１を含む操作信号入力用のユーザインターフェースを用いて実現される。このような入力部２０には、静止画撮影時の撮影信号の入力を受け付けるレリーズボタン、各種設定を切り替える操作ボタン、撮像装置１の各種設定を表示部２１に表示させるメニューボタン、動画撮影の指示を与える動画ボタンなどが含まれる。 The input unit 20 includes a touch panel 201 that is provided on the display screen of the display unit 21 and receives an input of a signal corresponding to a contact position from the outside. The input unit 20 is realized using an operation signal input user interface including the touch panel 201. Such an input unit 20 includes a release button for receiving an input of a shooting signal at the time of still image shooting, an operation button for switching various settings, a menu button for displaying various settings of the imaging device 1 on the display unit 21, and an instruction for moving image shooting Includes a video button that gives

表示部２１は、液晶または有機ＥＬ（Electro Luminescence）等からなる表示パネルを用いて構成される。表示駆動部２２は、ＳＤＲＡＭ２５が記憶する画像データまたは記録媒体２３が記憶する画像データを取得し、取得した画像データに対応する画像を表示部２１に表示させる。ここで、画像の表示には、撮影直後の画像データを所定時間（例えば３秒間）だけ表示するレックビュー表示、記録媒体２３に記録された画像データを再生する再生表示、および撮像素子１２が連続的に生成する画像データに対応するスルー画像を時系列に沿って順次表示するスルー画表示等が含まれる。また、表示部２１は、撮像装置１の操作情報および撮影に関する情報を適宜表示する。 The display part 21 is comprised using the display panel which consists of a liquid crystal or organic EL (Electro Luminescence). The display driving unit 22 acquires image data stored in the SDRAM 25 or image data stored in the recording medium 23 and causes the display unit 21 to display an image corresponding to the acquired image data. Here, for image display, a rec view display that displays image data immediately after shooting for a predetermined time (for example, 3 seconds), a reproduction display that reproduces image data recorded on the recording medium 23, and an image sensor 12 are continuously displayed. The through image display etc. which sequentially display the through image corresponding to the image data to be generated in time series are included. The display unit 21 appropriately displays operation information of the imaging device 1 and information related to shooting.

記録媒体２３は、撮像装置１の外部から装着されるメモリカード等を用いて構成される。記録媒体２３は、メモリＩ／Ｆ２４を介して撮像装置１に着脱自在に装着される。記録媒体２３には、その種類に応じた図示しない読み書き装置によって画像処理部１６や画像圧縮展開部１９が処理を施した画像データが書き込まれ、または読み書き装置によって記録媒体２３に記録された画像データが読み出される。また、記録媒体２３は、制御部２９の制御のもと、メモリＩ／Ｆ２４およびバス２Ｂを介して撮像プログラムおよび各種情報それぞれをＦｌａｓｈメモリ２６に出力してもよい。 The recording medium 23 is configured using a memory card or the like mounted from the outside of the imaging device 1. The recording medium 23 is detachably attached to the imaging device 1 via the memory I / F 24. Image data processed by the image processing unit 16 and the image compression / decompression unit 19 by a read / write device (not shown) corresponding to the type is written on the recording medium 23, or image data recorded on the recording medium 23 by the read / write device Is read out. The recording medium 23 may output the imaging program and various types of information to the flash memory 26 via the memory I / F 24 and the bus 2B under the control of the control unit 29.

ＳＤＲＡＭ２５は、揮発性メモリを用いて構成される。ＳＤＲＡＭ２５は、バス２Ｂを介してＡ／Ｄ変換部１５から入力される画像データ、画像処理部１６から入力される処理画像データおよび撮像装置１の処理中の情報を一時的に記憶する一次記憶部としての機能を有する。例えば、ＳＤＲＡＭ２５は、信号処理部１４、Ａ／Ｄ変換部１５およびバス２Ｂを介して、撮像素子１２が１フレーム毎に順次出力する画像データを一時的に記憶する。 The SDRAM 25 is configured using a volatile memory. The SDRAM 25 temporarily stores image data input from the A / D conversion unit 15 via the bus 2B, processed image data input from the image processing unit 16, and information being processed by the imaging device 1. As a function. For example, the SDRAM 25 temporarily stores image data that the image sensor 12 sequentially outputs for each frame via the signal processing unit 14, the A / D conversion unit 15, and the bus 2B.

Ｆｌａｓｈメモリ２６は、不揮発性メモリを用いて構成され、プログラム記録部２６１と、レンズ情報記録部２６２とを有する。
プログラム記録部２６１は、撮像装置１を動作させるための各種プログラム、撮像プログラムおよびプログラムの実行中に使用される各種データおよび画像処理部１６による画像処理の動作に必要な各種パラメータ等を記録する。 The flash memory 26 is configured using a nonvolatile memory, and includes a program recording unit 261 and a lens information recording unit 262.
The program recording unit 261 records various programs for operating the imaging apparatus 1, imaging programs, various data used during execution of the programs, various parameters necessary for image processing operations by the image processing unit 16, and the like.

レンズ情報記録部２６２は、レンズ部３から受信したレンズ部３の光学特性情報を記録する。本実施の形態１では、光学特性情報として、変調伝達関数（以下、「ＭＴＦ」という）に関する情報を記録する。図２は、レンズ情報記録部２６２が記録する光学特性情報の例を示す図である。また、図３は、図２に示す光学特性情報をグラフ化した図（ＭＴＦチャート）である。本実施の形態１では、光学特性情報として、ＭＴＦと像高の関係を適用する。これらの図に示す光学特性情報は、画面の像高とＭＴＦ値との関係を示す情報である。図２および図３では、空間周波数２０本／ｍｍにおけるサジタル方向（２０Ｓ）とメリジオナル方向（２０Ｍ）の像高比とＭＴＦ値（コントラスト）との関係を示している。図３において、実線で記載された曲線１０１はサジタル方向のＭＴＦ曲線であり、破線で記載された曲線１０２はメリジオナル方向のＭＴＦ曲線である。像高比は、画面の中心から対角端までの距離に対する比であり、対角端が１である。なお、ＭＴＦ値は、空間周波数のほか、焦点距離、絞り（Ｆ値）等の撮影条件に応じて値が異なる。このため、レンズ情報記録部２６２は、空間周波数、焦点距離、絞り等の条件が互いに異なる複数のＭＴＦチャートを記録している。 The lens information recording unit 262 records the optical characteristic information of the lens unit 3 received from the lens unit 3. In the first embodiment, information relating to a modulation transfer function (hereinafter referred to as “MTF”) is recorded as optical characteristic information. FIG. 2 is a diagram illustrating an example of optical characteristic information recorded by the lens information recording unit 262. FIG. 3 is a graph (MTF chart) of the optical characteristic information shown in FIG. In the first embodiment, the relationship between MTF and image height is applied as the optical characteristic information. The optical characteristic information shown in these figures is information indicating the relationship between the image height of the screen and the MTF value. 2 and 3 show the relationship between the image height ratio in the sagittal direction (20S) and the meridional direction (20M) and the MTF value (contrast) at a spatial frequency of 20 lines / mm. In FIG. 3, a curve 101 indicated by a solid line is an MTF curve in a sagittal direction, and a curve 102 indicated by a broken line is an MTF curve in a meridional direction. The image height ratio is a ratio to the distance from the center of the screen to the diagonal end, and the diagonal end is 1. Note that the MTF value differs depending on the imaging conditions such as focal length and aperture (F value) in addition to the spatial frequency. For this reason, the lens information recording unit 262 records a plurality of MTF charts having different conditions such as spatial frequency, focal length, and aperture.

本体通信部２７は、本体部２に装着されたレンズ部３との通信を行うための通信インターフェースである。本体通信部２７には、レンズ部３との電気的な接点も含まれる。 The main body communication unit 27 is a communication interface for performing communication with the lens unit 3 attached to the main body unit 2. The main body communication unit 27 also includes an electrical contact with the lens unit 3.

第２通信部２８は、本体部２に装着されたアクセサリ部４との通信を行うためのインターフェースである。第２通信部２８には、アクセサリ部４との電気的な接点も含まれる。図１に示す場合、アクセサリ部４として電子ビューファインダを装着した場合を示している。このため、アクセサリ部４は、本体部２との通信インターフェースである通信部４１と、通信部４１を介して受信した画像情報を表示する接眼表示部４２とを有する。なお、本体部２には、電子ビューファインダ以外のアクセサリ部も装着可能である。このようなアクセサリ部として、補助光を投射するエレクトロニックフラッシュを挙げることができる。 The second communication unit 28 is an interface for performing communication with the accessory unit 4 attached to the main body unit 2. The second communication unit 28 also includes an electrical contact with the accessory unit 4. In the case illustrated in FIG. 1, a case where an electronic viewfinder is attached as the accessory unit 4 is illustrated. Therefore, the accessory unit 4 includes a communication unit 41 that is a communication interface with the main body unit 2 and an eyepiece display unit 42 that displays image information received via the communication unit 41. Note that an accessory part other than the electronic viewfinder can be attached to the main body part 2. As such an accessory part, an electronic flash for projecting auxiliary light can be cited.

制御部２９は、ＣＰＵ（Central Processing Unit）等を用いて構成される。制御部２９は、レンズ部３が有する光学系のコマ収差に起因するボケの有無を判定する判定部２９１と、タッチパネル２０１から受信した信号に応じたタッチ位置を検出するタッチ検出部２９２と、表示部２１の表示態様を制御する表示制御部２９３と、を有する。制御部２９は、バス２Ｂを介して撮像装置１を構成する各部に対して制御信号や各種データの送信を行うことにより、撮像装置１の動作を統括的に制御する。 The control unit 29 is configured using a CPU (Central Processing Unit) or the like. The control unit 29 includes a determination unit 291 that determines presence / absence of blur due to coma aberration of the optical system included in the lens unit 3, a touch detection unit 292 that detects a touch position according to a signal received from the touch panel 201, and a display And a display control unit 293 that controls the display mode of the unit 21. The control unit 29 performs overall control of the operation of the imaging apparatus 1 by transmitting control signals and various types of data to each unit configuring the imaging apparatus 1 via the bus 2B.

制御部２９は、入力部２０から撮影動作の開始信号が入力された場合、撮影動作を開始する制御を行う。ここでいう撮影動作とは、シャッタ駆動部１１および撮像素子駆動部１３の駆動によって撮像素子１２が出力した画像データに対し、信号処理部１４、Ａ／Ｄ変換部１５および画像処理部１６が所定の処理を施す動作のことである。信号処理部１４、Ａ／Ｄ変換部１５および画像処理部１６によって所定の処理が施された画像データは、制御部２９の制御のもと、画像圧縮展開部１９で所定の形式にしたがって圧縮され、バス２ＢおよびメモリＩ／Ｆ２４を介して記録媒体２３に記録される。なお、記録媒体２３とは別に撮像装置１の内部に所定の記録領域を確保し、この記録領域に圧縮した画像データを記憶するようにしてもよい。 The control unit 29 performs control to start the shooting operation when a shooting operation start signal is input from the input unit 20. The imaging operation here means that the signal processing unit 14, the A / D conversion unit 15, and the image processing unit 16 perform predetermined processing on image data output from the imaging device 12 by driving the shutter driving unit 11 and the imaging device driving unit 13. This is the operation of performing the process. Image data subjected to predetermined processing by the signal processing unit 14, the A / D conversion unit 15, and the image processing unit 16 is compressed according to a predetermined format by the image compression / expansion unit 19 under the control of the control unit 29. The data is recorded on the recording medium 23 via the bus 2B and the memory I / F 24. Note that a predetermined recording area may be secured inside the imaging apparatus 1 separately from the recording medium 23, and compressed image data may be stored in this recording area.

以上の構成を有する本体部２に対して、音声入出力部、被写体に対して補助光（フラッシュ）を発光する補助光発光部、インターネットを介して外部の装置と双方向に通信を行う機能を有する通信部などをさらに設けてもよい。 For the main body 2 having the above-described configuration, an audio input / output unit, an auxiliary light emitting unit that emits auxiliary light (flash) to the subject, and a function of bidirectionally communicating with an external device via the Internet You may provide further the communication part etc. which have.

次に、レンズ部３の構成を説明する。レンズ部３は、光学系３１と、レンズ駆動部３２と、絞り３３と、絞り駆動部３４と、レンズ操作部３５と、レンズＦｌａｓｈメモリ３６と、レンズ通信部３７と、レンズ制御部３８と、を備える。 Next, the configuration of the lens unit 3 will be described. The lens unit 3 includes an optical system 31, a lens driving unit 32, a diaphragm 33, a diaphragm driving unit 34, a lens operation unit 35, a lens flash memory 36, a lens communication unit 37, a lens control unit 38, Is provided.

光学系３１は、一または複数のレンズを用いて構成される。光学系３１は、所定の視野領域から光を集光する。光学系３１は、画角を変化させる光学ズーム機能および焦点を変化させるフォーカス機能を有する。 The optical system 31 is configured using one or a plurality of lenses. The optical system 31 collects light from a predetermined visual field region. The optical system 31 has an optical zoom function for changing the angle of view and a focus function for changing the focus.

レンズ駆動部３２は、ＤＣモータまたはステッピングモータ等を用いて構成され、光学系３１のレンズを光軸Ｌ上で移動させることにより、光学系３１のピント位置や画角等の変更を行う。 The lens driving unit 32 is configured using a DC motor, a stepping motor, or the like, and changes the focus position, the angle of view, and the like of the optical system 31 by moving the lens of the optical system 31 on the optical axis L.

絞り３３は、光学系３１が集光した光の入射量を制限することにより露出の調整を行う。
絞り駆動部３４は、ステッピングモータ等を用いて構成され、絞り３３を駆動する。 The diaphragm 33 adjusts the exposure by limiting the amount of incident light collected by the optical system 31.
The aperture drive unit 34 is configured using a stepping motor or the like, and drives the aperture 33.

レンズ操作部３５は、例えばレンズ部３のレンズ鏡筒の周囲に設けられるリングであり、レンズ部３における光学ズームの操作を開始する操作信号の入力、またはレンズ部３におけるピント位置の調整を指示する指示信号の入力を受け付ける。なお、レンズ操作部３５は、プッシュ式のスイッチ等であってもよい。 The lens operation unit 35 is, for example, a ring provided around the lens barrel of the lens unit 3, and instructs to input an operation signal for starting the optical zoom operation in the lens unit 3 or to adjust the focus position in the lens unit 3. An instruction signal input is received. The lens operation unit 35 may be a push switch or the like.

レンズＦｌａｓｈメモリ３６は、光学系３１の光学特性に関する情報を記録する光学特性情報記録部３６１を有する。また、レンズＦｌａｓｈメモリ３６は、光学系３１の位置および動きを決定するための制御用プログラムおよび各種パラメータを記録する。 The lens flash memory 36 includes an optical characteristic information recording unit 361 that records information on the optical characteristics of the optical system 31. The lens flash memory 36 records a control program and various parameters for determining the position and movement of the optical system 31.

光学特性情報記録部３６１は、光学系３１の光学特性情報としてＭＴＦに関する情報を記憶する。光学特性情報は、本体部２のレンズ情報記録部２６２が記録する光学特性情報と実質的に同じである。 The optical characteristic information recording unit 361 stores information related to MTF as optical characteristic information of the optical system 31. The optical characteristic information is substantially the same as the optical characteristic information recorded by the lens information recording unit 262 of the main body unit 2.

レンズ通信部３７は、レンズ部３が本体部２に装着されたときに、本体部２の本体通信部２７と通信を行うための通信インターフェースである。レンズ通信部３７には、本体部２との電気的な接点も含まれる。 The lens communication unit 37 is a communication interface for communicating with the main body communication unit 27 of the main body unit 2 when the lens unit 3 is attached to the main body unit 2. The lens communication unit 37 includes an electrical contact with the main body unit 2.

レンズ制御部３８は、ＣＰＵ等を用いて構成される。レンズ制御部３８は、レンズ操作部３５の操作信号または本体部２からの指示信号に応じてレンズ部３の動作を制御する。レンズ制御部３８は、本体部２の制御部２９との間で所定の周期でレンズ通信信号を送受信することによって、本体部２との動作の連携を図っている。具体的には、レンズ制御部３８は、レンズ通信信号に含まれるレンズ操作部３５の操作信号に応じて、レンズ駆動部３２を駆動させてレンズ部３のピント合わせやズーム変更を行うとともに、絞り駆動部３４を駆動させて絞り値の変更を行う。レンズ制御部３８は、レンズ部３が本体部２に装着された際に、光学系３１の光学特性情報、ピント位置情報、焦点距離およびレンズ部３を識別する固有情報等を本体部２に送信する。 The lens control unit 38 is configured using a CPU or the like. The lens control unit 38 controls the operation of the lens unit 3 in accordance with an operation signal from the lens operation unit 35 or an instruction signal from the main body unit 2. The lens control unit 38 transmits and receives a lens communication signal to and from the control unit 29 of the main body unit 2 at a predetermined cycle so as to coordinate the operation with the main body unit 2. Specifically, the lens control unit 38 drives the lens driving unit 32 in accordance with the operation signal of the lens operation unit 35 included in the lens communication signal to adjust the focus of the lens unit 3 and change the zoom. The drive unit 34 is driven to change the aperture value. When the lens unit 3 is attached to the main body unit 2, the lens control unit 38 transmits to the main body unit 2 optical characteristic information of the optical system 31, focus position information, focal length, unique information for identifying the lens unit 3, and the like. To do.

図４は、制御部２９とレンズ制御部３８との同期通信の一例を示すタイミングチャートである。なお、図４は、撮像素子１２がＣＭＯＳ型イメージセンサの場合を示している。図４（ａ）は本体部２内の処理を示している。図４（ｂ）は垂直同期信号を示している。図４（ｃ）は撮像、読み出しのタイミングを示している。図４（ｄ）はレンズ通信を示している。図４（ｅ）はレンズ通信同期信号を示している。図４（ｆ）はレンズ位置取得信号を示している。図４（ｇ）はレンズ部３内の処理を示している。 FIG. 4 is a timing chart illustrating an example of synchronous communication between the control unit 29 and the lens control unit 38. FIG. 4 shows a case where the image sensor 12 is a CMOS image sensor. FIG. 4A shows processing in the main body 2. FIG. 4B shows a vertical synchronization signal. FIG. 4C shows the timing of imaging and reading. FIG. 4D shows lens communication. FIG. 4E shows a lens communication synchronization signal. FIG. 4F shows a lens position acquisition signal. FIG. 4G shows processing in the lens unit 3.

まず、制御部２９は、前フレームで取得した画像データによりライブビュー画像の画像処理およびＡＦ評価値の算出等を画像処理部１６に実行させるとともに、レンズ制御部３８にレンズ状態データを取得するためのレンズ状態データ要求コマンドを送信する（Ｂ１、ＢＬ）。この際、制御部２９は、同期通信モード中に、垂直同期信号と同じ周期でレンズ通信用の同期信号および光学系３１の位置情報を取得するタイミングを指示するレンズ位置取得信号を送信する。このレンズ位置取得信号は、図４（ｃ）に示すように撮像素子１２の中央部の蓄積時間の１／２が経過した時点で状態が変化する信号である。 First, the control unit 29 causes the image processing unit 16 to perform image processing of the live view image, calculation of the AF evaluation value, and the like based on the image data acquired in the previous frame, and also causes the lens control unit 38 to acquire lens state data. The lens state data request command is transmitted (B1, BL). At this time, during the synchronous communication mode, the control unit 29 transmits a lens position acquisition signal instructing the timing for acquiring the lens communication synchronization signal and the position information of the optical system 31 at the same cycle as the vertical synchronization signal. This lens position acquisition signal is a signal whose state changes when half of the accumulation time at the center of the image sensor 12 has elapsed, as shown in FIG.

レンズ制御部３８は、レンズ位置取得信号の状態が変化したタイミングで光学系３１の位置情報を取得するとともに、レンズ通信同期信号の受信タイミングでレンズ操作部３５の操作状態を検出する（Ｌ１）。 The lens control unit 38 acquires the position information of the optical system 31 at the timing when the state of the lens position acquisition signal changes, and detects the operation state of the lens operation unit 35 at the reception timing of the lens communication synchronization signal (L1).

続いて、レンズ制御部３８は、制御部２９から受信したレンズ状態データ要求コマンドへの応答として、工程Ｌ１で取得した光学系３１の位置情報およびレンズ操作部３５の操作状態を含むレンズ状態データを制御部２９へ送信する（Ｌ２）。 Subsequently, as a response to the lens state data request command received from the control unit 29, the lens control unit 38 receives lens state data including the position information of the optical system 31 and the operation state of the lens operation unit 35 acquired in step L1. It transmits to the control part 29 (L2).

この後、制御部２９は、レンズ制御部３８から送られてきたレンズ状態データに基づいて、ＡＦ評価値の算出や、露出値の変更等の各種設定変更を行う（Ｂ２）。 Thereafter, the control unit 29 performs various setting changes such as calculation of the AF evaluation value and change of the exposure value based on the lens state data sent from the lens control unit 38 (B2).

図５は、以上の構成を有する撮像装置１を用いて撮影を行う状況を模式的に示す図である。具体的には、図５は、撮像装置１を用いてビルの夜景を撮影する状況を模式的に示している。図５に示す点Ｐは、ビルの部屋から出てくる光の光点を模式的に示している（以下、光点Ｐという）。 FIG. 5 is a diagram schematically illustrating a situation where shooting is performed using the imaging apparatus 1 having the above-described configuration. Specifically, FIG. 5 schematically illustrates a situation where a night view of a building is photographed using the imaging device 1. A point P shown in FIG. 5 schematically shows a light spot of light coming out of a building room (hereinafter referred to as a light spot P).

図６は、図５に示す夜景を撮像装置１が表示部２１でスルー画表示する場合の画面表示例を示す図である。図６に示す画像３０１には、光学系３１のコマ収差に起因して、光点Ｐにボケが発生している。具体的には、本来点状をなす光点Ｐが、画面周辺部へ行くほど大きく広がり、画面中心Ｃから見て径方向へ放射状に尾を引いた形状をなしている。図６においては、画面左下にある光点Ｐ₀が画面中心Ｃから最も遠い光点であり、画面内に含まれる光点の中でもっともボケている。 FIG. 6 is a diagram illustrating a screen display example when the imaging apparatus 1 displays a through image on the display unit 21 of the night view illustrated in FIG. 5. In the image 301 illustrated in FIG. 6, the light spot P is blurred due to the coma aberration of the optical system 31. Specifically, the light spot P, which originally forms a point, widens as it goes to the periphery of the screen, and has a shape with a radial tail as viewed from the center C of the screen. In FIG. 6, the light spot P _{0 at the} lower left of the screen is the farthest light spot from the screen center C, and is the most blurred among the light spots included in the screen.

画像３０１の内部に記載された領域ＭＲは、ユーザが指でタッチパネル２０１をタッチした位置をタッチ検出部２９２が検出し、この検出した位置に対応する領域として切出し処理部１６１が切出した領域（以下、切出し領域という）である。切出し領域ＭＲのアスペクト比は画像３０１のアスペクト比と等しい。撮像装置１は、画像３０１の撮像と並行して切出し領域ＭＲを撮像するマルチレコーディング処理を実行可能である。以下、画像３０１を主画像といい、切出し領域ＭＲに対応する画像を部分画像ということがある。 An area MR described in the image 301 is an area (hereinafter referred to as an area MR) cut out by the touch detection unit 292 that detects a position where the user touches the touch panel 201 with a finger and corresponds to the detected position. Is called a cutout area). The aspect ratio of the cutout region MR is equal to the aspect ratio of the image 301. The imaging device 1 can execute a multi-recording process for imaging the cutout region MR in parallel with the imaging of the image 301. Hereinafter, the image 301 may be referred to as a main image, and the image corresponding to the cutout region MR may be referred to as a partial image.

図７は、撮像装置１が切出し領域ＭＲに対応する部分画像に対して行う画像補正処理の概要を示す図である。部分画像３０２にある４つの光点Ｐ₁〜Ｐ₄は、コマ収差に起因して放射状に尾を引いた形状をなしてボケている（図７（ａ））。この場合、判定部２９１は、これらの光点Ｐ₁〜Ｐ₄に対して補正が必要であると判定する。補正部１６２は、判定部２９１の判定結果に応じて光点Ｐ₁〜Ｐ₄を補正する。具体的には、補正部１６２は、レンズ情報記録部２６２が記録する光学特性情報に基づいて、光点Ｐ₁〜Ｐ₄を、略円形状の光点Ｑ₁〜Ｑ₄にそれぞれ補正する（図７（ｂ））。補正部１６２がこのような補正を行うことにより、補正後の部分画像３０３における光点は対称性を有し、あたかも部分画像３０３を主画像として撮像したようかのような違和感の少ない構図を有することとなる。 FIG. 7 is a diagram illustrating an outline of image correction processing performed by the imaging apparatus 1 on the partial image corresponding to the cutout region MR. The four light spots P _{1 to} P ₄ in the partial image 302 are blurred by forming a shape having a radial tail due to coma aberration (FIG. 7A). In this case, the determination unit 291 determines that correction is necessary for these light spots P _{1 to} P ₄ . The correction unit 162 corrects the light spots P _{1 to} P ₄ according to the determination result of the determination unit 291. Specifically, the correction unit 162 corrects the light spots P _{1 to} P ₄ to substantially circular light spots Q _{1 to} Q ₄ based on the optical characteristic information recorded by the lens information recording unit 262 ( FIG. 7B). When the correction unit 162 performs such correction, the light spot in the corrected partial image 303 has symmetry, and has a composition with less discomfort as if the partial image 303 was captured as the main image. It will be.

図８は、撮像装置１が行う処理の概要を示すフローチャートである。まず、制御部２９は、本体部２の電源がオンになっているか否かを判定する（ステップＳ１０１）。電源がオンになっている場合（ステップＳ１０１：Ｙｅｓ）、撮像装置１はステップＳ１０２へ移行する。一方、電源がオンになっていない場合（ステップＳ１０１：Ｎｏ）、撮像装置１はステップＳ１０１を繰り返す。 FIG. 8 is a flowchart illustrating an outline of processing performed by the imaging apparatus 1. First, the control unit 29 determines whether or not the power of the main body unit 2 is turned on (step S101). If the power is on (step S101: Yes), the imaging apparatus 1 proceeds to step S102. On the other hand, when the power is not turned on (step S101: No), the imaging apparatus 1 repeats step S101.

続いて、撮像装置１は、本体部２とレンズ部３との間で起動時のレンズ通信を行う（ステップＳ１０２）。このレンズ通信の際、レンズ部３は、光学特性情報を本体部２へ送信する。 Subsequently, the imaging apparatus 1 performs lens communication at the time of activation between the main body unit 2 and the lens unit 3 (step S102). During the lens communication, the lens unit 3 transmits optical characteristic information to the main body unit 2.

続いて、制御部２９は、撮像装置１が撮影モードに設定されているかを判定する（ステップＳ１０３）。判定の結果、撮影モードに設定されている場合（ステップＳ１０３：Ｙｅｓ）、表示制御部２９３は表示部２１にスルー画を表示させる（ステップＳ１０４）。 Subsequently, the control unit 29 determines whether or not the imaging device 1 is set to the shooting mode (step S103). As a result of the determination, when the shooting mode is set (step S103: Yes), the display control unit 293 displays a through image on the display unit 21 (step S104).

この後、本体部２がレンズ部３との間でレンズ通信を行い（ステップＳ１０５）、その通信結果に基づいてＡＥ処理部１７によるＡＥ処理およびＡＦ処理部１８によるＡＦ処理を行う（ステップＳ１０６）。ステップＳ１０５におけるレンズ通信は、例えば図４を参照して説明したように行われる。 Thereafter, the main body 2 performs lens communication with the lens unit 3 (step S105), and performs AE processing by the AE processing unit 17 and AF processing by the AF processing unit 18 based on the communication result (step S106). . The lens communication in step S105 is performed, for example, as described with reference to FIG.

続いて、入力部２０によって撮像パラメータを変更を指示する信号が入力された場合（ステップＳ１０７：Ｙｅｓ）、制御部２９はパラメータを変更し（ステップＳ１０８）、後述するステップＳ１１５へ移行する。一方、入力部２０によって撮像パラメータの変更を指示する信号が入力されない場合（ステップＳ１０７：Ｎｏ）、撮像装置１は後述するステップＳ１０９へ移行する。 Subsequently, when a signal instructing to change the imaging parameter is input by the input unit 20 (step S107: Yes), the control unit 29 changes the parameter (step S108), and the process proceeds to step S115 described later. On the other hand, when the signal instructing to change the imaging parameter is not input by the input unit 20 (step S107: No), the imaging apparatus 1 proceeds to step S109 described later.

ステップＳ１０９でＭＲ操作が行われた場合（ステップＳ１０９：Ｙｅｓ）、撮像装置１は後述するステップＳ１１０へ移行する。一方、ステップＳ１０９でＭＲ操作が行われない場合（ステップＳ１０９：Ｎｏ）、撮像装置１は後述するステップＳ１１５へ移行する。 When the MR operation is performed in step S109 (step S109: Yes), the imaging device 1 proceeds to step S110 described later. On the other hand, when the MR operation is not performed in step S109 (step S109: No), the imaging apparatus 1 proceeds to step S115 described later.

ステップＳ１１０において、切出し処理部１６１は、タッチ検出部２９２が検出したタッチ位置に基づいてＭＲ領域の設定処理を行う（ステップＳ１１０）。切出し処理部１６１は、タッチ位置を中心として所定の縦横比を有する領域を設定し、この領域を切出して部分画像とする。 In step S110, the cutout processing unit 161 performs MR region setting processing based on the touch position detected by the touch detection unit 292 (step S110). The cutout processing unit 161 sets a region having a predetermined aspect ratio with the touch position as the center, and cuts this region into a partial image.

続いて、判定部２９１は、ＭＲ領域内の周辺部におけるボケ判定を行う（ステップＳ１１１）。ボケ判定について、図９〜図１１を参照して具体的に説明する。図９は、切出し処理部１６１が切り出した部分画像を模式的に示す図である。図９に示す部分画像４０１は、全面にわたって一様に暗い画像の左上方に光点Ｐａが生じている画像である。光点Ｐａ内の点Ｏは、光点Ｐａ内で最大輝度値を有する点である。図９において、画面中心Ｃから見た径方向（ｒ軸方向）がメリジオナル方向であり、この径方向と点Ｏで直交する方向（θ軸方向）がサジタル方向である。図１０は、光点Ｐａのサジタル方向の輝度Ｌの分布を示す図である。図１１は、光点Ｐａのメリジオナル方向の輝度Ｌの分布を示す図である。図１０および図１１における原点Ｏの輝度Ｌ_maxは、光点Ｐにおける最大輝度である。 Subsequently, the determination unit 291 performs blur determination in the peripheral portion in the MR region (step S111). The blur determination will be specifically described with reference to FIGS. FIG. 9 is a diagram schematically illustrating a partial image cut out by the cut-out processing unit 161. A partial image 401 shown in FIG. 9 is an image in which a light spot Pa is generated at the upper left of a dark image uniformly over the entire surface. The point O within the light spot Pa is a point having the maximum luminance value within the light spot Pa. In FIG. 9, the radial direction (r-axis direction) viewed from the screen center C is the meridional direction, and the direction (θ-axis direction) orthogonal to the radial direction at the point O is the sagittal direction. FIG. 10 is a diagram showing a distribution of the luminance L in the sagittal direction of the light spot Pa. FIG. 11 is a diagram illustrating the distribution of the luminance L in the meridional direction of the light spot Pa. The luminance L _{max at the} origin O in FIGS. 10 and 11 is the maximum luminance at the light spot P.

図１０および図１１からも明らかなように、光点Ｐａにおける輝度分布の広がり方は、メリジオナル方向の方がサジタル方向よりも大きい。以下、最大輝度Ｌ_maxの１／４以上の値を有する範囲を輝度曲線の幅という。図１０に示す輝度曲線１０３の幅はＳｂであり、図１１に示す輝度曲線１０４の幅はＭｂである。このとき、幅Ｓｂは幅Ｍｂよりも小さい（Ｓｂ＜Ｍｂ）。このことは、光点Ｐａにおいて、メリジオナル方向のボケがサジタル方向のボケよりも大きいことを意味している。 As is clear from FIGS. 10 and 11, the spread of the luminance distribution at the light spot Pa is larger in the meridional direction than in the sagittal direction. Hereinafter, a range having a value equal to or greater than ¼ of the maximum luminance L _max is referred to as a luminance curve width. The width of the luminance curve 103 shown in FIG. 10 is Sb, and the width of the luminance curve 104 shown in FIG. 11 is Mb. At this time, the width Sb is smaller than the width Mb (Sb <Mb). This means that the blur in the meridional direction is larger than the blur in the sagittal direction at the light spot Pa.

ステップＳ１１１において、判定部２９１は、幅Ｍｂと幅Ｓｂの関係を、レンズ情報記録部２６２が記録するＭＴＦ特性と比較することによってボケ判定を行う。具体的には、判定部２９１は、まず部分画像４０１の撮像条件におけるメリジオナル方向のＭＴＦ値ＭＴＦ_Mとサジタル方向のＭＴＦ値ＭＴＦ_Sとの比の値ＭＴＦ_M／ＭＴＦ_Sと、輝度曲線１０３、１０４の幅の比の値Ｓｂ／Ｍｂとを比較する。比較の結果、この二つの比の値の差ＭＴＦ_M／ＭＴＦ_S−Ｓｂ／Ｍｂが所定範囲内にある場合、判定部２９１は、光点にコマ収差由来のボケが生じている（以下、ボケ部があるという）と判定する。一方、比較の結果、二つの比の値の差ＭＴＦ_M／ＭＴＦ_S−Ｓｂ／Ｍｂが所定範囲内にない場合、判定部２９１は、光点にコマ収差由来のボケが生じていないと判定する。 In step S111, the determination unit 291 performs blur determination by comparing the relationship between the width Mb and the width Sb with the MTF characteristics recorded by the lens information recording unit 262. More specifically, the determination unit 291 compares the value MTF _M / MTF _S of the ratio of the MTF values MTF _S of MTF values MTF _M and the sagittal direction in the meridional direction is first in the imaging conditions of the partial image 401, the luminance curve 103 The width ratio value Sb / Mb is compared. As a result of the comparison, when the difference MTF _M / MTF _S −Sb / Mb between the two ratio values is within a predetermined range, the determination unit 291 causes blur due to coma at the light spot (hereinafter referred to as blur) Part). On the other hand, as a result of the comparison, when the difference MTF _M / MTF _S −Sb / Mb between the two ratio values is not within the predetermined range, the determination unit 291 determines that no blur due to coma aberration has occurred at the light spot. .

判定部２９１によってボケ部があると判定された場合（ステップＳ１１２：Ｙｅｓ）、補正部１６２は、レンズ情報記録部２６２が記録する光学特性情報に基づいて画像補正を行う（ステップＳ１１３）。一方、判定部２９１によってボケ部がないと判定された場合（ステップＳ１１２：Ｎｏ）、撮像装置１は後述するステップＳ１１４へ移行する。 When the determination unit 291 determines that there is a blurred portion (step S112: Yes), the correction unit 162 performs image correction based on the optical characteristic information recorded by the lens information recording unit 262 (step S113). On the other hand, when it is determined by the determination unit 291 that there is no blur portion (step S112: No), the imaging device 1 proceeds to step S114 described later.

図１２は、ステップＳ１１３の処理の概要を示すフローチャートである。まず、制御部２９は、画像内のボケ部を一つ抽出する（ステップＳ２０１）。続いて、制御部２９は、ボケ部の周辺が低コントラストであるか否かを判定する（ステップＳ２０２）。判定の結果、ボケ部の周辺が低コントラストである場合（ステップＳ２０２：Ｙｅｓ）、補正部１６２はボケ部の形状を対称化する（ステップＳ２０３）。 FIG. 12 is a flowchart showing an overview of the processing in step S113. First, the control unit 29 extracts one blurred part in the image (step S201). Subsequently, the control unit 29 determines whether or not the periphery of the blurred portion has low contrast (step S202). As a result of the determination, when the periphery of the blurred portion has low contrast (step S202: Yes), the correcting unit 162 symmetrizes the shape of the blurred portion (step S203).

図１３は、ボケ部の周辺が低コントラストである場合の対称化処理の概要を模式的に示す図である。図１４は、対称化処理における光点の輝度分布の変化を示す図である。図１３（ａ）に示す部分画像４０１の光点Ｐａに対して、補正部１６２は、メリジオナル方向の輝度分布を点Ｏに対して対称となるように補正する。この結果、補正前の輝度曲線１０４は輝度曲線１０５に変化する。これにより、メリジオナル方向の光点の幅Ｍｂ’は、サジタル方向の光点の幅Ｓｂと略等しくなる。なお、ステップＳ２０３において、補正部１６２は、サジタル方向とメリジオナル方向の幅を等しくするような補正を行ってもよい。図１３（ｂ）は、補正部１６２がボケ部の形状を対称化した後の状態を模式的に示す図である。図１３（ｂ）に示す部分画像４０２において、光点Ｐｂは略円形をなしており、光点Ｐａの一部が余白領域となっている。 FIG. 13 is a diagram schematically illustrating an outline of the symmetrization process in the case where the periphery of the blurred portion has a low contrast. FIG. 14 is a diagram illustrating a change in luminance distribution of light spots in the symmetrization process. The correction unit 162 corrects the luminance distribution in the meridional direction so as to be symmetric with respect to the point O with respect to the light spot Pa of the partial image 401 shown in FIG. As a result, the luminance curve 104 before correction changes to the luminance curve 105. Thereby, the width Mb ′ of the light spot in the meridional direction becomes substantially equal to the width Sb of the light spot in the sagittal direction. In step S203, the correction unit 162 may perform correction so that the widths in the sagittal direction and the meridional direction are equal. FIG. 13B is a diagram schematically illustrating a state after the correction unit 162 symmetrizes the shape of the blurred portion. In the partial image 402 shown in FIG. 13B, the light spot Pb is substantially circular, and a part of the light spot Pa is a blank area.

ステップＳ２０３の後、補正部１６２は、対称化処理によって光点Ｐａの領域に生じた余白を、その周辺の色を用いて充填する（ステップＳ２０４）。このステップＳ２０４の結果、図１３（ｃ）に示すような部分画像４０３が得られる。 After step S203, the correction unit 162 fills the margin generated in the region of the light spot Pa by the symmetrization process using the surrounding colors (step S204). As a result of step S204, a partial image 403 as shown in FIG. 13C is obtained.

続いて、制御部２９は、他に抽出すべきボケ部の有無を判定する（ステップＳ２０５）。判定の結果、他に抽出すべきボケ部がある場合（ステップＳ２０５：Ｙｅｓ）、撮像装置１はステップＳ２０１へ戻る。一方、判定の結果、他に抽出すべきボケ部がない場合（ステップＳ２０５：Ｎｏ）、撮像装置１はメインルーチンへ戻る。 Subsequently, the control unit 29 determines whether or not there is another blur part to be extracted (step S205). As a result of the determination, if there is another blur portion to be extracted (step S205: Yes), the imaging device 1 returns to step S201. On the other hand, as a result of the determination, if there is no other blur portion to be extracted (step S205: No), the imaging device 1 returns to the main routine.

ステップＳ２０２において、判定部２９１の判定の結果、ボケ部の周辺が低コントラストでない場合（ステップＳ２０２：Ｎｏ）を説明する。この場合、補正部１６２は、ボケ部を所定方向に沿って反転して両者を重畳する（ステップＳ２０６）。この後、撮像装置１は、ステップＳ２０５へ移行する。 In step S202, the case where the periphery of the blurred portion is not low contrast as a result of the determination by the determination unit 291 will be described (step S202: No). In this case, the correction unit 162 inverts the blur part along a predetermined direction and superimposes both (step S206). Thereafter, the imaging apparatus 1 proceeds to step S205.

図１５は、ステップＳ２０６の処理の概要を示す図である。図１５に示す場合、補正部１６２は、光点Ｐａをメリジオナル方向に沿って反転させた光点Ｐｃを重畳する。光点Ｐｃの配置位置は、光学系３１の輝度分布や光学系３１の光学特性情報に基づいて、像高に応じて重ねる割合を加減する（例えば、ＭＴＦ値の差が大きい場合、像高が大きい部分では重ね量を大きくする）ことによって定められる。なお、光点Ｐａを配置する際には、光点Ｐａと光点Ｐｃの重なる面積が最も大きくなるように光点Ｐｃを配置してもよいし、二つの光点のメリジオナル方向の端部同士が重なるように光点Ｐｃを配置してもよいし、両光点の重心同士が一致するように光点Ｐｃを配置してもよい。 FIG. 15 is a diagram showing an overview of the processing in step S206. In the case illustrated in FIG. 15, the correction unit 162 superimposes the light spot Pc obtained by inverting the light spot Pa along the meridional direction. The arrangement position of the light spot Pc increases or decreases the overlapping ratio according to the image height based on the luminance distribution of the optical system 31 or the optical characteristic information of the optical system 31 (for example, when the difference in MTF values is large, the image height is It is determined by increasing the overlapping amount in a large part). When arranging the light spot Pa, the light spot Pc may be arranged so that the overlapping area of the light spot Pa and the light spot Pc is the largest, or the ends of the two light spots in the meridional direction. The light spots Pc may be arranged so that they overlap, or the light spots Pc may be arranged so that the centers of gravity of both light spots coincide.

なお、ステップＳ２０６において、補正部１６２が光点を反転したものをもとの光点に重畳する代わりに、もとの光点に外接する円形を作成することによって画像を補正してもよい。図１６は、この場合の補正部１６２が行う処理の概要を示す図である。補正部１６２は、光点Ｐａに外接する円を新たな光点Ｐｄとする。 In step S206, the image may be corrected by creating a circle circumscribing the original light spot instead of superimposing the inverted light spot on the original light spot by the correction unit 162. FIG. 16 is a diagram illustrating an outline of processing performed by the correction unit 162 in this case. The correction unit 162 sets a circle circumscribing the light spot Pa as a new light spot Pd.

以上説明したステップＳ１１３に続いて、表示制御部２９３は、補正後の部分画像を主画像とともにスルー画表示する（ステップＳ１１４）。図１７は、ステップＳ１１４で表示部２１が表示するスルー画の表示例を示す図である。図１７に示す主画像３０１と部分画像３０２は、図６および図７でそれぞれ示したものである。なお、図１７に示す状態で、ユーザが部分画像３０２の表示領域をタッチした場合、部分画像３０２が全画面に拡大表示されるようにしてもよい。この場合には、全画面表示された部分画像３０２をユーザがタッチした場合、図１７に示す表示態様に戻るようにすればよい。 Subsequent to step S113 described above, the display control unit 293 displays the corrected partial image together with the main image as a through image (step S114). FIG. 17 is a diagram illustrating a display example of a through image displayed on the display unit 21 in step S114. A main image 301 and a partial image 302 shown in FIG. 17 are those shown in FIGS. 6 and 7, respectively. In the state shown in FIG. 17, when the user touches the display area of the partial image 302, the partial image 302 may be enlarged and displayed on the entire screen. In this case, when the user touches the partial image 302 displayed on the full screen, the display mode shown in FIG.

続いて、撮影操作が行われた場合（ステップＳ１１５：Ｙｅｓ）、制御部２９は、絞り値を、ステップＳ１０６等の処理に基づいて定められた絞り値とする制御を行う（ステップＳ１１６）。続いて、撮像装置１は、画像を撮影して記録媒体２３へ記録する（ステップＳ１１７）。 Subsequently, when a photographing operation is performed (step S115: Yes), the control unit 29 performs control to set the aperture value to an aperture value determined based on the processing in step S106 and the like (step S116). Subsequently, the imaging apparatus 1 captures an image and records it on the recording medium 23 (step S117).

ステップＳ１１７の後、電源をオフする操作が行われた場合（ステップＳ１１８：Ｙｅｓ）、撮像装置１は、一連の処理を終了する。一方、電源をオフする操作が行われない場合（ステップＳ１１８：Ｎｏ）、撮像装置１はステップＳ１０３へ戻る。 If an operation to turn off the power is performed after step S117 (step S118: Yes), the imaging device 1 ends a series of processes. On the other hand, when the operation to turn off the power is not performed (step S118: No), the imaging apparatus 1 returns to step S103.

次に、ステップＳ１０３において、制御部２９が、撮影モードに設定されていないと判定した場合を説明する（ステップＳ１０３：Ｎｏ）。この場合において、再生モードが設定されているとき（ステップＳ１１９：Ｙｅｓ）、表示制御部２９３は所定の画像を再生する（ステップＳ１２０）。 Next, a case where the control unit 29 determines in step S103 that the shooting mode is not set will be described (step S103: No). In this case, when the reproduction mode is set (step S119: Yes), the display control unit 293 reproduces a predetermined image (step S120).

その後、入力部２０によって再生画像の変更指示が入力された場合（ステップＳ１２１：Ｙｅｓ）、表示制御部２９３は変更指示にしたがって画像を変更して再生を行う（ステップＳ１２２）。これに対して、入力部２０によって再生画像の変更指示が入力されない場合（ステップＳ１２１：Ｎｏ）、撮像装置１はステップＳ１１８へ移行する。 Thereafter, when a reproduction image change instruction is input by the input unit 20 (step S121: Yes), the display control unit 293 changes the image according to the change instruction and performs reproduction (step S122). On the other hand, when a reproduction image change instruction is not input by the input unit 20 (step S121: No), the imaging apparatus 1 proceeds to step S118.

ステップＳ１１９で再生モードが設定されていない場合（ステップＳ１１９：Ｎｏ）、撮像装置１は、ステップＳ１１８へ移行する。 When the playback mode is not set in step S119 (step S119: No), the imaging device 1 proceeds to step S118.

なお、図８に示すフローチャートでは、電源がオンされた後の起動時レンズ通信の際、レンズ部３が光学特性情報を本体部２へ送信していたが、レンズ部３が光学特性情報を本体部２へ送信する送信タイミングはこれに限られるわけではない。例えば、撮影モードに入った直後のレンズ通信時を送信タイミングとしてもよい。また、ＭＲ領域を選択するタッチ操作が行われた直後に本体部２がレンズ部３へ光学特性情報の送信要求を送信し、その応答としてレンズ部３が光学特性情報を送信するようにしてもよい。 In the flowchart shown in FIG. 8, the lens unit 3 transmits the optical characteristic information to the main body unit 2 during the lens communication at the start after the power is turned on, but the lens unit 3 transmits the optical characteristic information to the main unit. The transmission timing for transmission to the unit 2 is not limited to this. For example, the transmission timing may be the lens communication immediately after entering the shooting mode. Further, immediately after the touch operation for selecting the MR region is performed, the main body unit 2 transmits a transmission request for optical characteristic information to the lens unit 3, and the lens unit 3 transmits the optical characteristic information as a response thereto. Good.

以上説明した本発明の実施の形態１によれば、光学系が有する光学特性に基づいて撮像画像の部分画像における非対称部分を補正するため、撮像画像の部分画像においてコマ収差に基づいて生じる不自然さ（アンバランスさ）を解消することができる。 According to the first embodiment of the present invention described above, the asymmetric part in the partial image of the captured image is corrected based on the optical characteristics of the optical system. (Unbalance) can be eliminated.

（実施の形態２）
図１８は、本発明の実施の形態２に係る撮像装置が行う処理の概要を示すフローチャートである。本実施の形態２に係る撮像装置の構成は、実施の形態１で説明した撮像装置１の構成と同様である。 (Embodiment 2)
FIG. 18 is a flowchart illustrating an outline of processing performed by the imaging apparatus according to Embodiment 2 of the present invention. The configuration of the imaging apparatus according to the second embodiment is the same as the configuration of the imaging apparatus 1 described in the first embodiment.

図１８に示すフローチャートは、図８に示すフローチャートと画像補正処理が異なっている。このため、該当するステップ（ステップＳ１３１）以外の処理に対しては、図８に示すフローチャートと同じステップ番号を付してある。以下、ステップＳ１３１の処理について説明する。 The flowchart shown in FIG. 18 differs from the flowchart shown in FIG. 8 in image correction processing. For this reason, the same step numbers as those in the flowchart shown in FIG. 8 are assigned to processes other than the corresponding step (step S131). Hereinafter, the process of step S131 will be described.

ステップＳ１３１において、補正部１６２は、光学特性情報に加えて部分画像を用いて画像の補正を行う。図１９は、ステップＳ１３１の処理の概要を示すフローチャートである。まず、制御部２９は、ボケ部の形状と部分画像における位置を記録するＦｌａｓｈメモリ２６に記録する（ステップＳ３０１）。図２０は、ステップＳ３０１におけるボケ部の記録処理を説明する図である。図２０に示すように、制御部２９は、主画像の画面中心Ｃを原点とする座標系（ｘ座標）を部分画像の画面中心Ｃ’を原点とする座標系（ｘ’座標）に変換し、この新たな座標系における座標を記録する。座標系の変換は、二つの座標系の原点間の距離ｄだけシフトすることによって実現される。なお、図の上下方向についても座標系を変換してもよいが、ここでは簡単のために図の左右方向の座標系のみを変換する。また、サジタル方向とメリジオナル方向によって構成される直交座標系を用いて座標変換を行ってもよい。 In step S131, the correction unit 162 corrects the image using the partial image in addition to the optical characteristic information. FIG. 19 is a flowchart showing an overview of the process of step S131. First, the control unit 29 records the shape of the blurred portion and the position in the partial image in the flash memory 26 (step S301). FIG. 20 is a diagram for explaining the recording process of the blurred portion in step S301. As shown in FIG. 20, the control unit 29 converts a coordinate system (x coordinate) having the screen center C of the main image as the origin into a coordinate system (x ′ coordinate) having the screen center C ′ of the partial image as the origin. Record the coordinates in this new coordinate system. The transformation of the coordinate system is realized by shifting by the distance d between the origins of the two coordinate systems. Note that the coordinate system may be converted also in the vertical direction of the figure, but here, for the sake of simplicity, only the coordinate system in the horizontal direction of the figure is converted. In addition, coordinate conversion may be performed using an orthogonal coordinate system configured by a sagittal direction and a meridional direction.

続いて、判定部２９１は、部分画像の横方向の中心線に対して左右両側にボケ部があるか否かを判定する（ステップＳ３０２）。判定の結果、部分画像の横方向の中心線に対して左右両側にボケ部がある場合（ステップＳ３０２：Ｙｅｓ）、撮像装置１はステップＳ３０３へ移行する。一方、部分画像の中心に対して左右両側にボケ部がない場合（ステップＳ３０２：Ｎｏ）、撮像装置１はメインルーチンへ戻る。 Subsequently, the determination unit 291 determines whether or not there are blur portions on the left and right sides with respect to the horizontal center line of the partial image (step S302). As a result of the determination, if there are blurred portions on the left and right sides with respect to the horizontal center line of the partial image (step S302: Yes), the imaging apparatus 1 proceeds to step S303. On the other hand, when there are no blur portions on the left and right sides with respect to the center of the partial image (step S302: No), the imaging apparatus 1 returns to the main routine.

ステップＳ３０３において、制御部２９は、基準側と反対側に位置するボケ部を一つ抽出する（ステップＳ３０３）。ここで、基準側とは、主画像の横方向の中心線に対して位置する側と同じ側として定められる。 In step S303, the control unit 29 extracts one blurred portion located on the side opposite to the reference side (step S303). Here, the reference side is determined as the same side as the side positioned with respect to the horizontal center line of the main image.

その後、制御部２９は、上述した中心線に対し、抽出したボケ部と対称な位置に基準側のボケ部あるか否かを判定する（ステップＳ３０４）。判定の結果、抽出したボケ部と対称な位置に基準側のボケ部がある場合（ステップＳ３０４：Ｙｅｓ）、補正部１６２は、反対側の元の画像を除去し、基準側のボケ部を中心線に対して鏡像対称に配置したものを反対側に合成する（ステップＳ３０５）。 Thereafter, the control unit 29 determines whether or not there is a reference-side blur part at a position symmetrical to the extracted blur part with respect to the above-described center line (step S304). As a result of the determination, if there is a reference-side blur portion at a position symmetrical to the extracted blur portion (step S304: Yes), the correction unit 162 removes the original image on the opposite side and centers the reference-side blur portion. Those arranged in mirror image symmetry with respect to the line are synthesized on the opposite side (step S305).

この後、制御部２９は、他に抽出すべきボケ部の有無を判定する（ステップＳ３０６）。判定の結果、他に抽出すべきボケ部がある場合（ステップＳ３０６：Ｙｅｓ）、撮像装置１はステップＳ３０３へ戻る。一方、判定の結果、他に抽出すべきボケ部がない場合（ステップＳ３０６：Ｎｏ）、撮像装置１はメインルーチンへ戻る。 Thereafter, the control unit 29 determines the presence / absence of another blur part to be extracted (step S306). As a result of the determination, if there is another blur portion to be extracted (step S306: Yes), the imaging device 1 returns to step S303. On the other hand, as a result of the determination, when there is no other blur portion to be extracted (step S306: No), the imaging device 1 returns to the main routine.

次に、ステップＳ３０４において、制御部２９による判定の結果、抽出したボケ部と対称な位置に基準側のボケ部がない場合（ステップＳ３０４：Ｎｏ）を説明する。この場合、補正部１６２は、光学特性情報に基づいてボケ部を変形する（ステップＳ３０７）。ここでの変形は、レンズ情報記録部２６２が記録する光学特性情報（例えばＭＴＦデータ）を参照して行う。この後、撮像装置１は、ステップＳ３０６へ移行する。 Next, the case where there is no reference-side blurred portion at a position symmetrical to the extracted blurred portion in step S304 as a result of the determination by the control unit 29 (step S304: No) will be described. In this case, the correction unit 162 deforms the blurred portion based on the optical characteristic information (Step S307). The deformation is performed with reference to optical characteristic information (for example, MTF data) recorded by the lens information recording unit 262. Thereafter, the imaging apparatus 1 proceeds to step S306.

図２１は、以上説明した画像補正処理の概要を示す図である。図２１（ａ）に示す部分画像３０２は、図６に示す切出し領域ＭＲに対応する部分画像である。したがって、部分画像３０２における基準側は、中心線ＣＬの右側である。部分画像３０２において、基準側には二つの光点Ｐ₁、Ｐ₂が存在し、反対側には二つの光点Ｐ₃、Ｐ₄が存在している。これらの光点Ｐ₁〜Ｐ₄は、コマ収差に起因したボケが発生している。 FIG. 21 is a diagram showing an outline of the image correction processing described above. A partial image 302 shown in FIG. 21A is a partial image corresponding to the cutout region MR shown in FIG. Therefore, the reference side in the partial image 302 is the right side of the center line CL. In the partial image 302, there are two light spots P ₁ and P ₂ on the reference side, and two light spots P ₃ and P ₄ on the opposite side. These light spots P _{1 to} P ₄ are blurred due to coma aberration.

光点Ｐ₃には、中心線ＣＬに対して対称な位置（基準側）に光点が存在しない。このため、図２１（ｂ）に示すように、光点Ｐ₃は、部分画像３０４において、レンズ情報記録部２６２が記録する光学特性情報に基づいて補正されて光線Ｒ₃に変形されている（上記ステップＳ３０７を参照）。
これに対して、光点Ｐ₄は、中心線ＣＬに対して対称な位置に光点Ｐ₂が存在している。このため、図２１（ｂ）に示すように、光点Ｐ₄は、部分画像３０４において、中心線ＣＬに対して光点Ｐ₂と対称な形状を有する光点Ｒ₄に置き換えられている（上記ステップＳ３０５を参照）。
このようにして生成された部分画像３０４は、あたかも画面中心を中心線ＣＬ上に配置して撮像したかのような画像になっている。 The light spot P ₃ does not have a light spot at a position (reference side) symmetrical with respect to the center line CL. For this reason, as shown in FIG. 21B, the light spot P ₃ is corrected in the partial image 304 based on the optical characteristic information recorded by the lens information recording unit 262 and transformed into the light ray R ₃ ( (See step S307 above).
In contrast, the light spot P ₄ is point P ₂ is present in symmetrical positions with respect to the center line CL. For this reason, as shown in FIG. 21B, the light spot P ₄ is replaced with a light spot R ₄ having a shape symmetrical to the light spot P ₂ with respect to the center line CL in the partial image 304 ( (See step S305 above).
The partial image 304 generated in this way is an image as if the image was taken with the screen center placed on the center line CL.

以上説明した本発明の実施の形態２によれば、光学系が有する光学特性に基づいて撮像画像の部分画像における非対称部分を補正するため、撮像画像の部分画像においてコマ収差に基づいて生じる不自然さ（アンバランスさ）を解消することができる。 According to the second embodiment of the present invention described above, the asymmetric part in the partial image of the captured image is corrected based on the optical characteristics of the optical system. (Unbalance) can be eliminated.

また、本実施の形態２によれば、マルチレコーディング処理における部分画像に対して適用することができる。したがって、マルチレコーディングした複数の画像をあたかも個別に撮影したかのような印象を与えることができる。 Further, according to the second embodiment, it can be applied to partial images in multi-recording processing. Therefore, it is possible to give an impression as if a plurality of multi-recorded images were shot individually.

（実施の形態３）
本発明の実施の形態３は、光学特性情報として周辺光量を用い、画面周辺部における周辺光量の低下を補正することを特徴とする。本実施の形態３に係る撮像装置は、実施の形態１で説明した撮像装置１と同様の構成を有する。 (Embodiment 3)
The third embodiment of the present invention is characterized in that the peripheral light amount is used as the optical characteristic information and the decrease in the peripheral light amount in the peripheral portion of the screen is corrected. The imaging apparatus according to the third embodiment has the same configuration as that of the imaging apparatus 1 described in the first embodiment.

図２２は、本実施の形態３に係る撮像装置１が処理対象とする画像の例を示す図である。同図に示す画像５０１では、光点Ｖがボケて周辺部が欠けた形状をなしている。このような現象は、周辺光量が低下した画像に見られる現象である。画像５０１に示す切出し領域ＭＲは、実施の形態１等と同様、マルチレコーディング処理の際に部分画像として撮像する領域である。 FIG. 22 is a diagram illustrating an example of an image to be processed by the imaging device 1 according to the third embodiment. In the image 501 shown in the figure, the light spot V is blurred and the peripheral portion is missing. Such a phenomenon is a phenomenon seen in an image with a reduced amount of peripheral light. The cutout area MR shown in the image 501 is an area that is captured as a partial image during the multi-recording process, as in the first embodiment.

図２３は、レンズ情報記録部２６２が記録する光学特性情報をグラフ化した図である。具体的には、図２３は、画面の像高比と周辺光量比との関係を示す図である。曲線１０６からも明らかなように、周辺光量比は、像高比が大きくなるほど低下する傾向にある。 FIG. 23 is a graph of optical characteristic information recorded by the lens information recording unit 262. Specifically, FIG. 23 is a diagram illustrating the relationship between the image height ratio of the screen and the peripheral light amount ratio. As is apparent from the curve 106, the peripheral light amount ratio tends to decrease as the image height ratio increases.

図２４は、撮像装置１が行う画像補正処理の概要を模式的に示す図である。図２４では、図２２に示す画像５０１の切出し領域ＭＲを切出すことによって得られる部分画像５０２の補正処理の概要を示している。撮像装置１の補正部１６２は、周辺光量の低下に伴って生じたボケ部としての光点Ｖを略円形状の光点Ｗに変形する。このような補正を行うことにより、部分画像５０３は、光学的な非対称性が解消され、あたかも主画像として撮像したかのような構成を有することとなる。 FIG. 24 is a diagram schematically illustrating an outline of image correction processing performed by the imaging apparatus 1. FIG. 24 shows an outline of correction processing of the partial image 502 obtained by cutting out the cutout region MR of the image 501 shown in FIG. The correction unit 162 of the imaging device 1 transforms the light spot V as a blur part generated with a decrease in the peripheral light amount into a substantially circular light spot W. By performing such correction, the partial image 503 has a configuration as if it was captured as a main image, eliminating optical asymmetry.

以上説明した本発明の実施の形態３によれば、光学系が有する光学特性に基づいて撮像画像の部分画像における非対称部分を補正するため、撮像画像の部分画像において周辺光量の低下に基づいて生じる不自然さ（アンバランスさ）を解消することができる。 According to the third embodiment of the present invention described above, since the asymmetric part in the partial image of the captured image is corrected based on the optical characteristics of the optical system, it occurs based on the decrease in the amount of peripheral light in the partial image of the captured image. Unnaturalness (unbalance) can be eliminated.

（その他の実施の形態）
ここまで、本発明を実施するための形態を説明してきたが、本発明は上述した実施の形態によってのみ限定されるべきものではない。例えば、本発明において、光学特性情報としてＭＴＦ性能多項式を与えてもよい。ＭＴＦ性能多項式は、焦点距離をｘ、絞り（Ｆ値）をｙとして、以下の式で与えられる。
ＭＴＦ＝Ｆ₁ｘ＋Ｆ₂ｘ²＋・・・＋Ｂ₁ｙ＋Ｂ₂ｙ²＋・・・＋Ｃ
ここで、Ｆ₂ｘ²に続く「・・・」はｘの３次以上の項を意味し、Ｂ₂ｙ²に続く「・・・」はｙの３次以上の項を意味する。この場合、レンズ部３は、ＭＴＦ多項式の係数を本体部２へ送信する。 (Other embodiments)
So far, the embodiment for carrying out the present invention has been described, but the present invention should not be limited only by the embodiment described above. For example, in the present invention, an MTF performance polynomial may be given as the optical characteristic information. The MTF performance polynomial is given by the following equation, where x is the focal length and y is the aperture (F value).
MTF = F ₁ x + F ₂ x ² +... + B ₁ y + B ₂ y ² +.
Here, “...” Following F ₂ x ² means a third or higher order term of x, and “...” Following B ₂ y ² means a third or higher order term of y. In this case, the lens unit 3 transmits the coefficient of the MTF polynomial to the main body unit 2.

また、本発明において、光学特性情報としてＭＴＦや周辺光量以外の量を適用することも可能である。具体的には、例えば倍率色収差を光学特性情報として適用してもよい。 In the present invention, it is also possible to apply an amount other than the MTF and the peripheral light amount as the optical characteristic information. Specifically, for example, chromatic aberration of magnification may be applied as the optical characteristic information.

また、本発明は、主画像の一部をトリミングした画像に対しても適用することが可能である。 The present invention can also be applied to an image obtained by trimming a part of a main image.

また、本発明は、静止画撮影時のみならず動画撮影時にも適用することが可能である。 Further, the present invention can be applied not only when shooting still images but also when shooting moving images.

なお、本発明においては、本体部とレンズ部とが一体的に形成されていてもよい。 In the present invention, the main body portion and the lens portion may be integrally formed.

また、本発明に係る撮像装置は、デジタル一眼レフカメラ以外にも、例えばアクセサリ等を装着可能なデジタルカメラ、デジタルビデオカメラおよび撮影機能を有する携帯電話やタブレット型携帯機器等の電子機器にも適用することができる。 In addition to a digital single-lens reflex camera, the imaging apparatus according to the present invention is also applicable to, for example, digital cameras that can be equipped with accessories and the like, digital video cameras, and electronic devices such as mobile phones and tablet mobile devices having a shooting function can do.

本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。すなわち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。 In the description of the flowchart in the present specification, the context of processing between steps is clearly shown using expressions such as “first”, “subsequent”, and “follow”, but this is necessary for carrying out the present invention. The order of processing is not uniquely determined by their expression. That is, the order of processing in the flowcharts described in this specification can be changed within a consistent range.

このように、本発明は、ここでは記載していない様々な実施の形態を含みうるものであり、特許請求の範囲によって特定される技術的思想の範囲内で種々の設計変更等を行うことが可能である。 As described above, the present invention can include various embodiments not described herein, and various design changes and the like can be made within the scope of the technical idea specified by the claims. Is possible.

１撮像装置
２本体部
２Ｂバス
３レンズ部
４アクセサリ部
１２撮像素子
１６画像処理部
１９画像圧縮展開部
２０入力部
２１表示部
２２表示駆動部
２３記録媒体
２６Ｆｌａｓｈメモリ
２７本体通信部
２８第２通信部
２９制御部
３１光学系
３５レンズ操作部
３６レンズＦｌａｓｈメモリ
３７レンズ通信部
３８レンズ制御部
４１通信部
４２接眼表示部
１０１、１０２、１０６曲線
１０３、１０４、１０５輝度曲線
１６１切出し処理部
１６２補正部
２６１プログラム記録部
２６２レンズ情報記録部
２９１判定部
２９２タッチ検出部
２９３表示制御部
３０１、５０１画像
３０２、３０３、３０４、４０１、４０２、４０３、５０２、５０３部分画像
３６１光学特性情報記録部 DESCRIPTION OF SYMBOLS 1 Imaging device 2 Main-body part 2B Bus 3 Lens part 4 Accessory part 12 Image pick-up element 16 Image processing part 19 Image compression expansion part 20 Input part 21 Display part 22 Display drive part 23 Recording medium 26 Flash memory 27 Main body communication part 28 2nd communication Unit 29 Control unit 31 Optical system 35 Lens operation unit 36 Lens flash memory 37 Lens communication unit 38 Lens control unit 41 Communication unit 42 Eyepiece display unit 101, 102, 106 Curve 103, 104, 105 Luminance curve 161 Cutout processing unit 162 Correction unit 261 Program recording unit 262 Lens information recording unit 291 Determination unit 292 Touch detection unit 293 Display control unit 301, 501 Image 302, 303, 304, 401, 402, 403, 502, 503 Partial image 361 Optical characteristic information recording unit

Claims

An optical system that focuses light from a subject to form an image, an image sensor that generates image data by photoelectrically converting the light imaged by the optical system, and an image corresponding to the image data can be displayed An image pickup apparatus capable of photographing a partial image corresponding to a region designated in an image displayed by the display unit,
A correction unit is provided that performs correction for symmetrizing the shape of a blur of a light spot generated in the partial image due to coma aberration of the optical system based on optical characteristics of the optical system. Imaging device.

The correction unit is
The imaging apparatus according to claim 1, wherein the blur shape of the light spot is symmetrized by performing correction so that one width of the light spot in the meridional direction and the sagittal direction is equal to the other width.

A determination unit that determines whether the correction by the correction unit is necessary for the partial image;
Wherein the correction unit includes an imaging device according to claim 1 or 2, characterized in that the correction of the partial image when it is determined that it is necessary to correct by the determining unit.

The imaging apparatus according to any one of claims 1 to 3, characterized in that in parallel the image and the partial image the display unit displays a possible imaging.

A main body including the image sensor, the display unit, and the correction unit;
A lens unit that includes the optical system and an optical characteristic information recording unit that records optical characteristic information of the optical system, and that is communicable with the main body unit and is detachable from the main body unit;
Have
The correction unit is
The imaging apparatus according to any one of claims 1 to 4, characterized in that the correction of the partial image based on the optical characteristic information received from the lens unit.

It provided so as to overlap with the display screen of the display unit, any one of claims 1-5, characterized in that further comprising an input unit that receives an input of a signal for specifying the partial image in accordance with the contact position from the outside The imaging device according to one item.