JP5963601B2

JP5963601B2 - Imaging apparatus, imaging method, and program

Info

Publication number: JP5963601B2
Application number: JP2012171279A
Authority: JP
Inventors: 貴之松橋; 学市川
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2012-08-01
Filing date: 2012-08-01
Publication date: 2016-08-03
Anticipated expiration: 2032-08-01
Also published as: JP2014033264A

Description

本発明は、被写体を撮像して該被写体の画像データを生成する撮像装置、撮像装置が実行する撮像方法およびプログラムに関する。 The present invention relates to an imaging device that captures an image of a subject and generates image data of the subject, and an imaging method and program executed by the imaging device.

近年、デジタルカメラ等の撮像装置において、複数の画像処理エンジン（画像処理回路）を用いて高速なフレームレートで画像データを生成する技術が知られている（特許文献１参照）。この技術では、１フレームの画像データを複数の領域に分割し、この複数の領域それぞれに対して画像処理エンジンが並列に画像処理を施すことによって、高速なフレームレートを実現している。 In recent years, a technique for generating image data at a high frame rate using a plurality of image processing engines (image processing circuits) in an imaging apparatus such as a digital camera is known (see Patent Document 1). In this technique, one frame of image data is divided into a plurality of areas, and the image processing engine performs image processing in parallel on each of the plurality of areas, thereby realizing a high frame rate.

特開２００２−２４７５９３号公報JP 2002-247593 A

ところで、上述した特許文献１では、複数の画像処理エンジンのうち他の画像処理エンジンと異なる性能の画像処理エンジンが含まれている場合、画像処理エンジンの性能が異なることで、領域毎に画質差が現れて画質劣化が生じるという問題点があった。 By the way, in Patent Document 1 described above, when an image processing engine having a performance different from that of other image processing engines is included among a plurality of image processing engines, the image processing engine performance is different, so that the image quality difference is different for each region. Appears and image quality deteriorates.

本発明は、上記に鑑みてなされたものであって、性能が異なる複数の画像処理エンジンを用いた場合であっても、高速なフレームレートで画像を生成することができるとともに、画質の劣化を防止する撮像装置、撮像方法およびプログラムを提供することを目的とする。 The present invention has been made in view of the above, and even when a plurality of image processing engines having different performances are used, an image can be generated at a high frame rate and image quality can be reduced. An object of the present invention is to provide an imaging apparatus, an imaging method, and a program for preventing the above.

上述した課題を解決し、目的を達成するために、本発明にかかる撮像装置は、被写体を撮像し、該被写体の画像データを時間的に連続して生成する撮像部と、前記撮像部が生成した前記画像データに対して画像処理が可能であり、互いに異なる性能を有する複数の画像処理部と、前記画像データを複数の領域に分割し、各領域に対して前記複数の画像処理部による画像処理の領域が異なるように前記複数の画像処理部による画像処理を実行させることを特徴とする画像処理制御部と、を備えたことを特徴とする。 In order to solve the above-described problems and achieve the object, an imaging apparatus according to the present invention captures an object and generates an image data of the object continuously in time, and the imaging unit generates A plurality of image processing units capable of performing image processing on the image data and having different performances; and the image data is divided into a plurality of regions, and an image by the plurality of image processing units is divided into each region. And an image processing control unit that causes the image processing by the plurality of image processing units to be executed so that processing areas are different.

また、本発明にかかる撮像装置は、上記発明において、前記画像処理制御部は、前記画像データを分割する数を前記複数の画像処理部の数以上にすることを特徴とする。 In the imaging device according to the present invention as set forth in the invention described above, the image processing control unit makes the number of divisions of the image data equal to or greater than the number of the plurality of image processing units.

また、本発明にかかる撮像装置は、上記発明において、前記画像処理制御部は、前記画像データを水平ラインおよび／または垂直ラインに沿って複数の領域に分割することを特徴とする。 In the image pickup apparatus according to the present invention as set forth in the invention described above, the image processing control unit divides the image data into a plurality of regions along a horizontal line and / or a vertical line.

また、本発明にかかる撮像装置は、上記発明において、前記画像処理制御部は、前記画像データを水平または垂直の１ライン毎に分割することを特徴とする。 In the image pickup apparatus according to the present invention as set forth in the invention described above, the image processing control unit divides the image data into horizontal or vertical lines.

また、本発明にかかる撮像装置は、上記発明において、前記複数の画像処理は、特定の情報を取得するフィルタ処理が可能であり、前記画像処理制御部は、前記フィルタ処理のサイズに応じて、前記画像データを帯状の領域に分割することを特徴とする。 Further, in the imaging apparatus according to the present invention, in the above invention, the plurality of image processes can be subjected to a filter process for acquiring specific information, and the image processing control unit is configured according to a size of the filter process. The image data is divided into strip-shaped regions.

また、本発明にかかる撮像装置は、上記発明において、前記画像処理制御部は、前記画像データを格子状の領域に分割することを特徴とする。 In the imaging device according to the present invention as set forth in the invention described above, the image processing control unit divides the image data into grid-like regions.

また、本発明にかかる撮像装置は、上記発明において、前記画像処理制御部は、前記画像データを分割する領域の大きさを不規則に変更することを特徴とする。 In the imaging device according to the present invention as set forth in the invention described above, the image processing control unit irregularly changes the size of a region into which the image data is divided.

また、本発明にかかる撮像装置は、上記発明において、前記画像処理制御部は、前記画像データ毎に前記複数の画像処理部に実行させる前記領域を変更することを特徴とする。 In the imaging device according to the present invention as set forth in the invention described above, the image processing control unit changes the region to be executed by the plurality of image processing units for each of the image data.

また、本発明にかかる撮像装置は、上記発明において、前記複数の画像処理部は、複数の画像データを合成する合成処理が可能であり、合成時の演算精度または丸め精度が互いに異なることを特徴とする。 In the imaging device according to the present invention as set forth in the invention described above, the plurality of image processing units can perform a combining process for combining a plurality of image data, and the calculation accuracy or rounding accuracy at the time of combining is different from each other. And

また、本発明にかかる撮像装置は、上記発明において、前記画像データに対応する画像を時系列に沿って順次表示する表示部をさらに備え、前記画像処理制御部は、当該撮像装置が動画撮影を行う場合または前記表示部が前記画像を時系列に沿って順次表示する場合、前記複数の画像処理部それぞれに画像処理を実行させることを特徴とする。 The imaging apparatus according to the present invention further includes a display unit that sequentially displays images corresponding to the image data in time series in the above invention, and the image processing control unit includes the imaging apparatus for capturing a moving image. When performing or when the display unit sequentially displays the images in time series, each of the plurality of image processing units is caused to execute image processing.

また、本発明にかかる撮像装置は、上記発明において、前記画像処理制御部は、当該撮像装置が静止画撮影を行う場合、前記複数の画像処理部のいずれか一つに前記画像データに対する画像処理を実行させることを特徴とする。 In the imaging device according to the present invention, the image processing control unit may perform image processing on the image data in any one of the plurality of image processing units when the imaging device performs still image shooting. Is executed.

また、本発明にかかる撮像装置は、上記発明において、前記複数の画像処理部は、当該撮像装置が静止画撮影を行う際に記録用の画像処理を行う第１画像処理部と、前記表示部が前記画像データに対応する画像を表示する際に表示用の画像処理を行う第２画像処理部とであることを特徴とする。 Further, in the imaging apparatus according to the present invention, in the above invention, the plurality of image processing units include a first image processing unit that performs image processing for recording when the imaging device performs still image shooting, and the display unit. Is a second image processing unit that performs image processing for display when displaying an image corresponding to the image data.

また、本発明にかかる撮像方法は、被写体を撮像し、該被写体の画像データを時間的に連続して生成する撮像部と、前記撮像部が生成した前記画像データに対して画像処理が可能であり、互いに異なる性能を有する複数の画像処理部と、を備えた撮像装置が実行する撮像方法であって、前記画像データを複数の領域に分割し、各領域に対して前記複数の画像処理部による画像処理の領域が異なるように前記複数の画像処理部による画像処理を実行させることを特徴とする画像処理制御ステップを含むことを特徴とする。 In addition, the imaging method according to the present invention is capable of imaging a subject and generating image data of the subject continuously in time, and performing image processing on the image data generated by the imaging unit. A plurality of image processing units having different performances, and an imaging method executed by the imaging apparatus, wherein the image data is divided into a plurality of regions, and the plurality of image processing units for each region The image processing control step is characterized in that the image processing by the plurality of image processing units is executed so that the image processing areas according to the above are different.

また、本発明にかかるプログラムは、被写体を撮像し、該被写体の画像データを時間的に連続して生成する撮像部と、前記撮像部が生成した前記画像データに対して画像処理が可能であり、互いに異なる性能を有する複数の画像処理部と、を備えた撮像装置が実行させるプログラムであって、前記画像データを複数の領域に分割し、各領域に対して前記複数の画像処理部による画像処理の領域が異なるように前記複数の画像処理部による画像処理を実行させる画像処理制御ステップを含むことを特徴とする。 Further, the program according to the present invention is capable of image processing on an image capturing unit that captures an image of a subject and continuously generates image data of the subject and the image data generated by the image capturing unit. A program executed by an imaging apparatus including a plurality of image processing units having different performances, wherein the image data is divided into a plurality of regions, and an image by the plurality of image processing units is divided into each region An image processing control step for executing image processing by the plurality of image processing units so that processing areas are different is included.

本発明によれば、処理能力が異なる複数の画像処理を用いた場合であっても、高速なフレームレートで画像を生成することができるとともに、画質の劣化を防止することができるという効果を奏する。 According to the present invention, even when the processing capability using a plurality of different image processing, it is possible to generate an image at a high frame rate, the effect that it is possible to prevent deterioration of image quality Play.

図１は、本発明の一実施の形態にかかる撮像装置の構成を示すブロック図である。FIG. 1 is a block diagram showing a configuration of an imaging apparatus according to an embodiment of the present invention. 図２は、本発明の一実施の形態にかかる撮像装置が行う処理の概要を示すフローチャートである。FIG. 2 is a flowchart showing an outline of processing performed by the imaging apparatus according to the embodiment of the present invention. 図３は、図２の画像制御処理の概要を示すフローチャートである。FIG. 3 is a flowchart showing an outline of the image control process of FIG. 図４は、本発明の一実施の形態にかかる撮像装置が静止画撮影を行う際に、制御部が各部に対して指示する制御の処理タイミングを示すタイミングチャートである。FIG. 4 is a timing chart showing control processing timings instructed by the control unit to each unit when the imaging apparatus according to the embodiment of the present invention performs still image shooting. 図５は、本発明の一実施の形態にかかる撮像装置が動画撮影またはライブビュー画像の表示を行う際に、制御部が各部に対して指示する制御の処理タイミングを示すタイミングチャートである。FIG. 5 is a timing chart showing the processing timing of the control that the control unit instructs each unit when the imaging apparatus according to the embodiment of the present invention performs moving image shooting or live view image display. 図６は、本発明の一実施の形態にかかる撮像装置の画像処理制御部が撮像素子によって生成された１フレームの画像データに対して、第１画像処理部および第２画像処理部それぞれに実行する画像処理の領域を模式的に示す図である。FIG. 6 is executed by the image processing control unit of the imaging apparatus according to the embodiment of the present invention for each of the first image processing unit and the second image processing unit for one frame of image data generated by the imaging device. FIG. 図７は、本発明の一実施の形態の変形例３にかかる撮像装置の画像処理制御部が第１画像処理部および第２画像処理部それぞれに設定する画像データの領域を模式的に示す図である。FIG. 7 is a diagram schematically illustrating regions of image data set in the first image processing unit and the second image processing unit by the image processing control unit of the imaging apparatus according to the third modification of the embodiment of the present invention. It is. 図８は、本発明の一実施の形態の変形例４にかかる撮像装置の画像処理制御部が第１画像処理部および第２画像処理部それぞれに設定する画像データの領域を模式的に示す図である。FIG. 8 is a diagram schematically illustrating regions of image data set in the first image processing unit and the second image processing unit by the image processing control unit of the imaging apparatus according to the fourth modification of the embodiment of the present invention. It is. 図９は、本発明の一実施の形態の変形例５にかかる撮像装置の画像処理制御部が第１画像処理部および第２画像処理部それぞれに設定する画像データの領域を模式的に示す図である。FIG. 9 is a diagram schematically illustrating areas of image data set in the first image processing unit and the second image processing unit by the image processing control unit of the imaging apparatus according to the fifth modification of the embodiment of the present invention. It is.

以下、図面を参照して、本発明を実施するための形態（以下、「実施の形態」という）について説明する。また、以下において、同一の部分には同一の符号を付して説明する。なお、この実施の形態によって本発明が限定されるものではない。 DESCRIPTION OF EMBODIMENTS Hereinafter, embodiments for carrying out the present invention (hereinafter referred to as “embodiments”) will be described with reference to the drawings. In the following description, the same portions are denoted by the same reference numerals. Note that the present invention is not limited to the embodiments.

図１は、本発明の一実施の形態にかかる撮像装置の構成を示すブロック図である。図１に示す撮像装置１は、本体部２と、本体部２に着脱自在なレンズ部３と、を備える。 FIG. 1 is a block diagram showing a configuration of an imaging apparatus according to an embodiment of the present invention. An imaging apparatus 1 illustrated in FIG. 1 includes a main body unit 2 and a lens unit 3 that is detachable from the main body unit 2.

本体部２は、シャッタ２０１と、シャッタ駆動部２０２と、撮像素子２０３と、撮像素子駆動部２０４と、信号処理部２０５と、Ａ／Ｄ変換部２０６と、第１画像処理部２０７と、第２画像処理部２０８と、ＡＥ処理部２０９と、ＡＦ処理部２１０と、画像圧縮展開部２１１と、操作入力部２１２と、表示部２１３と、表示駆動部２１４と、記録媒体２１５と、メモリＩ／Ｆ２１６と、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）２１７と、Ｆｌａｓｈメモリ２１８と、本体通信部２１９と、バス２２０と、制御部２２１と、を備える。 The main body 2 includes a shutter 201, a shutter driving unit 202, an image sensor 203, an image sensor driving unit 204, a signal processing unit 205, an A / D conversion unit 206, a first image processing unit 207, and a first image processing unit 207. 2 image processing unit 208, AE processing unit 209, AF processing unit 210, image compression / decompression unit 211, operation input unit 212, display unit 213, display drive unit 214, recording medium 215, memory I / F216, SDRAM (Synchronous Dynamic Random Access Memory) 217, Flash memory 218, main body communication unit 219, bus 220, and control unit 221.

シャッタ２０１は、撮像素子２０３の状態を露光状態または遮光状態に設定する。シャッタ駆動部２０２は、ステッピングモータ等を用いて構成され、制御部２２１から入力される信号に応じてシャッタ２０１を駆動する。 The shutter 201 sets the state of the image sensor 203 to an exposure state or a light shielding state. The shutter drive unit 202 is configured using a stepping motor or the like, and drives the shutter 201 in accordance with a signal input from the control unit 221.

撮像素子２０３は、レンズ部３を介して被写体を撮像し、この被写体の画像データを時間的に連続して生成する。具体的には、撮像素子２０３は、レンズ部３が集光した光を受光して電気信号に変換するＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等を用いて構成される。撮像素子駆動部２０４は、所定のタイミングで撮像素子２０３から画像データ（アナログ信号）を信号処理部２０５へ出力させる。この意味で、撮像素子駆動部２０４は、電子シャッタとして機能する。なお、本実施の形態では、撮像素子２０３が撮像部として機能する。 The image sensor 203 images a subject via the lens unit 3 and generates image data of the subject continuously in time. Specifically, the image sensor 203 is configured using a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor) that receives the light collected by the lens unit 3 and converts it into an electrical signal. The image sensor driving unit 204 outputs image data (analog signal) from the image sensor 203 to the signal processing unit 205 at a predetermined timing. In this sense, the image sensor driving unit 204 functions as an electronic shutter. In the present embodiment, the image sensor 203 functions as an imaging unit.

信号処理部２０５は、撮像素子２０３から入力されるアナログ信号に対して、ノイズ低減処理、ゲインアップ処理および波形整形処理等のアナログ処理を施してＡ／Ｄ変換部２０６へ出力する。 The signal processing unit 205 performs analog processing such as noise reduction processing, gain increase processing, and waveform shaping processing on the analog signal input from the image sensor 203 and outputs the analog signal to the A / D conversion unit 206.

Ａ／Ｄ変換部２０６は、信号処理部２０５から入力されるアナログ信号に対してＡ／Ｄ変換を行うことによってデジタルの画像データを生成し、バス２２０を介してＳＤＲＡＭ２１７へ出力する。 The A / D conversion unit 206 generates digital image data by performing A / D conversion on the analog signal input from the signal processing unit 205, and outputs the digital image data to the SDRAM 217 via the bus 220.

第１画像処理部２０７は、画像処理エンジンとして機能し、バス２２０を介してＳＤＲＡＭ２１７から画像データ（ＲＡＷデータ）を取得し、取得した画像データに対して各種の画像処理を行う。この画像処理を行った画像データは、バス２２０を介してＳＤＲＡＭ２１７へ出力される。ここで、画像処理としては、オプティカルブラック低減処理、ホワイトバランス調整処理、カラーマトリクス演算処理、ガンマ補正処理、色再現処理、エッジ強調処理、複数の画像データを合成する合成処理および撮像素子２０３がベイヤー配列の場合には画像データの同時化処理等である。さらに、第１画像処理部２０７は、画像データに対して、特定の情報を取得するフィルタ処理が可能である。第１画像処理部２０７が行うフィルタ処理は、ローパスフィルタ処理、バンドバスフィルタ処理、ぼかしフィルタ処理、ノイズリダクションフィルタ処理、エッジ抽出フィルタ処理およびγフィルタ処理を行う。また、第１画像処理部２０７は、画像データを合成する合成時の演算精度が１２ビットであり、画像データの丸め精度が１２ビットである。さらにまた、第１画像処理部２０７は、ノイズリダクションフィルタ処理、ぼかしフィルタ処理およびγフィルタ処理それぞれを画素数７×７の領域に演算を施す。また、第１画像処理部２０７は、撮像装置１が静止画撮影を行う際に記録用の画像処理を行う。 The first image processing unit 207 functions as an image processing engine, acquires image data (RAW data) from the SDRAM 217 via the bus 220, and performs various types of image processing on the acquired image data. The image data subjected to this image processing is output to the SDRAM 217 via the bus 220. Here, as image processing, optical black reduction processing, white balance adjustment processing, color matrix calculation processing, gamma correction processing, color reproduction processing, edge enhancement processing, composition processing for combining a plurality of image data, and image sensor 203 are Bayer. In the case of an array, the image data is synchronized. Furthermore, the first image processing unit 207 can perform filter processing for acquiring specific information for the image data. The filter processing performed by the first image processing unit 207 performs low-pass filter processing, band-pass filter processing, blur filter processing, noise reduction filter processing, edge extraction filter processing, and γ filter processing. Further, the first image processing unit 207 has a calculation accuracy of 12 bits when combining image data, and a rounding accuracy of the image data is 12 bits. Furthermore, the first image processing unit 207 performs a noise reduction filter process, a blur filter process, and a γ filter process on an area having 7 × 7 pixels. In addition, the first image processing unit 207 performs image processing for recording when the imaging apparatus 1 performs still image shooting.

第２画像処理部２０８は、画像処理エンジンとして機能し、バス２２０を介してＳＤＲＡＭ２１７から画像データを取得し、取得した画像データに対して、第１画像処理部２０７と同様の画像処理を行って、ＳＤＲＡＭ２１７へ出力する。さらに、第２画像処理部２０８は、画像データに対して、フィルタ処理が可能である。第２画像処理部２０８が行うフィルタ処理は、ローパスフィルタ処理、バンドバスフィルタ処理、ぼかしフィルタ処理、ノイズリダクションフィルタ処理、エッジ抽出フィルタ処理およびγフィルタ処理である。また、第２画像処理部２０８は、第１画像処理部２０７に比して簡易な画像処理回路によって構成され、第１画像処理部２０７と性能（処理能力）が異なる。具体的には、第２画像処理部２０８は、画像データを合成する合成時の演算精度が８ビットであり、丸め精度が８ビットである。さらにまた、第２画像処理部２０８は、ノイズリダクションフィルタ処理、ぼかしフィルタ処理およびγフィルタ処理それぞれを画素数３×３の領域に演算を施す。また、第２画像処理部２０８は、撮像装置１が動画撮影を行う場合または表示部２１３がライブビュー画像を表示する場合、表示用の画像処理（簡易な画像処理）を行う。 The second image processing unit 208 functions as an image processing engine, acquires image data from the SDRAM 217 via the bus 220, and performs the same image processing as the first image processing unit 207 on the acquired image data. , Output to SDRAM 217. Further, the second image processing unit 208 can perform filter processing on the image data. The filter processing performed by the second image processing unit 208 is low-pass filter processing, band-pass filter processing, blur filter processing, noise reduction filter processing, edge extraction filter processing, and γ filter processing. Further, the second image processing unit 208 is configured by a simple image processing circuit as compared with the first image processing unit 207, and is different in performance (processing capability) from the first image processing unit 207. Specifically, the second image processing unit 208 has a calculation accuracy of 8 bits when combining image data and a rounding accuracy of 8 bits. Furthermore, the second image processing unit 208 performs each of the noise reduction filter process, the blur filter process, and the γ filter process on the region of 3 × 3 pixels. Further, the second image processing unit 208 performs display image processing (simple image processing) when the imaging apparatus 1 performs moving image shooting or when the display unit 213 displays a live view image.

ＡＥ処理部２０９は、バス２２０を介してＳＤＲＡＭ２１７に記録された画像データを取得し、取得した画像データに基づいて、静止画撮影または動画撮影を行う際の露出条件を設定する。具体的には、ＡＥ処理部２０９は、画像データから輝度を算出し、算出した輝度に基づいて、たとえば絞り値（ｆ値）、シャッタ速度等を決定することで撮像装置１の自動露出を行う。 The AE processing unit 209 acquires image data recorded in the SDRAM 217 via the bus 220, and sets an exposure condition when performing still image shooting or moving image shooting based on the acquired image data. Specifically, the AE processing unit 209 calculates the luminance from the image data, and performs automatic exposure of the imaging apparatus 1 by determining, for example, an aperture value (f value) and a shutter speed based on the calculated luminance. .

ＡＦ処理部２１０は、バス２２０を介してＳＤＲＡＭ２１７に記録された画像データを取得し、取得した画像データに基づいて、撮像装置１の自動焦点の調整を行う。たとえば、ＡＦ処理部２１０は、画像データから高周波成分の信号を取り出し、この高周波成分の信号に対してＡＦ（Auto Focus）演算処理を行うことによって、撮像装置１の合焦評価を決定することで撮像装置１の自動焦点の調整を行う。 The AF processing unit 210 acquires image data recorded in the SDRAM 217 via the bus 220, and adjusts the automatic focus of the imaging apparatus 1 based on the acquired image data. For example, the AF processing unit 210 extracts a high-frequency component signal from the image data, and performs AF (Auto Focus) calculation processing on the high-frequency component signal, thereby determining the focus evaluation of the imaging apparatus 1. The auto focus of the image pickup apparatus 1 is adjusted.

画像圧縮展開部２１１は、バス２２０を介してＳＤＲＡＭ２１７から画像データを取得し、取得した画像データに対して所定の形式に従って圧縮し、この圧縮した画像データをＳＤＲＡＭ２１７へ出力する。ここで、所定の形式としては、ＪＰＥＧ（Joint Photographic Experts Group）方式、ＭｏｔｉｏｎＪＰＥＧ方式およびＭＰ４（Ｈ．２６４）方式等である。また、画像圧縮展開部２１１は、バス２２０およびメモリＩ／Ｆ２１６を介して記録媒体２１５に記録された画像データ（圧縮画像データ）を取得し、取得した画像データを展開（伸張）してＳＤＲＡＭ２１７へ出力する。 The image compression / decompression unit 211 acquires image data from the SDRAM 217 via the bus 220, compresses the acquired image data according to a predetermined format, and outputs the compressed image data to the SDRAM 217. Here, the predetermined format includes a JPEG (Joint Photographic Experts Group) system, a Motion JPEG system, and an MP4 (H.264) system. In addition, the image compression / decompression unit 211 acquires image data (compressed image data) recorded on the recording medium 215 via the bus 220 and the memory I / F 216, expands (decompresses) the acquired image data, and transfers it to the SDRAM 217. Output.

操作入力部２１２は、静止画撮影を指示する指示信号の入力を受け付けるレリーズボタン２１２ａと、動画撮影を指示する指示信号の入力を受け付ける動画ボタン２１２ｂと、撮像装置１の撮影モードの切り替えを指示する指示信号の入力を受け付けるモード切替ボタン２１２ｃと、撮像装置１の各種パラメータの設定を指示する指示信号の入力を受け付けるメニューボタン２１２ｄと、記録媒体２１５に記録された画像データの再生を指示する指示信号の入力を受け付ける再生ボタン２１２ｅと、撮像装置１の電源をオン状態またはオフ状態に切り替える電源ボタン２１２ｆと、を有する。レリーズボタン２１２ａは、外部からの押圧により進退可能である。レリーズボタン２１２ａが半押しされた場合、撮影準備動作を指示する１ｓｔレリーズ信号が入力される。これに対して、レリーズボタン２１２ａが全押しされた場合、静止画撮影を指示する２ｎｄレリーズ信号が入力される。 The operation input unit 212 instructs a release button 212a that receives an input of an instruction signal for instructing still image shooting, a moving image button 212b that receives an input of an instruction signal for instructing moving image shooting, and switching of the shooting mode of the imaging apparatus 1. A mode switching button 212c that accepts an input of an instruction signal, a menu button 212d that accepts an input of an instruction signal that instructs setting of various parameters of the imaging apparatus 1, and an instruction signal that instructs the reproduction of image data recorded on the recording medium 215 And a power button 212f for switching the power of the imaging apparatus 1 to an on state or an off state. The release button 212a can be advanced and retracted by pressing from the outside. When the release button 212a is half-pressed, a 1st release signal for instructing a shooting preparation operation is input. On the other hand, when the release button 212a is fully pressed, a 2nd release signal instructing still image shooting is input.

表示部２１３は、画像データに対応する画像を表示する。表示部２１３は、液晶または有機ＥＬ（Electro Luminescence）等からなる表示パネルを用いて構成される。表示駆動部２１４は、バス２２０を介してＳＤＲＡＭ２１７が記録する画像データまたは記録媒体２１５が記録する画像データを取得し、取得した画像データに対応する画像を表示部２１３に表示させる。ここで、画像の表示には、撮影直後の画像データを所定時間（たとえば３秒）だけ表示するレックビュー表示、記録媒体２１５に記録された画像データを再生する再生表示、および撮像素子２０３が連続的に生成する画像データに対応するライブビュー画像を時系列に沿って順次表示するライブビュー表示等が含まれる。また、表示部２１３は、撮像装置１の操作情報および撮影に関する情報を適宜表示する。 The display unit 213 displays an image corresponding to the image data. The display unit 213 is configured using a display panel made of liquid crystal, organic EL (Electro Luminescence), or the like. The display driving unit 214 acquires image data recorded by the SDRAM 217 or image data recorded by the recording medium 215 via the bus 220 and causes the display unit 213 to display an image corresponding to the acquired image data. Here, for image display, a rec view display that displays image data immediately after shooting for a predetermined time (for example, 3 seconds), a reproduction display that reproduces image data recorded on the recording medium 215, and an image sensor 203 are continuously displayed. Live view display that sequentially displays live view images corresponding to image data to be generated in time series. In addition, the display unit 213 appropriately displays operation information of the imaging device 1 and information related to shooting.

記録媒体２１５は、撮像装置１の外部から装着されるメモリカード等を用いて構成され、メモリＩ／Ｆ２１６を介して撮像装置１に着脱自在に装着される。記録媒体２１５は、画像圧縮展開部２１１が処理を施した画像データやＲＡＷデータ等を記録する。 The recording medium 215 is configured using a memory card or the like that is attached from the outside of the imaging device 1 and is detachably attached to the imaging device 1 via the memory I / F 216. The recording medium 215 records image data, RAW data, and the like processed by the image compression / decompression unit 211.

ＳＤＲＡＭ２１７は、バス２２０を介してＡ／Ｄ変換部２０６から入力される画像データ、第１画像処理部２０７から入力される画像データ、第２画像処理部２０８から入力される画像データおよび撮像装置１の処理中の情報を一時的に記録する。たとえば、ＳＤＲＡＭ２１７は、信号処理部２０５、Ａ／Ｄ変換部２０６およびバス２２０を介して、撮像素子２０３が１フレーム毎に順次出力する画像データを一時的に記録する。 The SDRAM 217 receives image data input from the A / D conversion unit 206 via the bus 220, image data input from the first image processing unit 207, image data input from the second image processing unit 208, and the imaging device 1. Temporarily record information during processing. For example, the SDRAM 217 temporarily records image data that the image sensor 203 sequentially outputs for each frame via the signal processing unit 205, the A / D conversion unit 206, and the bus 220.

Ｆｌａｓｈメモリ２１８は、プログラム記録部２１８ａを有する。プログラム記録部２１８ａは、撮像装置１を動作させるための各種プログラム、プログラムの実行中に使用される各種データ、第１画像処理部２０７および第２画像処理部２０８による画像処理の動作に必要な各種パラメータ等を記録する。また、Ｆｌａｓｈメモリ２１８は、撮像装置１を特定するための製造番号等を記録する。 The flash memory 218 includes a program recording unit 218a. The program recording unit 218a includes various programs for operating the imaging apparatus 1, various data used during the execution of the program, and various types of image processing operations required by the first image processing unit 207 and the second image processing unit 208. Record parameters etc. In addition, the flash memory 218 records a manufacturing number for specifying the imaging device 1.

本体通信部２１９は、本体部２に装着されるレンズ部３との通信を行うための通信インターフェースである。本体通信部２１９には、レンズ部３との電気的な接点も含まれる。 The main body communication unit 219 is a communication interface for performing communication with the lens unit 3 attached to the main body unit 2. The main body communication unit 219 includes an electrical contact with the lens unit 3.

バス２２０は、撮像装置１の各構成部を接続する伝送路として機能する。バス２２０は、撮像装置１の内部で発生した各種データを撮像装置１の各構成部に転送する。 The bus 220 functions as a transmission path that connects each component of the imaging device 1. The bus 220 transfers various data generated inside the imaging apparatus 1 to each component of the imaging apparatus 1.

制御部２２１は、ＣＰＵ（Central Processing Unit）等を用いて構成され、バス２２０を介して操作入力部２１２から入力された指示信号に応じて、撮像装置１を構成する各部に対して制御信号や各種データの送信を行うことにより、撮像装置１の動作を統括的に制御する。具体的には、制御部２２１は、レリーズボタン２１２ａから２ｎｄレリーズ信号が入力された場合、撮像装置１における静止画撮影動作を開始する制御を行う。ここで、撮像装置１における静止画撮影動作とは、シャッタ駆動部２０２および撮像素子駆動部２０４の駆動によって撮像素子２０３が出力した画像データに対して、信号処理部２０５、Ａ／Ｄ変換部２０６および第１画像処理部２０７および／または第２画像処理部２０８が所定の処理を施す動作をいう。このように処理が施された画像データは、画像圧縮展開部２１１で所定の形式に従って圧縮され、バス２２０およびメモリＩ／Ｆ２１６を介して記録媒体２１５に記録される。なお、本実施の形態では、記録媒体２１５が記録部の一部をなしているが、記録媒体２１５とは別に撮像装置１の内部に記録部の機能を有する記録領域を確保し、この記録領域に画像データを記録するようにしてもよい。 The control unit 221 is configured by using a CPU (Central Processing Unit) or the like, and controls signals or signals to each unit configuring the imaging apparatus 1 according to an instruction signal input from the operation input unit 212 via the bus 220. By performing transmission of various data, the operation of the imaging device 1 is comprehensively controlled. Specifically, when a 2nd release signal is input from the release button 212a, the control unit 221 performs control to start a still image shooting operation in the imaging device 1. Here, the still image shooting operation in the image pickup apparatus 1 refers to the signal processing unit 205 and the A / D conversion unit 206 for the image data output from the image pickup device 203 by driving the shutter drive unit 202 and the image pickup device drive unit 204. The first image processing unit 207 and / or the second image processing unit 208 is an operation for performing a predetermined process. The image data processed in this way is compressed by the image compression / decompression unit 211 according to a predetermined format, and is recorded on the recording medium 215 via the bus 220 and the memory I / F 216. In this embodiment, the recording medium 215 forms a part of the recording unit. However, a recording area having the function of the recording unit is secured inside the imaging apparatus 1 separately from the recording medium 215, and this recording area is recorded. The image data may be recorded on the.

ここで、制御部２２１の詳細な構成について説明する。制御部２２１は、画像処理制御部２２１ａと、表示制御部２２１ｂと、を有する。 Here, a detailed configuration of the control unit 221 will be described. The control unit 221 includes an image processing control unit 221a and a display control unit 221b.

画像処理制御部２２１ａは、撮像素子２０３が生成した画像データを複数の領域に分割し、各領域に対して第１画像処理部２０７または第２画像処理部２０８のいずれかに画像処理を実行させる。具体的には、画像処理制御部２２１ａは、撮像素子２０３が生成した画像データを複数の領域に分割し、各領域に対して第１画像処理部２０７または第２画像処理部２０８による画像処理の領域が異なるように第１画像処理部２０７または第２画像処理部２０８による画像処理を実行させる。また、画像処理制御部２２１ａは、撮像装置１が高速フレームレートで動画撮影または表示部２１３にライブビュー画像を表示させる場合、第１画像処理部２０７および第２画像処理部２０８の数以上に画像データの領域を分割する。具体的には、画像処理制御部２２１ａは、画像データを水平ラインおよび／または垂直ラインに沿って複数の領域に分割し、各領域に対して第１画像処理部２０７および第２画像処理部２０８による画像処理の領域が異なるように第１画像処理部２０７または第２画像処理部２０８による画像処理の領域を順次切り替えながら実行させる。たとえば、画像処理制御部２２１ａは、画像データを水平ライン毎に領域を分割し、ライン毎に第１画像処理部２０７および第２画像処理部２０８による画像処理を交互に切り替えながら実行させる。また、画像処理制御部２２１ａは、撮像装置１が静止画撮影を行う場合、画像データに対して第１画像処理部２０７に画像処理を実行させる。 The image processing control unit 221a divides the image data generated by the imaging element 203 into a plurality of regions, and causes either the first image processing unit 207 or the second image processing unit 208 to perform image processing on each region. . Specifically, the image processing control unit 221a divides the image data generated by the image sensor 203 into a plurality of regions, and performs image processing by the first image processing unit 207 or the second image processing unit 208 for each region. Image processing by the first image processing unit 207 or the second image processing unit 208 is executed so that the areas are different. Further, the image processing control unit 221a has more images than the first image processing unit 207 and the second image processing unit 208 when the imaging device 1 captures a moving image at a high frame rate or displays a live view image on the display unit 213. Divide the data area. Specifically, the image processing control unit 221a divides the image data into a plurality of regions along the horizontal line and / or the vertical line, and the first image processing unit 207 and the second image processing unit 208 for each region. The image processing areas by the first image processing unit 207 or the second image processing unit 208 are executed while sequentially switching so that the image processing areas by are different. For example, the image processing control unit 221a divides the image data into regions for each horizontal line, and causes the image processing by the first image processing unit 207 and the second image processing unit 208 to be executed while alternately switching for each line. Further, the image processing control unit 221a causes the first image processing unit 207 to perform image processing on the image data when the imaging apparatus 1 performs still image shooting.

表示制御部２２１ｂは、表示部２１３の表示態様を制御する。具体的には、表示制御部２２１ｂは、表示駆動部２１４を駆動し、画像データを対応する画像を表示部２１３に表示させる。 The display control unit 221b controls the display mode of the display unit 213. Specifically, the display control unit 221b drives the display driving unit 214 to display an image corresponding to the image data on the display unit 213.

以上の構成を有する本体部２に対して、音声入出力部、被写体に対して補助光（フラッシュ）を発光する補助光発光部、インターネットを介して外部の装置と双方向に通信を行う機能を有する通信部等をさらに設けてもよい。 For the main body 2 having the above-described configuration, an audio input / output unit, an auxiliary light emitting unit that emits auxiliary light (flash) to the subject, and a function of bidirectionally communicating with an external device via the Internet You may provide further the communication part etc. which have.

つぎに、レンズ部３の構成を説明する。レンズ部３は、光学系３０１と、レンズ駆動部３０２と、絞り３０３と、絞り駆動部３０４と、レンズ操作部３０５と、レンズＦｌａｓｈメモリ３０６と、レンズ通信部３０７と、レンズ制御部３０８と、を備える。 Next, the configuration of the lens unit 3 will be described. The lens unit 3 includes an optical system 301, a lens driving unit 302, a diaphragm 303, a diaphragm driving unit 304, a lens operation unit 305, a lens flash memory 306, a lens communication unit 307, a lens control unit 308, Is provided.

光学系３０１は、所定の視野領域から光を集光する。光学系３０１は、複数のレンズを用いて構成される。光学系３０１は、焦点距離を変化させる光学ズーム機能および焦点を変化させるフォーカス機能を有する。レンズ駆動部３０２は、光学系３０１を光軸Ｌ上に沿って移動させることにより、光学系３０１のピント位置や焦点距離等の変更を行う。 The optical system 301 collects light from a predetermined visual field region. The optical system 301 is configured using a plurality of lenses. The optical system 301 has an optical zoom function for changing the focal length and a focus function for changing the focus. The lens driving unit 302 changes the focus position, the focal length, and the like of the optical system 301 by moving the optical system 301 along the optical axis L.

絞り３０３は、光学系３０１が集光した光の入射量を制限することにより露出の調整を行う。絞り駆動部３０４は、ステッピングモータ等を用いて構成され、絞り３０３を駆動する。 The diaphragm 303 adjusts exposure by limiting the amount of incident light collected by the optical system 301. The aperture driving unit 304 is configured using a stepping motor or the like, and drives the aperture 303.

レンズ操作部３０５は、レンズ部３のレンズ鏡筒の周囲に設けられるリングであり、レンズ部３における光学ズームの操作を開始する指示信号の入力、またはレンズ部３におけるピント位置の調整を指示する指示信号の入力を受け付ける。なお、レンズ操作部３０５は、プッシュ式のスイッチやオンまたはオフを切り替え可能なレバー式のスイッチ等であってもよい。 The lens operation unit 305 is a ring provided around the lens barrel of the lens unit 3, and instructs the input of an instruction signal for starting the optical zoom operation in the lens unit 3 or the adjustment of the focus position in the lens unit 3. An input of an instruction signal is accepted. The lens operation unit 305 may be a push-type switch or a lever-type switch that can be switched on or off.

レンズＦｌａｓｈメモリ３０６は、光学系３０１の位置および動きをそれぞれ決定するための制御用プログラム、光学系３０１のレンズ特性および各種パラメータを記録する。 The lens flash memory 306 records a control program for determining the position and movement of the optical system 301, the lens characteristics of the optical system 301, and various parameters.

レンズ通信部３０７は、レンズ部３が本体部２に装着されたときに、本体部２の本体通信部２１９と通信を行うための通信インターフェースである。 The lens communication unit 307 is a communication interface for communicating with the main body communication unit 219 of the main body unit 2 when the lens unit 3 is attached to the main body unit 2.

レンズ制御部３０８は、ＣＰＵ等を用いて構成され、レンズ操作部３０５から入力される指示信号または本体部２から入力される指示信号に応じてレンズ部３の動作を制御する。具体的には、レンズ制御部３０８は、本体部２から入力される指示信号に応じて、レンズ駆動部３０２を駆動させてレンズ部３のピント合わせを行う。さらに、レンズ制御部３０８は、本体部２から入力される指示信号に応じて、絞り駆動部３０４を駆動させて絞り３０３の絞り値の変更を行う。また、レンズ制御部３０８は、レンズ部３が本体部２に装着された際に、レンズ通信部３０７を介してレンズ部３に関するピント位置情報、焦点距離情報、明るさ情報（ｆ値）、レンズ部３を識別する固有情報を本体部２へ送信する。 The lens control unit 308 is configured using a CPU or the like, and controls the operation of the lens unit 3 in accordance with an instruction signal input from the lens operation unit 305 or an instruction signal input from the main body unit 2. Specifically, the lens control unit 308 drives the lens driving unit 302 in accordance with an instruction signal input from the main body unit 2 to focus the lens unit 3. Further, the lens control unit 308 changes the aperture value of the aperture 303 by driving the aperture drive unit 304 in accordance with the instruction signal input from the main body unit 2. Further, the lens control unit 308, when the lens unit 3 is attached to the main body unit 2, via the lens communication unit 307, the focus position information, focal length information, brightness information (f value), lens, The unique information for identifying the unit 3 is transmitted to the main unit 2.

以上のように構成された撮像装置１が行う処理の概要について説明する。図２は、撮像装置１が行う処理の概要を示すフローチャートである。 An outline of processing performed by the imaging apparatus 1 configured as described above will be described. FIG. 2 is a flowchart illustrating an outline of processing performed by the imaging apparatus 1.

図２において、ユーザによって電源ボタン２１２ｆが操作されて、撮像装置１の電源がオン状態になると、制御部２２１は、撮像装置１の初期化処理を行う（ステップＳ１０１）。この初期化処理において、制御部２２１は、たとえば動画の記録中を示す記録中フラグをオフ状態にリセットしたり、レンズ制御部３０８との間のレンズ通信を開始したりする処理を行う。 In FIG. 2, when the power button 212f is operated by the user to turn on the power of the imaging apparatus 1, the control unit 221 performs initialization processing of the imaging apparatus 1 (step S101). In this initialization process, the control unit 221 performs a process of, for example, resetting a recording flag indicating that a moving image is being recorded to an off state, or starting lens communication with the lens control unit 308.

続いて、再生ボタン２１２ｅが操作されることなく（ステップＳ１０２：Ｎｏ）、メニューボタン２１２ｄが操作された場合（ステップＳ１０３：Ｙｅｓ）、撮像装置１は、設定を変更するためのメニュー画面を表示部２１３に表示し、ユーザの選択操作に応じて撮像装置１の各種条件を設定するカメラ設定処理を実行する（ステップＳ１０４）。ここで、カメラ設定処理で設定される内容は、仕上がり効果処理、静止画記録モード、動画記録モード等である。仕上がり効果処理には、たとえば画像を自然な色合いに仕上げる処理であるナチュラル、画像を色鮮やかに仕上げる処理であるビビッド、被写体の素材性を重視して仕上げる処理であるフラット、画像をモノクロ調に仕上げる処理であるモノトーンなどが含まれる。静止画記録モードは、記録対象とする静止画の種類に応じて定められ、たとえばＪＰＥＧ記録モード、ＪＰＥＧ＋ＲＡＷ記録モード、ＲＡＷ記録モードなどがある。動画撮影モードは、動画圧縮形式に応じて定められるモードであって、たとえばＭｏｔｉｏｎ−ＪＰＥＧモード、ＭＰ４（Ｈ．２６４）モードなどがある。ステップＳ１０４の後、撮像装置１は、後述するステップＳ１０２へ戻る。 Subsequently, when the playback button 212e is not operated (step S102: No) and the menu button 212d is operated (step S103: Yes), the imaging device 1 displays a menu screen for changing the setting. A camera setting process is executed to display various information on the image capturing apparatus 1 in accordance with the user's selection operation (step S104). Here, the contents set in the camera setting process are a finish effect process, a still image recording mode, a moving image recording mode, and the like. Finishing effect processing includes, for example, natural processing for finishing an image in a natural color, vivid processing for finishing an image vividly, flat processing for finishing with an emphasis on the material of the subject, and finishing an image in monochrome. Monotone that is processing is included. The still image recording mode is determined according to the type of still image to be recorded, and includes, for example, a JPEG recording mode, a JPEG + RAW recording mode, and a RAW recording mode. The moving image shooting mode is a mode determined according to the moving image compression format, and includes, for example, a Motion-JPEG mode, an MP4 (H.264) mode, and the like. After step S104, the imaging apparatus 1 returns to step S102 described later.

ステップＳ１０２において、再生ボタン２１２ｅが押された場合（ステップＳ１０２：Ｙｅｓ）、撮像装置１は、再生処理を行う（ステップＳ１０５）。この再生処理において、表示制御部２２１ｂは、記録媒体２１５に記録されているファイル一覧を表示部２１３に表示させる。その後、操作入力部２１２によって再生画像が選択された場合、記録媒体２１５から選択された画像データを取得し、取得した画像データを画像圧縮展開部２１１で展開して表示部２１３に表示させる。ステップＳ１０５の後、撮像装置１は、ステップＳ１０２へ戻る。 In step S102, when the playback button 212e is pressed (step S102: Yes), the imaging device 1 performs playback processing (step S105). In this reproduction process, the display control unit 221b causes the display unit 213 to display a list of files recorded on the recording medium 215. Thereafter, when a reproduced image is selected by the operation input unit 212, the selected image data is acquired from the recording medium 215, and the acquired image data is expanded by the image compression / decompression unit 211 and displayed on the display unit 213. After step S105, the imaging apparatus 1 returns to step S102.

ステップＳ１０２で再生ボタン２１２ｅが押されることなく（ステップＳ１０２：Ｎｏ）、メニューボタン２１２ｄが押されていない場合（ステップＳ１０３：Ｎｏ）において、動画ボタン２１２ｂが押されたとき（ステップＳ１０６：Ｙｅｓ）、制御部２２１は、動画の記録中を示す記録中フラグを反転する（ステップＳ１０７）。具体的には、制御部２２１は、記録中フラグがオン状態にある場合、その記録中フラグをオフ状態に反転させる。 When the playback button 212e is not pressed in step S102 (step S102: No), and when the menu button 212d is not pressed (step S103: No), the moving image button 212b is pressed (step S106: Yes). The control unit 221 reverses the recording flag indicating that the moving image is being recorded (step S107). Specifically, when the recording flag is in the on state, the control unit 221 inverts the recording flag to the off state.

続いて、制御部２２１は、撮像装置１が動画記録中であるか否かを判断する（ステップＳ１０８）。具体的には、制御部２２１は、ＳＤＲＡＭ２１７に記録された記録中フラグがオン状態であるか否かを判断する。撮像装置１が動画記録中である場合（ステップＳ１０８：Ｙｅｓ）、制御部２２１は、画像データを時系列に沿って順次記録するための動画ファイルを記録媒体２１５に生成する（ステップＳ１０９）。ステップＳ１０９の後、撮像装置１は、ステップＳ１１０へ移行する。 Subsequently, the control unit 221 determines whether or not the imaging device 1 is recording a moving image (step S108). Specifically, the control unit 221 determines whether or not the recording flag recorded in the SDRAM 217 is on. When the imaging apparatus 1 is recording a moving image (step S108: Yes), the control unit 221 generates a moving image file for sequentially recording the image data in time series on the recording medium 215 (step S109). After step S109, the imaging apparatus 1 proceeds to step S110.

ステップＳ１０６において、動画ボタン２１２ｂが押されていない場合（ステップＳ１０６：Ｎｏ）またはステップＳ１０８において、撮像装置１が動画記録中でない場合（ステップＳ１０８：Ｎｏ）、撮像装置１は、ステップＳ１１０へ移行する。 If the moving image button 212b is not pressed in step S106 (step S106: No) or if the imaging device 1 is not recording a moving image in step S108 (step S108: No), the imaging device 1 proceeds to step S110. .

その後、撮像装置１が動画記録中でなく（ステップＳ１１０：Ｎｏ）、レリーズボタン２１２ａから１ｓｔレリーズ信号が入力された場合（ステップＳ１１１：Ｙｅｓ）、制御部２２１は、ＡＥ処理部２０９にＡＥ処理を実行させるとともに、ＡＦ処理部２１０にＡＦ処理を実行させる（ステップＳ１１２）。 Thereafter, when the imaging device 1 is not recording a moving image (step S110: No) and the first release signal is input from the release button 212a (step S111: Yes), the control unit 221 performs AE processing on the AE processing unit 209. At the same time, the AF processing unit 210 executes the AF process (step S112).

続いて、電源ボタン２１２ｆが押されて撮像装置１の電源がオフ状態になった場合（ステップＳ１１３：Ｙｅｓ）、撮像装置１は、本処理を終了する。これに対して、撮像装置１の電源がオフ状態でない場合（ステップＳ１１３：Ｎｏ）、撮像装置１は、ステップＳ１０２へ戻る。 Subsequently, when the power button 212f is pressed and the power of the imaging device 1 is turned off (step S113: Yes), the imaging device 1 ends this process. On the other hand, when the power supply of the imaging device 1 is not in the off state (step S113: No), the imaging device 1 returns to step S102.

ステップＳ１１１において、レリーズボタン２１２ａから１ｓｔレリーズ信号がなく（ステップＳ１１１：Ｎｏ）、２ｎｄレリーズ信号が入力された場合（ステップＳ１１４：Ｙｅｓ）、制御部２２１は、シャッタ駆動部２０２を駆動することにより、メカシャッタによる撮影を実行する（ステップＳ１１５）。 In step S111, when there is no 1st release signal from the release button 212a (step S111: No) and a 2nd release signal is input (step S114: Yes), the control unit 221 drives the shutter driving unit 202 to Shooting with the mechanical shutter is executed (step S115).

続いて、撮像装置１は、第１画像処理部２０７および第２画像処理部２０８それぞれに対して画像処理を実行させる画像制御処理を実行する（ステップＳ１１６）。なお、画像制御処理の詳細は後述する。 Subsequently, the imaging apparatus 1 executes image control processing that causes the first image processing unit 207 and the second image processing unit 208 to perform image processing (step S116). Details of the image control process will be described later.

その後、制御部２２１は、第１画像処理部２０７が画像処理を施した画像データを静止画として記録媒体２１５に記録する（ステップＳ１１７）。その後、撮像装置１は、ステップＳ１１３へ移行する。 Thereafter, the control unit 221 records the image data subjected to the image processing by the first image processing unit 207 as a still image on the recording medium 215 (step S117). Thereafter, the imaging apparatus 1 proceeds to step S113.

ステップＳ１１０において、撮像装置１が動画記録中である場合（ステップＳ１１０：Ｙｅｓ）、およびステップＳ１１４において、２ｎｄレリーズ信号がない場合（ステップＳ１１４：Ｎｏ）、撮像装置１は、画像制御処理を実行する（ステップＳ１１８）。なお、画像制御処理の詳細は後述する。 In step S110, when the imaging device 1 is recording a moving image (step S110: Yes), and in step S114, when there is no 2nd release signal (step S114: No), the imaging device 1 executes an image control process. (Step S118). Details of the image control process will be described later.

続いて、撮像装置１が動画記録中である場合（ステップＳ１１９：Ｙｅｓ）、撮像装置１は、動画の画像データに対して画質を低下させるダウンサンプリング処理を実行する（ステップＳ１２０）。 Subsequently, when the imaging apparatus 1 is recording a moving image (step S119: Yes), the imaging apparatus 1 executes a downsampling process for reducing the image quality of the moving image data (step S120).

その後、制御部２２１は、動画データを記録媒体２１５に記録する（ステップＳ１２１）。ステップＳ１２１の後、撮像装置１は、ステップＳ１１３へ移行する。 Thereafter, the control unit 221 records the moving image data on the recording medium 215 (step S121). After step S121, the imaging device 1 proceeds to step S113.

ステップＳ１１９において、撮像装置１が動画記録中でない場合（ステップＳ１１９：Ｎｏ）、撮像装置１は、ステップＳ１１３へ移行する。 If the imaging device 1 is not recording a moving image in step S119 (step S119: No), the imaging device 1 proceeds to step S113.

つぎに、図２のステップＳ１１６およびステップＳ１１８で説明した画像制御処理について説明する。図３は、画像制御処理の概要を示すフローチャートである。図４は、撮像装置１が静止画撮影を行う際に、制御部２２１が各部に対して指示する制御の処理タイミングを示すタイミングチャートである。図５は、撮像装置１が動画撮影またはライブビュー画像の表示を行う際に、制御部２２１が各部に対して指示する制御の処理タイミングを示すタイミングチャートである。なお、図４および図５において、横軸が時間を示す。また、図４および図５において、図４（ａ）および図５（ａ）が撮像素子２０３の処理タイミングを示し、図４（ｂ）および図５（ｂ）が第１画像処理部２０７の処理タイミングを示し、図４（ｃ）および図５（ｂ）が第２画像処理部２０８の処理タイミングを示し、図４（ｄ）および図５（ｄ）が表示部２１３の処理タイミングを示す。 Next, the image control process described in step S116 and step S118 in FIG. 2 will be described. FIG. 3 is a flowchart showing an outline of the image control process. FIG. 4 is a timing chart showing the processing timing of control instructed to each unit by the control unit 221 when the imaging apparatus 1 performs still image shooting. FIG. 5 is a timing chart showing the processing timing of the control that the control unit 221 instructs each unit when the imaging apparatus 1 captures a moving image or displays a live view image. 4 and 5, the horizontal axis indicates time. 4 and 5, FIGS. 4A and 5A show the processing timing of the image sensor 203, and FIGS. 4B and 5B show the processing of the first image processing unit 207. 4C and FIG. 5B show the processing timing of the second image processing unit 208, and FIG. 4D and FIG. 5D show the processing timing of the display unit 213.

図３に示すように、撮像装置１が静止画撮影として画像データに対して静止画画像処理を行う場合（ステップＳ２０１：Ｙｅｓ）、画像処理制御部２２１ａは、第１画像処理部２０７に記録用の静止画画像処理を実行させる（ステップＳ２０２）。具体的には、図４に示すように、画像処理制御部２２１ａは、撮像素子２０３が静止画露光（時点ｔ１）で生成したフルサイズの画像データに対して、第１画像処理部２０７に記録用の静止画画像処理を実行させる（時点ｔ２）。 As illustrated in FIG. 3, when the imaging apparatus 1 performs still image processing on image data as still image shooting (step S 201: Yes), the image processing control unit 221 a stores the image in the first image processing unit 207. The still image processing is executed (step S202). Specifically, as illustrated in FIG. 4, the image processing control unit 221 a records, in the first image processing unit 207, full-size image data generated by the image sensor 203 at the still image exposure (time point t 1). Still image processing is executed (time t2).

続いて、第１画像処理部２０７による静止画画像処理が終了していない場合（ステップＳ２０３：Ｎｏ）、制御部２２１は、ＡＥ処理部２０９にＡＥ処理を実行させ（ステップＳ２０４）、撮像素子駆動部２０４を駆動し、撮像素子２０３に表示用の画像データを信号処理部２０５へ出力させることにより、電子シャッタによる撮影を実行する（ステップＳ２０５）。具体的には、図４に示すように、制御部２２１は、撮像素子２０３に表示用露光を実行させて（時点ｔ２）、表示用の画像データを生成させる。ここで、表示用の画像データとは、画像データの各ラインのデータを所定の間隔で間引いた画像データである。 Subsequently, when the still image processing by the first image processing unit 207 has not been completed (step S203: No), the control unit 221 causes the AE processing unit 209 to execute AE processing (step S204) and drive the image sensor. By driving the unit 204 and causing the image sensor 203 to output image data for display to the signal processing unit 205, photographing by the electronic shutter is executed (step S205). Specifically, as illustrated in FIG. 4, the control unit 221 causes the image sensor 203 to perform display exposure (time t 2) and generate display image data. Here, the display image data is image data obtained by thinning out data of each line of the image data at a predetermined interval.

その後、画像処理制御部２２１ａは、画像データに対して、第２画像処理部２０８に表示用の画像処理を実行させる（ステップＳ２０６）。具体的には、図４に示すように、画像処理制御部２２１ａは、撮像素子２０３が表示用露光（時点ｔ２）で生成した表示用の画像データに対して、第２画像処理部２０８に表示用の画像処理を実行させる（時点ｔ３）。 Thereafter, the image processing control unit 221a causes the second image processing unit 208 to perform image processing for display on the image data (step S206). Specifically, as illustrated in FIG. 4, the image processing control unit 221 a displays the display image data generated by the image sensor 203 at the display exposure (time t 2) on the second image processing unit 208. Image processing is executed (time t3).

続いて、表示制御部２２１ｂは、第２画像処理部２０８が表示用の画像処理を施した画像データに対応するライブビュー画像を表示部２１３に表示させる（ステップＳ２０７）。具体的には、図４に示すように、表示制御部２２１ｂは、第２画像処理部２０８が表示用の画像処理を施した画像データに対応するライブビュー画像を表示部２１３に表示させる（時点ｔ４）。ステップＳ２０７の後、撮像装置１は、ステップＳ２０３へ戻り、第１画像処理部２０７の静止画画像処理が終了するまで、ステップＳ２０４〜ステップＳ２０７の処理を繰り返し行う（図４の時点ｔ５〜ｔ６を参照）。これにより、第１画像処理部２０７が静止画処理を行っている際に、第２画像処理部２０８が表示用の画像処理を行うことにより、表示部２１３がブラックアウトすることを防止することができる。 Subsequently, the display control unit 221b causes the display unit 213 to display a live view image corresponding to the image data on which the second image processing unit 208 has performed image processing for display (step S207). Specifically, as shown in FIG. 4, the display control unit 221b causes the display unit 213 to display a live view image corresponding to the image data on which the second image processing unit 208 has performed display image processing (time point). t4). After step S207, the imaging apparatus 1 returns to step S203, and repeats the processing from step S204 to step S207 until the still image processing of the first image processing unit 207 ends (time t5 to t6 in FIG. 4). reference). This prevents the display unit 213 from blacking out by the second image processing unit 208 performing display image processing while the first image processing unit 207 is performing still image processing. it can.

ステップＳ２０１において、撮像装置１が静止画撮影して画像データに対して、静止画画像処理を行わない場合（ステップＳ２０１：Ｎｏ）、制御部２２１は、ＡＥ処理部２０９にＡＥ処理を実行させる（ステップＳ２０８）。 In step S201, when the imaging apparatus 1 captures a still image and does not perform still image processing on the image data (step S201: No), the control unit 221 causes the AE processing unit 209 to execute AE processing (step S201: No). Step S208).

続いて、制御部２２１は、撮像素子駆動部２０４を駆動することにより、撮像素子２０３に画像データを信号処理部２０５へ出力させることにより、電子シャッタによる撮影を実行する（ステップＳ２０９）。 Subsequently, the control unit 221 drives the image sensor driving unit 204 to cause the image sensor 203 to output image data to the signal processing unit 205, thereby performing photographing using the electronic shutter (step S209).

ステップＳ２０３において、第１画像処理部２０７による静止画画像処理が終了している場合（ステップＳ２０３：Ｙｅｓ）またはステップＳ２０９の後、制御部２２１は、画像データを分割して第１画像処理部２０７および第２画像処理部２０８それぞれに画像処理を実行させる画像処理分割が設定されているか否かを判断する（ステップＳ２１０）。具体的には、制御部２２１は、撮像装置１に設定された現在の撮影モード、ユーザによって選択された画像処理の内容およびフレームレート等に基づいて、画像処理分割が設定されているか否かを判断する。たとえば、制御部２２１は、撮像装置１に設定された現在の撮影モードが動画モードであったり、表示部２１３にライブビュー画像を表示させたり、またはフレームレートが高速（６０ｆｐｓ）であったりした場合、撮像装置１に画像処理分割が設定されていると判断する。画像処理分割が設定されていると制御部２２１が判断した場合（ステップＳ２１０：Ｙｅｓ）、撮像装置１は、後述するステップＳ２１１へ移行する。これに対して、画像処理分割が設定されていないと制御部２２１が判断した場合（ステップＳ２１０：Ｎｏ）、撮像装置１は、後述するステップＳ２１４へ移行する。 In step S203, when the still image processing by the first image processing unit 207 has been completed (step S203: Yes) or after step S209, the control unit 221 divides the image data and performs the first image processing unit 207. Then, it is determined whether or not image processing division that causes each of the second image processing units 208 to perform image processing is set (step S210). Specifically, the control unit 221 determines whether or not image processing division is set based on the current shooting mode set in the imaging device 1, the content of the image processing selected by the user, the frame rate, and the like. to decide. For example, when the current shooting mode set in the imaging apparatus 1 is the moving image mode, the control unit 221 displays a live view image on the display unit 213, or the frame rate is high (60 fps). Then, it is determined that the image processing division is set in the imaging apparatus 1. When the control unit 221 determines that the image processing division is set (step S210: Yes), the imaging device 1 proceeds to step S211 described later. On the other hand, when the control unit 221 determines that the image processing division is not set (step S210: No), the imaging device 1 proceeds to step S214 described later.

ステップＳ２１１において、画像処理制御部２２１ａは、撮像素子２０３が生成した１フレームの画像データに対して、第１画像処理部２０７および第２画像処理部２０８それぞれに実行させる画像処理の領域を分割して設定する。 In step S211, the image processing control unit 221a divides image processing regions to be executed by the first image processing unit 207 and the second image processing unit 208 on one frame of image data generated by the image sensor 203, respectively. To set.

図６は、画像処理制御部２２１ａが撮像素子２０３によって生成された１フレームの画像データに対して、第１画像処理部２０７および第２画像処理部２０８それぞれに実行させる画像処理の領域を模式的に示す図である。 FIG. 6 schematically illustrates image processing areas that the image processing control unit 221a causes the first image processing unit 207 and the second image processing unit 208 to perform on one frame of image data generated by the image sensor 203. FIG.

図６に示すように、画像処理制御部２２１ａは、撮像素子２０３によって生成された１フレームの画像データＤ１に対して、第１画像処理部２０７および第２画像処理部２０８がそれぞれ実行する画像処理の領域が異なるように画像データを垂直ラインまたは水平ラインの１ライン毎に分割し、第１画像処理部２０７および第２画像処理部２０８がそれぞれ実行する画像処理を水平ライン毎に交互に設定する。具体的には、画像処理制御部２２１ａは、画像データのａライン（たとえば、奇数ライン）に第１画像処理部２０７による画像処理を設定するとともに、画像データのｂライン（たとえば、偶数ライン）に第２画像処理部２０８による画像処理を設定する。 As illustrated in FIG. 6, the image processing control unit 221a performs image processing executed by the first image processing unit 207 and the second image processing unit 208 on one frame of image data D1 generated by the image sensor 203, respectively. The image data is divided into vertical lines or horizontal lines so that the areas of the image data are different, and the image processing executed by the first image processing unit 207 and the second image processing unit 208 is alternately set for each horizontal line. . Specifically, the image processing control unit 221a sets the image processing by the first image processing unit 207 to the a line (for example, odd line) of the image data, and sets to the b line (for example, even line) of the image data. The image processing by the second image processing unit 208 is set.

ステップＳ２１０の後、画像処理制御部２２１ａは、画像データに対して、第１画像処理部２０７および第２画像処理部２０８それぞれに画像処理を実行させる（ステップＳ２１２）。具体的には、図５に示すように、画像処理制御部２２１ａは、撮像素子２０３が電子シャッタ（時点ｔ１１）によって出力した画像データに対して、第１画像処理部２０７および第２画像処理部２０８それぞれに画像処理を実行させる（時点ｔ１２）。 After step S210, the image processing control unit 221a causes the first image processing unit 207 and the second image processing unit 208 to perform image processing on the image data (step S212). Specifically, as illustrated in FIG. 5, the image processing control unit 221 a performs the first image processing unit 207 and the second image processing unit on the image data output from the image sensor 203 through the electronic shutter (time t 11). Each of 208 performs image processing (time t12).

続いて、表示制御部２２１ｂは、第１画像処理部２０７および第２画像処理部２０８がそれぞれ画像処理を施した画像データに対応するライブビュー画像を表示部２１３に表示させる（ステップＳ２１３）。具体的には、図５に示すように、表示制御部２２１ｂは、第１画像処理部２０７が画像処理を施したラインの画像データおよび第２画像処理部２０８が画像処理を施したラインの画像データを合わせたライブビュー画像を表示部２１３に表示させる（時点ｔ１３）。これにより、第１画像処理部２０７および第２画像処理部２０８の性能が異なったとしても、画質劣化を低減し、ライブビュー画像のフレームレートを維持することができる。ステップＳ２１３の後、撮像装置１は、図２のメインルーチンへ戻る。 Subsequently, the display control unit 221b causes the display unit 213 to display live view images corresponding to the image data on which the first image processing unit 207 and the second image processing unit 208 have performed image processing (step S213). Specifically, as illustrated in FIG. 5, the display control unit 221 b displays the image data of the line on which the first image processing unit 207 performs image processing and the image of the line on which the second image processing unit 208 performs image processing. The live view image combined with the data is displayed on the display unit 213 (time t13). As a result, even if the performances of the first image processing unit 207 and the second image processing unit 208 differ, it is possible to reduce image quality degradation and maintain the frame rate of the live view image. After step S213, the imaging apparatus 1 returns to the main routine in FIG.

ステップＳ２１４において、画像処理制御部２２１ａは、画像データに対して、第２画像処理部２０８に表示用の画像処理を実行させる。 In step S214, the image processing control unit 221a causes the second image processing unit 208 to perform image processing for display on the image data.

続いて、表示制御部２２１ｂは、第２画像処理部２０８が表示用の画像処理を施した画像データに対応するライブビュー画像を表示部２１３に表示させる（ステップＳ２１５）。その後、撮像装置１は、図２のメインルーチンへ戻る。 Subsequently, the display control unit 221b causes the display unit 213 to display a live view image corresponding to the image data on which the second image processing unit 208 has performed image processing for display (step S215). Thereafter, the imaging apparatus 1 returns to the main routine of FIG.

以上説明した本発明の一実施の形態によれば、画像処理制御部２２１ａが画像データを複数の領域に分割し、各領域に対して第１画像処理部２０７または第２画像処理部２０８による画像処理の領域が異なるように第１画像処理部２０７または第２画像処理部２０８による画像処理を実行させる。これにより、第１画像処理部２０７および第２画像処理部２０８の処理能力が異なったとしても、高速なフレームレートで画像を生成することができ、画質の劣化を防止することができる。 According to the embodiment of the present invention described above, the image processing control unit 221a divides the image data into a plurality of regions, and the image by the first image processing unit 207 or the second image processing unit 208 is divided into each region. Image processing by the first image processing unit 207 or the second image processing unit 208 is executed so that the processing areas are different. As a result, even if the processing capabilities of the first image processing unit 207 and the second image processing unit 208 are different, an image can be generated at a high frame rate, and deterioration in image quality can be prevented.

さらに、本発明の一実施の形態によれば、複雑な画像処理、たとえばノイズリダクション処理、合成処理およびぼかし処理等を単一の画像処理部でフレームレートを維持させながら実行させるには、高クロック、たとえば２倍のクロックで起動する必要があり、２倍のクロックにすると４倍の電力が必要になるが、互いに性能が異なる第１画像処理部２０７および第２画像処理部２０８それぞれに同じクロックで画像処理を並列で実行させるので、２倍の電力で画像処理を実行させることができ、消費電力を低減することができる。 Furthermore, according to an embodiment of the present invention, in order to execute complicated image processing, for example, noise reduction processing, synthesis processing, blurring processing, and the like while maintaining the frame rate in a single image processing unit, a high clock For example, it is necessary to start with a double clock, and a double clock requires four times the power. However, the same clock is used for each of the first image processing unit 207 and the second image processing unit 208 having different performances. Since the image processing is executed in parallel, the image processing can be executed with twice the power and the power consumption can be reduced.

（変形例１）
本発明では、第１画像処理部２０７および第２画像処理部２０８それぞれが実行する画像処理を複数のライン毎に交互に設定してもよい。この場合、画像処理制御部２２１ａは、第１画像処理部２０７および第２画像処理部２０８がそれぞれ任意の画素の周辺の画素を用いた画像処理、たとえば３×３を用いるぼかしフィルタ処理等を行うとき、このフィルタ処理のサイズに応じて、分割する複数の領域を帯状になるように複数のライン毎に分割し、この分割した領域に対して第１画像処理部２０７および第２画像処理部２０８の画像処理の領域を交互に切り替えながら設定してもよい。これにより、第１画像処理部２０７および第２画像処理部２０８が行うフィルタ処理に応じて、画像データの領域を分割することができ、滑らかな画像を生成することができる。 (Modification 1)
In the present invention, the image processing executed by each of the first image processing unit 207 and the second image processing unit 208 may be alternately set for each of a plurality of lines. In this case, in the image processing control unit 221a, the first image processing unit 207 and the second image processing unit 208 each perform image processing using pixels around arbitrary pixels, for example, blur filter processing using 3 × 3. At this time, according to the size of the filter processing, a plurality of regions to be divided are divided into a plurality of lines so as to form a band, and the first image processing unit 207 and the second image processing unit 208 are divided with respect to the divided regions. These image processing regions may be set while being switched alternately. Thus, the area of the image data can be divided according to the filter processing performed by the first image processing unit 207 and the second image processing unit 208, and a smooth image can be generated.

（変形例２）
本発明では、画像処理部の数が２個以上であっても適用することができる。たとえば、画像処理制御部２２１ａは、画像データに対して、処理能力が異なる複数の画像処理部それぞれに画像処理を実行させる場合、画像データを構成するライン毎に各画像処理部が行うラインを分割して設定することで、複数の画像処理部それぞれに画像処理を実行させる。これにより、それぞれの性能が異なる複数の画像処理を用いる場合であっても、画質の低下を防止しつつ、高速なフレームレートで画像データを生成することができる。 (Modification 2)
The present invention can be applied even when the number of image processing units is two or more. For example, when the image processing control unit 221a causes each of a plurality of image processing units having different processing capabilities to perform image processing on the image data, the image processing unit 221a divides the line performed by each image processing unit for each line constituting the image data. Thus, the image processing is executed by each of the plurality of image processing units. As a result, even when a plurality of image processes having different performances are used, it is possible to generate image data at a high frame rate while preventing deterioration in image quality.

（変形例３）
本発明では、画像データを所定の領域毎に分割し、分割した領域毎に第１画像処理部および第２画像処理それぞれの画像処理を設定してもよい。 (Modification 3)
In the present invention, the image data may be divided for each predetermined area, and image processing for each of the first image processing unit and the second image processing may be set for each divided area.

図７は、本発明の一実施の形態の変形例３にかかる撮像装置１の画像処理制御部２２１ａが第１画像処理部２０７および第２画像処理部２０８それぞれに設定する画像データの領域を模式的に示す図である。 FIG. 7 schematically illustrates areas of image data set in the first image processing unit 207 and the second image processing unit 208 by the image processing control unit 221a of the imaging apparatus 1 according to the third modification of the embodiment of the present invention. FIG.

図７に示すように、画像処理制御部２２１ａは、１フレームの画像データＤ２に対して、格子状の領域毎に分割し、この分割した複数の領域Ｆ１，Ｆ２に第１画像処理部２０７および第２画像処理部２０８それぞれによる画像処理が隣接しないように異ならせて第１画像処理部２０７および第２画像処理部２０８による画像処理の領域Ｆ１，Ｆ２を設定して実行させる。これにより、より見た目が滑らかな画像を生成することができる。 As shown in FIG. 7, the image processing control unit 221a divides the image data D2 of one frame into grid-like areas, and the first image processing unit 207 and the divided areas F1 and F2 are divided into the divided areas F1 and F2. Image processing regions F1 and F2 by the first image processing unit 207 and the second image processing unit 208 are set and executed by making the image processing by the second image processing unit 208 different so as not to be adjacent to each other. As a result, an image with a smoother appearance can be generated.

（変形例４）
本発明では、画像データを所定の領域毎に分割し、分割した領域毎に第１画像処理部２０７および第２画像処理部２０８それぞれの画像処理を設定するとともに、画像データ毎に第１画像処理部２０７および第２画像処理部２０８が画像処理を行う領域を変更してもよい。 (Modification 4)
In the present invention, the image data is divided into predetermined regions, the image processing of the first image processing unit 207 and the second image processing unit 208 is set for each divided region, and the first image processing is performed for each image data. The area where the unit 207 and the second image processing unit 208 perform image processing may be changed.

図８は、本発明の一実施の形態の変形例４にかかる撮像装置１の画像処理制御部２２１ａが第１画像処理部２０７および第２画像処理部２０８それぞれに設定する画像データの領域を模式的に示す図である。 FIG. 8 schematically illustrates areas of image data set in the first image processing unit 207 and the second image processing unit 208 by the image processing control unit 221a of the imaging apparatus 1 according to the fourth modification of the embodiment of the present invention. FIG.

図８（ａ）に示すように、画像処理制御部２２１ａは、Ｎフレーム（Ｎ＝自然数）の画像データＤ３に対して、格子状の領域毎に分割し、この分割した複数の領域Ｆ１，Ｆ２に第１画像処理部２０７および第２画像処理部２０８それぞれによる画像処理を設定して実行させる。その後、図８（ｂ）に示すように、画像処理制御部２２１ａは、Ｎ＋１フレームの画像データＤ４に対して、格子状の領域毎に分割し、この分割した複数の領域Ｆ１，Ｆ２に第１画像処理部２０７および第２画像処理部２０８それぞれによる画像処理をＮフレームの画像データＤ３と異なるように設定して実行させる。 As shown in FIG. 8A, the image processing control unit 221a divides the image data D3 of N frames (N = natural number) into grid-like areas, and the plurality of divided areas F1, F2 The image processing by the first image processing unit 207 and the second image processing unit 208 is set and executed. After that, as shown in FIG. 8B, the image processing control unit 221a divides the N + 1 frame image data D4 for each of the grid-like areas, and first divides the divided data into the divided areas F1 and F2. Image processing by the image processing unit 207 and the second image processing unit 208 is set to be different from the image data D3 of N frames and executed.

このように、画像処理制御部２２１ａは、フレーム毎に第１画像処理部２０７および第２画像処理部２０８がそれぞれ行う画像処理の領域を切り替える。この結果、画質が第１画像処理部２０７および第２画像処理部２０８による画像処理のどちらか一方に偏らず、安定した動画を得ることができる。 As described above, the image processing control unit 221a switches the image processing areas performed by the first image processing unit 207 and the second image processing unit 208 for each frame. As a result, the image quality is not biased to one of the image processing by the first image processing unit 207 and the second image processing unit 208, and a stable moving image can be obtained.

（変形例５）
本発明では、画像データの領域を不規則に分割し、分割した領域毎に第１画像処理部２０７および第２画像処理部２０８それぞれの画像処理を設定して実行させてもよい。 (Modification 5)
In the present invention, the image data area may be divided irregularly, and the image processing of the first image processing unit 207 and the second image processing unit 208 may be set and executed for each divided area.

図９は、本発明の一実施の形態の変形例５にかかる撮像装置１の画像処理制御部２２１ａが第１画像処理部２０７および第２画像処理部２０８それぞれに設定する画像データの領域を模式的に示す図である。 FIG. 9 schematically illustrates areas of image data set in the first image processing unit 207 and the second image processing unit 208 by the image processing control unit 221a of the imaging apparatus 1 according to the fifth modification of the embodiment of the present invention. FIG.

図９に示すように、画像処理制御部２２１ａは、１フレームの画像データＤ５に対して、分割する領域の大きさを不規則に変更して分割し、分割した複数の領域毎に第１画像処理部２０７および第２画像処理部２０８それぞれによる画像処理の領域Ｆ１１，Ｆ１２を設定して実行させる。 As shown in FIG. 9, the image processing control unit 221a divides the image data D5 of one frame by changing the size of the region to be irregularly divided, and the first image for each of the divided regions. Regions F11 and F12 for image processing by the processing unit 207 and the second image processing unit 208 are set and executed.

このように本発明の一実施の形態の変形例５によれば、画像データの領域を不規則に分割した場合であっても、画質を低下させることなく、フレームレートを維持することができる。 As described above, according to the fifth modification of the embodiment of the present invention, the frame rate can be maintained without degrading the image quality even when the region of the image data is irregularly divided.

なお、本発明の一実施の形態の変形例５では、画像データの領域を画像データ毎（フレーム毎）に分割する領域の大きさを不規則に変更して分割してもよい。 In the fifth modification of the embodiment of the present invention, the image data area may be divided by irregularly changing the size of the area for dividing the image data area for each image data (for each frame).

（その他の実施の形態）
ここまで、本発明を実施するための形態を説明してきたが、本発明は上述した実施の形態によってのみ限定されるべきものではない。 (Other embodiments)
So far, the embodiment for carrying out the present invention has been described, but the present invention should not be limited only by the embodiment described above.

たとえば、本発明において、表示部とは別に電子ビューファインダを本体部に設け、この電子ビューファインダにおいて本発明を適用するようにしてもよい。この場合には、表示部と電子ビューファインダとでライブビュー画像の見え方が異なるようにすればより好ましい。 For example, in the present invention, an electronic viewfinder may be provided in the main body unit separately from the display unit, and the present invention may be applied to this electronic viewfinder. In this case, it is more preferable that the appearance of the live view image is different between the display unit and the electronic viewfinder.

また、本発明においては、本体部とレンズ部とが一体的に形成されていてもよい。 In the present invention, the main body portion and the lens portion may be integrally formed.

また、本発明にかかる撮像装置は、デジタル一眼レフカメラ以外にも、たとえばアクセサリ等を装着可能なデジタルカメラ、デジタルビデオカメラおよび撮影機能を有する携帯電話やタブレット型携帯機器等の電子機器にも適用することができる。 In addition to a digital single-lens reflex camera, the imaging device according to the present invention is also applicable to electronic devices such as a digital camera, a digital video camera, and a mobile phone having a photographing function and a tablet-type mobile device having an imaging function. can do.

なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。すなわち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。 In the description of the flowchart in the present specification, the context of the processing between steps is clearly indicated using expressions such as “first”, “after”, “follow”, etc., in order to implement the present invention. The order of processing required is not uniquely determined by their representation. That is, the order of processing in the flowcharts described in this specification can be changed within a consistent range.

このように、本発明は、ここでは記載していない様々な実施の形態を含みうるものであり、特許請求の範囲によって特定される技術的思想の範囲内で種々の設計変更等を行うことが可能である。 As described above, the present invention can include various embodiments not described herein, and various design changes and the like can be made within the scope of the technical idea specified by the claims. Is possible.

１撮像装置
２本体部
３レンズ部
２０１シャッタ
２０２シャッタ駆動部
２０３撮像素子
２０４撮像素子駆動部
２０５信号処理部
２０６Ａ／Ｄ変換部
２０７第１画像処理部
２０８第２画像処理部
２０９ＡＥ処理部
２１０ＡＦ処理部
２１１画像圧縮展開部
２１２操作入力部
２１２ａレリーズボタン
２１２ｂ動画ボタン
２１２ｃモード切替ボタン
２１２ｄメニューボタン
２１２ｅ再生ボタン
２１２ｆ電源ボタン
２１３表示部
２１４表示駆動部
２１５記録媒体
２１６メモリＩ／Ｆ
２１７ＳＤＲＡＭ
２１８Ｆｌａｓｈメモリ
２１８ａプログラム記録部
２１９本体通信部
２２０バス
２２１制御部
２２１ａ画像処理制御部
２２１ｂ表示制御部 DESCRIPTION OF SYMBOLS 1 Imaging device 2 Main body part 3 Lens part 201 Shutter 202 Shutter drive part 203 Image pick-up element 204 Image pick-up element drive part 205 Signal processing part 206 A / D conversion part 207 First image processing part 208 Second image processing part 209 AE processing part 210 AF processing unit 211 Image compression / decompression unit 212 Operation input unit 212a Release button 212b Movie button 212c Mode switch button 212d Menu button 212e Playback button 212f Power button 213 Display unit 214 Display drive unit 215 Recording medium 216 Memory I / F
217 SDRAM
218 Flash memory 218a Program recording unit 219 Main body communication unit 220 Bus 221 Control unit 221a Image processing control unit 221b Display control unit

Claims

An imaging unit that images a subject and generates image data of the subject continuously in time;
A plurality of image processing units capable of performing image processing on the image data generated by the imaging unit and having different performance;
Image processing that divides the image data into a plurality of grid-like regions, and executes image processing by the plurality of image processing units so that image processing regions by the plurality of image processing units are not adjacent to each region A control unit;
Equipped with a,
The image processing control unit sets the number of divisions of the image data to be equal to or greater than the number of the plurality of image processing units.

The imaging apparatus according to claim 1 , wherein the image processing control unit changes the region to be executed by the plurality of image processing units for each of the image data.

Wherein the plurality of image processing section is capable of combining process for combining a plurality of image data, the image pickup apparatus according to claim 1 or 2, calculation precision or rounding precision during synthesis is different from each other.

A display unit for sequentially displaying images corresponding to the image data in time series;
The image processing control unit causes each of the plurality of image processing units to perform image processing when the imaging device performs moving image shooting or when the display unit sequentially displays the images in time series. The imaging device according to any one of claims 1 to 3 .

The image processing control unit, when the imaging apparatus is a still image shooting, the claims 1-4, characterized in that to execute the image processing on the image data to any one of the plurality of image processing unit The imaging device according to any one of the above.

The plurality of image processing units are displayed when a first image processing unit that performs image processing for recording when the imaging apparatus performs still image shooting, and when the display unit displays an image corresponding to the image data. The imaging apparatus according to claim 4 , wherein the imaging apparatus is a second image processing unit that performs image processing for a specific purpose.

An imaging unit that images a subject and generates image data of the subject continuously in time, and a plurality of images that can perform image processing on the image data generated by the imaging unit and have different performance An imaging method executed by an imaging device including a processing unit,
Image processing that divides the image data into a plurality of grid-like regions, and executes image processing by the plurality of image processing units so that image processing regions by the plurality of image processing units are not adjacent to each region Control steps ,
In the image processing control step, the number of divisions of the image data is set to be equal to or greater than the number of the plurality of image processing units .

An imaging unit that images a subject and generates image data of the subject continuously in time, and a plurality of images that can perform image processing on the image data generated by the imaging unit and have different performance A program that is executed by an imaging device including a processing unit,
Image processing that divides the image data into a plurality of grid-like regions, and executes image processing by the plurality of image processing units so that image processing regions by the plurality of image processing units are not adjacent to each region Control steps ,
In the image processing control step, the number of divisions of the image data is greater than or equal to the number of the plurality of image processing units .