JP5896680B2 - Imaging apparatus, image processing apparatus, and image processing method - Google Patents

Imaging apparatus, image processing apparatus, and image processing method Download PDF

Info

Publication number
JP5896680B2
JP5896680B2 JP2011224814A JP2011224814A JP5896680B2 JP 5896680 B2 JP5896680 B2 JP 5896680B2 JP 2011224814 A JP2011224814 A JP 2011224814A JP 2011224814 A JP2011224814 A JP 2011224814A JP 5896680 B2 JP5896680 B2 JP 5896680B2
Authority
JP
Japan
Prior art keywords
imaging
angle
view
unit
units
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011224814A
Other languages
Japanese (ja)
Other versions
JP2013085176A5 (en
JP2013085176A (en
Inventor
和浩 矢幡
和浩 矢幡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2011224814A priority Critical patent/JP5896680B2/en
Priority to EP12183748.8A priority patent/EP2582128A3/en
Priority to EP13154074.2A priority patent/EP2592823A3/en
Priority to US13/613,809 priority patent/US20130093842A1/en
Priority to KR1020120109915A priority patent/KR101514502B1/en
Priority to CN201210388219.4A priority patent/CN103051833B/en
Publication of JP2013085176A publication Critical patent/JP2013085176A/en
Publication of JP2013085176A5 publication Critical patent/JP2013085176A5/en
Application granted granted Critical
Publication of JP5896680B2 publication Critical patent/JP5896680B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Cameras In General (AREA)

Description

本発明は、写真を撮影後に、写真画像のズーム倍率を変更する画像処理が可能な撮像装置及び画像処理装置に関する。   The present invention relates to an imaging apparatus and an image processing apparatus capable of performing image processing for changing a zoom magnification of a photographic image after taking a photograph.

写真を撮影後に、写真画像のフォーカス、絞り及びズーム倍率などを変更する方法が提案されている。例えば非特許文献１は、小型で被写界深度が深い複数の小型カメラからなる多眼カメラで撮像された画像データから、被写界深度のより浅い画像データを生成する手法を開示する。   There has been proposed a method of changing the focus, aperture, zoom magnification, and the like of a photographic image after taking a photograph. For example, Non-Patent Document 1 discloses a method for generating image data having a shallower depth of field from image data captured by a multi-lens camera including a plurality of small cameras having a small depth of field.

このような多眼カメラにおいてズーム処理を行う場合、最も単純な実現方法は個々の小型カメラにそれぞれズーム光学系を持たせる事である。しかしながら、ズーム光学系を全ての小型カメラに持たせると非常に高価となる。一方、特許文献１ではそれぞれ異なる画角を有する複数の単焦点カメラからなる多眼カメラを用い、画角に応じて使用する画像を切り替えることで光学系によるズームを省き、安価にズーム処理を実現する方法を開示している。つまり、特許文献１の技術によれば、画角の異なる多眼カメラを一つのズームカメラとみなすことが可能である。このズームカメラを非特許文献１における一つの小型カメラに置き換えると、異なる画角を有する単焦点カメラが複数配置された多眼カメラとなる。これにより、撮影後に写真画像の被写界深度とズームとが変更できる多眼カメラをより安価に実現する事が可能である。   When performing zoom processing in such a multi-lens camera, the simplest implementation method is to provide each small camera with a zoom optical system. However, it is very expensive to have a zoom optical system in all small cameras. On the other hand, Patent Document 1 uses a multi-lens camera composed of a plurality of single-focus cameras each having a different angle of view, and switches the image to be used according to the angle of view, thereby eliminating the zoom by the optical system and realizing zoom processing at low cost The method of doing is disclosed. That is, according to the technique of Patent Document 1, it is possible to regard a multi-lens camera with different angles of view as one zoom camera. When this zoom camera is replaced with one small camera in Non-Patent Document 1, a multi-lens camera is provided in which a plurality of single-focus cameras having different angles of view are arranged. This makes it possible to realize a multi-lens camera that can change the depth of field and zoom of a photographic image after shooting at a lower cost.

特開２００５−１０９６２３号公報JP 2005-109623 A

"High performance imaging using large camera arrays" ACM Transactions on Graphics - Proceedings of ACM SIGGRAPH 2005"High performance imaging using large camera arrays" ACM Transactions on Graphics-Proceedings of ACM SIGGRAPH 2005

しかしながら、上記のような単純な従来技術の組み合わせでは、カメラの集光能力が画角毎に異なってしまう。この時、露光時間を画角によらず一致させて撮影した場合においては、各画角間で明るさ、あるいはノイズ量が異なってしまうという課題がある。また、明るさが一致するように露光時間を画角毎に変えた場合においては、手ぶれや動きぶれの問題が生じたり、そもそも露光時間が異なるため、他のズームでは意図した写真にならず、事実上は撮影後にズーム処理ができないという課題がある。   However, with the simple combination of the conventional techniques as described above, the light collecting ability of the camera varies depending on the angle of view. At this time, when shooting is performed with the exposure time matched regardless of the angle of view, there is a problem that the brightness or the amount of noise differs between the angles of view. In addition, when the exposure time is changed for each angle of view so that the brightness matches, there is a problem of camera shake and motion blur, and since the exposure time is different in the first place, other zooms do not become the intended photo, In practice, there is a problem that zoom processing cannot be performed after shooting.

本発明に係る撮像装置は、同一平面上に並んだ複数の撮像部を有する撮像装置であって、前記複数の撮像部のうち第１の画角を持つ１つ以上の撮像部の数は、前記第１の画角より広い画角を持つ１つ以上の撮像部の数より多く、かつ、前記複数の撮像部のうち第１の画角を持つ１つ以上の撮像部が合計で受ける光の量と、前記第１の画角とは異なる第２の画角を持つ１つ以上の撮像部が合計で受ける光の量との比は、調節可能な露光時間の変化幅の範囲内であることを特徴とする。 An imaging apparatus according to the present invention is an imaging apparatus having a plurality of imaging units arranged on the same plane, and the number of one or more imaging units having a first angle of view among the plurality of imaging units is: said first angle of view one or more Many than the number of the imaging unit having a wide angle of view than, and one or more imaging unit having a first angle of view of the plurality of the imaging unit is subjected in total The ratio between the amount of light and the amount of light received in total by one or more imaging units having a second angle of view different from the first angle of view is within a range of changeable exposure time. It is characterized by being.

本発明によれば、撮影後の写真画像に対してズーム倍率を変更する際にノイズ量や露光時間に左右される程度が小さくなる。   According to the present invention, when the zoom magnification is changed with respect to a photographed image, the degree to which it depends on the amount of noise and the exposure time is reduced.

本発明の第１の実施例における撮像装置の外観例を示す図である。It is a figure which shows the example of an external appearance of the imaging device in 1st Example of this invention. 本発明の実施例における撮像装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the imaging device in the Example of this invention. 本発明の実施例における撮像部の構成例を示すブロック図である。It is a block diagram which shows the structural example of the imaging part in the Example of this invention. 本発明の第１の実施例における撮像動作例を示すフローチャートである。It is a flowchart which shows the example of an imaging operation in 1st Example of this invention. 本発明の第１の実施例における撮影後にズームを変更する処理の一例を示すフローチャートである。It is a flowchart which shows an example of the process which changes zoom after imaging | photography in 1st Example of this invention. 本発明の第２の実施例における撮像装置の外観例を示す図である。It is a figure which shows the example of an external appearance of the imaging device in 2nd Example of this invention. 本発明の第２の実施例における撮像部の設定を変える際の動作例を示すフローチャートである。It is a flowchart which shows the operation example at the time of changing the setting of the imaging part in 2nd Example of this invention. 本発明の第２の実施例における撮像パラメータ算出処理のデータの流れの例を示す図である。It is a figure which shows the example of the data flow of the imaging parameter calculation process in 2nd Example of this invention. 本発明の第３の実施例における撮像装置の外観例を示す図である。It is a figure which shows the example of an external appearance of the imaging device in the 3rd Example of this invention. 本発明の第３の実施例における各撮像部の画角および出力画像画角の関係例を示す図である。It is a figure which shows the example of a relationship between the angle of view of each imaging part and output image angle of view in the 3rd Example of this invention.

［実施例１］
まず、実施例１の概略について説明する。実施例１は、例えば望遠用の撮像部を広角用の撮像部よりも多く配置することによって、それぞれの撮像部で得られる画角毎の画像データの明るさのバランスを調整することに関するものである。 [Example 1]
First, an outline of the first embodiment will be described. The first embodiment relates to adjusting the brightness balance of image data for each angle of view obtained by each imaging unit by disposing, for example, a telephoto imaging unit more than a wide-angle imaging unit. is there.

＜撮像装置の構成＞
図1は、実施例１の撮像装置１００の概観を示す図である。図１に示す撮像装置１００は、前面（被写体側）に６１個の撮像部１０１−１６１を有する所謂多眼カメラである。図１に示す撮像部１０１−１６１のハッチングの違いは、後述するように画角の違いを示している。撮像装置１００はさらにフラッシュ１６２と撮影ボタン１６３とを備える。また、図１には示さないが、撮像装置１００は、その背面に操作部及び表示部などを有する。以下本実施例では撮像部を６１個有する場合の説明を行うが、撮像部の数は６１個に限られるわけではなく、三つ以上であればよい。三つ以上である理由は、例えば２種類の画角を有する撮像部がある場合に、一方の画角を有する撮像部の数を他方の画角を有する撮像部の数より多くするためである。また、複数の撮像部は同じ被写体またはほぼ同じ領域をほぼ同時に撮影可能となるように配置されていればよい。「ほぼ同じ領域」及び「ほぼ同時に」とは、例えば複数の撮像部で撮影された画像データを合成した場合に、他の撮像部で撮像された画像データと同じような画像を得られる範囲を示している。なお、図１に示すように各撮像部は同一面に配置され、かつ各撮像部の光軸は並行となっている方が画像処理が簡易となり好ましいが、本実施例はこの配置に限定されない。本実施例に関わる各撮像部のさらに詳細な構成および配置などについては後述する。 <Configuration of imaging device>
FIG. 1 is a diagram illustrating an overview of the imaging apparatus 100 according to the first embodiment. An imaging apparatus 100 shown in FIG. 1 is a so-called multi-lens camera having 61 imaging units 101-161 on the front surface (subject side). The difference in hatching of the imaging units 101-161 shown in FIG. 1 indicates the difference in angle of view as will be described later. The imaging apparatus 100 further includes a flash 162 and a shooting button 163. Although not shown in FIG. 1, the imaging apparatus 100 includes an operation unit, a display unit, and the like on the back surface. Hereinafter, in this embodiment, a case where 61 image pickup units are provided will be described. However, the number of image pickup units is not limited to 61, and may be three or more. The reason why there are three or more is, for example, when there are imaging units having two types of angles of view, so that the number of imaging units having one angle of view is greater than the number of imaging units having the other angle of view. . The plurality of imaging units may be arranged so that the same subject or almost the same region can be taken almost simultaneously. “Substantially the same area” and “substantially at the same time” are, for example, a range in which an image similar to image data captured by another imaging unit can be obtained when combining image data captured by a plurality of imaging units. Show. As shown in FIG. 1, it is preferable that the imaging units are arranged on the same plane and the optical axes of the imaging units are parallel, which simplifies image processing. However, the present embodiment is not limited to this arrangement. . A more detailed configuration and arrangement of each imaging unit according to the present embodiment will be described later.

図２は、撮像装置１００の構成例を示すブロック図である。ＣＰＵ２０１は、ＲＡＭ２０２をワークメモリとして使用して、ＲＯＭ２０３に格納されたＯＳや各種プログラムを実行する。また、ＣＰＵ２０１は、システムバス２００を介して、撮像装置１００の各構成を制御する。ＲＡＭ２０２は、撮像光学系の制御結果を示すフォーカス設定及び絞り設定など撮像部１０１−１６１の状態を示す情報である撮像パラメータなどを格納する。ＲＯＭ２０３は、撮像部１０１−１６１の相対的な位置関係並びに各撮像部の撮像素子の画素ピッチ、光のエネルギーの受光効率、及び撮像部が撮像できる画角（立体角）などを示すカメラ設計パラメータなどを格納する。なお、図示していないが、各撮像部１０１−１６１のＲＯＭに当該撮像部のカメラ設計パラメータを格納するようにしてもよい。   FIG. 2 is a block diagram illustrating a configuration example of the imaging apparatus 100. The CPU 201 executes the OS and various programs stored in the ROM 203 using the RAM 202 as a work memory. Further, the CPU 201 controls each component of the imaging device 100 via the system bus 200. The RAM 202 stores imaging parameters, which are information indicating the state of the imaging units 101-161, such as focus settings and aperture settings that indicate control results of the imaging optical system. The ROM 203 is a camera design parameter indicating the relative positional relationship of the imaging units 101-161, the pixel pitch of the imaging element of each imaging unit, the light receiving efficiency of light energy, and the angle of view (solid angle) that can be captured by the imaging unit. Etc. are stored. Although not shown, the camera design parameters of the imaging units may be stored in the ROM of each imaging unit 101-161.

ＣＰＵ２０１は、コンピュータグラフィックス（ＣＧ）生成部２０７及び表示制御部２０４を制御してモニタ２１３にユーザインタフェイス（ＵＩ）を表示させる。また、ＣＰＵ２０１は、撮影ボタン１６３や操作部１６４を介してユーザ指示を受信する。そして、ＣＰＵ２０１は、ユーザ指示に従い、撮像時の被写体距離、焦点距離、絞り、露光時間、及びフラッシュの発光などの撮影条件の設定をすることができる。また、ＣＰＵ２０１は、ユーザ指示に従い、撮像の指示、及び撮像した画像の表示設定を行うことができる。ＣＧ生成部２０７は、ＵＩを実現するための文字やグラフィックスなどのデータを生成する。   The CPU 201 controls the computer graphics (CG) generation unit 207 and the display control unit 204 to display a user interface (UI) on the monitor 213. Further, the CPU 201 receives a user instruction via the shooting button 163 and the operation unit 164. Then, the CPU 201 can set shooting conditions such as a subject distance, a focal length, an aperture, an exposure time, and a flash emission according to a user instruction. Further, the CPU 201 can perform an imaging instruction and display setting of the captured image in accordance with a user instruction. The CG generation unit 207 generates data such as characters and graphics for realizing the UI.

ユーザから撮影を指示されると、ＣＰＵ２０１は、ユーザの指示に対応した光学系の制御方法を光学系制御方法生成部２０９から取得する。次に、ＣＰＵ２０１は、取得した光学系の制御方法に基づいて光学系制御部２１０に撮像を指示する。この撮像指示を受信した光学系制御部２１０は、フォーカスを合わせ、絞りを調節し、又はシャッタを開閉するなどの撮像光学系の制御を行う。また、光学系制御部２１０は、撮像光学系の制御結果を示すフォーカス設定及び絞り設定など撮像部１０１−１６１の状態を示す情報である撮像パラメータをＲＡＭ２０２に格納する。なお、一つの光学系制御部２１０によって各撮像部１０１−１６１の撮像光学系を制御するのではなく、ＣＰＵ２０１と通信可能な光学系制御部を各撮像部１０１−１６１に備えてもよい。   When photographing is instructed by the user, the CPU 201 acquires an optical system control method corresponding to the user's instruction from the optical system control method generation unit 209. Next, the CPU 201 instructs the optical system control unit 210 to perform imaging based on the acquired optical system control method. Upon receiving this imaging instruction, the optical system control unit 210 controls the imaging optical system such as adjusting the focus, adjusting the aperture, or opening and closing the shutter. In addition, the optical system control unit 210 stores, in the RAM 202, imaging parameters that are information indicating the state of the imaging units 101-161 such as a focus setting and an aperture setting indicating the control result of the imaging optical system. Instead of controlling the imaging optical system of each imaging unit 101-161 by one optical system control unit 210, each imaging unit 101-161 may include an optical system control unit capable of communicating with the CPU 201.

撮像部１０１−１６１はそれぞれ、被写体からの光をＣＣＤやＣＭＯＳなどの撮像センサ３０７において受光する。詳細は図３に関連して後述する。撮像部１０１−１６１は、撮像センサ３０７が出力するアナログ信号をアナログ−デジタル（Ａ／Ｄ）変換した撮像データ（以下、ＲＡＷデータ）を、一旦、撮像部１０１−１６１内のバッファメモリに保持する。バッファメモリに保持されたＲＡＷデータは、ＣＰＵ２０１の制御により、順次、ＲＡＭ２０２の所定領域に格納される。   Each of the imaging units 101 to 161 receives light from a subject by an imaging sensor 307 such as a CCD or a CMOS. Details will be described later with reference to FIG. The imaging unit 101-161 temporarily stores imaging data (hereinafter, RAW data) obtained by analog-digital (A / D) conversion of the analog signal output from the imaging sensor 307 in a buffer memory in the imaging unit 101-161. . The RAW data held in the buffer memory is sequentially stored in a predetermined area of the RAM 202 under the control of the CPU 201.

デジタル信号処理部２０８は、ＲＡＭ２０２の所定領域に格納された複数のＲＡＷデータ（以下、ＲＡＷデータ群）から画像データを生成する現像処理を行う。またデジタル信号処理部２０８は、ＲＡＷデータ群および生成した画像データをＲＡＭ２０２の所定領域に格納する。なお、現像処理には、複数のＲＡＷデータを合成する合成処理、デモザイキング処理、ホワイトバランス処理、ガンマ処理、及びノイズ低減処理などが含まれる。また、デジタル信号処理部２０８は、撮影後の画像データに対してズーム倍率を変更し、変更後の画像データを生成する処理を行うことができる。生成した画像データにはフォーカス距離、ズーム倍率および被写界深度などを示す現像処理時のパラメータ（以下、画像生成パラメータ）が付加される。画像生成パラメータは、例えばユーザから指定された値に基づいて生成される。また、例えば初回現像時などにおいては初期設定値を画像生成パラメータとして用いることができる。また、ＲＡＷデータ群には少なくとも撮像パラメータが付加されるが、外部の画像処理装置による現像処理を考慮して、カメラ設計パラメータを付加してもよい。   The digital signal processing unit 208 performs development processing for generating image data from a plurality of RAW data (hereinafter, RAW data group) stored in a predetermined area of the RAM 202. The digital signal processing unit 208 stores the RAW data group and the generated image data in a predetermined area of the RAM 202. The development process includes a composition process for combining a plurality of RAW data, a demosaicing process, a white balance process, a gamma process, a noise reduction process, and the like. Further, the digital signal processing unit 208 can change the zoom magnification with respect to the image data after photographing, and can perform processing for generating the changed image data. Parameters for development processing (hereinafter referred to as image generation parameters) indicating the focus distance, zoom magnification, depth of field, and the like are added to the generated image data. The image generation parameter is generated based on a value designated by the user, for example. In addition, for example, at the time of initial development, an initial setting value can be used as an image generation parameter. In addition, although at least imaging parameters are added to the RAW data group, camera design parameters may be added in consideration of development processing by an external image processing apparatus.

ＣＰＵ２０１は、表示制御部２０４を制御して、ＲＡＭ２０２の所定領域に格納された画像データをモニタ２１３に表示する。圧縮伸長部２１２は、ＲＡＭ２０２の所定領域に格納された画像データをＪＰＥＧやＭＰＥＧなどのフォーマットに変換するエンコード処理を行う。また、圧縮伸長部２１２は、必要ならば、ＲＡＷデータ群をロスレス圧縮する処理を行う。   The CPU 201 controls the display control unit 204 to display image data stored in a predetermined area of the RAM 202 on the monitor 213. The compression / decompression unit 212 performs an encoding process for converting image data stored in a predetermined area of the RAM 202 into a format such as JPEG or MPEG. Further, the compression / decompression unit 212 performs a process for lossless compression of the RAW data group, if necessary.

ＣＰＵ２０１は、表示制御部２０４を制御して、ＲＡＭ２０２の所定領域に格納された画像データをモニタ２１３に表示する。圧縮伸長部２１２は、ＲＡＭ２０２の所定領域に格納された画像データをＪＰＥＧやＭＰＥＧなどのフォーマットに変換するエンコード処理、必要ならば、ＲＡＷデータ群をロスレス圧縮する処理を行う。   The CPU 201 controls the display control unit 204 to display image data stored in a predetermined area of the RAM 202 on the monitor 213. The compression / decompression unit 212 performs an encoding process for converting image data stored in a predetermined area of the RAM 202 into a format such as JPEG or MPEG, and if necessary, a process for lossless compression of a RAW data group.

インタフェイス（Ｉ／Ｆ）２０５は、例えばメモリカードやＵＳＢメモリなどの記録メディア２０６を読み書きする機能及び有線や無線のネットワークに接続する機能を有する。Ｉ／Ｆ２０５は、ＣＰＵ２０１の指示に従い、例えばＲＡＭ２０２に格納されたＪＰＥＧやＭＰＥＧフォーマットの画像データおよびＲＡＷデータ群を外部のメディアやサーバ装置に出力したり、外部の記録メディアやサーバ装置から各種データを入力する。   An interface (I / F) 205 has a function of reading and writing a recording medium 206 such as a memory card or a USB memory, and a function of connecting to a wired or wireless network. In accordance with an instruction from the CPU 201, the I / F 205 outputs, for example, JPEG or MPEG format image data and RAW data stored in the RAM 202 to an external medium or server device, or outputs various data from an external recording medium or server device. input.

画像生成パラメータ生成部２１１は、デジタル信号処理部２０８における現像処理に必要な画像生成パラメータを生成する。   The image generation parameter generation unit 211 generates image generation parameters necessary for development processing in the digital signal processing unit 208.

なお、図２には撮像部１０１−１６１とその他の構成を一つにまとめた撮像装置１００を示したが、撮像部１０１−１６１とその他の構成（画像処理装置）を分離することもできる。その場合、撮像部１０１−１６１と画像処理装置それぞれに、例えばＵＳＢやＩＥＥＥ１３９４などのシリアルバスＩ／Ｆや無線ネットワークカードのような通信部をもたせ、通信部を介して制御信号の送受信およびデータの入出力を行えばよい。   2 shows the imaging apparatus 100 in which the imaging units 101-161 and other configurations are combined into one, the imaging units 101-161 and other configurations (image processing apparatuses) may be separated. In that case, each of the imaging units 101-161 and the image processing apparatus is provided with a communication unit such as a serial bus I / F such as USB or IEEE1394 or a wireless network card, and transmission and reception of control signals and data transmission are performed via the communication unit. Input / output may be performed.

＜各撮像部の構成例＞
図３のブロック図は、撮像部１０１−１６１の構成例を示す図である。なお、図３には撮像部１０１の構成例を示すが、他の撮像部１０２−１６１もほぼ同様の構成を有する。ただし、撮像部１０１−１６１の画角、フォーカスおよび絞りなどの設定は、必ずしもすべて同一の構成である必要はない。詳細は後述する。 <Configuration example of each imaging unit>
The block diagram of FIG. 3 is a diagram illustrating a configuration example of the imaging units 101-161. 3 shows a configuration example of the imaging unit 101, the other imaging units 102-161 have substantially the same configuration. However, the settings such as the angle of view, the focus, and the aperture of the imaging units 101 to 161 do not necessarily have the same configuration. Details will be described later.

被写体からの光は、フォーカスレンズ群３０１、絞り３０２、固定レンズ群３０３、シャッタ３０４、赤外線カットフィルタ３０５、カラーフィルタ３０６を通過して、ＣＭＯＳセンサやＣＣＤなどの撮像センサ３０７上に結像する。Ａ／Ｄ変換部３０８は、撮像センサ３０７が出力するアナログ信号をＡ／Ｄ変換する。バッファ３０９は、Ａ／Ｄ変換部３０８が出力するＲＡＷデータを一時的に格納し、ＣＰＵ２０１の要求に応じて、ＲＡＷデータをシステムバス２００を介してＲＡＭ２０２に転送する。   Light from the subject passes through a focus lens group 301, a diaphragm 302, a fixed lens group 303, a shutter 304, an infrared cut filter 305, and a color filter 306, and forms an image on an image sensor 307 such as a CMOS sensor or a CCD. The A / D conversion unit 308 performs A / D conversion on the analog signal output from the imaging sensor 307. The buffer 309 temporarily stores the RAW data output from the A / D conversion unit 308 and transfers the RAW data to the RAM 202 via the system bus 200 in response to a request from the CPU 201.

なお、図３に示すレンズ群と絞りの配置は一例であり、異なる配置でもよい。例えば、一部またはすべての撮像部がテレセントリック性などのレンズ性能を向上させるための固定レンズ群３０３をもたなくてもよい。   The arrangement of the lens group and the diaphragm shown in FIG. 3 is an example and may be different. For example, some or all of the imaging units may not have the fixed lens group 303 for improving lens performance such as telecentricity.

＜撮像部の構成とその組み合わせ＞
安価にズーム機能を備えるために、本実施例における撮像部の画角は全て同じではない。例えば図１に示した６１眼の多眼カメラの例においては、撮像部１０１−１６１の画角は四種類存在し、撮像部１０１−１０５、撮像部１０６−１１３、撮像部１１４−１２９、撮像部１３０−１６１がそれぞれ同じ画角を持っている。ただし、画角が同じであっても、撮像部１０１−１６１が全て同じ大きさの撮像センサを有するとは限らない。つまり、異なる大きさの撮像センサを有している場合であっても、撮像部の焦点距離が対応する距離であれば、画角は等しくなる。なお、画角が同じである撮像部同士は同じ画素数である方が画像処理が簡易になるため好ましい。また、本実施例では撮像部１０１−１６１の有する光学系の入射瞳（≒レンズ前側からみた絞り）の大きさは概略等しく設計されているものとする。 <Configuration of imaging unit and its combination>
In order to provide a zoom function at a low cost, the angle of view of the imaging unit in this embodiment is not all the same. For example, in the example of the 61-lens multi-lens camera shown in FIG. 1, there are four types of angle of view of the imaging units 101-161, the imaging units 101-105, the imaging units 106-113, the imaging units 114-129, and the imaging. The sections 130-161 have the same angle of view. However, even if the angle of view is the same, the imaging units 101-161 do not necessarily have imaging sensors of the same size. That is, even if the image sensors have different sizes, the angles of view are equal if the focal lengths of the image capturing units correspond to each other. In addition, it is preferable that the imaging units having the same angle of view have the same number of pixels because the image processing becomes simple. In this embodiment, it is assumed that the sizes of the entrance pupils of the optical system included in the imaging units 101 to 161 (≈a diaphragm viewed from the lens front side) are approximately equal.

本実施例では、画角が異なる撮像部で撮像された画像間において、明るさ、ノイズ、及び露光時間を同時に合わせるために、撮像部１０１−１６１は、画角毎の合計の集光能力が概略同じとなるように構成されている。たとえば撮像部１０１−１０５の合計の集光能力と、撮像部１０６−１１３の合計の集光能力とが概略同じとなるように構成される。また、他の撮像部群についても同様である。具体的には、jを画角のインデックスとし、画角毎に以下の式で計算される評価値Ejに対し、それらが概略等しくなるように構成されている。
Ej ＝ NjΩj In the present embodiment, in order to simultaneously adjust the brightness, noise, and exposure time between images captured by image capturing units having different angles of view, the image capturing units 101-161 have a total condensing capability for each angle of view. It is comprised so that it may become substantially the same. For example, the total light collection capability of the imaging units 101-105 and the total light collection capability of the imaging units 106-113 are configured to be substantially the same. The same applies to other imaging unit groups. Specifically, j is an index of the angle of view, and the evaluation value Ej calculated by the following formula for each angle of view is configured to be approximately equal.
Ej = NjΩj

ここで、Njは画角jを持つ撮像部の数である。また、Ωjは画角jの撮像部が撮像する領域の立体角である。立体角Ωjは直接測定される事が望ましいが、以下の式によって計算してもよい。   Here, Nj is the number of imaging units having an angle of view j. Further, Ωj is a solid angle of an area picked up by the image pickup unit having an angle of view j. The solid angle Ωj is preferably measured directly, but may be calculated by the following equation.

Figure 0005896680
Figure 0005896680

ここで、fj,iは画角jを持つ撮像部iの焦点距離であり、x,yは撮像部が有する撮像センサ上の座標である。積分範囲は撮像センサの大きさである。撮像部の撮像センサの大きさが異なっている場合であっても画角が同じであれば立体角は同じであるので、画角jを持つ複数の撮像部のうちいずれか一つの撮像部について立体角を計算するだけで十分である。なお、撮像部の有する光学系に歪曲収差が存在する場合には、歪曲収差を補正した後の座標系x',y'に置き換えて立体角を計算することができる。また、歪曲補正の結果画像合成に使わない領域が存在する場合には、積分範囲からその領域を省くことができる。   Here, fj, i is a focal length of the imaging unit i having the angle of view j, and x, y are coordinates on the imaging sensor of the imaging unit. The integration range is the size of the image sensor. Even if the imaging sensors of the imaging units are different in size, the solid angle is the same if the angle of view is the same. Therefore, for any one of the imaging units having the angle of view j, It is sufficient to calculate the solid angle. When distortion is present in the optical system of the imaging unit, the solid angle can be calculated by replacing the distortion with the coordinate system x ′, y ′ after correction. If there is a region that is not used for image synthesis as a result of distortion correction, the region can be omitted from the integration range.

図1に示した例では４種類の画角があるため、評価値Ejも４種類計算される。評価値Ejは、画角jを持つ複数の撮像部が単位時間当たりに受ける光のエネルギーの合計に比例する量である。このためEjが画角jによらず等しい場合には、ノイズの主な原因であるショットノイズのパワーがほぼ等しくなる。従って、画角が異なる画像間のノイズのバラつきもほぼ等しくなる。   In the example shown in FIG. 1, since there are four types of angles of view, four types of evaluation values Ej are also calculated. The evaluation value Ej is an amount proportional to the total energy of light received per unit time by a plurality of imaging units having an angle of view j. For this reason, when Ej is equal regardless of the angle of view j, the power of shot noise, which is the main cause of noise, becomes substantially equal. Therefore, the noise variation between the images having different angles of view is almost equal.

各撮像部は評価値Ejが可能な限り等しくなるように構成される事が望ましいが、評価値Ejを完全に一致させる事は難しい場合がある。このため、Ejのずれの許容範囲を定める必要がある。例えば、各画角の間でＳＮの差を２割程度までに抑えたい場合には、信号値が２倍になればノイズ値は√２倍となる関係を有していることから、評価値Ejの差は４割程度に抑えるように設計する。より好ましくは、ユーザが調節できる露光時間の変化幅よりもEjの差が小さくなるように撮像部が構成されているとよい。つまり、ユーザが露光時間を1/3段ステップで制御できる場合、画角jと画角kに対する評価値EjとEkの比が次の式を満たすようになっている事が好ましい。   Although it is desirable that each imaging unit is configured so that the evaluation values Ej are as equal as possible, it may be difficult to completely match the evaluation values Ej. For this reason, it is necessary to define an allowable range of deviation of Ej. For example, when it is desired to suppress the SN difference between each angle of view to about 20%, the noise value has a relationship of √2 times when the signal value is doubled. The difference in Ej is designed to be suppressed to about 40%. More preferably, the imaging unit may be configured so that the difference in Ej is smaller than the change width of the exposure time that can be adjusted by the user. That is, when the user can control the exposure time in 1 / 3-step steps, it is preferable that the ratio of the evaluation values Ej and Ek to the angle of view j and the angle of view k satisfy the following expression.

Figure 0005896680
Figure 0005896680

このように各画角における評価値が概略等しくなるように撮像部の数を調整することによって、各画角の集光能力を等しくすることができる。具体的には、第１の画角を有する第１の撮像部群の撮像部の数を、第１の撮像部群の有する画角よりも小さい第２の画角を有する第２の撮像部群の撮像部の数よりも少なくするように構成する。例えば、望遠用の撮像部の数を広角用の撮像部の数よりも多く配置することで各画角の評価値を概略等しくすることが可能となる。このような各画角における評価値が概略等しくなるように撮像部の数を調整することは、例えば撮像装置を製造する際に行うことができる。   In this way, by adjusting the number of imaging units so that the evaluation values at the respective angles of view are approximately equal, the light collecting ability at each angle of view can be made equal. Specifically, the second image pickup unit having a second angle of view smaller than the angle of view of the first image pickup unit group in which the number of image pickup units of the first image pickup unit group having the first view angle is set. The number is configured to be smaller than the number of imaging units in the group. For example, it is possible to make the evaluation values for each angle of view approximately equal by disposing more telephoto imaging units than wide-angle imaging units. Such adjustment of the number of imaging units so that the evaluation values at the respective angles of view are approximately equal can be performed, for example, when an imaging device is manufactured.

＜撮像動作＞
図４は、実施例１の撮像動作の一例を示すフローチャートである。なお、各画角の評価値は前述したように概略等しく設計されているものとする。図４に示す処理は、例えばＲＯＭ２０３に格納されたプログラムをＣＰＵ２０１が読み出して実行することによって実現される。ユーザが操作部１６４や撮影ボタン１６３を操作すると図４に示す撮像動作が開始される。ＣＰＵ２０１は、操作部１６４や撮影ボタン１６３を介してユーザ指示を受け取り、ユーザの操作を判定する（ステップＳ１０１）。 <Imaging operation>
FIG. 4 is a flowchart illustrating an example of an imaging operation according to the first embodiment. It should be noted that the evaluation values for each angle of view are designed to be approximately equal as described above. The processing shown in FIG. 4 is realized by the CPU 201 reading and executing a program stored in the ROM 203, for example. When the user operates the operation unit 164 or the shooting button 163, the imaging operation shown in FIG. 4 is started. The CPU 201 receives a user instruction via the operation unit 164 or the shooting button 163, and determines a user operation (step S101).

ユーザが操作部１６４を操作してフォーカス及び絞りなど撮像光学系の設定を変更した場合、ＣＰＵ２０１は、光学系制御方法生成部２０９から各撮像部の有する光学系の制御方法を取得する（ステップＳ１０２）。ステップＳ１０２では、光学系制御方法生成部２０９は、あらかじめユーザにより設定された動作モードに基づき、撮像部の光学系の制御方法を算出する。例えば、全ての撮像部が同じフォーカスに合わせて撮影する動作モードの場合は、光学系制御方法生成部２０９は全ての撮像部のフォーカスをユーザが指定した値に設定する。逆に、複数の撮像部がそれぞれ異なるフォーカスに合わせて撮影する動作モードの場合は、光学系制御方法生成部２０９はユーザが指定した以外の撮像部のフォーカスは維持するように設定値を算出する。光学系制御方法生成部２０９は絞りについても同様の動作を行う。なお、先に説明したように、本実施例においては撮像部の入射瞳（≒レンズ前側からみた絞り）の大きさは概略等しく設計されている。ステップＳ１０２において、例えばユーザが絞りの値を変更した場合においては、全ての撮像部が同じ絞りに合わせて撮影する動作モードの場合には、全ての撮像部の入射瞳の大きさが同様に変化するので、画角毎の評価値は概略等しい状態となる。一方、複数の撮像部がそれぞれ異なるフォーカスに合わせて撮影する動作モードの場合には、ユーザが絞りの値を変更した場合には、入射瞳の大きさが変更された状態になる。このような場合には、後述する実施例２で説明するように、算出した評価値に基づいて撮像部の絞りを調整する処理が行われる。本処理の詳細な説明は実施例２において行う。   When the user operates the operation unit 164 and changes the settings of the imaging optical system such as the focus and the diaphragm, the CPU 201 acquires the optical system control method of each imaging unit from the optical system control method generation unit 209 (step S102). ). In step S102, the optical system control method generation unit 209 calculates a control method for the optical system of the imaging unit based on an operation mode set in advance by the user. For example, in an operation mode in which all the imaging units shoot with the same focus, the optical system control method generation unit 209 sets the focus of all the imaging units to a value specified by the user. Conversely, in an operation mode in which a plurality of imaging units shoot with different focus, the optical system control method generation unit 209 calculates a setting value so that the focus of the imaging unit other than that specified by the user is maintained. . The optical system control method generation unit 209 performs the same operation for the diaphragm. As described above, in the present embodiment, the entrance pupil (≈a diaphragm viewed from the lens front side) of the imaging unit is designed to be approximately equal. In step S102, for example, when the user changes the aperture value, the size of the entrance pupil of all the imaging units changes in the same manner in the operation mode in which all the imaging units shoot with the same aperture. Therefore, the evaluation values for each angle of view are approximately equal. On the other hand, in the operation mode in which a plurality of imaging units shoot with different focus, when the user changes the aperture value, the entrance pupil size is changed. In such a case, as will be described in a second embodiment to be described later, a process of adjusting the aperture of the imaging unit based on the calculated evaluation value is performed. A detailed description of this process will be given in the second embodiment.

ＣＰＵ２０１は、この算出された絞り値やフォーカスの値に基づいて光学系制御部２１０を制御し、撮像部１０１−１６１の各レンズ群や絞りの状態を変更する（ステップＳ１０３）。光学系制御部２１０は、撮像部１０１−１６１の各レンズ群や絞りの状態を示す撮像パラメータをＣＰＵ２０１に送信し、ＣＰＵ２０１は受信した撮像パラメータをＲＡＭ２０２の所定領域に格納する（ステップＳ１０４）。   The CPU 201 controls the optical system control unit 210 based on the calculated aperture value and focus value, and changes the state of each lens group and the aperture of the imaging units 101-161 (step S103). The optical system control unit 210 transmits imaging parameters indicating the lens groups and diaphragm states of the imaging units 101-161 to the CPU 201, and the CPU 201 stores the received imaging parameters in a predetermined area of the RAM 202 (step S104).

なお、ユーザが撮影ボタン１６３を半分程度押し下げた時、ユーザによる設定に基づいて、フォーカスを自動的に合わせるオートフォーカスや絞りを自動的に合わせて露光量を調節するオートエクスポージャーが行われる。この操作により撮像部のフォーカスや絞りが自動的に変更されるから、これも撮像光学系の変更動作の一つである。このようにオートエクスポージャーが行われる場合にもステップＳ１０２からＳ１０４で説明した処理が行われる。   Note that when the user depresses the shooting button 163 by about half, autofocus for automatically adjusting the focus and auto exposure for automatically adjusting the aperture based on the setting by the user are performed. This operation automatically changes the focus and aperture of the imaging unit, and this is also one of the changing operations of the imaging optical system. Even when auto-exposure is performed in this manner, the processing described in steps S102 to S104 is performed.

ユーザが撮影ボタン１６３を完全に押し下げた時、ステップＳ１０１においてＣＰＵ２０１は、撮影操作が行われたと判断する。ＣＰＵ２０１は、光学系制御部２１０を制御して、撮像部１０１−１６１のシャッタ３０４を予め設定した時間だけ開口させて撮像センサ３０７を露光する（ステップＳ１０５）。   When the user presses down the shooting button 163 completely, the CPU 201 determines in step S101 that a shooting operation has been performed. The CPU 201 controls the optical system control unit 210 to open the shutter 304 of the imaging unit 101-161 for a preset time and exposes the imaging sensor 307 (step S105).

その後、ＣＰＵ２０１は、撮像部１０１−１６１のバッファ３０９を制御してＲＡＷデータ群をＲＡＭ２０２の所定領域に格納する（ステップＳ１０６）。   Thereafter, the CPU 201 controls the buffer 309 of the imaging units 101-161 to store the RAW data group in a predetermined area of the RAM 202 (step S106).

次に、ＣＰＵ２０１は、画像生成パラメータ生成部２１１を制御して、ズーム倍率、フォーカス距離および被写界深度などの画像生成パラメータを取得し、ＲＡＭ２０２の所定領域に格納する（ステップＳ１０７）。そして、デジタル信号処理部２０８を制御してＲＡＷデータ群の現像処理を実行させる（ステップＳ１０８）。   Next, the CPU 201 controls the image generation parameter generation unit 211 to acquire image generation parameters such as zoom magnification, focus distance, and depth of field, and stores them in a predetermined area of the RAM 202 (step S107). Then, the digital signal processing unit 208 is controlled to execute development processing of the RAW data group (step S108).

デジタル信号処理部２０８は、ＲＡＷデータ群、撮像パラメータ、カメラ設計パラメータ、及び画像生成パラメータを入力して、これらデータとパラメータに基づき現像処理を実行して、画像データ（以下、初回画像データ）を生成する。その後、デジタル信号処理部２０８は、ＲＡＷデータ群に撮像パラメータ（必要ならばカメラ設計パラメータ）を付加し、かつ初回画像データに現像処理に使用した画像生成パラメータを付加する。ＣＰＵ２０１は、デジタル信号処理部２０８が出力する初回画像データおよびＲＡＷデータ群をＲＡＭ２０２の所定領域に格納する（ステップＳ１０９）。   The digital signal processing unit 208 inputs a RAW data group, imaging parameters, camera design parameters, and image generation parameters, executes development processing based on these data and parameters, and generates image data (hereinafter referred to as initial image data). Generate. Thereafter, the digital signal processing unit 208 adds imaging parameters (camera design parameters if necessary) to the RAW data group, and adds image generation parameters used for development processing to the initial image data. The CPU 201 stores the initial image data and the RAW data group output from the digital signal processing unit 208 in a predetermined area of the RAM 202 (step S109).

次に、ＣＰＵ２０１は、圧縮伸長部２１２を制御して初回画像データをエンコード処理する（ステップＳ１１０）。そして、Ｉ／Ｆ２０５を制御して、エンコード処理済の初回画像データおよびＲＡＷデータ群を一つのファイルとして出力する（ステップＳ１１１）。なお、データの出力先は、例えば記録メディア２０６や図示しないサーバ装置などである。また、圧縮伸長部２１２によってロスレス圧縮を施したＲＡＷデータ群を出力してもよい。   Next, the CPU 201 controls the compression / decompression unit 212 to encode the initial image data (step S110). Then, the I / F 205 is controlled to output the encoded initial image data and RAW data group as one file (step S111). The data output destination is, for example, the recording medium 206 or a server device (not shown). Further, a RAW data group subjected to lossless compression by the compression / decompression unit 212 may be output.

＜ズーム倍率変更処理＞
次に、撮影後の画像のズーム倍率の変更を行う処理（以下、倍率変更処理）を説明する。図５は、倍率変更処理の一例を示すフローチャートである。なお、図５に示す処理は、例えばＲＯＭ２０３に格納されたプログラムをＣＰＵ２０１が読み出して実行することによって実現される。また、倍率変更処理は、通常、操作部１６４を介したユーザ指示により開始されるが、撮影後、自動的に開始されてもよい。 <Zoom magnification change processing>
Next, processing for changing the zoom magnification of an image after photographing (hereinafter, magnification changing processing) will be described. FIG. 5 is a flowchart illustrating an example of the magnification changing process. Note that the processing illustrated in FIG. 5 is realized by the CPU 201 reading and executing a program stored in the ROM 203, for example. The magnification changing process is normally started by a user instruction via the operation unit 164, but may be automatically started after shooting.

ＣＰＵ２０１は、倍率変更処理が指示されると（ステップＳ５０１）、ユーザが指示する画像データおよび対応するＲＡＷデータ群を例えば記録メディア２０６から取得する（ステップＳ５０２）。そして、圧縮伸長部２１２を制御して画像データを（必要ならばＲＡＷデータ群も）デコード処理し、デコードした画像データとＲＡＷデータ群をＲＡＭ２０２の所定領域に格納する（ステップＳ５０３）。   When the magnification change process is instructed (step S501), the CPU 201 acquires image data instructed by the user and a corresponding RAW data group from, for example, the recording medium 206 (step S502). Then, the compression / decompression unit 212 is controlled to decode the image data (and a RAW data group if necessary), and the decoded image data and the RAW data group are stored in a predetermined area of the RAM 202 (step S503).

なお、ステップＳ５０２で取得するデータは、撮像装置１００によって撮影された撮像データや生成された画像データである必要はなく、他の撮像装置や他の画像処理装置によって例えば記録メディア２０６に格納されたデータでもよい。ただし、その場合には、取得するＲＡＷデータに関連する撮像パラメータおよびカメラ設計パラメータを別途取得する必要がある。   Note that the data acquired in step S502 does not have to be image data captured by the image capturing apparatus 100 or generated image data, and is stored in, for example, the recording medium 206 by another image capturing apparatus or another image processing apparatus. Data may be used. However, in that case, it is necessary to separately acquire imaging parameters and camera design parameters related to the RAW data to be acquired.

次に、ＣＰＵ２０１は、ＲＡＷデータ群から撮像パラメータとカメラ設計パラメータとを、画像データから画像生成パラメータを読み込む（ステップＳ５０４）。そして、画像生成パラメータ生成部２１１から画像生成パラメータの変更が可能な範囲を取得する（Ｓ５０５）。なお、この画像生成パラメータには、撮影後の画像のズーム倍率が含まれている。   Next, the CPU 201 reads imaging parameters and camera design parameters from the RAW data group, and image generation parameters from the image data (step S504). Then, a range in which the image generation parameter can be changed is acquired from the image generation parameter generation unit 211 (S505). This image generation parameter includes the zoom magnification of the image after shooting.

次に、ＣＰＵ２０１は、ＣＧ生成部２０７、表示制御部２０４を制御して、画像データが表す画像を表示し、変更が可能な範囲で画像生成パラメータを変更するためのグラフィカルユーザインタフェイス（ＧＵＩ）をモニタ２１３に表示する（ステップＳ５０６）。ユーザは、モニタ２１３に表示される画像を参照して、所望する画像が得られている場合は例えばＧＵＩの決定ボタンを押し、画像生成パラメータを変更する場合はＧＵＩを操作して例えばＧＵＩの変更ボタンを押す。   Next, the CPU 201 controls the CG generation unit 207 and the display control unit 204 to display an image represented by the image data, and to change an image generation parameter within a changeable range, a graphical user interface (GUI). Is displayed on the monitor 213 (step S506). The user refers to the image displayed on the monitor 213, and if a desired image is obtained, for example, presses the determination button of the GUI, and operates the GUI to change the image generation parameter, for example, changes the GUI. I press the button.

ＣＰＵ２０１は、ユーザ操作が決定ボタンの押下動作であるか、又はズーム倍率変更ボタンの押下動作であるかを判定する（ステップＳ５０７）。決定ボタンが押された場合はユーザが所望する画像データが撮像されたと判断して倍率変更処理を終了する。   The CPU 201 determines whether the user operation is a pressing operation of the determination button or a pressing operation of the zoom magnification change button (step S507). If the determination button is pressed, it is determined that the image data desired by the user has been captured, and the magnification change process is terminated.

ズーム倍率変更ボタンが押された場合、ＣＰＵ２０１はデジタル信号処理部２０８を制御して、ユーザがＧＵＩを介して指定する画像生成パラメータによってＲＡＷデータ群を現像処理した画像データ（以下、再現像画像データ）を生成させる（ステップＳ５０８）。そして、処理をステップＳ５０６に戻して、再現像画像データが表す画像をＧＵＩに表示する。   When the zoom magnification change button is pressed, the CPU 201 controls the digital signal processing unit 208 to develop image data (hereinafter referred to as re-developed image data) that has been subjected to the development processing of the RAW data group by the image generation parameter designated by the user via the GUI. ) Is generated (step S508). Then, the process returns to step S506, and the image represented by the redevelopment image data is displayed on the GUI.

ＣＰＵ２０１は、ステップＳ５０７の判定により倍率変更処理後に決定ボタンが押されたか判断する（ステップＳ５０９）。ステップＳ５０９で倍率変更処理後に決定ボタンが押されたと判断すると、初回画像データを出力する場合と同様の処理により再現像画像データを出力する（ステップＳ５１０）。そして、倍率変更処理を終了する。   The CPU 201 determines whether or not the determination button has been pressed after the magnification change process according to the determination in step S507 (step S509). If it is determined in step S509 that the enter button has been pressed after the magnification change process, the re-developed image data is output by the same process as when the initial image data is output (step S510). Then, the magnification change process ends.

＜画像処理＞
デジタル信号処理部２０８の現像処理のうち、複数のＲＡＷデータを合成する処理（以下、画像合成処理）を簡単に説明する。本実施例における画像合成処理では、複数視点画像から被写界深度の浅い画像を生成する合成開口法と電子ズームとを組み合わせる事により、この画像合成処理によって被写界深度を制御しつつ、ズーム倍率を変更する。 <Image processing>
Of the development processing of the digital signal processing unit 208, processing for synthesizing a plurality of RAW data (hereinafter, image synthesis processing) will be briefly described. In the image composition processing in the present embodiment, the combination of the synthetic aperture method for generating an image with a shallow depth of field from a plurality of viewpoint images and the electronic zoom, the zoom while controlling the depth of field by this image composition processing. Change the magnification.

図１に示すように、撮像部１０１−１６１の位置はそれぞれ異なり、撮像部１０１−１６１が出力するＲＡＷデータ群は所謂複数視点画像を構成する。デジタル信号処理部２０８は、ＲＡＷデータ群の撮像データを取得する（撮像データ取得処理）。そしてデジタル信号処理部２０８は、個々の画像データに必要に応じてフィルタ処理を施し、さらにフォーカスを合わせたい距離（以下、フォーカス距離）に位置合わせをした上で画像データを足し合わせ、被写界深度が浅い合成画像を生成する。被写界深度の調節は、一般にはフィルタ処理に使用するフィルタを変更するか、合成に用いる画像数を変更するなどして行う事ができる。また、画像の位置合わせに必要な位置ずれ量は、各撮像部の位置や向きなどのカメラ設計パラメータと、フォーカス距離などの画像生成パラメータとから算出可能である。   As illustrated in FIG. 1, the positions of the imaging units 101 to 161 are different from each other, and the RAW data group output from the imaging units 101 to 161 forms a so-called multiple viewpoint image. The digital signal processing unit 208 acquires imaging data of the RAW data group (imaging data acquisition process). Then, the digital signal processing unit 208 performs filtering processing on the individual image data as necessary, and further aligns the image data with a distance to be focused (hereinafter referred to as a focus distance), and adds the image data to obtain the object field. A composite image with a shallow depth is generated. In general, the depth of field can be adjusted by changing a filter used for filter processing or changing the number of images used for composition. In addition, the amount of misalignment necessary for image alignment can be calculated from camera design parameters such as the position and orientation of each imaging unit and image generation parameters such as the focus distance.

ズーム倍率の変更は、使用する撮像部の切り替えと、一般的な電子ズームの手法を組み合わせて用いればよい。つまり、ズーム倍率に応じて適切な画角を持つ撮像部を選び、さらに電子ズームの処理を行うことでほぼ連続的にズーム倍率の変更を実現する。一般的な電子ズームの処理では、画像にフィルタ処理を行いながら所望の領域で画素のリサンプリングを行い、所望のズーム倍率の画像を得る。合成に用いる画像は出力すべきズーム倍率に対応した画角よりも広い画角を持つ画像の内、最も狭い画角を有する複数の画像を用いるとよい。   The zoom magnification can be changed by combining switching of the imaging unit to be used and a general electronic zoom method. That is, the zoom magnification can be changed almost continuously by selecting an imaging unit having an appropriate angle of view according to the zoom magnification and further performing electronic zoom processing. In general electronic zoom processing, pixel resampling is performed in a desired region while filtering the image to obtain an image with a desired zoom magnification. As an image used for composition, it is preferable to use a plurality of images having the narrowest angle of view among images having an angle of view wider than the angle of view corresponding to the zoom magnification to be output.

開口合成処理と電子ズーム処理のうち、開口合成処理を先に行うと、電子ズーム処理は一度で済むため効率的である。ただし、ズーム倍率が大きいと、出力に必要のない領域の画像に対しても開口合成処理を行う事になり、効率が悪くなってくる。この場合は、逆に電子ズーム処理を先に行う方が好ましい。電子ズーム処理を行う場合、画像の位置合わせを考慮しつつ画像のリサンプリング処理を行うとよい。これにより、位置合わせがなされ、所望の画角で所望の画素数を持つ画像群が生成される。開口合成処理では、これらの画像にさらにフィルタリング処理を行った上で足し合わせればよい。   Of the aperture synthesis process and the electronic zoom process, if the aperture synthesis process is performed first, the electronic zoom process only needs to be performed once, which is efficient. However, if the zoom magnification is large, the aperture synthesis process is performed even on an image in an area that is not necessary for output, and the efficiency becomes worse. In this case, it is preferable to perform the electronic zoom process first. When electronic zoom processing is performed, image resampling processing may be performed in consideration of image alignment. Thereby, alignment is performed and an image group having a desired number of pixels at a desired angle of view is generated. In the aperture synthesis processing, these images may be added after further filtering processing.

以上説明した実施例１の構成によれば、画角毎の光を受ける量を概略一致させる事ができる。このため、画角が異なる画像間において、明るさ、ノイズおよび露光時間を同時に合わせる事が可能となる。これにより、ユーザは明るさ、ノイズおよび露光時間の大きな変動なしに、撮影後の画像データに対するズームの変更を行う事ができる。   According to the configuration of the first embodiment described above, the amount of light received at each angle of view can be approximately matched. For this reason, it is possible to simultaneously adjust brightness, noise, and exposure time between images having different angles of view. Thereby, the user can change the zoom with respect to the image data after shooting without significant changes in brightness, noise, and exposure time.

［実施例２］
実施例１では、各撮像部の入射瞳の大きさが全て概略一致する場合の構成について説明した。本実施例においては各撮像部の入射瞳の大きさが各々異なる場合の構成について説明する。なお、実施例１と共通である部分については説明を省略する。 [Example 2]
In the first embodiment, the configuration in the case where the sizes of the entrance pupils of the respective imaging units are almost the same has been described. In the present embodiment, a configuration when the sizes of the entrance pupils of the respective imaging units are different will be described. Note that description of portions common to the first embodiment is omitted.

＜撮像装置の構成＞
図６は、実施例２の撮像装置６００の外観例を示す。撮像装置６００は、前面（被写体側）に１６個の撮像部６０１−６１６を有する所謂多眼カメラである。撮像装置６００はフラッシュ１６２と撮影ボタン１６３を備える。また、図６には示さないが、撮像装置６００は、その背面に操作部や表示部などを有する。以下本実施例では撮像部を１６個有する場合の説明を行うが、撮像部の数は１６個に限られるわけではなく、二つ以上であればよい。実施例２では、撮像部の入射瞳の大きさを調整する例を示しているので、画角が異なる２種類の撮像部を少なくとも用いて実現することができる。その他の構成は、実施例１と同様である。 <Configuration of imaging device>
FIG. 6 illustrates an appearance example of the imaging apparatus 600 according to the second embodiment. The imaging apparatus 600 is a so-called multi-lens camera having 16 imaging units 601-616 on the front surface (subject side). The imaging device 600 includes a flash 162 and a shooting button 163. Although not shown in FIG. 6, the imaging apparatus 600 includes an operation unit, a display unit, and the like on the back surface. Hereinafter, in the present embodiment, a case where 16 imaging units are provided will be described. However, the number of imaging units is not limited to 16, and may be two or more. In the second embodiment, an example in which the size of the entrance pupil of the imaging unit is adjusted is shown. Therefore, it can be realized using at least two types of imaging units having different angles of view. Other configurations are the same as those of the first embodiment.

＜撮像部の構成とその組み合わせ＞
実施例１と同様に、本実施例においても撮像部の画角は全て同じではない。例えば図６に示した１６眼の多眼カメラの例においては、撮像部６０１−６１６の画角は四種類存在し、撮像部６０１−６０４、撮像部６０５−６０８、撮像部６０９−６１２、撮像部６１３−６１６がそれぞれ同じ画角を持っている。実施例１では撮像部１０１−１６１の有する光学系の入射瞳の大きさは概略等しく設計されている例を説明したが、本実施例では、撮像部６０１−６１６の有する光学系の入射瞳の大きさは異なる場合の例を説明する。 <Configuration of imaging unit and its combination>
Similar to the first embodiment, not all the angles of view of the imaging units are the same in this embodiment. For example, in the example of the 16-lens multi-lens camera shown in FIG. 6, there are four types of angles of view of the imaging units 601-616, the imaging units 601-604, the imaging units 605-608, the imaging units 609-612, and the imaging. The parts 613-616 have the same angle of view. In the first embodiment, an example in which the sizes of the entrance pupils of the optical systems included in the imaging units 101-161 are designed to be approximately equal has been described. However, in this embodiment, the entrance pupils of the optical systems included in the imaging units 601-616 are described. An example where the sizes are different will be described.

実施例２においても、画角が異なる画像間において、明るさ、ノイズ及び露光時間を同時に合わせるために、撮像部６０１−６１６の構成は画角毎の合計の集光能力が概略同じとなるように構成されている。具体的には、jを画角のインデックスとし、画角毎に以下の式で計算される評価値Ejに対し、それらが概略等しくなるように構成されている。
Ej ＝ Σ( Si×τi×Ωj )
ここで、Σは画角jを持つ撮像部で和を取ることを意味する。また、Siはi番目の撮像部の有する光学系の入射瞳の面積である。入射瞳の面積は、光学系の設計データ（設計パラメータ）から計算する事ができる。また、τiは、i番目の撮像部の光のエネルギー受光効率である。τiは直接測定される事が好ましいが、撮像部の有するレンズ群およびカラーフィルタの透過率、撮像センサの受光効率から計算する事もできる。Ωjは画角jの撮像部が撮像する領域の立体角であり、実施例１と同様である。 Also in the second embodiment, in order to adjust the brightness, noise, and exposure time at the same time between images with different angle of view, the configuration of the imaging units 601-616 is approximately the same as the total light collection capability for each angle of view. It is configured. Specifically, j is an index of the angle of view, and the evaluation value Ej calculated by the following formula for each angle of view is configured to be approximately equal.
Ej = Σ (Si × τi × Ωj)
Here, Σ means that the sum is taken by the imaging unit having the angle of view j. Si is the area of the entrance pupil of the optical system of the i-th imaging unit. The area of the entrance pupil can be calculated from design data (design parameters) of the optical system. Further, τ i is the energy reception efficiency of light of the i-th imaging unit. τi is preferably measured directly, but can also be calculated from the transmittance of the lens group and color filter of the imaging unit and the light receiving efficiency of the imaging sensor. Ωj is the solid angle of the area imaged by the imaging unit with the angle of view j, which is the same as in the first embodiment.

図６に示した例では４種類の画角があるため、評価値Ejも４種類計算される。実施例２の評価値Ejも、画角jを持つ複数の撮像部が単位時間当たりに受ける光のエネルギーの合計に比例する量である。このためEjが画角jによらず等しい場合には、実施例１と同様、ノイズの主な原因であるショットノイズのパワーがほぼ等しくなる。   In the example shown in FIG. 6, since there are four types of angles of view, four types of evaluation values Ej are also calculated. The evaluation value Ej of the second embodiment is also an amount proportional to the total light energy received per unit time by the plurality of imaging units having the angle of view j. For this reason, when Ej is equal regardless of the angle of view j, the power of the shot noise, which is the main cause of noise, is almost equal, as in the first embodiment.

実施例１と同様に、各撮像部は評価値Ejが可能な限り等しくなるように構成される事が望ましいが、評価値Ejを完全に一致させる事は難しい。本実施例においても実施例１と同様のEjの比の許容量を設定することができる。   As in the first embodiment, each imaging unit is preferably configured so that the evaluation values Ej are as equal as possible, but it is difficult to make the evaluation values Ej completely coincide. Also in the present embodiment, the allowable amount of the ratio of Ej similar to that in the first embodiment can be set.

なお、撮像部iの入射瞳面積Siは、撮像部の絞り値に応じて変化する。このため、ユーザの指示あるいはオートエクスポージャー機能により、撮像部の絞り値が変化した場合には評価値Ejも変化する。よく晴れた日中などの非常に明るいシーンでの撮影では、ゲインの調整のみではセンサの飽和を防ぐ事ができず、絞る事でしかセンサの飽和を防げない場合もある。このようなシーンにおいても課題を解決するために、ある撮像部の設定が変えられた場合には、評価値Ejが概略一致するように他の撮像部の設定も連動して変える方が好ましい。詳細は後述するが、本実施例ではある撮像部の絞り設定値を変化させた場合に、評価値Ejが概略一致するように他の撮像部の絞り設定値を、光学系制御方法生成部209にて算出する。   Note that the entrance pupil area Si of the imaging unit i changes according to the aperture value of the imaging unit. For this reason, the evaluation value Ej also changes when the aperture value of the imaging unit changes due to a user instruction or an auto exposure function. When shooting in a very bright scene such as a sunny day, the saturation of the sensor cannot be prevented only by adjusting the gain, and the saturation of the sensor may be prevented only by narrowing down. In order to solve the problem even in such a scene, when the setting of a certain image pickup unit is changed, it is preferable to change the settings of other image pickup units in conjunction with each other so that the evaluation values Ej substantially match. Although details will be described later, in this embodiment, when the aperture setting value of an imaging unit is changed, the aperture setting values of the other imaging units are set to the optical system control method generation unit 209 so that the evaluation values Ej substantially match. Calculate with

＜撮像部の設定変更時の動作＞
図７のフローチャートにより撮像動作の一例を説明する。なお、図７に示す処理は、例えばＲＯＭ２０３に格納されたプログラムをＣＰＵ２０１が読み出して実行することによって実現される。ユーザが操作部１６４や撮影ボタン１６３を操作すると撮像動作が開始される。ＣＰＵ２０１は、操作部１６４や撮影ボタン１６３を介してユーザ指示を受け取り、ユーザの操作が撮像光学系の設定変更であるか否かを判定する（ステップＳ７０１）。 <Operation when changing the setting of the imaging unit>
An example of the imaging operation will be described with reference to the flowchart of FIG. Note that the processing shown in FIG. 7 is realized by the CPU 201 reading and executing a program stored in the ROM 203, for example. When the user operates the operation unit 164 or the shooting button 163, the imaging operation is started. The CPU 201 receives a user instruction via the operation unit 164 or the shooting button 163, and determines whether or not the user operation is a setting change of the imaging optical system (step S701).

ユーザが操作部１６４を操作してフォーカス及び絞りなどの撮像光学系の設定を変更した場合、ＣＰＵ２０１は、光学系制御方法生成部２０９から各撮像部の有する光学系の制御方法を取得する（ステップＳ７０２）。   When the user operates the operation unit 164 to change the settings of the imaging optical system such as the focus and the diaphragm, the CPU 201 acquires the optical system control method of each imaging unit from the optical system control method generation unit 209 (Step S1). S702).

ステップＳ７０２においては、ユーザの操作が、全ての撮像部でフォーカスを一致させて撮影するモードの場合には全ての撮像部のフォーカスをユーザの指示した値とする。また、撮像部毎に異なるフォーカスで撮影する場合には、ユーザが指示した撮像部のみを指示されたフォーカス値に設定する。光学系制御方法生成部２０９は絞りについても同様の動作を行う。このとき、光学系制御方法生成部２０９は、第１の画角kの評価値Ekが第２の画角ｊの評価値Ejと概略一致するように、その他の撮像部の絞り値を算出する。例えば、全ての撮像部で絞りを一致させて撮影するモードの場合には、ユーザが絞り値を２０％大きくした場合、その他の全ての撮像部の絞り値も２０％大きくすると、評価値Ejは互いに概略一致する。一方、撮像部毎に異なる絞り値で撮影する場合には、ユーザが指示した撮像部のみを指示された絞り値に設定する。そして、他の撮像部については、他の画角kの評価値Ekがユーザが指示した撮像部の画角の評価値Ejと概略一致するように、その他の撮像部の絞り値を算出する。   In step S <b> 702, when the user's operation is a mode in which shooting is performed with all the imaging units having the same focus, the focus of all the imaging units is set to a value designated by the user. When shooting with a different focus for each imaging unit, only the imaging unit designated by the user is set to the designated focus value. The optical system control method generation unit 209 performs the same operation for the diaphragm. At this time, the optical system control method generation unit 209 calculates the aperture values of the other imaging units so that the evaluation value Ek of the first field angle k substantially matches the evaluation value Ej of the second field angle j. . For example, in a mode in which all the imaging units shoot with the same aperture, if the user increases the aperture value by 20%, and the aperture values of all other imaging units are also increased by 20%, the evaluation value Ej is They roughly match each other. On the other hand, when shooting with different aperture values for each imaging unit, only the imaging unit designated by the user is set to the designated aperture value. For the other imaging units, the aperture values of the other imaging units are calculated so that the evaluation value Ek of the other field angle k substantially matches the evaluation value Ej of the field angle of the imaging unit designated by the user.

また、絞りではなくフォーカスを変更しても入射瞳面積Siが変更されるような光学系の場合は、やはり他の画角kの評価値Ekが評価値Ejと一致するように絞り値とフォーカスを算出する。   In addition, in the case of an optical system in which the entrance pupil area Si is changed even if the focus is changed instead of the aperture, the aperture value and the focus are set so that the evaluation value Ek of the other angle of view k coincides with the evaluation value Ej. Is calculated.

ＣＰＵ２０１は、この算出された絞り値やフォーカスに基づいて光学系制御部２１０を制御し、撮像部１０１−１６１の各レンズ群や絞りの状態を変更する（ステップＳ７０３）。光学系制御部２１０は、撮像部１０１−１６１の各レンズ群や絞りの状態を示す撮像パラメータをＣＰＵ２０１に送信、ＣＰＵ２０１は受信した撮像パラメータをＲＡＭ２０２の所定領域に格納する（ステップＳ７０４）。   The CPU 201 controls the optical system control unit 210 based on the calculated aperture value and focus, and changes the lens groups and aperture states of the imaging units 101-161 (step S703). The optical system control unit 210 transmits imaging parameters indicating the lens groups and diaphragm states of the imaging units 101-161 to the CPU 201, and the CPU 201 stores the received imaging parameters in a predetermined area of the RAM 202 (step S704).

なお、ユーザが撮影ボタン１６３を半分程度押し下げた時、ユーザによる設定に基づいて、フォーカスを自動的に合わせるオートフォーカスや絞りを自動的に合わせて露光量を調節するオートエクスポージャーが行われる。この操作により撮像部のフォーカスや絞りが自動的に変更されるから、これも撮像光学系の変更動作の一つであり、ステップＳ９０２からステップＳ９０４の動作が行われる。   Note that when the user depresses the shooting button 163 by about half, autofocus for automatically adjusting the focus and auto exposure for automatically adjusting the aperture based on the setting by the user are performed. This operation automatically changes the focus and the aperture of the imaging unit, and this is also one of the changing operations of the imaging optical system, and the operations from step S902 to step S904 are performed.

図８は、図７のフローチャートのステップＳ７０２からステップＳ７０４で説明した撮像パラメータを算出するデータの流れの例を示している。光学系制御方法生成部２０９は、評価値算出部８０３と撮像パラメータ算出部８０４とを有している。設計パラメータ格納部８０１及び撮像パラメータ格納部８０２は、例えばＲＡＭ２０２で構成される。評価値算出部８０３は、設計パラメータ格納部８０１から画角の値を含む各撮像部の設計パラメータを取得する（設計パラメータ取得処理）。また、評価値算出部８０３は、撮像パラメータ格納部８０２から絞り又はフォーカスの値を含む各撮像部の撮像パラメータを取得する（撮像パラメータ取得処理）。撮像パラメータ格納部８０２から取得される撮像パラメータは、ユーザ操作によって変更された撮像パラメータを含む。評価値算出部８０３は、取得した設計パラメータ及び撮像パラメータを用いて画角毎の評価値Ｅjを算出する。撮像パラメータ算出部８０４は、算出された評価値Ｅjを取得して絞り又はフォーカスの値を含む撮像パラメータを算出する。つまり、前述したように、撮像パラメータ算出部８０４は、画角毎の評価値Ｅjが等しくなるように所定の画角の撮像部の絞り又はフォーカスの値を算出する。そして、撮像パラメータ算出部８０４は、算出した撮像パラメータを撮像パラメータ格納部８０２に格納する。その後、ユーザ指定された絞り又はフォーカスの値が設定された撮像部と、撮像パラメータ算出部によって算出された絞り又はフォーカスの値が設定された撮像部とによる撮像が行われることになる。 FIG. 8 shows an example of a data flow for calculating the imaging parameters described in steps S702 to S704 in the flowchart of FIG. The optical system control method generation unit 209 includes an evaluation value calculation unit 803 and an imaging parameter calculation unit 804. The design parameter storage unit 801 and the imaging parameter storage unit 802 are configured by the RAM 202, for example. The evaluation value calculation unit 803 acquires the design parameters of each imaging unit including the field angle value from the design parameter storage unit 801 (design parameter acquisition processing). Further, the evaluation value calculation unit 803 acquires the imaging parameters of each imaging unit including the aperture or focus value from the imaging parameter storage unit 802 (imaging parameter acquisition process). The imaging parameters acquired from the imaging parameter storage unit 802 include imaging parameters that have been changed by user operations. The evaluation value calculation unit 803 calculates an evaluation value E j for each angle of view using the acquired design parameter and imaging parameter. The imaging parameter calculation unit 804 acquires the calculated evaluation value E j and calculates imaging parameters including a diaphragm or focus value. That is, as described above, the imaging parameter calculation unit 804 calculates the aperture or focus value of the imaging unit with a predetermined angle of view so that the evaluation values E j for each angle of view are equal. Then, the imaging parameter calculation unit 804 stores the calculated imaging parameters in the imaging parameter storage unit 802. Thereafter, imaging is performed by the imaging unit in which the user-specified aperture or focus value is set and the imaging unit in which the aperture or focus value calculated by the imaging parameter calculation unit is set.

＜撮像動作、ズーム倍率変更処理、及び画像処理＞
本実施例の撮像動作、ズーム倍率変更処理、及び画像処理については実施例１と同等であるため、説明を省略する。 <Imaging Operation, Zoom Magnification Change Processing, and Image Processing>
Since the imaging operation, zoom magnification change processing, and image processing of the present embodiment are the same as those of the first embodiment, description thereof is omitted.

以上の実施例２の構成により画角毎の光を受ける量を概略一致させる事ができる。実施例２では、入射瞳の大きさが撮像部間で異なっている場合であっても画角毎の光を受ける量を概略一致させることができる。また、ユーザ操作によって絞り値が調整された場合であっても、他の撮像部の絞り値を調整して画角毎の光を受ける量を概略一致させることができる。   With the configuration of the second embodiment described above, the amount of light received at each angle of view can be roughly matched. In the second embodiment, even when the sizes of the entrance pupils are different between the imaging units, the amount of light received at each angle of view can be approximately matched. Even when the aperture value is adjusted by a user operation, the aperture values of other imaging units can be adjusted to roughly match the amounts of light received at each angle of view.

［実施例３］
実施例１および実施例２では、各撮像部の画角の種類が２つ以上あり、各画角につき１つ以上の撮像部があり、画像合成時は同じ画角を持つ複数の撮像データを用いる場合の例について述べた。本実施例３では、画像合成時に異なる画角を持つ複数の撮像データを用いる場合の構成について述べる。 [Example 3]
In the first and second embodiments, there are two or more types of angle of view of each imaging unit, and there are one or more imaging units for each angle of view. An example of use is described. In the third embodiment, a configuration in the case of using a plurality of image data having different angles of view at the time of image composition will be described.

＜撮像装置の構成＞
図９は、実施例３におけるの撮像装置９００の外観例を示す図である。撮像装置９００は、前面（被写体側）に１８個の撮像部９０１−９１８を有する所謂多眼カメラである。撮像装置９００はフラッシュ１６２と撮影ボタン１６３を備える。実施例１および２と同様、撮像装置９００は、その背面に操作部や表示部などを有する。以下本実施例では撮像部を１８個有する場合の説明を行うが、撮像部の数は１８個に限られるわけではなく、二つ以上であればよい。その他の構成は、実施例１と同様である。 <Configuration of imaging device>
FIG. 9 is a diagram illustrating an appearance example of the imaging apparatus 900 according to the third embodiment. The imaging device 900 is a so-called multi-lens camera having 18 imaging units 901-918 on the front surface (subject side). The imaging apparatus 900 includes a flash 162 and a shooting button 163. Similar to the first and second embodiments, the imaging apparatus 900 includes an operation unit, a display unit, and the like on the back surface thereof. Hereinafter, in this embodiment, a case where there are 18 imaging units will be described. However, the number of imaging units is not limited to 18 and may be two or more. Other configurations are the same as those of the first embodiment.

＜撮像部の構成とその組み合わせ＞
実施例１と同様に、本実施例においても撮像部の画角は全て同じではない。例えば図９に示した１８眼の多眼カメラの画角は図１０の撮像部画角欄に示すように異なっている。また、実施例２と同様、本実施例では、撮像部９０１−９１８の有する光学系の入射瞳の大きさは異なるものとする。 <Configuration of imaging unit and its combination>
Similar to the first embodiment, not all the angles of view of the imaging units are the same in this embodiment. For example, the angle of view of the 18-lens multi-lens camera shown in FIG. 9 is different as shown in the imaging section angle of view column of FIG. Similarly to the second embodiment, in this embodiment, the size of the entrance pupil of the optical system included in the imaging units 901-918 is different.

本実施例では、撮像部９０１−９１８の構成は以下の式で計算される評価値G(f)に対し、それらが概略等しくなるように設計されている。
G(f) ＝ Σ( Si×τi×Ωi ) In the present embodiment, the configuration of the imaging units 901-918 is designed so that they are approximately equal to the evaluation value G (f) calculated by the following equation.
G (f) = Σ (Si × τi × Ωi)

ここで、Si,τi,Ωiは、それぞれi番目の撮像部の入射瞳面積、光のエネルギー受光効率、立体角であり、実施例２と同様である。また、fは合成後の画像データの持つ画角（以下出力画像画角）に対応する３５ｍｍ版換算の焦点距離である。またΣは、実施例２では画角jを持つ撮像部についての和を表したが、本実施例では出力画像画角の画像を合成する際に用いる撮像部について和を取る。すなわち、本実施例においては、撮像部の画角ではなく出力画像画角の明るさを概略同一にする評価値を出力画像画角毎に算出する。図１０に、出力画像画角と使用する撮像部の関係の例を示す。本実施例ではある出力画像画角の画像を合成する際に、図１０の当該出力画像画角欄に対し網掛けがなされている撮像部を選択して用いる。例えば、出力画像画角が３０ｍｍの場合には、撮像部番号４〜７で特定される撮像部９０４〜９０７で撮像された撮像データ群を用いることになる。図１０に示すように、出力画像画角が狭くなる（すなわち、焦点距離が長くなる）につれ、徐々に狭い画角を有する撮像部に切り換えている。本実施例では、例えば撮像部番号１〜４で特定される第１の撮像データ群と、撮像部番号４〜７で特定される第２の撮像データ群との集光能力を概略一致させる。   Here, Si, τi, and Ωi are the entrance pupil area, light energy receiving efficiency, and solid angle of the i-th imaging unit, respectively, and are the same as in the second embodiment. Further, f is a focal length in terms of 35 mm plate corresponding to the angle of view (hereinafter referred to as output image angle of view) of the combined image data. In addition, Σ represents the sum for the imaging unit having the angle of view j in the second embodiment, but in this embodiment, the sum is obtained for the imaging unit used when the image of the output image angle of view is synthesized. In other words, in the present embodiment, an evaluation value that makes the brightness of the output image angle of view, not the angle of view of the imaging unit approximately the same, is calculated for each output image angle of view. FIG. 10 shows an example of the relationship between the output image angle of view and the imaging unit to be used. In this embodiment, when compositing an image having a certain output image angle of view, an image pickup unit shaded with respect to the output image angle of view column in FIG. 10 is selected and used. For example, when the output image angle of view is 30 mm, the imaging data group captured by the imaging units 904 to 907 specified by the imaging unit numbers 4 to 7 is used. As shown in FIG. 10, as the output image angle of view becomes narrower (that is, the focal length becomes longer), the image pickup unit gradually switches to an imaging unit having a narrower angle of view. In the present embodiment, for example, the light collection capabilities of the first imaging data group specified by the imaging unit numbers 1 to 4 and the second imaging data group specified by the imaging unit numbers 4 to 7 are approximately matched.

評価値G(f)は、少なくとも使用する撮像部の組み合わせの種類の数だけ計算される。評価値G(f)も、複数の撮像部が単位時間当たりに受ける光のエネルギーの合計に比例する量である。このためG(f)が出力画像画角によらず等しい場合には、実施例１と同様、ノイズの主な原因であるショットノイズのパワーがほぼ等しくなる。   The evaluation value G (f) is calculated by at least the number of types of combinations of imaging units to be used. The evaluation value G (f) is also an amount proportional to the total energy of light received by a plurality of imaging units per unit time. For this reason, when G (f) is equal regardless of the output image angle of view, the power of the shot noise, which is the main cause of noise, is substantially equal, as in the first embodiment.

評価値G(f)を概略一致させるための撮像部の設計方法について述べる。まず、各撮像部の画角すなわち立体角Ωiは、出力画像画角などの他の要件から与えられているとする。また、実施例１で説明したように立体角Ωiを算出してもよい。また、τiも実施例２で説明したように、各撮像部で使用する光学ガラスやカラーフィルタの特性、撮像センサの特性によりすでに決まっているものとする。ここで評価値G(f)を概略一致させるために調整可能な項目は、入射瞳面積Siである。この入射瞳面積Siは、画角が広い順に決定することができる。図９では、使用する撮像部の組み合わせが出力画像画角に合わせて１４通りある。これを出力画像画角の広い方から順番に、１，２，．．，１４と番号をつけ、それぞれに対応した評価値をG(1), G(2),..,G(14)と表記する。最も広い出力画像画角を有する画像の合成には、１番目から４番目までの撮像部を使用するため、評価値G(1)は以下の式の様になる。
G(1) = S1τ1Ω1 + S2τ2Ω2 + S3τ3Ω3 + S4τ4Ω4
同様に、評価値G(2)は、２番目から５番目までの撮像部を使用する事から、
G(2) = S2τ2Ω2 + S3τ3Ω3 + S4τ4Ω4 + S5τ5Ω5
となる。この式の元で、G(1)とG(2)を概略等しくするには、
S1τ1Ω1 = S5τ5Ω5
としなければならない。ここで、τ1、τ5、Ω1、Ω5はすでに与えられているから、５番目の撮像部の入射瞳面積S5は1番目の撮像部の入射瞳面積S1によって決まってしまう。同様に、６番目の入射瞳面積S6は２番目の撮像部の入射瞳面積S2によって決まってしまう。さらには入射瞳面積S7は入射瞳面積S3で決まり、入射瞳面積S8は入射瞳面積S4で決まる。入射瞳面積S9は入射瞳面積S4で決まり、しかるにS1によって決まってしまう。以下、図９に示した例では入射瞳径S16までは同様に決まってしまう。そして、１３番目の評価値G(13)と14番目の評価値G(14)は以下のようになる。
G(13) = S13τ13Ω13 + S14τ14Ω14 + S15τ15Ω15 + S16τ16Ω16
G(14) = S14τ14Ω14 + S15τ15Ω15 + S16τ16Ω16 + S17τ17Ω17 + S18τ18Ω18
ここで、G(13)とG(14)が概略等しいため
S13τ13Ω13 = S17τ17Ω17 + S18τ18Ω18
という式が得られる。この場合、入射瞳面積S17と入射瞳面積S18には自由度が１つだけあり、どちらか一方は自由に決める事ができる。通常は、入射瞳面積S17と入射瞳面積S18は等しくおけばよい。なお、１４番目の出力画像画角では、新たに使用する撮像部が１７番目の撮像部と１８番目の撮像部の２台あるために、このような自由度が発生している事に注意しておく。逆に新たに使用する撮像部の台数が増えない場合では、このような自由度は発生しない。 A design method of the imaging unit for roughly matching the evaluation value G (f) will be described. First, it is assumed that the angle of view of each imaging unit, that is, the solid angle Ωi is given from other requirements such as the output image angle of view. Further, as described in the first embodiment, the solid angle Ωi may be calculated. As described in the second embodiment, τi is already determined by the characteristics of the optical glass and color filter used in each imaging unit and the characteristics of the imaging sensor. Here, an item that can be adjusted to roughly match the evaluation value G (f) is the entrance pupil area Si. The entrance pupil area Si can be determined in order of increasing field angle. In FIG. 9, there are 14 combinations of imaging units to be used in accordance with the output image angle of view. In order from the wider output image angle of view, 1, 2,. . , 14 are assigned numbers, and the evaluation values corresponding to the numbers are expressed as G (1), G (2), .., G (14). Since the first to fourth imaging units are used for synthesis of an image having the widest output image angle of view, the evaluation value G (1) is expressed by the following equation.
G (1) = S1τ1Ω1 + S2τ2Ω2 + S3τ3Ω3 + S4τ4Ω4
Similarly, since the evaluation value G (2) uses the second to fifth imaging units,
G (2) = S2τ2Ω2 + S3τ3Ω3 + S4τ4Ω4 + S5τ5Ω5
It becomes. To make G (1) and G (2) approximately equal under this equation:
S1τ1Ω1 = S5τ5Ω5
And shall be. Here, since τ1, τ5, Ω1, and Ω5 are already given, the entrance pupil area S5 of the fifth imaging unit is determined by the entrance pupil area S1 of the first imaging unit. Similarly, the sixth entrance pupil area S6 is determined by the entrance pupil area S2 of the second imaging unit. Further, the entrance pupil area S7 is determined by the entrance pupil area S3, and the entrance pupil area S8 is determined by the entrance pupil area S4. The entrance pupil area S9 is determined by the entrance pupil area S4, and is determined by S1. Hereinafter, in the example shown in FIG. 9, the incident pupil diameter S16 is similarly determined. The 13th evaluation value G (13) and the 14th evaluation value G (14) are as follows.
G (13) = S13τ13Ω13 + S14τ14Ω14 + S15τ15Ω15 + S16τ16Ω16
G (14) = S14τ14Ω14 + S15τ15Ω15 + S16τ16Ω16 + S17τ17Ω17 + S18τ18Ω18
Where G (13) and G (14) are roughly equal
S13τ13Ω13 = S17τ17Ω17 + S18τ18Ω18
Is obtained. In this case, the entrance pupil area S17 and the entrance pupil area S18 have only one degree of freedom, and either one can be freely determined. Usually, the entrance pupil area S17 and the entrance pupil area S18 should be equal. Note that in the 14th output image angle of view, such a degree of freedom occurs because there are two new imaging units, the 17th imaging unit and the 18th imaging unit. Keep it. On the contrary, when the number of imaging units to be newly used does not increase, such a degree of freedom does not occur.

結局、画像の合成に用いる撮像部を1台ずつ変える限りにおいては、入射瞳面積Siは画角の広いいくつかの撮像部のみを指定すると、後は自動的に決定される。撮像部の台数を一度に２台以上増加させる場合には、増加させた台数に応じて指定できる入射瞳の個数が増える。図９に示した例ではS1, S2, S3, S4の４つの値と、S17またはS18のいずれか１つのみが自由に設定できる値である。このように制約があるものの、以上述べた手順に従って評価値G(f)が概略一致するように各撮像部を設計する事が可能である。   After all, as long as the image pickup units used for image synthesis are changed one by one, the entrance pupil area Si is automatically determined after designating only a few image pickup units having a wide angle of view. When the number of imaging units is increased by two or more at a time, the number of entrance pupils that can be specified increases according to the increased number. In the example shown in FIG. 9, four values S1, S2, S3, and S4 and only one of S17 and S18 are values that can be freely set. Although there are restrictions as described above, it is possible to design each imaging unit so that the evaluation values G (f) substantially match according to the procedure described above.

なお、図１０の例では、出力画像画角に対応する撮像部を、画角の大きさに合わせて順に採用している例を説明した。しかしながら、出力画像画角に対応する合成画像を出力可能であれば、必ずしも画角の大きさ順に使用する撮像部を選択しなくてもよい。また、本実施例では、広い出力画像画角を構成する撮像部から順に評価値を算出する例を説明したが、狭い出力画像画角を構成する撮像部から順に評価値を算出してもよい。   In the example of FIG. 10, the example in which the imaging units corresponding to the output image angle of view are sequentially employed according to the size of the angle of view has been described. However, as long as a composite image corresponding to the output image angle of view can be output, it is not necessary to select an imaging unit to be used in the order of the angle of view. Further, in this embodiment, the example in which the evaluation value is calculated in order from the imaging unit that forms the wide output image angle of view has been described, but the evaluation value may be calculated in order from the imaging unit that forms the narrow output image angle of view. .

＜撮像動作、ズーム倍率変更処理、画像処理＞
実施例３における撮像動作、ズーム倍率変更処理、及び画像処理は実施例１又は２と同等であるため、説明を省略する。 <Imaging operation, zoom magnification change processing, image processing>
Since the imaging operation, zoom magnification change processing, and image processing in the third embodiment are the same as those in the first or second embodiment, description thereof is omitted.

以上の実施例３の構成により画角毎に光を受ける量を概略一致させる事ができ、画角が異なる画像データを合成する場合においても、明るさ、ノイズ、及び露光時間を同時に合わせる事が可能となる。   With the configuration of the third embodiment described above, the amount of light received at each angle of view can be roughly matched. Even when image data with different angle of view is synthesized, the brightness, noise, and exposure time can be adjusted simultaneously. It becomes possible.

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。 (Other examples)
The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, or the like) of the system or apparatus reads the program. It is a process to be executed.

Claims (15)

同一平面上に並んだ複数の撮像部を有する撮像装置であって、
前記複数の撮像部のうち第１の画角を持つ１つ以上の撮像部の数は、前記第１の画角より広い画角を持つ１つ以上の撮像部の数より多く、かつ、
前記複数の撮像部のうち第１の画角を持つ１つ以上の撮像部が合計で受ける光の量と、前記第１の画角とは異なる第２の画角を持つ１つ以上の撮像部が合計で受ける光の量との比は、調節可能な露光時間の変化幅の範囲内であることを特徴とする撮像装置。 An imaging apparatus having a plurality of imaging units arranged on the same plane,
The number of the one or more imaging unit having a first angle of view of the plurality of imaging unit Many than the number of the one or more imaging unit having a wide angle of view than the first field angle and
One or more imaging having a total amount of light received by one or more imaging units having a first angle of view among the plurality of imaging units and a second angle of view different from the first angle of view. The ratio of the total amount of light received by the unit is within an adjustable range of change in exposure time . 前記複数の撮像部のそれぞれの開口径は、互いに概略等しいことを特徴とする請求項１に記載の撮像装置。 The imaging apparatus according to claim 1 , wherein opening diameters of the plurality of imaging units are substantially equal to each other. 同一平面上に並んだ複数の撮像部から得られた撮像データを合成して画像データを生成する生成手段を有する画像処理装置であって、
前記複数の撮像部のうち第１の画角を持つ１つ以上の撮像部の数は、前記第１の画角より広い画角を持つ１つ以上の撮像部の数より多く、かつ、
前記複数の撮像部のうち第１の画角を持つ１つ以上の撮像部から得られた撮像データに変換された光の量の合計と、前記第１の画角とは異なる第２の画角を持つ１つ以上の撮像部から得られた撮像データに変換された光の量の合計との比は、調節可能な露光時間の変化幅の範囲内であることを特徴とする画像処理装置。 An image processing apparatus having a generation means for generating image data by combining image data obtained from a plurality of image pickup units arranged on the same plane,
The number of the one or more imaging unit having a first angle of view of the plurality of imaging unit Many than the number of the one or more imaging unit having a wide angle of view than the first field angle and
A total of the amount of light converted into imaging data obtained from one or more imaging units having a first angle of view among the plurality of imaging units, and a second image different from the first angle of view An image processing apparatus characterized in that a ratio of the amount of light converted into imaging data obtained from one or more imaging units having corners is within a range of changeable exposure time . 前記複数の撮像部のそれぞれの開口径は、互いに概略等しいことを特徴とする請求項３に記載の画像処理装置。 The image processing apparatus according to claim 3 , wherein opening diameters of the plurality of imaging units are substantially equal to each other. 複数の撮像部を有する撮像装置であって、
前記複数の撮像部のうち第１の画角を持つ１つ以上の撮像部が合計で受ける光の量と、前記第１の画角とは異なる第２の画角を持つ１つ以上の撮像部が合計で受ける光の量との比は、調節可能な露光時間の変化幅の範囲内であることを特徴とする撮像装置。 An imaging apparatus having a plurality of imaging units,
One or more imaging having a total amount of light received by one or more imaging units having a first angle of view among the plurality of imaging units and a second angle of view different from the first angle of view. The ratio of the total amount of light received by the unit is within an adjustable range of change in exposure time. 光を受ける量に関連する各撮像部における撮像パラメータを取得する撮像パラメータ取得手段と、
前記取得した第１の画角を持つ撮像部における撮像パラメータを変更することで、前記第１の画角を持つ撮像部が合計で受ける光の量と、前記第２の画角を持つ撮像部が合計で受ける光の量との比が、調節可能な露光時間の変化幅の範囲内になるように制御を行う制御手段と
をさらに備えることを特徴とする請求項５に記載の撮像装置。 Imaging parameter acquisition means for acquiring imaging parameters in each imaging unit related to the amount of light received;
The imaging unit having the second field angle and the amount of light received by the imaging unit having the first field angle in total by changing the imaging parameter in the imaging unit having the acquired first field angle. The image pickup apparatus according to claim 5 , further comprising a control unit that performs control so that a ratio of a total amount of light received by the light source falls within an adjustable range of change in exposure time. 前記第２の画角を持つ撮像部における撮像パラメータが変更された場合に、前記制御手段による前記制御が行なわれることを特徴とする請求項６に記載の撮像装置。 The imaging apparatus according to claim 6 , wherein the control unit performs the control when an imaging parameter in the imaging unit having the second field angle is changed. 前記撮像パラメータは、絞り及びフォーカスを示す値の少なくとも１つを含むことを特徴とする請求項６または７に記載の撮像装置。 The imaging parameters, the imaging apparatus according to claim 6 or 7, characterized in that it comprises at least one of the value indicative of the aperture and focus. 複数の撮像部から得られた撮像データを合成して画像データを生成する生成手段を有する画像処理装置であって、
前記複数の撮像部のうち第１の画角を持つ１つ以上の撮像部から得られた撮像データに変換された光の量の合計と、前記第１の画角とは異なる第２の画角を持つ１つ以上の撮像部から得られた撮像データに変換された光の量の合計との比は、調節可能な露光時間の変化幅の範囲内であることを特徴とする画像処理装置。 An image processing apparatus having a generating unit that generates image data by combining image data obtained from a plurality of image capturing units,
A total of the amount of light converted into imaging data obtained from one or more imaging units having a first angle of view among the plurality of imaging units, and a second image different from the first angle of view An image processing apparatus characterized in that a ratio of the amount of light converted into imaging data obtained from one or more imaging units having corners is within a range of changeable exposure time . 光を受ける量に関連する各撮像部における撮像パラメータを取得する撮像パラメータ取得手段と、
前記取得した第１の画角を持つ撮像部における撮像パラメータを変更することで、前記複数の撮像部のうち第１の画角を持つ１つ以上の撮像部から得られた撮像データに変換された光の量の合計と、前記第２の画角を持つ１つ以上の撮像部から得られた撮像データに変換された光の量の合計との比が、調節可能な露光時間の変化幅の範囲内になるように制御を行う制御手段と
をさらに備えることを特徴とする請求項９に記載の画像処理装置。 Imaging parameter acquisition means for acquiring imaging parameters in each imaging unit related to the amount of light received;
By changing the imaging parameter in the acquired imaging unit having the first angle of view, it is converted into imaging data obtained from one or more imaging units having the first angle of view among the plurality of imaging units. The ratio of the total amount of light and the total amount of light converted into imaging data obtained from one or more imaging units having the second angle of view can be adjusted. The image processing apparatus according to claim 9 , further comprising: a control unit that performs control so as to fall within the range. 前記第２の画角を持つ撮像部における撮像パラメータが変更された場合に、前記制御手段による前記制御が行なわれることを特徴とする請求項１０に記載の画像処理装置。 The image processing apparatus according to claim 10 , wherein the control unit performs the control when an imaging parameter in the imaging unit having the second angle of view is changed. 前記撮像パラメータは、絞り及びフォーカスを示す値の少なくとも１つを含むことを特徴とする請求項１０または１１に記載の画像処理装置。 The imaging parameters, the image processing apparatus according to claim 10 or 11, characterized in that it comprises at least one of the value indicative of the aperture and focus. 複数の撮像部から得られた複数の撮像データを取得する撮像データ取得手段と、
前記撮像データ取得手段が取得した第１の撮像データ群を撮像した、第１の画角を有する１つ以上の撮像部が合計で受ける光の量と、前記第１の撮像データ群とは異なる第２の撮像データ群を撮像した、前記第１の画角とは異なる第２の画角を有する１つ以上の撮像部が合計で受ける光の量との比が、調節可能な露光時間の変化幅の範囲内になるように、前記取得した複数の撮像データから前記第１の撮像データ群を選択する選択手段と、
前記選択した第１の撮像データ群の撮像データを合成して画像データを生成する生成手段と
を備えることを特徴とする画像処理装置。 Imaging data acquisition means for acquiring a plurality of imaging data obtained from a plurality of imaging units;
The amount of light received in total by one or more imaging units having a first angle of view, obtained by imaging the first imaging data group acquired by the imaging data acquisition means, is different from the first imaging data group The ratio of the total amount of light received by one or more imaging units having a second field angle different from the first field angle obtained by imaging the second imaging data group is an adjustable exposure time. Selection means for selecting the first imaging data group from the acquired plurality of imaging data so as to fall within a range of change width;
An image processing apparatus comprising: generating means for generating image data by combining image data of the selected first image data group. 複数の撮像部から得られた複数の撮像データを取得する撮像データ取得ステップと、
前記撮像データ取得ステップにおいて取得した第１の撮像データ群を撮像した、第１の画角を有する１つ以上の撮像部が合計で受ける光の量と、前記第１の撮像データ群とは異なる第２の撮像データ群を撮像した、前記第１の画角とは異なる第２の画角を有する１つ以上の撮像部が合計で受ける光の量との比が、調節可能な露光時間の変化幅の範囲内になるように、前記取得した複数の撮像データから前記第１の撮像データ群を選択する選択ステップと、
前記選択した第１の撮像データ群の撮像データを合成して画像データを生成する生成ステップと
を備えることを特徴とする画像処理方法。 An imaging data acquisition step of acquiring a plurality of imaging data obtained from a plurality of imaging units;
The amount of light received in total by one or more imaging units having a first angle of view, which is obtained by imaging the first imaging data group acquired in the imaging data acquisition step, is different from the first imaging data group. The ratio of the total amount of light received by one or more imaging units having a second field angle different from the first field angle obtained by imaging the second imaging data group is an adjustable exposure time. A selection step of selecting the first imaging data group from the plurality of acquired imaging data so as to fall within a range of change width;
An image processing method comprising: a generation step of generating image data by combining image data of the selected first image data group. コンピュータに請求項１４に記載の画像処理方法を実行させるためのプログラム。 A program for causing a computer to execute the image processing method according to claim 14 .
JP2011224814A 2011-10-12 2011-10-12 Imaging apparatus, image processing apparatus, and image processing method Expired - Fee Related JP5896680B2 (en)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2011224814A JP5896680B2 (en) 2011-10-12 2011-10-12 Imaging apparatus, image processing apparatus, and image processing method
EP12183748.8A EP2582128A3 (en) 2011-10-12 2012-09-10 Image-capturing device
EP13154074.2A EP2592823A3 (en) 2011-10-12 2012-09-10 Image-capturing device
US13/613,809 US20130093842A1 (en) 2011-10-12 2012-09-13 Image-capturing device
KR1020120109915A KR101514502B1 (en) 2011-10-12 2012-10-04 Image-capturing device, image processing apparatus, image processing method, and method of manufacturing image-capturing device
CN201210388219.4A CN103051833B (en) 2011-10-12 2012-10-12 Picture pick-up device and manufacture method, image processing apparatus and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011224814A JP5896680B2 (en) 2011-10-12 2011-10-12 Imaging apparatus, image processing apparatus, and image processing method

Publications (3)

Publication Number Publication Date
JP2013085176A JP2013085176A (en) 2013-05-09
JP2013085176A5 JP2013085176A5 (en) 2014-11-06
JP5896680B2 true JP5896680B2 (en) 2016-03-30

Family

ID=48529911

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011224814A Expired - Fee Related JP5896680B2 (en) 2011-10-12 2011-10-12 Imaging apparatus, image processing apparatus, and image processing method

Country Status (1)

Country Link
JP (1) JP5896680B2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6278668B2 (en) * 2013-11-22 2018-02-14 キヤノン株式会社 Compound eye imaging device
JP6355324B2 (en) * 2013-12-06 2018-07-11 キヤノン株式会社 Imaging apparatus and control method thereof
JP6239993B2 (en) 2014-02-07 2017-11-29 オリンパス株式会社 Imaging device, display device, and control method
JP6478511B2 (en) * 2014-08-01 2019-03-06 キヤノン株式会社 Image processing method, image processing apparatus, compound eye imaging apparatus, image processing program, and storage medium
EP3678361A4 (en) * 2017-10-20 2020-10-28 Sony Corporation Information processing device, information processing method, program, and interchangeable lens

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005303694A (en) * 2004-04-13 2005-10-27 Konica Minolta Holdings Inc Compound eye imaging device
JP2009213063A (en) * 2008-03-06 2009-09-17 Funai Electric Co Ltd Monitoring apparatus

Also Published As

Publication number Publication date
JP2013085176A (en) 2013-05-09

Similar Documents

Publication Publication Date Title
KR101514502B1 (en) Image-capturing device, image processing apparatus, image processing method, and method of manufacturing image-capturing device
US10009540B2 (en) Image processing device, image capturing device, and image processing method for setting a combination parameter for combining a plurality of image data
JP5956808B2 (en) Image processing apparatus and method
JP4902562B2 (en) Imaging apparatus, image processing apparatus, control method, and program
WO2014050699A1 (en) Image-processing device and method, and image pickup device
CN102783135A (en) Method and apparatus for providing a high resolution image using low resolution
US7593635B2 (en) Digital imaging apparatus capable of creating panorama image and a creating method thereof
US8860852B2 (en) Image capturing apparatus
JP5376993B2 (en) Information processing apparatus, imaging apparatus, and information processing apparatus control method
WO2015167009A1 (en) Image processing device and image pickup device
JP5896680B2 (en) Imaging apparatus, image processing apparatus, and image processing method
JP2014235224A (en) Imaging device and control program
JP2013183278A (en) Image processing apparatus, image processing method and program
US20090290041A1 (en) Image processing device and method, and computer readable recording medium containing program
KR101626447B1 (en) An apparatus, a method, a computer-readable medium storing a computer program of removing lens distortion and chromatic aberration
US20110115938A1 (en) Apparatus and method for removing lens distortion and chromatic aberration
JP7492344B2 (en) Image processing device and image processing method
JP6732440B2 (en) Image processing apparatus, image processing method, and program thereof
JP2019169985A (en) Image processing apparatus
JP5911307B2 (en) Imaging device
JP5882957B2 (en) Information processing apparatus, information processing apparatus control method, and control program
JP2024007926A (en) Imaging apparatus, imaging method, and computer program
JP6817855B2 (en) Image processing equipment, imaging equipment, image processing methods, and programs
JP6039726B2 (en) Imaging apparatus and control method thereof
JP6566765B2 (en) Imaging device

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140922

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140922

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150622

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150707

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150907

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160202

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160301

R151 Written notification of patent or utility model registration

Ref document number: 5896680

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees