JP4529010B1 - Imaging device - Google Patents

Imaging device Download PDF

Info

Publication number
JP4529010B1
JP4529010B1 JP2009083276A JP2009083276A JP4529010B1 JP 4529010 B1 JP4529010 B1 JP 4529010B1 JP 2009083276 A JP2009083276 A JP 2009083276A JP 2009083276 A JP2009083276 A JP 2009083276A JP 4529010 B1 JP4529010 B1 JP 4529010B1
Authority
JP
Japan
Prior art keywords
image
imaging
unit
plurality
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009083276A
Other languages
Japanese (ja)
Other versions
JP2010239290A (en
Inventor
俊一 佐藤
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Priority to JP2009083276A priority Critical patent/JP4529010B1/en
Application granted granted Critical
Publication of JP4529010B1 publication Critical patent/JP4529010B1/en
Publication of JP2010239290A publication Critical patent/JP2010239290A/en
Application status is Expired - Fee Related legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00Stereoscopic photography
    • G03B35/08Stereoscopic photography by simultaneous recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387Composing, repositioning or otherwise geometrically modifying originals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/243Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/2258Cameras using two or more image sensors, e.g. a CMOS sensor for video and a CCD for still image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/232Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor
    • H04N5/23229Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor comprising further processing of the captured image without influencing the image pickup process
    • H04N5/23232Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor comprising further processing of the captured image without influencing the image pickup process by using more than one image in order to influence resolution, frame rate or aspect ratio
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/232Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor
    • H04N5/23238Control of image capture or reproduction to achieve a very large field of view, e.g. panorama
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/232Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor
    • H04N5/23293Electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/335Transforming light or analogous information into electric information using solid-state image sensors [SSIS]
    • H04N5/341Extracting pixel data from an image sensor by controlling scanning circuits, e.g. by modifying the number of pixels having been sampled or to be sampled
    • H04N5/3415Extracting pixel data from an image sensor by controlling scanning circuits, e.g. by modifying the number of pixels having been sampled or to be sampled for increasing the field of view by combining the outputs of a plurality of sensors, e.g. panoramic imaging

Abstract

【課題】ステレオ画像の視差にかかわらず、すなわち撮影距離にかかわらず、高画質な、高精細な2次元画像を生成することができる撮像装置を提供する。 A Regardless parallax of a stereo image, i.e. regardless of the photographing distance, high-quality, to provide an imaging apparatus capable of generating a high-resolution two-dimensional image.
【解決手段】複数の撮像素子と、撮像素子のそれぞれに像を結像させる複数の固体レンズと、撮像素子にそれぞれに入射する光の光軸の方向を制御する複数の光軸制御部と、複数の撮像素子のそれぞれが出力する光電変換信号を入力して、映像信号に変換して出力する複数の映像処理部と、複数の映像信号に基づいてステレオマッチング処理を行うことにより、画素毎のシフト量を求め、撮像素子の画素ピッチを越えるシフト量は画素ピッチで正規化した合成パラメータを生成するステレオ画像処理部と、複数の映像処理部のそれぞれから出力する映像信号と合成パラメータとを入力し、該複数の映像信号を合成パラメータに基づいて合成することにより高精細映像を生成する映像合成処理部とを備える。 And A plurality of imaging elements, and a plurality of solid lenses for forming an image on each of the image pickup device, a plurality of the optical axis control unit which controls the direction of the optical axis of light incident on each imaging element, enter the photoelectric conversion signals, each of which outputs a plurality of image pickup elements, a plurality of video processing unit for converting the video signal, by performing the stereo matching based on a plurality of video signals, for each pixel It obtains a shift amount, a shift amount exceeding the pixel pitch of the image sensor inputs and a stereo image processing unit that generates a composite parameter normalized with pixel pitch, an image signal output from each of the plurality of video processing unit and the synthesis parameters and, and a video synthesizing unit for generating a high definition video by synthesizing based on the video signal of the plurality of the synthesis parameters.
【選択図】図10 .The 10

Description

本発明は、撮像装置に関する。 The present invention relates to an imaging apparatus.

近年、高画質なデジタルスチルカメラやデジタルビデオカメラ(以下、デジタルカメラという)が急速に普及してきている。 In recent years, high-quality digital still cameras and digital video camera (hereinafter referred to as digital cameras) have spread rapidly. また、並行してデジタルカメラの小型化、薄型化の開発も進められており、携帯電話端末等に小型で高画質なデジタルカメラが搭載されてきている。 In addition, miniaturization of digital cameras in parallel, the development of thinner has also been advanced, compact and high-quality digital cameras have been installed in a mobile phone terminal or the like. デジタルカメラに代表される撮像装置は、撮像素子、結像光学系(レンズ光学系)、イメージプロセッサ、バッファメモリ、フラッシュメモリ(カード型メモリ)、画像モニタ及びこれらを制御する電子回路やメカニカル機構等から構成されている。 Imaging device represented by a digital camera includes an imaging element, an imaging optical system (lens system), an image processor, a buffer memory, a flash memory (card type memory), an image monitor and an electronic circuit or a mechanical mechanism for controlling the It is constructed from. 撮像素子には、通常、CMOS(Complementary Metal Oxide Semiconductor)センサやCCD(Charge Coupled Device)センサ等の固体電子デバイスが使用されている。 The image pickup device, typically, CMOS (Complementary Metal Oxide Semiconductor) sensor or a CCD solid-state electronic devices, such as (Charge Coupled Device) sensor is used. 撮像素子上に結像された光量分布は光電変換されて、得られた電気信号はイメージプロセッサとバッファメモリによって信号処理される。 Light amount distribution is imaged on the image sensor is photoelectrically converted, an electric signal obtained is signal-processed by the image processor and the buffer memory. イメージプロセッサとしてはDSP(Digital Signal Processor)等が、またバッファメモリとしてはDRAM(Dynamic Random Access Memory)等が使用される。 The image processor DSP (Digital Signal Processor), etc., but also as a buffer memory DRAM (Dynamic Random Access Memory) or the like is used. 撮像された画像はカード型フラッシュメモリ等に記録蓄積され、記録蓄積された画像はモニタに表示することができる。 Captured image is recorded accumulated in the card-type flash memory or the like, recording the stored image can be displayed on the monitor.

撮像素子に像を結像させる光学系は、通常、収差を除去するために、数枚の非球面レンズから構成されている。 Optical system for forming an image on the imaging device, usually, in order to remove the aberration, and a number aspheric lens. また、光学的なズーム機能を持たせる場合は、組合せレンズの焦点距離や、レンズと撮像素子の間隔を変える駆動機構(アクチュエータ)が必要となる。 Also, when to provide an optical zoom function, the focal distance and the combined lens, the driving mechanism for changing the distance between the lens and the imaging device (actuator) is needed. 撮像装置の高画質化、高機能化の要求に応じて、撮像素子は多画素化、高精細化し、結像光学系はより低収差、高精度化され、かつズーム機能、オートフォーカス機能、手振れ補正機能等の高機能化が進んでいる。 Quality of the imaging apparatus, in response to demands for higher functionality, the imaging element is the number of pixels, and high-definition imaging optical system is lower aberrations, are highly accurate, and a zoom function, an auto focus function, a camera shake high performance of correction function and the like is progressing. それに伴い、撮像装置が大きくなり、小型化、薄型化が困難になるという問題がある。 Along with this, the imaging device is increased, miniaturization, there is a problem that thickness reduction becomes difficult.

このような問題を解決するために、結像光学系に複眼構造を採用したり、液晶レンズや液体レンズ等の非固体レンズを組み合わせることにより、撮像装置を小型化、薄型化することが提案されている。 To solve such problems, or to employ a compound eye structure the imaging optical system, by combining the non-solid lens such as a liquid crystal lens or a liquid lens, size of the imaging device, it has been proposed to thin ing. 例えば、平面状に配置した固体レンズアレイと液晶レンズアレイと1つの撮像素子から構成された撮像レンズ装置が提案されている(例えば、特許文献1)。 For example, an imaging lens device composed of a solid lens array and the liquid crystal lens array and one imaging elements arranged in a planar shape has been proposed (e.g., Patent Document 1). 図36に示すように、固定焦点距離のレンズアレイ2001と、同数の可変焦点型の液晶レンズアレイ2002とを有するレンズ系と、このレンズ系を通して結像する光学像を撮像する単一の撮像素子2003から構成されている。 As shown in FIG. 36, a lens array 2001 of fixed focal length, a lens system having a liquid crystal lens array 2002 of the same number of variable focus type, single imaging device for imaging an optical image imaged through the lens system It is constructed from 2003. この構成によって、レンズアレイ2001の数と同数の画像を単一の撮像素子2003上に分割して結像させる。 This configuration, as many images of the lens array 2001 for imaging by dividing on a single imaging element 2003. この撮像素子2003より得られた複数の画像を演算装置2004により画像処理を行い、全体の画像を再構成する。 It performs image processing a plurality of images obtained from the image pickup device 2003 by the arithmetic unit 2004, reconstructs the entire image. また、この演算装置2004からフォーカス情報を検出し、液晶駆動装置2005を介して液晶レンズアレイ2002の各液晶レンズを駆動して、オートフォーカスを行う。 Further, to detect the focus information from the operation unit 2004 drives the respective liquid crystal lens of the liquid crystal lens array 2002 through a liquid crystal drive apparatus 2005, performs autofocus. このように、特許文献1の撮像レンズ装置においては、液晶レンズと固体レンズを組み合わせることにより、オートフォーカス機能やズーム機能を有し、かつ小型化を実現することができる。 Thus, in the imaging lens device of Patent Document 1, by combining the liquid crystal lens and a solid lens having an autofocus function and a zoom function, and it can be downsized.

また、1つの非固体レンズ(液体レンズ、液晶レンズ)と固体レンズアレイと1つの撮像素子から構成された撮像装置もある(例えば、特許文献2)。 Also, there is one non-solid lens (a liquid lens, a liquid crystal lens) is also an imaging device composed of a solid lens array and one image sensor (e.g., Patent Document 2). 図37に示すように、液晶レンズ2131と、複眼光学系2120と、画像合成器2115と、駆動電圧演算部2142から構成されている。 As shown in FIG. 37, a liquid crystal lens 2131, a compound-eye optical system 2120, an image synthesizer 2115, and a driving voltage calculation unit 2142. 特許文献1と同様、単一の撮像素子2105上に、レンズアレイの数と同数の画像を結像させて、画像処理で画像を再構成する。 As in Patent Document 1, on a single imaging element 2105, and is imaged as many images of the lens array, to reconstruct an image in the image processing. このように、特許文献2の撮像装置においては、1つの非固体レンズ(液体レンズ、液晶レンズ)と固体レンズアレイを組み合わせることにより、小型、薄型で焦点調整機能を実現することができる。 Thus, in the imaging apparatus of Patent Document 2, one non-solid lens (a liquid lens, a liquid crystal lens) by combining the solid lens array, small, it is possible to realize a focus adjustment function thin.

また、撮像素子である検出器アレイと撮像レンズアレイから構成されたサブピクセル解像度を有する薄型カメラにおいて、2つのサブカメラ上の画像の相対的な位置ずれを変化させて、合成画像の解像度を増大させる方法が知られている(例えば、特許文献3)。 Also, increase in a thin camera, the relative positional deviation of the images on the two sub-camera by changing the resolution of the composite image with sub-pixel resolution, which is composed of the detector array and the imaging lens array which is an imaging element method of is known (e.g., Patent Document 3). この方法では、片方のサブカメラに絞りを設けて、この絞りによって半画素分の光を遮断することで、被写体距離によって解像度が改善できなくなる課題を解決している。 In this way, by providing a stop on one of the sub-camera, by blocking the light of half a pixel by the diaphragm, and solve the problem can not be improved resolution by the object distance. また、特許文献3は、外部から電圧を与えることで焦点距離を制御することが可能な液体レンズを組み合わせて、焦点距離を変更することで画像の結像位置と画素の位相も同時に変更することで、合成画像の解像度を増大させている。 Further, Patent Document 3 combines the liquid lens capable of controlling the focal length by applying a voltage from the outside, to change the phase at the same time of the imaging position of the pixel of the image by changing the focal length in has increased the resolution of the composite image. このように、特許文献3の薄型カメラでは、撮像レンズアレイと、遮光手段を持つ撮像素子を組み合わせることにとより、合成画像の高精細化を実現している。 Thus, in thin camera Patent Document 3, more and on combining the imaging lens array, an imaging device having a light-shielding unit realizes a high-definition synthesized image. また、撮像レンズアレイと撮像素子に液体レンズを組み合わせることで、合成画像の高精細化を実現することができる。 By combining the liquid lens to the imaging lens array and the image sensor, it is possible to realize an increase in definition of the composite image.

また、複数の撮像手段の画像情報でそのステレオ画像の視差が小さい特定領域に関して、超解像補間処理して空間モデルに画像をマッピングする画像生成方法及びその装置が知られている(例えば、特許文献4)。 Further, with respect to certain regional disparity is small for the stereo image in the image information of a plurality of image pickup means, an image generating method and apparatus for mapping an image on a spatial model by super-resolution interpolation is known (e.g., Japanese Patent Document 4). この装置では、複数の撮像手段で撮像した画像から視点変換画像を生成する過程で行う空間モデル生成において、遠方の空間モデルに貼り付ける画像データの精細度が欠けるという問題を解決することができる。 In this device, it can be solved in the space model generation performed in the process of generating a viewpoint conversion image from the image captured by the plurality of imaging means, the problem of resolution of the image data to be pasted to a distant space model may be hidden.

特開2006−251613号公報 JP 2006-251613 JP 特開2006−217131号公報 JP 2006-217131 JP 特表2007−520166号公報 JP-T 2007-520166 JP 特表2006−119843号公報 JP-T 2006-119843 JP

しかしながら、特許文献1〜3の撮像レンズ装置では、光学系と撮像素子の相対位置の調整の精度が画質に影響するため、組み立て時に正確に調整する必要があるという問題がある。 However, in the imaging lens device of the Patent Documents 1 to 3, since the accuracy of adjustment of the relative positions of the optical system and the imaging device can affect the image quality, there is a problem that it is necessary to adjust accurately during assembly. また、相対位置の調整を機械的精度だけで調整を行う場合は、高精度な非固体レンズ等が必要となり、コストが高くなるという問題がある。 When performing the adjustment only with mechanical precision adjustment of the relative position, high-precision non-solid lens or the like is required, which increases the cost. また、装置の組立て時に正確に調整されたとしても、経時変化等により光学系と撮像素子との相対位置が変わり、画質劣化が生じることもある。 Further, even when adjusted correctly during assembly of the device, the relative position between the optical system and the imaging device is changed due to aging or the like, sometimes the image quality deteriorates. 再度位置調整をすれば画質が良くなるが、組立て時と同様の調整を行わなければならないという問題がある。 Better image quality if the position adjustment again, there is a problem that must be performed the same adjustment and during assembly. さらに、光学系や撮像素子を数多く備えている装置においては調整するべき箇所が数多くなるため、多大な作業時間を要するという問題もある。 Furthermore, since the portions to be adjusted is many in apparatus comprising a number of optical system and the imaging device, there is also a problem that it takes much working time.

また、特許文献4の画像生成方法及びその装置では、視点変換画像を生成するために、正確な空間モデルを生成する必要があるが、空間モデルという立体的な情報をステレオ画像で精度よく取得することは難しいという問題がある。 In the image generation method and apparatus of Patent Document 4, in order to generate a viewpoint conversion image, it is necessary to generate accurate space model, to obtain accurately the three-dimensional information that space model in stereo image it is a problem that it is difficult. 特に、ステレオ画像の視差が小さい遠方の画像においては、画像の輝度変化やノイズの影響等を受け、空間モデルという立体的な情報をステレオ画像で精度よく取得することは難しい。 In particular, in the image of a distant parallax of a stereo image is small, receives the influence of the luminance change and noise in the image, it is difficult to obtain accurately the three-dimensional information that space model in stereo image. 従ってステレオ画像の視差の小さい特定領域で超解像処理した画像を生成できたとしても、空間モデルに精度良くマッピングすること困難である。 Thus even can generate images processed super-resolution in a small specific area parallax of the stereo image, it is difficult to accurately map the space model.

本発明は、このような事情に鑑みてなされたもので、高画質な撮像装置を実現するために、光学系と撮像素子の相対位置の調整を人手作業を必要とすることなく、容易に行うことができる撮像装置を提供することを目的とする。 The present invention has been made in view of such circumstances, in order to achieve high-quality imaging apparatus, without the need for manual labor to adjust the relative positions of the optical system and the imaging device, easily performed and to provide an imaging apparatus capable. また、本発明は、ステレオ画像の視差にかかわらず、すなわち撮影距離にかかわらず、高画質な、高精細な2次元画像を生成することができる撮像装置を提供することを目的とする。 Further, the present invention, regardless of the disparity of stereo images, i.e. regardless of the photographing distance, high quality, and an object thereof is to provide an imaging apparatus capable of generating a high-resolution two-dimensional image.

本発明は、複数の撮像素子と、前記撮像素子のそれぞれに像を結像させる複数の固体レンズと、前記撮像素子にそれぞれに入射する光の光軸の方向を制御する複数の光軸制御部と、前記複数の撮像素子のそれぞれが出力する光電変換信号を入力して、映像信号に変換して出力する複数の映像処理部と、複数の映像信号に基づいてステレオマッチング処理を行うことにより、画素毎のシフト量を求め、前記撮像素子の画素ピッチを越えるシフト量は前記画素ピッチで正規化した合成パラメータを生成するステレオ画像処理部と、前記複数の映像処理部のそれぞれから出力する前記映像信号と前記合成パラメータとを入力し、該複数の映像信号を前記合成パラメータに基づいて合成することにより高精細映像を生成する映像合成処理部とを備える The present invention includes a plurality of imaging elements, and a plurality of solid lenses for forming an image on each of the image pickup device, a plurality of the optical axis control unit which controls the direction of the optical axis of light incident on each of the imaging device If each type photoelectric conversion signals output by the plurality of imaging elements, a plurality of video processing unit for converting the video signal, by performing the stereo matching based on a plurality of video signals, determine the shift amount for each pixel, and the stereo image processing unit shift amount exceeding the pixel pitch of the imaging device for generating a composite parameter normalized by the pixel pitch, the video output from each of said plurality of video processing unit inputs the signal and the synthesis parameters, and a video synthesizing unit for generating a high definition video by synthesizing based on the video signal of the plurality of the synthesis parameters とを特徴とする。 And wherein the door.

本発明は、前記ステレオ画像処理部で生成した前記合成パラメータに基づき、前記ステレオマッチング処理に用いる視差画像の雑音を低減するステレオ画像雑音低減処理部をさらに備えることを特徴とする。 The present invention is based on said generated the synthesis parameters by the stereo image processing unit, and further comprising a stereo image noise reduction processing unit for reducing the noise of parallax images used in the stereo matching process.

本発明は、前記映像合成処理部は、前記ステレオ画像処理部で生成した前記視差画像に基づいて所定領域のみ高精細化することを特徴とする。 The present invention, the image synthesis processing unit is characterized by a high definition only a predetermined region on the basis of the parallax images generated by the stereo image processing unit.

本発明によれば、複数の撮像素子と、撮像素子のそれぞれに像を結像させる複数の固体レンズと、撮像素子にそれぞれに入射する光の光軸を制御する複数の光軸制御部とを備えたため、光学系と撮像素子の相対位置の調整を人手作業を必要とすることなく、容易に行うことができ、高画質な撮像装置を実現することができるという効果が得られる。 According to the present invention, a plurality of image pickup elements, a plurality of solid lenses for forming an image on each of the image pickup element, and a plurality of the optical axis control unit for controlling the optical axis of light incident on each imaging device because with, without the need for manual labor to adjust the relative positions of the optical system and the imaging device, can be easily performed, there is an advantage that it is possible to achieve high-quality imaging apparatus. 特に、入射する光の光軸を撮像素子面上の任意の位置に設定するように制御することが可能となるため、光学系と撮像素子間の位置調整を簡単に行うことができる高画質な撮像装置を実現することができる。 In particular, since it is possible to control so as to set the optical axis of the incident light to an arbitrary position on the image sensor surface, a high image quality can easily perform the position adjustment between the optical system and the imaging device it is possible to realize an imaging apparatus. また、撮像対象と複数の光軸制御部との相対位置に基づいて光軸の方向を制御するようにしたため、撮像素子面の任意の位置に光軸の設定を行うことが可能となり、焦点調整範囲が広い撮像装置を実現することができる。 Moreover, since so as to control the direction of the optical axis based on the relative position of the imaging target and the plurality of the optical axis control unit, it is possible to set the optical axis to an arbitrary position of the imaging element surface, focusing range it is possible to realize a wide imaging device.

複数の撮像素子と、前記撮像素子のそれぞれに像を結像させる複数の固体レンズと、前記撮像素子にそれぞれに入射する光の光軸の方向を制御する複数の光軸制御部と、前記複数の撮像素子のそれぞれが出力する光電変換信号を入力して、映像信号に変換して出力する複数の映像処理部と、複数の映像信号に基づいてステレオマッチング処理を行うことにより、画素毎のシフト量を求め、前記撮像素子の画素ピッチを越えるシフト量は前記画素ピッチで正規化した合成パラメータを生成するステレオ画像処理部と、前記複数の映像処理部のそれぞれから出力する前記映像信号と前記合成パラメータとを入力し、該複数の映像信号を前記合成パラメータに基づいて合成することにより高精細映像を生成する映像合成処理部とを備えたため、ステ A plurality of image pickup elements, a plurality of solid lenses for forming an image on each of the image pickup device, a plurality of the optical axis control unit which controls the direction of the optical axis of light incident on each of the imaging device, the plurality enter the photoelectric conversion signals, each of which outputs the image pickup device, a plurality of video processing unit for converting the video signal, by performing the stereo matching based on a plurality of video signals, the shift for each pixel determine the amount, the shift amount exceeding the pixel pitch of the imaging device and the stereo image processing unit that generates a composite parameter normalized by the pixel pitch, the video signal output from each of said plurality of video processing unit and synthesis since inputs the parameter, and a video synthesizing unit for generating a high definition video by synthesizing based on the video signal of the plurality of the synthesis parameters, stearyl オ画像の視差にかかわらず、すなわち撮影距離にかかわらず、高画質な、高精細な2次元画像を生成することができる。 Regardless parallax Oh image, i.e. regardless of the photographing distance, high-quality, it is possible to generate a high-resolution two-dimensional image.

また、本発明によれば、前記ステレオ画像処理部で生成した前記合成パラメータに基づき、前記ステレオマッチング処理に用いる視差画像の雑音を低減するステレオ画像雑音低減処理部をさらに備えたため、ステレオマッチング処理における雑音を除去することができる。 Further, according to the present invention, since the basis of the stereo image processing said synthesis parameters generated in part, further comprising a stereo image noise reduction processing unit for reducing the noise of parallax images used in the stereo matching processing, the stereo matching it is possible to remove the noise.

また、本発明によれば、前記映像合成処理部は、前記ステレオ画像処理部で生成した前記視差画像に基づいて所定領域のみ高精細化するため、高精細化処理の高速化が可能となる。 Further, according to the present invention, the video synthesis processing unit for high-definition only a predetermined region on the basis of the parallax images generated by the stereo image processing unit, it is possible to speed up the high definition process.

本発明の第1の実施の形態による撮像装置の構成を示すブロック図である。 According to the first embodiment of the present invention is a block diagram showing a configuration of an imaging apparatus. 図1に示した第1の実施の形態による撮像装置の単位撮像部の詳細な構成図である。 A detailed block diagram of the unit imaging unit of the imaging apparatus according to the first embodiment shown in FIG. 液晶レンズの構成図である。 It is a configuration diagram of a liquid crystal lens. 第1の実施の形態による撮像装置に使用した液晶レンズの機能を説明する模式図である。 It is a schematic diagram for explaining the function of the liquid crystal lens used in the imaging apparatus according to the first embodiment. 第1の実施の形態による撮像装置の液晶レンズを説明する模式図である。 It is a schematic diagram illustrating a liquid crystal lens of the image pickup apparatus according to the first embodiment. 図1に示した第1の実施の形態による撮像装置の撮像素子を説明する模式図である。 Is a schematic diagram illustrating an imaging device of an imaging apparatus according to the first embodiment shown in FIG. 撮像素子の詳細な模式図である。 It is a detailed schematic diagram of an imaging device. 図1に示す撮像装置1の全体構成を示すブロック図である。 Is a block diagram showing an overall configuration of an imaging apparatus 1 shown in FIG. 第1の実施の形態による撮像装置の映像処理部の詳細なブロック図である。 It is a detailed block diagram of a video processing unit of the imaging apparatus according to the first embodiment. 第1の実施の形態による撮像装置の映像処理の映像合成処理部の詳細なブロック図である。 It is a detailed block diagram of the image synthesis processing unit of the video processing of an imaging apparatus according to the first embodiment. 第1の実施の形態による撮像装置の映像処理の制御部の詳細なブロック図である。 It is a detailed block diagram of a control unit of the image processing of the image pickup apparatus according to the first embodiment. 制御部の動作の一例を説明するフローチャートである。 Is a flowchart illustrating an example of the operation of the control unit. 図12に示すサブ画素映像合成高精細化処理の動作を示す説明図である。 It is an explanatory diagram showing the operation of the sub-pixel video composition high-resolution processing shown in FIG. 12. 高精細判定の一例を説明するフローチャートである。 Is a flowchart illustrating an example of a high-resolution determination. 制御電圧変更処理の一例を説明するフローチャートである。 Is a flowchart illustrating an example of a control voltage changing process. カメラキャリブレーションの一例を説明するフローチャートである。 Is a flowchart illustrating an example of a camera calibration. 単位撮像部のカメラキャリブレーションを説明する模式図である。 It is a schematic diagram illustrating a camera calibration unit imaging unit. 複数の単位撮像部のカメラキャリブレーションを説明する模式図である。 It is a schematic diagram illustrating the camera calibration of a plurality of unit imaging unit. 複数の単位撮像部のカメラキャリブレーションを説明する別の模式図である。 It is another schematic diagram illustrating the camera calibration of a plurality of unit imaging unit. 撮像装置1の撮像の様子を示す模式図である。 It is a schematic diagram showing the imaging of the imaging device 1. 高精細なサブ画素について説明する模式図である。 It is a schematic diagram illustrating a high-resolution sub-pixels. 高精細なサブ画素について説明する別の模式図である。 It is another schematic diagram for explaining high-resolution sub-pixels. 撮像対象(被写体)と結像の関係を示す説明図である。 Is an explanatory view showing the the relationship between the imaging imaging target (subject). 撮像装置1の動作を説明する模式図である。 It is a schematic diagram illustrating the operation of the imaging apparatus 1. 取り付け誤差により撮像素子がずれて取り付けられた場合の模式図である。 The installation error is a schematic view when mounted shift imaging element. 光軸シフト制御の動作を示す模式図である。 It is a schematic diagram showing the operation of the optical axis shift control. 撮像距離と光軸シフトの関係を示す説明図である。 It is an explanatory view showing a relationship between imaging distance and the optical axis shift. 撮像距離と光軸シフトの関係を示す説明図である。 It is an explanatory view showing a relationship between imaging distance and the optical axis shift. 奥行きと光軸シフトによるイメージシフトの効果を示す説明図である。 Is an explanatory diagram showing the effect of image shift due to the depth and optical axis shift. 画素毎の並進パラメータを生成する一例を説明するフローチャートである。 Is a flowchart illustrating an example of generating a translation parameter for each pixel. 平行ステレオ構成の場合のエピポーラ線の一例を示す説明図である。 Is an explanatory diagram showing an example of epipolar lines in the case of the parallel stereo configuration. 平行ステレオ構成の場合の領域ベースマッチングの一例を示す説明図である。 Is an explanatory diagram showing an example of a region-based matching in the case of parallel stereo configuration. 視差画像の一例を示す説明図である。 Is an explanatory view showing an example of a parallax image. 別の実施の形態による撮像装置の映像処理の映像合成処理部の詳細なブロック図である。 It is a detailed block diagram of the image synthesis processing unit of the image processing of the image pickup apparatus according to another embodiment. 雑音除去の一例を説明するフローチャートである。 Is a flowchart illustrating an example of the noise removal. 従来の撮像装置の構成を示すブロック図である。 It is a block diagram showing a configuration of a conventional imaging apparatus. 他の従来の撮像装置の構成を示すブロック図である。 Is a block diagram showing the configuration of another conventional imaging apparatus.

以下に、本発明の実施形態について、図面を参照して詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. 図1は、本発明の第1の実施形態に係る、撮像装置の全体構成を示す機能ブロック図である。 1, according to a first embodiment of the present invention is a functional block diagram illustrating the overall configuration of an imaging apparatus. 図1に示す撮像装置1は、6系統の単位撮像部2〜7を備えている。 Imaging apparatus 1 shown in FIG. 1 includes a unit imaging units 2 to 7 of the six systems. 単位撮像部2は撮像レンズ8と撮像素子14から構成されている。 Unit imaging unit 2 is composed of an imaging lens 8 and the image sensor 14. 同様に、単位撮像部3は撮像レンズ9と撮像素子15、単位撮像部4は撮像レンズ10と撮像素子16、単位撮像部5は撮像レンズ11と撮像素子17、単位撮像部6は撮像レンズ12と撮像素子18、及び単位撮像部7は撮像レンズ13と撮像素子19から構成されている。 Similarly, unit imaging unit 3 is the imaging lens 9 and an imaging device 15, the unit imaging unit 4 is imaging lens 10 and the imaging element 16, the unit imaging unit 5 has an imaging lens 11 and the imaging device 17, the unit imaging unit 6 is an imaging lens 12 the imaging device 18 and the unit imaging unit 7, and is constituted by an imaging lens 13 and image sensor 19. 各撮像レンズ8〜13は撮影対象からの光を対応する各撮像素子14〜19上にそれぞれ結像する。 Each imaging lens 8-13 respectively imaged on the imaging elements 14 to 19 that correspond to light from the photographic subject. 図1に示す符号20〜25は、各撮像素子14〜19に入射する光の光軸を示している。 Code 20-25 shown in FIG. 1 shows an optical axis of light incident to the imaging elements 14 to 19.

以下、単位撮像部3を例にとり、信号の流れを説明する。 Hereinafter, taking the unit imaging unit 3 as an example, explaining the flow of signals. 撮像レンズ9によって結像した像を撮像素子15で光電変換し、光信号を電気信号に変換する。 Photoelectrically converted by the imaging element 15 to image formed by the imaging lens 9 converts the optical signal into an electric signal. 撮像素子15で変換された電気信号は、映像処理部27によって予め設定されたパラメータにより映像信号に変換する。 The electric signal converted by the image sensor 15 is converted into a video signal by the preset parameters by the image processing unit 27. 映像処理部27は、変換した映像信号を映像合成処理部38へ出力する。 The video processing unit 27 outputs the converted video signal to the video synthesis processing unit 38. 映像合成処理部38は、他の単位撮像部2、4〜7から出力される電気信号を対応する各映像処理部26、28〜31により変換処理された映像信号を入力する。 Video synthesis processing unit 38 inputs a video signal conversion processing by the video processing unit 26,28~31 corresponding electric signals output from the other unit imaging unit 2,4~7. 映像合成処理部38では、各単位撮像部2〜7において撮像された6つの映像信号を同期を取りながら1本の映像信号に合成し、高精細映像として出力する。 In the video synthesis processing unit 38, synthesized one video signal while synchronizing six video signal picked up in each unit imaging unit 2-7, and outputs it as high-definition video. ここで、映像合成処理部38では、後述するステレオ画像処理の結果に基づいて高精細映像を合成している。 Here, the video synthesis processing unit 38, and synthesizes the high resolution image based on the result of the stereo image processing which will be described later. また映像合成処理部38は、合成した高解像度映像が予め設定した判定値より劣化していた場合、その判定結果に基づいて、制御信号を生成して、6つの制御部32〜37へ出力する。 The image composition processing unit 38, when the high resolution video image synthesized is deteriorated than the reference value set in advance, based on the determination result, and generates a control signal, and outputs to the six control unit 32-37 . 各制御部32〜37は、入力した制御信号に基づいて、対応する各撮像レンズ8〜13の光軸制御を行う。 Each control unit 32 to 37 based on the input control signal, performs a corresponding optical axis control of the imaging lens 8 to 13. そして、映像合成処理部38は、再度高精細映像の判定を行う。 The image composition processing unit 38 performs the determination of high-definition video again. この判定結果が良ければ高精細映像を出力し、悪ければ再度、撮像レンズを制御するという動作を繰り返す。 The determination result is output to high-definition video if you're, again at worst, repeats the operation of controlling the image pickup lens.

次に、図2を参照して、図1に示す単位撮像部3の撮像レンズ9及びこの撮像レンズ9を制御する制御部33の詳細な構成を説明する。 Next, with reference to FIG. 2, a detailed configuration of the control unit 33 controls the imaging lens 9 and the imaging lens 9 unit imaging unit 3 shown in FIG. 単位撮像部3は、液晶レンズ(非固体レンズ)301及び光学レンズ(固体レンズ)302から構成されている。 Unit imaging unit 3, and a liquid crystal lens (non-solid lens) 301 and the optical lens (solid lens) 302. また、制御部33は、液晶レンズ301に印加する電圧を制御する4つの電圧制御部33a、33b、33c、33dから構成されている。 The control unit 33, four voltage control unit 33a for controlling the voltage applied to the liquid crystal lens 301, 33b, 33c, and a 33d. 電圧制御部33a、33b、33c、33dは、映像合成処理部38が生成した制御信号に基づいて、液晶レンズ301に印加する電圧を決定し、液晶レンズ301を制御する。 Voltage control unit 33a, 33b, 33c, 33d based on the control signal by the video synthesis processing unit 38 has generated, to determine the voltage applied to the liquid crystal lens 301, to control the liquid crystal lens 301. 図1に示す他の単位撮像部2、4〜7の撮像レンズ及び制御部も同様な構成であるため、ここでは詳細な説明を省略する。 Since the imaging lens and the control unit of another unit imaging unit 2,4~7 shown in FIG. 1 has a similar structure, a detailed description thereof will be omitted.

次に、図3を参照して、図2に示す液晶レンズ301の構成を説明する。 Next, with reference to FIG. 3, the structure of the liquid crystal lens 301 shown in FIG. 本実施形態における液晶レンズ301は、透明な第1の電極303、第2の電極304、透明な第3の電極305、第2の電極304と第3の電極305との間に配置された液晶層306、第1の電極303と第2の電極304との間に配置された第1の絶縁層307、第2の電極304と第3の電極305の間に配置された第2の絶縁層308、第1の電極303の外側に配置された第3の絶縁層311、第3の電極305の外側に配置された第4の絶縁層312によって構成されている。 The liquid crystal lens 301 in the present embodiment, the first electrode 303 a transparent, second electrode 304, disposed between the third electrode 305 transparent, and the second electrode 304 and the third electrode 305 liquid crystal layer 306, a first insulating layer 307, a second insulating layer disposed between the second electrode 304 third electrode 305 disposed between the first electrode 303 and the second electrode 304 308 is constituted by a first third insulating layer 311 disposed on the outside of the electrode 303, the fourth insulating layer 312 disposed on the outer side of the third electrode 305. ここで、第2の電極304は、円形の孔を有しており、図3の正面図に示すように縦、横に分割された4つの電極304a、304b、304c、304dによって構成されており、それぞれの電極に独立して電圧を印加することができる。 Here, the second electrode 304 has a circular hole, the vertical as shown in the front view of FIG. 3, four electrodes 304a divided laterally, 304b, 304c, is constituted by 304d , a voltage can be applied independently to each of the electrodes. また、液晶層306は第3の電極305に対向するように液晶分子を一方向に配向させており、液晶層306を挟む電極303、304、305の間に電圧を印加することで液晶分子の配向制御を行う。 The liquid crystal layer 306 is oriented in one direction of the liquid crystal molecules so as to face the third electrode 305, the liquid crystal molecules by applying a voltage between the electrodes 303, 304, 305 sandwiching the liquid crystal layer 306 control the orientation. また、絶縁層308は大口径化のため例えば数百μm程度の厚さの透明な硝子等を用いている。 The insulating layer 308 is a transparent glass or the like for example, several hundred μm thickness on the order of the larger diameter.

一例として液晶レンズ301の寸法を以下に示す。 It shows the dimensions of the liquid crystal lens 301 in the following as an example. 第2の電極304の円形の孔のサイズは約φ2mmであり、第1の電極303との間隔は70μmであり、第2の絶縁層308の厚みは700μmである。 The size of the circular hole of the second electrode 304 is about 2mm, the distance between the first electrode 303 is 70 [mu] m, the thickness of the second insulating layer 308 is 700 .mu.m. 液晶層306の厚さは60μmとしている。 The thickness of the liquid crystal layer 306 is set to 60 [mu] m. 本実施の形態では第1の電極303と第2の電極304は異なった層となっているが、同一の面上に形成しても構わない。 In the present embodiment has a first electrode 303 a second electrode 304 is different layers, may be formed on the same plane. その場合、第1の電極303の形状は第2の電極304の円形の孔よりも小さなサイズの円形として第2の電極304の孔位置に配置し、第2の電極304の分割部分に電極取り出し部を設けた構成とする。 In that case, the shape of the first electrode 303 is disposed on the hole position of the second electrode 304 as a circular smaller size than the circular hole of the second electrode 304, take-out electrodes divided portion of the second electrode 304 part a structure in which a. このとき、第1の電極303と第2の電極を構成する電極304a、304b、304c、304dはそれぞれ独立に電圧制御が行える。 At this time, the electrode 304a which constitutes the first electrode 303 a second electrode, 304b, 304c, 304d can be performed is independently voltage control. このような構成をすることで全体の厚みを減少させることができる。 Total thickness by such a structure can be reduced.

次に、図3に示す液晶レンズ301の動作を説明する。 Next, the operation of the liquid crystal lens 301 shown in FIG. 図3に示す液晶レンズ301において、透明な第3の電極305とアルミニウム薄膜等で構成された第2の電極304との間に電圧を印加すると同時に、第1の電極303と第2の電極304の間にも電圧を印加することにより、円形の孔を有する第2の電極304の中心軸309に軸対象な電界勾配を形成することができる。 Simultaneously in the liquid crystal lens 301 shown in FIG. 3, when a voltage is applied between the second electrode 304 made of a transparent third electrode 305 and the aluminum thin film or the like, the first electrode 303 a second electrode 304 by applying a voltage between, it is possible to form the axisymmetric electric field gradient in the central axis 309 of the second electrode 304 having a circular hole. このように形成された円形電極のエッジ周りの軸対象な電界勾配により、液晶層306の液晶分子が電界勾配の方向に配向する。 The axisymmetric electric field gradient around the edge of the thus formed circular electrode, liquid crystal molecules of the liquid crystal layer 306 are aligned in the direction of the electric field gradient. その結果、液晶層306の配向分布の変化により、異常光の屈折率分布が円形の電極の中心から周辺まで変化するため、レンズとして機能させることができる。 As a result, the change of the orientation distribution of the liquid crystal layer 306, the refractive index distribution of the abnormal light to change from the center of the circular electrode to the periphery can function as a lens. 第1の電極303、第2の電極304への電圧の掛け方によってこの液晶層306の屈折率分布を自由に変化させることができ、凸レンズや凹レンズなど自由に光学的な特性の制御を行うことが可能である。 The first electrode 303, by way multiplying the voltage to the second electrode 304 can be freely changing the refractive index distribution of the liquid crystal layer 306, controls the free optical properties such as a convex lens and a concave lens it is possible.

本実施形態では、第1の電極303と第2の電極304の間に20Vrmsの実効電圧を印加し、また、第2の電極304と第3の電極305の間に70Vrmsの実効電圧を印加して、第1の電極303と第3の電極305の間には90Vrmsの実効電圧が印加されるようにして凸レンズとして機能させている。 In the present embodiment, the first electrode 303 by applying an effective voltage of 20Vrms between the second electrode 304, also applies an effective voltage of 70Vrms between the second electrode 304 and the third electrode 305 Te, a first electrode 303 is formed between the third electrode 305 is made to function as a convex lens as the effective voltage of 90Vrms is applied. ここで、液晶駆動電圧(各電極間に印加する電圧)は正弦波、またはデューティ比50%の矩形波の交流波形である。 Here, (voltage applied between the electrodes) liquid crystal driving voltage is a sinusoidal wave or a duty ratio of 50% of the AC waveform of the rectangular wave. 印加する電圧値は実効電圧(rms:root mean square value)で表す。 Voltage value to be applied effective voltage: represented by (rms root mean square value). 例えば100Vrmsの交流正弦波は、±144Vの尖頭値を有する電圧波形となる。 For example AC sine wave 100Vrms is a voltage waveform having a peak value of ± 144V. また、交流電圧の周波数は例えば1kHzが用いられる。 The frequency of the alternating voltage 1kHz, for example, is used. 更に第2の電極304を構成する電極304a、304b、304c、304dと第3の電極305との間にそれぞれ異なった電圧を印加することにより、同一電圧を印加したときには軸対称であった屈折率分布が、円形の孔を有する第2の電極中心軸309に対して、軸のずれた非対称な分布となり、入射光が直進する方向から偏向するという効果が得られる。 Further electrode 304a which constitutes the second electrode 304, 304b, 304c, by applying respectively different voltages between the 304d and the third electrode 305, the refractive index was axisymmetric upon application of the same voltage distribution, with respect to the second electrode central axis 309 having a circular hole, becomes offset asymmetrical distribution in the axial, the effect is obtained that incident light is deflected from the direction straight ahead. この場合、分割された第2の電極304と第3の電極305の間に印加する電圧を適宜変えることにより、入射光の偏向の方向を変化させることができる。 In this case, by changing the voltage applied between the second electrode 304 divided third electrodes 305 as appropriate, it is possible to change the direction of deflection of the incident light. 例えば、電極304aと電極305間と、電極304cと電極305間にそれぞれ70Vrmsを、電極304bと電極305間と、電極304dと電極305間にそれぞれ71Vrmsを印加することで、符号309で示す光軸位置が符号310で示す位置にシフトする。 For example, as between the electrode 304a and the electrode 305, respectively between the electrodes 304c and the electrode 305 70Vrms, respectively between the electrode 304b and the electrode 305, to the electrode 304d and the electrode 305 by applying a 71Vrms, optical axis shown by reference numeral 309 position is shifted to the position indicated by reference numeral 310. そのシフト量は例えば3μmである。 Its shift amount is 3μm, for example.

図4は、液晶レンズ301の光軸シフト機能を説明する模式図である。 Figure 4 is a schematic diagram illustrating an optical axis shift function of the liquid crystal lens 301. 前述した通り第2の電極を構成する電極304a、304b、304c、304dと第3の電極305との間に印加する電圧を、電極304a、304b、304c、304d毎に制御することによって、撮像素子の中心軸と液晶レンズの屈折率分布の中心軸をずらすことが可能となる。 Electrode 304a which constitutes the second electrode as described above, 304b, 304c, a voltage applied between the 304d and the third electrode 305, the electrode 304a, 304b, 304c, by controlling each 304d, the image pickup device it is possible to offset the center axis and the center axis of the refractive index distribution of the liquid crystal lens. これは撮像素子面に対してレンズがそのxy面内でずれたことに相当するため、撮像素子に入力する光線を、そのu、v面内で偏向することができる。 Since this corresponds to the lens with respect to the imaging element surface is shifted in the xy plane, the light rays input to the imaging device, it is possible to deflect the u, v in a plane.

図5に図2に示す単位撮像部3の詳細構成を示す。 Figure 5 shows a detailed configuration of a unit imaging unit 3 shown in FIG. 単位撮像部3の中の光学レンズ302は2つの光学レンズ302a、302bによって構成され、液晶レンズ301は光学レンズ302a、302bの間に配置している。 The optical lens 302 in the unit imaging unit 3 is two optical lens 302a, is constituted by 302b, the liquid crystal lens 301 is disposed between the optical lens 302a, 302b. 光学レンズ302a、302bはそれぞれ1枚もしくは複数枚のレンズより構成されている。 Optical lens 302a, 302b is composed of one or a plurality of lenses, respectively. 物体面から入射した光線は液晶レンズ301の物体面側に配置する光学レンズ302aによって集光され、スポットを小さくした状態で液晶レンズ301に入射される。 Light incident from the object surface is condensed by the optical lens 302a to place the object plane side of the liquid crystal lens 301, is incident on the liquid crystal lens 301 in a state of reduced spot. このとき、液晶レンズ301への光線の入射角度は光軸に対して平行に近い状態となっている。 At this time, the incident angle of a light beam to the liquid crystal lens 301 has a nearly parallel state with respect to the optical axis. 液晶レンズ301から出射された光線は液晶レンズ301の撮像素子15側に配置する光学レンズ302bによって撮像素子15面上に結像される。 Light ray emitted from the liquid crystal lens 301 is imaged on the imaging element 15 on the surfaces of the optical lens 302b to place the image pickup element 15 side of the liquid crystal lens 301. このような構成とすることで液晶レンズ301の径を小さくすることが可能であり、液晶レンズ301へ印加する電圧の低減やレンズ効果の増大、第2の絶縁層308の厚さを薄くすることによるレンズ厚の低減が可能である。 It is possible to reduce the diameter of the liquid crystal lens 301 in such a configuration, the increase in reducing or lens effect of the voltage applied to the liquid crystal lens 301, reducing the thickness of the second insulating layer 308 reduction of the lens thickness due are possible.

図1に示す撮像装置1では、1つの撮像素子に対して1つの撮像レンズを配置した構成としているが、液晶レンズ301において同一基板上に複数個の第2の電極304を構成し、複数の液晶レンズを一体化した構成でも構わない。 In the imaging apparatus 1 shown in FIG. 1 has a configuration of arranging the one imaging lens for a single image sensor, constitute a plurality of second electrodes 304 on the same substrate in the liquid crystal lens 301, a plurality of it may be configured with an integrated liquid crystal lens. すなわち液晶レンズ301は第2の電極304の孔の部分がレンズに相当するため、1枚の基板上に複数個の第2の電極304のパターンを配置することで、それぞれの第2の電極304の孔の部分がレンズ効果を有する。 That is, since the liquid crystal lens 301 which corresponds to the portion lens holes of the second electrode 304, by arranging a plurality of patterns of the second electrode 304 on the one substrate, each of the second electrode 304 portion of the pores have a lens effect. そのため、複数個の撮像素子の配置に合わせて同一基板上に複数の第2の電極304を配置することで単一の液晶レンズユニットで全ての撮像素子に対応することが可能である。 Therefore, it is possible for all of the imaging device in a single liquid crystal lens unit by arranging a plurality of second electrodes 304 on the same substrate in accordance with the arrangement of a plurality of image pickup elements.

なお、前述した説明においては液晶層の層数が1層であったが、1層の厚みを薄くして複数の層で構成することで同程度の集光性を保ったまま応答性を改善することも可能である。 Although in the above description the number of layers of the liquid crystal layer is a single layer, improving the responsiveness while maintaining the same degree of light-harvesting by configuring the thickness of one layer thinner to a plurality of layers it is also possible to. これは液晶層の厚みが増すほど応答速度が劣化する特徴によるものである。 This is due to characteristics deterioration of the response speed the greater the thickness of the liquid crystal layer. また、液晶層を複数の層で構成した場合、それぞれの液晶層間での偏光の向きを変えることで、液晶レンズへ入射した光線に対して全ての偏光方向でレンズ効果を得ることができる。 Also, When the liquid crystal layer in a plurality of layers, by changing the direction of polarization of the respective liquid crystal layers, it is possible to obtain the lens effect in all polarization directions relative to light rays incident to the liquid crystal lens. さらに、電極分割数も1例として4分割のタイプを例示したが、移動したい方向に応じて電極の分割数を変更することも可能である。 Furthermore, although exemplified the type of four-division as an example be electrodes division number, it is also possible to change the number of divisions of the electrodes according to the direction to be moved.

次に、図6及び図7を参照して、図1に示す撮像素子15の構成を説明する。 Next, with reference to FIGS. 6 and 7, the structure of the image sensor 15 shown in FIG. 本実施形態による撮像装置の撮像素子は、一例として、CMOS撮像素子を使用することができる。 Imaging element of the imaging apparatus according to this embodiment, as an example, can be used CMOS image sensor. 図6において、撮像素子15は、2次元配列の画素501から構成されている。 6, the image pickup device 15 is composed of a pixel 501 of a two-dimensional array. 本実施形態のCMOS撮像素子の画素サイズは5.6μm×5.6μm、画素ピッチは6μm×6μm、実効画素数は640(水平)×480(垂直)である。 Pixel size of the CMOS image sensor of this embodiment is 5.6 [mu] m × 5.6 [mu] m, the pixel pitch 6 [mu] m × 6 [mu] m, the number of effective pixels is 640 (horizontal) × 480 (vertical). ここで画素とは、撮像素子が行う撮像動作の最小単位である。 Here pixel and is the smallest unit of an image pickup operation by the imaging device is performed. 通常、1つの光電変換素子(例えばフォトダイオード)に1つの画素が対応している。 Usually, one pixel to one photoelectric conversion element (e.g., photodiode) correspond. 5.6μm各の画素サイズのなかに、ある面積(空間的広がり)を持つ受光部があり、画素はその受光部に入射した光を平均化、積分して光の強度とし、電気信号に変換する。 5.6μm Some of each pixel size, there is a light receiving portion having a certain area (spatial extent), the pixel is the intensity of light the light incident on the light receiving portion averaging, integrating the converted into an electric signal to. 平均化する時間は電子式や機械式のシャッター等で制御されて、その動作周波数は一般的に撮像装置が出力するビデオ信号のフレーム周波数と一致し、例えば60Hzである。 Time averaging is controlled by a shutter or the like of an electronic or mechanical, the operating frequency is generally coincident with the frame frequency of the video signal imaging device outputs, for example, 60 Hz.

図7に撮像素子15の詳細な構成を示す。 It shows a detailed configuration of the image sensor 15 in FIG. CMOS撮像素子15の画素501は、増幅器516によって、フォトダイオード515で光電変換された信号電荷を増幅する。 Pixel 501 of the CMOS image sensor 15, the amplifier 516 amplifies the photoelectrically converted signal charges in the photodiode 515. 各画素の信号は、垂直走査回路511及び水平走査回路512により、垂直水平アドレス方式で選択し、電圧または電流として取り出される。 Signals of each pixel, the vertical scanning circuit 511 and the horizontal scanning circuit 512 selects the vertical horizontal address scheme is taken out as a voltage or current. CDS(Correlated Double Sampling)518は相関2重サンプリングを行う回路であり、アンプ516等で発生するランダム雑音のうち1/f雑音を抑圧することができる。 CDS (Correlated Double Sampling) 518 is a circuit which performs correlated double sampling, it is possible to suppress the 1 / f noise of the random noise generated by the amplifier 516 and the like. 画素501以外の画素についても同様の構成、機能となっている。 Have the same configuration, functions for pixels other than the pixels 501. またCMOSロジックLSI製造プロセスの応用で大量生産が可能なため、高電圧アナログ回路を持つCCDイメージセンサと比較して安価であり、素子が小さいことから消費電力も少なく、原理的にスミアやブルーミングが発生しないという長所もある。 Also since it can be mass-produced in the application of the CMOS logic LSI fabrication process, it is inexpensive as compared with the CCD image sensor having a high voltage analog circuit, device power consumption less since it is small, the principle smear or blooming there is also an advantage that does not occur. 本実施形態ではモノクロのCMOS撮像素子15を使用したが、各画素には個別にR,G,Bのカラーフィルタを取り付けたカラー対応のCMOS撮像素子も使用できる。 Although using CMOS imaging element 15 of the black and white in this embodiment, each pixel individually R, G, color corresponding CMOS image sensor fitted with a color filter of B may also be used. R,G,G,Bの繰り返しを市松模様状に配置するベイヤー構造を用いて、1つの撮像素子でカラー化を簡易に達成できる。 R, G, using the Bayer structure to place G, the repetition of the B in a checkerboard pattern can be achieved colorization easily with a single imaging element.

次に、図8を参照して、撮像装置1の全体の構成について説明する。 Next, with reference to FIG. 8, a description will be given of the overall configuration of an imaging apparatus 1. 図8において、図1に示す同一の部分には同一の符号を付し、その説明を省略する。 8, denote the same parts shown in FIG. 1, the description thereof is omitted. 図8において、P001は撮像装置1の処理動作を統括して制御するCPU(Central Processing Unit)であり、マイクロコントローラ(マイコン)と呼ばれる場合もある。 In FIG. 8, P001 is a CPU (Central Processing Unit) which generally controls the processing operation of the imaging apparatus 1, may be called a microcontroller (MCU). P002は不揮発性メモリで構成するROM(Read Only Memory)であり、CPU・P001のプログラムや各処理部に必要な設定値を記憶する。 P002 is a ROM (Read Only Memory) constituting a non-volatile memory, and stores the set values ​​required for programs and respective processing unit of CPU · P001. P003はRAM(Random Access Memory)であり、CPUの一時的なデータを記憶する。 P003 is a RAM (Random Access Memory), and stores temporary data of the CPU. P004はVideoRAMであり、主に演算途中の映像信号、画像信号を記憶するためのもので、SDRAM(Synchronous Dynamic RAM)などで構成される。 P004 is VideoRAM, mainly intermediate computation of the video signal, used to store an image signal, and the like SDRAM (Synchronous Dynamic RAM).

図8はCPU・P001のプログラム格納用としてRAM・P003を、画像格納用としてVideoRAM・P004を持つ構成であるが、例えば2つのRAMブロックをVideoRAM・P004に統一する構成でもよい。 Figure 8 is a RAM · P003 as for storing programs of CPU · P001, is a structure having a VideoRAM · P004 as image storage, for example, may be two RAM blocks in a configuration that unified VideoRAM · P004. P005はシステムバスであり、CPU・P001、ROM・P002、RAM・P003、VideoRAM・P004、映像処理部27、映像合成処理部38、制御部33が接続されている。 P005 is a system bus, CPU · P001, ROM · P002, RAM · P003, VideoRAM · P004, the video processing unit 27, image synthesizing processing unit 38, the control unit 33 are connected. またシステムバスP005は、後述する映像処理部27、映像合成処理部38、制御部33の各ブロックの内部ブロックにも接続される。 The system bus P005 is, the video processing unit 27 to be described later, is also connected to the internal block of each block of the image composition processing unit 38, the control unit 33. CPU・P001がホストとしてシステムバスP005を制御しており、映像処理、画像処理及び光軸制御に必要な設定データが双方向に流れる。 CPU · P001 are in control of the system bus P005 as a host, image processing, image processing and configuration data necessary for the optical axis control flows in both directions. また、例えば映像合成処理部38の演算途中の画像をVideoRAM・P004に格納する際にこのシステムバスP005を使用する。 Further, for example, to use this system bus P005 when storing an image in the middle of operation of the image synthesis processing unit 38 in VideoRAM · P004. 高速転送速度が必要な画像信号用のバスと、低速のデータバスを異なるバスラインとしてもよい。 A bus for high-speed transfer rate image signals required, the may be different bus lines low-speed data bus. システムバスP005には、図示しないUSBやフラッシュメモリカードのような外部とのインターフェースや、ビューファインダとしての液晶表示器の表示駆動コントローラが接続される。 The system bus P005, interface and the external such as a USB or flash memory card, not shown, display drive controller of the liquid crystal display of the view finder is connected.

次に、図9、図10を参照して、映像処理部27と映像合成処理部38の処理動作を説明する。 Next, with reference to FIGS. 9 and 10, for explaining the processing operation of the video processing unit 27 and the video synthesis processing unit 38. 図9は、映像処理部27の構成を示すブロック図である。 Figure 9 is a block diagram showing the configuration of a video processing unit 27. 図9において、601は映像入力処理部、602は補正処理部、603は較正パラメータ記憶部である。 9, 601 denotes a video input processing unit, 602 the correction processing unit, 603 is a calibration parameter storage unit. 映像入力処理部601は、単位撮像部3から取り込んだ映像信号を入力し、例えばニー処理やガンマ処理などの信号処理を施し、さらにホワイトバランス制御も実施する。 Video input processor 601 inputs a video signal taken from the unit imaging unit 3, for example, performs signal processing such as knee processing or gamma processing, further also performs white balance control. 映像入力処理部601の出力は補正処理部602に渡されて、後述するキャリブレーション手順によって得られた較正パラメータに基づく歪みの補正処理が施される。 The output of the video input processor 601 is passed to the correction processing unit 602, the correction processing of the distortion based on the calibration parameters obtained by the calibration procedure described below is performed. 例えば撮像素子15の取り付け誤差に起因する歪みが較正される。 For example strain caused by the installation error of the imaging device 15 is calibrated. 較正パラメータ記憶部603はRAM(Random Access Memory)であり、キャリブレーション値(較正値)を記憶している。 Calibration parameter storage unit 603 is a RAM (Random Access Memory), and stores the calibration value (calibration value). 補正処理部602からの出力である補正済みの映像信号は、映像合成処理部38に出力される。 Corrected video signal which is output from the correction processing unit 602 is output to the video synthesis processing unit 38. 較正パラメータ記憶部603に記憶されているデータは、例えば撮像装置の電源投入時にCPU・P001によって更新される。 Data stored in the calibration parameter storage unit 603 is updated by the CPU · P001 e.g. at power up of the imaging device. または、較正パラメータ記憶部603をROM(Read Only Memory)として、工場出荷時のキャリブレーション手順にて格納データを確定してROMに記憶するようにしてもよい。 Alternatively, the calibration parameter storage unit 603 as a ROM (Read Only Memory), may be stored in the ROM to confirm the stored data in the calibration procedure at the time of factory shipment.

映像入力処理部601、補正処理部602及び較正パラメータ記憶部603は、それぞれシステムバスP005に接続されている。 Video input processor 601, the correction processing unit 602 and the calibration parameter storing unit 603 is connected to the system bus P005 respectively. 例えば映像入力処理部601の前述のガンマ処理の特性はROM・P002に格納されている。 For example the aforementioned properties of the gamma processing of the video input processor 601 are stored in ROM · P002. 映像入力処理部601は、CPU・P001のプログラムによって、ROM・P002に格納されているデータをシステムバスP005を介して受け取る。 Video input processor 601, by the program of CPU · P001, receives the data stored in the ROM · P002 through the system bus P005. また、補正処理部602は、演算途中の画像データをシステムバスP005を介してVideoRAM・P004に書き出し、またはVideoRAM・P004から読み出す。 The correction processing unit 602 reads the image data in the middle of operation writes to VideoRAM · P004 through the system bus P005 or from VideoRAM · P004,. 本実施形態ではモノクロのCMOSの撮像素子15を使用しているが、カラーのCMOS撮像素子を使用する場合、例えば撮像素子がベイヤ構造である場合は、映像処理部601でベイヤ補間処理を実施することになる。 In the present embodiment uses an imaging device 15 of the monochrome CMOS, when using a CMOS image sensor of the color, for example, when the imaging element is a Bayer structure implementing the Bayer interpolation process by the image processing unit 601 It will be.

図10は、映像合成処理部38の構成を示すブロック図である。 Figure 10 is a block diagram showing the configuration of a video synthesis processing unit 38. 合成処理部701は、複数の単位撮像部2〜7の撮像結果を合成処理する。 Synthesis processing unit 701 synthesizes the processing image pickup results of a plurality of unit imaging unit 2-7. 合成処理により、後述するように画像の解像度を改善することができる。 The synthesis process, it is possible to improve the resolution of the image as described below. 合成パラメータ記憶部702は、例えば後述するキャリブレーションによって導出される単位撮像部間の3次元座標から求まる画像シフト量のデータを格納している。 Synthesis parameter storage unit 702 stores the image shift amount of the data obtained from the 3-dimensional coordinates between the unit imaging units derived, for example, by later calibration. 判定部703では、映像合成結果に基づいて制御部への信号を生成する。 The decision unit 703 generates a signal to the control unit on the basis of the image synthesis result. ステレオ画像処理部704は、複数の単位撮像部2〜7の各撮像画像から画素毎のシフト量(画素毎のシフトパラメータ)を求める。 Stereo image processing unit 704 obtains a shift amount of each pixel from the captured images of the plurality of unit imaging unit 2-7 (shift parameter for each pixel). また撮像条件(距離)により撮像素子の画素ピッチで正規化したデータを求める。 The Request normalized data by the pixel pitch of the imaging device by the imaging condition (the distance).

合成処理部701は、このシフト量を基に画像をシフトさせて合成する。 Synthesis processing unit 701 synthesizes shifts the image on the basis of the shift amount. 判定部703は合成処理の結果を例えばフーリエ変換することで、映像信号の高帯域成分のパワーを検出する。 The determination unit 703 by the result of the synthesis process for example Fourier transform, to detect the power of the high-band component of the video signal. ここで、例えば4つの単位撮像部の合成処理を行う場合を仮定する。 Here, it is assumed the case where the composition processing of the example, four unit imaging unit. 撮像素子はワイドVGA(854画素×480画素)であると仮定する。 The imaging device is assumed to be wide VGA (854 pixels × 480 pixels). また、映像合成処理部38の出力であるビデオ出力がハイビジョン信号(1920画素×1080画素)であると仮定する。 The video output is the output of the video synthesis processing unit 38 is assumed to be a high vision signal (1920 pixels × 1080 pixels). この場合、判定部703で判断する周波数帯域は、およそ20MHzから30MHzである。 In this case, the frequency band determined by the determining unit 703 is a 30MHz approximately 20MHz. ワイドVGAの映像信号が再現可能な映像周波数の帯域上限はおよそ10MHz〜15MHzである。 Band upper limit of the possible video frequency reproduction wide VGA video signal is approximately 10MHz~15MHz. このワイドVGAの信号を用いて、合成処理部701で合成処理することにより、20MHz〜30MHzの成分を復元する。 Using the signal of the wide-VGA, by combining treatment with composition processing unit 701, restores the components of 20MHz~30MHz. ここで、撮像素子はワイドVGAであるが、主に撮像レンズ8〜13からなる撮像光学系は、ハイビジョン信号の帯域を劣化させない特性を持つことが条件となる。 Here, although the image sensor is a wide VGA, mainly imaging optical system consisting of imaging lens 8-13, have a characteristic that does not degrade the bandwidth of the HDTV signal it is a condition.

この合成後のビデオ信号の周波数帯域(前述の例では20MHz〜30MHzの成分)のパワーが最大となるように、制御部32〜制御部37を制御する。 Power frequency band of the video signal after the synthesis (components 20MHz~30MHz in the above example) is such that the maximum, for controlling the control unit 32 to control unit 37. 周波数軸での判断のために、判定部703ではフーリエ変換処理を行い、その結果の、特定の周波数以上(例えば20MHz)のエネルギーの大きさを判断する。 For the determination of the frequency axis, a determination unit 703 in the Fourier transform processing, resulting, it determines the magnitude of the energy of a specific higher frequency (e.g. 20 MHz). 撮像素子の帯域を越える映像信号帯域の復元の効果は、撮像素子上に結像した像を画素の大きさで決まる範囲で標本化する際の、その位相によって変化する。 The effect of restoring the video signal band exceeding the bandwidth of the imaging device, at the time of sampling in a range that is determined to formed image on the imaging device in the size of the pixel varies according to the phase. この位相を最適な状態とするために、制御部32〜37を用いて、撮像レンズ8〜13を制御する。 To this phase the optimum state, using the control unit 32-37 controls the imaging lens 8-13. 具体的には、制御部33は撮像レンズ9にある液晶レンズ301を制御する。 Specifically, the control unit 33 controls the liquid crystal lens 301 in the imaging lens 9. 液晶レンズ301の分割された電極304a、電極304b、電極304c、電極304dに印加する電圧のバランスを制御することで、図4に示した通り、撮像素子面上の画像が移動する。 Split electrodes 304a of the liquid crystal lens 301, the electrode 304b, the electrode 304c, by controlling the balance of the voltage applied to the electrode 304d, street, the image on the imaging element surface moves as shown in FIG. 制御結果の理想的な状態は、各々の単位撮像部の撮像結果の標本化位相が、互いに画素サイズの1/2だけ、水平、垂直、斜め方向にシフトした状態である。 The ideal state of the control results, the sampling phase of the result of imaging unit imaging units of each, by 1/2 of the pixel size to each other, a state of being shifted horizontally, vertically, obliquely. そのような理想的な状態になった場合、フーリエ変換の結果の高帯域成分のエネルギーは最大となる。 If now such an ideal condition, the energy of high band components of the result of the Fourier transform is maximized. つまり、液晶レンズの制御と、その結果の合成処理の判定を行うフィードバックループにより、フーリエ変換の結果のエネルギーを最大となるよう制御する。 That is, the control of the liquid crystal lens, the resulting feedback loop for determining the synthesis process, is controlled so that the maximum results of energy of the Fourier transform.

この制御方法は、映像処理部27からの映像信号を基準として、制御部33以外の制御部32、34〜37を介して撮像レンズ2、撮像レンズ4〜7を制御する。 This control method, based on the video signal from the video processing unit 27, the imaging lens 2 through the control unit 32,34~37 other than the control unit 33 controls the imaging lens 4-7. この場合、撮像レンズ2は、制御部32によって光軸位相が制御される。 In this case, the imaging lens 2, the optical axis phase is controlled by the control unit 32. その他の撮像レンズ4〜7についても同様に光軸位相が制御される。 Optical axis phase is controlled in the same manner for the other imaging lens 4-7. 各撮像素子の画素より小さいサイズでの位相の制御がなされることで、撮像素子で平均化される位相のオフセットが最適化される。 By controlling the phase of a smaller size than the pixels of the image sensor is made, the offset of the phase of the averaged image sensor is optimized. つまり、撮像素子上に結像した像を画素で標本化する際の、その標本化の位相を、光軸位相の制御により高精細化を行うために理想的な状態に制御する。 That is, when sampling the formed image on the imaging device in pixels, the phase of the sampling is controlled to an ideal state in order to perform a high definition by controlling the optical axis phase. その結果高精細、高画質な映像信号を合成することが可能となる。 As a result high resolution, it is possible to synthesize a high-quality video signal. 判定部703は、合成処理結果を判定し、高精細、高画質な映像信号が合成できていれば、その制御値を維持し、高精細、高画質な映像信号をビデオ出力する。 Judging unit 703 determines the combination processing results, and if possible high definition, high-quality video signal is synthesized, maintains its control value, to the video output high-definition, high-quality video signal. 一方、高精細、高画質な映像信号が合成できていなければ、再度撮像レンズの制御を行う。 On the other hand, if made high definition, high-quality video signal is synthesized, and controls the re-imaging lens.

ここでは、撮像素子1の画素と撮像対象の結像の位相が、画素のサイズ以下となるために、サブ画素と名前をつけて定義するが、画素を分割するサブ画素の構造が撮像素子上に実在するものではない。 Here, the phase of the imaging of the pixel and the imaging target image pickup device 1, in order to become less than the size of the pixel, but to define with the sub pixel and the name, the structure of the sub-pixels for dividing the pixels on the image sensor It does not actually exist in. また、映像合成処理部38の出力は、例えばビデオ信号であり、図示しないディスプレイに対して出力されたり、または図示しない画像記録部に渡されて、磁気テープやICカードに記録される。 The output of the video synthesis processing unit 38 is, for example, a video signal is passed to an image recording portion or is output to a display (not shown), or (not shown) and recorded on a magnetic tape or an IC card. 合成処理部701、合成パラメータ記憶部702、判定部703、ステレオ画像処理部704は、それぞれシステムバスP005に接続されている。 Composition processing unit 701, synthesis parameter storage unit 702, determination unit 703, stereo image processing unit 704 are respectively connected to the system bus P005. 合成パラメータ記憶部702はRAMで構成されている。 Synthesis parameter storage unit 702 is constituted by a RAM. 例えば、撮像装置の電源投入時にCPU・P001によってシステムバスP005を介して更新される。 For example, it is updated via the system bus P005 by CPU · P001 at power-on of the imaging apparatus. また、合成処理部701は、演算途中の画像データを、システムバスP005を介してVideoRAM・P004に書き出し、またはVideoRAM・P004から読み出す。 Further, the synthesis processing unit 701, the image data being operation, reads through the system bus P005 to VideoRAM · P004 writing or from VideoRAM · P004,.

ステレオ画像処理部704は、画素毎のシフト量(画素毎のシフトパラメータ)及び撮像素子の画素ピッチで正規化したデータを求める。 Stereo image processing unit 704 obtains the normalized data at the pixel pitch of and an imaging device (shift parameter for each pixel) the shift amount of each pixel. これは撮影した映像の1画面の中で複数の画像シフト量(画素毎のシフト量)で映像を合成する場合、具体的には撮影距離が近い被写体から遠い被写体まで焦点のあった映像を撮影したい場合に有効となる。 If this is the synthesis image in a plurality of image shift amounts in one screen of the image captured (shift amount of each pixel), specifically capturing an image photographing distance is in focus to the far object from the object the near It becomes effective if you want to. すなわち、被写界深度が深い映像を撮影できる。 In other words, the depth of field can take a deep image. 逆に画素毎のシフト量でなく、1画面で1つの画像シフト量を適用する場合は被写界深度が浅い映像を撮影できる。 Conversely instead of the shift amount of each pixel, when applying one of the image shift amounts in one screen can shoot a shallow image depth of field.

次に、図11を参照して、制御部33の構成を説明する。 Next, referring to FIG. 11, a configuration of the control unit 33. 図11において、801は電圧制御部、802は液晶レンズパラメータ記憶部である。 11, 801 is a voltage control unit, 802 is a liquid crystal lens parameter storing unit. 電圧制御部801は、映像合成処理部38の判定部703からの制御信号に従い、撮像レンズ9が備えている液晶レンズ301の各電極の電圧を制御する。 Voltage control unit 801 in accordance with the control signal from the determination unit 703 of the image synthesis processing unit 38, controls the voltage of each electrode of the liquid crystal lens 301 imaging lens 9 is provided. 制御される電圧は、液晶レンズパラメータ記憶部802から読み出すパラメータ値を基準に決定する。 Voltage control is determined on the basis of the parameter values ​​to be read from the liquid crystal lens parameter storage unit 802. このような処理により、液晶レンズ301の電界分布が理想的に制御されて、図4に示すように光軸が制御されて、結果取り込み位相が補正された状態で撮像素子15において光電変換される。 By such processing, the electric field distribution of the liquid crystal lens 301 is ideally controlled by the optical axis is controlled as shown in FIG. 4, the result uptake phase is photoelectrically converted in the image sensor 15 in a state of being corrected . このような制御によって、画素の位相が理想的に制御されて、その結果ビデオ出力信号の解像度が改善される。 This control, the phase of the pixel is ideally controlled, the resolution of the resulting video output signal is improved. 制御部33の制御結果が理想的な状態であれば、判定部703の処理であるフーリエ変換の結果のエネルギー検出が最大となる。 If the control result of the control unit 33 is in an ideal state, the results of the energy detection of the Fourier transform a processing of the determination unit 703 becomes maximum. そのような状態となるように、制御部33は、撮像レンズ9、映像処理部27、映像合成処理部38によるフィードバックループを構成して、高域周波数のエネルギーが大きく得られるように、液晶レンズを制御する。 So that such a state, the control unit 33, the imaging lens 9, the image processing unit 27, and a feedback loop by the video synthesis processing unit 38, so that the energy of the high frequency can be obtained large, the liquid crystal lens to control. 電圧制御部801、液晶レンズパラメータ記憶部802は、それぞれシステムバスP005に接続されている。 Voltage control unit 801, the liquid crystal lens parameter storage unit 802 are respectively connected to the system bus P005. 液晶レンズパラメータ記憶部802は例えばRAMで構成されており、撮像装置1の電源投入時にCPU・P001によってシステムバスP005を介して更新される。 The liquid crystal lens parameter storage unit 802 is composed of RAM for example, are updated through the system bus P005 by CPU · P001 at power-on of the imaging apparatus 1.

なお、図9〜図11に示す較正パラメータ記憶部603、合成パラメータ記憶部702及び液晶レンズパラメータ記憶部802は、同一のRAM、もしくはROMを用いて、記憶するアドレスで使い分ける構成にしてもよい。 Incidentally, the calibration parameter storage unit 603 shown in FIGS. 9 to 11, synthesis parameter storage unit 702 and the liquid crystal lens parameter storage unit 802, using the same RAM or ROM,, it may be configured to selectively use a storage address. また、ROM・P002やRAM・P003の一部のアドレスを使用する構成でもよい。 In addition, it may be configured to use a portion of the address of the ROM · P002 and RAM · P003.

次に、撮像装置1の制御動作を説明する。 Next, the control operation of the imaging apparatus 1. 図12は、撮像装置1の動作を示すフローチャートである。 Figure 12 is a flowchart showing the operation of the imaging apparatus 1. ここでは、映像合成処理において映像の空間周波数情報を使用する一例を示す。 Here, an example of using the spatial frequency information of the video in the video synthesis processing. まず、CPU・P001が制御処理の開始を指示すると、補正処理部602は、較正パラメータ記憶部603から較正パラメータを読み込む(ステップS901)。 First, the CPU · P001 instructs the start of the control process, the correction processing unit 602 reads the calibration parameters from the calibration parameter storing unit 603 (step S901). 補正処理部602は、読み取った較正パラメータを基に、単位撮像部2〜7毎の補正を行う(ステップS902)。 Correction processing unit 602, based on the calibration parameters read to correct the unit imaging units each 2-7 (step S902). この補正は、後述の単位撮像部2〜7毎の歪みを除去するものである。 This correction is to remove the distortion of the unit imaging unit every 2-7 below. 次に、合成処理部701は、合成パラメータ記憶部702から合成パラメータを読み込む(ステップS903)。 Then, the synthesis processing unit 701 reads the synthesis parameters from synthesis parameter storage unit 702 (step S903). また、ステレオ画像処理部704で画素毎のシフト量(画素毎のシフトパラメータ)、及び撮像素子の画素ピッチで正規化したデータを求める(ステップS911)。 Further, (shift parameter for each pixel) the shift amount of each pixel in the stereo image processing unit 704, and obtains the normalized data at the pixel pitch of the image pickup device (step S911). そして、合成処理部701は読み込んだ合成パラメータ、及び画素毎のシフト量(画素毎のシフトパラメータ)、撮像素子の画素ピッチで正規化したデータを基にサブ画素映像合成高精細化処理を実行する(ステップS904)。 Then, the synthesis processing unit 701 read the synthesis parameters, and (shift parameter for each pixel) the shift amount of each pixel, to perform a sub-pixel video composition high-resolution processing based on normalized data by the pixel pitch of the imaging device (step S904). 後述するように、サブ画素単位での位相が異なる情報をもとに高精細画像を構築する。 As described below, the phase of a sub-pixel unit to build a high-definition image on the basis of different information.

次に、判定部703は高精細判定を実行し(ステップS905)、高精細か否かを判定する(ステップS906)。 Next, the determination unit 703 performs a high-resolution determination (step S905), determines whether the high-definition (step S906). 判定部703は、内部に判定用の閾値を保持しており、高精細の度合いを判定して、この判定結果の情報を制御部32〜37のそれぞれに渡す。 Determination unit 703 holds the threshold value for judging the internal, to determine the degree of high definition, passes information of the determination result to each control unit 32-37. 各制御部32〜37は、高精細が達成されている場合は制御電圧を変更せずに、液晶レンズパラメータは同一値を保持する(ステップS907)。 Each control unit 32 to 37, if the high-resolution is achieved without changing the control voltage, the liquid crystal lens parameter holds the same value (step S907). 一方、高精細ではないと判定された場合、制御部32〜37は、液晶レンズ301の制御電圧を変更する(ステップS908)。 On the other hand, if it is determined not to be high-definition, control unit 32-37 is to change the control voltage of the liquid crystal lens 301 (step S908). CPU・P001は、制御終了条件を管理しており、例えば装置のパワーオフの条件が成立したか否かを判定し(ステップS909)、制御終了条件が満たされていなければ、ステップS903へ戻り、処理を繰り返す。 CPU · P001 manages the control termination condition, for example, a power-off condition of the apparatus determines whether or not satisfied (step S909), if the control end condition has not been met, the process returns to step S903, processing repeated. 一方、制御終了条件を満たしていれば処理を終了する。 On the other hand, the process is terminated if they meet the control termination conditions. なお、制御終了条件は、装置のパワーオン時に予め高精細判定回数を10回というように定めておき、指定回数分、ステップS903〜S909の処理を繰り返すようにしてもよい。 The control end condition is previously determined power-on high-resolution determination count advance when the apparatus so that 10 times, the specified times, may be repeats the process of step S903~S909.

次に、図13を参照して、図12に示すサブ画素映像合成高精細化処理(ステップS904)の動作を説明する。 Next, referring to FIG. 13, the operation of the sub-pixel video composition high-resolution processing shown in FIG. 12 (step S904). 画像サイズ、倍率、回転量及びシフト量は合成パラメータであり、合成パラメータ読み込み処理(ステップS903)において合成パラメータ記憶部702から読み出されるパラメータである。 Image size, magnification, rotation amount and the shift amount is a synthetic parameter is a parameter read from the synthesis parameter storage unit 702 in the synthesis parameter read processing (step S903). ここでは、4つの単位撮像部から1つの高精細画像を得る場合を仮定する。 Here, assume a case of obtaining a single high-resolution image of four unit imaging unit. 個々の単位撮像部にて撮像した4つの画像から、回転量とシフト量のパラメータを使用して1つの座標系に重ねる。 Four images captured by the individual unit imaging unit, using the parameters of the rotation amount and the shift amount superimposed on one coordinate system. そして、4つの画像と距離による重み係数によってフィルタ演算を行う。 Then, the filter calculation by the weight coefficient by the four images and distance. 例えばフィルタはキュービック(3次近似)を使用する。 For example, the filter uses a cubic (third-order approximation). 距離dにある画素から取得する重みwは次式となる。 Weights acquired from pixels at a distance d w becomes the following equation.
w=1−2×d2+d3 (0≦d<1) w = 1-2 × d2 + d3 (0 ≦ d <1)
=4−8×d+5×d2−d3 (1≦d<2) = 4-8 × d + 5 × d2-d3 (1 ≦ d <2)
=0 (2≦d) = 0 (2 ≦ d)

次に、図14を参照して、図12に示す判定部703が行う高精細判定処理(ステップS905)の詳細動作を説明する。 Next, with reference to FIG. 14, for explaining the detailed operation of the high-resolution determination processing performed by determination unit 703 shown in FIG. 12 (step S905). まず、判定部703は、定義範囲の信号を抽出する(ステップS1001)。 First, the determination unit 703 extracts a signal of a defined range (step S1001). 例えばフレーム単位の1画面を定義範囲とした場合は別途図示しないフレームメモリブロックを持ち、あらかじめ1画面分の信号を記憶する。 For example, when the defined range 1 screen frame has not otherwise shown frame memory block, stores in advance one screen of the signal. 例えばVGA解像度であれば、1画面分は640×480画素からなる2次元の情報である。 For example, if the VGA resolution, one screen is two-dimensional information consisting of 640 × 480 pixels. この2次元情報に対して、判定部703は、フーリエ変換を実行して、時間軸の情報を周波数軸の情報に変換する(ステップS1002)。 For this two-dimensional information, the determination unit 703 executes a Fourier transform to convert the information of the time axis information of the frequency axis (step S1002). 次に、HPF(High pass filter:高域通過濾過器)によって、高域信号を抽出する(ステップS1003)。 Next, HPF: by (High pass filter high pass filter), and extracts the high-frequency signal (step S1003). 例えば、撮像素子9が、アスペクト比が4:3、60fps(Frame Per Second)(プログレッシブ)のVGA信号(640画素×480画素)であり、映像合成処理部の出力であるビデオ出力信号がQuad−VGAである場合を仮定する。 For example, the image pickup device 9, the aspect ratio of 4: 3,60fps (Frame Per Second) (progressive) VGA signal (640 pixels × 480 pixels) of the video output signal which is the output of the video synthesis processing unit Quad- suppose the case of a VGA. VGA信号の限界解像度が約8MHzであり、合成処理にて10MHz〜16MHzの信号を再生する場合を仮定する。 Limiting resolution of VGA signal is about 8 MHz, it is assumed the case of reproducing signals 10MHz~16MHz a synthetic process. この場合、HPFは例えば10MHz以上の成分を通過させる特性を持つ。 In this case, HPF has a characteristic of passing the 10MHz or more components, for example. 判定部703は、この10MHz以上の信号を閾値と比較して判定を行う(ステップS1004)。 Determination unit 703 makes the determination by comparing the 10MHz or more signals with a threshold value (step S1004). 閾値は、例えばフーリエ変換した結果のDC(直流)成分を1とした場合の10MHz以上のエネルギーの閾値を0.5と設定して、その閾値との比較とする。 Threshold, for example, a 10MHz or more energy thresholds in the case of a 1 Fourier transform result of the DC (direct current) component is set to 0.5, the comparison with the threshold.

前述した説明においては、ある解像度の撮像結果の1フレーム分の画像を基準にフーリエ変換する場合を説明したが、定義範囲をライン単位(水平同期繰り返しの単位、ハイビジョン信号であれば、有効画素数1920画素単位)で定義すれば、フレームメモリブロックが不要となり、回路規模を小さくすることが可能となる。 In the above description, a case has been described Fourier transforming one frame image of a resolution of the imaging result to the reference, the unit of the definition range line unit (horizontal synchronizing repetition, if HDTV signals, the number of effective pixels by defining 1920 pixels), the frame memory block is not necessary, it is possible to reduce the circuit scale. この場合、例えばハイビジョン信号であれば、例えばライン数の1080回、フーリエ変換を繰り返し実行して、ライン単位の1080回分の閾値比較判定を総合して、一画面の高精細度合いを判断してもよい。 In this case, if for example HDTV signal, for example, the number of lines of 1080 times, then repeat the Fourier transform, and overall the threshold comparison decision of 1080 times the line units, also determine the high-resolution degree of one screen good. また、画面単位の閾値比較判定結果を数フレーム分使用して判断してもよい。 Further, it may be determined using several frames a threshold comparison decision result in the unit of a picture. このように、複数の判定結果をもとに総合判定することで、突発的なノイズの影響などを除去可能となる。 In this way, by comprehensively determining a plurality of determination results on the basis of the possible removal of such unexpected noise effects. また、閾値判定は、固定の閾値を使用してもよいが、閾値を適応的に変更してもよい。 The threshold determination may also be used fixed threshold value, the threshold value may be changed adaptively. 判断している画像の特徴を別途抽出して、その結果をもとに閾値を切り替えてもよい。 Determined to be characterized separately extracted images are, may switch the threshold based on the results. 例えば、ヒストグラム検出で画像の特徴を抽出してもよい。 For example, it may be extracted image features in the histogram detection. また、過去の判定結果と連動して現在の閾値を変更してもよい。 It is also possible to change the current threshold in conjunction with past determination results.

次に、図15を参照して、図12に示すは制御部32〜37が実行する制御電圧変更処理(ステップS908)の詳細動作を説明する。 Next, referring to FIG. 15, FIG. 12 illustrates the detailed operation of the control voltage changing process control unit 32 to 37 is executed (step S908). ここでは、制御部33の処理動作を例として説明するが、制御部32、34〜37の処理動作も同様である。 Here, explaining the processing operation of the control unit 33 as an example, it is the same processing operation of the controller 32,34~37. まず、電圧制御部801は、液晶レンズパラメータ記憶部802から現在の液晶レンズのパラメータ値を読み出す(ステップS1101)。 First, the voltage control unit 801 reads the parameter value of the current of the liquid crystal lens from the liquid crystal lens parameter storage unit 802 (step S1101). そして、電圧制御部801は、液晶レンズのパラメータ値を更新する(ステップS1102)。 The voltage control unit 801 updates the parameter values ​​of the liquid crystal lens (step S1102). 液晶レンズパラメータには過去の履歴を持たせておき、例えば現在4つの電圧制御部33a、33b、33c、33dに対して、電圧制御部33aの電圧を過去の履歴で40V、45V、50Vと5V置きに上昇させている最中である場合、履歴と今回の高精細ではないという判断から、さらに電圧を上げるべきと判断し、電圧制御部33b、電圧制御部33c、電圧制御部33dの電圧値を保持しながら、電圧制御部33aの電圧を55Vに更新する。 40V to the liquid crystal lens parameters advance to have a past history, for example, the current four voltage control unit 33a, 33b, 33c, relative to 33d, the voltage of the voltage control unit 33a in the past history, 45V, 50 V and 5V If in the process of being raised to put, from decision that it is not the history and the current high definition, further it determines that should raise the voltage, the voltage control unit 33b, the voltage control unit 33c, a voltage value of the voltage control unit 33d while maintaining, updating the voltage of the voltage control unit 33a to 55V. このように、順次4つの液晶レンズの電極304a、304b、304c、304dに与える電圧値を更新する。 Thus, to update the electrode 304a of the sequential four liquid crystal lenses, 304b, 304c, a voltage value applied to 304d. また、更新した値は、履歴として液晶レンズパラメータの値を更新する。 Also, updated values ​​to update the value of the liquid crystal lens parameters as a history.

以上の処理動作により、複数の単位撮像部2〜7の撮像画像をサブ画素単位で合成して、その高精細の程度を判定して、高精細性能を維持するように制御電圧を変更することで、高画質な撮像装置を実現することが可能となる。 By the above processing operation, that by combining the captured images of the plurality of unit imaging units 2 to 7 in the sub-pixel unit, to determine the degree of high definition, changes the control voltage so as to maintain a high-definition performance in, it is possible to achieve high-quality imaging apparatus. 分割された電極304a、電極304b、電極304c、電極304dに異なる電圧を印加することで、撮像レンズ8〜13によって撮像素子上に結像した像を撮像素子の画素で標本化する際の、標本化位相を変化させる。 Split electrodes 304a, the electrode 304b, the electrode 304c, by applying different voltages to the electrodes 304d, the time of sampling the image formed on the imaging device by the imaging lens 8-13 in pixels of the image pickup device, the specimen changing the reduction phase. その制御の理想的な状態は、各々の単位撮像部の撮像結果の標本化位相が、互いに画素サイズの1/2だけ、水平、垂直、斜め方向にシフトした状態である。 The ideal state of the control sampling phase of the image pickup results of unit imaging units of each, by 1/2 of the pixel size to each other, a state of being shifted horizontally, vertically, obliquely. 理想的な状態であるかどうかの判断は、判定部703で判断する。 Determination of whether an ideal state is determined by the determining unit 703.

次に、図16を参照して、カメラキャリブレーションの処理動作を説明する。 Next, with reference to FIG. 16, for explaining the processing operation of the camera calibration. この処理動作は、例えば撮像装置1の工場生産時に行う処理であり、撮像装置の電源投入時に複数の操作ボタンを同時に押すなどの特定の操作を行うことでこのカメラキャリブレーションを実行する。 This processing operation is, for example, a process performed at the time of factory production of the imaging apparatus 1 executes the camera calibration by performing a specific operation such as pressing a plurality of operation buttons simultaneously at the time of power-on of the imaging apparatus. このカメラキャリブレーション処理は、CPU・P001によって実行される。 The camera calibration process is executed by the CPU · P001. まず、撮像装置1を調整する作業者が、パターンピッチが既知のチェッカーパターンや市松模様のテストチャートを用意して、姿勢やアングルを変えながらチェッカーパターンの30種類の姿勢で撮像して画像を取得する(ステップS1201)。 First, obtain the operator to adjust the imaging apparatus 1, the pattern pitch is prepared test chart known checkered pattern or a checkered pattern, an image captured by 30 different attitude of the checkered pattern while changing the orientation and angle (step S1201). 続いて、CPU・P001はこの撮像画像を、単位撮像部2〜7毎に解析して、単位撮像部2〜7毎の外部パラメータ値、内部パラメータ値を導出する(ステップS1202)。 Subsequently, CPU · P001 is the captured image, by analyzing every unit imaging unit 2-7, an external parameter value unit imaging units each 2-7, derives the internal parameter value (step S1202). 例えばピンホールカメラモデルと呼ばれるような一般的なカメラのモデルであれば、外部パラメータ値はカメラの姿勢の3次元での回転情報と並進情報の6つが外部パラメータとなる。 For example, if a general camera model as called pinhole camera model, the external parameter value six rotation information and translation information in the three-dimensional attitude of the camera becomes an external parameter. また同様に内部パラメータは5つである。 The internal parameters as well is five. このようなパラメータを導出することが、較正(キャリブレーション)である。 It is calibrated (calibration) to derive such parameters. 一般的なカメラモデルでは、外部パラメータは、世界座標に対してカメラの姿勢を示すヨー、ピッチ、ロールの3軸ベクトルと、平行移動成分を示す並進ベクトルの3軸成分の、合計6つである。 In a typical camera model, external parameters, yaw illustrating the orientation of the camera to the world coordinates, pitch, three-axis components of the translation vector showing the three-axis vector of the roll, the translation component is total of six . また、内部パラメータは、カメラの光軸が撮像素子と交わる画像中心(u0,v0)、撮像素子上で仮定した座標の角度とアスペクト比、焦点距離の5つである。 Further, the internal parameters, the image center (u0, v0) of the optical axis of the camera intersects the image sensor, angle and aspect ratio of the assumed coordinates on the image pickup device, is five focal lengths.

次に、CPU・P001は、得られたパラメータを較正パラメータ記憶部603に記憶する(ステップS1203)。 Next, CPU · P001 stores the obtained parameter in the calibration parameter storage unit 603 (step S1203). 前述の通り、本パラメータを単位撮像部2〜7の補正処理(図12に示すステップS902)で使用することで、単位撮像部2〜7の個別のカメラ歪みが補正されることになる。 As described above, by using the correction processing of this parameter the unit imaging unit 2-7 (step S902 of FIG. 12), so that the individual camera distortion unit imaging unit 2-7 is corrected. すなわち、本来直線であったチェッカーパターンがカメラの歪みで曲線となって撮像される場合があるので、これを直線に戻すためのパラメータをこのカメラキャリブレーション処理によって導出して、単位撮像部2〜7の補正を行う。 That is, since there is a case where the original checkered pattern was linear imaged become curve distortion of the camera, which was derived the parameters for a straightening by the camera calibration process unit imaging unit 2 perform a 7 correction of.

次に、CPU・P001は、単位撮像部2〜7間のパラメータを単位撮像部2〜7間の外部パラメータを導出して(ステップS1204)、合成パラメータ記憶部702、液晶レンズパラメータ記憶部802に記憶されているパラメータを更新する(ステップS1205、S1206)。 Next, CPU · P001 is a parameter between the unit imaging unit 2 to 7 derives the external parameter between the unit imaging unit 2-7 (Step S1204), synthesis parameter storage unit 702, the liquid crystal lens parameter storage unit 802 updating parameters stored (step S1205, S1206). この値は、サブ画素映像合成高精細化処理S904、及び制御電圧変更S908で使用される。 This value is used in the sub-pixel video composition high-resolution processing S904, and the control voltage changes S908.

なお、ここでは撮像装置内のCPUまたはマイコンにカメラキャリブレーションの機能を持たせた場合を示したが、例えば別途パソコンを用意して、このパソコン上で同様の処理を実行させて、得られたパラメータのみを撮像装置にダウンロードするような構成でもよい。 Here, although it shows the case having the function of camera calibration CPU or a microcomputer in the imaging apparatus, for example separately prepared the computer, by executing the same processing on the computer, resulting the only parameters may be configured such that downloaded to the imaging device.

次に図17を参照して、単位撮像部2〜7のカメラキャリブレーションの原理について説明する。 Referring now to FIG. 17, a description will be given of the principle of camera calibration unit imaging unit 2-7. ここでは、カメラによる投影の様子について図17に示すようなピンホールカメラモデルを用いて考える。 Here, the state of the projection by the camera consider using a pinhole camera model as shown in Figure 17. ピンホールカメラモデルにおいて、画像平面に至る光は全てレンズの中心の1点であるピンホールを通過し、画像平面と交差した位置で像を結ぶ。 In the pinhole camera model, passes through the pinhole is light reaching the image plane is a point at the center of all the lens, it forms an image at a position intersecting the image plane. 光軸と画像平面との交点を原点とし、カメラの素子の配置軸に合わせてx軸とy軸をとる座標系を画像座標系と呼び、カメラのレンズ中心を原点、光軸をZ軸とし、x軸とy軸に平行にX軸とY軸をとる座標系をカメラ座標系と呼ぶ。 The intersection of the optical axis and the image plane as the origin, in accordance with arrangement axis of the device of the camera is referred to as the image coordinate system to the coordinate system taking the x-axis and y-axis, the lens center of the camera origin, the optical axis and Z-axis , a coordinate system taking the X-axis and Y-axis parallel to the x-axis and y-axis is referred to as a camera coordinate system. ここで、空間を表す座標系であるワールド座標系(Xw,Yw,Zw)での3次元座標M=[X,Y,Z]Tと、その投影である画像座標系(x,y)上の点m=[u,v]Tとの間には、(1)式のように関連付けられる。 Here, the world coordinate system is a coordinate system representing the spatial (Xw, Yw, Zw) 3-dimensional coordinates M = at [X, Y, Z] T and the image coordinate system is the projection (x, y) on between the m = [u, v] T points are associated as in (1).

ここで、Aは内部パラメータ行列といい、次の(2)式のような行列である。 Here, A is called an internal parameter matrix is ​​a matrix as shown in the following equation (2).

α,βは画素の大きさと焦点距離との積からなるスケール係数、(u0,v0)は画像中心、γは画像の座標軸の歪みを表すパラメータである。 alpha, beta is a scale factor consisting of the product of the size and focal length of the pixel, (u0, v0) is the image center, gamma is a parameter representing the distortion of the coordinate axes of the image. また、[R t]は外部パラメータ行列といい、3×3の回転行列Rと平行移動ベクトルtを並べた4×3行列である。 Furthermore, [R t] is referred to as an external parameter matrix, a 4 × 3 matrix by arranging the rotation matrix R and translation vector t of 3 × 3.

Zhangのキャリブレーション手法では、既知のパターンが貼り付けられた平板を動かしながら画像を(3回以上)撮影するだけで、内部パラメータ、外部パラメータ、レンズ歪みパラメータを求めることができる。 In the calibration technique Zhang, an image (or 3 times) while moving the known pattern is stuck flat just captured, internal parameters can be determined external parameters, lens distortion parameters. この手法では、キャリブレーション平面をワールド座標系のZw=0の平面としてキャリブレーションする。 In this approach, to calibrate the calibration plane as a plane of Zw = 0 in the world coordinate system. (1)式で示したキャリブレーション平面上の点Mと、その平面を撮影した画像上の対応する点mとの関係は、次の(3)式のように書き変えることができる。 (1) and M points on the calibration plane shown by the formula, the relationship between the corresponding point m on the image taken the plane can be rewritten as the following equation (3).
平面上の点と画像上の点との関係は3×3のホモグラフィ行列Hで、(4)式のように記述できる。 Relationship between points on a point on the plane and the image is a 3 × 3 homography matrix H, can be written as equation (4).

キャリブレーション平面の画像が1つ与えられると、ホモグラフィ行列Hが1つ得られる。 When the image of the calibration plane is given one homography matrix H is obtained by one. このホモグラフィH=[h1 h2 h3]が得られると、(4)式より次の(5)式が得られる。 When the homography H = [h1 h2 h3] is obtained, (4) the following equation (5) than is obtained.

Rが回転行列なのでr1とr2は直交であることから、次に示す内部パラメータに関する2つの拘束式である(6)、(7)式が得られる。 Since R is so rotation matrix r1 and r2 are orthogonal, it is two constraint equation relating to the internal parameters shown below (6) is obtained (7).

A−TA−1は(8)式のように、3×3の対象行列で6つの未知数を含んでおり、1つのHにつき2つの式を立てることができるので、Hが3つ以上得られれば内部パラメータAを決定することができる。 A-TA-1, as in (8), contains six unknowns in the target matrix 3 × 3, it is possible to make a two equations per one of H, obtained H is 3 or more if it is possible to determine the internal parameters a. ここで、A−TA−1は対象性を持っていることから Here, A-TA-1 is from having symmetry
とするBの要素を並べたベクトルを A vector obtained by arranging the elements of B to
と定義する。 It is defined as. ホモグラフィHのi番目の列ベクトルをhi=[hi1 hi2 hi3]T,(i=1,2,3)とすると、hiTBhjは The i-th column vector of homography H hi = [hi1 hi2 hi3] T, when the (i = 1,2,3), hiTBhj is

と表せる。 And it can be expressed.

これにより、(6)式と(7)式は次式のようになる。 Thus, (6) and (7) it is given by the following equation.

もし、n枚の画像が得られていれば、n個の上記の式を積み重ねることで、 If, if n images are obtained, by stacking the n-number of the above formulas,
を得る。 Obtained. ここで、Vは2n×6の行列である。 Here, V is a matrix of 2n × 6. これより、bはVTVの最小固有値に対応する固有ベクトルとして求められる。 Than this, b is obtained as the eigenvector corresponding to the minimum eigenvalue of the VTV. この場合、n≧3であれば直接bに関する解を得ることができるが、n=2の場合は内部パラメータ中のγ=0とすることで、式[0 1 0 0 0 0]b=0を(13)式に加えることで解を得る。 In this case, it is possible to obtain a solution for direct b if n ≧ 3, in the case of n = 2 With gamma = 0 in the internal parameter, wherein [0 1 0 0 0 0] b = 0 obtain solutions by adding to (13). また、n=1であれば2つの内部パラメータしか求めることができないため、例えばαとβのみを未知とし、残りの内部パラメータを既知とすることで解を得る。 Further, since n = a long if two internal parameters can only be obtained 1, only the unknown e.g. α and beta, obtaining a solution by the remaining internal parameters known. bを求めることでBが求まれば、B=μA−TAからカメラの内部パラメータは(14)式で計算される。 If B is Motomare by obtaining b, internal parameters of the camera from B = .mu.A-TA is calculated by the equation (14).

また、これより内部パラメータAが求まれば、外部パラメータに関しても(5)式より、 Further, this more internal parameter A is obtained, than with regard external parameters (5),
として求めることができ、ここまでで得られたパラメータを初期値とする非線形最小二乗法によってパラメータを最適化することで、最適な外部パラメータを得ることができる。 It can be obtained as the parameters obtained so far by optimizing the parameters by nonlinear least-squares method to the initial value, it is possible to obtain an optimum external parameters.

以上のように、全ての内部パラメータが未知の場合においては、異なる視点から内部パラメータを固定した状態で撮影した3枚以上の画像を用いることでカメラキャリブレーションを行うことができる。 As described above, in the case all the internal parameters are unknown, it is possible to perform camera calibration by using three or more images captured in a state of fixing the internal parameters from different perspectives. この時、一般的には画像枚数が多いほどパラメータ推定精度は高くなる。 In this case, parameter estimation accuracy is generally greater the number of images increases. また、キャリブレーションに用いる画像間における回転が小さい場合に誤差が大きくなる。 Furthermore, error becomes large when the rotation between images used for calibration is small.

次に、図18、図19を参照して、カメラキャリブレーションで求められるカメラ(撮像装置)の位置・姿勢を表すカメラパラメータから、各画像で同じ領域が写っている領域を、サブ画素の精度で対応づける方法について説明する。 Next, FIG. 18 and 19, the camera parameters representing the position and orientation of the camera (imaging device) obtained by the camera calibration, the region that is reflected is the same region in each image, the sub-pixel accuracy associating method will be described in. 図18は、基本となる撮像素子15(これを基本カメラと称する)とそれと隣り合う隣接の撮像素子16(これを隣接カメラと称する)にて対象物体面上の点Mを前述の液晶レンズを介して各撮像素子上の点m1またはm2へ投影(撮影)する場合を示している。 Figure 18 is a underlying image sensor 15 (referred to this as a basic camera) and the aforementioned liquid crystal lens of the M points on the object surface by an adjacent image pickup element 16 adjacent to it (this is referred to as an adjacent camera) through it shows a case where the projection (shot) to the point m1 or m2 on the imaging elements. また、図19は図18を、図17に示すピンホールカメラモデルを用いて図示したものである。 Further, FIG. 19 to FIG. 18, but illustrating with a pinhole camera model shown in Figure 17. ワールド座標系上の点Mと画像座標系上の点mの関係は、カメラの移動性等から、中心射影行列Pを用いて表すと(1)式より、 Relationship m points on the point M and the image coordinate system on the world coordinate system, the movement and the like of the camera, than when expressed by using the central projection matrix P (1) formula,
と表せる。 And it can be expressed.

算出されたPを用いることで、三次元空間中の点と二次元画像平面上の点との対応関係が記述できる。 By using the calculated P, correspondence between a point on the point and the two-dimensional image plane in three-dimensional space can be described. 図19に示す構成において、基本カメラの中心射影行列をP1とし、隣接カメラの中心射影行列をP2とする。 In the configuration shown in FIG. 19, the central projection matrix of the basic camera and P1, the central projection matrix of the adjacent cameras to P2. 画像平面1上の点m1から、その点と対応する画像平面2上の点m2を求めるために、以下の方法を用いる。 From the point m1 on the image plane 1, to determine the point m2 on the image plane 2 corresponding to the point, the following method is used.
(1)(16)式よりm1から三次元空間中の点Mを求める。 (1) (16) determine the point M in the three-dimensional space from than m1 equation. 中心射影行列Pは、3×4の行列であるため、Pの疑似逆行列を用いて求める。 Central projection matrix P are the matrices of 3 × 4, obtained by using a pseudo inverse matrix of P.
(2)算出された三次元位置より、隣接カメラの中心射影行列P2を用いて、隣接画像の対応点m2を求める。 (2) from the calculated three-dimensional position, using a central projection matrix P2 of the adjacent camera, obtaining the corresponding points m2 of adjacent images.

カメラパラメータPはアナログの値を持っているので、算出された基本画像と隣接画像の対応点m2は、サブ画素単位で求まる。 Since the camera parameter P has a value of the analog, the corresponding point m2 of the calculated basic image and the adjacent image, obtained by sub-pixel basis. カメラパラメータを用いる対応点マッチングには、既にカメラパラメータが求まっているため、行列計算だけで対応点を瞬時に算出できる利点がある。 The corresponding point matching using a camera parameter, because it is already Motoma' camera parameters, can be advantageously calculate corresponding points instantly by matrix calculation.

次に、レンズの歪みとカメラキャリブレーションについて説明する。 Next, a description will be given distortion and camera calibration of the lens. ここまではレンズを1つの点と見なすピンホールモデルで説明したが、実際にはレンズには有限の大きさがあるため、ピンホールモデルでは説明できない場合がある。 So far has been described in the pinhole model regarded lens and one point, in fact the lens is because of the finite size, the pinhole model may not be described. このような場合の歪みの補正について、以下に説明する。 For correction of distortion in such a case will be described below. 凸レンズを使用する場合、入射光が屈折することによる歪みが発生する。 When using a convex lens, distortion occurs due to the incident light is refracted. このような放射方向の歪みに対する補正係数をk1、k2、k5と置く。 Placing the correction factor for such distortion of the radial k1, k2, k5 and. また、レンズと撮像素子が平行に配置されない場合は、接線方向の歪みを生じる。 Further, when the lens and the imaging device are not arranged in parallel, resulting in distortion of the tangential direction. この法線方向の歪みに対する補正係数をk3、k4と置く。 The correction factor for the distortion of the normal direction put the k3, k4. これらの歪みを歪曲収差と呼ぶ。 These distortions is called a distortion aberration. ここで、歪み補正式は下記となる。 Here, distortion correction equation is the following.

ここで、(xu,yu)は歪曲収差のない理想的なレンズの撮像結果の画像座標であり、(xd、yd)は歪曲収差のあるレンズの画像座標である。 Here, (xu, yu) is the image coordinates of the imaging result of an ideal lens with no distortion, (xd, yd) is the image coordinates of the lens with distortion. この座標の座標系は、双方とも前述の画像座標系x軸、y軸である。 Coordinate system of the coordinates, both the image coordinate system x-axis of the above, the y-axis. また、rは画像中心から(xu,yu)までの距離である。 Further, r is the distance from the image center to (xu, yu). 画像中心は、前述の内部パラメータu0,v0で定まる。 Image center is determined by the internal parameters u0, v0 described above. 以上のモデルを仮定して、係数k1〜k5や内部パラメータをキャリブレーションによって導出すれば、歪の有無による結像座標の差が求まり、実物レンズに起因する歪みを補正することが可能となる。 Assuming the above models, if derive the coefficients k1~k5 and internal parameters by the calibration, Motomari difference in imaging coordinates with and without distortion, it is possible to correct the distortion caused by the real lens.

図20は、撮像装置1の撮像の様子を示す模式図である。 Figure 20 is a schematic diagram showing the imaging of the imaging device 1. 撮像素子15と撮像レンズ9からなる単位撮像部3は、撮像範囲aを撮像する。 Unit imaging unit 3 comprising a pickup device 15 and the imaging lens 9 captures an imaging range a. 撮像素子16と撮像レンズ10からなる単位撮像部4は、撮像範囲bを撮像する。 Unit imaging unit 4 consisting of the image pickup device 16 and the imaging lens 10 images the imaging range b. 2つの単位撮像部3、4にて略同一の撮像範囲を撮像する。 Capturing substantially the same imaging range in two unit imaging units 3 and 4. 例えば撮像素子15、16の配置間隔を12mm、単位撮像部3、4の焦点距離が5mm、撮像範囲までの距離が600mm、単位撮像部3、4の光軸が各々平行である場合、撮像範囲a,bの異なる範囲のエリアはおよそ3%程度である。 For example, when 12mm the arrangement interval of the image pickup device 15, the focal length of the unit imaging unit 3, 4 5 mm, the distance to the imaging range is 600 mm, the optical axis of unit imaging units 3 and 4 are each parallel imaging range a, areas of different ranges of b is about approximately 3%. このように、同一部を撮像して合成処理部38で高精細化処理を行う。 Thus, performing the high resolution processing in combining section 38 to image the same portion.

次に、図21、図22を参照して、撮像装置1の高精細化について説明する。 Next, FIG. 21, with reference to FIG. 22, a description will be given high definition of the image pickup apparatus 1. 図21の横軸は、空間の広がりを示す。 The horizontal axis of FIG. 21 shows the spread of space. この空間の広がりとは、現実の空間である場合と、撮像素子上の仮想空間広がりと、双方を示すものである。 The extent of this space, and when a real space, a virtual spatial extent on the image sensor is indicative of both. これらは、外部パラメータ、内部パラメータを用いれば相互に変換、換算が可能であるので同義である。 These are external parameters, converted to each by using the internal parameters, synonymous because it is possible in terms. また、撮像素子から順次読み出された映像信号をみなした場合は、図21の横軸は時間軸となるが、この場合もディスプレイに表示された場合は観察者の目において空間の広がりと認識されるため、映像信号の時間軸である場合も空間の広がりと同義である。 Also, if deemed sequentially read image signals from the imaging device, but the horizontal axis represents the time axis of FIG. 21, if it is displayed on the display also in this case the extent of the space in the observer's eye recognition to be synonymous with the spread of the space be a time axis of the video signal. 図21の縦軸は振幅、強度である。 The vertical axis of FIG. 21 is amplitude is the intensity. 物体反射光の強度を撮像素子の画素で光電変換して電圧レベルとして出力することから、振幅とみなしてよい。 Since the output intensity of the object light reflected as a voltage level and photoelectrically converted by pixels of the imaging device, it may be regarded as the amplitude.

図21(a)は、現実空間での物体の輪郭である。 Figure 21 (a) is a contour of an object in the real space. この輪郭、すなわち物体の反射光の強度を撮像素子の画素の広がりで積分するため、単位撮像部2〜7にて図21(b)のように取り込まれる。 This profile, i.e. for integrating the intensity of the reflected light of the object in the spread of the pixels of the imaging device, incorporated in the unit imaging unit 2-7 as shown in FIG. 21 (b). 積分は、一例として、LPF(Low Pass Filter:低域通過フィルタ)を用いて行う。 Integration, as an example, LPF: carried out using (Low Pass Filter low-pass filter). 図21(b)中の矢印が、撮像素子の画素の広がりである。 Figure 21 (b) in the arrow a spread of pixels of the image sensor. 図21(c)は異なる単位撮像部2〜7で撮像した結果であり、図21(c)中の矢印の画素の広がりで光を積分する。 Figure 21 (c) shows the result obtained by imaging at different unit imaging unit 2-7, it integrates the light in the spread of arrow pixel in FIG. 21 (c). 図21(b)、(c)にあるように、撮像素子の解像度(画素のサイズ)で定まる広がり以下の反射光の輪郭(プロファイル)は、撮像素子では再現できない。 As in FIG. 21 (b), (c), the resolution spread following the reflected light of the contour determined by the (pixel size) (profile) of the image pickup device, can not be reproduced by the imaging device.

しかし、本発明の特徴とするところは、図21(b)、(c)において双方の位相関係にオフセットを持つことである。 However, it is an aspect of the present invention, FIG. 21 (b), the is to have an offset to both phase relationship in (c). このようなオフセットを持って光を取り込み、合成処理部で最適に合成することで、図21(d)に示す輪郭を再現することが可能となる。 Captures the light with such an offset, by optimally combined by the combining processing unit, it is possible to reproduce the outline shown in FIG. 21 (d). 図21(a)〜(d)から明らかなように、図21(a)の輪郭をもっとも再現できているのは図21(d)であり、図21(d)中の矢印の幅に相当する撮像素子の画素のサイズの性能と等価である。 Figure 21 (a) As is clear from ~ (d), What can best reproduce the contour of Figure 21 (a) is a diagram 21 (d), corresponding to the width of the arrows in FIG. 21 (d) it is equivalent to the performance of the size of the pixels of the imaging element. 本実施形態は液晶レンズに代表される非固体レンズと、撮像素子からなる単位撮像部を複数使用して、上述の平均化(LPFを用いた積分)による解像限界を超えるビデオ出力を得ることが可能となる。 This embodiment has a non-solid lens represented by a liquid crystal lens, and using multiple unit imaging unit consisting of the image pickup device, to obtain a video output that exceeds the resolution limit due to the above-described averaging (integration with LPF) it is possible.

図22は、2つの単位撮像部の相対的な位相関係を示す模式図である。 Figure 22 is a schematic diagram illustrating the relative phase relationship between the two unit imaging unit. 後段の画像処理で高精細化を行う場合、撮像素子によるサンプリング位相の相対関係は等間隔であることが望ましい。 When performing high-definition image processing in the subsequent stage, it is desirable that the relative relationship between the sampling phase of the imaging device is equidistant. ここで、サンプリングとは、標本化と同義であり、離散的な位置におけるアナログ信号を取り出す処理を指す。 The sampling and has the same meaning as sampling, it refers to the process of taking out the analog signal at discrete locations. 図22は2つの単位撮像部を使用する場合を仮定しているので、その位相関係は(a)のように、0.5画素サイズの位相関係が理想である。 Since FIG. 22 assumes the case of using two unit imaging unit, the phase relation as shown in (a), it is ideal phase relationship 0.5 pixel size. しかし、撮像距離や、装置の組み立ての関係で、図22(b)や(c)のようになる場合がある。 However, the imaging distance and in relation to the assembly of the device, may become as shown in FIG. 22 (b) and (c). この場合、平均化されたあとの映像信号のみを用いて画像処理演算を行っても、すでに図22(b)、(c)のような位相関係で平均化されてしまった信号は復元不可能である。 In this case, even when the image processing operation using only the video signal after being averaged already FIG. 22 (b), the phase signal had been averaged relationship as (c) is not restored it is. そこで図22(b)、(c)の位相関係を、(d)に示すものに制御することが必須となる。 So FIG. 22 (b), the phase relationship of (c), it is essential to control to that shown in (d). 本発明では、この制御を図4に示した液晶レンズによる光軸シフトで実現する。 In the present invention, it realized in the optical axis shift by the liquid crystal lens shown the control in FIG. 以上の処理により、常に理想的な位相関係が保たれるので、観察者に最適な画像を提供可能となる。 By the above process, it is always an ideal phase relationship is maintained, it is possible to provide an optimal image to the viewer.

ここで、図22においては1次元の位相関係について説明した。 Here, in FIG. 22 has been described 1-dimensional phase relationship. 例えば4つの単位撮像部を用いて、各々水平、垂直、斜め45度の各方向の1次元シフトをすることで、図22に示した動作で2次元空間の位相制御が可能となる。 For example, using four unit imaging units, respectively horizontal, vertical, by a one-dimensional shift in each direction oblique 45 degrees, it is possible to phase control of the two-dimensional space in the operation shown in FIG. 22. また、例えば2つの単位撮像部を用いて、基準のものに対して片側の単位撮像部を2次元(水平、垂直、水平+垂直)に位相制御することで、2次元の位相制御を実現してもよい。 Further, for example, using two unit imaging unit, two-dimensionally unit imaging unit on one side to that of the reference (horizontal, vertical, horizontal + vertical) by phase control, to realize the two-dimensional phase control it may be.

例えば、4つの単位撮像部を用いて概略同一の撮像対象(被写体)を撮像して、4つの画像を得る場合を仮定する。 For example, by imaging a schematic same imaging target (subject) using four unit imaging unit, it is assumed that obtaining four images. ある画像を基準として、個々の画像をフーリエ変換して周波数軸で特徴点を判断して、基準画像に対する回転量とシフト量を算出して、その回転量、シフト量を用いて内挿フィルタリング処理することで高精細画像を得ることが可能となる。 Reference to the certain image, to determine the feature point on the frequency axis by Fourier transform of the individual images, and calculates the rotation amount and the shift amount with respect to the reference image, the interpolation filtering processing using the rotation amount, a shift amount high-definition images by making it possible to obtain. 例えば撮像素子の画素数がVGA(640×480画素)であれば、4つのVGAの単位撮像部によってQuad−VGA(1280×960画素)の高精細画像が得られる。 For example, if the number of pixels of the image pickup device is a VGA (640 × 480 pixels), high-resolution images of the Quad-VGA (1280 × 960 pixels) is obtained by the unit imaging unit of four VGA. 前述の内挿フィルタリング処理は、例えばキュービック(3次近似)法を用いる。 Interpolation filtering process described above, for example, a cubic (third order approximation) method is used. 内挿点までの距離による重み付けの処理である。 It is a process of weighting by the distance to the interpolation points. 撮像素子の解像度限界はVGAであるが、撮像レンズはQuad−VGAの帯域を通過させる能力を持ち、VGA以上のQuad−VGAの帯域成分は折り返し歪み(エイリアシング)としてVGA解像度で撮像される。 The resolution limit of the imaging device is a VGA, the imaging lens has the ability to pass the band of Quad-VGA, band component of VGA or Quad-VGA is imaged at VGA resolution as aliasing (aliasing). この折り返し歪みを使用して、映像合成処理でQuad−VGAの高帯域成分を復元する。 Using this aliasing distortion, to restore the high-band component of the Quad-VGA in the video synthesis processing.

図23は、撮像対象(被写体)と結像の関係を示す図である。 Figure 23 is a graph showing a relationship between imaging an imaging target (subject). この図においては、レンズひずみを無視したピンホールモデルがベースになっている。 In this figure, the pinhole model ignoring the lens distortion is based. レンズひずみが小さい撮像装置はこのモデルで説明可能であり、幾何光学のみで説明可能である。 Lens distortion is small imaging apparatus is capable discussed in this model can be explained only by the geometrical optics. 図23(a)において、P1は撮像対象であり、撮像距離H離れている。 In FIG. 23 (a), P1 is the imaging target, apart imaging distance H. ピンホールO、O'が2つの単位撮像部の撮像レンズに相当して、撮像素子M、Nの2つの単位撮像部で1つの像を撮像している模式図である。 Pinhole O, O 'is equivalent to the two unit imaging unit of the imaging lens is a schematic view that image one image in two unit imaging unit of the imaging device M, N. 図23(b)は、撮像素子の画素にP1の像が結像する様子である。 FIG. 23 (b), the image of P1 to the pixel of the imaging device is a state in which imaging. このように、画素と結像した像の位相が定まる。 Thus, we determined the phase of the image formed with the pixel. この位相は、互いの撮像素子の位置関係(基線長B)、焦点距離f、撮像距離Hで決まる。 This phase positional relationship to each other of the imaging element (base length B), the focal length f, determined by imaging distance H.

すなわち、撮像素子の取り付け精度によって設計値と異なる場合があり、また撮像距離によっても関係は変化する。 In other words, it may differ from the design value by the mounting accuracy of the imaging device, and the relationship is changed by the imaging distance. この場合、ある組み合わせによっては図23(c)のように、互いの位相が一致してしまう場合が発生する。 In this case, as shown in FIG. 23 by some combination (c), if occurs the mutual phase will coincide. 図23(b)の光強度分布イメージは、ある広がりに対する光の強度を模式的に示したものである。 Light intensity distribution image in FIG. 23 (b) shows the intensity of light for a spread schematically. このような光の入力に対して、撮像素子では、画素の広がりの範囲で平均化する。 To the input of such light, the image sensor, averaging in the range of spread of the pixel. 図23(b)にあるように、2つの単位撮像部で異なる位相で取り込んだ場合は、同一の光強度分布が異なる位相で平均化されるため、後段の合成処理で高帯域成分(例えば撮像素子がVGA解像度であれば、VGA解像度以上の高帯域)が再現できる。 As in FIG. 23 (b), the case taken at different phases in the two unit imaging unit, since the same light intensity distribution is averaged with different phases, a high band component at a later stage of the synthesis process (e.g., imaging if device is in VGA resolution, VGA resolution or more high bandwidth) can be reproduced. 2つの単位撮像部であるので、0.5画素の位相ずれが理想である。 Are the two unit imaging unit, a phase shift of 0.5 pixels is ideal.

しかし、図23(c)のように位相が一致してしまうと、互いの撮像素子で取り込む情報が同じものとなり、高解像化は不可能となる。 However, when the phase as shown in FIG. 23 (c) will match the information capturing by the image pickup device to each other it is the same as, high resolution becomes impossible. そこで、図23(C)にあるように、光軸シフトで位相を最適な状態に制御することで、高解像化を達成する。 Therefore, as in FIG. 23 (C), by controlling the phase to the optimum state in the optical axis shift, to achieve high resolution. 最適な状態とは、図14での処理で実現する。 The optimum conditions are realized by processing in FIG. 位相関係は、使用する単位撮像部の位相が等間隔が望ましい。 The phase relationship, the phase of unit imaging unit to be used at regular intervals is preferred. 本発明は光軸シフト機能を持つため、そのような最適な状態を外部からの電圧制御で達成可能となる。 The present invention is due to its optical axis shift function, it is possible achieve such optimal state in the voltage control from the outside.

図24は、撮像装置1の動作を説明する模式図である。 Figure 24 is a schematic diagram illustrating the operation of the imaging apparatus 1. 2つの単位撮像部からなる撮像装置で撮像している様子を図示したものである。 It illustrates the manner in which is captured by the imaging device consisting of two unit imaging unit. 各々の撮像素子は、説明の便宜上、画素単位に拡大して記載している。 Each of the imaging device, for convenience of explanation, has been described in the enlarged view of the pixel unit. 撮像素子の平面をu,vの2次元で定義していて、図24はu軸の断面に相当する。 The plane of the imaging element defines a two-dimensional u, v, 24 corresponds to the cross section of the u-axis. 撮像対象P0、P1は同一撮像距離Hにある。 Imaging target P0, P1 are the same imaging distance H. P0の像が、各々u0、u'0に結像する。 P0 image of each u0, forms an image on U'0. u0,u'0は各々の光軸を基準とした撮像素子上の距離であり、図24ではP0は撮像素子Mの光軸上にあるので、u0=0である。 u0, U'0 is the distance on the image sensor relative to the respective optical axis, since in FIG. 24 P0 is on the optical axis of the imaging device M, is u0 = 0. また、P1の各々の像の、光軸からの距離がu1,u'1である。 Further, each of the image of P1, the distance from the optical axis u1, is u'1. ここで、P0,P1が撮像素子M,N上に結像する位置の、撮像素子M,Nの画素に対する相対的な位相がイメージシフトの性能を左右する。 Here, P0, P1 are influences in the position focused on the imaging element M, N, the imaging element M, the relative phase for pixels N is the performance of the image shift. この関係は、撮像距離H、焦点距離f、撮像素子の光軸の間の距離である基線長Bによって定まる。 This relationship imaging distance H, determined by the base length B is a distance between the optical axis of the focal length f, the imaging element.

図24では、互いの結像する位置、すなわちu0とu'0は画素のサイズの半分だけシフトしている。 In Figure 24, the position of image of each other, i.e. u0 and u'0 is shifted by half of a pixel size. u0(=0)は撮像素子Mの画素の中心に位置している。 u0 (= 0) is located at the center of the pixels of the imaging element M. 対してu'0は撮像素子Nの画素の周辺に結像している。 u'0 for is imaged on the periphery of the pixel of the imaging device N. すなわち、画素サイズの半画素分ずれた関係となっている。 That is, a relationship displaced a half pixel in the pixel size. u1とu'1も同様に半画素のサイズだけシフトしている。 u1 and u'1 are also shifted by the size of the half-pixel in the same way. 図24(b)は、各々撮像した画像の同一画像同士を演算することで、1つの画像を復元・生成する動作の模式図である。 FIG. 24 (b) by calculating the same image of the respective fibers captured image is a schematic view of the operation of decompression generate one image. Puがu方向の画素サイズを、Pvがv方向の画素サイズを示す。 Pu is the pixel size in the u direction, Pv represents a v direction of the pixel size. 図24(b)では、互いに画素の半分だけシフトしている関係となり、イメージシフトを実施して高精細画像を生成するための理想的な状態である。 In FIG. 24 (b), the result and relationships that are shifted by half a pixel from each other, is to implement the image shift ideal conditions for producing a high-definition image.

図25は、図24に対して、例えば取り付け誤差により撮像素子Nが設計よりも画素サイズの半分だけずれて取り付けられた場合の模式図である。 Figure 25 is compared with FIG 24 is a schematic diagram of a case where the imaging element N is attached shifted by half the pixel size than the design, for example, by mounting errors. この場合、u1とu'1の互いの関係は、各々の撮像素子の画素に対して同一の位相となる。 In this case, mutual relationship u1 and u'1 is the same phase relative to the pixels of each of the image pickup device. 図25(a)では、双方とも、画素に対して左側に寄った位置に結像している。 In FIG. 25 (a), a both, it is imaged at a position closer to the left side with respect to the pixel. u0(=0)とu'0の関係も同様である。 u0 (= 0) and u'0 of the relationship is the same. よって図25(b)のように、互いの位相は略一致する。 Thus as shown in FIG. 25 (b), the mutual phase substantially matches.

図26は、図25に対して、本発明の光軸シフトを動作させた場合の模式図である。 26, with respect to FIG. 25 is a schematic diagram when the optical axis shift is operated according to the present invention. 図26(a)中の光軸シフトという右方向の移動がその動作のイメージである。 Figure 26 (a) movement of the right direction of the optical axis shifts in is an image of the operation. このように、光軸シフト手段を用いてピンホールO'をずらすことで、撮像対象が結像する位置が撮像素子の画素に対して制御可能となる。 In this way, by shifting the pinhole O 'using an optical axis shift unit, a position where the imaging target is imaged is controllable with respect to the pixels of the image sensor. 図26(b)のように理想的な位相関係が達成可能となる。 Ideal phase relationship as shown in FIG. 26 (b) is achievable.

次に、図27参照して、撮像距離と光軸シフトの関係について説明する。 Next, with reference FIG. 27, a description will be given of the relationship of the imaging distance and optical axis shift. 図27は、撮像距離H0でP0を撮像している状態から、距離H1にある物体P1に被写体を切り替えた場合を説明する模式図である。 Figure 27 is a schematic diagram illustrating a case of switching the object to an object P1 in the state in which imaging the P0 in imaging distance H0, the distance H1. 図27において、P0,P1はそれぞれ撮像素子M上の光軸上であると仮定しているので、u0=0であり、またu1=0である。 27, since it is assumed that P0, P1 are respectively on the optical axis on the imaging element M, it is u0 = 0, also is u1 = 0. P0、P1が撮像素子Nに結像する際の、撮像素子Bの画素とP0,P1の像の関係に注目する。 P0, P1 is at the time of imaging on the imaging element N, focusing on the relationship of the pixel and P0, P1 image of the image pickup device B. P0は、撮像素子Mの画素の中心に結像している。 P0 is imaged at the center of the pixels of the imaging element M. 対して撮像素子Nでは、画素の周囲に結像している。 In the imaging element N for, it is focused around the pixel. よってP0を撮像していたときは最適な位相関係であったといえる。 Therefore when I was imaging the P0 it can be said to have been the optimum phase relationship. 図27(b)は、被写体がP1の場合の互いの撮像素子の位相関係を示す模式図である。 Figure 27 (b) is a schematic diagram showing a phase relationship between each other of the image sensor when the subject is P1. 図27(b)にあるように被写体をP1に変更したあとは、互いの位相が略一致してしまう。 After changing the subject to P1 as in FIG. 27 (b) mutual phase will substantially coincides.

そこで、図28(a)にあるように、被写体P1撮像時に光軸シフト手段で光軸を動かすことで、図28(b)に示すように理想的な位相関係に制御することが可能となり、よってイメージシフトによる高精細化が達成できる。 Therefore, as in FIG. 28 (a), the by moving the optical axis in the optical axis shifting means when the subject P1 imaging, it is possible to control the ideal phase relationship as shown in FIG. 28 (b), Therefore, high-definition by the image shift can be achieved. ここで、撮像距離の情報を得る方法は、距離を測定する測距手段を別途持てばよい。 Here, a method of obtaining information of the imaging distance, the distance may be separately able to have a distance measuring means for measuring. または、本発明の撮像装置で距離を測定してもよい。 Or it may measure the distance by the imaging device of the present invention. 複数のカメラ(単位撮像部)を用いて距離を測定する例が、測量などでは一般的である。 Examples for measuring a distance using a plurality of cameras (unit imaging unit) is survey are common in such. その測距性能は、カメラ間の距離である基線長とカメラの焦点距離に比例して、測距物体までの距離に反比例する。 Its ranging performance is in proportion to the base line length and the focal length of the camera is the distance between the cameras, it is inversely proportional to the distance to the object.

本発明の撮像装置を例えば8眼構成、すなわち8個の単位撮像部からなる構成とする。 An imaging device for example 8 eye configuration of the present invention, namely a structure consisting of eight unit imaging unit. 測定距離、すなわち被写体までの距離が500mmの場合は、8眼カメラのうち互いの光軸間距離(基線長)の短い4つのカメラで撮像、イメージシフト処理に割り当て、残りの互いに基線長の長い4つのカメラで被写体までの距離を測定する。 Measurement distance, that is, when the distance to the subject is of 500 mm, a long imaging, assigned to the image shift processing, the remaining one another base length of each other a short four cameras of the distance between the optical axes (base length) of the eight lens camera in four cameras for measuring the distance to an object. また、被写体までの距離が2000mmと遠い場合は、8眼を使用してイメージシフトの高解像処理を行い、測距は例えば撮像した画像の解像度を解析することでボケ量を判定して、距離を推定するような処理で行うような構成にしてもよい。 Further, when the distance to the subject is 2000mm and far performs high resolution processing of the image shift by using the 8 eye distance measurement to determine the amount of blurring by analyzing the resolution of an image captured for example, distance may be configured as performed by the processing as estimated. 前述の500mmの場合にも、例えばTOF(Time of Flight)のような他の測距手段を併用することで、測距の精度を向上させてもよい。 In the case of the aforementioned 500mm also, for example, by combination with other distance measuring means such as a TOF (Time of Flight), or to improve the accuracy of distance measurement.

次に、図29を参照して、奥行きと光軸シフトによるイメージシフトの効果について説明する。 Next, referring to FIG. 29, the description will proceed to an effect of image shift due to the depth and optical axis shift. 図29(a)は、奥行きΔrを考えたP1,P2を撮像している模式である。 FIG. 29 (a) is a schematic which captured the considered depth [Delta] r P1, P2. 各々の光軸からの距離の差(u1−u2)は(22)式となる。 Each of the difference between the distance from the optical axis (u1-u2) is (22).
(u1−u2)=Δr×u1/H ・・・(22) (U1-u2) = Δr × u1 / H ··· (22)

ここで、u1−u2は、基線長B、撮像距離H、焦点距離fによって定まる値である。 Here, u1-u2 is the base length B, the imaging distance H, which is a value determined by the focal length f. ここでは、これらの条件B,H,fを固定して定数とみなす。 Here, these conditions B, H, securing the f regarded as constant. また、光軸シフト手段により、理想的な光軸関係としていると仮定する。 Further, it is assumed that the optical axis shift unit, and the ideal optical axis relationships. Δrと画素の位置(撮像素子に結像する像の、光軸からの距離)との関係は、(23)式となる。 Δr and the position of the pixel (the image formed on the image sensor, the distance from the optical axis) relationship with is (23).
Δr=(u1−u2)×H/u1 ・・・(23) Δr = (u1-u2) × H / u1 ··· (23)

すなわち、Δrはu1に対して反比例の関係となる。 In other words, Δr is inversely proportional to the u1. また、図29(b)は、一例として画素サイズ6μm、撮像距離600mm、焦点距離5mmの場合を仮定して、奥行きによる影響が1画素の範囲内に収まる条件を導出したものである。 Further, FIG. 29 (b) pixel size 6μm As an example, the imaging distance 600 mm, assuming the case of focal length 5 mm, in which influence of the depth to derive the conditions falling within the scope of one pixel. 奥行きによる影響が1画素の範囲内に収まる条件下では、イメージシフトの効果が十分であるので、例えば画角を狭めるなど、アプリケーションによって使い分ければ、奥行きによるイメージシフト性能劣化を回避することが可能となる。 Under the conditions the influence of the depth is within the range of 1 pixel, the effect of image shift is sufficient, for example, narrowing the angle of view, if used properly by the application, it can avoid an image shift performance degradation due to the depth to become.

図29に示すように、Δrが小さい(被写界深度が浅い)場合は、1つの画面で同一の画像シフト量を適用して高精細化処理を行えばよい。 As shown in FIG. 29, when Δr is small (shallow depth of field) may be performed applying a high definition processing the same image shift amount on a single screen. Δrが大きい(被写界深度が深い)場合について、図27及び図30を参照して説明する。 Case Δr is large (the depth of field is deep), is described with reference to FIGS. 27 and 30. 図30は、図10に示すステレオ画像処理部704の処理動作を示すフローチャートである。 Figure 30 is a flowchart showing the processing operation of the stereo image processing unit 704 shown in FIG. 10. 図27において、ある基線長を持つ複数の撮像素子の画素によるサンプリングの位相のずれは撮像距離によって変化するため、いずれの撮像距離においても高精細化するためには、撮像距離に応じて画像シフト量を変える必要がある。 27, since the pixel phase shift of sampling by the plurality of imaging elements having a certain base length is changed by the imaging distance, to high definition in any of the imaging distance, the image shift according to the imaging distance there is a need to change the amount. 例えば被写体に大きな奥行きがある場合、ある距離で最適な位相差にしても、その位相差では他の距離では最適でない。 For example, if there is a large depth in the subject, even if the optimum phase difference in a distance, not optimal for other distances in the phase difference. すなわち画素毎にシフト量を変える必要がある。 That it is necessary to change the shift amount for each pixel. ここで、撮像距離と撮像素子上に結像する点の移動量は(24)式で表わされる。 Here, the amount of movement of a point imaged on the imaging distance and the imaging element is represented by equation (24).
u0−u1=f×B×((1/H0)−(1/H1)) ・・・(24) u0-u1 = f × B × ((1 / H0) - (1 / H1)) ··· (24)

ステレオ画像処理部704(図10参照)は、これら画素毎のシフト量(画素毎のシフトパラメータ)、及び撮像素子の画素ピッチで正規化したデータを求める。 Stereo image processing unit 704 (see FIG. 10) is (shift parameter for each pixel) the shift amount of each of these pixels, and determining the normalized data at the pixel pitch of the imaging element. ステレオ画像処理部704は、予め求めたカメラパラメータをもとに補正された2枚の撮像画像を用いてステレオマッチングを行う(ステップS3001)。 Stereo image processing unit 704 performs stereo matching using two captured image corrected based on the camera parameters calculated in advance (step S3001). ステレオマッチングにより、画像の中の対応する特徴点を求め、そこから画素毎のシフト量(画素毎のシフトパラメータ)を計算する(ステップS3002)。 The stereo matching, determine the corresponding feature points in the image, from which to calculate the shift amount of each pixel (shift parameter for each pixel) (step S3002). 次に、ステレオ画像処理部704は、画素毎のシフト量(画素毎のシフトパラメータ)と撮像素子の画素ピッチとを比較する(ステップS3003)。 Then, the stereo image processing unit 704 compares the shift amount of each pixel (the shift parameter for each pixel) and a pixel pitch of the image pickup device (step S3003). この比較の結果、画素毎のシフト量が撮像素子の画素ピッチより小さい場合、画素毎のシフト量を合成パラメータとして使用する(ステップS3004)。 The result of this comparison, when the shift amount of each pixel is smaller than the pixel pitch of the imaging device, using the shift amount of each pixel as a synthesis parameter (step S3004). 一方、画素毎のシフト量が撮像素子の画素ピッチより大きい場合、撮像素子の画素ピッチで正規化したデータを求め、そのデータを合成パラメータとして使用する(ステップS3005)。 On the other hand, the shift amount of each pixel is larger than the pixel pitch of the image sensor, determine the normalized data at the pixel pitch of the image sensor, use the data as a synthesis parameter (step S3005). ここで求めた合成パラメータに基づき映像合成を行うことにより、撮像距離によらず高精細化画像を得ることができる。 By performing the image synthesis based on the synthesis parameters obtained here, it is possible to obtain a high resolution image irrespective of the imaging distance.

ここで、ステレオマッチングについて説明する。 Here, the stereo matching is described. ステレオマッチングとは、一つの画像を基準として、その画像中の位置(u,v)の画素に対して、同じ空間点の投影点を他の画像中から探索する処理のことである。 The stereo matching, based on the one image, its position in the image (u, v) with respect to pixels, is that the process of searching for the projection point of the same spatial point from among other images. カメラ投影モデルに必要なカメラパラメータは予めカメラキャリブレーションにより求められているため、対応点の探索は直線(エピポーラ線)上に限定することができる。 Since the camera parameters necessary for camera projection model has been obtained in advance by camera calibration, corresponding point search can be limited on a straight line (epipolar line). 特に本実施形態のように各単位撮像部の光軸が平行に設定されている場合、図31に示すように、エピポーラ線は同じ水平線上の直線となる。 Particularly when the optical axes of the unit imaging units are set in parallel as in this embodiment, as shown in FIG. 31, the epipolar line is a straight line in the same horizontal line. このように基準画像に対するもう1つの画像上の対応点はエピポーラ線上に限定されるため、ステレオマッチングでは、その線上だけを探索すればよい。 For this corresponding point on another image with respect to the reference image, as will be limited on the epipolar line, the stereo matching may be searched only that line. これは、マッチングの誤差の低減や処理を高速化するために重要である。 This is important in order to speed up the reduction and processing errors of the matching.

具体的な探索方法としては、領域ベースマッチング(area-based matching)や特徴ベースマッチング(feature-based matching)等がある。 As specific search method, and the like region based matching (area-based matching) and feature-based matching (feature-based matching). 領域ベースマッチングは、図32に示すように、テンプレートを用いて対応点を求めるものである。 Region-based matching, as shown in FIG. 32, and requests the corresponding points by using a template. 一方、特徴ベースマッチングは各画像のエッジやコーナー等の特徴点を抽出し、その特徴点どうしの対応を求めるものである。 On the other hand, feature-based matching extracts characteristic points such as edges and corners of the image, and requests the corresponding characteristic points with each other.

より正確な対応点を求めるための方法としてマルチベースラインステレオという方法がある。 There is a method of multi-baseline stereo as a method for obtaining a more accurate corresponding points. これは、1組のカメラによるステレオマッチングだけでなく、より多くのカメラによる複数のステレオ画像対を利用する方法である。 This not only stereo matching by a pair of cameras, a method using a plurality of stereo image pairs by more cameras. 基準となるカメラに対し、いろいろな長さ、方向の基線(ベースライン)のステレオカメラのペアを利用してステレオ画像を得る。 To the camera as a reference, to obtain a stereo image using various lengths, a stereo camera pair in the direction of the baseline (baseline). 複数の画像ペアにおける視差は、例えば平行ステレオの場合、各視差をそれぞれ基線長で割ることにより、奥行き方向の距離に対応した値となる。 Parallax in a plurality of image pairs, for example, in the case of parallel stereo, by dividing the parallax at each base length, a value corresponding to the distance in the depth direction. そこで、各ステレオ画像ペアから得られるステレオマッチングの情報、具体的には、それぞれの視差/基線長に対する対応の確からしさを表すSSD(Sum of Squared Differences)等の評価関数を足し合わせ、そこから最も確からしい対応位置を決定する。 Therefore, information of the stereo matching obtained from each stereo image pair, specifically, adding the evaluation functions such as SSD (Sum of Squared Differences) indicating the likelihood of response to each parallax / base length, most therefrom to determine the probable corresponding position. すなわち各視差/基線長に対するSSDの和であるSSSD(Sum of SSD)の変化を調べれば、より明確な最小値が現れるため、ステレオマッチングの対応誤差を低減することができ、かつ推定精度を向上させることができる。 That is, by examining the changes in the SSSD (Sum of SSD) is the sum of the SSD for each parallax / base length, because the minimum clearer appears, it is possible to reduce the corresponding error in the stereo matching, and improve the estimation accuracy it can be. また、マルチベースラインステレオでは、あるカメラでは見えている部分が別のカメラでは物体の陰に隠れて見えないというオクルージョン(occulusion)の問題も軽減することができる。 Further, in the multi-baseline stereo, can the visible portion in one camera with another camera to alleviate the problem of occlusion (occulusion) that not visible on the object of shade.

図33に視差画像の一例を示す。 It shows an example of a parallax image in Figure 33. (a)が原画像(基準画像)で、(b)が(a)の画像の各画素に対する視差を求めた結果の視差画像である。 (A) is the original image (reference image), a parallax image result of obtaining a parallax for each pixel of the image of (b) is (a). 視差画像は、画像の輝度が高いほど視差が大きく、すなわち撮像物がカメラに近い位置にあり、反対に輝度が低いほど視差が小さい、すなわち撮像物がカメラから遠い位置にあることを示す。 Parallax images, as the luminance of the image is high large parallax, i.e. in a position closer to the imaging object is a camera indicates that the disparity lower the luminance on the opposite is small, that is in a position far imaging object from the camera.

次に、図34を参照して、ステレオ画像処理における雑音除去について説明する。 Next, with reference to FIG. 34, a description will be given noise removal in the stereo image processing. 図34は、ステレオ画像処理における雑音除去を行う場合の映像合成処理部38の構成を示すブロック図である。 Figure 34 is a block diagram showing the configuration of a video synthesis processing unit 38 in the case of performing the noise removal in the stereo image processing. 図34示す映像合成処理部38が、図10に示す映像合成処理部38と異なる点は、ステレオ画像雑音低減処理部705を設けた点である。 Video synthesis processing unit 38 shown FIG. 34, the video synthesis processing unit 38 differs from that shown in FIG. 10, in that a stereo image noise reduction processing unit 705. 図35に示すステレオ画像処理における雑音除去の処理動作のフローチャートを参照して、図34に示す映像合成処理部38の動作を説明する。 With reference to the flow chart of processing operation of the noise removal in the stereo image processing shown in FIG. 35, for explaining the operation of the video synthesis processing unit 38 shown in FIG. 34. 図35において、ステップS3001〜S3005の処理動作は、図30に示すステレオ画像処理部704が行うステップS3001〜S3005と同一である。 In Figure 35, the processing of step S3001~S3005 are the same as steps S3001~S3005 performed by the stereo image processing unit 704 shown in FIG. 30. ステレオ画像雑音低減処理部705は、ステップS3105で求められた画素毎の合成パラメータのシフト量が、隣接する周囲の合成パラメータのシフト量と大きく違う値である場合には、隣接する画素のシフト量の最頻値に置き換えることにより雑音除去を行う(ステップS3106)。 Stereo image noise reduction processing unit 705, a shift amount of the synthesis parameters of each pixel obtained in step S3105 is, in the case of big difference value as the shift amount of the synthesis parameters of the ambient adjacent, the shift amount of the neighboring pixels performing noise removal by replacing the mode (step S3106).

次に再び図33を参照して、処理量の低減動作について説明する。 Referring now to FIG. 33 again, it will be described operation of reducing the processing amount. ステレオ画像処理部704で求めた合成パラメータを用いて、通常は画像全体を高精細化するが、例えば、図33の顔の部分(視差画像の輝度が高い部分)のみ高精細化し、背景の山の部分(視差画像の輝度が低い部分)は高精細化しないことで、処理量を低減することが可能となる。 Using synthetic parameters obtained by the stereo image processing unit 704, but usually higher definition of the entire image, for example, only higher definition portion of the face of FIG. 33 (a high luminance portion of the parallax image), mountain background parts (low brightness portion of the parallax image) by not high-definition, it is possible to reduce the processing amount. この処理は、前述したように、視差画像から顔がある画像の部分(距離が近く、視差画像の輝度が高い部分)を抽出し、その画像部分の画像データとステレオ画像処理部で求めた合成パラメータを用いて同様に高精細化することができる。 This process, as described above, synthesis portion of an image with a face from the parallax image (distance near, the luminance of the parallax image is high portion) extracts was determined by the image data and the stereo image processing unit of the image portion it can be high definition similarly using the parameters. これにより消費電力を低減できるため、バッテリー等で動作する携帯機器においては有効である。 Since thereby reducing power consumption, it is effective in a portable device operating on batteries or the like.

以上、説明したように、液晶レンズの光軸シフト制御により、個別の撮像装置で得られる映像信号を高精細な映像に合成することが可能となる。 As described above, the optical axis shift control of the liquid crystal lens, it is possible to synthesize a video signal obtained by the individual imaging apparatus in high-definition video. また、従来、撮像素子上でのクロストークにより画質劣化が生じ、高画質化が難しかったが、本発明の撮像装置によれば、撮像素子に入射する光の光軸を制御することによりクロストークが無くすことができ、高画質を得ることができる撮像装置を実現することができる。 Further, conventionally, the cross-talk by the image quality deterioration caused by crosstalk on the imaging element, but image quality is difficult, according to the imaging apparatus of the present invention, for controlling the optical axis of light incident on the image sensor can be eliminated, it is possible to realize an imaging apparatus capable of obtaining a high image quality. また、従来の撮像装置では、画像処理によって、撮像素子上の結像したイメージを取り込むため、撮像素子の解像度を必要とする撮像解像度より大きくする必要があるが、本発明の撮像装置では、液晶レンズの光軸方向のみでなく、撮像素子に入射する光の光軸を任意の位置に設定する制御を行うことができるため、撮像素子のサイズを小さくすることができる、軽薄短小が要求される携帯端末等にも搭載することが可能となる。 Further, in the conventional image pickup apparatus, the image processing, for capturing an image imaged on the image pickup device, it is necessary to be larger than the imaging resolution that requires the resolution of the imaging device, the imaging device of the present invention, the liquid crystal not only the optical axis of the lens, for the optical axis of light incident on the imaging element may be controlled to be set at an arbitrary position, it is possible to reduce the size of the imaging device is light, thin request also it is possible to be mounted on a portable terminal and the like. また、撮影距離にかかわらず、高画質な、高精細な2次元画像を生成することができる。 Further, regardless of the photographing distance, high-quality, it is possible to generate a high-resolution two-dimensional image. さらに、ステレオマッチングによる雑音を除去することや、高精細化処理の高速化が可能となる。 Furthermore, and removing the noise by stereo matching, it is possible to speed up the high definition process.

1 撮像装置2〜7 単位撮像部8〜13 撮像レンズ14〜19 撮像素子20〜25 光軸26〜31 映像処理部32〜37 制御部38 映像合成処理部 1 imaging apparatus 2 to 7 unit imaging unit 8-13 imaging lens 14 to 19 image sensor 20 to 25 optical axis 26 to 31 image processing unit 32 to 37 the control unit 38 the video synthesis processing unit

Claims (3)

  1. 複数の撮像素子と、 A plurality of image pickup devices,
    前記撮像素子のそれぞれに像を結像させる複数の固体レンズと、 A plurality of solid lenses for forming an image on each of the imaging element,
    前記撮像素子にそれぞれに入射する光の光軸の方向を制御する複数の光軸制御部と、 A plurality of optical-axis control unit for controlling the direction of the optical axis of light incident on each of the imaging element,
    前記複数の撮像素子のそれぞれが出力する光電変換信号を入力して、映像信号に変換して出力する複数の映像処理部と、 Enter a photoelectric conversion signal, each output of said plurality of image pickup elements, a plurality of video processing unit for converting the video signal,
    複数の映像信号に基づいてステレオマッチング処理を行うことにより、画素毎のシフト量を求め、前記撮像素子の画素ピッチを越えるシフト量は前記画素ピッチで正規化した合成パラメータを生成するステレオ画像処理部と、 By performing the stereo matching based on a plurality of video signals, obtains a shift amount of each pixel, the shift amount exceeding the pixel pitch of the imaging device is a stereo image processing unit that generates a composite parameter normalized by the pixel pitch When,
    前記複数の映像処理部のそれぞれから出力する前記映像信号と前記合成パラメータとを入力し、該複数の映像信号を前記合成パラメータに基づいて合成することにより高精細映像を生成する映像合成処理部と を備えることを特徴とする撮像装置。 Type and the synthesis parameters and the image signal output from each of said plurality of video processing unit, a video synthesis processing unit for generating a high definition video by synthesizing based on the video signal of the plurality of the synthesis parameters imaging device, characterized in that it comprises a.
  2. 前記ステレオ画像処理部で生成した前記合成パラメータに基づき、前記ステレオマッチング処理に用いる視差画像の雑音を低減するステレオ画像雑音低減処理部を さらに備えることを特徴とする請求項1に記載の撮像装置。 The stereo based on image processing the synthesis parameters generated in unit, an imaging apparatus according to claim 1, further comprising a stereo image noise reduction processing unit for reducing the noise of parallax images used in the stereo matching process.
  3. 前記映像合成処理部は、前記ステレオ画像処理部で生成した前記視差画像に基づいて所定領域のみ高精細化することを特徴とする請求項1または2に記載の撮像装置。 The video synthesis processing unit, an imaging apparatus according to claim 1 or 2, characterized in that high definition only a predetermined region based on the stereo image processing unit parallax image generated in.
JP2009083276A 2009-03-30 2009-03-30 Imaging device Expired - Fee Related JP4529010B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009083276A JP4529010B1 (en) 2009-03-30 2009-03-30 Imaging device

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2009083276A JP4529010B1 (en) 2009-03-30 2009-03-30 Imaging device
PCT/JP2010/002315 WO2010116683A1 (en) 2009-03-30 2010-03-30 Imaging apparatus and imaging method
US13/260,857 US20120026297A1 (en) 2009-03-30 2010-03-30 Imaging apparatus and imaging method
CN201080014012XA CN102365859A (en) 2009-03-30 2010-03-30 Imaging apparatus and imaging method

Publications (2)

Publication Number Publication Date
JP4529010B1 true JP4529010B1 (en) 2010-08-25
JP2010239290A JP2010239290A (en) 2010-10-21

Family

ID=42767901

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009083276A Expired - Fee Related JP4529010B1 (en) 2009-03-30 2009-03-30 Imaging device

Country Status (4)

Country Link
US (1) US20120026297A1 (en)
JP (1) JP4529010B1 (en)
CN (1) CN102365859A (en)
WO (1) WO2010116683A1 (en)

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
CN103501416B (en) 2008-05-20 2017-04-12 派力肯成像公司 Imaging System
US8514491B2 (en) 2009-11-20 2013-08-20 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
JP5848754B2 (en) 2010-05-12 2016-01-27 ペリカン イメージング コーポレイション Architecture for the imaging device array and array camera
FR2970573B1 (en) * 2011-01-18 2013-08-09 Inst Telecom Telecom Bretagne Device for capturing stereoscopic images
WO2012155119A1 (en) 2011-05-11 2012-11-15 Pelican Imaging Corporation Systems and methods for transmitting and receiving array camera image data
JP2014521117A (en) 2011-06-28 2014-08-25 ペリカン イメージング コーポレイション The optical arrangement for use in an array camera
US20130265459A1 (en) 2011-06-28 2013-10-10 Pelican Imaging Corporation Optical arrangements for use with an array camera
JP5766077B2 (en) * 2011-09-14 2015-08-19 キヤノン株式会社 Image processing apparatus and image processing method for noise reduction
WO2013043761A1 (en) 2011-09-19 2013-03-28 Pelican Imaging Corporation Determining depth from multiple views of a scene that include aliasing using hypothesized fusion
JP6140709B2 (en) 2011-09-28 2017-05-31 ペリカン イメージング コーポレイション System and method for encoding and decoding the bright-field image file
US9225959B2 (en) 2012-01-10 2015-12-29 Samsung Electronics Co., Ltd. Method and apparatus for recovering depth value of depth image
US9412206B2 (en) 2012-02-21 2016-08-09 Pelican Imaging Corporation Systems and methods for the manipulation of captured light field image data
US9210392B2 (en) 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
CN104508681B (en) * 2012-06-28 2018-10-30 Fotonation开曼有限公司 A camera for detecting a defective array, an optical system and method and device array sensors
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
AU2013305770A1 (en) 2012-08-21 2015-02-26 Pelican Imaging Corporation Systems and methods for parallax detection and correction in images captured using array cameras
WO2014032020A2 (en) 2012-08-23 2014-02-27 Pelican Imaging Corporation Feature based high resolution motion estimation from low resolution images captured using an array source
US9214013B2 (en) 2012-09-14 2015-12-15 Pelican Imaging Corporation Systems and methods for correcting user identified artifacts in light field images
US9288395B2 (en) * 2012-11-08 2016-03-15 Apple Inc. Super-resolution based on optical image stabilization
US9143711B2 (en) 2012-11-13 2015-09-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
US9462164B2 (en) 2013-02-21 2016-10-04 Pelican Imaging Corporation Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information
US9374512B2 (en) 2013-02-24 2016-06-21 Pelican Imaging Corporation Thin form factor computational array cameras and modular array cameras
US9638883B1 (en) 2013-03-04 2017-05-02 Fotonation Cayman Limited Passive alignment of array camera modules constructed from lens stack arrays and sensors based upon alignment information obtained during manufacture of array camera modules using an active alignment process
WO2014138697A1 (en) 2013-03-08 2014-09-12 Pelican Imaging Corporation Systems and methods for high dynamic range imaging using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US9106784B2 (en) 2013-03-13 2015-08-11 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
US9124831B2 (en) 2013-03-13 2015-09-01 Pelican Imaging Corporation System and methods for calibration of an array camera
WO2014165244A1 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US9888194B2 (en) 2013-03-13 2018-02-06 Fotonation Cayman Limited Array camera architecture implementing quantum film image sensors
WO2014153098A1 (en) 2013-03-14 2014-09-25 Pelican Imaging Corporation Photmetric normalization in array cameras
WO2014159779A1 (en) 2013-03-14 2014-10-02 Pelican Imaging Corporation Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US9497370B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Array camera architecture implementing quantum dot color filters
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
US9633442B2 (en) 2013-03-15 2017-04-25 Fotonation Cayman Limited Array cameras including an array camera module augmented with a separate camera
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
JP2016524125A (en) 2013-03-15 2016-08-12 ペリカン イメージング コーポレイション System and method for three-dimensional imaging using the camera array
US9161020B2 (en) * 2013-04-26 2015-10-13 B12-Vision Co., Ltd. 3D video shooting control system, 3D video shooting control method and program
EP3028097A4 (en) * 2013-07-30 2017-03-22 Nokia Technologies OY Optical beams
US9898856B2 (en) 2013-09-27 2018-02-20 Fotonation Cayman Limited Systems and methods for depth-assisted perspective distortion correction
US9264592B2 (en) 2013-11-07 2016-02-16 Pelican Imaging Corporation Array camera modules incorporating independently aligned lens stacks
WO2015074078A1 (en) 2013-11-18 2015-05-21 Pelican Imaging Corporation Estimating depth from projected texture using camera arrays
US9456134B2 (en) 2013-11-26 2016-09-27 Pelican Imaging Corporation Array camera configurations incorporating constituent array cameras and constituent cameras
US10089740B2 (en) 2014-03-07 2018-10-02 Fotonation Limited System and methods for depth regularization and semiautomatic interactive matting using RGB-D images
TWI538476B (en) * 2014-03-24 2016-06-11 Lips Inc System and method for stereoscopic photography
DE102014104028B4 (en) 2014-03-24 2016-02-18 Sick Ag Opto-electronic device and method for adjusting
US9247117B2 (en) 2014-04-07 2016-01-26 Pelican Imaging Corporation Systems and methods for correcting for warpage of a sensor array in an array camera module by introducing warpage into a focal plane of a lens stack array
US9521319B2 (en) 2014-06-18 2016-12-13 Pelican Imaging Corporation Array cameras and array camera modules including spectral filters disposed outside of a constituent image sensor
EP3467776A1 (en) 2014-09-29 2019-04-10 Fotonation Cayman Limited Systems and methods for dynamic calibration of array cameras
CN104539934A (en) * 2015-01-05 2015-04-22 京东方科技集团股份有限公司 Image collecting device and image processing method and system
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
US20170059812A1 (en) * 2015-08-25 2017-03-02 Electronics And Telecommunications Research Institute Imaging apparatus and method for operating the same

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08307776A (en) * 1995-04-27 1996-11-22 Hitachi Ltd Image pickup device
JP2006119843A (en) * 2004-10-20 2006-05-11 Olympus Corp Image forming method, and apparatus thereof
JP2006217131A (en) * 2005-02-02 2006-08-17 Matsushita Electric Ind Co Ltd Imaging apparatus

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3542397B2 (en) * 1995-03-20 2004-07-14 キヤノン株式会社 Imaging device
JP4377673B2 (en) * 2003-12-19 2009-12-02 日本放送協会 Stereoscopic imaging apparatus and a stereoscopic image display device
ES2571132T3 (en) * 2005-04-29 2016-05-24 Koninklijke Philips Nv Apparatus stereoscopic display
US8471918B2 (en) * 2006-03-22 2013-06-25 Panasonic Corporation Imaging device with plural imaging regions and parallax computing portion

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08307776A (en) * 1995-04-27 1996-11-22 Hitachi Ltd Image pickup device
JP2006119843A (en) * 2004-10-20 2006-05-11 Olympus Corp Image forming method, and apparatus thereof
JP2006217131A (en) * 2005-02-02 2006-08-17 Matsushita Electric Ind Co Ltd Imaging apparatus

Also Published As

Publication number Publication date
JP2010239290A (en) 2010-10-21
WO2010116683A1 (en) 2010-10-14
CN102365859A (en) 2012-02-29
US20120026297A1 (en) 2012-02-02

Similar Documents

Publication Publication Date Title
US10142560B2 (en) Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US8290358B1 (en) Methods and apparatus for light-field imaging
JP4171786B2 (en) Image input device
JP5448617B2 (en) Distance estimation apparatus, a distance estimation method, a program, integrated circuits and the camera
US9800856B2 (en) Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US8861089B2 (en) Capturing and processing of images using monolithic camera array with heterogeneous imagers
JP4706882B2 (en) Imaging device
US20150097997A1 (en) Image processing apparatus, imaging apparatus, solid-state imaging device, image processing method and program
CN102656878B (en) The image processing apparatus and method
CN105917641B (en) Having a thin multi-aperture imaging system and method of use of the autofocus
CN103501416B (en) Imaging System
JP3961729B2 (en) Omnifocal imaging apparatus
US8824833B2 (en) Image data fusion systems and methods
JP5173536B2 (en) The imaging device and the optical axis control method
JP4790086B2 (en) Multi-view imaging apparatus and camera array imaging method
US9124831B2 (en) System and methods for calibration of an array camera
JP4749959B2 (en) Imaging apparatus, and manufacturing device and a manufacturing method thereof
US9204067B2 (en) Image sensor and image capturing apparatus
US8436909B2 (en) Compound camera sensor and related method of processing digital images
KR101289330B1 (en) Apparatus and method for capturing still images and video using coded lens imaging techniques
Perwass et al. Single lens 3D-camera with extended depth-of-field
JP5762356B2 (en) Apparatus and method for depth reconstruction of dynamic scenes based on the focus
EP1858252B1 (en) Method and apparatus for image capturing capable of effectively reproducing quality image and electronic apparatus using the same
US20120044328A1 (en) Image capture using luminance and chrominance sensors
JP4749985B2 (en) Imaging apparatus, and manufacturing device and a manufacturing method thereof

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100519

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130618

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees