WO2020017002A1 - Electronic device and photography method - Google Patents

Electronic device and photography method Download PDF

Info

Publication number
WO2020017002A1
WO2020017002A1 PCT/JP2018/027152 JP2018027152W WO2020017002A1 WO 2020017002 A1 WO2020017002 A1 WO 2020017002A1 JP 2018027152 W JP2018027152 W JP 2018027152W WO 2020017002 A1 WO2020017002 A1 WO 2020017002A1
Authority
WO
WIPO (PCT)
Prior art keywords
polarization
image
filter
control unit
polarizer
Prior art date
Application number
PCT/JP2018/027152
Other languages
French (fr)
Japanese (ja)
Inventor
征志 中田
Original Assignee
株式会社ソニー・インタラクティブエンタテインメント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ソニー・インタラクティブエンタテインメント filed Critical 株式会社ソニー・インタラクティブエンタテインメント
Priority to PCT/JP2018/027152 priority Critical patent/WO2020017002A1/en
Publication of WO2020017002A1 publication Critical patent/WO2020017002A1/en

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/232Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor

Abstract

In an imaging system 1 according to the present invention, polarization filters 12a, 12b transmit light polarized in directions assigned to optical lenses 10a, 20b. An optical path control part 14 causes some light polarized in different directions to overlap. A polarization separation filter 16 transmits light polarized in different directions through each area, and an imaging sensor 18 detects the brightness distribution of the transmitted light. An image processing unit 100 separates the brightness distribution and generates photographed images for each viewpoint. A polarization filter control unit 110 operates the polarization filters 12a, 12b and changes the transmitted light states.

Description

電子機器および撮影方法Electronic equipment and shooting method
 本発明は、複数視点からの画像を撮影する電子機器、およびその撮影方法に関する。 The present invention relates to an electronic device that captures images from a plurality of viewpoints, and a method for capturing the images.
 撮影された画像を即時解析したり表示に用いたりする技術は広く実用化されている。例えばユーザの視線に対応する視野で、ステレオカメラにより実空間を撮影し、それに基づく画像をヘッドマウントディスプレイに表示させることにより、仮想現実や拡張現実を実現する技術が知られている。また車載カメラとしてステレオカメラを導入し、車間距離など周囲の情報を取得することにより、危険を検知したり自動運転を実現したりする技術が普及しつつある。 技術 Techniques for instantly analyzing and displaying captured images are widely used. For example, there is known a technique for realizing virtual reality or augmented reality by photographing a real space with a stereo camera in a visual field corresponding to a user's line of sight and displaying an image based on the photographed image on a head-mounted display. Also, a technology for detecting a danger or realizing automatic driving by introducing a stereo camera as an in-vehicle camera and acquiring surrounding information such as an inter-vehicle distance is becoming widespread.
 ステレオカメラは既知の間隔を有する2つのカメラで構成され、各視点から撮影された画像における像の視差から三角測量の原理で対象物の距離を導出できる。一般的には、同じ構造の2つのカメラを左右に並べた構造を有するが、高精度な計測のためにはある程度のカメラの間隔が必要であり、筐体が大きくなるうえ製造コストが増大しやすい。そこで左右の視点にそれぞれ割り当てた方位の偏光成分のみを抽出し、それを一旦混合させたあと、偏光方位の違いを利用して再分離することにより、1つのイメージセンサで2つの撮影画像を取得する技術が提案されている(例えば特許文献1、2参照)。 The stereo camera is composed of two cameras having a known interval, and can derive the distance of the object from the parallax of the image in the image taken from each viewpoint by the principle of triangulation. Generally, it has a structure in which two cameras of the same structure are arranged on the left and right, but a certain distance between the cameras is required for high-precision measurement, which increases the size of the housing and increases the manufacturing cost. Cheap. Therefore, only the polarization components of the azimuths assigned to the left and right viewpoints are extracted, mixed once, and then re-separated using the difference in the polarization azimuth to obtain two captured images with one image sensor (For example, see Patent Documents 1 and 2).
特開2010-243463号公報JP 2010-243463 A 特開2014-199241号公報JP 2014-199241 A
 しかしながらこの技術では、イメージセンサで検出される光が所定方位の偏光成分のみのため、一般的な自然光の撮像装置と比較し感度が低下するうえ、情報の損失が生じやすい。また偏光を再分離するためには、透過軸の角度が異なる偏光子でセンサ面を領域分割する必要があり、最終的に得られる画像の解像度が半減する。このようにして撮影画像の詳細度や輝度レベルが低下すると、それを用いた解析の精度にも悪影響を及ぼすことがあり得る。 However, in this technique, since the light detected by the image sensor is only a polarized light component in a predetermined direction, the sensitivity is lower than that of a general natural light imaging device, and information loss is likely to occur. Further, in order to separate the polarized light again, it is necessary to divide the sensor surface into regions by polarizers having different transmission axis angles, and the resolution of the finally obtained image is reduced by half. When the degree of detail and the brightness level of a captured image are reduced in this way, the accuracy of analysis using the captured image may be adversely affected.
 本発明はこうした課題に鑑みてなされたものであり、その目的は、複数視点からの画像を撮影する技術において、撮像装置を小規模化しても画像が示す情報量を維持できる技術を提供することにある。 The present invention has been made in view of these problems, and an object of the present invention is to provide a technique for capturing an image from a plurality of viewpoints, which can maintain the information amount indicated by the image even when the imaging apparatus is downsized. It is in.
 本発明のある態様は電子機器に関する。この電子機器は、既知の間隔で配置された複数の光学レンズと、当該光学レンズのそれぞれに対応し、当該光学レンズに割り当てられた方位の偏光をそれぞれ透過させる複数の偏光フィルタと、複数の偏光フィルタの透過光の少なくとも一部が重なり合うように、光路を制御する光路制御部と、光路制御部からの光のうち、各光学レンズに割り当てられた方位のいずれかの偏光を透過させる、透過軸の角度が異なる偏光子の配列を備える偏光分離フィルタと、偏光分離フィルタを透過した偏光の輝度分布を検出する撮像センサと、撮像センサが検出した輝度分布のうち、偏光分離フィルタにおける偏光子の配列に基づく位置から輝度値を読み出すことにより、光学レンズごとの輝度分布を表す撮影画像を生成する画像処理部と、複数の偏光フィルタを動作させ、透過させる光の状態を変化させる偏光フィルタ制御部と、を備えたことを特徴とする。 One embodiment of the present invention relates to an electronic device. The electronic device includes a plurality of optical lenses arranged at known intervals, a plurality of polarizing filters corresponding to each of the optical lenses, and a plurality of polarization filters respectively transmitting polarized light in the direction assigned to the optical lens, and a plurality of polarization filters. An optical path control unit that controls an optical path so that at least a part of the transmitted light of the filter overlaps, and a transmission axis that transmits any polarized light in the direction assigned to each optical lens among the light from the optical path control unit. A polarization separation filter having an array of polarizers having different angles, an imaging sensor that detects the luminance distribution of polarized light transmitted through the polarization separation filter, and an arrangement of polarizers in the polarization separation filter among the luminance distributions detected by the imaging sensor An image processing unit that generates a captured image representing a luminance distribution for each optical lens by reading a luminance value from a position based on Filter is operated, a polarization filter control section that changes the state of the light to be transmitted, characterized by comprising a.
 本発明の別の態様は撮影方法に関する。この撮影方法は、既知の間隔で配置された複数の光学レンズかを透過した光のうち、当該光学レンズのそれぞれに対応し透過軸の角度が異なる複数の偏光フィルタにより、当該光学レンズに割り当てられた方位の偏光成分を透過させるステップと、複数の偏光フィルタの透過光の少なくとも一部が重なり合うように、光路を制御するステップと、透過軸の角度が異なる偏光子の配列を備える偏光分離フィルタにより、光路を制御された光のうち、各光学レンズに割り当てられた方位のいずれかの偏光を透過させるステップと、偏光分離フィルタを透過した偏光の輝度分布を検出するステップと、当該輝度分布のうち、偏光分離フィルタにおける偏光子の配列に基づく位置から輝度値を読み出すことにより、光学レンズごとの輝度分布を表す撮影画像を生成するステップと、を含み、偏光フィルタは、偏光フィルタ制御部による制御によって動作することにより、透過させる光の状態を変化させることを特徴とする。 別 Another embodiment of the present invention relates to an imaging method. In this imaging method, among light transmitted through a plurality of optical lenses arranged at known intervals, the light is assigned to the optical lens by a plurality of polarizing filters corresponding to each of the optical lenses and having different transmission axis angles. Transmitting a polarized light component in the azimuth direction, controlling the optical path so that at least a part of the transmitted light of the plurality of polarization filters overlaps, and a polarization separation filter including a polarizer array having different transmission axis angles. Transmitting the polarized light in any of the directions assigned to the respective optical lenses in the light whose optical path is controlled; detecting the luminance distribution of the polarized light transmitted through the polarization separation filter; By reading the luminance value from the position based on the arrangement of the polarizers in the polarization separation filter, an image representing the luminance distribution of each optical lens can be obtained. Includes a step of generating an image, a polarizing filter, by operating under the control of the polarization filter control unit, characterized in that changing the state of light to be transmitted.
 なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを記録した記録媒体などの間で変換したものもまた、本発明の態様として有効である。 Note that any combination of the above-described components and any conversion of the expression of the present invention between a method, an apparatus, a system, a computer program, a recording medium on which the computer program is recorded, and the like are also effective as aspects of the present invention. .
 本発明によると、複数視点からの画像を撮影する技術において、撮像装置を小規模化しても画像が示す情報量を維持できる。 According to the present invention, in the technique for capturing images from a plurality of viewpoints, the amount of information indicated by the images can be maintained even if the imaging device is downsized.
本実施の形態の撮像システムの構成を模式的に示す図である。FIG. 1 is a diagram schematically illustrating a configuration of an imaging system according to an embodiment. 本実施の形態の撮像システムによる処理の流れを概説するための図である。FIG. 3 is a diagram schematically illustrating a flow of a process performed by the imaging system according to the present embodiment. 本実施の形態において偏光フィルタ制御部が、偏光フィルタの透過軸の角度を調整する処理について説明するための図である。FIG. 7 is a diagram for describing a process in which the polarization filter control unit adjusts the angle of the transmission axis of the polarization filter in the present embodiment. 本実施の形態における偏光フィルタ制御部が、偏光フィルタ一部領域の偏光子の機能を無効化する処理について説明するための図である。FIG. 9 is a diagram for describing a process in which the polarization filter control unit according to the present embodiment invalidates a function of a polarizer in a partial region of the polarization filter. 本実施の形態において偏光フィルタを一部無効化する処理の手順を示すフローチャートである。9 is a flowchart illustrating a procedure of a process of partially invalidating a polarizing filter in the present embodiment. 図5のS26において偏光フィルタ制御部が、偏光フィルタの一部領域の偏光子を無効化する手法の例を説明するための図である。FIG. 6 is a diagram for explaining an example of a method in which a polarization filter control unit invalidates a polarizer in a partial region of the polarization filter in S26 of FIG. 5. 本実施の形態における偏光フィルタ制御部が偏光フィルタの透過軸の角度を切り替える処理について説明するための図である。FIG. 9 is a diagram for describing a process in which the polarization filter control unit in the present embodiment switches the angle of the transmission axis of the polarization filter. 本実施の形態において、偏光フィルタの透過軸の角度の切り替えによる効果を撮影画像に反映させる手法を説明するための図である。FIG. 9 is a diagram for explaining a method of reflecting an effect of switching the angle of the transmission axis of the polarizing filter in a captured image in the present embodiment. 偏光の方位に対する輝度の変化を例示する図である。It is a figure which illustrates change of the brightness with respect to the direction of polarization. 本実施の形態の撮像システムにデプスセンサを導入し、デプス画像から得られる法線情報を利用して撮影画像の輝度レベルを補正する場合の、撮像システムの構成を示す図である。FIG. 2 is a diagram illustrating a configuration of an imaging system when a depth sensor is introduced into the imaging system of the present embodiment and a luminance level of a captured image is corrected using normal line information obtained from the depth image. 本実施の形態において画像補正部が撮影画像の輝度レベルを補正するために行うデータ変換を説明するための図である。FIG. 5 is a diagram for describing data conversion performed by the image correction unit to correct the luminance level of a captured image in the present embodiment. 本実施の形態における、コレステリック液晶を用いた偏光フィルタの断面図を模式的に示す図である。FIG. 2 is a diagram schematically showing a cross-sectional view of a polarizing filter using cholesteric liquid crystal in the present embodiment. 本実施の形態における、帯電させた微粒子を用いた偏光フィルタの構造を模式的に示す図である。FIG. 3 is a diagram schematically illustrating a structure of a polarizing filter using charged fine particles in the present embodiment. 本実施の形態において、TN型液晶を用いた偏光フィルタの構造と、偏光分離フィルタにおける偏光子の関係を模式的に示す図である。FIG. 2 is a diagram schematically illustrating a relationship between a structure of a polarizing filter using a TN type liquid crystal and a polarizer in a polarization splitting filter in the present embodiment.
 図1は、本実施の形態の撮像システムの構成を模式的に示している。撮像システム1は、2つの光学レンズ10a、10b、それぞれに対応する偏光フィルタ12a、12b、偏光フィルタ12a、12bを透過した偏光の光路を制御する光路制御部14、方位の異なる偏光を分離する偏光分離フィルタ16、分離された偏光を検出する撮像センサ18、撮像センサ18からの輝度信号に基づき撮影画像を生成する画像処理部100、および偏光フィルタ12a、12bを制御する偏光フィルタ制御部110を含む。 FIG. 1 schematically shows the configuration of the imaging system of the present embodiment. The imaging system 1 includes two optical lenses 10a and 10b, corresponding polarizing filters 12a and 12b, an optical path control unit 14 that controls an optical path of polarized light transmitted through the polarizing filters 12a and 12b, and polarized light that separates polarized lights having different directions. Includes a separation filter 16, an imaging sensor 18 for detecting the separated polarized light, an image processing unit 100 for generating a captured image based on a luminance signal from the imaging sensor 18, and a polarization filter control unit 110 for controlling the polarization filters 12a and 12b. .
 撮像システム1は、図示する全ての構成を1つの筐体内に収めた撮像装置(ステレオカメラ)あるいは電子機器として実現してもよいし、互いに通信が可能な複数の装置に分けてもよい。例えば画像処理部100の少なくとも一部の機能を、それ以外の機能により構成される撮像装置とは別の画像処理装置や情報処理装置などとしてもよい。 The imaging system 1 may be realized as an imaging device (stereo camera) or an electronic device in which all the illustrated components are housed in one housing, or may be divided into a plurality of devices that can communicate with each other. For example, at least a part of the functions of the image processing unit 100 may be configured as an image processing device or an information processing device different from the imaging device configured by other functions.
 また画像処理部100や偏光フィルタ制御部110の少なくとも一部の機能を、偏光分離フィルタ16および撮像センサ18からなる素子構造とともにロジック回路として積層させ、一体的な素子としてもよい。また撮像システム1には、ユーザが撮影の開始や終了を指示するための入力装置をさらに含めてもよい。撮影の開始や終了は、場合によっては画像処理部100が撮像センサ18に要求してもよい。 Also, at least a part of the functions of the image processing unit 100 and the polarization filter control unit 110 may be stacked as a logic circuit together with the element structure including the polarization separation filter 16 and the imaging sensor 18 to form an integrated element. Further, the imaging system 1 may further include an input device for a user to instruct start and end of shooting. The image processing unit 100 may request the image sensor 18 to start or end photographing in some cases.
 光学レンズ10a、10bは既知の間隔で配置され、それぞれの視点から見た被写体の像を結像させる。なお図ではそれぞれ1つのレンズを光学レンズ10a、10bとしているが、各光学レンズ10a、10bに含まれるレンズの枚数を限定するものではない。また図では2つの光学レンズ10a、10bを示しているが、撮像システム1にはそれより多くの光学レンズを配置してもよい。この場合、例えば光学レンズの対ごとに、図示するような構造を設ける。 (4) The optical lenses 10a and 10b are arranged at known intervals, and form an image of a subject viewed from each viewpoint. In the figure, one lens is used as each of the optical lenses 10a and 10b, but the number of lenses included in each of the optical lenses 10a and 10b is not limited. Although two optical lenses 10a and 10b are shown in the figure, more optical lenses may be arranged in the imaging system 1. In this case, for example, a structure as shown is provided for each pair of optical lenses.
 偏光フィルタ12a、12bはそれぞれ、光学レンズ10a、10bに対応し、各光学レンズに割り当てられた方位の偏向を透過させる。偏光フィルタ12a、12bは、ガラス表面に光の波長より小さい間隔で微細な金属のグリッドを形成した偏光板や、方解石や水晶などの結晶の複屈折を利用した偏光子、二色性色素を含浸させたフィルムを一定方向に引き延ばしてなる樹脂偏光子など、一般的な偏光子で構成される。 The polarizing filters 12a and 12b correspond to the optical lenses 10a and 10b, respectively, and transmit the polarization of the azimuth assigned to each optical lens. The polarizing filters 12a and 12b are impregnated with a polarizing plate having a fine metal grid formed on a glass surface at intervals smaller than the wavelength of light, a polarizer using birefringence of a crystal such as calcite or quartz, or a dichroic dye. It is composed of a general polarizer such as a resin polarizer obtained by stretching the film in a certain direction.
 あるいは後述するように、液晶や微粒子の駆動により電気的に偏光子を形成するようにしてもよい。いずれにしろ偏光フィルタ12a、12bの透過軸には90°の角度差を設ける。また偏光フィルタ12a、12bは、偏光フィルタ制御部110の制御により、透過軸の角度を変化させたり、一部の領域において偏光子の機能を無効にしたりすることを可能にする機構を備える。 Alternatively, as described later, a polarizer may be formed electrically by driving liquid crystal or fine particles. In any case, the transmission axes of the polarizing filters 12a and 12b are provided with an angle difference of 90 °. In addition, the polarization filters 12a and 12b have a mechanism that enables the angle of the transmission axis to be changed or the function of the polarizer to be invalidated in some regions under the control of the polarization filter control unit 110.
 光路制御部14は、偏光フィルタ12a、12bを透過した光を、1つの偏光分離フィルタ16に導くように光路を制御する。具体的には点線で示すように、偏光フィルタ12aを透過した光を、2つの光学レンズ10a、10bの中間点の方向へ反射させる面20aと、偏光分離フィルタ16の方向へ反射させる面22a、偏光フィルタ12bを透過した光を、2つの光学レンズ10a、10bの中間点の方向へ反射させる面20bと、偏光分離フィルタ16の方向へ反射させる面22bを構成する、反射鏡やプリズムなどを含む構造体である。ただし光路は図示するものに限定されない。また同様の構造体は特許文献1、2にも開示されている。 The optical path control unit 14 controls the optical path so that the light transmitted through the polarization filters 12 a and 12 b is guided to one polarization separation filter 16. Specifically, as shown by the dotted lines, a surface 20a that reflects the light transmitted through the polarizing filter 12a in the direction of the midpoint between the two optical lenses 10a and 10b, a surface 22a that reflects the light in the direction of the polarization separating filter 16, Includes a reflecting mirror, a prism, and the like that constitute a surface 20b that reflects light transmitted through the polarizing filter 12b in the direction of the midpoint between the two optical lenses 10a and 10b and a surface 22b that reflects light in the direction of the polarization separating filter 16. It is a structure. However, the optical path is not limited to the illustrated one. Similar structures are also disclosed in Patent Documents 1 and 2.
 光路制御部14により、左右の光学レンズ10a、10bに写る像を表す光は、少なくともその一部が重なり合うようにして、偏光分離フィルタ16に入射する。重なる部分が大きいほど、偏光分離フィルタ16および撮像センサ18の面積を小さくできる。偏光分離フィルタ16は透過軸の角度が異なる偏光子の配列を備え、領域によって、光学レンズ10a、10bに割り当てられたいずれかの方位の偏光を透過させる。 (4) The light representing the images captured by the left and right optical lenses 10a and 10b is incident on the polarization separation filter 16 by the optical path control unit 14 so that at least a part of the light overlaps. The larger the overlapping portion, the smaller the area of the polarization separation filter 16 and the imaging sensor 18 can be. The polarization separation filter 16 includes an array of polarizers having different transmission axis angles, and transmits polarized light in any direction assigned to the optical lenses 10a and 10b depending on the region.
 これにより、偏光フィルタ12bと同じ方位の偏光成分を透過する領域では光学レンズ10aに写る像を表す光が、偏光フィルタ12bと同じ方位の偏光成分を透過する領域では光学レンズ10bに写る像を表す光が、それぞれ透過することになる。結果として、光学レンズ10a、10bに映る像を表す光が完全に重複して入射しても、偏光分離フィルタ16の領域ごとにどちらか一方のみを透過することで分離できる。 Accordingly, light representing an image reflected on the optical lens 10a is transmitted in a region that transmits polarized light components in the same direction as the polarizing filter 12b, and light reflected on the optical lens 10b is displayed in a region transmitting polarized light components in the same direction as the polarizing filter 12b. Light will be transmitted respectively. As a result, even if the light representing the images reflected on the optical lenses 10a and 10b is completely overlapped and incident, the light can be separated by transmitting only one of the polarization separation filters 16 for each region.
 偏光分離フィルタ16は例えば、複数の線状の導体部材を光の波長より小さい間隔でストライプ状に配列させた偏光子により構成する。このような構造の偏光子の層を撮像素子の一部として形成してもよい。ワイヤグリッド型偏光子の層を含む撮像素子については、例えば特開2012-80065号公報などにも開示されている。ただし偏光分離フィルタ16の偏光子はワイヤグリッド型に限らず、線二色性偏光子などを用いることもできる。あるいは偏光分離フィルタ16が備える各偏光子も、偏光フィルタ12a、12bについて上述したような一般的な偏光板としてもよい。後述するように、偏光分離フィルタ16が備える偏光子も、偏光フィルタ制御部110の制御により透過軸の角度を可変とする機構を備えていてもよい。 The polarization separation filter 16 is formed of, for example, a polarizer in which a plurality of linear conductor members are arranged in a stripe at intervals smaller than the wavelength of light. The layer of the polarizer having such a structure may be formed as a part of the image sensor. An image sensor including a layer of a wire grid polarizer is also disclosed in, for example, JP-A-2012-80065. However, the polarizer of the polarization separation filter 16 is not limited to the wire grid type, and a linear dichroic polarizer or the like can be used. Alternatively, each of the polarizers included in the polarization separation filter 16 may be a general polarizing plate as described above for the polarization filters 12a and 12b. As will be described later, the polarizer included in the polarization separation filter 16 may also include a mechanism for changing the angle of the transmission axis under the control of the polarization filter control unit 110.
 撮像センサ18は一般的なCCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどであり、偏光分離フィルタ16を透過した偏光の輝度分布を検出し、画素ごとの電気信号として順次出力する。撮像センサ18が1つの画像として出力する輝度分布のデータには、領域によって左右の光学レンズ10a、10bに写る像が混じっていることになる。 The imaging sensor 18 is a general CCD (Charge Coupled Device) image sensor, CMOS (Complementary Metal Oxide Semiconductor) image sensor, or the like, detects the luminance distribution of polarized light transmitted through the polarization separation filter 16, and generates an electric signal for each pixel. Output sequentially. In the brightness distribution data output by the image sensor 18 as one image, images appearing on the left and right optical lenses 10a and 10b are mixed depending on the region.
 画像処理部100は、撮像センサ18が検出した輝度分布を取得し、偏光分離フィルタ16における偏光子の配列に基づく位置から輝度値を読み出すことにより、光学レンズ10a、10bごとの輝度分布を表す撮影画像を生成する。すなわち各光学レンズ10a、10bに割り当てられた偏光の方位と、偏光分離フィルタ16における各偏光子の透過軸の配列との対応を既知とすることで、各画素が光学レンズ10a、10bのどちらの像を表しているかを特定できる。したがって画像処理部100は、各光学レンズに対応する画素の値を抽出したうえ、それを適宜補間することで、2つの撮影画像のデータを生成する。 The image processing unit 100 acquires the luminance distribution detected by the imaging sensor 18 and reads out the luminance value from a position based on the arrangement of the polarizers in the polarization separation filter 16, thereby capturing the luminance distribution of each of the optical lenses 10 a and 10 b. Generate an image. That is, by assuming that the correspondence between the orientation of the polarized light assigned to each of the optical lenses 10a and 10b and the arrangement of the transmission axes of the respective polarizers in the polarization separation filter 16 is known, each pixel can be assigned to either of the optical lenses 10a or 10b. It can be specified whether it represents an image. Therefore, the image processing unit 100 generates data of two captured images by extracting the value of the pixel corresponding to each optical lens and appropriately interpolating the extracted value.
 なお画像処理部100はさらに、そのようにして得られた2つの撮影画像を用いて、一般的なステレオマッチング処理により対象物の距離を取得してもよい。この場合、図示するシステムは測距システムとして機能する。あるいは画像処理部100が生成した2つの撮影画像を、外部の装置に出力することにより、対象物の距離取得や各種画像解析、その結果に基づく情報処理などを、当該装置に行わせてもよい。画像処理部100がそれらの処理を実施してもよい。 Note that the image processing unit 100 may further obtain the distance to the object by a general stereo matching process using the two captured images thus obtained. In this case, the illustrated system functions as a distance measuring system. Alternatively, by outputting the two captured images generated by the image processing unit 100 to an external device, the device may perform distance acquisition of the object, various types of image analysis, and information processing based on the results. . The image processing unit 100 may perform those processes.
 偏光フィルタ制御部110は、偏光フィルタ12a、12bを動作させ、透過させる光の状態が変化するように制御する。具体的には次のような制御を実施する。
(1)透過軸の角度の微調整
(2)一部領域の偏光子の無効化
(3)撮影期間における透過軸の角度の切り替え
The polarization filter control unit 110 controls the polarization filters 12a and 12b to operate so as to change the state of light to be transmitted. Specifically, the following control is performed.
(1) Fine adjustment of the angle of the transmission axis (2) Invalidation of the polarizer in some areas (3) Switching of the angle of the transmission axis during the imaging period
 (1)は、偏光分離フィルタ16における偏光子の透過軸と一致するように偏光フィルタ12a、12bの透過軸の角度を微調整することにより、最大感度が得られるようにする。例えば偏光フィルタ12a、12bを偏光板で実現する場合、偏光フィルタ制御部110は、撮像センサが検出する偏光の輝度分布が所定の条件を満たすように、偏光板を面内で微小量、回転させ透過軸の角度を調整する。 (1) allows the maximum sensitivity to be obtained by finely adjusting the angles of the transmission axes of the polarization filters 12a and 12b so as to coincide with the transmission axis of the polarizer in the polarization separation filter 16. For example, when the polarizing filters 12a and 12b are realized by polarizing plates, the polarizing filter control unit 110 rotates the polarizing plates by a small amount in a plane so that the luminance distribution of polarized light detected by the image sensor satisfies a predetermined condition. Adjust the angle of the transmission axis.
 (2)は、2つの撮影画像における視差が所定値より小さい領域を特定し、その領域に対応する、偏光フィルタ12a、12b内の領域において、偏光子の機能を無効化する。これにより、視差に基づく計算が困難な遠方の対象物の像については、全方位の光(自然光)を透過させ、撮像センサ18における感度を向上させる。例えば偏光フィルタ12a、12bを偏光板で実現する場合、当該偏光板を、アクチュエータにより面の垂直方向に起立可能な複数の偏光子により構成する。そして偏光フィルタ制御部110は、視差が所定値より小さい領域に含まれる偏光子を起立させる要求信号を発行することにより、偏光子の無効化を実現する。 (2) specifies an area where the parallax between the two captured images is smaller than a predetermined value, and disables the function of the polarizer in the area corresponding to the area in the polarization filters 12a and 12b. Thereby, for an image of a distant object that is difficult to calculate based on parallax, omnidirectional light (natural light) is transmitted, and the sensitivity of the image sensor 18 is improved. For example, when the polarizing filters 12a and 12b are realized by polarizing plates, the polarizing plates are configured by a plurality of polarizers that can be raised in a direction perpendicular to the plane by an actuator. Then, the polarization filter control unit 110 issues a request signal to raise the polarizer included in the region where the parallax is smaller than the predetermined value, thereby realizing the invalidation of the polarizer.
 (3)は、撮影期間において、光学レンズ10a、10bに対する方位の割り当てが入れ替わるように、偏光フィルタ12a、12bの透過軸の角度を所定のタイミングで切り替える。これにより、各光学レンズ10a、10bに写る像を表す光が、偏光分離フィルタ16の別の領域にも透過するようにし解像度の低下を防ぐ。偏光フィルタ12a、12bを偏光板で実現する場合、偏光フィルタ制御部110は、両方の偏光板を面内で90°回転させる。 (3) switches the angles of the transmission axes of the polarizing filters 12a and 12b at a predetermined timing so that the assignment of the azimuth to the optical lenses 10a and 10b is switched during the photographing period. Accordingly, light representing an image reflected on each of the optical lenses 10a and 10b is transmitted to another region of the polarization separation filter 16 to prevent a reduction in resolution. When the polarizing filters 12a and 12b are realized by polarizing plates, the polarizing filter control unit 110 rotates both polarizing plates by 90 ° in a plane.
 以上のような制御を実現するため、偏光フィルタ制御部110が発行した要求信号に応じて、偏光フィルタ12a、12bを動作させる図示しない機構を適宜設けるものとする。上記制御は、そのうち1つのみを実施してもよいし、2つ以上を組み合わせて導入してもよい。 In order to realize the above control, a mechanism (not shown) for operating the polarization filters 12a and 12b in accordance with the request signal issued by the polarization filter control unit 110 is appropriately provided. Only one of the above controls may be performed, or two or more controls may be introduced in combination.
 図2は、本実施の形態の撮像システムによる処理の流れを概説するための図である。まず左右の光学レンズ10a、10bにより画像30a、30bが捉えられたとする。図示する画像30a、30bでは、近景にいる人物は視差が大きい一方、遠景の山には殆ど視差が生じていない。画像30a、30bを表す自然光は、偏光フィルタ12a、12bを透過することにより、90°の差を有する所定方位の偏光成分のみ抽出される。図示する例で偏光フィルタ12a、12bを透過した偏光を便宜上、横偏光、縦偏光と呼ぶ。 FIG. 2 is a diagram schematically illustrating the flow of processing by the imaging system according to the present embodiment. First, it is assumed that the images 30a and 30b are captured by the left and right optical lenses 10a and 10b. In the illustrated images 30a and 30b, a person in a near view has a large parallax, but a distant mountain has almost no parallax. Natural light representing the images 30a and 30b is transmitted through the polarization filters 12a and 12b, so that only polarization components in a predetermined direction having a difference of 90 ° are extracted. In the illustrated example, the polarized light transmitted through the polarizing filters 12a and 12b is referred to as horizontal polarized light and vertical polarized light for convenience.
 横偏光、縦偏光の画像は、光路制御部14により少なくとも一部が重なり合った状態となる(S10)。図示する例では、全ての領域が完全に重なった状態の画像32としている。画像32が偏光分離フィルタ16を透過すると(S12)、元は画像30aであった横偏光の画像はそれを透過させる領域でのみ透過し、元は画像30bであった縦偏光の画像はそれを透過させる領域でのみ透過する。 (4) At least a part of the horizontally polarized image and the vertically polarized image is overlapped by the optical path control unit 14 (S10). In the illustrated example, the image 32 is in a state where all the regions are completely overlapped. When the image 32 is transmitted through the polarization separation filter 16 (S12), the original image 30a is transmitted only in a region where the image is horizontally polarized, and the original image 30b is transmitted as a vertically polarized image. The light is transmitted only in the transmission area.
 したがってそれぞれの領域を透過して検出された輝度を、画像処理部100が読み出して分離することにより(S14)、一部の領域が抜けた状態の2つの撮影画像34a、34bが取得される。なお偏光分離フィルタ16における偏光子の配列は図示するものに限らない。また各偏光子は、撮像センサ18の画素と対応していてもよいし、それより広いサイズでもよい。図示する偏光分離フィルタ16では、横偏光、縦偏光を透過させる偏光子を縦横双方向に交互に配置している。各偏光子を画素のサイズと一致させた場合、撮影画像34a、34bは1画素おきに輝度値が表された画像となる。画像処理部100は当該画像を適宜補間して最終的な撮影画像とする。 Therefore, the image processing unit 100 reads out and separates the luminance detected through each of the regions (S14), thereby obtaining two captured images 34a and 34b in a state where some regions are omitted. The arrangement of the polarizers in the polarization separation filter 16 is not limited to the illustrated one. Each polarizer may correspond to a pixel of the image sensor 18 or may have a larger size. In the illustrated polarization separation filter 16, polarizers that transmit horizontal polarized light and vertical polarized light are alternately arranged in the vertical and horizontal directions. When each polarizer is matched with the size of a pixel, the captured images 34a and 34b are images in which the luminance value is expressed every other pixel. The image processing unit 100 appropriately interpolates the image to obtain a final captured image.
 図3は、本実施の形態において偏光フィルタ制御部110が、偏光フィルタ(例えば偏光フィルタ12a)の透過軸の角度を調整する処理について説明するための図である。上述の説明では、偏光フィルタ12a、12bの透過軸が、偏光分離フィルタ16のいずれかの偏光子の透過軸の角度と一致していることを前提とした。しかしながら取り付け誤差や経年変化などによって透過軸がずれると、撮像センサ18へ到達する光の量が減ってしまい検出感度が下がることが考えられる。 FIG. 3 is a diagram for explaining a process in which the polarization filter control unit 110 adjusts the angle of the transmission axis of the polarization filter (for example, the polarization filter 12a) in the present embodiment. In the above description, it is assumed that the transmission axes of the polarization filters 12a and 12b coincide with the angle of the transmission axis of one of the polarizers of the polarization separation filter 16. However, if the transmission axis shifts due to an attachment error, aging, or the like, the amount of light reaching the image sensor 18 may decrease and the detection sensitivity may decrease.
 同図は偏光フィルタ12aの透過軸の角度変化に対する光検出感度の変化を定性的に示している。例えば図の左端に示すように、偏光分離フィルタ16の偏光子50が図の横方向の透過軸を有するとき、偏光フィルタ12aの透過軸の角度がそれと完全に一致しているBの状態であれば感度が最大となる。一方、偏光フィルタ12aの透過軸の角度がBの状態から離れるほど感度が低下する。そこで偏光フィルタ制御部110は、偏光フィルタ12a、12bを回転させて、最大感度が得られるときの透過軸の角度を取得する。 The figure qualitatively shows a change in photodetection sensitivity with respect to a change in the angle of the transmission axis of the polarizing filter 12a. For example, as shown at the left end of the figure, when the polarizer 50 of the polarization splitting filter 16 has a transmission axis in the horizontal direction in the figure, the state of B is such that the angle of the transmission axis of the polarization filter 12a completely matches it. Sensitivity is maximized. On the other hand, the sensitivity decreases as the angle of the transmission axis of the polarizing filter 12a moves away from the state of B. Therefore, the polarization filter control unit 110 obtains the angle of the transmission axis when the maximum sensitivity is obtained by rotating the polarization filters 12a and 12b.
 例えば偏光フィルタ制御部110は、偏光フィルタ12a、12bをそれぞれ、面内で0.5°ずつ回転させ、画像処理部100がそれぞれの状態における画像を撮像センサ18に撮影させる。撮影対象はキャリブレーション用のパネルなどでもよいし、運用時と同様の実空間でもよい。画像処理部100が、撮像センサ18から取得した輝度分布を上述のように2つの撮影画像に分離することにより、0.5°おきの透過軸の角度における、各視点の撮影画像を取得できる。 {For example, the polarization filter controller 110 rotates the polarization filters 12a and 12b by 0.5 ° in the plane, and the image processor 100 causes the image sensor 18 to capture images in each state. The imaging target may be a calibration panel or the like, or may be the same real space as in operation. The image processing unit 100 separates the luminance distribution acquired from the image sensor 18 into two captured images as described above, so that captured images at each viewpoint at transmission angle angles of 0.5 ° can be acquired.
 感度を表す指標として、撮影画像の輝度の平均値、所定領域における輝度の平均値、輝度の合計値などのいずれかを取得する。例えば輝度の平均値の変化を透過軸の角度に対し表すと、図示するようなグラフとなる。偏光フィルタ制御部110は、そのようなグラフを作成し、最大の輝度が得られるときの透過軸の角度を求め、当該角度で偏光フィルタ12a、12bを固定する。このようなキャリブレーションを、工場出荷前、運用開始時、あるいは定期的に実施することにより、取り付け誤差や経年変化による感度低下を抑えることができる。結果として、撮影画像の輝度が十分に得られず解析精度が悪化するのを防ぐことができる。 指標 As the index indicating the sensitivity, one of the average value of the luminance of the captured image, the average value of the luminance in a predetermined area, the total value of the luminance, and the like is acquired. For example, when the change in the average value of the luminance is expressed with respect to the angle of the transmission axis, the graph shown in the figure is obtained. The polarization filter control unit 110 creates such a graph, determines the angle of the transmission axis when the maximum luminance is obtained, and fixes the polarization filters 12a and 12b at the angle. By performing such calibration before shipment from the factory, at the start of operation, or periodically, it is possible to suppress a decrease in sensitivity due to an installation error or aging. As a result, it is possible to prevent the luminance of the captured image from being sufficiently obtained and the analysis accuracy from being deteriorated.
 図4は、偏光フィルタ制御部110が、偏光フィルタ12a、12bの一部領域の偏光子の機能を無効化する処理について説明するための図である。図2で示したように、左右の光学レンズ10a、10bによって、手前にいる人と背後の山を撮影し、画像30a、30bを得るとする。背後の山が遠方にあり、その視差が無視できる程小さいとき、視差を利用して十分な精度で距離が得られる対象は人に限定される。 FIG. 4 is a diagram for explaining a process in which the polarization filter control unit 110 invalidates the function of the polarizer in a part of the polarization filters 12a and 12b. As shown in FIG. 2, it is assumed that a person in front and a mountain behind are photographed by the left and right optical lenses 10a and 10b to obtain images 30a and 30b. When the mountain behind is far away and its parallax is so small as to be negligible, the target for obtaining a distance with sufficient accuracy using parallax is limited to humans.
 そのため人が写っている領域54a、54b以外の領域については、左右の画像を別々に取得せずとも、解析結果への影響が小さくてすむと考えられる。そこで図の下段に示すように、偏光フィルタ12a、12bのうち、所定値以上の視差を有する像が写っている領域54a、54bに対応する領域のみ偏光子56a、56bを有効とし、それ以外の領域の偏光子が機能しないように無効化する。このようにすると、偏光分離フィルタ16のうち、領域54a、54bに対応する領域には光学レンズ10a、10bを透過した光のうちある偏光成分のみが、それ以外の領域には全成分である自然光が入射する。 Thus, regarding the areas other than the areas 54a and 54b where the person is captured, the influence on the analysis result may be small even if the left and right images are not separately obtained. Therefore, as shown in the lower part of the figure, the polarizers 56a and 56b are made effective only in the regions corresponding to the regions 54a and 54b in which the images having the parallax equal to or more than the predetermined value are shown among the polarizing filters 12a and 12b. Disable so that the polarizers in the region do not work. In this manner, in the polarization separation filter 16, only a certain polarization component of the light transmitted through the optical lenses 10a and 10b is included in a region corresponding to the regions 54a and 54b, and natural light is included in all other regions. Is incident.
 後者は偏光分離フィルタ16によって、やはり偏光成分のみが透過するが、2つの光学レンズ10a、10bを透過した、同じ像を表す光が同時に入射することにより、原理的に透過光の強度が2倍になる。なお図示する例ではわかりやすさのため、偏光フィルタ12a、12bおよび偏光子56a、56bの領域の形状を、画像平面に対応するように示しているが、実際には当然、光学レンズによる収差を補正する前の形状となる。 In the latter case, only the polarized light component is transmitted by the polarization separation filter 16 as well, but the light transmitted through the two optical lenses 10a and 10b and representing the same image is simultaneously incident, so that the intensity of the transmitted light is doubled in principle. become. In the illustrated example, for the sake of simplicity, the shapes of the regions of the polarizing filters 12a and 12b and the polarizers 56a and 56b are shown so as to correspond to the image plane. It becomes the previous shape.
 また偏光子を有効にする領域54a、54bは、少なくとも所定値以上の視差を有する像を含めば、その形状やサイズは限定されない。例えば偏光フィルタ12a、12bの全平面を二等分、四等分など比較的大きな単位で分割し、所定値以上の視差を有する像が含まれるか否かで各領域の偏光子の有効/無効を決定してもよい。当然、それより小さい領域単位で偏光子の有効/無効を制御してもよい。 The shapes and sizes of the regions 54a and 54b for which the polarizers are effective are not limited as long as the images have parallax of at least a predetermined value. For example, the entire plane of the polarizing filters 12a and 12b is divided into relatively large units such as bisecting and quadrants, and valid / invalid of the polarizer in each region is determined based on whether or not an image having parallax equal to or greater than a predetermined value is included. May be determined. Of course, the validity / invalidity of the polarizer may be controlled in a smaller area unit.
 図5は、本実施の形態において偏光フィルタを一部無効化する処理の手順を示すフローチャートである。このフローチャートは、運用のための撮影開始時や、ユーザから要求されたタイミングで開始する。まず撮像センサ18はそれらのタイミングで撮影を行い、画像処理部100はそのデータから上述のとおり各視点の撮影画像を取得する(S20)。そして画像処理部100は、各視点の撮影画像から、同じ対象物の像を表す対応点を抽出したうえ、両画像における水平方向の位置ずれを視差として取得する(S22)。 FIG. 5 is a flowchart illustrating a procedure of a process of partially invalidating the polarization filter in the present embodiment. This flowchart starts at the start of shooting for operation or at a timing requested by the user. First, the image sensor 18 performs photographing at those timings, and the image processing unit 100 acquires a photographed image of each viewpoint from the data as described above (S20). Then, the image processing unit 100 extracts corresponding points representing the image of the same target object from the captured images at the respective viewpoints, and acquires the horizontal displacement between the two images as parallax (S22).
 この処理には、一般的なステレオカメラによる測距技術でなされる、ブロックマッチングなどの手法を適用できる。したがって画像処理部100やその他の装置で距離値を算出する場合、その途中で取得される視差のデータを流用してよい。次に偏光フィルタ制御部110は、所定のしきい値以上の視差を有する像を含む領域を定めたうえ、それ以外の領域を「小視差領域」として決定する(S24)。図4の例では、領域54a、54b以外の領域が小視差領域とされる。そして偏光フィルタ制御部110は、偏光フィルタ12a、12bのうち、小視差領域に対応する領域の偏光子の機能を無効化する(S26)。 処理 In this process, a method such as block matching, which is performed by a general stereo camera ranging technique, can be applied. Therefore, when the distance value is calculated by the image processing unit 100 or another device, the data of the parallax obtained during the calculation may be used. Next, the polarization filter control unit 110 determines an area including an image having a parallax equal to or larger than a predetermined threshold, and determines the other area as a “small parallax area” (S24). In the example of FIG. 4, the area other than the areas 54a and 54b is the small parallax area. Then, the polarization filter control unit 110 invalidates the function of the polarizer in the region corresponding to the small parallax region in the polarization filters 12a and 12b (S26).
 図6は、図5のS26において偏光フィルタ制御部110が、偏光フィルタ12a、12bの一部領域の偏光子を無効化する手法の例を説明するための図である。この例は偏光フィルタ12a、12bの面を所定サイズの領域に分割し、透過軸の角度が同じ偏光板を領域ごとに配置した構成としている。図の上段はそのうち連続した4つの偏光板62a、62b、62c、62dの側面図を、下段はそれらの上面図を、模式的に示している。 FIG. 6 is a diagram for explaining an example of a method in which the polarization filter control unit 110 invalidates a polarizer in a partial region of the polarization filters 12a and 12b in S26 of FIG. In this example, the surfaces of the polarizing filters 12a and 12b are divided into regions of a predetermined size, and polarizing plates having the same transmission axis angle are arranged in each region. The upper part of the figure schematically shows a side view of the continuous four polarizing plates 62a, 62b, 62c, 62d, and the lower part schematically shows the top view thereof.
 全ての領域で偏光子を有効とする場合、偏光板62a、62b、62c、62dが水平面60に並んだ状態とする。偏光板62cの領域の偏光子の機能を無効とする場合、図示するように偏光板62cを垂直に起立させる。このため偏光板62a、62b、62c、62dの接続部分には、偏光板を起立させるためのアクチュエータ64a、64b、64c、64dを設けておく。 (4) When the polarizer is effective in all the regions, the polarizers 62a, 62b, 62c, and 62d are arranged in the horizontal plane 60. When disabling the function of the polarizer in the region of the polarizing plate 62c, the polarizing plate 62c is vertically erected as shown in the figure. For this reason, actuators 64a, 64b, 64c, 64d for erecting the polarizing plates are provided at connecting portions of the polarizing plates 62a, 62b, 62c, 62d.
 偏光フィルタ制御部110は、小視差領域の偏光板62cに対応するアクチュエータ64cに、既知の手段で制御信号を送信することにより、偏光板62cを起立させ偏光子の機能を無効化する。これにより図に白抜きの矢印で示すように、偏光子の機能が有効な領域では所定方位の偏光成分のみが透過するのに対し、偏光子の機能が無効化された領域では自然光がそのまま透過する。 The polarizing filter control unit 110 transmits a control signal to the actuator 64c corresponding to the polarizing plate 62c in the small parallax region by a known means, thereby raising the polarizing plate 62c and disabling the function of the polarizer. As a result, as shown by the white arrow in the figure, only the polarized light component in a predetermined direction is transmitted in the region where the function of the polarizer is effective, whereas natural light is transmitted as it is in the region where the function of the polarizer is disabled. I do.
 この光を、偏光分離フィルタ16を介して撮像センサ18で検出することにより、各視点の撮影画像の双方で、2倍程度の高い輝度値が得られる。したがって、例えばパターンマッチング、対象物検出、視覚追跡、動き検出など、視差に基づく距離値の導出以外の画像解析を精度よく行える。また距離値が得られる対象物を仮想のオブジェクトに置き換えて表示するような場合に、その背景として遜色ない画像を表示させることができる。 光 By detecting this light with the imaging sensor 18 via the polarization separation filter 16, a luminance value about twice as high can be obtained in both of the captured images at each viewpoint. Therefore, image analysis other than derivation of a distance value based on parallax, such as pattern matching, object detection, visual tracking, and motion detection, can be performed with high accuracy. Further, in the case where an object whose distance value is obtained is replaced with a virtual object and displayed, an image comparable to the background can be displayed.
 図7は、偏光フィルタ制御部110が偏光フィルタ12a、12bの透過軸の角度を切り替える処理について説明するための図である。図2で説明したように、光学レンズ10a、10bから透過した光を一度重ね合わせ、偏光分離フィルタ16により領域単位で分離する特性上、取得される画像フレーム70a、70bは領域によって抜けが生じる。また光学レンズ10aの画像は横偏光、光学レンズ10bの画像は縦偏光というように、特定の方位の偏向情報のみが表されるため、画像間で像の表れ方に差が生じる場合もある。 FIG. 7 is a diagram for explaining a process in which the polarization filter control unit 110 switches the angles of the transmission axes of the polarization filters 12a and 12b. As described with reference to FIG. 2, the light transmitted through the optical lenses 10a and 10b is superimposed once, and the image frames 70a and 70b to be obtained have omissions depending on the region due to the characteristic of being separated by the region by the polarization separation filter 16. Also, since only the polarization information of a specific direction is represented, such as the image of the optical lens 10a being horizontal polarized light and the image of the optical lens 10b being vertical polarized light, there may be a difference in how the images appear between the images.
 そこで偏光フィルタ制御部110は、動画を撮影している期間において、光学レンズに対する方位の割り当てが入れ替わるように、偏光フィルタ12a、12bの透過軸の角度を所定のタイミングで切り替える。すなわち図示するように、一方の光学レンズ10aに対応する偏光フィルタ12aは、例えば図面における横、縦、横、縦、・・・というように透過軸を切り替える。他方の光学レンズ10aに対応する偏光フィルタ12bも同時に、図面における縦、横、縦、横、・・・というように透過軸を切り替える。なお偏光分離フィルタ16は図2と同様、横または縦の偏光子で構成されるものとしている。 Therefore, the polarizing filter control unit 110 switches the angles of the transmission axes of the polarizing filters 12a and 12b at a predetermined timing such that the assignment of the azimuth to the optical lens is switched during the period of capturing a moving image. That is, as shown in the figure, the polarization filter 12a corresponding to one optical lens 10a switches the transmission axis, for example, as horizontal, vertical, horizontal, vertical,... In the drawing. At the same time, the polarization filter 12b corresponding to the other optical lens 10a switches the transmission axis in the vertical, horizontal, vertical, horizontal,... Note that, similarly to FIG. 2, the polarization separation filter 16 is configured by a horizontal or vertical polarizer.
 このようにすると画像処理部100において取得される各視点の撮影画像は、偏光フィルタ12a、12bの透過軸の角度に依存して、輝度値が得られる領域が切り替わる。図2に示すように、隣接する偏光子の透過軸が必ず異なるように、正方形の同サイズの偏光子を配列させた偏光分離フィルタ16を用いると、あるタイミングで輝度値が得られた箇所の中間地点の輝度値が、次のタイミングで得られることになる。図では、偏光フィルタ12a、12bの各状態に対応させて、光学レンズ10aの画像フレーム70a、72a、74a、76aと光学レンズ10bの画像フレーム70b、72b、74b、76bを例示している。各画像フレームにおいて、輝度値が得られない領域を網掛けで示している。 In this way, in the captured image of each viewpoint acquired by the image processing unit 100, the area where the luminance value is obtained is switched depending on the angle of the transmission axis of the polarizing filters 12a and 12b. As shown in FIG. 2, when the polarization separation filter 16 in which the square polarizers of the same size are arranged so that the transmission axes of the adjacent polarizers are always different is used, the position where the luminance value is obtained at a certain timing is obtained. The luminance value at the intermediate point is obtained at the next timing. In the figure, the image frames 70a, 72a, 74a, 76a of the optical lens 10a and the image frames 70b, 72b, 74b, 76b of the optical lens 10b are illustrated corresponding to the respective states of the polarizing filters 12a, 12b. In each image frame, a region where a luminance value cannot be obtained is shaded.
 上述のとおり偏光分離フィルタ16の各偏光子を各画素に対応するサイズとすると、1つの視点からの像を、隣り合う画素で交互に表すことになる。画像処理部100は、偏光フィルタ12a、12bの透過軸の角度の切り替えに応じて、撮像センサ18が検出した輝度分布のうち、各画像フレームを生成する際の輝度値の読み出し先を切り替える。例えば図示する例では、偏光フィルタ12aが横方向の透過軸のとき、左上の領域から1つおきに輝度値を読み出す。偏光フィルタ12aが縦方向の透過軸のとき、左上の領域の隣の領域から1つおきに輝度値を読み出す。 As described above, if each polarizer of the polarization separation filter 16 has a size corresponding to each pixel, an image from one viewpoint is alternately represented by adjacent pixels. The image processing unit 100 switches the reading destination of the luminance value when generating each image frame in the luminance distribution detected by the imaging sensor 18 according to the switching of the angle of the transmission axis of the polarization filters 12a and 12b. For example, in the illustrated example, when the polarization filter 12a has a transmission axis in the horizontal direction, the luminance values are read out from the upper left region every other one. When the polarizing filter 12a has a vertical transmission axis, every other luminance value is read from the region adjacent to the upper left region.
 偏光分離フィルタ16の各偏光子を画素単位で設ける場合は、左上の画素から1つおき、または左上の画素の隣の画素から1つおきに輝度値を読み出せばよい。偏光フィルタ12a、12bの透過軸の切り替えは、同時に得られない輝度情報を時間方向で補完するものであるため、できるだけ高速に実施することが望ましく、例えば動画の1フレーム、または所定数のフレームが撮影される都度、切り替えることが考えられる。画像処理部100は、フレーム単位でバイリニア補間など既存の手法により輝度値が抜けている部分を補間してもよい。このようにしても、輝度値を補間により求める画素が時間的に変化することにより、時間的な観点で画像解析の精度が向上する。 In the case where the polarizers of the polarization separation filter 16 are provided in pixel units, the luminance value may be read every other pixel from the upper left pixel or every other pixel from the pixel adjacent to the upper left pixel. The switching of the transmission axes of the polarizing filters 12a and 12b complements luminance information that cannot be obtained at the same time in the time direction. Therefore, it is desirable that the switching be performed as fast as possible. For example, one frame of a moving image or a predetermined number of frames is used. It is conceivable to switch each time a picture is taken. The image processing unit 100 may interpolate a portion where the luminance value is missing by an existing method such as bilinear interpolation on a frame basis. Even in this case, the accuracy of image analysis is improved from a temporal point of view because the pixel whose luminance value is obtained by interpolation changes with time.
 一方、時間方向での情報補完の効果を撮影画像の生成段階で反映させることもできる。図8は、偏光フィルタ12a、12bの透過軸の角度の切り替えによる効果を撮影画像に反映させる手法を説明するための図である。この場合、画像処理部100は、光学レンズ10a、10bごとに、偏光フィルタ12a、12bの透過軸の角度の切り替え前後に取得された、複数の画像フレームを合成して1つの画像フレームを生成する。このため画像処理部100には、最後に透過軸の角度を切り替える前に取得された画像フレームを一時的に格納するメモリを準備する。 On the other hand, the effect of information complementation in the time direction can be reflected at the stage of generating a captured image. FIG. 8 is a diagram for explaining a method of reflecting the effect of switching the angles of the transmission axes of the polarization filters 12a and 12b on a captured image. In this case, the image processing unit 100 generates one image frame by combining a plurality of image frames acquired before and after switching the angle of the transmission axis of the polarizing filters 12a and 12b for each of the optical lenses 10a and 10b. . For this reason, the image processing unit 100 is provided with a memory for temporarily storing the image frame acquired before the angle of the transmission axis is finally switched.
 例えば図示するように、1つの画像フレームの撮影が完了する都度、透過軸の角度を切り替える場合、あるタイミングの画像フレームを撮影している期間、1つ前の画像フレームを保存しておく。そして、ある画像フレーム72aが得られたタイミングで、抜けている領域のデータを1つ前の画像フレーム70aを用いて埋める合成処理により、そのタイミングでの最終的な画像フレーム80を生成する。 As shown in the figure, for example, when the angle of the transmission axis is switched every time the imaging of one image frame is completed, the previous image frame is stored while the image frame at a certain timing is being imaged. Then, at a timing when a certain image frame 72a is obtained, a final image frame 80 at that timing is generated by a combining process of filling the data of the missing area using the immediately preceding image frame 70a.
 同様に、画像フレーム74a、76aが得られたタイミングで、抜けている領域のデータを1つ前の画像フレーム72a、74aを用いてそれぞれ埋める合成処理により、各タイミングでの最終的な画像フレーム82、84を生成する。このように、偏光フィルタ12a、12bの透過軸の角度が異なるときに取得された画像フレームを利用してデータの抜けを補填することにより、詳細度が高く誤差の小さい動画像を得ることができる。なお図示する例では1つ前のフレームのみを合成に用いたが、合成するフレームの数や透過軸を切り替える間隔は限定されない。 Similarly, at the timing when the image frames 74a and 76a are obtained, the final image frame 82 at each timing is obtained by the combining process of filling the data of the missing area with the immediately preceding image frames 72a and 74a. , 84. As described above, by compensating for the omission of data using the image frames acquired when the angles of the transmission axes of the polarization filters 12a and 12b are different, a moving image with a high degree of detail and a small error can be obtained. . In the illustrated example, only the immediately preceding frame is used for synthesis, but the number of frames to be synthesized and the interval for switching the transmission axis are not limited.
 いずれにしろ光学レンズ10a、10bに割り当てた偏光方位を入れ替えることにより、あるタイミングで得られなかった領域の情報が次のタイミングで補填されるため、常に同じ領域を空間的な補間処理で埋めるより画像の正確性が増す。また各視点の画像において偏光の方位が固定化されないため、情報に偏りが生じにくい。結果として、生成された画像を用いた解析の精度を向上させられる。 In any case, by exchanging the polarization directions assigned to the optical lenses 10a and 10b, information of an area that cannot be obtained at a certain timing is supplemented at the next timing, so that the same area is always filled by spatial interpolation processing. Image accuracy is increased. In addition, since the orientation of the polarized light is not fixed in the image of each viewpoint, the information is less likely to be biased. As a result, the accuracy of the analysis using the generated image can be improved.
 偏光フィルタ12a、12bの透過軸の角度を切り替える代わりに、偏光分離フィルタ16を構成する偏光子の透過軸の角度を切り替えても同様の効果が得られる。すなわち偏光フィルタ制御部110は、当該偏光子を面内で回転させるなどして、偏光フィルタ12a、12bの透過軸のいずれかと対応するように、偏光子の透過軸の角度を所定のタイミングで切り替える。例えば図2で例示した偏光分離フィルタ16において、1つおきの偏光子の透過軸を、図面における横、縦、横、縦、・・・というように切り替える。そしてその間の偏光子の透過軸も同時に、図面における縦、横、縦、横、・・・というように切り替える。 The same effect can be obtained by switching the angle of the transmission axis of the polarizer constituting the polarization separation filter 16 instead of switching the angle of the transmission axis of the polarization filters 12a and 12b. That is, the polarization filter control unit 110 switches the angle of the transmission axis of the polarizer at a predetermined timing so as to correspond to one of the transmission axes of the polarization filters 12a and 12b, for example, by rotating the polarizer in a plane. . For example, in the polarization separation filter 16 illustrated in FIG. 2, the transmission axes of every other polarizer are switched in the drawing as horizontal, vertical, horizontal, vertical,. At the same time, the transmission axis of the polarizer is switched in the drawing in the order of vertical, horizontal, vertical, horizontal,.
 なお偏光フィルタ12a、12bの透過軸は図2と同様、横または縦としている。このようにしても、偏光分離フィルタ16において、光学レンズ10a、10bからの光が透過する領域が時間変化する。したがって図8で示したような合成処理も可能となり、偏光フィルタ12a、12bの透過軸の角度を切り替えたのと同様の効果が得られる。この態様においては、偏光分離フィルタ16の各偏光子に、偏光フィルタ制御部110からの要求信号に応じて回転を実現するアクチュエータを設ける。あるいは後述するように、液晶や微粒子の駆動により偏光子を形成する構造とすることで、偏光子の回転を実現してもよい。 The transmission axes of the polarizing filters 12a and 12b are horizontal or vertical, as in FIG. Even in this case, in the polarization separation filter 16, the area through which the light from the optical lenses 10a and 10b passes changes over time. Accordingly, the synthesizing process as shown in FIG. 8 is also possible, and the same effect as when the angle of the transmission axis of the polarization filters 12a and 12b is switched is obtained. In this embodiment, each polarizer of the polarization separation filter 16 is provided with an actuator that realizes rotation according to a request signal from the polarization filter control unit 110. Alternatively, as described later, rotation of the polarizer may be realized by forming a polarizer by driving liquid crystal or fine particles.
 これまで述べた態様は主に、複数の視点からの撮影画像を小型の装置で精度よく取得することを目的としていたが、最終的に得られる画像が所定方位の偏光成分で表される特性上、入射光の偏光状態によって得られる輝度値が影響を受ける。図9は、偏光の方位に対する輝度の変化を例示している。図示するように方位φにおける偏光の輝度Iは、次のような180°周期の正弦波の形状となる。 The embodiments described so far mainly aim at accurately acquiring captured images from a plurality of viewpoints with a small-sized device. However, the characteristic that the finally obtained image is represented by a polarization component in a predetermined direction is obtained. In addition, the obtained brightness value is affected by the polarization state of the incident light. FIG. 9 illustrates a change in luminance with respect to the direction of polarized light. As shown in the figure, the brightness I of the polarized light in the azimuth φ has a shape of a sine wave having a period of 180 ° as follows.
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000001
 偏光フィルタ12a、12bへ入射する光は、被写体表面において、その法線を含む入射面内で鏡面反射または拡散反射し、光学レンズ10a、10bに到達、透過した光であるため、位相角ψは物体表面の法線に依存する。鏡面反射は入射面と垂直に振動するs偏光が支配的であり、拡散反射は入射面と平行に振動するp偏光が支配的となる。このため鏡面反射が支配的な入射光の場合、輝度Iが最小値Iminとなる方位φsが入射面の角度と一致する。一方、拡散反射が支配的な入射光の場合は、輝度Iが最大値Imaxとなる方位φd(=ψ)が入射面の角度と一致する。 The light incident on the polarizing filters 12a and 12b is specularly or diffusely reflected within the incident surface including the normal line on the subject surface, and reaches the optical lenses 10a and 10b. Depends on the normal of the object surface. Specular reflection is dominated by s-polarized light that oscillates perpendicular to the plane of incidence, and diffuse reflection is dominated by p-polarized light that oscillates parallel to the plane of incidence. Therefore, in the case of the incident light in which the specular reflection is dominant, the azimuth φs at which the luminance I becomes the minimum value I min coincides with the angle of the incident surface. On the other hand, in the case of incident light in which diffuse reflection is dominant, the azimuth φd (= ψ) at which the luminance I reaches the maximum value I max matches the angle of the incident surface.
 したがって対象物の法線が別途取得できれば、入射面の角度から位相角ψが判明する。一方、偏光フィルタ12a、12bの透過軸である画像の横方向と縦方向をφ=0、90°とすると、それらを透過する偏光は、同じ対象物の像でも黒丸で示すように異なる輝度I0°、I90°として検出される。このように2つの視点の撮影画像で輝度に差があると、対応点を正確に検出できず、距離の算出精度が悪化することが考えられる。そこで上述のとおり、対象物の法線を別途取得し、2つの視点の撮影画像の輝度レベルが同程度になるように補正する。 Therefore, if the normal of the object can be separately obtained, the phase angle ψ can be determined from the angle of the incident surface. On the other hand, assuming that the horizontal and vertical directions of the images, which are the transmission axes of the polarizing filters 12a and 12b, are φ = 0 and 90 °, the polarized light transmitted therethrough has different luminances I as indicated by black circles even in the image of the same object. 0 ° and I 90 ° are detected. If there is a difference in luminance between the captured images at the two viewpoints as described above, the corresponding point cannot be detected accurately, and the calculation accuracy of the distance may be degraded. Therefore, as described above, the normal line of the object is separately acquired, and correction is performed so that the brightness levels of the captured images at the two viewpoints are substantially the same.
 図10は本実施の形態の撮像システムにデプスセンサを導入し、デプス画像から得られる法線情報を利用して撮影画像の輝度レベルを補正する場合の、撮像システムの構成を示している。同図において撮像部120は、図1で示した光学レンズ10a、10b、偏光フィルタ12a、12b、光路制御部14、偏光分離フィルタ16、および撮像センサ18を含む。また画像処理部100の基本的な動作はこれまで述べたのと同様である。この態様ではさらに、同じ被写体の距離を計測するデプスセンサ130を導入する。 FIG. 10 shows the configuration of an imaging system in which a depth sensor is introduced into the imaging system of the present embodiment and the luminance level of a captured image is corrected using normal line information obtained from a depth image. In FIG. 2, the imaging unit 120 includes the optical lenses 10a and 10b, the polarization filters 12a and 12b, the optical path control unit 14, the polarization separation filter 16, and the imaging sensor 18 illustrated in FIG. The basic operation of the image processing unit 100 is the same as described above. In this embodiment, a depth sensor 130 for measuring the distance to the same subject is further introduced.
 デプスセンサ130は例えば、被写空間に近赤外線などの参照光を照射する機構と、その反射光を検出するCMOSセンサとで構成され、照射から検出までの時間や、反射光の分布のひずみなどにより被写体までの距離を導出する。前者の手法はToF(Time of Flight)方式、後者の手法はパターン照射方式として一般に知られる技術である。デプスセンサ130は、そのようにして取得した、被写体までの距離を画素値として表したデプス画像を生成し、画像処理部100に供給する。ただしデプス画像を生成できれば、デプスセンサ130による距離の取得手段は特に限定されない。 The depth sensor 130 includes, for example, a mechanism that irradiates the subject space with reference light such as near-infrared light and a CMOS sensor that detects the reflected light, and the time from irradiation to detection, the distortion of the distribution of the reflected light, etc. Deriving the distance to the subject. The former method is a technique generally known as a ToF (Time @ of @ Flight) method, and the latter method is a technique generally known as a pattern irradiation method. The depth sensor 130 generates a depth image in which the distance to the subject obtained as described above is expressed as a pixel value, and supplies the generated depth image to the image processing unit 100. However, as long as the depth image can be generated, the means for acquiring the distance by the depth sensor 130 is not particularly limited.
 画像処理部100は、上述のように各視点の撮影画像を取得する画像生成部102と、デプス画像を利用して撮影画像の輝度レベルを補正する画像補正部103を含む。具体的には画像補正部103は、デプス画像に基づき被写体の法線の分布を取得することにより偏光輝度の方位に対する特性を取得し、当該特性と、光学レンズ10a、10bに割り当てられた方位との関係に基づき、光学レンズ10a、10bごとの撮影画像における輝度値を補正する。 The image processing unit 100 includes the image generation unit 102 that acquires a captured image of each viewpoint as described above, and the image correction unit 103 that corrects the luminance level of the captured image using the depth image. Specifically, the image correction unit 103 obtains the characteristic of the direction of the polarization luminance by obtaining the distribution of the normal line of the subject based on the depth image, and obtains the characteristic and the direction assigned to the optical lenses 10a and 10b. Based on the relationship, the brightness value in the captured image for each of the optical lenses 10a and 10b is corrected.
 図11は、画像補正部103が撮影画像の輝度レベルを補正するために行うデータ変換を説明するための図である。画像補正部103はまず、デプス画像を用いて、被写体の法線分布を表す法線画像を生成する。デプス画像によれば、点104a、104b、104c、104d、104eのように、被写体の実空間での位置が離散的に得られる。そのうち隣り合う3点を頂点とする三角形の面は被写体表面を近似している。 FIG. 11 is a diagram for explaining data conversion performed by the image correction unit 103 to correct the luminance level of a captured image. First, the image correction unit 103 generates a normal image representing the normal distribution of the subject using the depth image. According to the depth image, the positions of the subject in the real space are discretely obtained as points 104a, 104b, 104c, 104d, and 104e. Among them, a triangular surface having three adjacent points as vertices approximates the object surface.
 したがって当該三角形の法線106a、106b、106cは、被写体の法線を近似している。これらの法線106a、106b、106cを画像平面に射影することにより、法線画像112が得られる。法線画像112における各点の法線の角度は入射面に一致するため、鏡面反射光、あるいは拡散反射光のどちらかを仮定すると、図9で示した正弦波の位相角ψが一意に定まる。そして各視点の撮影画像における対応点の輝度、すなわちφ=0°、90°のときの輝度I0°、I90°を既知として式1の連立方程式を解くことにより、偏光輝度の最大値Imaxおよび最小値Iminが得られる。 Therefore, the normal lines 106a, 106b, and 106c of the triangle approximate the normal lines of the subject. By projecting these normals 106a, 106b, 106c onto the image plane, a normal image 112 is obtained. Since the angle of the normal line of each point in the normal image 112 coincides with the incident surface, the phase angle の of the sine wave shown in FIG. 9 is uniquely determined assuming either specular reflected light or diffuse reflected light. . Then, by solving the simultaneous equation of Equation 1 with the brightness of the corresponding point in the captured image of each viewpoint, that is, the brightness I 0 ° and I 90 ° when φ = 0 ° and 90 ° is known, the maximum value of the polarization brightness I max and the minimum value I min are obtained.
 したがって、例えば輝度I0°、I90°をImaxに置き換えることにより、両者の輝度レベルを、その位置における偏光の最大値に補正できる。なお輝度I0°、I90°は同じ被写体の像を表す対応点である必要があるため、デプス画像に基づき視差が得られる代表点の輝度を選択する。そしてその周囲の輝度に、係数Imax/I0°、Imax/I90°を乗算することにより、全体的な輝度レベルをほぼ揃えることができる。これにより、視点ごとに異なる方位の偏光を取得することによる輝度レベルの差が解消され、詳細な対応点を精度よく取得できる。例えばそのように取得した対応点を用いて画素ごとに距離値を算出すれば、デプスセンサ130が低い解像度で生成したデプス画像を補間して、詳細なデプス画像を生成できる。 Therefore, for example, by replacing the luminances I 0 ° and I 90 ° with I max , both luminance levels can be corrected to the maximum value of the polarization at that position. Since the luminances I 0 ° and I 90 ° need to be corresponding points representing the same subject image, the luminance of a representative point at which parallax is obtained based on the depth image is selected. Then, by multiplying the surrounding brightness by the coefficients I max / I 0 ° and I max / I 90 ° , the overall brightness level can be almost equalized. As a result, the difference in the brightness level due to the acquisition of the polarized light having the different azimuth for each viewpoint is eliminated, and a detailed corresponding point can be acquired with high accuracy. For example, if a distance value is calculated for each pixel using the corresponding points thus obtained, a depth image generated at a low resolution by the depth sensor 130 can be interpolated to generate a detailed depth image.
 これまで述べたように偏光フィルタ12a、12bは、アクチュエータにより機械的に制御可能な偏光板としてもよいし、電気的に態様を変化させる構造としてもよい。その一例として、図12は、コレステリック液晶を用いた偏光フィルタ12a、12bの断面図を模式的に示している。コレステリック液晶は電子ペーパーに利用され、ネマティック液晶にカイラル材を添加することにより、コレステリック相と呼ばれる螺旋状の構造としたものである。偏光フィルタ12a、12bは図示するように、光の波長より小さい幅の透明な下部電極89の配列と、当該配列に対向する透明な上部電極85で、液晶分子層87を挟んだ構造とする。 As described above, the polarizing filters 12a and 12b may be polarizing plates that can be mechanically controlled by an actuator, or may have a structure that electrically changes the mode. As an example, FIG. 12 schematically shows a cross-sectional view of polarizing filters 12a and 12b using cholesteric liquid crystal. Cholesteric liquid crystals are used in electronic paper, and have a spiral structure called a cholesteric phase by adding a chiral material to a nematic liquid crystal. As shown, the polarizing filters 12a and 12b have a structure in which a liquid crystal molecule layer 87 is sandwiched between an array of transparent lower electrodes 89 having a width smaller than the wavelength of light and a transparent upper electrode 85 facing the array.
 コレステリック液晶は、印加する電圧の範囲によって螺旋構造の軸の方向が変化し、これに応じて光を透過させるか否かを制御できる。定性的には、弱い電圧を印加することにより螺旋軸が垂直になり光を反射させるが、強い電圧を印加すると螺旋軸が水平になり光を透過するようになる。したがって偏光フィルタ制御部110は、下部電極89の配列に対し印加する電圧を変化させ、光の透過を制御することにより偏光子を形成する。すなわち電子ペーパーの文字と同様の原理で、光を反射する線と透過する線を形成する。これにより、透過軸の角度を変化させたり一部領域の偏光子を消去したりすることを、電気的な制御で実現できる。 (4) In the cholesteric liquid crystal, the direction of the axis of the helical structure changes depending on the range of the applied voltage, and it is possible to control whether or not to transmit light according to the direction. Qualitatively, when a weak voltage is applied, the helical axis becomes vertical and reflects light, but when a strong voltage is applied, the helical axis becomes horizontal and light is transmitted. Therefore, the polarization filter control unit 110 forms a polarizer by changing the voltage applied to the arrangement of the lower electrodes 89 and controlling the transmission of light. That is, a line that reflects light and a line that transmits light are formed on the same principle as the characters of electronic paper. This makes it possible to change the angle of the transmission axis or to erase the polarizer in a partial area by electrical control.
 現在、様々な方式の電子ペーパーが提案されており、そのいずれを偏光子の形成に利用してもよい。図13は帯電させた微粒子を用いた偏光フィルタ12a、12bの構造を模式的に示している。同様の構造は、高い流動性を有する高分子ポリマーである電子粉流体を用いた電子ペーパーとして実用化されている。本実施の形態の偏光フィルタ12a、12bでは、(a)の断面図に示すように、光の波長より小さい幅の透明な上部電極90の配列と、当該配列に対向する透明な下部電極94で挟まれた空間に、正または負に帯電させた多数の黒い微粒子92を封入した構造とする。微粒子の直径も光の波長より小さい必要があるため、例えば銅を用いたナノ粒子などを利用することが考えられる。 Currently, various types of electronic papers have been proposed, and any of them may be used for forming a polarizer. FIG. 13 schematically shows the structure of polarizing filters 12a and 12b using charged fine particles. A similar structure has been put to practical use as electronic paper using electronic powder fluid, which is a high-molecular polymer having high fluidity. In the polarization filters 12a and 12b according to the present embodiment, as shown in the cross-sectional view of (a), an array of transparent upper electrodes 90 having a width smaller than the wavelength of light and a transparent lower electrode 94 facing the array are provided. A structure in which a large number of black particles 92 positively or negatively charged are enclosed in the space sandwiched therebetween. Since the diameter of the fine particles also needs to be smaller than the wavelength of light, it is conceivable to use, for example, nanoparticles using copper.
 例えば微粒子92を負に帯電させ、上部電極90を正、下部電極94を負とする電圧を印加することにより、微粒子92は上部電極90側に集まる。偏光フィルタ制御部110は、上部電極90の配列のうち、例えば一つおきなど選択した電極に電圧を印加することにより、微粒子92を当該電極に集める。これにより(b)に示すようなストライプ状の偏光子を形成できる。これによっても、透過軸の角度を変化させたり一部領域の偏光子を消去したりできる。 {Circle around (2)} For example, the fine particles 92 are negatively charged, and the upper electrode 90 is positive, and the lower electrode 94 is negative. The polarization filter control unit 110 collects the fine particles 92 on the selected electrode by applying a voltage to, for example, every other electrode in the arrangement of the upper electrodes 90. This makes it possible to form a stripe-shaped polarizer as shown in FIG. This also allows the angle of the transmission axis to be changed or the polarizer in some areas to be eliminated.
 偏光フィルタ12a、12bとしてはこのほか、TN(Twisted Nematic)型液晶ディスプレイで用いられるTN型液晶を利用することも考えられる。図14は、TN型液晶を用いた偏光フィルタ12a、12bの構造と、偏光分離フィルタ16における偏光子の関係を模式的に示している。TN型液晶は、分子の配向が徐々に変化し全体として90°ねじれた状態としたネマティック液晶を透明電極で挟んだ部材142を含む。本実施の形態の偏光フィルタ12a、12bは、部材142の上面に偏光子140を設けた構造とする。 In addition, a TN type liquid crystal used in a TN (Twisted @ Nematic) type liquid crystal display may be used as the polarizing filters 12a and 12b. FIG. 14 schematically shows the relationship between the structure of the polarization filters 12a and 12b using TN type liquid crystal and the polarizer in the polarization separation filter 16. The TN-type liquid crystal includes a member 142 in which a nematic liquid crystal whose molecular orientation is gradually changed and twisted by 90 ° as a whole is sandwiched between transparent electrodes. The polarization filters 12a and 12b of the present embodiment have a structure in which a polarizer 140 is provided on the upper surface of a member 142.
 部材142の電極に電圧を印加しない状態では、(a)に示すように分子配向のねじれにより、偏光子140を透過した偏光の方位が90°変化する。一方、部材142に電圧を印加すると、分子配向のねじれがなくなるため、(b)に示すように偏光子140を透過した偏光は方位の変化なく透過する。すなわち電圧を印加するか否かによって、偏光子140を透過した偏光の方位を90°変化させられるため、図7、8で説明したのと同様の態様を実現できる。 In the state where no voltage is applied to the electrode of the member 142, the orientation of the polarized light transmitted through the polarizer 140 changes by 90 ° due to the twist of the molecular orientation as shown in FIG. On the other hand, when a voltage is applied to the member 142, the molecular orientation is not twisted, so that the polarized light transmitted through the polarizer 140 is transmitted without a change in azimuth as shown in FIG. That is, since the direction of the polarized light transmitted through the polarizer 140 can be changed by 90 ° depending on whether or not a voltage is applied, the same mode as that described with reference to FIGS.
 より具体的には電圧を印加しない(a)の状態では、偏光分離フィルタ16のうち、偏光フィルタ12a、12bの上面の偏光子140と90°方位が異なる偏光子144aの領域で光が透過し検出される。電圧を印加した(b)の状態では、偏光分離フィルタ16のうち、偏光フィルタ12a、12bの上面の偏光子140と同じ方位の偏光子144bの領域で光が透過し検出される。 More specifically, in the state (a) where no voltage is applied, light is transmitted through a region of the polarizer 144a having a 90 ° azimuth different from the polarizer 140 on the upper surface of the polarization filters 12a and 12b in the polarization separation filter 16. Is detected. In the state (b) in which the voltage is applied, light is transmitted and detected in a region of the polarizer 144b in the same direction as the polarizer 140 on the upper surface of the polarization filters 12a and 12b in the polarization separation filter 16.
 したがって偏光フィルタ制御部110は、フレームごとなど所定のタイミングで、電圧の印加開始/停止を繰り返すことにより透過軸を90°変化させ、光学レンズ10a、10bに対する偏光方位の割り当てを入れ替える。なお偏光フィルタ12a、12bの上面の偏光子の方位を90°異ならせ、双方に同時に電圧を印加してもよいし、それらの偏光子の方位を同じとし、電圧を交互に印加してもよい。 Therefore, the polarization filter control unit 110 changes the transmission axis by 90 ° by repeating the start / stop of the application of the voltage at predetermined timing such as every frame, and changes the assignment of the polarization direction to the optical lenses 10a and 10b. The polarizers on the upper surfaces of the polarizing filters 12a and 12b may be different in direction by 90 °, and a voltage may be applied to both at the same time, or the polarizers may have the same direction and voltages may be applied alternately. .
 以上述べた本実施の形態によれば、複数の視点において入射した光の偏光成分を、少なくとも一部が重なり合うように1つの領域に集光させ、偏光方位の差を利用して領域ごとに分離し撮影画像を得る技術において、偏光子を可動あるいは可変にする。具体的には、偏光子を面内で回転可能とすることにより、偏光成分を抽出するための偏光フィルタと、異なる視点の偏光を分離するための偏光分離フィルタの透過軸を一致させ、取り付け誤差や経年変化による感度低下を是正する。 According to the above-described embodiment, the polarization components of light incident from a plurality of viewpoints are condensed on one region so that at least a part of the light overlaps, and separated for each region using a difference in polarization direction. In a technique for obtaining a captured image, a polarizer is made movable or variable. Specifically, by making the polarizer rotatable in the plane, the transmission axes of the polarization filter for extracting the polarization component and the polarization separation filter for separating polarized light from different viewpoints are matched, and the mounting error is reduced. And sensitivity deterioration due to aging.
 また偏光フィルタにおける偏光子の機能を部分的に無効とすることにより、一部領域については、複数の視点の自然光を重ね合わせた光を検出できるようにする。これにより、複数視点での撮影を必要としない視差の小さい像について、高い輝度で撮影画像が得られるため、各種画像解析を高精度に行える。さらに動画撮影期間において、偏光フィルタあるいは偏光分離フィルタの透過軸の角度を所定のタイミングで入れ替える。これにより領域に依存して失われた情報を時間的に補完することができるとともに、偏光方位が視点によって固定されることがなくなり、偏光を利用することによる解析への影響を抑えることができる。 By partially disabling the function of the polarizer in the polarizing filter, it is possible to detect light obtained by superimposing natural light from a plurality of viewpoints on a partial area. Accordingly, a captured image with high luminance can be obtained for an image with a small parallax that does not need to be captured from a plurality of viewpoints, so that various image analysis can be performed with high accuracy. Further, during the moving image capturing period, the angle of the transmission axis of the polarization filter or the polarization separation filter is changed at a predetermined timing. As a result, information lost depending on the region can be temporally complemented, and the polarization direction is not fixed by the viewpoint, so that the influence of the use of polarized light on the analysis can be suppressed.
 さらに、別途設けたデプスセンサからデプス画像を取得し、それを利用して特定できる被写体の法線に基づき偏光輝度の方位依存性を求める。そして偏光フィルタの透過軸の角度との関係に基づき、検出された偏光輝度を補正する。これにより、入射光の偏光状態と偏光フィルタの透過軸の関係に依存した検出輝度への影響を抑え、統一された輝度レベルにより対応点を高精度に特定できる。以上のことから、撮像装置を小型化しても撮影画像が示す情報量を維持でき、より高精度な画像解析を行える。 Furthermore, a depth image is obtained from a separately provided depth sensor, and the azimuth dependence of the polarization luminance is obtained based on the normal line of the subject that can be specified using the depth image. Then, the detected polarization luminance is corrected based on the relationship with the angle of the transmission axis of the polarization filter. As a result, the influence on the detection luminance depending on the relationship between the polarization state of the incident light and the transmission axis of the polarization filter can be suppressed, and the corresponding point can be specified with high accuracy by the unified luminance level. As described above, even if the imaging apparatus is downsized, the information amount indicated by the captured image can be maintained, and more accurate image analysis can be performed.
 以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。 The present invention has been described based on the embodiments. The above embodiment is an exemplification, and it is understood by those skilled in the art that various modifications can be made to the combination of each component and each processing process, and that such modifications are also within the scope of the present invention. is there.
 10a 光学レンズ、 12a 偏光フィルタ、 光路制御部14、 偏光分離フィルタ16、 18 撮像センサ、 100 画像処理部、 110 偏光フィルタ制御部、 102 画像生成部、 103 画像補正部、 120 撮像部、 130 デプスセンサ。 {10a} optical lens, {12a} polarization filter, {optical path control unit 14, {polarization separation filter 16, {18} imaging sensor, {100} image processing unit, {110} polarization filter control unit, {102} image generation unit, {103} image correction unit, {120} imaging unit, {130} depth sensor.
 以上のように本発明は、撮像装置、電子機器、画像処理装置など各種装置と、それを含むシステムなどに利用可能である。 As described above, the present invention is applicable to various devices such as an imaging device, an electronic device, and an image processing device, and a system including the same.

Claims (15)

  1.  既知の間隔で配置された複数の光学レンズと、
     前記光学レンズのそれぞれに対応し、当該光学レンズに割り当てられた方位の偏光をそれぞれ透過させる複数の偏光フィルタと、
     前記複数の偏光フィルタの透過光の少なくとも一部が重なり合うように、光路を制御する光路制御部と、
     前記光路制御部からの光のうち、各光学レンズに割り当てられた方位のいずれかの偏光を透過させる、透過軸の角度が異なる偏光子の配列を備える偏光分離フィルタと、
     前記偏光分離フィルタを透過した偏光の輝度分布を検出する撮像センサと、
     前記撮像センサが検出した輝度分布のうち、前記偏光分離フィルタにおける偏光子の配列に基づく位置から輝度値を読み出すことにより、前記光学レンズごとの輝度分布を表す撮影画像を生成する画像処理部と、
     前記複数の偏光フィルタを動作させ、透過させる光の状態を変化させる偏光フィルタ制御部と、
     を備えたことを特徴とする電子機器。
    A plurality of optical lenses arranged at known intervals,
    A plurality of polarization filters corresponding to each of the optical lenses and transmitting polarized light of the azimuth assigned to the optical lens,
    An optical path control unit that controls an optical path so that at least some of the transmitted lights of the plurality of polarization filters overlap,
    Among the light from the optical path control unit, a polarized light separating filter including an array of polarizers having different transmission axis angles, which transmits any polarized light in the direction assigned to each optical lens,
    An image sensor that detects a luminance distribution of polarized light transmitted through the polarization separation filter;
    Among the luminance distribution detected by the imaging sensor, by reading a luminance value from a position based on the arrangement of the polarizer in the polarization separation filter, an image processing unit that generates a captured image representing the luminance distribution for each optical lens,
    Operating the plurality of polarizing filters, a polarizing filter control unit that changes the state of light to be transmitted,
    An electronic device comprising:
  2.  前記偏光フィルタ制御部は、前記偏光フィルタを面内で回転させることにより透過軸の角度を変化させることを特徴とする請求項1に記載の電子機器。 The electronic device according to claim 1, wherein the polarization filter control unit changes the angle of the transmission axis by rotating the polarization filter in a plane.
  3.  前記偏光フィルタ制御部は、前記撮像センサが検出する偏光の輝度分布が所定の条件を満たすように、前記偏光フィルタの透過軸の角度を調整することを特徴とする請求項2に記載の電子機器。 The electronic device according to claim 2, wherein the polarization filter control unit adjusts an angle of a transmission axis of the polarization filter so that a luminance distribution of polarized light detected by the imaging sensor satisfies a predetermined condition. .
  4.  前記偏光フィルタ制御部は、動画撮影期間において、前記光学レンズに対する方位の割り当てが入れ替わるように、前記偏光フィルタの透過軸の角度を所定のタイミングで切り替えることを特徴とする請求項2または3に記載の電子機器。 4. The polarization filter control section switches the angle of the transmission axis of the polarization filter at a predetermined timing such that the assignment of the azimuth to the optical lens is switched during a moving image capturing period, 4. Electronic equipment.
  5.  前記画像処理部は、前記偏光フィルタの透過軸の角度の切り替えに応じて、前記撮像センサが検出した輝度分布のうち、各画像フレームを生成する際の輝度値の読み出し先を切り替えることを特徴とする請求項4に記載の電子機器。 The image processing unit, according to the switching of the angle of the transmission axis of the polarizing filter, among the luminance distribution detected by the imaging sensor, to switch the reading destination of the luminance value when generating each image frame, The electronic device according to claim 4.
  6.  前記画像処理部は、前記光学レンズごとに、前記偏光フィルタの透過軸の角度の切り替えの前後に取得された、複数の画像フレームを合成して1つの画像フレームを生成することを特徴とする請求項5に記載の電子機器。 The image processing unit, for each of the optical lenses, generates a single image frame by combining a plurality of image frames acquired before and after switching the angle of the transmission axis of the polarization filter. Item 6. An electronic device according to item 5.
  7.  前記偏光フィルタ制御部はさらに、前記偏光分離フィルタの偏光子を面内で回転させることにより、前記偏光フィルタの透過軸のいずれかと対応するように、前記偏光子の透過軸の角度を所定のタイミングで切り替えることを特徴とする請求項1に記載の電子機器。 The polarization filter control unit further rotates the polarizer of the polarization separation filter in a plane to adjust the angle of the transmission axis of the polarizer at a predetermined timing so as to correspond to one of the transmission axes of the polarization filter. The electronic device according to claim 1, wherein the electronic device is switched over.
  8.  前記偏光フィルタ制御部は、前記光学レンズごとの前記撮影画像における視差が所定値より小さい領域を特定し、当該領域に対応する前記偏光フィルタの領域における偏光子の機能を無効化することを特徴とする請求項1から7のいずれかに記載の電子機器。 The polarizing filter control unit specifies a region in which the parallax in the captured image for each optical lens is smaller than a predetermined value, and disables a function of a polarizer in a region of the polarizing filter corresponding to the region. The electronic device according to claim 1.
  9.  前記偏光フィルタはアクチュエータにより面の垂直に起立可能な複数の偏光子を備え、
     前記偏光フィルタ制御部は、前記視差が所定値より小さい領域に含まれる偏光子を起立させる要求信号を発行することにより、偏光子の機能を無効化することを特徴とする請求項8に記載の電子機器。
    The polarizing filter includes a plurality of polarizers that can be vertically raised by an actuator.
    The polarization filter control unit according to claim 8, wherein the function of the polarizer is invalidated by issuing a request signal for raising a polarizer included in a region where the parallax is smaller than a predetermined value. Electronics.
  10.  前記偏光フィルタは、光の波長より小さい幅の透明電極の配列と、当該電極の配列に対向する透明電極とに挟まれたコレステリック液晶を含み、
     前記偏光フィルタ制御部は、前記電極の配列に対し印加する電圧を変化させ、光の透過を制御することにより偏光子を形成することを特徴とする請求項1から8のいずれかに記載の電子機器。
    The polarizing filter includes a cholesteric liquid crystal sandwiched between an array of transparent electrodes having a width smaller than the wavelength of light and a transparent electrode facing the array of the electrodes.
    9. The electron according to claim 1, wherein the polarization filter control unit forms a polarizer by changing a voltage applied to the arrangement of the electrodes and controlling transmission of light. machine.
  11.  前記偏光フィルタは、光の波長より小さい幅の透明電極の配列と、当該電極の配列に対向する透明電極とに挟まれた空間に封入した帯電粒子を含み、
     前記偏光フィルタ制御部は、前記電極の配列のうち選択した電極に電圧を印加することにより、前記帯電粒子を集め偏光子を形成することを特徴とする請求項1から8のいずれかに記載の電子機器。
    The polarizing filter includes an array of transparent electrodes having a width smaller than the wavelength of light, and charged particles sealed in a space sandwiched between transparent electrodes facing the array of the electrodes.
    9. The polarizing filter control unit according to claim 1, wherein the polarizing filter control unit collects the charged particles to form a polarizer by applying a voltage to an electrode selected from the array of the electrodes. Electronics.
  12.  前記偏光フィルタは、透明電極に挟まれたTN(Twisted Nematic)型液晶と、その上面に配置された偏光子を含み、
     前記偏光フィルタ制御部は、前記電極に電圧を印加するか否かによって前記偏光子を透過した偏光の方位を変化させることを特徴とする請求項1に記載の電子機器。
    The polarizing filter includes a TN (Twisted Nematic) liquid crystal sandwiched between transparent electrodes, and a polarizer disposed on an upper surface thereof.
    The electronic device according to claim 1, wherein the polarization filter control unit changes an azimuth of polarized light transmitted through the polarizer depending on whether a voltage is applied to the electrode.
  13.  前記画像処理部は、被写体までの距離を画素値として表したデプス画像をデプスセンサから取得して当該被写体の法線の分布を取得することにより偏光輝度の方位に対する特性を取得し、当該特性と前記光学レンズに割り当てられた方位との関係に基づき、当該光学レンズごとの撮影画像における輝度値を補正することを特徴とする請求項1から12のいずれかに記載の電子機器。 The image processing unit acquires a depth image representing a distance to a subject as a pixel value from a depth sensor and acquires a distribution of a normal line of the subject to acquire a characteristic with respect to the direction of polarization luminance, and acquires the characteristic and the characteristic. 13. The electronic apparatus according to claim 1, wherein a luminance value in a captured image of each optical lens is corrected based on a relationship with an azimuth assigned to the optical lens.
  14.  前記偏光フィルタ制御部は、前記偏光分離フィルタおよび前記撮像センサとともに積層され素子を形成することを特徴とする請求項1から13のいずれかに記載の電子機器。 14. The electronic device according to claim 1, wherein the polarization filter control unit is stacked with the polarization separation filter and the image sensor to form an element.
  15.  既知の間隔で配置された複数の光学レンズかを透過した光のうち、前記光学レンズのそれぞれに対応し透過軸の角度が異なる複数の偏光フィルタにより、当該光学レンズに割り当てられた方位の偏光成分を透過させるステップと、
     前記複数の偏光フィルタの透過光の少なくとも一部が重なり合うように、光路を制御するステップと、
     透過軸の角度が異なる偏光子の配列を備える偏光分離フィルタにより、光路を制御された光のうち、各光学レンズに割り当てられた方位のいずれかの偏光を透過させるステップと、
     前記偏光分離フィルタを透過した偏光の輝度分布を検出するステップと、
     前記輝度分布のうち、前記偏光分離フィルタにおける偏光子の配列に基づく位置から輝度値を読み出すことにより、前記光学レンズごとの輝度分布を表す撮影画像を生成するステップと、
     を含み、
     前記偏光フィルタは、透過させる光の状態を変化させる偏光フィルタ制御部により動作させられることを特徴とする撮影方法。
    Of the light transmitted through a plurality of optical lenses arranged at known intervals, a plurality of polarizing filters having different transmission axis angles corresponding to the respective optical lenses, and a polarization component having an azimuth assigned to the optical lens. Transmitting light,
    Controlling the optical path so that at least a part of the transmitted light of the plurality of polarizing filters overlaps,
    By a polarization separation filter comprising an array of polarizers having different transmission axis angles, of the light whose optical path is controlled, transmitting any polarized light in the direction assigned to each optical lens,
    Detecting a luminance distribution of polarized light transmitted through the polarization separation filter;
    Of the luminance distribution, reading a luminance value from a position based on the arrangement of polarizers in the polarization separation filter to generate a captured image representing the luminance distribution for each optical lens;
    Including
    The imaging method according to claim 1, wherein the polarizing filter is operated by a polarizing filter control unit that changes a state of light to be transmitted.
PCT/JP2018/027152 2018-07-19 2018-07-19 Electronic device and photography method WO2020017002A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/027152 WO2020017002A1 (en) 2018-07-19 2018-07-19 Electronic device and photography method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/027152 WO2020017002A1 (en) 2018-07-19 2018-07-19 Electronic device and photography method

Publications (1)

Publication Number Publication Date
WO2020017002A1 true WO2020017002A1 (en) 2020-01-23

Family

ID=69163703

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/027152 WO2020017002A1 (en) 2018-07-19 2018-07-19 Electronic device and photography method

Country Status (1)

Country Link
WO (1) WO2020017002A1 (en)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62217790A (en) * 1986-03-19 1987-09-25 Nippon Hoso Kyokai <Nhk> Stereoscopic image system
JPS62291292A (en) * 1986-06-11 1987-12-18 Sharp Corp Image pickup device
US20030234910A1 (en) * 2002-06-21 2003-12-25 International Business Machines Corporation Stereographic display device
JP2005306017A (en) * 2004-03-23 2005-11-04 Fuji Photo Film Co Ltd Liquid drop discharge head, liquid drop discharge device and image forming device
JP2010243463A (en) * 2009-04-10 2010-10-28 Ricoh Co Ltd Stereo camera and vehicle-outside monitor
JP2015072398A (en) * 2013-10-04 2015-04-16 三菱電機株式会社 Video display device
WO2018037678A1 (en) * 2016-08-24 2018-03-01 ソニー株式会社 Image processing device, information generation device, and information generation method

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62217790A (en) * 1986-03-19 1987-09-25 Nippon Hoso Kyokai <Nhk> Stereoscopic image system
JPS62291292A (en) * 1986-06-11 1987-12-18 Sharp Corp Image pickup device
US20030234910A1 (en) * 2002-06-21 2003-12-25 International Business Machines Corporation Stereographic display device
JP2005306017A (en) * 2004-03-23 2005-11-04 Fuji Photo Film Co Ltd Liquid drop discharge head, liquid drop discharge device and image forming device
JP2010243463A (en) * 2009-04-10 2010-10-28 Ricoh Co Ltd Stereo camera and vehicle-outside monitor
JP2015072398A (en) * 2013-10-04 2015-04-16 三菱電機株式会社 Video display device
WO2018037678A1 (en) * 2016-08-24 2018-03-01 ソニー株式会社 Image processing device, information generation device, and information generation method

Similar Documents

Publication Publication Date Title
US11272161B2 (en) System and methods for calibration of an array camera
US20120026297A1 (en) Imaging apparatus and imaging method
JP4413261B2 (en) Imaging apparatus and optical axis control method
US9131221B2 (en) Stereoscopic image capturing method, system and camera
EP2779654A2 (en) Stereo camera
US20120019736A1 (en) Imaging device
JP5827988B2 (en) Stereo imaging device
US8749652B2 (en) Imaging module having plural optical units in which each of at least two optical units include a polarization filter and at least one optical unit includes no polarization filter and image processing method and apparatus thereof
CN108566504A (en) A kind of dual camera module, electronic equipment and its image acquiring method
WO2011014421A2 (en) Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation
US20220180484A1 (en) Image processing method, electronic device, and computer-readable storage medium
JPH08149515A (en) Stereoscopic image pickup device
WO2017133138A1 (en) Image acquisition system, image acquisition processing system, and image acquisition processing method
JP2011215545A (en) Parallax image acquisition device
WO2020017002A1 (en) Electronic device and photography method
EP2848996A1 (en) Stereo imaging apparatus and stereo image generating method
US20140354777A1 (en) Apparatus and method for obtaining spatial information using active array lens
US20100103276A1 (en) Split aperture capture of rangemap for 3d imaging
WO2009088068A1 (en) Imaging device and optical axis control method
JP2013046081A (en) Image capturing device and image generation method
US10972710B2 (en) Control apparatus and imaging apparatus
US20220239890A1 (en) System and Methods for Calibration of an Array Camera
JP2008158535A (en) Imaging apparatus
KR20140140495A (en) Aparatus and method for obtaining spatial information using active lens array
RU2305304C2 (en) Device for registering remote volumetric objects

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18926582

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18926582

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP