WO2013058085A1 - ステレオ撮像装置 - Google Patents

ステレオ撮像装置 Download PDF

Info

Publication number
WO2013058085A1
WO2013058085A1 PCT/JP2012/075297 JP2012075297W WO2013058085A1 WO 2013058085 A1 WO2013058085 A1 WO 2013058085A1 JP 2012075297 W JP2012075297 W JP 2012075297W WO 2013058085 A1 WO2013058085 A1 WO 2013058085A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
imaging device
exposure time
unit
parallax
Prior art date
Application number
PCT/JP2012/075297
Other languages
English (en)
French (fr)
Inventor
敦 市毛
Original Assignee
日立オートモティブシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立オートモティブシステムズ株式会社 filed Critical 日立オートモティブシステムズ株式会社
Priority to DE112012004352.9T priority Critical patent/DE112012004352B4/de
Priority to US14/347,899 priority patent/US10218960B2/en
Publication of WO2013058085A1 publication Critical patent/WO2013058085A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/133Equalising the characteristics of different image components, e.g. their average brightness or colour balance
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00Stereoscopic photography
    • G03B35/08Stereoscopic photography by simultaneous recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0088Synthesising a monoscopic image signal from stereoscopic images, e.g. synthesising a panoramic or high resolution monoscopic image

Definitions

  • the present invention relates to a stereo imaging apparatus having a plurality of imaging elements.
  • the stereo camera calculates a distance of an object using a pair of images captured by two left and right imaging elements, and recognizes the object.
  • Patent Document 2 discloses an imaging device capable of obtaining a wide dynamic range stereoscopic image and high-accuracy distance information.
  • Patent Document 1 Although it is possible to change the exposure time with the left and right cameras with a camera capable of stereo shooting, it is possible to combine the left and right images to output the left and right images. Is processed so that it looks as equal as possible, and it is not possible to obtain parallax information including parallax images.
  • each frame to be imaged takes a long time
  • at least two frames are required to obtain a long exposure image and a short exposure image. is necessary.
  • An object of the present invention is to provide a stereo imaging device capable of obtaining parallax information including parallax images in all frames to be imaged in a scene where a luminance difference is large.
  • a threshold image pickup device comprises an image acquisition unit for acquiring a second image different in exposure time from the first image, the first image, and the acquired first image and second image.
  • a luminance correction unit that performs luminance correction on one of the images
  • a parallax calculation unit that calculates a parallax from the one image and the other image corrected by the luminance correction unit, and outputs a parallax image and parallax information;
  • the present invention can provide a stereo imaging apparatus capable of obtaining parallax information including parallax images in all frames to be imaged in a scene with a large luminance difference.
  • a stereo imaging apparatus 100 will be described with reference to FIGS. 1 and 2.
  • an apparatus for acquiring two images including an imaging element there is, for example, a camera module.
  • the left camera 110 (first imaging device) and the right camera 111 (second imaging device) will be referred to.
  • the left camera 110 and the right camera 111 can capture images with different exposure times. Therefore, with the left camera 110 and the right camera 111, a bright image 200 (first image) and a dark image 210 (darker than the first image) are obtained as images obtained when images are simultaneously captured (referred to as the same frame image). 2) can be taken. Depending on the imaging condition and the imaging target, imaging may always be performed with different exposure times by the left and right cameras, and in some cases, imaging may be performed with the same exposure time by the left and right cameras. In the description of the present invention, hereinafter, the left camera 110 can obtain a bright image with a long exposure time (first exposure time), and the right camera 111 can obtain a dark image with a short exposure time (first exposure time). It is assumed that the image is set with a short second exposure time).
  • a bright image 200 and a dark image 210 captured by the left camera 110 and the right camera 111 are acquired by the image acquisition unit, and the acquired bright image 200 and a contrast image of the dark image 210 are input to the parallax operation unit 101 and the image synthesis unit 104 Do.
  • the parallax calculating unit 101 inputs the gain / offset correcting unit 102, which is a brightness correcting unit capable of correcting the brightness of the image.
  • the gain / offset correction unit 102 matches the luminances of the bright image 200 and the dark image 210. Since the exposure times of the left camera 110 and the right camera 111 are stored in advance, correction is performed to match the brightness of the left and right images with the gain value and the offset correction value obtained therefrom.
  • the parallax calculating unit 103 calculates the stereo parallax image 220 and the parallax information 221 using the left image 201 and the right image 211 in which the luminance difference is matched.
  • the combined image generation unit 105 complements “overexposure” and “blackout” to generate a wide dynamic range image 230.
  • the composite image is generated in the bright image captured by the left camera 110 and the dark image captured by the right camera 111. It is also possible to select an image area suitable for image processing to complement "overexposure” and "overexposure” in the image.
  • a bright image 200 from the left camera 110 a dark image 210 from the right camera 111, a stereo parallax image 220, and a wide dynamic range image 230 can be generated.
  • a bright image 200 from the left camera 110
  • a dark image 210 from the right camera 111
  • a stereo parallax image 220 parllax image
  • a wide dynamic range image 230 The image selector unit 106 selects one of (composite image) and outputs the selected image.
  • an image suitable for the image processing application can be selected from the above by the image selector unit 106 and image processing can be performed.
  • a wide dynamic range image having a dynamic range performance or more that the imaging device has is combined and generated from a captured image of one frame, and a parallax image similar to the conventional one is generated. Since it is possible to obtain included parallax information, multi-functional image processing can be realized with one stereo imaging device.
  • FIG. 3 is an example of a block diagram showing a stereo imaging apparatus 400 in the second embodiment.
  • the stereo imaging device 100 of FIG. 1 includes an image determination unit 401.
  • the result of the image determination unit 401 is connected to the left camera 110, the right camera 111, and the image selector unit 106. Further, an external image selection unit 411 is connected to the image selector unit 106.
  • the image determination unit 401 based on the bright image 200 (first image), the dark image 210 (second image darker than the first image), and the wide dynamic range image 230. Then, the image processing unit 112 determines an image required, and the image selector unit 106 selects an image according to the information from the image determination unit 401.
  • the image selector unit 106 can also select an image based on an image selection instruction from the external image selection unit 411 in addition to selection by an instruction from the image determination unit 401.
  • the image determination unit 401 can also determine the exposure time in the imaging situation and directly control the exposure time of the left camera 110 and the right camera 111. That is, the exposure time of the imaging device is determined, and the determined exposure time is output to the imaging device.
  • the exposure time can be adjusted for each frame, and bright and dark images can be taken for each frame.
  • an external factor 412 external factor information
  • the imaging scene is recognized as a night (when it is an overall dark image) to obtain bright and dark images. It is also possible to control the exposure time of
  • the exposure times of the left camera 110 and the right camera 111 can acquire bright and dark images in the same frame, and can also acquire bright and dark images between different frames.
  • an image most suitable for an image processing application can be selected from images obtained by the stereo imaging device, and, for example, a single stereo imaging device is multifunctional. Can be realized.
  • third and fourth cameras in addition to the left camera 110 and the right camera 111, third and fourth cameras (third imaging device, Even with the fourth imaging device, it is possible to generate a wide variety of images in the same manner as the method described above. Furthermore, for example, the present invention can be applied to the case where a plurality of monocular cameras are combined.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

 輝度差が大きい場面で、撮像する全フレームにおいて、視差画像を含む視差情報を得ることができるステレオ撮像装置を提供するために、第1の画像と第1の画像と露光時間が異なる第2の画像を取得する画像取得部と、取得した第1の画像及び第2の画像の一方の画像に輝度補正を行うゲイン・オフセット補正部102と、輝度補正部で補正された一方の画像と他方の画像から視差を計算し、視差画像及び視差情報を出力する視差計算部103と、取得した第1の画像及び第2の画像を合成して合成画像を生成し、出力する合成画像生成部105と、を備える。

Description

ステレオ撮像装置
 本発明は、複数の撮像素子を有するステレオ撮像装置に関する。
 近年、ステレオカメラなど複数のカメラを用いて歩行者や車両などの障害物を検出する障害物検出装置が実用化されている。ステレオカメラとは、同時刻に撮像された複数の画像上における同一対象物の位置ずれ(視差)を、テンプレートマッチングにより算出し、算出した視差をもとに対象物の実空間上の位置を、周知の変換式により算出する装置である。
 このステレオカメラは、左右2つの撮像素子で撮像した1対の画像を用いて、対象物の距離を算出し、対象物の認識を行うものである。
 このステレオカメラを用いて、輝度差の大きい場面の画像を記録し、その画像の再生時に部分的にとびやつぶれによる輝度差が観賞者の感知できないという問題を解決するステレオ撮影可能であることが特許文献1に開示されている。
 また、ステレオカメラではないが、特許文献2には、広ダイナミックレンジな立体画像や高精度な距離情報を得ることができる撮像装置が開示されている。
特開2000-56414号公報 特開2003-18617号公報
 一般的なダイナミックレンジ(たとえば60dB前後)の撮像素子では、輝度差が大きい場面、たとえば、夜間の道路面と先行車のブレーキランプを同時に撮像する場面や、トンネルの出入り口でのトンネル内とトンネル外を同時に撮像する場面においては、高輝度部分に露光をあわせると、その他の部分が暗くなる(以降、黒つぶれと呼ぶ。)。逆に、低輝度部分に露光をあわせると、高輝度部分が白く飽和してしまう(以降、白とびと呼ぶ。)。
 こうした問題において、前記特許文献1のような従来技術では、ステレオ撮影可能なカメラにおいて、左右のカメラで露光時間を変えて撮像することができるが、左右の画像を合成出力することで左右の画像の明るさがなるべく等しく見えるように加工しているだけであり、視差画像を含む視差情報を得ることはできない。
 さらに、ステレオ撮像装置における視差画像を含む視差情報を得るためには、2つの画像で同一輝度の画像が必要であるが、前記特許文献2のような従来技術では撮像するフレームごとに、長時間露光画像と短時間露光画像とを合成して、広ダイナミックレンジ画像を合成することはできるが、この場合、長時間露光画像と短時間露光画像を得るのに、少なくても、2フレーム以上が必要である。高速走行時は、撮像する時間が異なると、得られる画像の変化、すなわち撮像シーンの変化が大きくなり、視差画像を含む視差情報を正しく求めることは難しい。
 本発明の目的は、輝度差が大きい場面で、撮像する全フレームにおいて、視差画像を含む視差情報を得ることができるステレオ撮像装置を提供することである。
 上記課題を解決するために本発明のスレテオ撮像装置は、第1の画像と第1の画像と露光時間が異なる第2の画像を取得する画像取得部と、取得した第1の画像及び第2の画像の一方の画像に輝度補正を行う輝度補正部と、輝度補正部で補正された一方の画像と他方の画像から視差を計算し、視差画像及び視差情報を出力する視差計算部と、取得した第1の画像及び第2の画像を合成して合成画像を生成し、出力する合成画像生成部と、を備える構成とする。
 本発明は、輝度差が大きい場面で、撮像する全フレームにおいて、視差画像を含む視差情報を得ることができるステレオ撮像装置を提供できる。
本発明に係るステレオ撮像装置の一実施例を示す図である。 図1の各工程における画像の例を示した図である。 本発明に係るステレオ撮像装置の他の実施例を示す図である。
 以下、実施例を図面を用いて説明する。
 本実施例では、ステレオ撮像装置100について図1、図2を用いて説明する。
 撮像素子を含む2つの画像を取得する装置として、たとえば、カメラモジュールがある。以降、左カメラ110(第1の撮像素子)と右カメラ111(第2の撮像素子)と呼ぶ。
 左カメラ110と右カメラ111は、それぞれで異なる露光時間で撮像することができる。よって、同時に撮像したときに得られる画像(同一フレーム画像と呼ぶ)として、左カメラ110と右カメラ111とで、明るい画像200(第1の画像)と暗い画像210(第1の画像より暗い第2の画像)を撮像できる。撮像状況や撮像対象によっては、常時、左右カメラにおいて異なる露光時間で撮像してもよいし、場合によっては、左右カメラにおいて同一の露光時間で撮像してもよい。本発明を説明する上で、以降、左カメラ110は明るい画像を得られる長い露光時間(第1の露光時間)で、右カメラ111は暗い画像を得られる短い露光時間(第1の露光時間より短い第2の露光時間)で設定されて、撮像されるものとする。
 左カメラ110と右カメラ111で撮像された明るい画像200、暗い画像210を画像取得部で取得し、取得した明るい画像200、暗い画像210の明暗画像を視差演算部101と画像合成部104に入力する。視差演算部101では、画像の輝度補正ができる輝度補正部であるゲイン・オフセット補正部102に入力される。このゲイン・オフセット補正部102は、明るい画像200と暗い画像210の輝度を合わせる。予め、左カメラ110と右カメラ111の露光時間を記憶しているので、そこから求められるゲイン値およびオフセット補正値により、左右の明暗画像の輝度を合わせる補正をする。輝度差が合った左画像201と右画像211を用いて、視差計算部103にてステレオ視差画像220および視差情報221を算出する。
 一方で、画像合成部104に入力された左右の明暗画像を元に、合成画像生成部105にて、「白とび」と「黒つぶれ」を補完し合い、広ダイナミックレンジ画像230を生成する。ここで、合成画像生成のための情報として、視差計算部103で算出した視差情報221を用いて、左カメラ110で撮像した明るい画像と、右カメラ111から撮像した暗い画像において、合成画像を生成するのに適した画像領域を選択して、当該画像において「白とび」と「黒つぶれ」を補完することもできる。
 前記構成にて、左カメラ110からの明るい画像200、右カメラ111からの暗い画像210、ステレオ視差画像220、および、広ダイナミックレンジ画像230を生成することができる。
 ここで、左カメラ110からの明るい画像200(第1の画像)と、右カメラ111からの暗い画像210(第2の画像)と、ステレオ視差画像220(視差画像)と、広ダイナミックレンジ画像230(合成画像)と、のいずれかを画像セレクタ部106にて選択して、出力する。
 たとえば、後段の画像処理部112では、画像処理アプリケーションに適した画像を、前記の中から、画像セレクタ部106にて選択して、画像処理を行うことができる。
 以上のように、本発明のステレオ撮像装置によれば、撮像素子がもつダイナミックレンジ性能以上の広ダイナミックレンジ画像を1フレームの撮像画像から合成して生成して、かつ、従来同様の視差画像を含む視差情報を得ることができるため、1つのステレオ撮像装置にて、多機能画像処理を実現できる。
 本実施例では、第1の実施例とは異なり、画像判定・画像選択が行えるステレオ撮像装置の例を説明する。
 図3は、実施例2におけるステレオ撮像装置400を示す構成図の例である。
 図1のステレオ撮像装置100のうち、すでに説明した図1に示された同一の符号を付された構成と、同一の機能を有する部分については、説明を省略する。
 図3のステレオ撮像装置400では、図1のステレオ撮像装置100に、画像判定部401を備える。画像判定部401の結果が左カメラ110と右カメラ111、および画像セレクタ部106に接続される。また、画像セレクタ部106には、外部の画像選択部411が接続される。
 ステレオ撮像装置100と同様に、明るい画像200(第1の画像)と、暗い画像210(第1の画像より暗い第2の画像)、および、広ダイナミックレンジ画像230を元に、画像判定部401にて、画像処理部112で必要になる画像を決定し、画像判定部401からの情報により、画像セレクタ部106において、画像を選択する。
 画像セレクタ部106では、画像判定部401からの指示で選択する他に、外部の画像選択部411からの画像選択指令に基づいて、画像を選択することもできる。
 また、画像判定部401で、撮像状況における露光時間を決定し、左カメラ110と右カメラ111の露光時間を直接制御することもできる。つまり、撮像素子の露光時間を決定し、撮像素子へ決定された露光時間を出力する。これにより、左右の露光時間調整機能に加えて、フレームごとに露光時間を調整し、フレームごとにも明るい画像と暗い画像を撮像することができる。さらに、たとえば、スモールライト点灯情報などの外部要因412(外部要因情報)から、撮像シーンが夜間である(全体的に暗い画像になっていると)認識させて、明るい画像と暗い画像を得るための露光時間を制御することもできる。
 前記のように、左カメラ110と右カメラ111の露光時間を、同一フレームで明るい画像と暗い画像を取得することができ、かつ、異なるフレーム間で明るい画像と暗い画像を取得することもできる。
 以上のように、本発明によれば、当該ステレオ撮像装置で得られた画像のなかから、画像処理アプリケーションに最適な画像を選択することができて、たとえば、1台のステレオ撮像装置で多機能を実現できる。
 必要に応じて、左カメラ110と右カメラ111の同一フレームにおける露光時間をそれぞれ制御し、かつ、異なるフレームにおける露光時間を制御できる一方で、常時、露光時間を固定することも可能であり、その場合は、従来と同等の機能も実現できる。
 本実施例では、2つ以上の撮像素子を有するステレオ撮像装置の例を説明する。
 図1のステレオ撮像装置100、および、図3のステレオ撮像装置400で説明した構成において、たとえば、左カメラ110と右カメラ111に加えて、第三、第四のカメラ(第3の撮像素子、第4の撮像素子)を備えても、前記説明した手法と同様にして、多種多様な画像を生成することが可能である。さらに、たとえば、単眼カメラを複数組み合わせた場合にも適用できる。
100、400 ステレオ撮像装置
102 ゲイン・オフセット補正部
103 視差計算部
105 合成画像生成部
106 画像セレクタ部
110 左カメラ
111 右カメラ
112 画像処理部
200 明るい画像
210 暗い画像
220 視差画像
221 視差情報
230 広ダイナミックレンジ画像
401 画像判定部
411 画像選択部
412 外部要因

Claims (9)

  1.  第1の画像と前記第1の画像と露光時間が異なる第2の画像を取得する画像取得部と、
     取得した前記第1の画像及び前記第2の画像の一方の画像に輝度補正を行う輝度補正部と、
     前記輝度補正部で補正された前記一方の画像と他方の画像から視差を計算し、視差画像及び視差情報を出力する視差計算部と、
     取得した前記第1の画像及び前記第2の画像を合成して合成画像を生成し、出力する合成画像生成部と、を有するステレオ撮像装置。
  2.  請求項1記載の撮像装置において、
     前記合成画像生成部は、取得した前記第1の画像及び前記第2の画像と前記視差情報から合成画像を生成するステレオ撮像装置。
  3.  請求項1記載の撮像装置において、
     前記第1の画像と、前記第1の画像と露光時間が異なる第2の画像と、前記視差画像と、前記合成画像と、のいずれかを選択して、出力する画像セレクタ部と、を有するステレオ撮像装置。
  4.  請求項3記載の撮像装置において、
     前記第1の画像と、前記第1の画像と露光時間が異なる第2の画像と、前記合成画像と、が入力され、入力された画像のいずれかを決定する画像判定部を有し、
     前記画像セレクタ部は、前記画像判定部で決定された画像を選択するステレオ撮像装置。
  5.  請求項3記載の撮像装置において、
     前記画像セレクタ部は、外部から入力された画像選択指令に基づいて、画像を選択するステレオ撮像装置。
  6.  請求項1記載の撮像装置において、
     前記第1の画像と、前記第1の画像と露光時間が異なる第2の画像と、前記合成画像と、が入力され、入力された画像のいずれかを決定する画像判定部を有し、
     前記画像判定部は、撮像素子の露光時間を決定し、撮像素子へ決定された露光時間を出力するステレオ撮像装置。
  7.  請求項6記載の撮像装置において、
     前記画像判定部は、フレーム単位で、撮像素子の露光時間を決定するステレオ撮像装置。
  8.  請求項6記載の撮像装置において、
     前記画像判定部は、外部から入力された外部要因情報に基づいて、撮像素子の露光時間を決定するステレオ撮像装置。
  9.  請求項1記載の撮像装置において、
     前記画像取得部は、少なくとも3つ以上の複数の画像を取得するステレオ撮像装置。
PCT/JP2012/075297 2011-10-18 2012-10-01 ステレオ撮像装置 WO2013058085A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE112012004352.9T DE112012004352B4 (de) 2011-10-18 2012-10-01 Stereobildgebungsvorrichtung
US14/347,899 US10218960B2 (en) 2011-10-18 2012-10-01 Stereoscopic imaging apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-228432 2011-10-18
JP2011228432A JP5860663B2 (ja) 2011-10-18 2011-10-18 ステレオ撮像装置

Publications (1)

Publication Number Publication Date
WO2013058085A1 true WO2013058085A1 (ja) 2013-04-25

Family

ID=48140738

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/075297 WO2013058085A1 (ja) 2011-10-18 2012-10-01 ステレオ撮像装置

Country Status (4)

Country Link
US (1) US10218960B2 (ja)
JP (1) JP5860663B2 (ja)
DE (1) DE112012004352B4 (ja)
WO (1) WO2013058085A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11514598B2 (en) 2018-06-29 2022-11-29 Sony Corporation Image processing apparatus, image processing method, and mobile device

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101871945B1 (ko) * 2013-01-17 2018-08-02 한화에어로스페이스 주식회사 영상 처리 장치 및 방법
WO2016059845A1 (ja) * 2014-10-16 2016-04-21 ソニー株式会社 撮像装置、撮像システム、および、撮像装置の制御方法
JP6537385B2 (ja) * 2015-07-17 2019-07-03 日立オートモティブシステムズ株式会社 車載環境認識装置
CN105389845B (zh) * 2015-10-19 2017-03-22 北京旷视科技有限公司 三维重建的图像获取方法和系统、三维重建方法和系统
EP3637758B1 (en) * 2017-06-07 2024-09-04 Hitachi Astemo, Ltd. Image processing device
CN107948519B (zh) * 2017-11-30 2020-03-27 Oppo广东移动通信有限公司 图像处理方法、装置及设备
JP7392712B2 (ja) * 2019-03-18 2023-12-06 ソニーグループ株式会社 撮像装置、情報処理方法、およびプログラム
JPWO2023074452A1 (ja) * 2021-10-29 2023-05-04

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11252585A (ja) * 1998-03-05 1999-09-17 Nippon Hoso Kyokai <Nhk> 視差量推定装置
JPH11355624A (ja) * 1998-06-05 1999-12-24 Fuji Photo Film Co Ltd 撮影装置
JP2000056414A (ja) * 1998-08-10 2000-02-25 Nikon Corp ステレオ撮影可能なカメラ
JP2003018617A (ja) * 2001-07-03 2003-01-17 Olympus Optical Co Ltd 撮像装置
JP2006005621A (ja) * 2004-06-17 2006-01-05 Olympus Corp 撮像装置
JP2010147786A (ja) * 2008-12-18 2010-07-01 Fujifilm Corp 撮像装置及び画像処理方法
JP2010230879A (ja) * 2009-03-26 2010-10-14 Fujifilm Corp 複眼カメラ装置

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000050151A (ja) * 1998-07-28 2000-02-18 Olympus Optical Co Ltd 撮像装置
JP3587506B2 (ja) * 1999-08-30 2004-11-10 富士重工業株式会社 ステレオカメラの調整装置
JP2003150936A (ja) * 2001-11-08 2003-05-23 Fuji Heavy Ind Ltd 画像処理装置および画像処理方法
WO2003083773A2 (en) * 2002-03-27 2003-10-09 The Trustees Of Columbia University In The City Of New York Imaging method and system
JP4363207B2 (ja) * 2004-02-05 2009-11-11 住友電気工業株式会社 画像処理方法、画像処理システムおよび画像処理装置
US7599521B2 (en) * 2004-11-30 2009-10-06 Honda Motor Co., Ltd. Vehicle vicinity monitoring apparatus
US7561731B2 (en) * 2004-12-27 2009-07-14 Trw Automotive U.S. Llc Method and apparatus for enhancing the dynamic range of a stereo vision system
JP4780385B2 (ja) * 2005-11-17 2011-09-28 アイシン精機株式会社 周辺監視システム
KR100843087B1 (ko) * 2006-09-06 2008-07-02 삼성전자주식회사 영상 생성 장치 및 방법
JP4914233B2 (ja) * 2007-01-31 2012-04-11 富士重工業株式会社 車外監視装置
JP4538468B2 (ja) * 2007-02-27 2010-09-08 日立オートモティブシステムズ株式会社 画像処理装置,画像処理方法、及び画像処理システム
US8072503B2 (en) * 2007-10-23 2011-12-06 At&T Intellectual Property I, L.P. Methods, apparatuses, systems, and computer program products for real-time high dynamic range imaging
US8493436B2 (en) * 2008-02-08 2013-07-23 Google Inc. Panoramic camera with multiple image sensors using timed shutters
JP4980970B2 (ja) * 2008-03-26 2012-07-18 富士重工業株式会社 撮像手段の調整装置および物体検出装置
US8724007B2 (en) * 2008-08-29 2014-05-13 Adobe Systems Incorporated Metadata-driven method and apparatus for multi-image processing
JP5233583B2 (ja) * 2008-10-24 2013-07-10 株式会社リコー 車載用監視装置
JP5230376B2 (ja) 2008-11-28 2013-07-10 三星電子株式会社 撮像装置及び撮像方法
TWI393992B (zh) * 2009-02-05 2013-04-21 Nat Univ Chung Cheng High dynamic range image synthesis method
JP2010204304A (ja) * 2009-03-02 2010-09-16 Panasonic Corp 撮像装置、運転者監視装置および顔部測距方法
JP5412953B2 (ja) * 2009-05-20 2014-02-12 リコーイメージング株式会社 撮像装置
JP5308523B2 (ja) * 2009-06-01 2013-10-09 パナソニック株式会社 立体画像表示装置
US8345144B1 (en) * 2009-07-15 2013-01-01 Adobe Systems Incorporated Methods and apparatus for rich image capture with focused plenoptic cameras
JP5450200B2 (ja) * 2009-07-17 2014-03-26 富士フイルム株式会社 撮像装置、方法およびプログラム
JP2011029905A (ja) * 2009-07-24 2011-02-10 Fujifilm Corp 撮像装置、方法およびプログラム
JP5458865B2 (ja) * 2009-09-18 2014-04-02 ソニー株式会社 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP2011101240A (ja) * 2009-11-06 2011-05-19 Fujifilm Corp 立体撮影装置および撮影制御方法
EP2502115A4 (en) * 2009-11-20 2013-11-06 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES THROUGH A MONOLITHIC CAMERA ARRAY WITH HETEROGENIC IMAGE CONVERTER
JP5387377B2 (ja) * 2009-12-14 2014-01-15 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
KR101633893B1 (ko) * 2010-01-15 2016-06-28 삼성전자주식회사 다중노출 영상을 합성하는 영상합성장치 및 방법
JP4957850B2 (ja) * 2010-02-04 2012-06-20 カシオ計算機株式会社 撮像装置、警告方法、および、プログラム
JP2011203811A (ja) * 2010-03-24 2011-10-13 Fujifilm Corp 画像処理装置、画像処理方法、画像処理プログラム、及び複眼デジタルカメラ
JP5548002B2 (ja) * 2010-03-25 2014-07-16 富士通テン株式会社 画像生成装置、画像表示システム及び画像生成方法
JP5367640B2 (ja) 2010-05-31 2013-12-11 パナソニック株式会社 撮像装置および撮像方法
JP5540942B2 (ja) * 2010-06-29 2014-07-02 富士通セミコンダクター株式会社 処理装置
US8493500B2 (en) * 2010-10-27 2013-07-23 Apple Inc. Auto exposure blowout prevention
US9210322B2 (en) * 2010-12-27 2015-12-08 Dolby Laboratories Licensing Corporation 3D cameras for HDR

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11252585A (ja) * 1998-03-05 1999-09-17 Nippon Hoso Kyokai <Nhk> 視差量推定装置
JPH11355624A (ja) * 1998-06-05 1999-12-24 Fuji Photo Film Co Ltd 撮影装置
JP2000056414A (ja) * 1998-08-10 2000-02-25 Nikon Corp ステレオ撮影可能なカメラ
JP2003018617A (ja) * 2001-07-03 2003-01-17 Olympus Optical Co Ltd 撮像装置
JP2006005621A (ja) * 2004-06-17 2006-01-05 Olympus Corp 撮像装置
JP2010147786A (ja) * 2008-12-18 2010-07-01 Fujifilm Corp 撮像装置及び画像処理方法
JP2010230879A (ja) * 2009-03-26 2010-10-14 Fujifilm Corp 複眼カメラ装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11514598B2 (en) 2018-06-29 2022-11-29 Sony Corporation Image processing apparatus, image processing method, and mobile device

Also Published As

Publication number Publication date
US20140232830A1 (en) 2014-08-21
JP2013088587A (ja) 2013-05-13
DE112012004352T5 (de) 2014-07-03
US10218960B2 (en) 2019-02-26
DE112012004352B4 (de) 2021-10-14
JP5860663B2 (ja) 2016-02-16

Similar Documents

Publication Publication Date Title
WO2013058085A1 (ja) ステレオ撮像装置
US20170330053A1 (en) Color night vision system and operation method thereof
JP4398969B2 (ja) 多眼撮影装置および多眼撮影装置における露出設定方法並びにプログラム
JP6471953B2 (ja) 撮像装置、撮像システム、及び撮像方法
JP5108093B2 (ja) 撮像装置及び撮像方法
JP5832855B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP5743696B2 (ja) 画像処理装置、画像処理方法及びプログラム
US20130258139A1 (en) Imaging apparatus
JP2010130570A (ja) 撮像装置及び撮像方法
US10455159B2 (en) Imaging setting changing apparatus, imaging system, and imaging setting changing method
JP7059076B2 (ja) 画像処理装置、その制御方法、プログラム、記録媒体
JP2010135984A (ja) 複眼撮像装置及び撮像方法
JP2004096488A (ja) 物体検知装置、物体検知方法および物体検知プログラム
JP2010154478A (ja) 複眼撮像装置及びその合成画像生成方法
JP5427744B2 (ja) 画像処理装置
JP2010154311A (ja) 複眼撮像装置及び立体画像取得方法
US20130089270A1 (en) Image processing apparatus
JP2013138522A (ja) 画像処理装置、及び、プログラム
JP2017092876A (ja) 撮像装置、撮像システム、及び撮像方法
JP2006173988A (ja) 車載用カメラ映像提示装置及び車載用カメラ映像提示方法
JP2010056796A (ja) 画像処理装置、及び、プログラム
KR101909392B1 (ko) 서라운드 뷰 모니터링 시스템
JP5230362B2 (ja) 広ダイナミックレンジ撮像装置
US10447937B2 (en) Image processing apparatus, imaging apparatus, image processing method, and storage medium that perform image processing based on an image processing parameter set for a first object area, and information on a positional relationship between an object in a second object area and an object in the first object area
JP6725105B2 (ja) 撮像装置及び画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12841206

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14347899

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 112012004352

Country of ref document: DE

Ref document number: 1120120043529

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12841206

Country of ref document: EP

Kind code of ref document: A1