JP6588970B2 - 車両用ステレオ・カメラ - Google Patents

車両用ステレオ・カメラ Download PDF

Info

Publication number
JP6588970B2
JP6588970B2 JP2017514649A JP2017514649A JP6588970B2 JP 6588970 B2 JP6588970 B2 JP 6588970B2 JP 2017514649 A JP2017514649 A JP 2017514649A JP 2017514649 A JP2017514649 A JP 2017514649A JP 6588970 B2 JP6588970 B2 JP 6588970B2
Authority
JP
Japan
Prior art keywords
camera
image sensor
view
exposure
lens optical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017514649A
Other languages
English (en)
Other versions
JP2017538303A5 (ja
JP2017538303A (ja
Inventor
アドーマト・ロルフ
フェクナー・トーマス
クレーケル・ディーター
ミュラー・ゲルハルト
プンケ・マルティン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Conti Temic Microelectronic GmbH
Original Assignee
Conti Temic Microelectronic GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Conti Temic Microelectronic GmbH filed Critical Conti Temic Microelectronic GmbH
Publication of JP2017538303A publication Critical patent/JP2017538303A/ja
Publication of JP2017538303A5 publication Critical patent/JP2017538303A5/ja
Application granted granted Critical
Publication of JP6588970B2 publication Critical patent/JP6588970B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/296Synchronisation thereof; Control thereof
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00Optical objectives specially designed for the purposes specified below
    • G02B13/06Panoramic objectives; So-called "sky lenses" including panoramic objectives having reflecting surfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/25Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/0003Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
    • B60R2011/0026Windows, e.g. windscreen

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Cameras In General (AREA)
  • Measurement Of Optical Distance (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、第一画像センサーを有する第一カメラ、並びに、第二画像センサーを有する第二カメラを装備した、請求項1のプレアンブルに係る車両用ステレオ・カメラに関する。更に、本発明は、この様なステレオ・カメラの露光制御のための方法にも関する。
例えば、交通標識認識やレーン維持アシスタントなどのドライバー・アシスタント・システムを実現するためには、カメラ・システム、特に、深解像度を改善するためにステレオ・カメラが採用される。ここで言う「ステレオ・カメラ」とは、互いに予め定められている間隔分ずらして、例えば、車両のフロントガラスに、配置されている、それぞれ一つのレンズ光学系と画像センサーを有する二つのカメラであると解釈することができる。このようなステレオ・カメラは、距離を測定できると言う長所を有している。
上記のドライバー・アシスタント機能を実現するためには、カメラ・システムは、水平開口角度約50°、並びに、垂直開口角度約30°を有している必要がある。将来的なカメラ・システムは、クロストラフィック認識や信号認識など、新しい機能様に、有意に広い開口角度を必要とするであろう。
より高い解像度とより広い開口角度のカメラ・システムには、デジタル写真では既に一般的になっている、数メガピクセルにも及ぶ非常に多数のピクセルを有する画像センサーが必要となる。しかしながら、この様な画像センサーは、ピクセルが小さく感度が低いことや、煩雑な画像処理アルゴリズムでは、数多いピクル数を効率よく処理できないなどの理由から、自動車工学的な使用には、適していない。
この様な技術的背景において、多機能性を実現するために、該技術分野に係るUS 83 05 431 B1は、異なるが、重なり合ったカメラ視野(Field of View,FOV)を有する第一カメラと第二カメラを有する車両用のステレオ・カメラを開示している。これらのうちの一台のカメラは、白黒カメラであり、もう一台は、カラーカメラであるが、白黒カメラは、30°から50°、好ましくは、40°の開口角度を有し、一方、カラーカメラは、15°から25°、好ましくは、20°の開口角度を有している。双方のカメラには、特に解像度に関しては、同じ画像センサーを用いることが提案されている。
類似するステレオ・カメラのシステムは、特許文献1にも開示されており、ここでは、開口角度40°を有する白黒カメラと開口角度70°のカラーカメラが採用されている。白黒カメラでは、高い感光性と、8μmもの大きなピクセル寸法を有する水平方向の幾何学的解像度800ピクセルのグレースケール画像センサーが、採用されている。カラーカメラでは、4μmのピクセル寸法を有する水平方向の幾何学的解像度1600ピクセルの高解像度カラー画像センサーが、採用されている。しかし、この様な解像度の高いカラー画像センサーを用いることは、ドライバー・アシスタント機能を低価格で実現すると言う目標と矛盾している。
更に、特許文献2からは、その双方のカメラが、ピクセル数に関して異なる画像センサーを用いているステレオ・カメラも既知である。また、それぞれのカメラには、そのカメラ視野を調整するためのレンズ・システムが備えられている。即ち、一方では、一つのレンズ・システムが、開口角度を、55°に、そして、他のレンズ・システムは、開口角度を80°にしている。
Simon Thibault (2010)は、その著書「Panomorph Based Panoramic Vision Sensors, Vision Sensors and Edge Detection, Francisco Gallegos−Funes (Ed.), ISBN: 978−953−307−098−8, InTech」(非特許文献1)に、帰属する画像センサーのカメラ視野の特定のゾーンにおいて高い解像度を有する特別なタイプのパノラマ・レンズである所謂「パノモーフ(panomorph)光学系」を記述している。これは、二つのパラメータ、即ち、パノラマカメラ視野内における解像度の絶対値と状態/位置によって定義される。このようなパノモーフ・レンズにとって解像度は、高解像度の特定ゾーンを実現する、即ち、異なる解像度の様々なゾーンに分けるための、デザインパラメータと言うことである。ここでは、図8と9に示す如く、中央ゾーンが、周辺部と比較して二倍の解像度を有するパノモーフ・レンズが、説明される。
図8は、開口角度+/−30°に相当する高解像度の中央ゾーンZ、並びに、低解像度の周辺ゾーンZ‘とZ“からなる、光学軸Oに対して開口角度+/− 90°を有するカメラ視野ウィンドを示している。図9は、開口角度に依存する解像度のグラフであるが、中央領域Zは、縦横領域外にある領域Z“に対して二倍の解像度を有している。これらの図8と9は、中央領域Zと周辺領域Z“との間の10°の角度領域にある移行領域Z‘も示している。
上記分権の著者は更に、ドライバー・アシスタント・システム用に必要な画像情報を提供するためのパノモーフ・レンズを備えた画像センサーの使用に関しても記述している。
独国特許出願公開第102004061998号明細書 米国特許出願公開第2013/0120538号明細書
Simon Thibault, "Panomorph Based Panoramic Vision Sensors, Vision Sensors and Edge Detection", Francisco Gallegos−Funes (Ed.), ISBN: 978−953−307−098−8, InTech, 2010
従来の技術を出発点とした本発明の課題は、冒頭に記した類のステレオ・カメラであって、安価に実現可能であると同時に、ドライバー・アシスタント・システムの実現のために高い解像度に関するすべての要求を満たすものを提供することである。更に本発明の課題は、この様なステレオ・カメラの露光制御のための方法を提供することである。
該第一の課題は、特許請求項1記載の特徴を有するステレオ・カメラによって解決される。
即ちこれは、そのカメラ視野が、第一開口角度を有する第一画像センサーを備えた第一カメラ、並びに、そのカメラ視野が、第二開口角度を有する第二画像センサーを備えた第二カメラを有する車両用ステレオ・カメラであって、本発明では、第二開口角度が、第一開口角度よりも大きく、且つ、以下を特徴としている:
−第一カメラが、第一レンズ光学系を、第二カメラが、第二レンズ光学系を有している、但し、第一および第二レンズ光学系の双方ともに、光学軸の周りにある角度領域にあるカメラ視野の中央領域が、中央領域の外部よりも高い角解像度になるように構成されている、且つ、
−第一、及び、第二カメラが、これらのカメラ視野が、重なり合うように互いに対して配置されている。
本発明に係るステレオ・カメラは、双方のカメラに、それぞれ中央領域の外よりも該中央領域内において高い解像度を有するレンズ光学系を使用することを特徴としている。このようなステレオ・カメラは、対応するレンズ・システムが、例えば、ImmerVision社から、市販の製品として得られるため、安価に実現できる。
パノモーフ・レンズ光学系を用いることで、第一、及び、第二画像センサーは、同一のピクセル密度に構成されているが、双方の画像センサーは、それぞれ、開口角度に合った大きさを有している。即ち、開口角度の大きい方のカメラに帰属する画像センサーは、カメラ視野が小さい方のカメラの画像センサーと比較してより大きな面積を有している。
本発明の更なる形態によれば、特に好ましくは、第一、及び、第二レンズ光学系は、それぞれ、中央領域において、該中央領域の外側と比較して、二倍の解像度に構成されている。
本発明では、第二の課題は、独立請求項4、5及び6に記載の特徴を有する方法によって解決される。
即ちこれは、そのカメラ視野が、第一開口角度を有する第一画像センサーを備えた第一カメラ、並びに、そのカメラ視野が、第二開口角度を有する第二画像センサーを備えた第二カメラを有する車両用ステレオ・カメラの露光制御のための方法であって、本発明では、第二開口角度が、水平方向において、第一開口角度よりも大きく、且つ、第一解決案においては、以下を特徴としている:
−第一カメラ用に、第一レンズ光学系が、第二カメラ用に、第二レンズ光学系が用意される、但し、第一および第二レンズ光学系の双方ともに、光学軸の周りにある角度領域にあるカメラ視野の中央領域が、中央領域の外部よりも高い角解像度になるように構成される、且つ、
−第一、及び、第二カメラが、これらのカメラ視野が、光学軸に対して対称に重なり合うように互いに対して配置され、
−大きい方の画像センサーの露光開始後、大きい方の画像センサーにおいて、小さい方の画像センサーの一列目に対応する列にそれが達した時点に、小さい方の画像センサーの露光も開始することにより、露光、並びに、第一、及び、第二画像センサーの画像センサーピクセルの読み出しを、列毎に実施する。
この第一解決案では、一台のカメラのカメラ視野が、他のカメラ視野と比較して、水平方向にのみ拡張されているが、露光制御のために、双方の画像センサーは、列毎に露光され、読み出される。
本発明に係る第二解決案は、以下を特徴としている:
−第一カメラ用に、第一レンズ光学系が、第二カメラ用に、第二レンズ光学系が用意される、但し、第一および第二レンズ光学系の双方ともに、光学軸の周りにある角度領域にあるカメラ視野の中央領域が、中央領域の外部よりも高い角解像度になるように構成される、且つ、
−第一、及び、第二カメラが、これらのカメラ視野が、光学軸に対して対称に重なり合うように互いに対して配置され、
−大きい方の画像センサーの露光開始後、大きい方の画像センサーにおいて、小さい方の画像センサーの一行目に対応する行にそれが達した時点に、小さい方の画像センサーの露光も開始することにより、露光、並びに、第一、及び、第二画像センサーの画像センサーピクセルの読み出しを、行毎に実施する。
この第二解決案では、一台のカメラのカメラ視野が、他のカメラ視野と比較して、垂直方向にのみ拡張されているが、露光制御のために、双方の画像センサーは、段毎に露光され、読み出される。
本発明に係る第三解決案は、以下を特徴としている:
−第一カメラ用に、第一レンズ光学系が、第二カメラ用に、第二レンズ光学系が用意される、但し、第一および第二レンズ光学系の双方ともに、光学軸の周りにある角度領域にあるカメラ視野の中央領域が、中央領域の外部よりも高い角解像度になるように構成される、且つ、
−第一、及び、第二カメラが、これらのカメラ視野が、光学軸に対して対称に重なり合うように互いに対して配置され、
−大きい方の画像センサーの露光開始後、大きい方の画像センサーにおいて、小さい方の画像センサーの一行目に対応する行にそれが達した時点に、小さい方の画像センサーの露光も開始することにより、第一、及び、第二画像センサーの画像センサーピクセルの露光および読み出しが、行毎に実施される、但し、小さい方の画像センサー用に、大きい方の画像センサーの列数に合うまで、水平方向に、その周辺部においてバーチャル行が、作成される。
この第三解決案では、一台のカメラのカメラ視野が、他のカメラ視野と比較して、水平方向と垂直方向、両方向に拡張されているが、露光制御のために、双方の画像センサーは、段毎に露光され、読み出され、小さい方の画像センサーの水平方向の調整のために、バーチャル行が、作成され、挿入される。
本発明に係るステレオ・カメラは、車内において、ドライバー・アシスタント・システム用に使用することができる。
本発明に係るステレオ・カメラ、並びに、帰属するこの様なステレオ・カメラの露光制御用の本発明に係る方法の双方を、以下、添付した図に基づいてさらに詳しく説明する。
車両のフロントガラスの領域にある本発明に係るステレオ・カメラの模式的な図である。 図1に係る第一、及び、第二カメラを備えたステレオ・カメラの構成の模式的な図である。 図2に係るステレオ・カメラの第一カメラの、水平開口角度に依存する解像度推移のグラフである。 図2に係るステレオ・カメラの第二カメラの、水平開口角度に依存する解像度推移のグラフである。 第一カメラと比較して第二カメラの開口角度が、水平方向に拡張されている本発明に係るステレオ・カメラの第一、及び、第二カメラの画像センサーの露光スキームの模式的な図である。 第一カメラと比較して第二カメラの開口角度が、垂直方向に拡張されている本発明に係るステレオ・カメラの第一、及び、第二カメラの画像センサーの露光スキームの模式的な図である。 第一カメラと比較して第二カメラの開口角度が、水平方向、及び、垂直方向に拡張されている本発明に係るステレオ・カメラの第一、及び、第二カメラの画像センサーの露光スキームの模式的な図である。 周辺領域に対して高められた解像度の中央領域を備えたパノモーフ・レンズのカメラ視野を示す図である。 図8に係るパノモーフ・レンズの、水平開口角度に依存する解像度推移のグラフである。
図1に示されている車両10は、該車両10のフロントガラスの後ろに配置されたステレオ・カメラ1、制御・評価ユニット2を備えたドライバー・アシスタント・システムを包含しているが、ここでは、該ステレオ・カメラ1は、第一カメラ1.1と第二カメラ1.2を有し、走行方向に見て該第一カメラ1.1が、左側のカメラであり、該第二カメラ1.2が、右側のカメラである。ステレオ・カメラ1の画像データは、制御・評価ユニット2によって、評価される。続いて、評価結果に従って、ドライバー・アシスタント・システムのドライバー・アシスタント機能が、実施される。
左側のカメラ1.1は、水平開口角度α1、例えば、50°のカメラ視野S1を、一方、右側のカメラ1.2は、水平開口角度α2、例えば、90°のカメラ視野S2を有している。
左右のカメラ1.1と1.2を備えたステレオ・カメラ1の構造が、図2に示されている。左側のカメラ1.1は、第一レンズ光学系1.12と該レンズ光学系1.12に帰属し、画像評価ユニット1.13によって制御される画像センサー1.11を包含している。右側のカメラ1.2は、同じ構造を有し、画像評価ユニット1.23によって制御される第二画像センサー1.21を備えた第二レンズ光学系1.22を有している。
第一、及び、第二レンズ光学系1.12と1.22用としては、少なくとも一組の、明細書冒頭において説明した図8と9に示す特徴を有するそのパノモーフ・レンズが採用されている。図8に係るこれらのレンズは、光学軸Oを取り巻く中央領域Zを有しており、該中央領域Zの外側にあって、該領域をリング状に取り囲んでいる双方の領域Z‘とZ“よりも高い解像度を有している。これらの領域Z,Z‘とZ“は、楕円形であり、中央領域Zの水平開口角度は、60°、カメラ視野に相当するレンズの総開口角度は、180°である。光学軸Oから周辺領域までの解像度の推移は、図9に示されているが、中央領域Z即ち、角度30°までの領域の解像度は、領域Z“に相当する角度40°以上の領域の二倍である。角度範囲30°から40°は、中央領域Zと外縁領域Z“の間の、解像度が高い値から低い値へと継続的に変化する移行領域である。
左右のカメラ1.1と1.2の第一、及び、第二レンズ光学系1.12と1.22も、図3と4に示したような特徴を有している。即ち、図2によれば、ステレオ・カメラ1の左側のカメラ1.1の第一レンズ光学系1.12は、開口角度が、α11の中央領域Z1を、他方のステレオ・カメラ1の右側のカメラ1.2の第二レンズ光学系1.22は、開口角度が、α21の中央領域Z2を有している。双方の中央領域Z1とZ2は、図8に示す如く、楕円形、或いは、回転対称に、即ち、円形に形成されていることができる。該中央領域Z1とZ2の周りの領域も同様である。
左側のカメラ1.1のカメラ視野S1における水平解像度の推移は、図3に、そして、右側のカメラ1.2のカメラ視野S2における水平解像度の推移は、図4に示されている。
図3によれば、その範囲内では解像度が、40pix/°で一定である第一カメラ1.1の第一レンズ光学系1.12の中央領域Z1の開口角度α11は、20°である。この中央領域Z1に隣接しているのが、その範囲内において、解像度が40pix/°から20pix/°に低下する角度範囲5°の移行領域であり、開口角度50°に相当する周縁部までの25°では、該解像度が一定に保たれる。即ち、比較的狭い開口角度20°の中央領域Z1では、遠距離領域におけるオブジェクト認識に必要な高い解像度が得られる。
図4によれば、第一レンズ光学系1.12同様、その範囲内では解像度が、40pix/°で一定である第二カメラ1.2の第二レンズ光学系1.22の中央領域Z2の開口角度α12も、20°である。この中央領域Z2に隣接しているのが、その範囲内において、解像度が40pix/°から20pix/°に低下する角度範囲5°の移行領域であり、開口角度90°に相当する周縁部までの45°では、該解像度が一定に保たれる。
図3と4に係る特徴を有するこの様なステレオ・カメラ1では、開口角度50°まで、ステレオ効果を用いることができる。
左右のカメラ1.1と1.2の画像センサー1.11と1.21の大きさは、それぞれのカメラ視野S1とS2に合わせて異なっているが、ピクセル密度は、同じである。左側のカメラ1.1の視野S1と比較して大きな右側のカメラ1.2の視野S2に対応して、右側のカメラ1.2の第二画像センサー1.21の水平方向の寸法は、左側のカメラ1.1の第一画像センサー1.11のそれよりも長くい。
双方のカメラ1.1と1.2は、互いに対して、カメラ視野S1とS2が、図5に示す如く、対称に重なり合うように配置される。
大きい方の画像センサー1.21は、左側のカメラ1.1の開口角度50°に対して90°である右側のカメラ1.2の開口角度α2の水平方向のみの拡張においては、開口角度が、ほぼ二倍になるにもかかわらず、ピクセル数にして約50%増やすだけで済む。
中央領域Z1乃至Z2から低解像度の領域への移行領域は、ステレオ奥行画像を計算するための画像の補正を困難にする。この難しさを回避するために、移行領域を可能な限り右側、即ち、大きな角度値側にずらし、移行領域が、大きな開口角度α2を有する右側のカメラ1.2においてのみ有意であるようにすることもできる。
非常に正確なステレオ奥行マップを得るために、双方の画像センサー1.11と1.21の画像センサーピクセルの露光と読み出しの際の同期(シンクロニシティ)は、確かなものでなければならない。これは、全ての画像センサーピクセルが、同時に露光され読み出される「グローバル・シャッター原理」に基づいた画像センサーを用いる場合は、問題ない。
列毎に読み取りを実施すること、即ち所謂「ローリング・シャッター原理」を採用することによって双方の画像センサー1.11と1.21の同期を図ることも可能である。このやり方は、図5に示されているが、ここでは、大きい方の画像センサー1.21の第一列SP21が先ず露光され、読み出され、小さい方の画像センサー1.11の露光と読み出しは、大きい方の画像センサー1.21の露光工程が、小さい方の画像センサー1.11の第一列SP11に達した際に初めて開始される。
図1から4によって、左右のカメラ1.1と1.2を備えたステレオ・カメラ1が、説明されているが、ここでは、右側のカメラ1.2の開口角度α2は、左側のカメラ1.1の開口角度α1と比較して、水平方向に拡張されている。同様に、右側のカメラ1.2の開口角度を、左側のカメラ1.1の開口角度に対して、垂直方向に拡張することも可能である。この場合も、左右のカメラ1.1と1.2の双方のレンズ光学系1.12と1.21は、図3と4に基づいて説明した特性を有している。双方のカメラ1.1と1.2は、互いに対して、カメラ視野S1とS2が、図6に示す如く、対称に重なり合うように配置される。
この様なカメラ1の双方の画像センサー1.11と1.21の露光は、図6によれば、先ず、大きい方の画像センサー1.21の第一行ZE21の露光と読み出しが開始され、続いて、大きい方の画像センサー1.21の露光と読み出しが、小さい方の画像センサー1.11の第一行ZE11に達した時に初めて、小さい方の画像センサー1.11の露光と読み出しが開始されることによって行毎に実施される。
ここでは、左側のカメラ1.1の開口角度に対する右側のカメラ1.2の開口角度の拡張は、水平、垂直の双方向に実施されている。即ち、第二画像センサー1.21は、第一行画像センサー1.11と比較して水平、垂直の双方向に大きい。この場合も、左右のカメラ1.1と1.2の双方のレンズ光学系1.12と1.21は、図3と4に基づいて説明した特性を有している。双方のカメラ1.1と1.2は、互いに対して、カメラ視野S1とS2が、図7に示す如く、対称に重なり合うように配置される。
この様な画像センサー1.1と1.2の露光と読み取りの際に同期を達成することは、上述の実施例の場合よりは、煩雑である。
先ず、大きい方の画像センサー1.21の第一行ZE21の露光と読み取り工程が、開始され、小さい方の画像センサー1.11の第一行ZE11に至る。同期を確実なものとするためには、小さい方の画像センサー1.11の全ての行において、大きい方の画像センサー1.21の行の余剰分のピクセルの読み出し時間に対応する中断時間を挿入しなければならない。これは、小さい方の画像センサー1.11において、対応する数の、それに対してもピクセル・タイミングが継続される、バーチャル列を、但し、小さい方の画像センサー1.11では、これらのバーチャル行のピクセルを処理する必要なく、挿入することによって達成される。この様にして、続く行の露光スタートを待たせることにより、行毎の露光を同時に開始することを確実なものとすることが可能である。
1 ステレオ・カメラ
1.1 ステレオ・カメラ1の第一カメラ
1.11 第一カメラ1.1の第一画像センサー
1.12 第一カメラ1.1の第一レンズ光学系
1.13 第一カメラ1.1の画像評価ユニット
1.2 ステレオ・カメラ1の第二カメラ
1.21 第二カメラ1.2の第二画像センサー
1.22 第二カメラ1.2の第二レンズ光学系
1.23 第二カメラ1.の画像評価ユニット
2 制御・評価ユニット
10 車両
O 光学軸
O1 第一カメラ1.1の光学軸
O2 第二カメラ1.2の光学軸
S1 第一カメラ1.1のカメラ視野
S2 第二カメラ1.2のカメラ視野
SP11 第一画像センサー1.11の第一列
SP21 第二画像センサー1.21の第一列
Z パノモーフ・レンズの中央領域
Z‘ パノモーフ・レンズの中央領域を取り巻く領域
Z‘ パノモーフ・レンズの中央領域を取り巻く領域
Z1 第一レンズ光学系1.12の中央領域
Z2 第二レンズ光学系1.22の中央領域
ZE11 第一画像センサー1.11の第一行
ZE21 第一画像センサー1.21の第一行
α1 カメラ視野S1の開口角度
α11 中央領域Z1の開口角度
α2 カメラ視野S2の開口角度
α21 中央領域Z2の開口角度

Claims (7)

  1. カメラ視野(S1)が、第一開口角度(α1)を有する第一画像センサー(1.11)を備えた第一カメラ(1.1)、並びに、そのカメラ視野(S2)が、第二開口角度(α2)を有する第二画像センサー(1.21)を備えた第二カメラ(1.2)を有する車両(10)用のステレオ・カメラ(1)であって、該第二開口角度(α2)が、第一開口角度(α1)よりも大きく、且つ、以下を特徴としている:
    −第一カメラ(1.1)が、第一レンズ光学系(1.12)を、第二カメラ(1.2)が、第二レンズ光学系(1.22)を有している、但し、第一および第二レンズ光学系(1.12,1.22)の双方ともに、光学軸(O1)の周りにある角度領域(α11,α21)にあるカメラ視野(S1,S2)の中央領域(Z1,Z2)が、中央領域(Z1,Z2)の外部よりも高い角解像度になるように構成されている、且つ、
    −第一、及び、第二カメラ(1.1,1.2)が、これらのカメラ視野(S1,S2)が、重なり合うように互いに対して配置されている。
  2. 第一、及び、第二画像センサー(1.11,1.21)が、同一のピクセル密度に構成され、それぞれ、開口角度(α1,α2)に合った大きさを有している
    ことを特徴とする請求項1に記載のステレオ・カメラ(1)。
  3. 第一、及び、第二レンズ光学系(1.12,1.22)が、それぞれ、中央領域(Z1,Z2)において、該中央領域(Z1,Z2)の外側と比較して、二倍の解像度に構成されている
    ことを特徴とする請求項1あるいは2に記載のステレオ・カメラ(1)。
  4. カメラ視野(S1)が、第一開口角度(α1)を有する第一画像センサー(1.11)を備えた第一カメラ(1.1)、並びに、そのカメラ視野(S2)が、第二開口角度(α2)を有する第二画像センサー(1.21)を備えた第二カメラ(1.2)を有する車両(10)用のステレオ・カメラ(1)の露光制御の方法であって、該第二開口角度(α2)が、第一開口角度(α1)よりも水平方向に大きく、且つ、以下を特徴としている:
    −第一カメラ(1.1)用に、第一レンズ光学系(1.12)が、第二カメラ(1.2)用に、第二レンズ光学系(1.22)が用意される、但し、第一および第二レンズ光学系(1.12,1.22)の双方ともに、光学軸(O1,O2)の周りにある角度領域(α11,α21)にあるカメラ視野(S1,S2)の中央領域(Z1,Z2)が、中央領域(Z1,Z2)の外部よりも高い角解像度になるように構成される、且つ、
    −第一、及び、第二カメラ(1.1,1.2)が、これらのカメラ視野(S1,S2)が、光学軸(1,2)に対して対称に重なり合うように互いに対して配置され、
    −大きい方の画像センサー(1.21)の露光開始後、大きい方の画像センサー(1.21)において、小さい方の画像センサー(1.11)の一列目に対応する列にそれが達した時点に、小さい方の画像センサー(1.11)の露光も開始することにより、露光、並びに、第一、及び、第二画像センサー(1.11,1.21)の画像センサーピクセルの読み出しを、列毎に実施する。
  5. カメラ視野(S1)が、第一開口角度(α1)を有する第一画像センサー(1.11)を備えた第一カメラ(1.1)、並びに、そのカメラ視野(S2)が、第二開口角度(α2)を有する第二画像センサー(1.21)を備えた第二カメラ(1.2)を有する車両(10)用のステレオ・カメラ(1)の露光制御の方法であって、該第二開口角度(α2)が、第一開口角度(α1)よりも垂直方向に大きく、且つ、以下を特徴としている:
    −第一カメラ(1.1)用に、第一レンズ光学系(1.12)が、第二カメラ(1.2)用に、第二レンズ光学系(1.22)が用意される、但し、第一および第二レンズ光学系(1.12,1.22)の双方ともに、光学軸(O1,O2)の周りにある角度領域(α11,α21)にあるカメラ視野(S1,S2)の中央領域(Z1,Z2)が、中央領域(Z1,Z2)の外部よりも高い角解像度になるように構成される、且つ、
    −第一、及び、第二カメラ(1.1,1.2)が、これらのカメラ視野(S1,S2)が、光学軸(1,2)に対して対称に重なり合うように互いに対して配置され、
    −大きい方の画像センサー(1.21)の露光開始後、大きい方の画像センサー(1.21)において、小さい方の画像センサー(1.11)の一列目に対応する列にそれが達した時点に、小さい方の画像センサー(1.11)の露光も開始することにより、露光、並びに、第一、及び、第二画像センサー(1.11,1.21)の画像センサーピクセルの読み出しを、行毎に実施する。
  6. カメラ視野(S1)が、第一開口角度(α1)を有する第一画像センサー(1.11)を備えた第一カメラ(1.1)、並びに、そのカメラ視野(S2)が、第二開口角度(α2)を有する第二画像センサー(1.21)を備えた第二カメラ(1.2)を有する車両(10)用のステレオ・カメラ(1)の露光制御の方法であって、該第二開口角度が、第一開口角度よりも水平方向と垂直方向に大きく、且つ、以下を特徴としている:
    −第一カメラ(1.1)用に、第一レンズ光学系(1.12)が、第二カメラ(1.2)用に、第二レンズ光学系(1.22)が用意される、但し、第一および第二レンズ光学系(1.12,1.22)の双方ともに、光学軸(O1,O2)の周りにある角度領域(α11,α21)にあるカメラ視野(S1,S2)の中央領域(Z1,Z2)が、中央領域(Z1,Z2)の外部よりも高い角解像度になるように構成される、且つ、
    −第一、及び、第二カメラ(1.1,1.2)が、これらのカメラ視野(S1,S2)が、光学軸(1,2)に対して対称に重なり合うように互いに対して配置され、
    −大きい方の画像センサー(1.21)の露光開始後、大きい方の画像センサー(1.21)において、小さい方の画像センサー(1.11)の一行目に対応する行にそれが達した時点に、小さい方の画像センサー(1.11)の露光も開始することにより、第一、及び、第二画像センサー(1.11,1.21)の画像センサーピクセルの露光および読み出しが、行毎に実施される、但し、小さい方の画像センサー(1.11)用に、大きい方の画像センサー(1.21)の列数に合うまで、水平方向に、その周辺部においてバーチャル行が、作成される。
  7. 車両(10)内のドライバー・アシスタント・システム(2)用に、請求項1から3に記載のステレオ・カメラ(1)を使用すること。
JP2017514649A 2014-10-10 2015-09-15 車両用ステレオ・カメラ Active JP6588970B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102014220585.9 2014-10-10
DE102014220585.9A DE102014220585A1 (de) 2014-10-10 2014-10-10 Stereokamera für Fahrzeuge
PCT/DE2015/200457 WO2016055060A1 (de) 2014-10-10 2015-09-15 Stereokamera für fahrzeuge

Publications (3)

Publication Number Publication Date
JP2017538303A JP2017538303A (ja) 2017-12-21
JP2017538303A5 JP2017538303A5 (ja) 2018-08-30
JP6588970B2 true JP6588970B2 (ja) 2019-10-09

Family

ID=54540772

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017514649A Active JP6588970B2 (ja) 2014-10-10 2015-09-15 車両用ステレオ・カメラ

Country Status (6)

Country Link
US (1) US10334234B2 (ja)
EP (1) EP3205090B1 (ja)
JP (1) JP6588970B2 (ja)
CN (1) CN106797461B (ja)
DE (2) DE102014220585A1 (ja)
WO (1) WO2016055060A1 (ja)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9857568B2 (en) 2013-07-04 2018-01-02 Corephotonics Ltd. Miniature telephoto lens assembly
CN105359006B (zh) 2013-07-04 2018-06-22 核心光电有限公司 小型长焦透镜套件
US9392188B2 (en) 2014-08-10 2016-07-12 Corephotonics Ltd. Zoom dual-aperture camera with folded lens
DE102014220585A1 (de) * 2014-10-10 2016-04-14 Conti Temic Microelectronic Gmbh Stereokamera für Fahrzeuge
KR102384175B1 (ko) * 2015-07-29 2022-04-08 주식회사 만도모빌리티솔루션즈 차량의 카메라 장치
WO2017154707A1 (ja) * 2016-03-09 2017-09-14 株式会社ニコン 検出装置、検出システム、検出方法、及び検出プログラム
DE102018204209B4 (de) * 2017-04-03 2022-09-29 Denso Corporation Kameramodul
US10291830B2 (en) 2017-04-03 2019-05-14 Denso Corporation Vehicle windshield camera module
US10317651B2 (en) 2017-04-03 2019-06-11 Denso Corporation Camera module
JP2018195951A (ja) * 2017-05-16 2018-12-06 パナソニックIpマネジメント株式会社 撮像システム及び移動体制御システム
DE102017210408A1 (de) 2017-06-21 2018-12-27 Conti Temic Microelectronic Gmbh Kamerasystem mit unterschiedlichen Shuttermodi
DE102017215347A1 (de) * 2017-09-01 2019-03-07 Conti Temic Microelectronic Gmbh Verfahren zur vorhersehbaren Belichtungssteuerung zumindest einer ersten Fahrzeugkamera
JP2019062479A (ja) * 2017-09-27 2019-04-18 京セラ株式会社 撮像装置及び移動体
JP7027844B2 (ja) 2017-11-29 2022-03-02 株式会社デンソー カメラモジュール
DE102018221995A1 (de) * 2018-12-18 2020-06-18 Conti Temic Microelectronic Gmbh Synchronisiertes Kamerasystem mit zwei unterschiedlichen Kameras
CN111615822B (zh) 2019-01-03 2022-02-08 核心光电有限公司 一种双重相机
EP3748393A1 (en) * 2019-06-04 2020-12-09 Jabil Optics Germany GmbH Surround-view imaging system
JP2022536204A (ja) 2019-08-21 2022-08-12 コアフォトニクス リミテッド 大きなセンサフォーマットのための小さな総トラック長
WO2021071878A1 (en) * 2019-10-07 2021-04-15 Gentex Corporation 3d display system for camera monitoring system
US11656538B2 (en) 2019-11-25 2023-05-23 Corephotonics Ltd. Folded zoom camera module with adaptive aperture
CN114667729B (zh) * 2020-01-08 2024-04-19 核心光电有限公司 多孔变焦数码摄像头及其使用方法
WO2021245488A1 (en) 2020-05-30 2021-12-09 Corephotonics Ltd. Systems and methods for obtaining a super macro image
JP7321987B2 (ja) * 2020-10-01 2023-08-07 ダイハツ工業株式会社 車両用複眼カメラ
CN114868065A (zh) 2020-12-01 2022-08-05 核心光电有限公司 具有连续自适应变焦系数的折叠摄像机
KR20230044237A (ko) 2021-09-23 2023-04-03 코어포토닉스 리미티드 큰 애퍼처 연속 줌 폴디드 텔레 카메라
WO2023079403A1 (en) 2021-11-02 2023-05-11 Corephotonics Ltd. Compact double folded tele cameras
WO2023164906A1 (zh) * 2022-03-03 2023-09-07 华为技术有限公司 一种扫描方法及装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA1338909C (en) * 1987-03-05 1997-02-11 Curtis M. Brubaker Radio control toy
JP3168922B2 (ja) * 1996-08-27 2001-05-21 日本ビクター株式会社 デジタル画像情報の記録再生装置
JP3349121B2 (ja) * 1999-09-22 2002-11-20 富士重工業株式会社 ステレオカメラの取付構造
DE102004061998A1 (de) 2004-12-23 2006-07-06 Robert Bosch Gmbh Stereokamera für ein Kraftfahrzeug
US7492821B2 (en) * 2005-02-08 2009-02-17 International Business Machines Corporation System and method for selective image capture, transmission and reconstruction
FR2921027B1 (fr) 2007-09-17 2010-02-26 Valeo Vision Dispositif d'aide a la conduite pour vehicule automobile comportant un systeme de capture d'images stereoscopique
US9812096B2 (en) * 2008-01-23 2017-11-07 Spy Eye, Llc Eye mounted displays and systems using eye mounted displays
US20100097444A1 (en) * 2008-10-16 2010-04-22 Peter Lablans Camera System for Creating an Image From a Plurality of Images
WO2011037964A1 (en) * 2009-09-22 2011-03-31 Tenebraex Corporation Systems and methods for correcting images in a multi-sensor system
US20110261166A1 (en) * 2010-04-21 2011-10-27 Eduardo Olazaran Real vision 3D, video and photo graphic system
KR101502494B1 (ko) * 2010-09-21 2015-03-13 가부시끼가이샤 요시다세이사쿠쇼 X선 촬영장치, 그 화상 처리방법 및 프로그램
KR20130051709A (ko) 2011-11-10 2013-05-21 삼성전기주식회사 스테레오 카메라 모듈
JP6285958B2 (ja) * 2013-01-15 2018-02-28 モービルアイ ビジョン テクノロジーズ リミテッド ローリングシャッターを伴うステレオ支援
CN103472569B (zh) * 2013-09-16 2016-03-23 浙江大学 双分辨率光学成像镜头
US10525883B2 (en) * 2014-06-13 2020-01-07 Magna Electronics Inc. Vehicle vision system with panoramic view
DE102014220585A1 (de) * 2014-10-10 2016-04-14 Conti Temic Microelectronic Gmbh Stereokamera für Fahrzeuge
US9908482B1 (en) * 2015-03-27 2018-03-06 EVOX Productions, LLC Method and apparatus for creation of three-dimensional photography of automotive vehicle interiors for use with a virtual reality display

Also Published As

Publication number Publication date
DE102014220585A1 (de) 2016-04-14
US20170310952A1 (en) 2017-10-26
JP2017538303A (ja) 2017-12-21
EP3205090B1 (de) 2023-06-14
US10334234B2 (en) 2019-06-25
CN106797461B (zh) 2019-08-16
DE112015003116A5 (de) 2017-03-16
EP3205090A1 (de) 2017-08-16
CN106797461A (zh) 2017-05-31
WO2016055060A1 (de) 2016-04-14

Similar Documents

Publication Publication Date Title
JP6588970B2 (ja) 車両用ステレオ・カメラ
US9686479B2 (en) Method for combining multiple image fields
JP4970516B2 (ja) 周囲確認支援装置
JP5049300B2 (ja) 障害物検出表示装置
US20190273889A1 (en) Imaging apparatus, imaging system, and display system
EP3319306B1 (en) Imaging system, and mobile system
US20200059613A1 (en) Camera Device and Method for Detecting a Surrounding Area of a Driver's Own Vehicle
JP2020501423A (ja) 車両の周辺領域を状況に依存した捕捉を実施するためのカメラ手段及び方法
CN107122770B (zh) 多目相机系统、智能驾驶系统、汽车、方法和存储介质
JP2010239411A (ja) 車載カメラの校正に用いられる校正指標と、当該校正指標を用いた車載カメラの校正方法と、当該校正指標を用いた車載カメラの校正装置のためのプログラム
JP6032034B2 (ja) 物体検知装置
CN109644251B (zh) 用于拍摄本车的环境区域的摄像装置及用于提供驾驶员辅助功能的方法
US20200128161A1 (en) Camera System Having Different Shutter Modes
JP7098790B2 (ja) 撮像制御装置及び移動体
EP3667413A1 (en) Stereo image processing device
JP2012221103A (ja) 車両用画像処理装置
KR20190132984A (ko) 차량의 주변 구역을 포착하기 위한 카메라 시스템 및 방법
JP7259309B2 (ja) 画像処理装置および画像処理方法
JP2014130429A (ja) 撮像装置及び立体物領域検出用プログラム
CN111316322B (zh) 路面区域检测装置
JP2016021712A (ja) 画像処理装置、及び、運転支援システム
JP2008286648A (ja) 距離計測装置、距離計測システム、距離計測方法
JP6032141B2 (ja) 走行路面標示検知装置および走行路面標示検知方法
JP4512044B2 (ja) 道路区間線検出装置
JP7207889B2 (ja) 測距装置および車載カメラシステム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180717

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180717

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190729

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190821

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190913

R150 Certificate of patent or registration of utility model

Ref document number: 6588970

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250