JP6807543B2 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP6807543B2
JP6807543B2 JP2018172924A JP2018172924A JP6807543B2 JP 6807543 B2 JP6807543 B2 JP 6807543B2 JP 2018172924 A JP2018172924 A JP 2018172924A JP 2018172924 A JP2018172924 A JP 2018172924A JP 6807543 B2 JP6807543 B2 JP 6807543B2
Authority
JP
Japan
Prior art keywords
region
resolution
angle
view
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018172924A
Other languages
English (en)
Other versions
JP2019032540A (ja
Inventor
雅之 粟飯原
雅之 粟飯原
成功 八釣
成功 八釣
善夫 松村
善夫 松村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JP2019032540A publication Critical patent/JP2019032540A/ja
Application granted granted Critical
Publication of JP6807543B2 publication Critical patent/JP6807543B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00Optical objectives specially designed for the purposes specified below
    • G02B13/18Optical objectives specially designed for the purposes specified below with lenses having one or more non-spherical faces, e.g. for reducing geometrical aberration
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures
    • G01C11/06Interpretation of pictures by comparison of two or more pictures of the same area
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures
    • G01C11/30Interpretation of pictures by triangulation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/10Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00Optical objectives specially designed for the purposes specified below
    • G02B13/001Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • G02B13/0015Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras characterised by the lens design
    • G02B13/002Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras characterised by the lens design having at least one aspherical surface
    • G02B13/0045Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras characterised by the lens design having at least one aspherical surface having five or more lenses
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00Simple or compound lenses
    • G02B3/02Simple or compound lenses with non-spherical faces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Electromagnetism (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Measurement Of Optical Distance (AREA)
  • Lenses (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)

Description

本開示は、所定の領域の像を示す画像データに基づき距離を算出する測距システムなどに用いられる撮像装置に関する。
特許文献1には、感光フィルムに結像する光学系の一部を歪ませて、当該歪んだ部分を他の部分よりも高解像度とし、像を再生する際は相補的な光学系を用いて相似の像を再生する方法、および、装置が記載されている。
特開昭59−015239号公報
昨今、自動車の分野などで、安全性能や利便性能の向上を目的として車両前方を撮像している撮像装置から得られる画像データに基づき前方の車や障害物までの距離を測定し、距離に対応して車両の制御を行うことが行われている。さらに、別の撮像装置をさらに搭載して側方を撮像し、人や自転車の飛び出しなどを検知することも提案されており、自動運転化や安全アセスメント機関の評価結果の影響力の高まりから今後も世界の国・企業が注力する領域で、検知範囲の拡大・検知精度の向上が大きな流れとなっている。
このように、車両に搭載する撮像装置の数を増加させることによって種々の目的に対応させることができるが、撮像装置自体にかかるコストが大きな課題となる他、データを送信するための配線を含む撮像装置の取り付け位置の確保が困難となり、デザイン性が損なわれ、車両軽量化の妨げにもなる。一方、従来技術のように、単に球面レンズの一部を球面的に歪ませて部分的に解像度の高い像を得るだけでは、広範囲にわたって画像データを取得しつつ前方の測距を正確に行うなど柔軟な対応は困難である。
以下、自由曲面レンズを用いることにより所望の解像度を実現できる領域を複数箇に設けた撮像装置を開示する。
本開示にかかる撮像装置は、複数の撮像画素が行列状に配置される撮像素子と、前記撮像素子の撮像面に所定の領域の像を結像させる光学系とを備え、前記光学系は、単位画角に含まれる像を撮像する前記撮像画素の数の全体の前記撮像画素の数に対する割合を解像度とした場合に、前記領域の正面部分の領域である第一領域の解像度が側方部分である第二領域の解像度よりも高くなるように前記撮像面に結像させることのできる形状を有し、回転非対称な自由曲面レンズを備え、前記撮像素子において、前記第一領域と前記第二領域の並び方向を水平方向とし、前記並び方向と直交する方向を垂直方向とした場合、回転非対称な前記自由曲面レンズは、垂直方向において、前記第一領域の中心から所定の第一距離の位置における解像度と、水平方向において、前記第一領域の中心から前記第一距離の位置における解像度とが異なるように結像させることのできる形状である。
以上のように、本開示の撮像装置は、自由曲面レンズを用いることで領域毎に所望の性能で測距を行うことが可能となる。
図1は、水平面において、車両に取り付けられた撮像装置の解像度の異なる領域を示す図である。 図2は、移動体システムの機構部と機能部とを示すブロック図である。 図3は、第二光軸を含む垂直面で第二光学系を仮想的に切断した断面を示す構成図である。 図4は、第二光学系を用いて解像度を説明するための図である。 図5は、第二光学系を用いたアプリケーション別の測距距離、誤差、および各水平画角における画素配分を説明するための図である。 図6は、測距方法の一例を模式的に示す図である。 図7は、第一領域における測距部の算出結果を示すグラフである。 図8は、第二領域における測距部の算出結果を示すグラフである。 図9は、第六領域における測距部の算出結果を示すグラフである。 図10は、第七領域における測距部の算出結果を示すグラフである。 図11は、自由曲面レンズを備えた光学系により撮像素子に結像させた像の一例を示す図である。 図12は、図11に示した水平方向の矢印に対応した解像度を示すグラフである。 図13は、図11に示した垂直方向の矢印に対応した解像度を示すグラフである。 図14は、他の形状の自由曲面レンズを備えた光学系により撮像素子に結像させた像の一例を示す図である。 図15は、図14に示した水平方向の矢印に対応した解像度を示すグラフである。 図16は、図14に示した水平方向の矢印に対応した解像度を示すグラフである。
次に、本開示に係る測距システムに備えられた撮像装置の実施の形態について、図面を参照しつつ説明する。なお、以下の実施の形態は、本開示に係る撮像装置の一例を示したものに過ぎない。従って本開示は、以下の実施の形態を参考に請求の範囲の文言によって範囲が確定されるものであり、以下の実施の形態のみに限定されるものではない。よって、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、本発明の課題を達成するのに必ずしも必要ではないが、より好ましい形態を構成するものとして説明される。
また、図面は、本開示のために適宜強調や省略、比率の調整を行った模式的な図となっており、実際の形状や位置関係、比率とは異なる場合がある。
図1は、水平面において、車両に取り付けられた撮像装置の解像度の異なる領域を示す図である。なお同図において、図の煩雑さを回避するため、一つの撮像装置についてのみ解像度の異なる領域を破線で示しているが、他の撮像装置も同様に解像度が異なる領域を備えている。
図2は、移動体システムの機構部と機能部とを示すブロック図である。
これらの図に示すように、移動体システム200は、移動体201に取り付けられており、測距システム100を含み、移動体201の通常の移動方向の前方の領域の像を画像データとして取得し、像中の対象物までの距離を算出することができるシステムであって、移動体201と、撮像装置と、測距部105と、報知装置202とを備えている。本実施の形態の場合、撮像装置には、第一撮像装置110、第二撮像装置120が含まれている。
[移動体201]
移動体201は、撮像装置が取り付けられた状態で空間を移動する装置である。本実施の形態の場合、移動体201は、人を乗せて道路上を移動することができる自動車などの車両である。
[撮像装置]
撮像装置は、移動体201の通常の走行方向の前側、例えば、フロントガラスの内側上部に取り付けられ、移動体の前方領域に含まれる先行車などの対象物の像を画像データに変換することができる装置であり、撮像素子と、光学系とを備えている。本実施の形態の場合、移動体システム200が備える測距システム100は、撮像装置として100mm以上、500mm以下の範囲から選定される間隔で水平方向(図中左右方向)に離れて配置される第一撮像装置110と、第二撮像装置120とを備えており、第一撮像装置110と第二撮像装置120との視差に基づき対象物までの距離を算出するシステムとなっている。
[撮像素子]
撮像素子は、光学的に撮像面に結ばれた像を行列状に並んで配置される複数の撮像画素により画像データに変換することができる素子であり、例えばCMOSやCCDなどのいわゆるイメージングセンサである。本実施の形態の場合、各撮像装置は、撮像素子として、第一撮像素子111、第二撮像素子121をそれぞれ備えている。
本実施の形態の場合、撮像素子は、アスペクト比が16:9の2Mセンサーであり、垂直方向(図中上下方向)に配置される撮像画素の数は1080、水平方向(図中左右方向)に配置される撮像画素の数は1920である。
なお、撮像素子のアスペクト比、および、撮像画素の数は特に上記に限定されるわけではなく、任意のアスペクト比、および、撮像画素の数を選択しうる。
[光学系]
光学系は、撮像素子の撮像面に所定の領域の像を結像させる装置であり、複数のレンズや絞り、フィルターなどの組み合わせにより構成されるものである。また、光学系が備える複数のレンズの少なくとも1つは、自由曲面レンズである。本実施の形態の場合、各撮像装置は、光学系として、第一光学系112、第二光学系122をそれぞれ備えている。
以下、第二光学系122を例として光学系を具体的に説明する。第一光学系112も第二光学系と同様である。
図3は、第二光軸を含む垂直面で第二光学系を仮想的に切断した断面を示す構成図である。
図4は、第二光学系を用いて解像度を説明するための図である。
図5は、第二光学系を用いたアプリケーション別の測距距離、誤差、および各水平画角における画素配分を説明するための図である。
本実施の形態では自動車アセスメントが導入を予定している評価試験及び国際的に議論がなされている自動運転に向けての要求性能からアプリケーション別の画角・測距距離・誤差を設定し、実現可能な解像度を規定した。
これらの図に示すように、第二光学系122は、第二撮像素子121の撮像面に移動体201の前方の領域に含まれる像を結像させる装置である。本実施の形態の場合、第二光学系122の全体の水平画角は、160°以上、180°以下の範囲から選定されるいわゆる広角レンズである。
また、第二光学系122は、解像度が相互に異なる領域として第一領域301、第二領域302、第六領域303、第七領域304の四つの領域を実現することができる形状の自由曲面レンズ123、124を組み合わせて備えている。本実施の形態の場合、第一領域301から第七領域304まで、段階的に解像度が低くなるような形状の自由曲面レンズ123、124が採用されている。
また、第二光学系122は、前方の矩形の領域をできる限り歪ませることなく矩形の状態で第二撮像素子121の撮像面に結像することができるものとなっている。
ここで、解像度とは、単位画角である1°に含まれる像を撮像する撮像画素の数の全体の撮像画素の数に対する割合を意味している。
つまり、本実施の形態で例示すれば、第一領域301の水平画角は15°であり、この画角に含まれる像は水平撮像画素の数750pixで撮像される。全体の水平撮像画素の数は、1920pixであるので、解像度は(750/1920)×100/15=2.6となる。
また、第二領域302の水平画角は、第一領域301の左右の側方にそれぞれ17.5°、合計35°であり、この画角に含まれる像は水平撮像画素の数880pixで撮像される。全体の水平撮像画素の数は、1920pixであるので、解像度は(880/1920)×100/35=1.3となる。
また、第六領域303の水平画角は、第二領域302の左右にそれぞれ35°、合計70°であり、この画角に含まれる像は水平撮像画素の数200pixで撮像される。全体の水平撮像画素の数は、1920pixであるので、解像度は(200/1920)×100/70=0.15となる。
また、第七領域304の水平画角は、第六領域303の左右にそれぞれ25°、合計50°であり、この画角に含まれる像は水平撮像画素の数90pixで撮像される。全体の水平撮像画素の数は、1920pixであるので、解像度は(90/1920)×100/50=0.1となる。
また、自由曲面レンズ123、124を含む第二光学系122が実現する第一領域301は、第二光軸129を含んでおり、さらに、水平面において第二光軸129に対して対称となっている。
ここで、光軸とは、原則、撮像素子の撮像面の中央(中心)を通過し、撮像面に垂直な仮想線である。なお、光学系が光を反射するミラーやプリズムなどを備えている場合は、光軸は反射によって屈曲する。
なお、本願の解像度が高いとは、主として球面レンズからなる光学系と平面の撮像素子の組み合わせによって発生する解像度との相違、つまり光軸から最も遠い部分の解像度に対する光軸近傍部の解像度の高さを相対比較した際に解像度が高いことを意味している。
また、自由曲面レンズとは、結像のために光を屈折させる面が、非円弧状、且つ回転対称ではないレンズである。なお、シリンドリカルレンズも円弧状レンズの一種として、自由曲面レンズとは異なるレンズとする。自由曲面レンズとしては例えば、第二自由曲面レンズ123は、第二光軸129と第一軸(左右軸)とを含む面(水平面)で仮想的に切断した断面の形状と、図3に示すように、第二光軸129および第一軸と直交する第二軸(上下軸)と第二光軸129とを含む面(垂直面)で仮想的に切断した断面の形状とが異なり、かつ、いずれも真円の一部ではない非円弧となっている。
また、回転非対称な自由曲面レンズを別の方法で表現すると、自由曲面レンズを備える光学系の結像対象である撮像素子において、自由曲面レンズによって結像する第一領域と第二領域の並び方向を水平方向とし、前記並び方向と直交する方向を垂直方向とした場合、垂直方向において、第一領域の中心から所定の第一距離の位置における解像度と、水平方向において、第一領域の中心から第一距離の位置における解像度とが異なるように結像させることのできる形状を備えたレンズが自由曲面レンズである。
また、自由曲面レンズの材質は、特に限定されるものではないが、ガラスや樹脂などを例示することができる。自由曲面レンズの製造方法も特に限定されるものではないが、例えば、金型などの型を用いて自由曲面レンズを成形する製造方法を例示することができる。
[測距部105]
測距部105は、撮像装置の撮像素子からインターフェース106を介して取得した画像データに基づき対象物までの距離を算出する処理部である。
図6は、測距方法の一例を模式的に示す図である。
図7〜図10は、各領域における測距部の算出結果を示すグラフである。
図6に示すように本実施の形態の場合、測距部105は、所定の距離をおいて配置される第一撮像装置110、および、第二撮像装置120から得られる撮像データから対象物の視差を算出し、三角測量の原理で距離を算出する。
この際、遠方に存在する画角15°以内の範囲の前方対象物401は、解像度の高い第一領域301で撮像データが得られ、高い精度で視差を算出できるため、球面レンズを用いた光学系による測距精度に対し、測距精度が高くなる。つまり、狭い画角の像を他の領域よりも多くの割合の撮像画素で撮像しているため視差の誤差を小さくでき、高い測定精度を実現している。これは、側方対象物402の測定する際の解像度を低下させることにより実現している。
具体的には、第一撮像装置110の第一光軸119と第二撮像装置120の第二光軸129との距離が240mmであり、測距部105の視差の画素分解能が0.1pixの場合、図7に示すように、画角15°以内の範囲の前方対象物は、第一領域301において撮像でき、その結果、160m遠方の対象物は球面レンズを用いた従来の場合の測距精度が±26%であるのに対し、本実施の形態の場合では、±5%となっている。すなわち本実施の形態の場合は、160m遠方の対象物に関して5%の8mの分解能で測距が可能となる。
同様に図8に示すように、画角15°〜50°の範囲の対象物は、第二領域302において撮像でき、その結果、80m遠方の対象物は球面レンズを用いた従来の場合の測距精度が±12%であるのに対し、本実施の形態の場合では、±5%となっている。すなわち本実施の形態の場合は、80m遠方の対象物に関して5%の4mの分解能で測距が可能となる。
同様に図9に示すように、画角50°〜120°の範囲の対象物は、第六領域303において撮像でき、その結果、8m遠方の対象物は球面レンズを用いた従来の場合の測距精度が±1.2%であるのに対し、本実施の形態の場合では、±5%となっている。すなわち本実施の形態の場合は、8m遠方の対象物に関して5%の0.4mの分解能で測距が可能となる。
同様に図10に示すように、画角120°〜170°の範囲の対象物は、第七領域304において撮像でき、その結果、5m遠方の対象物は球面レンズを用いた従来の場合の測距精度が±0.7%であるのに対し、本実施の形態の場合では、±5%程度となっている。すなわち本実施の形態の場合は、5m遠方の対象物に関して5%の0.25m程度の分解能で測距が可能となる。
以上のように、本実施の形態の測距システム100は、撮像領域の側方部分に存在する対象物の測距精度を落すことにより、正面部分に存在する対象物の測距精度を向上させることができる形状の自由曲面レンズを備えている。
換言すると、本実施の形態の測距システム100は、正面遠方の測距精度と側方近傍の測距精度を同程度にすることができる形状の自由曲面レンズを備えている。
これにより、直進する移動体201の走行径路内に存在する対象物については遠方に至るまで高い精度で測距を行うことができ、遠方の状況を正確に把握して追突などの事故を回避する制御を早期に実施することが可能となる。一方、移動体201の走行経路外の領域については、移動体201の走行経路に侵入する恐れのある他の移動体や人などを同じ撮像装置で検出することが可能となる。また、移動体201が曲がる方向に存在する障害物を同じ撮像装置で検出することが可能となる。
[報知装置202]
報知装置202は、測距部105により算出された対象物までの距離に基づき移動体に情報を報知する装置である。
例えば、報知装置202は、前方の移動体201との距離が所定の範囲よりも長くなれば移動体201の速度を上げるための情報を移動体201にデータとして報知し、短くなれば移動体201の速度を下げるための情報を移動体201にデータとして報知する。
これにより、十分な車間距離を保ちつつ正確に先行車両に追随する制御を行うことが可能となる。
また、報知装置202が運転者へ報知する方法としては、スピーカから発する音によってアラートする場合や、カーナビゲーションシステムの画面やHUD(ヘッドアップディ
スプレイ)などに警告マークなど表示して視覚的にアラートする場合を例示できる。
以上のように、測距システム100、および、移動体システム200に採用される自由曲面レンズの形状によれば、移動体201に搭載される撮像装置の数を抑制しつつ、広い領域の画像データを取得することができ、かつ、所望の方向の領域について他の領域よりも解像度を高くして遠方まで正確に測距を行う事が可能となる。
なお、本開示は、上記実施の形態に限定されるものではない。例えば、本明細書において記載した構成要素を任意に組み合わせて、また、構成要素のいくつかを除外して実現される別の実施の形態を本開示の実施の形態としてもよい。また、上記実施の形態に対して本開示の主旨、すなわち、請求の範囲に記載される文言が示す意味を逸脱しない範囲で当業者が思いつく各種変形を施して得られる変形例も本開示に含まれる。
上記実施の形態では、解像度を具体的に説明したが、これらは以下に示す所定の範囲内であればよい。
また、第一領域301の解像度は、2以上から選定され、第二領域302の解像度が0.7以上、2未満から選定され、第六領域303の解像度が0.13以上、0.7未満から選定され、第七領域304の解像度が0より大きく、0.13未満から選定されても構わない。これらの解像度は、本実施例にて例示した第一領域301の解像度2.6及び第二領域302の解像度1.3の略中央値2を第一領域301と第二領域302の境界値とした。本実施例にて例示した第二領域302の解像度1.3及び第六領域303の解像度0.15の略中央値0.7を第二領域302と第六領域303の境界値とした。本実施例にて例示した第六領域303の解像度0.15及び第4領域304の解像度0.1の略中央値0.13を第六領域303と第七領域304の境界値とした。
また、自由曲面レンズは、第一領域301など各領域内において一定の解像度でなく、各領域内で徐々に変化するような形状であっても構わない。
また、上記実施の形態では、水平面における解像度の相違のみに言及したが、自由曲面レンズは、水平面の解像度を変化させる形状ばかりでなく、垂直面の解像度を変化させる形状でも構わない。
例えば、地上を走行する移動体201の場合は、仰角において所定角度以上の部分や、伏角において所定角度以上の部分は、空や路面に対応するため、解像度を低下させる形状の自由曲面レンズを採用しても構わない。
具体的に例えば、自由曲面レンズを備える光学系の結像対象である撮像素子において、自由曲面レンズによって結像する第一領域と第二領域の並び方向を水平方向とし、前記並び方向と直交する方向を垂直方向とした場合、回転非対称な自由曲面レンズは、図11に示すように、垂直方向において、第一領域301に隣接する位置に第二領域302未満の解像度である第三領域305をさらに結像させることのできる形状であってもよい。また、自由曲面レンズは、第三領域305が、垂直方向において第一領域301の両側に結像させることのできる形状であってもよい。
図12は、図11中に示した水平方向の矢印である第一水平矢印H1、および第二水平矢印H2にそれぞれ対応する画角と解像度との関係を示すグラフである。図13は、図11中に示した垂直方向の矢印である第一垂直矢印V1、および第二垂直矢印V2にそれぞれ対応する画角と解像度との関係を示すグラフである。これらのグラフに示すように、第一領域301の中心を通り水平方向に延びる第一水平矢印H1に対応するグラフの解像度の最も高い部分は、画角−40度から40度までの間で広がっているのに対し、第一領域301の中心を通り垂直方向に延びる第一垂直矢印V1に対応するグラフの解像度の最も高い部分は、画角−20度から20度までの間で広がっている。つまり、同一解像度の第一領域301の水平方向の長さと垂直方向との長さが異なっている。これは、回転非対称な自由曲面レンズによって実現されたものである。また、図13の第二垂直矢印V2に対応するグラフは、一定である。つまり垂直方向において、第二領域302は、撮像素子の一端部から他端部までほぼ同じ解像度である。これも、回転非対称な自由曲面レンズによって実現されたものである。
また、回転非対称な自由曲面レンズは、図14に示すように、垂直方向において、第二領域302に隣接する位置に第二領域302未満の解像度である第四領域306を備え、第四領域306は第一領域301と垂直方向に隣接することのできる形状であってもよい。また、自由曲面レンズは、垂直方向において、第一領域301に隣接し、第一領域301に対し第四領域306と反対側の位置に第二領域302未満の解像度である第五領域307を備え、第五領域307は第二領域302に隣接することのできる形状であってもよい。
図15は、図14中に示した水平方向の矢印である第三水平矢印H3、第四水平矢印H4および第五水平矢印H5にそれぞれ対応する画角と解像度との関係を示すグラフである。図16は、図14中に示した垂直方向の矢印である第三垂直矢印V3、および第四垂直矢印V4にそれぞれ対応する画角と解像度との関係を示すグラフである。これらのグラフで示すように、第一領域301の中心を通り水平方向に延びる第三水平矢印H3に対応するグラフは、先に示した第一水平矢印H1に対応するグラフとほぼ同じであり、第一領域301の中心を通り垂直方向に延びる第三垂直矢印V3に対応するグラフは、先に示した第一垂直矢印V1に対応するグラフとほぼ同じである。
また、第一領域301の中心からほぼ等距離で、中心に対して相互に反対側にある第四水平矢印H4と第五水平矢印H5に対応するグラフに示すとおり、これらの解像度は異なっている。つまり、第一領域301の中心から等距離の位置において、解像度を異なるように結像させることは、回転非対称な自由曲面レンズによって実現されたものである。
また、図15、図16のグラフに示すように、水平方向においては、画角0に対し解像度を対称に変化させ、垂直方向においては画角0に対して解像度を非対称に変化させることは、回転非対称な自由曲面レンズによって実現されたものである。
また、移動体201がドローンなどのように、空中を移動して移動体の下方を撮像するような場合は、伏角において所定角度以上の部分の解像度を高める形状の自由曲面レンズを採用しても構わない。
また、上記実施の形態では二つの撮像装置を用いた視差による測距を例示したが、測距方法はこれに限定されるわけではない。例えば、移動体に搭載されることを前提として異なる時間に得られる画像から視差を得る測距方法や、白線などを利用して消失点と対象物の位置関係から計算する測距方法や、DFD(Depth From Defocus)による測距方法を一つの撮像装置を用いて行っても構わない。
また、移動体201はさらに、第一撮像装置110と撮像領域が一部重複する第三撮像装置(左側方カメラ)や、第二撮像装置120と撮像領域が一部重複する第四撮像装置(右側方カメラ)、さらに、前記第三撮像装置、および、前記第四撮像装置と撮像領域がそれぞれ一部重複する第五撮像装置(後方カメラ)を備え、これらの画像データに基づき移動体の周囲の全体を示す画像を移動体の内部に表示する表示装置を備えても構わない。
これにより、測距システムを利用して周辺監視システムを実現することが可能となる。
測距システム、および、移動体システムは、自動車、航空機、船舶など人を乗せて移動する移動体、ドローンや搬送装置など人を乗せることなく移動する移動体、さらには、ロボットのアームの先端などの移動体などに利用可能である。
100 測距システム
105 測距部
106 インターフェース
110 第一撮像装置
111 第一撮像素子
112 第一光学系
119 第一光軸
120 第二撮像装置
121 第二撮像素子
122 第二光学系
123 自由曲面レンズ
123 第二自由曲面レンズ
129 第二光軸
200 移動体システム
201 移動体
202 報知装置
301 第一領域
302 第二領域
303 第六領域
304 第七領域
305 第三領域
306 第四領域
307 第五領域
401 前方対象物
402 側方対象物

Claims (4)

  1. 複数の撮像画素が行列状に配置される撮像素子と、前記撮像素子の撮像面に所定の領域の像を結像させる光学系とを備え、
    前記光学系は、
    単位画角に含まれる像を撮像する前記撮像画素の数の全体の前記撮像画素の数に対する割合を解像度とした場合に、前記領域の正面部分の領域であり、前記光学系の光軸が通過する第一領域の解像度が側方部分である第二領域の解像度よりも高くなるように前記撮像面に結像させることのできる形状を有し、回転非対称な自由曲面レンズを備え、
    前記撮像素子において、前記第一領域と前記第二領域の並び方向を水平方向とし、前記並び方向と直交する方向を垂直方向とした場合、
    回転非対称な前記自由曲面レンズは、
    垂直方向において、前記第一領域の中心から所定の第一距離の位置における解像度と、水平方向において、前記第一領域の中心から前記第一距離の位置における解像度とが異なり、かつ、垂直方向において、前記第一領域の中心に対して上部の解像度が下部の解像度よりも高くなるように結像させることのできる形状である
    撮像装置。
  2. 前記水平方向における前記第一領域の全画角の中心から画角の正方向又は負方向の端までの領域は、前記解像度が同じとなる領域と、前記解像度が前記第一領域の全画角の中心から画角の正方向又は負方向の端に向けて減少する領域とを含む、
    請求項1に記載の撮像装置。
  3. 前記垂直方向における前記第一領域の全画角の中心から画角の正方向又は負方向の端までの領域は、前記解像度が同じとなる領域と、前記解像度が前記第一領域の全画角の中心から画角の正方向又は負方向の端に向けて減少する領域とを含む、
    請求項1に記載の撮像装置。
  4. 前記第一領域の同一解像度となる前記水平方向の長さと前記垂直方向の長さが異なる、
    請求項1に記載の撮像装置。
JP2018172924A 2016-08-12 2018-09-14 撮像装置 Active JP6807543B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2016158786 2016-08-12
PCT/JP2017/028519 WO2018030319A1 (ja) 2016-08-12 2017-08-07 測距システム、および、移動体システム
WOPCT/JP2017/028519 2017-08-07
US15/854,797 2017-12-27
US15/854,797 US10365462B2 (en) 2016-08-12 2017-12-27 Distance measurement system and mobile object system

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018021507A Division JP6410198B1 (ja) 2016-08-12 2018-02-09 測距システム、および、移動体システム

Publications (2)

Publication Number Publication Date
JP2019032540A JP2019032540A (ja) 2019-02-28
JP6807543B2 true JP6807543B2 (ja) 2021-01-06

Family

ID=61162580

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2017557471A Pending JPWO2018030319A1 (ja) 2016-08-12 2017-08-07 測距システム、および、移動体システム
JP2018021507A Active JP6410198B1 (ja) 2016-08-12 2018-02-09 測距システム、および、移動体システム
JP2018172924A Active JP6807543B2 (ja) 2016-08-12 2018-09-14 撮像装置

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2017557471A Pending JPWO2018030319A1 (ja) 2016-08-12 2017-08-07 測距システム、および、移動体システム
JP2018021507A Active JP6410198B1 (ja) 2016-08-12 2018-02-09 測距システム、および、移動体システム

Country Status (3)

Country Link
US (2) US10365462B2 (ja)
JP (3) JPWO2018030319A1 (ja)
WO (1) WO2018030319A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10416383B2 (en) * 2017-07-20 2019-09-17 The Board Of Trustees Of The University Of Illinois Spatial control of the optical focusing properties of photonic nanojets
JP7131026B2 (ja) * 2018-03-30 2022-09-06 株式会社リコー ステレオカメラ装置
CN108759667B (zh) * 2018-05-29 2019-11-12 福州大学 车载摄像头下基于单目视觉与图像分割的前车测距方法
JP7215220B2 (ja) * 2018-07-31 2023-01-31 ソニーグループ株式会社 表示装置
CN111929805A (zh) * 2019-05-13 2020-11-13 信泰光学(深圳)有限公司 成像镜头
JP7207038B2 (ja) 2019-03-14 2023-01-18 株式会社リコー 撮像装置、撮像光学系及び移動体
JP2020153798A (ja) * 2019-03-19 2020-09-24 株式会社リコー 光学装置、測距光学系ユニット、測距装置及び測距システム
JP6653456B1 (ja) * 2019-05-24 2020-02-26 パナソニックIpマネジメント株式会社 撮像装置
CN110457299B (zh) * 2019-07-12 2022-06-14 北京交通大学 基于共享单车骑行数据的站点影响范围确定方法和装置
US20210157109A1 (en) * 2019-11-22 2021-05-27 Foshan Limited Equirectangular lens for virtual reality video
WO2021134286A1 (zh) * 2019-12-30 2021-07-08 诚瑞光学(常州)股份有限公司 摄像光学镜头

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS55622A (en) * 1978-06-16 1980-01-07 Toshiba Corp Solid state pickup device
JPS5915239A (ja) 1982-07-19 1984-01-26 Hayashi Nakagome 感光フィルムを媒体とする画像記録・再生方法およびその装置
JPH0755451Y2 (ja) * 1989-12-27 1995-12-20 トヨタ自動車株式会社 車間距離検出装置
JP2656143B2 (ja) * 1990-08-27 1997-09-24 シャープ株式会社 全方向撮影装置
JP3832902B2 (ja) * 1996-08-30 2006-10-11 本田技研工業株式会社 半導体イメージセンサ
JP4643773B2 (ja) 1996-12-17 2011-03-02 テセラ・テクノロジーズ・ハンガリー・ケイエフティー 電子ズーム画像入力方式
JP4227249B2 (ja) * 1999-05-28 2009-02-18 キヤノン株式会社 撮像装置、撮像システム及び撮像方法
JP2001285701A (ja) * 2000-03-30 2001-10-12 Mitsubishi Electric Corp 車載カメラ装置
FR2827680B1 (fr) * 2001-07-20 2003-10-10 Immervision Internat Pte Ltd Procede de capture d'une image panoramique au moyen d'un capteur d'image de forme rectangulaire
JP2004094412A (ja) * 2002-08-29 2004-03-25 Mitsubishi Heavy Ind Ltd 車両検知・車番認識システム
JP2004159186A (ja) * 2002-11-07 2004-06-03 Sony Corp 監視用車載撮像システム
JP4062145B2 (ja) * 2003-03-25 2008-03-19 コニカミノルタホールディングス株式会社 撮像装置
JP4197994B2 (ja) * 2003-06-19 2008-12-17 コニカミノルタオプト株式会社 撮像装置
JP4728034B2 (ja) * 2005-04-25 2011-07-20 オリンパス株式会社 回転非対称光学系
JP4604816B2 (ja) * 2005-04-27 2011-01-05 株式会社デンソー 車載撮像モジュール
KR101329470B1 (ko) * 2005-11-11 2013-11-13 소니 주식회사 화상 처리 장치, 화상 처리 방법 및 그 프로그램을 기록한 기록 매체
JP4683213B2 (ja) * 2005-12-02 2011-05-18 株式会社ニコン 魚眼レンズ及び撮像装置
JP2007288527A (ja) * 2006-04-17 2007-11-01 Matsushita Electric Ind Co Ltd 撮像装置
WO2008077132A1 (en) * 2006-12-19 2008-06-26 California Institute Of Technology Imaging model and apparatus
US8110791B2 (en) * 2007-08-16 2012-02-07 Bae Systems Plc Imaging device
JP2009111813A (ja) * 2007-10-31 2009-05-21 Seiko Epson Corp プロジェクタ、プロジェクタにおける画像データ取得方法及び撮像装置
JP2011095321A (ja) * 2009-10-27 2011-05-12 Toshiba Alpine Automotive Technology Corp 車両用画像表示装置
US8743199B2 (en) * 2010-03-09 2014-06-03 Physical Optics Corporation Omnidirectional imaging optics with 360°-seamless telescopic resolution
JP5468426B2 (ja) 2010-03-12 2014-04-09 日立オートモティブシステムズ株式会社 ステレオカメラ装置
JP2011242580A (ja) * 2010-05-18 2011-12-01 Olympus Corp 投影光学装置
JP5229427B2 (ja) 2010-07-23 2013-07-03 トヨタ自動車株式会社 距離測定装置および距離測定方法
TWI424188B (zh) * 2010-09-20 2014-01-21 Largan Precision Co Ltd 廣視角取像鏡組
JP5214062B1 (ja) * 2011-04-28 2013-06-19 三洋電機株式会社 情報取得装置および物体検出装置
JP5966123B2 (ja) * 2012-04-19 2016-08-10 株式会社ユピテル ドライブレコーダおよびプログラム
JP6179975B2 (ja) 2013-03-28 2017-08-16 Necエンベデッドプロダクツ株式会社 バックモニターカメラ、車両、バックモニターシステム及びバックモニター方法
US10093247B2 (en) * 2013-05-23 2018-10-09 GM Global Technology Operations LLC Enhanced front curb viewing system
JP2015210329A (ja) * 2014-04-24 2015-11-24 コニカミノルタ株式会社 アレイ光学系
US20160021309A1 (en) * 2014-07-21 2016-01-21 Honeywell International Inc. Image based surveillance system
JP2016126254A (ja) * 2015-01-07 2016-07-11 コニカミノルタ株式会社 撮像レンズ、撮像装置及び投影装置
US20180017768A1 (en) * 2015-01-26 2018-01-18 Hitachi, Ltd. Imaging lens, imaging device using same, and distance measuring system
JP6545997B2 (ja) * 2015-04-24 2019-07-17 日立オートモティブシステムズ株式会社 画像処理装置
JP6735506B2 (ja) * 2016-09-29 2020-08-05 パナソニックIpマネジメント株式会社 画像生成装置、および、画像処理システム

Also Published As

Publication number Publication date
JP6410198B1 (ja) 2018-10-24
JP2019032296A (ja) 2019-02-28
US20180120545A1 (en) 2018-05-03
JP2019032540A (ja) 2019-02-28
US10852516B2 (en) 2020-12-01
US20190302429A1 (en) 2019-10-03
US10365462B2 (en) 2019-07-30
JPWO2018030319A1 (ja) 2018-08-09
WO2018030319A1 (ja) 2018-02-15

Similar Documents

Publication Publication Date Title
JP6807543B2 (ja) 撮像装置
JP7266165B2 (ja) 撮像装置、撮像システム、および表示システム
JP6510551B2 (ja) 撮像光学系、撮像装置および距離測定システム
WO2016121550A1 (ja) 撮像レンズ及びそれを用いた撮像装置並びに距離測定システム
JP7005207B2 (ja) 光学系、それを備える撮像装置及び投影装置
US10992920B2 (en) Stereo image processing device
US10761406B2 (en) Optical system, image capturing apparatus, distance measuring apparatus, and vehicle-mounted system
JP7207038B2 (ja) 撮像装置、撮像光学系及び移動体
JP6653456B1 (ja) 撮像装置
JP2010271429A (ja) 撮像装置とステレオカメラ装置及び車外監視装置
US20180338095A1 (en) Imaging system and moving body control system
JP2017181634A (ja) 撮像装置及び車載カメラシステム
JP6983740B2 (ja) ステレオカメラシステム、及び測距方法
KR20160104341A (ko) 카메라 렌즈
JP7207889B2 (ja) 測距装置および車載カメラシステム
JP2019028128A (ja) 光学系、それを備える撮像装置及び投影装置
JP2006215172A (ja) 光学系
JP2023058116A (ja) ナイトビジョンカメラ
BR102018007887A2 (pt) sistema de câmera para um veículo, sistema de substituição de espelho que compreende esse sistema de câmera, e sistema de assistência ao motorista que inclui esse sistema

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180914

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190731

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190827

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191002

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200310

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200526

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200818

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20200818

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20200903

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20200908

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201118

R151 Written notification of patent or utility model registration

Ref document number: 6807543

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151