JP6410198B1 - 測距システム、および、移動体システム - Google Patents

測距システム、および、移動体システム Download PDF

Info

Publication number
JP6410198B1
JP6410198B1 JP2018021507A JP2018021507A JP6410198B1 JP 6410198 B1 JP6410198 B1 JP 6410198B1 JP 2018021507 A JP2018021507 A JP 2018021507A JP 2018021507 A JP2018021507 A JP 2018021507A JP 6410198 B1 JP6410198 B1 JP 6410198B1
Authority
JP
Japan
Prior art keywords
region
resolution
area
imaging
imaging device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018021507A
Other languages
English (en)
Other versions
JP2019032296A (ja
Inventor
雅之 粟飯原
雅之 粟飯原
成功 八釣
成功 八釣
善夫 松村
善夫 松村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Application granted granted Critical
Publication of JP6410198B1 publication Critical patent/JP6410198B1/ja
Publication of JP2019032296A publication Critical patent/JP2019032296A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00Optical objectives specially designed for the purposes specified below
    • G02B13/18Optical objectives specially designed for the purposes specified below with lenses having one or more non-spherical faces, e.g. for reducing geometrical aberration
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures
    • G01C11/06Interpretation of pictures by comparison of two or more pictures of the same area
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures
    • G01C11/30Interpretation of pictures by triangulation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/10Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00Optical objectives specially designed for the purposes specified below
    • G02B13/001Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • G02B13/0015Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras characterised by the lens design
    • G02B13/002Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras characterised by the lens design having at least one aspherical surface
    • G02B13/0045Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras characterised by the lens design having at least one aspherical surface having five or more lenses
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00Simple or compound lenses
    • G02B3/02Simple or compound lenses with non-spherical faces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof

Abstract

【課題】一つの撮像素子における撮像領域を測距精度の高い領域と比較的低い領域に分け高精度に測距を行う領域を設ける。【解決手段】光学系122を有する撮像装置120と、撮像素子121から取得した画像データに基づき対象物までの距離を算出する測距部105とを備え、光学系122は、正面部分の領域である第一領域の解像度が側方部分である第二領域の解像度よりも高くなるように撮像面に結像させることのできる形状を有し、回転非対称な自由曲面レンズ123を備え、第一領域と第二領域の並び方向を水平方向とし、前記並び方向と直交する方向を垂直方向とした場合、自由曲面レンズ123は、垂直方向において、第一領域の中心から所定の第一距離の位置における解像度と、水平方向において、第一領域の中心から前記第一距離の位置における解像度とが異なるように結像させることのできる形状である。【選択図】図11

Description

本開示は、所定の領域の像を示す画像データに基づき距離を算出する測距システム、および、当該測距システムを備えた移動体システムに関する。
特許文献1には、感光フィルムに結像する光学系の一部を歪ませて、当該歪んだ部分を他の部分よりも高解像度とし、像を再生する際は相補的な光学系を用いて相似の像を再生する方法、および、装置が記載されている。
特開昭59−015239号公報
昨今、自動車の分野などで、安全性能や利便性能の向上を目的として車両前方を撮像している撮像装置から得られる画像データに基づき前方の車や障害物までの距離を測定し、距離に対応して車両の制御を行うことが行われている。さらに、別の撮像装置をさらに搭載して側方を撮像し、人や自転車の飛び出しなどを検知することも提案されており、自動運転化や安全アセスメント機関の評価結果の影響力の高まりから今後も世界の国・企業が注力する領域で、検知範囲の拡大・検知精度の向上が大きな流れとなっている。
このように、車両に搭載する撮像装置の数を増加させることによって種々の目的に対応させることができるが、撮像装置自体にかかるコストが大きな課題となる他、データを送信するための配線を含む撮像装置の取り付け位置の確保が困難となり、デザイン性が損なわれ、車両軽量化の妨げにもなる。一方、従来技術のように、単に球面レンズの一部を球面的に歪ませて部分的に解像度の高い像を得るだけでは、広範囲にわたって画像データを取得しつつ前方の測距を正確に行うなど柔軟な対応は困難である。
以下、自由曲面レンズを用いることにより所望の解像度を実現できる領域を複数箇に設け、それぞれの領域を所望の精度で測距することができる測距システム、および、当該測距システムを備えた移動体システムを開示する。
本開示にかかる測距システムは、複数の撮像画素が行列状に配置される撮像素子と、前記撮像素子の撮像面に所定の領域の像を結像させる光学系とを有する撮像装置と、前記撮像素子から取得した画像データに基づき対象物までの距離を算出する測距部とを備え、前記光学系は、単位画角に含まれる像を撮像する前記撮像画素の数の全体の前記撮像画素の数に対する割合を解像度とした場合に、前記領域の正面部分の領域である第一領域の解像度が側方部分である第二領域の解像度よりも高くなるように前記撮像面に結像させることのできる形状を有し、回転非対称な自由曲面レンズを備え、前記撮像素子において、前記第一領域と前記第二領域の並び方向を水平方向とし、前記並び方向と直交する方向を垂直方向とした場合、回転非対称な前記自由曲面レンズは、垂直方向において、前記第一領域の中心から所定の第一距離の位置における解像度と、水平方向において、前記第一領域の中心から前記第一距離の位置における解像度とが異なるように結像させることのできる形状である。
また、本開示に係る移動体システムは、複数の撮像画素が行列状に配置される撮像素子と、前記撮像素子の撮像面に所定の領域の像を結像させる光学系とを有する撮像装置と、前記撮像装置が取り付けられ、空間を移動する移動体と、前記撮像素子から取得した画像データに基づき対象物までの距離を算出する測距部とを備え、前記光学系は、単位画角に含まれる像を撮像する前記撮像画素の数の全体の前記撮像画素の数に対する割合を解像度とした場合に、前記領域の正面部分の領域である第一領域の解像度が側方部分である第二領域の解像度よりも高くなるように前記撮像面に結像させることのできる形状を有し、回転非対称な自由曲面レンズを備え、前記撮像素子において、前記第一領域と前記第二領域の並び方向を水平方向とし、前記並び方向と直交する方向を垂直方向とした場合、回転非対称な前記自由曲面レンズは、垂直方向において、前記第一領域の中心から所定の第一距離の位置における解像度と、水平方向において、前記第一領域の中心から前記第一距離の位置における解像度とが異なるように結像させることのできる形状である。
以上のように、本開示の測距システム、および、移動体システムは、自由曲面レンズを用いることで領域毎に所望の性能で測距を行うことが可能となる。
図1は、水平面において、車両に取り付けられた撮像装置の解像度の異なる領域を示す図である。 図2は、移動体システムの機構部と機能部とを示すブロック図である。 図3は、第二光軸を含む垂直面で第二光学系を仮想的に切断した断面を示す構成図である。 図4は、第二光学系を用いて解像度を説明するための図である。 図5は、第二光学系を用いたアプリケーション別の測距距離、誤差、および各水平画角における画素配分を説明するための図である。 図6は、測距方法の一例を模式的に示す図である。 図7は、第一領域における測距部の算出結果を示すグラフである。 図8は、第二領域における測距部の算出結果を示すグラフである。 図9は、第六領域における測距部の算出結果を示すグラフである。 図10は、第七領域における測距部の算出結果を示すグラフである。 図11は、自由曲面レンズを備えた光学系により撮像素子に結像させた像の一例を示す図である。 図12は、図11に示した水平方向の矢印に対応した解像度を示すグラフである。 図13は、図11に示した垂直方向の矢印に対応した解像度を示すグラフである。 図14は、他の形状の自由曲面レンズを備えた光学系により撮像素子に結像させた像の一例を示す図である。 図15は、図14に示した水平方向の矢印に対応した解像度を示すグラフである。 図16は、図14に示した水平方向の矢印に対応した解像度を示すグラフである。
次に、本開示に係る測距システム、および、移動体システムの実施の形態について、図面を参照しつつ説明する。なお、以下の実施の形態は、本開示に係る測距システム、および、移動体システムの一例を示したものに過ぎない。従って本開示は、以下の実施の形態を参考に請求の範囲の文言によって範囲が確定されるものであり、以下の実施の形態のみに限定されるものではない。よって、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、本発明の課題を達成するのに必ずしも必要ではないが、より好ましい形態を構成するものとして説明される。
また、図面は、本開示のために適宜強調や省略、比率の調整を行った模式的な図となっており、実際の形状や位置関係、比率とは異なる場合がある。
図1は、水平面において、車両に取り付けられた撮像装置の解像度の異なる領域を示す図である。なお同図において、図の煩雑さを回避するため、一つの撮像装置についてのみ解像度の異なる領域を破線で示しているが、他の撮像装置も同様に解像度が異なる領域を備えている。
図2は、移動体システムの機構部と機能部とを示すブロック図である。
これらの図に示すように、移動体システム200は、移動体201に取り付けられており、測距システム100を含み、移動体201の通常の移動方向の前方の領域の像を画像データとして取得し、像中の対象物までの距離を算出することができるシステムであって、移動体201と、撮像装置と、測距部105と、報知装置202とを備えている。本実施の形態の場合、撮像装置には、第一撮像装置110、第二撮像装置120が含まれている。
[移動体201]
移動体201は、撮像装置が取り付けられた状態で空間を移動する装置である。本実施の形態の場合、移動体201は、人を乗せて道路上を移動することができる自動車などの車両である。
[撮像装置]
撮像装置は、移動体201の通常の走行方向の前側、例えば、フロントガラスの内側上部に取り付けられ、移動体の前方領域に含まれる先行車などの対象物の像を画像データに変換することができる装置であり、撮像素子と、光学系とを備えている。本実施の形態の場合、移動体システム200が備える測距システム100は、撮像装置として100mm以上、500mm以下の範囲から選定される間隔で水平方向(図中左右方向)に離れて配置される第一撮像装置110と、第二撮像装置120とを備えており、第一撮像装置110と第二撮像装置120との視差に基づき対象物までの距離を算出するシステムとなっている。
[撮像素子]
撮像素子は、光学的に撮像面に結ばれた像を行列状に並んで配置される複数の撮像画素により画像データに変換することができる素子であり、例えばCMOSやCCDなどのいわゆるイメージングセンサである。本実施の形態の場合、各撮像装置は、撮像素子として、第一撮像素子111、第二撮像素子121をそれぞれ備えている。
本実施の形態の場合、撮像素子は、アスペクト比が16:9の2Mセンサーであり、垂直方向(図中上下方向)に配置される撮像画素の数は1080、水平方向(図中左右方向)に配置される撮像画素の数は1920である。
なお、撮像素子のアスペクト比、および、撮像画素の数は特に上記に限定されるわけではなく、任意のアスペクト比、および、撮像画素の数を選択しうる。
[光学系]
光学系は、撮像素子の撮像面に所定の領域の像を結像させる装置であり、複数のレンズや絞り、フィルターなどの組み合わせにより構成されるものである。また、光学系が備える複数のレンズの少なくとも1つは、自由曲面レンズである。本実施の形態の場合、各撮像装置は、光学系として、第一光学系112、第二光学系122をそれぞれ備えている。
以下、第二光学系122を例として光学系を具体的に説明する。第一光学系112も第二光学系と同様である。
図3は、第二光軸を含む垂直面で第二光学系を仮想的に切断した断面を示す構成図である。
図4は、第二光学系を用いて解像度を説明するための図である。
図5は、第二光学系を用いたアプリケーション別の測距距離、誤差、および各水平画角における画素配分を説明するための図である。
本実施の形態では自動車アセスメントが導入を予定している評価試験及び国際的に議論がなされている自動運転に向けての要求性能からアプリケーション別の画角・測距距離・誤差を設定し、実現可能な解像度を規定した。
これらの図に示すように、第二光学系122は、第二撮像素子121の撮像面に移動体201の前方の領域に含まれる像を結像させる装置である。本実施の形態の場合、第二光学系122の全体の水平画角は、160°以上、180°以下の範囲から選定されるいわゆる広角レンズである。
また、第二光学系122は、解像度が相互に異なる領域として第一領域301、第二領域302、第六領域303、第七領域304の四つの領域を実現することができる形状の自由曲面レンズ123、124を組み合わせて備えている。本実施の形態の場合、第一領域301から第七領域304まで、段階的に解像度が低くなるような形状の自由曲面レンズ123、124が採用されている。
また、第二光学系122は、前方の矩形の領域をできる限り歪ませることなく矩形の状態で第二撮像素子121の撮像面に結像することができるものとなっている。
ここで、解像度とは、単位画角である1°に含まれる像を撮像する撮像画素の数の全体の撮像画素の数に対する割合を意味している。
つまり、本実施の形態で例示すれば、第一領域301の水平画角は15°であり、この画角に含まれる像は水平撮像画素の数750pixで撮像される。全体の水平撮像画素の数は、1920pixであるので、解像度は(750/1920)×100/15=2.6となる。
また、第二領域302の水平画角は、第一領域301の左右の側方にそれぞれ17.5°、合計35°であり、この画角に含まれる像は水平撮像画素の数880pixで撮像される。全体の水平撮像画素の数は、1920pixであるので、解像度は(880/1920)×100/35=1.3となる。
また、第六領域303の水平画角は、第二領域302の左右にそれぞれ35°、合計70°であり、この画角に含まれる像は水平撮像画素の数200pixで撮像される。全体の水平撮像画素の数は、1920pixであるので、解像度は(200/1920)×100/70=0.15となる。
また、第七領域304の水平画角は、第六領域303の左右にそれぞれ25°、合計50°であり、この画角に含まれる像は水平撮像画素の数90pixで撮像される。全体の水平撮像画素の数は、1920pixであるので、解像度は(90/1920)×100/50=0.1となる。
また、自由曲面レンズ123、124を含む第二光学系122が実現する第一領域301は、第二光軸129を含んでおり、さらに、水平面において第二光軸129に対して対称となっている。
ここで、光軸とは、原則、撮像素子の撮像面の中央(中心)を通過し、撮像面に垂直な仮想線である。なお、光学系が光を反射するミラーやプリズムなどを備えている場合は、光軸は反射によって屈曲する。
なお、本願の解像度が高いとは、主として球面レンズからなる光学系と平面の撮像素子の組み合わせによって発生する解像度との相違、つまり光軸から最も遠い部分の解像度に対する光軸近傍部の解像度の高さを相対比較した際に解像度が高いことを意味している。
また、自由曲面レンズとは、結像のために光を屈折させる面が、非円弧状、且つ回転対称ではないレンズである。なお、シリンドリカルレンズも円弧状レンズの一種として、自由曲面レンズとは異なるレンズとする。自由曲面レンズとしては例えば、第二自由曲面レンズ123は、第二光軸129と第一軸(左右軸)とを含む面(水平面)で仮想的に切断した断面の形状と、図3に示すように、第二光軸129および第一軸と直交する第二軸(上下軸)と第二光軸129とを含む面(垂直面)で仮想的に切断した断面の形状とが異なり、かつ、いずれも真円の一部ではない非円弧となっている。
また、回転非対称な自由曲面レンズを別の方法で表現すると、自由曲面レンズを備える光学系の結像対象である撮像素子において、自由曲面レンズによって結像する第一領域と第二領域の並び方向を水平方向とし、前記並び方向と直交する方向を垂直方向とした場合、垂直方向において、第一領域の中心から所定の第一距離の位置における解像度と、水平方向において、第一領域の中心から第一距離の位置における解像度とが異なるように結像させることのできる形状を備えたレンズが自由曲面レンズである。
また、自由曲面レンズの材質は、特に限定されるものではないが、ガラスや樹脂などを例示することができる。自由曲面レンズの製造方法も特に限定されるものではないが、例えば、金型などの型を用いて自由曲面レンズを成形する製造方法を例示することができる。
[測距部105]
測距部105は、撮像装置の撮像素子からインターフェース106を介して取得した画像データに基づき対象物までの距離を算出する処理部である。
図6は、測距方法の一例を模式的に示す図である。
図7〜図10は、各領域における測距部の算出結果を示すグラフである。
図6に示すように本実施の形態の場合、測距部105は、所定の距離をおいて配置される第一撮像装置110、および、第二撮像装置120から得られる撮像データから対象物の視差を算出し、三角測量の原理で距離を算出する。
この際、遠方に存在する画角15°以内の範囲の前方対象物401は、解像度の高い第一領域301で撮像データが得られ、高い精度で視差を算出できるため、球面レンズを用いた光学系による測距精度に対し、測距精度が高くなる。つまり、狭い画角の像を他の領域よりも多くの割合の撮像画素で撮像しているため視差の誤差を小さくでき、高い測定精度を実現している。これは、側方対象物402の測定する際の解像度を低下させることにより実現している。
具体的には、第一撮像装置110の第一光軸119と第二撮像装置120の第二光軸129との距離が240mmであり、測距部105の視差の画素分解能が0.1pixの場合、図7に示すように、画角15°以内の範囲の前方対象物は、第一領域301において撮像でき、その結果、160m遠方の対象物は球面レンズを用いた従来の場合の測距精度が±26%であるのに対し、本実施の形態の場合では、±5%となっている。すなわち本実施の形態の場合は、160m遠方の対象物に関して5%の8mの分解能で測距が可能となる。
同様に図8に示すように、画角15°〜50°の範囲の対象物は、第二領域302において撮像でき、その結果、80m遠方の対象物は球面レンズを用いた従来の場合の測距精度が±12%であるのに対し、本実施の形態の場合では、±5%となっている。すなわち本実施の形態の場合は、80m遠方の対象物に関して5%の4mの分解能で測距が可能となる。
同様に図9に示すように、画角50°〜120°の範囲の対象物は、第六領域303において撮像でき、その結果、8m遠方の対象物は球面レンズを用いた従来の場合の測距精度が±1.2%であるのに対し、本実施の形態の場合では、±5%となっている。すなわち本実施の形態の場合は、8m遠方の対象物に関して5%の0.4mの分解能で測距が可能となる。
同様に図10に示すように、画角120°〜170°の範囲の対象物は、第七領域304において撮像でき、その結果、5m遠方の対象物は球面レンズを用いた従来の場合の測距精度が±0.7%であるのに対し、本実施の形態の場合では、±5%程度となっている。すなわち本実施の形態の場合は、5m遠方の対象物に関して5%の0.25m程度の分解能で測距が可能となる。
以上のように、本実施の形態の測距システム100は、撮像領域の側方部分に存在する対象物の測距精度を落すことにより、正面部分に存在する対象物の測距精度を向上させることができる形状の自由曲面レンズを備えている。
換言すると、本実施の形態の測距システム100は、正面遠方の測距精度と側方近傍の測距精度を同程度にすることができる形状の自由曲面レンズを備えている。
これにより、直進する移動体201の走行径路内に存在する対象物については遠方に至るまで高い精度で測距を行うことができ、遠方の状況を正確に把握して追突などの事故を回避する制御を早期に実施することが可能となる。一方、移動体201の走行経路外の領域については、移動体201の走行経路に侵入する恐れのある他の移動体や人などを同じ撮像装置で検出することが可能となる。また、移動体201が曲がる方向に存在する障害物を同じ撮像装置で検出することが可能となる。
[報知装置202]
報知装置202は、測距部105により算出された対象物までの距離に基づき移動体に情報を報知する装置である。
例えば、報知装置202は、前方の移動体201との距離が所定の範囲よりも長くなれば移動体201の速度を上げるための情報を移動体201にデータとして報知し、短くなれば移動体201の速度を下げるための情報を移動体201にデータとして報知する。
これにより、十分な車間距離を保ちつつ正確に先行車両に追随する制御を行うことが可能となる。
また、報知装置202が運転者へ報知する方法としては、スピーカから発する音によってアラートする場合や、カーナビゲーションシステムの画面やHUD(ヘッドアップディスプレイ)などに警告マークなど表示して視覚的にアラートする場合を例示できる。
以上のように、測距システム100、および、移動体システム200に採用される自由曲面レンズの形状によれば、移動体201に搭載される撮像装置の数を抑制しつつ、広い領域の画像データを取得することができ、かつ、所望の方向の領域について他の領域よりも解像度を高くして遠方まで正確に測距を行う事が可能となる。
なお、本開示は、上記実施の形態に限定されるものではない。例えば、本明細書において記載した構成要素を任意に組み合わせて、また、構成要素のいくつかを除外して実現される別の実施の形態を本開示の実施の形態としてもよい。また、上記実施の形態に対して本開示の主旨、すなわち、請求の範囲に記載される文言が示す意味を逸脱しない範囲で当業者が思いつく各種変形を施して得られる変形例も本開示に含まれる。
上記実施の形態では、解像度を具体的に説明したが、これらは以下に示す所定の範囲内であればよい。
また、第一領域301の解像度は、2以上から選定され、第二領域302の解像度が0.7以上、2未満から選定され、第六領域303の解像度が0.13以上、0.7未満から選定され、第七領域304の解像度が0より大きく、0.13未満から選定されても構わない。これらの解像度は、本実施例にて例示した第一領域301の解像度2.6及び第二領域302の解像度1.3の略中央値2を第一領域301と第二領域302の境界値とした。本実施例にて例示した第二領域302の解像度1.3及び第六領域303の解像度0.15の略中央値0.7を第二領域302と第六領域303の境界値とした。本実施例にて例示した第六領域303の解像度0.15及び第4領域304の解像度0.1の略中央値0.13を第六領域303と第七領域304の境界値とした。
また、自由曲面レンズは、第一領域301など各領域内において一定の解像度でなく、各領域内で徐々に変化するような形状であっても構わない。
また、上記実施の形態では、水平面における解像度の相違のみに言及したが、自由曲面レンズは、水平面の解像度を変化させる形状ばかりでなく、垂直面の解像度を変化させる形状でも構わない。
例えば、地上を走行する移動体201の場合は、仰角において所定角度以上の部分や、伏角において所定角度以上の部分は、空や路面に対応するため、解像度を低下させる形状の自由曲面レンズを採用しても構わない。
具体的に例えば、自由曲面レンズを備える光学系の結像対象である撮像素子において、自由曲面レンズによって結像する第一領域と第二領域の並び方向を水平方向とし、前記並び方向と直交する方向を垂直方向とした場合、回転非対称な自由曲面レンズは、図11に示すように、垂直方向において、第一領域301に隣接する位置に第二領域302未満の解像度である第三領域305をさらに結像させることのできる形状であってもよい。また、自由曲面レンズは、第三領域305が、垂直方向において第一領域301の両側に結像させることのできる形状であってもよい。
図12は、図11中に示した水平方向の矢印である第一水平矢印H1、および第二水平矢印H2にそれぞれ対応する画角と解像度との関係を示すグラフである。図13は、図11中に示した垂直方向の矢印である第一垂直矢印V1、および第二垂直矢印V2にそれぞれ対応する画角と解像度との関係を示すグラフである。これらのグラフに示すように、第一領域301の中心を通り水平方向に延びる第一水平矢印H1に対応するグラフの解像度の最も高い部分は、画角−40度から40度までの間で広がっているのに対し、第一領域301の中心を通り垂直方向に延びる第一垂直矢印V1に対応するグラフの解像度の最も高い部分は、画角−20度から20度までの間で広がっている。つまり、同一解像度の第一領域301の水平方向の長さと垂直方向との長さが異なっている。これは、回転非対称な自由曲面レンズによって実現されたものである。また、図13の第二垂直矢印V2に対応するグラフは、一定である。つまり垂直方向において、第二領域302は、撮像素子の一端部から他端部までほぼ同じ解像度である。これも、回転非対称な自由曲面レンズによって実現されたものである。
また、回転非対称な自由曲面レンズは、図14に示すように、垂直方向において、第二領域302に隣接する位置に第二領域302未満の解像度である第四領域306を備え、第四領域306は第一領域301と垂直方向に隣接することのできる形状であってもよい。また、自由曲面レンズは、垂直方向において、第一領域301に隣接し、第一領域301に対し第四領域306と反対側の位置に第二領域302未満の解像度である第五領域307を備え、第五領域307は第二領域302に隣接することのできる形状であってもよい。
図15は、図14中に示した水平方向の矢印である第三水平矢印H3、第四水平矢印H4および第五水平矢印H5にそれぞれ対応する画角と解像度との関係を示すグラフである。図16は、図14中に示した垂直方向の矢印である第三垂直矢印V3、および第四垂直矢印V4にそれぞれ対応する画角と解像度との関係を示すグラフである。これらのグラフで示すように、第一領域301の中心を通り水平方向に延びる第三水平矢印H3に対応するグラフは、先に示した第一水平矢印H1に対応するグラフとほぼ同じであり、第一領域301の中心を通り垂直方向に延びる第三垂直矢印V3に対応するグラフは、先に示した第一垂直矢印V1に対応するグラフとほぼ同じである。
また、第一領域301の中心からほぼ等距離で、中心に対して相互に反対側にある第四水平矢印H4と第五水平矢印H5に対応するグラフに示すとおり、これらの解像度は異なっている。つまり、第一領域301の中心から等距離の位置において、解像度を異なるように結像させることは、回転非対称な自由曲面レンズによって実現されたものである。
また、図15、図16のグラフに示すように、水平方向においては、画角0に対し解像度を対称に変化させ、垂直方向においては画角0に対して解像度を非対称に変化させることは、回転非対称な自由曲面レンズによって実現されたものである。
また、移動体201がドローンなどのように、空中を移動して移動体の下方を撮像するような場合は、伏角において所定角度以上の部分の解像度を高める形状の自由曲面レンズを採用しても構わない。
また、上記実施の形態では二つの撮像装置を用いた視差による測距を例示したが、測距方法はこれに限定されるわけではない。例えば、移動体に搭載されることを前提として異なる時間に得られる画像から視差を得る測距方法や、白線などを利用して消失点と対象物の位置関係から計算する測距方法や、DFD(Depth From Defocus)による測距方法を一つの撮像装置を用いて行っても構わない。
また、移動体201はさらに、第一撮像装置110と撮像領域が一部重複する第三撮像装置(左側方カメラ)や、第二撮像装置120と撮像領域が一部重複する第四撮像装置(右側方カメラ)、さらに、前記第三撮像装置、および、前記第四撮像装置と撮像領域がそれぞれ一部重複する第五撮像装置(後方カメラ)を備え、これらの画像データに基づき移動体の周囲の全体を示す画像を移動体の内部に表示する表示装置を備えても構わない。
これにより、測距システムを利用して周辺監視システムを実現することが可能となる。
測距システム、および、移動体システムは、自動車、航空機、船舶など人を乗せて移動する移動体、ドローンや搬送装置など人を乗せることなく移動する移動体、さらには、ロボットのアームの先端などの移動体などに利用可能である。
100 測距システム
105 測距部
106 インターフェース
110 第一撮像装置
111 第一撮像素子
112 第一光学系
119 第一光軸
120 第二撮像装置
121 第二撮像素子
122 第二光学系
123 自由曲面レンズ
123 第二自由曲面レンズ
129 第二光軸
200 移動体システム
201 移動体
202 報知装置
301 第一領域
302 第二領域
303 第六領域
304 第七領域
305 第三領域
306 第四領域
307 第五領域
401 前方対象物
402 側方対象物

Claims (11)

  1. 複数の撮像画素が行列状に配置される撮像素子と、前記撮像素子の撮像面に所定の領域の像を結像させる光学系とを有する撮像装置と、
    前記撮像素子から取得した画像データに基づき対象物までの距離を算出する測距部とを備え、
    前記光学系は、
    単位画角に含まれる像を撮像する前記撮像画素の数の全体の前記撮像画素の数に対する割合を解像度とした場合に、前記領域の正面部分の領域である第一領域の解像度が側方部分である第二領域の解像度よりも高くなるように前記撮像面に結像させることのできる形状を有し、回転非対称な自由曲面レンズを備え、
    前記撮像素子において、前記第一領域と前記第二領域の並び方向を水平方向とし、前記並び方向と直交する方向を垂直方向とした場合、
    回転非対称な前記自由曲面レンズは、
    垂直方向において、前記第一領域の中心から所定の第一距離の位置における解像度と、水平方向において、前記第一領域の中心から前記第一距離の位置における解像度とが異なるように結像させることのできる形状である
    測距システム。
  2. 前記撮像素子において、前記第一領域と前記第二領域の並び方向を水平方向とし、前記並び方向と直交する方向を垂直方向とした場合、
    回転非対称な前記自由曲面レンズは、
    垂直方向において、前記第一領域に隣接する位置に前記第二領域未満の解像度である第三領域をさらに結像させることのできる形状である
    請求項1に記載の測距システム。
  3. 回転非対称な前記自由曲面レンズは、
    垂直方向において、前記第一領域の両側に前記第三領域を結像させることのできる形状である
    請求項2に記載の測距システム。
  4. 前記撮像素子において、前記第一領域と前記第二領域の並び方向を水平方向とし、前記並び方向と直交する方向を垂直方向とした場合、
    回転非対称な前記自由曲面レンズは、
    垂直方向において、前記第二領域に隣接する位置に前記第二領域未満の解像度である第四領域を備え、前記第四領域は前記第一領域と垂直方向に隣接することのできる形状である
    請求項1に記載の測距システム。
  5. 回転非対称な前記自由曲面レンズは、
    垂直方向において、前記第一領域に隣接し、前記第一領域に対し前記第四領域と反対側の位置に前記第二領域未満の解像度である第五領域を備え、前記第五領域は前記第二領域に隣接することのできる形状である
    請求項4に記載の測距システム。
  6. 前記光学系が備える前記自由曲面レンズは、
    前記第一領域の解像度が2以上となる形状を有する
    請求項1に記載の測距システム。
  7. 前記光学系が備える前記自由曲面レンズは、
    前記第二領域は前記第一領域に隣接し、前記第二領域の解像度が0.7以上、2未満となる形状を有する
    請求項1に記載の測距システム。
  8. 前記光学系が備える前記自由曲面レンズは、
    前記第二領域に隣接する第六領域をさらに備え、前記第六領域の解像度が0.13以上、0.7未満となる形状を有する
    請求項7に記載の測距システム。
  9. 前記光学系が備える前記自由曲面レンズは、
    前記第六領域に隣接する第七領域をさらに備え、前記第七領域の解像度が0より大きく、0.13未満となる形状を有する
    請求項8に記載の測距システム。
  10. 前記撮像装置を複数備える
    請求項1に記載の測距システム。
  11. 複数の撮像画素が行列状に配置される撮像素子と、前記撮像素子の撮像面に所定の領域の像を結像させる光学系とを有する撮像装置と、
    前記撮像装置が取り付けられ、空間を移動する移動体と、
    前記撮像素子から取得した画像データに基づき対象物までの距離を算出する測距部とを備え、
    前記光学系は、
    単位画角に含まれる像を撮像する前記撮像画素の数の全体の前記撮像画素の数に対する割合を解像度とした場合に、前記領域の正面部分の領域である第一領域の解像度が側方部分である第二領域の解像度よりも高くなるように前記撮像面に結像させることのできる形状を有し、回転非対称な自由曲面レンズを備え、
    前記撮像素子において、前記第一領域と前記第二領域の並び方向を水平方向とし、前記並び方向と直交する方向を垂直方向とした場合、
    回転非対称な前記自由曲面レンズは、
    垂直方向において、前記第一領域の中心から所定の第一距離の位置における解像度と、水平方向において、前記第一領域の中心から前記第一距離の位置における解像度とが異なるように結像させることのできる形状である
    移動体システム。
JP2018021507A 2016-08-12 2018-02-09 測距システム、および、移動体システム Active JP6410198B1 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2016158786 2016-08-12
PCT/JP2017/028519 WO2018030319A1 (ja) 2016-08-12 2017-08-07 測距システム、および、移動体システム
WOPCT/JP2017/028519 2017-08-07
US15/854,797 US10365462B2 (en) 2016-08-12 2017-12-27 Distance measurement system and mobile object system
US15/854,797 2017-12-27

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018172924A Division JP6807543B2 (ja) 2016-08-12 2018-09-14 撮像装置

Publications (2)

Publication Number Publication Date
JP6410198B1 true JP6410198B1 (ja) 2018-10-24
JP2019032296A JP2019032296A (ja) 2019-02-28

Family

ID=61162580

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2017557471A Pending JPWO2018030319A1 (ja) 2016-08-12 2017-08-07 測距システム、および、移動体システム
JP2018021507A Active JP6410198B1 (ja) 2016-08-12 2018-02-09 測距システム、および、移動体システム
JP2018172924A Active JP6807543B2 (ja) 2016-08-12 2018-09-14 撮像装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2017557471A Pending JPWO2018030319A1 (ja) 2016-08-12 2017-08-07 測距システム、および、移動体システム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2018172924A Active JP6807543B2 (ja) 2016-08-12 2018-09-14 撮像装置

Country Status (3)

Country Link
US (2) US10365462B2 (ja)
JP (3) JPWO2018030319A1 (ja)
WO (1) WO2018030319A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10416383B2 (en) * 2017-07-20 2019-09-17 The Board Of Trustees Of The University Of Illinois Spatial control of the optical focusing properties of photonic nanojets
JP7131026B2 (ja) * 2018-03-30 2022-09-06 株式会社リコー ステレオカメラ装置
CN108759667B (zh) * 2018-05-29 2019-11-12 福州大学 车载摄像头下基于单目视觉与图像分割的前车测距方法
JP7215220B2 (ja) * 2018-07-31 2023-01-31 ソニーグループ株式会社 表示装置
CN111929805A (zh) * 2019-05-13 2020-11-13 信泰光学(深圳)有限公司 成像镜头
JP7207038B2 (ja) 2019-03-14 2023-01-18 株式会社リコー 撮像装置、撮像光学系及び移動体
JP2020153798A (ja) * 2019-03-19 2020-09-24 株式会社リコー 光学装置、測距光学系ユニット、測距装置及び測距システム
JP6653456B1 (ja) * 2019-05-24 2020-02-26 パナソニックIpマネジメント株式会社 撮像装置
CN110457299B (zh) * 2019-07-12 2022-06-14 北京交通大学 基于共享单车骑行数据的站点影响范围确定方法和装置
US20210157109A1 (en) * 2019-11-22 2021-05-27 Foshan Limited Equirectangular lens for virtual reality video
WO2021134286A1 (zh) * 2019-12-30 2021-07-08 诚瑞光学(常州)股份有限公司 摄像光学镜头

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0388109U (ja) * 1989-12-27 1991-09-09
JP2011191905A (ja) * 2010-03-12 2011-09-29 Hitachi Automotive Systems Ltd ステレオカメラ装置
US20120069140A1 (en) * 2010-09-20 2012-03-22 Largan Precision Co., Ltd. Wide-angle imaging lens assembly
WO2012147495A1 (ja) * 2011-04-28 2012-11-01 三洋電機株式会社 情報取得装置および物体検出装置
WO2016121550A1 (ja) * 2015-01-26 2016-08-04 日立オートモティブシステムズ株式会社 撮像レンズ及びそれを用いた撮像装置並びに距離測定システム

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS55622A (en) * 1978-06-16 1980-01-07 Toshiba Corp Solid state pickup device
JPS5915239A (ja) 1982-07-19 1984-01-26 Hayashi Nakagome 感光フィルムを媒体とする画像記録・再生方法およびその装置
JP2656143B2 (ja) * 1990-08-27 1997-09-24 シャープ株式会社 全方向撮影装置
JP3832902B2 (ja) * 1996-08-30 2006-10-11 本田技研工業株式会社 半導体イメージセンサ
JP4643773B2 (ja) 1996-12-17 2011-03-02 テセラ・テクノロジーズ・ハンガリー・ケイエフティー 電子ズーム画像入力方式
JP4227249B2 (ja) * 1999-05-28 2009-02-18 キヤノン株式会社 撮像装置、撮像システム及び撮像方法
JP2001285701A (ja) * 2000-03-30 2001-10-12 Mitsubishi Electric Corp 車載カメラ装置
FR2827680B1 (fr) * 2001-07-20 2003-10-10 Immervision Internat Pte Ltd Procede de capture d'une image panoramique au moyen d'un capteur d'image de forme rectangulaire
JP2004094412A (ja) * 2002-08-29 2004-03-25 Mitsubishi Heavy Ind Ltd 車両検知・車番認識システム
JP2004159186A (ja) * 2002-11-07 2004-06-03 Sony Corp 監視用車載撮像システム
JP4062145B2 (ja) * 2003-03-25 2008-03-19 コニカミノルタホールディングス株式会社 撮像装置
JP4197994B2 (ja) * 2003-06-19 2008-12-17 コニカミノルタオプト株式会社 撮像装置
JP4728034B2 (ja) * 2005-04-25 2011-07-20 オリンパス株式会社 回転非対称光学系
JP4604816B2 (ja) * 2005-04-27 2011-01-05 株式会社デンソー 車載撮像モジュール
DE602006021219D1 (de) * 2005-11-11 2011-05-19 Sony Corp Bildverarbeitungseinrichtung, bildverarbeitungsverfahren, programm dafür, das programm enthaltendes aufzeichnungsmedium und abbildungseinrichtung
JP4683213B2 (ja) * 2005-12-02 2011-05-18 株式会社ニコン 魚眼レンズ及び撮像装置
JP2007288527A (ja) * 2006-04-17 2007-11-01 Matsushita Electric Ind Co Ltd 撮像装置
US8094169B2 (en) * 2006-12-19 2012-01-10 California Institute Of Technology Imaging model and apparatus
WO2009022178A1 (en) * 2007-08-16 2009-02-19 Bae Systems Plc Imaging device
JP2009111813A (ja) * 2007-10-31 2009-05-21 Seiko Epson Corp プロジェクタ、プロジェクタにおける画像データ取得方法及び撮像装置
JP2011095321A (ja) * 2009-10-27 2011-05-12 Toshiba Alpine Automotive Technology Corp 車両用画像表示装置
US8743199B2 (en) * 2010-03-09 2014-06-03 Physical Optics Corporation Omnidirectional imaging optics with 360°-seamless telescopic resolution
JP2011242580A (ja) * 2010-05-18 2011-12-01 Olympus Corp 投影光学装置
JP5229427B2 (ja) 2010-07-23 2013-07-03 トヨタ自動車株式会社 距離測定装置および距離測定方法
JP5966123B2 (ja) * 2012-04-19 2016-08-10 株式会社ユピテル ドライブレコーダおよびプログラム
JP6179975B2 (ja) 2013-03-28 2017-08-16 Necエンベデッドプロダクツ株式会社 バックモニターカメラ、車両、バックモニターシステム及びバックモニター方法
US10093247B2 (en) * 2013-05-23 2018-10-09 GM Global Technology Operations LLC Enhanced front curb viewing system
JP2015210329A (ja) * 2014-04-24 2015-11-24 コニカミノルタ株式会社 アレイ光学系
US20160021309A1 (en) * 2014-07-21 2016-01-21 Honeywell International Inc. Image based surveillance system
JP2016126254A (ja) * 2015-01-07 2016-07-11 コニカミノルタ株式会社 撮像レンズ、撮像装置及び投影装置
JP6545997B2 (ja) * 2015-04-24 2019-07-17 日立オートモティブシステムズ株式会社 画像処理装置
JP6735506B2 (ja) * 2016-09-29 2020-08-05 パナソニックIpマネジメント株式会社 画像生成装置、および、画像処理システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0388109U (ja) * 1989-12-27 1991-09-09
JP2011191905A (ja) * 2010-03-12 2011-09-29 Hitachi Automotive Systems Ltd ステレオカメラ装置
US20120069140A1 (en) * 2010-09-20 2012-03-22 Largan Precision Co., Ltd. Wide-angle imaging lens assembly
WO2012147495A1 (ja) * 2011-04-28 2012-11-01 三洋電機株式会社 情報取得装置および物体検出装置
WO2016121550A1 (ja) * 2015-01-26 2016-08-04 日立オートモティブシステムズ株式会社 撮像レンズ及びそれを用いた撮像装置並びに距離測定システム

Also Published As

Publication number Publication date
US10365462B2 (en) 2019-07-30
WO2018030319A1 (ja) 2018-02-15
JP6807543B2 (ja) 2021-01-06
JPWO2018030319A1 (ja) 2018-08-09
JP2019032296A (ja) 2019-02-28
JP2019032540A (ja) 2019-02-28
US20190302429A1 (en) 2019-10-03
US20180120545A1 (en) 2018-05-03
US10852516B2 (en) 2020-12-01

Similar Documents

Publication Publication Date Title
JP6410198B1 (ja) 測距システム、および、移動体システム
JP7266165B2 (ja) 撮像装置、撮像システム、および表示システム
JP6149543B2 (ja) ヘッドアップディスプレイ装置
KR102009654B1 (ko) 차량을 위한 카메라 시스템, 그 카메라 시스템을 포함하는 미러 대체 시스템, 및 그 시스템을 포함하는 운전자 보조 시스템
ES2886522T3 (es) Dispositivo de procesamiento de imágenes, su método y dispositivo de anticolisión de cuerpo en movimiento
JP6241093B2 (ja) ヘッドアップディスプレイ装置
US8536995B2 (en) Information display apparatus and information display method
JP5863607B2 (ja) 歩行者警告装置
US20160086305A1 (en) Head-up display apparatus for vehicle
JP2007064804A (ja) 車両用障害物検出装置
JP6314584B2 (ja) ヘッドアップディスプレイ装置
US10992920B2 (en) Stereo image processing device
JP2016078726A (ja) 虚像表示装置
JP6653456B1 (ja) 撮像装置
JP6337720B2 (ja) 虚像表示装置
JP2006171950A (ja) ヘッドアップディスプレイの表示制御装置およびプログラム
JP2017015806A (ja) 虚像表示装置
JP2018081276A (ja) 虚像表示装置
JP6384138B2 (ja) 車両用表示装置
US20180338095A1 (en) Imaging system and moving body control system
JP2016117345A (ja) 虚像表示装置
JP7226930B2 (ja) キャリブレーション装置及び電子ミラーシステム
JP6094437B2 (ja) ヘッドアップディスプレイ装置
JP7207889B2 (ja) 測距装置および車載カメラシステム
JP7170167B2 (ja) 撮像装置、表示システム、および撮像システム

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180821

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180914

R151 Written notification of patent or utility model registration

Ref document number: 6410198

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151