JP5776173B2 - 撮像装置及び距離測定装置 - Google Patents

撮像装置及び距離測定装置 Download PDF

Info

Publication number
JP5776173B2
JP5776173B2 JP2010277395A JP2010277395A JP5776173B2 JP 5776173 B2 JP5776173 B2 JP 5776173B2 JP 2010277395 A JP2010277395 A JP 2010277395A JP 2010277395 A JP2010277395 A JP 2010277395A JP 5776173 B2 JP5776173 B2 JP 5776173B2
Authority
JP
Japan
Prior art keywords
camera
image
cameras
distance
imaging device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010277395A
Other languages
English (en)
Other versions
JP2011203238A (ja
Inventor
横田 聡一郎
聡一郎 横田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2010277395A priority Critical patent/JP5776173B2/ja
Priority to US13/025,890 priority patent/US8654196B2/en
Publication of JP2011203238A publication Critical patent/JP2011203238A/ja
Application granted granted Critical
Publication of JP5776173B2 publication Critical patent/JP5776173B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Description

本発明は、複数のカメラを用いて距離測定を行うことができる撮像装置と、その撮像装置を備えた距離測定装置に関する。
ステレオカメラを用いた距離測定装置は異なる視点位置から同じ物体を撮像し、それぞれのセンサ画像上での結像点が物体の距離によって変化することを利用して物体の距離や位置を測定する装置である。
近年、環境認識へのニーズは高まっており、例えば自動車にステレオカメラを搭載し、運転者に周囲の歩行者の有無などの情報を提供し、運転支援をするシステムが実用化されつつある。
図18にステレオカメラの原理を示す。このステレオカメラでは、2台のカメラ31,32を用い、カメラ31とカメラ32のカメラ間の距離である基線長Bと、焦点距離fと、視差d(視点による物体の結像点の位置の差)と、物体までの距離Zの関係、
Z=B×f/d (式1)
を利用して、物体までの距離Zを算出する。
しかし、ステレオカメラの視差は遠くの物体ほど視差が小さくなるため測定誤差が大きくなってしまう。遠くの物体の距離を測定する場合、カメラ間の基線長Bを長くすれば視差が大きくなり測距精度が上がるが、図19(a),(b)に示すように、カメラ位置により対応点が離れてしまうため、対応点探索に時間がかかる。また、カメラ位置により物体の見え方が変わるため、対応点探索が難しくなるという問題がある。そのため、遠方〜近傍までをすべてカバーして測距することは困難な課題であり、それに対して、従来、長基線長のステレオカメラと短基線長のステレオカメラを組み合わせる方式や、短基線長時に対応点を探索し、撮像装置を個々に移動させながら対応点を追跡して、物体が映る範囲内で基線長を最大まで延長する方式が提案されている。
また、特許文献1(特開平11−39596号公報)には、車載前方検知用として、物体までの距離5m〜100mまでを測定する目的で、近距離用のステレオカメラと、遠距離用のステレオカメラとの2セットを独立で装備し、これらを同時に動作させて、それぞれのステレオカメラで得た距離情報から、近距離物体と遠距離物体とを後段のソフトウェアで検出する車外監視装置について開示されている。
特許文献2(特開2008−129439号公報)には、特許文献1と同様のマルチカメラ方式において、1台の筐体に4つのカメラを搭載した構成が開示されている。
従来のように長基線長のステレオカメラと短基線長のステレオカメラを組み合わせる方式を用いた場合では、近傍用で5mから30m、遠方用で20mから100mの測距範囲というように、例えばmm単位の超近距離から、100mまでの測距を実現することは不可能であった。また、長基線長のステレオカメラと短基線長のステレオカメラを組み合わせる方式の場合、コストが高くなるという問題もある。
カメラを可動することによって基線長を延長させる方式でも同様で、mm単位から100mまでの測距を実現することは不可能であった。また、カメラを移動させている間、対応点を探索し続けるため計算負荷が高い。また、物体が両カメラに映る限界まで基線長を延長するため、必要以上に基線長を延長してしまう可能性がある。カメラの移動時間が長い分、不必要に測定に時間がかかってしまう、さらにカメラが可動するために測距のためのキャリブレーションが非常に困難になる、という問題点がある。
特許文献1に記載の従来技術では、近距離用のステレオカメラと、遠距離用のステレオカメラとの2セットを独立で装備し、これらを同時に動作させて、それぞれのステレオカメラで得た距離情報から、近距離物体と遠距離物体とを後段のソフトウェアで検出している。しかし、上記と同様にmm単位の超近傍から遠方までをカバーする測距を実現するという課題や、また、コスト高という問題は解決できていない。
なお、特許文献3(特許第4378434号公報)では、同一平面上に配置された複数のレンズを有するレンズアレイを利用して1つのセンサでmm単位を測距する複眼カメラについて提案されている。しかし、1台の複眼カメラだけでは、上記とは逆に、mm単位の超近傍の測距は可能であるが、逆に遠方の測距ができないという問題がある。
本発明は上記事情に鑑みてなされたものであり、低コストで、mm単位の超近距離から100m超の遠方測距までの距離測定を高精度に実現することができ、距離測定を効率的に行える距離測定機能を備えた撮像装置を提供すること、及び、その撮像装置を用いた距離測定装置を提供すること、を目的とする。
本発明は、上記目的を達成するために、複数の基線長を任意に選択取得できるようにし、超近傍〜遠方までを高精度に測距することとした。
具体的には、請求項1に記載の発明は、1つの筐体に複数のカメラが固定して搭載され、前記複数のカメラのうちの任意の2つのカメラの組み合わせにより、視差を計算する基線長を変えて撮像された画像を利用して測距する撮像装置において前記複数のカメラのうち少なくとも1つは、同一平面上に配置された複数のレンズを有するレンズアレイとセンサとを備えた複眼カメラであり、前記複眼カメラによって撮像される複数の個眼像を用いて第1の頻度において第1の基線長近距離における測距のための視差を計算し、少なくとも前記複眼カメラとは異なるカメラを含む2つのカメラによってそれぞれ撮像される画像を用いて前記第1の頻度よりも少ない第2の頻度において前記第1の基線長よりも長い第2の基線長遠距離における測距のための視差を計算することを特徴とする撮像装置である。
請求項2に記載の発明は、請求項1に記載の撮像装置において、前記センサが、一つの基板に設けられた複数のセンサから構成されていることを特徴とする。
請求項3に記載の発明は、請求項に記載の撮像装置において、前記複数のカメラがレンズとセンサとを備え、各カメラの画角及び焦点距離がそれぞれ異なることを特徴とする。
ここで、「レンズ形状を異にする」とは、「1つの内包するマルチレンズの個数が違う、焦点距離、画角が違う、などレンズ設計データが異なる」ことを意味する。
請求項4に記載の発明は、請求項に記載の撮像装置において、各カメラ毎に撮像画像をピンホール画像化するためのキャリブレーションデータを持ち、それぞれのカメラで撮像された画像を、それぞれピンホール画像化して出力する手段を有していることを特徴とする。
請求項5に記載の発明は、請求項に記載の撮像装置において、それぞれのカメラで撮像された画像を、統一された画像サイズに拡大・縮小処理を施すロジック部を有していることを特徴とする。
請求項6に記載の発明は、請求項に記載の撮像装置において、複数の基線長のカメラの距離計算結果を保存しておき、後段の処理で利用する同一物体の距離を、それらの結果の中から選択可能としたことを特徴とする。
請求項7に記載の発明は、請求項に記載の撮像装置において、複数の基線長のカメラの距離計算結果を保存しておき、後段の処理で利用する距離を、それまでの結果の平均によって算出することを特徴とする。
請求項8に記載の発明は、請求項1〜7のいずれか1つに記載の撮像装置において、前記複数のカメラのうち、1つ以上のカメラの設置方向が他のカメラと異なることを特徴とする。
請求項9に記載の発明は、請求項1〜8のいずれか1つに記載の撮像装置において、取得される複数のカメラ画像の視差計算処理を、それぞれの画像を分離・統合する回路部と、視差計算を行う処理回路部とに分けて実行することを特徴とする。
請求項10に記載の発明は、距離測定装置において、請求項1〜9のいずれか1つに記載の撮像装置を備えたことを特徴とする
本発明では、同一平面上に配置された複数のレンズを有するレンズアレイを利用して1台のセンサでmm単位を測距することができる複眼カメラを用い、この複眼カメラを一定の距離を置いて複数台、1つの筺体内に設置することでm単位の測距を実現するステレオカメラを構成する。以上の構成により、超近傍から遠方までを1台の撮像装置で測距することができる。また、撮像装置のセンサの台数を減らせること、1台の筐体(カメラユニット)で距離測定機能を有する撮像装置を実現できること等により、コストを低減することができる。
従って本発明によれば、従来は不可能であったmm単位の超至近距離から100m超の遠方距離までを、低コストで、かつ高精度に距離測定ができる撮像装置と、その撮像装置を用いた距離測定装置を実現することができる。
一体化した筐体にカメラ(レンズ+センサ)を複数(三つ以上)持ち、さらにその組み合わせを柔軟に設定可能(任意のペアリング)にすることによって、視差を計算する基線長を複数とることができ、精度のよい測距が可能な範囲を広くできる。さらに、それらのカメラに、同一平面上に配置された複数のレンズを有するレンズアレイを利用して1台のセンサでmm単位を測距する複眼カメラを利用することにより、超近傍から遠方までを1台のカメラユニットで測距できる。
また各々のカメラは、それぞれ画角や焦点距離が統一されていなくてもかまわない。それによって撮像される画像において、同一の物体でも、撮像される画像のサイズは異なることになるが、それぞれの画像サイズの違いを、拡大・縮小手段で統一のサイズに変更する。それによってどのようなカメラの組み合わせでも、シンプルな測距処理で計算可能になる。また1つの測距計算アルゴリズムを備え、それによって各カメラの組み合わせを時間的に切り替えて計算させることにより、低コスト化も実現できる。
本発明の一実施例を示す図であって、複数の複眼カメラを利用した撮像装置の概略構成図である。 図1に示す撮像装置を車載用の距離測定装置に用いた場合の車の前方の測距範囲を示す図である。 レンズアレイによって構成される複眼カメラの構成例について説明する図である。 図1に示す構成の撮像装置を車室内のルームミラー部に搭載して車の前方を撮像した際の、2つの複眼カメラのセンサの撮像画像を使って測距を実現する例を示した図である。 本発明の別の実施例(実施例2)を示す図であって、1台の複眼カメラと、2台の複眼でないカメラとを利用して構成した撮像装置の概略構成図である。 本発明の別の実施例(実施例3)を示す図であって、1つの基板に複数のセンサが含まれる複眼カメラと、2台の複眼でないカメラを利用して構成した撮像装置の概略構成図である。 本発明の別の実施例(実施例4)を示す図であって、1つの筐体の両側に複数台の複眼カメラを配置した撮像装置の概略構成図である。 本発明の撮像装置により撮像された複数のカメラ画像を処理するための回路構成にかかるブロック図(実施例5)である。 本発明の実施例6における撮像装置の概略構成図である。 各カメラの画角が異なることにより見える撮像範囲が異なることを説明するための図である。 画角・焦点距離のことなるカメラによって撮像されたステレオカメラの画像ペア例である。 図11の画像を線形変換したステレオカメラの画像ペア例である。 図12の画像ペアに対して視差計算を施した視差画像例である。 複数のカメラ画像を処理するための回路構成にかかるブロック図である。 処理動作を示すフローチャートである。 ステレオカメラ画像の選択動作を示すタイミングチャートである。 ステレオカメラの測距範囲と画角との対応関係を示す図である。 ステレオカメラの原理を示す図である。 ステレオカメラのカメラ位置による物体の見え方の違いを示す図である。
以下、本発明の実施の形態を説明する。
本発明は、距離測定装置に用いることができる撮像装置の「構成」に関するものであり、以下の特徴を有する。
本発明では、レンズアレイを利用した複眼カメラを複数台、1台の筐体(カメラユニット)内に搭載して構成することで、超近傍〜遠方までを高精度に測距できることが特徴になっている。
また、上述した複眼カメラと、レンズ形状を異にする複眼カメラもしくは複眼でないカメラを複数台、1台の筐体(カメラユニット)内に搭載することで、超近傍〜遠方までを高精度に測距できることが特徴になっている。
また、1台の筐体内に複数の画角・焦点距離が異なるカメラを備え、それらを統一された画像に変換するロジック部を備えることによって、いかなる基線長のカメラでも自由に選択して測距処理が可能になるために、超近傍〜遠方までを高精度に測距できることが特徴になっている。
また、複数の基線長の組み合わせを1つの測距計算アルゴリズムで計算できるようにすることにより低価格化が実現できることが特徴になっている。
以下、上記の本発明の特徴について、図示の実施例に基づいて詳細に説明する。
図3(a)は、レンズアレイによって構成される複眼カメラの構成例について説明する図である。図3(a)に示すように、この複眼カメラ1は、同一平面上に配置された複数のレンズを有するレンズアレイ2と、センサ3と、基板(プリント回路基板)4で構成されている。また、センサ3は格子状に領域分割された光学フィルタと、CCDやCMOS等の撮像素子で構成されている。
図3(a)におけるセンサ3では、レンズアレイ2の複数のレンズから撮像された複数の像が、1つの撮像素子に結像される。
なお、図3(a)におけるレンズアレイ2のレンズ数は一例であり、2個以上の任意の個数で設定される。
ここで、図3(b)は複眼カメラ1のレンズアレイ2のレンズ数が6個の場合のセンサ3による撮像画像の例を示したものであり、レンズアレイ2を利用してセンサ全体に結像された画像を複眼画像、センサ内の個々の画像を個眼像と呼ぶことにする。複眼カメラ1では、個々の個眼像が視差をもっているので、これらの個眼像に対して視差計算を行うことにより、距離の計測が可能となる。また、図3(c)に示すように、それぞれの個眼像を合成し、センササイズの画像を合成した画像を合成画像と呼ぶことにする。
[実施例1]
図1は、図3(a)に示したような構成の複眼カメラを用い、2台の同じレンズ形状の複眼カメラ1−1,1−4のセットと、この複眼カメラとレンズ形状を異にする2台の複眼カメラ1−2,1−3のセットの2セットを1つの筺体(カメラユニット)5に搭載して、撮像装置(複眼ステレオカメラ)を構成した第1の実施例を示す図である。各複眼カメラ1−1,1−2,1−3,1−4は、図3(a)と同様に、レンズアレイ2−1,2−2,2−3,2−4と、センサ3−1,3−2,3−3,3−4を備えている(基板の図示は省略する)。
ここで、図3に示す複眼カメラ1台のみでは、前述した2台のカメラの視差により距離Zを計算する式、
Z=B×f/d (式1)
における基線長Bを、センサ3のサイズ以上にすることは不可能である。また、複眼カメラの場合、センサの各ピクセルに別々に結像しなければならないため、焦点距離fも非常に小さくなる。そのため、式1のBとfの両方を大きくすることができず、超至近距離にある物体の測距は可能だが、遠方の測距を実現することはできない。
例えば、センサ内で3mmほどの基線長を確保でき、2mm程度の焦点距離で実現した場合、
B×f=3×2=6
となる。
これは、例えば視差d=50、センサのピクセルサイズを3μmとすると、距離Z=40mmに相当する。視差d=49の場合で、40.8mmなので、1ピクセル誤差でmm以下の高精度測距を実現することができる。
一方、遠距離測距を実現しようとすると、例えば100mの測距をするためには、視差d=0.02となり、視差を算出するためには2/100画素の視差を算出できなければならず、実質不可能といえる。さらに、仮に視差dの誤差が0.01あり、d=0.3になった場合、計測距離Z=約67m、d=0.1になった場合でZ=約200mとなり、とても実用化することができる測距精度は実現できない。
また一方、特許文献1に示すような、複眼カメラを利用しない通常のステレオカメラの構成では、近距離用と遠距離用とを分離したとしても、1〜5mが近傍の限界である。
これに対して、図1に示すような本発明で提案する第1の実施例の方式の場合、例えば20m〜100mのエリアは基線長Aの2台の複眼カメラ1−1、1−4のセンサ3−1,3−4で撮像した全体合成画像同士を使って測距を行い、50cm〜5mのエリアは、基線長Eの複眼カメラ1−4のセンサ3−4で撮像した個眼像もしくは合成画像を利用して測距を行う。そして、この基線長AおよびEを構成する複眼カメラ部1−1,1−4のレンズアレイ2−1,2−4とは形状を異にし、レンズ数を増やしてより細かな個眼像が撮像できるレンズアレイ2−2,2−3を利用した複眼カメラ1−2,1−3を同じ筺体(カメラユニット)5内に設置する。そして、この複眼カメラ1−2,1−3を用い、1mm〜50cmは基線長Dの複眼カメラ1−2のセンサ3−2で撮像した個眼像同士を使って測距を行い、50cm〜2mのエリアは基線長Cの複眼カメラ1−2のセンサ3−2で撮像した個眼像同士を使って測距を行い、5〜20mのエリアは基線長Bの2台の複眼カメラ1−2,1−3のセンサ3−2,3−3で撮像した全体合成画像同士を使って測距を行うということが可能になる。このような構成をとることにより、全距離範囲において、同等のパーセント換算での精度範囲を保った測距を行うことが可能になる。また、このとき、各複眼カメラにおいて焦点距離の異なるペアを利用する構成にしてもよい。
以上の図1に示す撮像装置10を車載用の距離測定装置に用いた場合の車の前方の測距範囲を表したものを図2に示す。
図に示されるように、たとえば車載環境においては、遠方は狭角の画角だけ確認すればよく、近傍に行くほど画角を広くとりたい。そのため、各カメラではマイクロレンズの構成を変更したりして、画角が異なって設計されることが一般的である。
特許文献1に示す構成では、近傍用、遠方用はそれぞれカメラ設計値(画角・焦点距離など)が同じペアを利用することを前提としているが、本発明では、上述してきたように、それらが異なってもよく、より滑らかに測距範囲をカバーすることができる。
もちろん、図1における、A〜Eで表現されてない基線長を持つレンズ−センサペアを利用し、より詳細な測距範囲をカバーする構成としてもよい。
図4は、図1に示す構成の撮像装置を車室内のルームミラー部に搭載して、図2のように車の前方を撮像した際の、複眼カメラ1−2のセンサ3−2の撮像画像と、複眼カメラ1−3のセンサ3−3の撮像画像を使って測距を実現する例を示したものである。この例の場合、レンズアレイとしてセンサ上部に3列、下部に3列の、6つのレンズを1つのセンサ上に構成し、1つのセンサで、6眼カメラを構成している。また、撮像画像は、車外前方の人物と、フロントガラスに付着した雨滴の例である。
ここで、センサ3−2の撮像画像における各個眼像は基線長Dのステレオ処理に実行される。この処理は、上述したように、1mm〜50cm単位の測距を対象としており、例えばフロントガラスに付着した雨滴を検出すること等が目的となる。一般に、雨滴は単眼カメラによる形状認識手法などでは、検出が非常に困難であることが知られている。
以上のようにして雨滴の視差を検出することにより、フロントガラスの距離位置に物体(雨滴)が付着していることが分かるようになり、自動でワイパーを作動させること等が可能になる。
また、センサ3−2上における3つの上部画像、及びセンサ3−3上における3つの上部画像を、それぞれ基線長Dの視差計算を行うために合成処理する。合成処理は、例えば画像間での画素を足し合わせて平均化することなどにより作成することができるが、ここで一般的に知られるローパスフィルタによる合成処理を行うことで、各個眼像間で動きのある雨滴などの超近傍の物体を画像から除去することが可能になる。
このセンサ3−2とセンサ3−3の合成画像を使って視差計算を行うことで、例えばセンサ3−2の各個眼像同士では視差がほとんどない遠方の物体(図4の場合は車両前方に立つ人間)の視差を検出することが可能になる。
このとき、もちろん、センサ3−2の個眼像、センサ3−3の個眼像同士で視差計算を実施してもよいが、以上のように合成画像を作成してから処理することによって、超近傍に位置する対象を除外して視差計算することや、遠方の小さな物体を多くの画素でとらえること等が可能になる。また、これらの合成画像を使う、使わないなどの処理を動的に組み込んでもよい。
[実施例2]
図5は、図3(a)に示したような構成の1台の複眼カメラ1と、2台の複眼でないカメラ6−1,6−2を利用して構成した撮像装置11の第2の実施例を示す図である。この場合、複眼でないレンズ7−1,7−2を有するカメラ6−1,6−2では合成画像を利用しないので、センサ8−1,8−2の撮像画像は、より解像度が高い画像が得られるために、図1の構成よりもセンサの個数を減らすことができる。図5の構成の場合、図1の構成と比較し、より遠方での測距精度と、超近傍の測距精度は図1と同等以上の精度を実現できるが、図1の基線長BやEでカバーしている中間距離範囲の精度が粗くなると考えられる。また、この構成の場合は図1よりも近傍の画角が狭くなる傾向がある。ただし、この構成では、シンプルに低コストに構成できることがメリットである。このように、複眼カメラを利用する台数と複眼でないカメラを利用する台数は、測距を行う対象、目的や要求精度に応じて、柔軟に構成を決定してよい。
また、これらの撮像装置において、それぞれの複眼カメラによって撮像された複数の個眼像から、測距の要求精度に応じて、複数の解像度の異なる合成画像を作成し、それらの合成画像を切り替えて使って測距を行ってもよい。
[実施例3]
図6は、第3の実施例の撮像装置の構成例を示した図であり、1つの基板に複数のセンサ3a,3b,3c,3d,3eが含まれる複眼カメラ1’と、2台の複眼でないカメラ6−1,6−2を利用して構成した撮像装置の概略構成図である。
図6に示す撮像装置12の複眼カメラ1’では、同一平面上に配置された複数のレンズを有するレンズアレイ2からの像を撮像するセンサ3a,3b,3c,3d,3が、それぞれ別に構成されているが、ウェハの状態で1つの基板に実装される図1や図5における基線長B〜Dを示す複眼カメラ部では、構造上、センササイズ以上の基線長を確保することは困難であった。
そこで本実施例では、図6のような構成の撮像装置12にすることにより、図6における基線長B〜Dは、図1や図5における基線長B〜Dよりも長くとれるため、1〜10m程度までの測距範囲の精度向上が見込める。また、複数のセンサを用いる場合、キャリブレーションする際のコスト(時間的コスト、装置的コスト、部品コスト)が非常に大きな問題になるが、図6の構成におけるレンズアレイ2のカメラ部の場合、個々のレンズとセンサは一体となっているので、これらのキャリブレーション・コストを大幅に削減することが可能になる。特に、複眼カメラ1’のセンサとレンズのセットで構成される一つ一つのカメラの3軸回転、3方向の並進移動を表す外部パラメータについては、各カメラでセンサが一体、レンズが一体となっているため、カメラごとの独立なずれがなくなり、大幅にキャリブレーションの簡易化が可能になる。
[実施例4]
以上に説明してきた実施例1〜3の撮像装置は、1つ以上の複眼カメラと複眼でないカメラを、すべて同方向に向け、1つの筺体(カメラユニット)5に実装することで構成してきたものである。これに対して、図7に示す第4の実施例の撮像装置13では、図1と同様の構成に加えて、別の方向にも、測距可能な複眼カメラ1−5,1−6を実装して1つの筺体(カメラユニット)5に構成したものである。これにより、例えば車載用の距離測定装置として用い、ルームミラー部に装着した場合に、基線長A、Bで計算される測距データおよび画像は前方車両などの自車前方物体認識を行い、基線長C、Dで計算される測距データおよび画像はフロントガラス等に付着した雨滴認識を行い、基線長E、F、Gで計算される測距データおよび画像は自車内を向いて乗員認識を行う、といったことが可能になる。
[実施例5]
図8は、以上の実施例1〜4で説明してきた本発明の撮像装置により撮像された複数のカメラ画像を処理するための回路構成にかかるブロック図である。
通常、カメラ画像はVSYNC,HSYNCなどの垂直、水平同期信号とデータ線数本で構成される。そのために、複数のカメラ画像を1つのLSI(大規模集積回路)で受けようとすると、多数のピンが必要になり、通常のマイコン等では非常に大きなチップでなければ実装できない。
そこで、これらの画像を、画像の分離・統合を行う回路部である1つの専用LSI(画像取込LSI)21で受け、その画像取込LSI21の内部で、メモリ(RAM)22に送信する画像を選択、もしくは複数の画像を統合し、視差計算に使用する2種類の画像データ(基準画像データ、比較画像データ)づつ、メモリ(RAM)22に書き込む構成とする。
ここで、視差計算は、例えば下記の式2で表わされるように、2つの画像をブロックに分け、その相関をとることで実現される。そのため、1回の視差計算としては撮像した画像から物体の位置を検出するための基準となる基準画像と、その基準画像との視差を計算するための比較画像があればよい。そのため、この1回の視差計算に使用する基準画像と比較画像とに分け、これらの視差計算を実行する単位として、画像のデータフロー整理を行い、メモリ(RAM)22に書き込むのが、画像取込LSI21の役割である。
Figure 0005776173
図8においては、上記の2種類の画像データ(基準画像データ、比較画像データ)を、視差計算を実行する処理回路部である視差計算LSI23がリードして、視差計算を実行する構成となっている。このとき、視差計算LSI23に2CHの画像入力があった場合で、内部に視差計算を行うに充分なラインメモリを実装していた場合などには、図8において図示されたようなメモリ(RAM)22を介せず、直接視差計算LSI23に、画像取込LSI21の処理結果の2CH画像を入力してもよい。
以上のように、画像の取り込みを実行する画像取込LSI21を、視差計算処理を行う視差計算LSI23と分離して専用で設けることで、従来より存在する視差計算LSIを利用したり、カメラ画像入力の増加等に柔軟に対応できることが可能になる。
以下、追加分
[実施例6]
図9は、一体化した筐体5に画角・焦点距離が異なるカメラ(レンズ+センサ)を複数(三つ以上)持って構成される撮像装置の構成について説明する図である。
図に示すように、この例では1つの筐体5に3つのカメラ1A、1B、1Cが備えられている。カメラ1Aは、レンズ2Aとセンサ3Aとから、カメラ1Bは、レンズ2Bとセンサ3Bとから、カメラ1Cは、レンズ2Cとセンサ3Cとから、それぞれ構成されている。
これにより、視差計算をするためのステレオカメラの基線長を3種類持つことができる。
基線長が長いステレオカメラのセットは遠方をターゲットに、基線長が短いステレオカメラのセットは近傍をターゲットにして測距を行うことで、高精度に近傍〜遠方までをカバーした視差を計算することができる。つまり、図における基線長1のステレオカメラセットが近傍、基線長2のステレオカメラセットが中距離、基線長3のステレオカメラセットが遠方向けの測距を行う。
図10は、焦点距離が異なるために、画角が異なるカメラを複数台つなげたことによって、それぞれの見える撮像範囲がことなることを説明する図である。
前方監視用途で車両に搭載された図10における基線長1のカメラペアで撮像された画像は、たとえば図11に示したようになり、それぞれの画像において、撮像されている物体(たとえば人)のサイズが異なることがわかる。
このような画像ペアに対して視差を計算するためには、エピポーラ幾何などを適用して計算しなければならず、処理時間が膨大にかかる。しかしながら、これらのカメラ画像が理想的なピンホール画像になっていた場合、焦点距離と画角、撮像センサのセンササイズから、設計値に基づく線形の外部パラメータ変換、もしくは拡大・縮小変換によって並行カメラ化することができる。
図12は、そのような考え方で、一定のカメラ設計値(画角・焦点距離、センササイズ)の画像に、それぞれのカメラ画像を線形変換した例である。図に示したように、画像内で各物体(たとえば人)のサイズが一定になっていることがわかる。
このような場合、平行ステレオ視差計算というシンプルな手法によって、図13のように高精度の視差データを得ることができる。
図14は、本発明の撮像装置により撮像された複数のカメラ画像を処理するための回路構成にかかるブロック図の別例である。
図に示すように、各カメラごとに撮像画像をピンホール画像化するためのキャリブレーションデータをROMなどに持ち、それを利用して、取り込み時に画像をピンホール画像化する。ここで、画像取込LSIは、それぞれのカメラで撮像された画像を、それぞれ理想化されたピンホール画像として出力する手段である。
このピンホール画像化には、LUT(LookUpTable)を利用する、高次多項式を利用する方法などが考えられる。いずれも非線形の変換が必要になる。
図14に基づいて本例における制御動作を説明する。
まず画像線形変換/タイミング制御LSIが、視差計算を実施するペアのカメラ画像をRAMからリードする。このとき、画像線形変換/タイミング制御LSIは、図に示すように、ROMから各カメラの設計データ(焦点距離・画角など)をリードして内部レジスタにリードしており、それに従って画像の線形変換を実施する。
このとき、設計データは、ROMからでなく、外部から内部のレジスタに直接設定する、などの方法をとってもよい。
この設計データに従って、基準となるカメラ設計値を利用した画像に線形変換を行う。線形変換は、3×3のシンプルな行列演算で実行されるのが最も一般的である。線形変換された各カメラの画像データは、それぞれが同じピンホールカメラ画像として扱うことが可能になるので、どのようなカメラペアでも、一つの視差計算アルゴリズムで処理を実行させることができる。
そのため、ロジック部としての視差計算制御LSIは1つのみでよい。本発明によれば、さまざまな画角・焦点距離をもって一つの筐体におさめられた複数のステレオ画像を、時間的な分割をすることで、共通の視差計算ロジックを用いて、計算を実行することができる。
このとき、視差計算制御LSIに2CHの画像入力があった場合で、内部に視差計算と画像線形変換を行うに充分なラインメモリを実装していた場合などには、図14において図示されたようなRAMを介せず、直接、画像変形LSI、視差計算処理LSIに、画像取込LSIの処理結果の2CH画像を入力してもよい。
図14の例のように、画像の取り込みを実行するLSI、画像線形変換、視差計算を行う処理LSIをそれぞれ分離して設けると、汎用で存在する視差計算制御LSIを利用したり、カメラ画像入力の増加等に柔軟に対応できることが可能になる。むろん、これらの処理LSIは要求コストとサイズなどに応じて、SOCやSIPなど、ひとつのLSIで構成してもよい。
図14の例のような構成で、カメラが3台あった場合の、処理の概略フローを、図15に示す。各カメラでの撮像・ピンホール画像化処理は、並列に実行され、それぞれの画像が順次DMA転送されてRAMに転送される。そして、図中網掛け部のリード画像転送部によって指示された2つのカメラ画像ペアが、ステレオ計算用としてRAMよりリードされる。
リードされた画像は、図11〜図13に示したような線形変換処理が施され、それぞれが一定のカメラ設計値の撮像画像化され、視差計算が実行される。
このとき、リードされる画像は、ステレオカメラのペアになる2つの画像である。このとき、最も簡単な方法は、すべてのステレオカメラのペアを同じ時間分割で処理させることである。たとえば、測距するステレオカメラのセットを3つ用意する。ステレオカメラ1は近傍、ステレオカメラ2は中距離、ステレオカメラ3は遠方、を測距するものとする。
このとき、同様に時間分割して視差計算を実行させると、図16(A)のようになる。しかし、一般に、近傍の距離の方が、緊急を有することが多いため、頻度を高く計算させなければならないことが多い。そのような場合は、図16(B)のように処理を実行させてもよい。
また、図2に示したように、各ステレオカメラごとに測距範囲と画角が異なるが、それらには重複する部分ができる。これを図示したのが、図17である。
ステレオカメラのセット(基線長のセット)が3つできるとし、それぞれの測距範囲の重複を表したのが、図17の右部分の測距範囲における網掛け部である。また一般的に遠方に行くほど撮像される画角範囲は小さくなる。図17の左部分は、線形変換前の各ステレオカメラの対応画角範囲を図示したものである。
ここで、この重複範囲に関して、どのようにして距離を出力するのか、が問題になる。
これに対しては、たとえば下記のような基準で、距離を決定することができる。
(1)重複エリアはどのステレオカメラが担当させるかを決定しておく:処理をシンプル化し、負荷低減できる。
(2)先に計算された距離を優先させる:距離をできる限りはやくに知りたい場合に有効
(3)計算された距離を、選択して決定させる:計算結果に信頼度や重みなどをつけ、より信用できる計算結果を利用したい場合に有効
(4)計算された距離の平均を使う:重複されたエリアは各ステレオカメラのペアが出るごとに平均化されて決定されるため、ノイズ成分を除去して安定して使うことができる。
(5)線形変換前の画像解像度の高い方のステレオカメラの結果を利用する:解像度が高いということは、物理的なつくりとして、理論的により信頼度が高く計算できるはずであり、そちらを優先する
また、このような距離計算を実行させておきつつ、各ステレオカメラの測距結果が計算されるごとに、たとえば車載の前方監視カメラとして使用している場合など、処理として非常に危険と設定されていた距離範囲に物体があると検出された場合、その計算結果を優先させてもよい。
たとえば、上記の(1)のような処理形態でステレオカメラ2に1m以上の距離を担当させておきつつ、ステレオカメラ2で数十センチの距離のものが画像の端エリアに突然出てきた場合などは、割り込み車や横断者などが現れたと考えられるので、そのような場合は、この結果を優先させるほうがよいと考えられる。
図7で示したカメラの向きが異なる構成は、本例においても同様に実施することができる。
1、1−1、1−2、1−3、1−4、1−5、1−6:複眼カメラ
1’:複数のセンサを含む複眼カメラ
2、2−1、2−2、2−3、2−4、2−5、2−6:レンズアレイ
3、3−1、3−2、3−3、3−4、3−5、3−6:センサ
3a,3b,3c,3d,3e:1つの基板に設けられた複数のセンサ
4:基板
5:筐体(カメラユニット)
6−1、6−2:複眼でないカメラ
7−1、7−2:レンズ
8−1、8−2:センサ
10、11、12、13:撮像装置
21:画像取込LSI
22:メモリ(RAM)
23:視差計算LSI
特開平11−39596号公報 特開2008−129439号公報 特許第4378434号公報

Claims (10)

  1. 1つの筐体に複数のカメラが固定して搭載され、前記複数のカメラのうちの任意の2つのカメラの組み合わせにより、視差を計算する基線長を変えて撮像された画像を利用して測距する撮像装置において
    前記複数のカメラのうち少なくとも1つは、同一平面上に配置された複数のレンズを有するレンズアレイとセンサとを備えた複眼カメラであり、
    前記複眼カメラによって撮像される複数の個眼像を用いて第1の頻度において第1の基線長近距離における測距のための視差を計算し、
    少なくとも前記複眼カメラとは異なるカメラを含む2つのカメラによってそれぞれ撮像される画像を用いて前記第1の頻度よりも少ない第2の頻度において前記第1の基線長よりも長い第2の基線長遠距離における測距のための視差を計算することを特徴とする撮像装置。
  2. 請求項1に記載の撮像装置において、
    前記センサが、一つの基板に設けられた複数のセンサから構成されていることを特徴とする撮像装置。
  3. 請求項に記載の撮像装置において、
    前記複数のカメラがレンズとセンサとを備え、各カメラの画角及び焦点距離がそれぞれ異なることを特徴とする撮像装置。
  4. 請求項に記載の撮像装置において、
    各カメラ毎に撮像画像をピンホール画像化するためのキャリブレーションデータを持ち、それぞれのカメラで撮像された画像を、それぞれピンホール画像化して出力する手段を有していることを特徴とする撮像装置。
  5. 請求項に記載の撮像装置において、
    それぞれのカメラで撮像された画像を、統一された画像サイズに拡大・縮小処理を施すロジック部を有していることを特徴とする撮像装置。
  6. 請求項に記載の撮像装置において、
    複数の基線長のカメラの距離計算結果を保存しておき、後段の処理で利用する同一物体の距離を、それらの結果の中から選択可能としたことを特徴とする撮像装置。
  7. 請求項に記載の撮像装置において、
    複数の基線長のカメラの距離計算結果を保存しておき、後段の処理で利用する距離を、それまでの結果の平均によって算出することを特徴とする撮像装置。
  8. 請求項1〜7のいずれか1つに記載の撮像装置において、
    前記複数のカメラのうち、1つ以上のカメラの設置方向が他のカメラと異なることを特徴とする撮像装置。
  9. 請求項1〜8のいずれか1つに記載の撮像装置において、
    取得される複数のカメラ画像の視差計算処理を、それぞれの画像を分離・統合する回路部と、視差計算を行う処理回路部とに分けて実行することを特徴とする撮像装置。
  10. 請求項1〜9のいずれか1つに記載の撮像装置を備えたことを特徴とする距離測定装置。
JP2010277395A 2010-03-01 2010-12-13 撮像装置及び距離測定装置 Active JP5776173B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2010277395A JP5776173B2 (ja) 2010-03-01 2010-12-13 撮像装置及び距離測定装置
US13/025,890 US8654196B2 (en) 2010-03-01 2011-02-11 Image pickup apparatus and rangefinder, with altering baseline lengths for parallax computation obtained by combining any two of a plurality of cameras

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010044168 2010-03-01
JP2010044168 2010-03-01
JP2010277395A JP5776173B2 (ja) 2010-03-01 2010-12-13 撮像装置及び距離測定装置

Publications (2)

Publication Number Publication Date
JP2011203238A JP2011203238A (ja) 2011-10-13
JP5776173B2 true JP5776173B2 (ja) 2015-09-09

Family

ID=44505078

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010277395A Active JP5776173B2 (ja) 2010-03-01 2010-12-13 撮像装置及び距離測定装置

Country Status (2)

Country Link
US (1) US8654196B2 (ja)
JP (1) JP5776173B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102507184B1 (ko) 2022-06-17 2023-03-09 한국기계연구원 마이크로 렌즈 어레이 및 이의 제조방법

Families Citing this family (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
WO2011063347A2 (en) 2009-11-20 2011-05-26 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
KR101852811B1 (ko) * 2011-01-05 2018-04-27 엘지전자 주식회사 영상표시 장치 및 그 제어방법
CN103649994B (zh) * 2011-07-05 2016-11-16 欧姆龙株式会社 用于投影体监测的方法和装置
JP5762211B2 (ja) * 2011-08-11 2015-08-12 キヤノン株式会社 画像処理装置および画像処理方法、プログラム
KR101316433B1 (ko) * 2011-09-14 2013-10-08 현대자동차주식회사 차량 주변정보 제공 시스템 및 그 방법
WO2013049699A1 (en) 2011-09-28 2013-04-04 Pelican Imaging Corporation Systems and methods for encoding and decoding light field image files
US9501692B2 (en) 2011-10-14 2016-11-22 Omron Corporation Method and apparatus for projective volume monitoring
US9412206B2 (en) 2012-02-21 2016-08-09 Pelican Imaging Corporation Systems and methods for the manipulation of captured light field image data
JP6197291B2 (ja) 2012-03-21 2017-09-20 株式会社リコー 複眼カメラ装置、及びそれを備えた車両
US9100635B2 (en) 2012-06-28 2015-08-04 Pelican Imaging Corporation Systems and methods for detecting defective camera arrays and optic arrays
JP5929553B2 (ja) 2012-06-28 2016-06-08 ソニー株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
CN104662589B (zh) 2012-08-21 2017-08-04 派力肯影像公司 用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法
US20140055632A1 (en) 2012-08-23 2014-02-27 Pelican Imaging Corporation Feature based high resolution motion estimation from low resolution images captured using an array source
CN104685860A (zh) 2012-09-28 2015-06-03 派力肯影像公司 利用虚拟视点从光场生成图像
JP2015232442A (ja) * 2012-10-04 2015-12-24 アルプス電気株式会社 画像処理装置及び車両前方監視装置
WO2014054752A1 (ja) * 2012-10-04 2014-04-10 アルプス電気株式会社 画像処理装置及び車両前方監視装置
US9386298B2 (en) * 2012-11-08 2016-07-05 Leap Motion, Inc. Three-dimensional image sensors
FR2999729B1 (fr) * 2012-12-14 2015-01-16 Astrium Sas Mise au point optique d'un instrument de saisie d'image
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US9578259B2 (en) 2013-03-14 2017-02-21 Fotonation Cayman Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
WO2014145856A1 (en) 2013-03-15 2014-09-18 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
JPWO2015012280A1 (ja) * 2013-07-24 2017-03-02 コニカミノルタ株式会社 視線検出装置
JP2015060053A (ja) * 2013-09-18 2015-03-30 株式会社東芝 固体撮像装置、制御装置及び制御プログラム
WO2015048694A2 (en) 2013-09-27 2015-04-02 Pelican Imaging Corporation Systems and methods for depth-assisted perspective distortion correction
US10119808B2 (en) 2013-11-18 2018-11-06 Fotonation Limited Systems and methods for estimating depth from projected texture using camera arrays
US9426361B2 (en) 2013-11-26 2016-08-23 Pelican Imaging Corporation Array camera configurations incorporating multiple constituent array cameras
US9898670B2 (en) 2013-12-13 2018-02-20 Fts Computertechnik Gmbh Method and device for observing the environment of a vehicle
US20150185308A1 (en) * 2014-01-02 2015-07-02 Katsuhiro Wada Image processing apparatus and image processing method, image pickup apparatus and control method thereof, and program
WO2015134996A1 (en) 2014-03-07 2015-09-11 Pelican Imaging Corporation System and methods for depth regularization and semiautomatic interactive matting using rgb-d images
WO2015159791A1 (ja) * 2014-04-16 2015-10-22 コニカミノルタ株式会社 測距装置および測距方法
JP2016001464A (ja) 2014-05-19 2016-01-07 株式会社リコー 処理装置、処理システム、処理プログラム、及び、処理方法
CN113256730B (zh) 2014-09-29 2023-09-05 快图有限公司 用于阵列相机的动态校准的系统和方法
US10008027B1 (en) * 2014-10-20 2018-06-26 Henry Harlyn Baker Techniques for determining a three-dimensional representation of a surface of an object from a set of images
WO2016106694A1 (en) * 2014-12-31 2016-07-07 SZ DJI Technology Co., Ltd. System and method for adjusting a baseline of an imaging system with microlens array
US9794543B2 (en) 2015-03-02 2017-10-17 Ricoh Company, Ltd. Information processing apparatus, image capturing apparatus, control system applicable to moveable apparatus, information processing method, and storage medium of program of method
JP2016217944A (ja) * 2015-05-22 2016-12-22 シャープ株式会社 計測装置、および計測方法
GB2541101A (en) * 2015-06-23 2017-02-08 Bosch Gmbh Robert Method and camera system for determining the distance of objects in relation to a vehicle
EP3352134B1 (en) 2015-09-15 2023-10-11 Ricoh Company, Ltd. Image processing device, object recognition device, device control system, image processing method, and program
JP6677474B2 (ja) * 2015-09-29 2020-04-08 日立オートモティブシステムズ株式会社 周辺認識装置
EP3382639B1 (en) 2015-11-27 2024-02-21 Ricoh Company, Ltd. Image processing device, image pickup device, apparatus control system, distribution data generation method, and program
WO2017094300A1 (ja) 2015-11-30 2017-06-08 株式会社リコー 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
JP6922169B2 (ja) * 2016-08-24 2021-08-18 ソニーグループ株式会社 情報処理装置および方法、車両、並びに情報処理システム
KR102512247B1 (ko) * 2017-10-20 2023-03-22 소니그룹주식회사 정보 처리 장치, 정보 처리 방법 및 프로그램, 그리고 교환 렌즈
JP7202120B2 (ja) * 2018-09-27 2023-01-11 株式会社Subaru 運転支援装置
JP7256623B2 (ja) * 2018-09-27 2023-04-12 株式会社Subaru 車両用ステレオカメラ装置
BR112022004811A2 (pt) 2019-09-17 2022-06-21 Boston Polarimetrics Inc Sistemas e métodos para modelagem de superfície usando indicações de polarização
US11525906B2 (en) 2019-10-07 2022-12-13 Intrinsic Innovation Llc Systems and methods for augmentation of sensor systems and imaging systems with polarization
CN114787648B (zh) 2019-11-30 2023-11-10 波士顿偏振测定公司 用于使用偏振提示进行透明对象分段的系统和方法
WO2021154386A1 (en) 2020-01-29 2021-08-05 Boston Polarimetrics, Inc. Systems and methods for characterizing object pose detection and measurement systems
WO2021154459A1 (en) 2020-01-30 2021-08-05 Boston Polarimetrics, Inc. Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images
JP7369094B2 (ja) * 2020-05-29 2023-10-25 株式会社日立製作所 距離計測システム、及び距離計測方法
CN116583763A (zh) * 2020-12-10 2023-08-11 麦克赛尔株式会社 便携终端以及电子眼镜
WO2022164337A1 (ru) * 2021-01-27 2022-08-04 Олег Александрович СЕРЕБРЕННИКОВ Способ измерения местоположения и удаления светового стимула
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0798429A (ja) * 1993-09-28 1995-04-11 Fuji Film Micro Device Kk 距離計測装置
JPH07191146A (ja) * 1993-12-24 1995-07-28 Mitsubishi Electric Corp 距離測定装置
JPH08219774A (ja) * 1995-02-15 1996-08-30 Omron Corp 光電スイッチ
US6009189A (en) * 1996-08-16 1999-12-28 Schaack; David F. Apparatus and method for making accurate three-dimensional size measurements of inaccessible objects
JPH1139596A (ja) 1997-07-17 1999-02-12 Fuji Heavy Ind Ltd 車外監視装置
EP1418766A3 (en) * 1998-08-28 2010-03-24 Imax Corporation Method and apparatus for processing images
JP2003143459A (ja) * 2001-11-02 2003-05-16 Canon Inc 複眼撮像系およびこれを備えた装置
US7336296B2 (en) * 2003-10-10 2008-02-26 International Business Machines Corporation System and method for providing position-independent pose estimation
US20060055811A1 (en) * 2004-09-14 2006-03-16 Frtiz Bernard S Imaging system having modules with adaptive optical elements
US7855752B2 (en) * 2006-07-31 2010-12-21 Hewlett-Packard Development Company, L.P. Method and system for producing seamless composite images having non-uniform resolution from a multi-imager system
JP4448844B2 (ja) * 2006-11-22 2010-04-14 富士フイルム株式会社 複眼撮像装置
JP2008286527A (ja) * 2007-05-15 2008-11-27 Panasonic Corp 複眼測距装置
JP2009055554A (ja) * 2007-08-29 2009-03-12 Fujifilm Corp 複数の撮像素子を搭載したフレキシブル撮像装置
JP4378434B2 (ja) 2008-01-11 2009-12-09 パナソニック株式会社 複眼カメラモジュール
WO2009107365A1 (ja) * 2008-02-26 2009-09-03 パナソニック株式会社 複眼測距装置の検査方法及び検査装置並びにそれに用いるチャート
US8390083B2 (en) * 2009-09-04 2013-03-05 Analog Devices, Inc. System with recessed sensing or processing elements

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102507184B1 (ko) 2022-06-17 2023-03-09 한국기계연구원 마이크로 렌즈 어레이 및 이의 제조방법

Also Published As

Publication number Publication date
JP2011203238A (ja) 2011-10-13
US20110211068A1 (en) 2011-09-01
US8654196B2 (en) 2014-02-18

Similar Documents

Publication Publication Date Title
JP5776173B2 (ja) 撮像装置及び距離測定装置
JP5273356B2 (ja) 複眼画像入力装置及びそれを用いた距離測定装置
US11270134B2 (en) Method for estimating distance to an object via a vehicular vision system
EP2058762B1 (en) Method and apparatus for generating bird's-eye image
CN108734742B (zh) 摄像头参数组算出方法、程序及装置
JP5412979B2 (ja) 周辺表示装置
JP7266165B2 (ja) 撮像装置、撮像システム、および表示システム
JP2018191275A (ja) カメラパラメタセット算出方法、カメラパラメタセット算出プログラム及びカメラパラメタセット算出装置
JP6565188B2 (ja) 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム
JP5760559B2 (ja) ステレオカメラ装置、視差画像生成方法
US9682655B2 (en) Method and device for operating a vehicle
JP2009206747A (ja) 車両用周囲状況監視装置及び映像表示方法
US10992920B2 (en) Stereo image processing device
JP2004258266A (ja) ステレオアダプタ及びそれを用いた距離画像入力装置
WO2013140873A1 (ja) 車載用画像処理装置及び方法
US11509813B2 (en) Image processing device
JP5455033B2 (ja) 距離画像入力装置と車外監視装置
US9813694B2 (en) Disparity value deriving device, equipment control system, movable apparatus, robot, and disparity value deriving method
JP2007295113A (ja) 撮像装置
JP2006171849A (ja) 画像処理装置
JP2011024079A (ja) 周辺表示装置
EP3404911A1 (en) Imaging system and moving body control system
JP6983740B2 (ja) ステレオカメラシステム、及び測距方法
JP6435660B2 (ja) 画像処理装置、画像処理方法、機器制御システム
US20190031104A1 (en) Electric circuit for electronic mirror

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131111

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140404

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140415

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140611

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141216

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150128

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150609

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150622

R151 Written notification of patent or utility model registration

Ref document number: 5776173

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151