JP2024038527A - 信号処理装置、信号処理方法及び信号処理システム - Google Patents

信号処理装置、信号処理方法及び信号処理システム Download PDF

Info

Publication number
JP2024038527A
JP2024038527A JP2021002942A JP2021002942A JP2024038527A JP 2024038527 A JP2024038527 A JP 2024038527A JP 2021002942 A JP2021002942 A JP 2021002942A JP 2021002942 A JP2021002942 A JP 2021002942A JP 2024038527 A JP2024038527 A JP 2024038527A
Authority
JP
Japan
Prior art keywords
image
optical flow
signal processing
error
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021002942A
Other languages
English (en)
Inventor
清 東原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to JP2021002942A priority Critical patent/JP2024038527A/ja
Priority to PCT/JP2021/047163 priority patent/WO2022153795A1/ja
Priority to US18/260,250 priority patent/US20240054656A1/en
Priority to DE112021006799.0T priority patent/DE112021006799T5/de
Publication of JP2024038527A publication Critical patent/JP2024038527A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】撮像装置の設置誤差を簡単な処理で検出する信号処理装置、信号処理方法及び信号処理システムを提供する。【解決手段】信号処理システム１００は、車両に設置された撮像部１と、撮像部１により撮像された画像に基づき、オプティカルフローを検出するオプティカルフロー検出部４、オプティカルフローの情報に基づいて、撮像部１の姿勢の誤差量を算出する設置誤差算出部５及び姿勢の誤差量と、撮像部により撮像された画像に基づき、表示用画像を生成する画像処理部２を有する信号処理装置１０１と、表示用画像を表示する画像表示部９と、を備える。【選択図】図１

Description

本開示は、信号処理装置、信号処理方法及び信号処理システムに関する。
車両の前後や側面にカメラを設置して、カメラで撮像した画像を運転席のモニタに表示するカメラシステムがある。カメラシステムにより運転席から視認できない周囲の状況を運転手に提示し、運転を補助できる。
車両へカメラを設置する時に、カメラの設置に誤差（カメラの設置誤差）が生じる場合がある。例えばカメラの設置角（カメラの姿勢）に誤差が生じる場合がある。誤差が生じると、カメラの撮像領域と、本来の正しい撮像領域との間にずれが生じることになる。
カメラシステムによっては、運転者が見るモニタに、カメラの撮像画像に重畳して、目安線や進路予想線等、補助的なラインを表示する場合がある。カメラの設置誤差に起因して撮像領域のずれがあると、目安線や進路予想線が実際の位置とはずれた位置に表示される問題がある。
また、近年、車載カメラは、運転者による監視用のみならず、車両システムによる運転補助機能や自動運転機能にも用いられる。例えば、車両システムがカメラの撮像画像から障害物や歩行者等の対象物を検出し、対象物との距離を測定し、推定の結果を車両側の駆動ユニットに送る。駆動ユニットでは推定結果をもとに、運転者に対する警告通知や、自動ブレーキを動作させるといった制御を行う。
距離の測定は、カメラの設置角度のずれの影響を受けるため、カメラが所定の設計通り、誤差なく設置されていない場合、正確な距離を測定できなくなるという問題がある。
カメラの設置誤差を検出する方法として、校正用チャートを撮像した画像（例えば市松模様の画像）を基準画像として用いる方法が知られている。この方法では、車両に設置したカメラによって校正用チャートを撮像し、撮像した画像と、カメラによって撮像された画像（理想画像）とのずれを算出する。ずれを小さくするようにカメラの設置位置や角度を調整する。
より詳細には、カメラの設置は、３次元の位置（Ｘ，Ｙ，Ｚ）と、カメラ光軸方向（ヨー角、ピッチ角、ロール角）の６つのパラメータで決まる。６つのパラメータで決まる位置及び角度で撮像した場合に得られる校正チャート（基準画像）と、実際のカメラで撮像された画像とを比較し、両者の差分を演算すること等により６つの成分のずれ量を求める。
しかしながら、車載カメラのような広角レンズカメラの場合、カメラのずれ量に対しての映像のずれ量が小さくなり、高精度の検出が難しくなる。また、算出方法も複雑になる。
校正チャートを用いずに、カメラの設置誤差を検出する方法もある。例えば、走行中に撮像した画像から求めた消失点に基づき、カメラの設置誤差を検出する方法がある。しかしながら、画像によっては消失点が存在しない場合もある。この場合、カメラの設置誤差を検出できない。
特許第５１７３５５１号公報 特許第６３５４４２５号公報
本開示は、撮像装置の設置誤差を簡単な処理で検出する信号処理装置、信号処理方法及び信号処理システムを提供する。
本開示の信号処理装置は、車両に設置された撮像装置により撮像された画像に基づき、オプティカルフローを検出するオプティカルフロー検出部と、前記オプティカルフローの情報に基づいて、前記撮像装置の姿勢の誤差量を算出する設置誤差算出部とを備える。
本開示の信号処理方法は、車両に設置された撮像装置により撮像された画像に基づき、オプティカルフローを検出し、前記オプティカルフローの情報に基づいて、前記撮像装置の姿勢の誤差量を算出する。
本開示の信号処理システムは、車両に設置された撮像部と、前記撮像部により撮像された画像に基づき、オプティカルフローを検出するオプティカルフロー検出部と、前記オプティカルフローの情報に基づいて、前記撮像部の姿勢の誤差量を算出する設置誤差算出部と、前記姿勢の誤差量と、前記撮像部により撮像された画像に基づき、表示用画像を生成する画像生成部と、前記表示用画像を表示する画像表示部とを備える。
本開示に係る信号処理システムの一例のブロック図。 図１の信号処理システム を搭載した車両を側面から示した図。 ｕｖｗ座標系を概念的に表す図。 カメラのロール軸方向に対応する仮想光軸Ａ１の例を示す図。 カメラのピッチ軸方向に対応する仮想光軸Ａ２と、ピッチ軸の負方向に対応する仮想光軸Ａ３の例を示す図。 カメラと、被写体との位置関係を平面的に示す図。 図６と同じ状態を車両の側方の斜め上方から見た図。 図６及び図７の状態でカメラにより撮像された画像の例を示す図。 図８の画像を検出用変換マップで変換したマップ変換画像の例を示す図。 オプティカルフローを検出する処理を説明するための図。 オプティカルフローを検出する処理を説明するための図。 複数のオプティカルフローを検出する例を示す図。 消失点が存在する画像の例と、消失点が存在しない画像の例を示す図。 カメラに設置誤差が無い場合のオプティカルフローの例を示す図。 カメラにヨー角及びピッチ角の設置誤差がある場合のオプティカルフローの例を示す図。 マップ変換画像Ｃ１と垂直中心線との位置関係の複数の例を示す図。 マップ変換画像Ｃ２と水平線との位置関係の複数の例を示す図。 マップ変換画像Ｃ３と水平線との位置関係の複数の例を示す図。 画像処理部が認識処理用に生成する処理画像の一例を示す図。 第１実施形態に係る信号処理システムの動作の一例のフローチャート。 第２実施形態に係る信号処理システムのブロック図。 第２実施形態に係る信号処理システムの動作の一例のフローチャート。
以下、図面を参照して、本開示の実施形態について説明する。本開示において示される１以上の実施形態において、各実施形態が含む要素を互いに組み合わせることができ、かつ、当該組み合わせられた結果物も本開示が示す実施形態の一部をなす。
（第１実施形態）
図１は、本開示の第１実施形態に係る信号処理システム１００の一例を示すブロック図である。図１の信号処理システム１００は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車等の車両に搭載されることができる。但し、本開示に係る技術は、ＡＧＶ（Automated Guided Vehicle）、パーソナルモビリティ、飛行機、ドローン、船舶、移動ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されることもできる。
図１の信号処理システム１００は、カメラ１と、画像表示部９と、信号処理装置１０１とを備えている。カメラ１及び画像表示部９の少なくとも一方が信号処理装置１０１に含まれていてもよい。信号処理装置１０１は、画像処理部２と、検出用変換マップ記憶部３と、オプティカルフロー検出部４と、設置誤差算出部５と、表示用変換マップ記憶部６と、マップ補正部７と、距離算出部８とを備えている。図１の信号処理システム１００の各構成は通信ネットワークにより接続されている。この通信ネットワークは、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）又はＦｌｅｘＲａｙ（登録商標）などの任意の規格に準拠した車載通信ネットワークであってよい。図１の構成要素２～８は、典型的にはＥＣＵ（Electronic Control Unit）で構成される。
図２は、図１の信号処理システム１００を搭載した車両を側面から示した例を示す。図１のカメラ１は、車両Ｅの後部に設置された車載カメラである。図１の画像表示部９は車両内の運転手から視認可能な位置に設けられている。但し、本開示に係る技術は有人自動車のみならず、無人自動車の場合にも適用可能である。この場合、画像表示部９が設けられない構成も可能である。以下、カメラ１の設置誤差について説明する。
カメラ１の光源から、車両の進行方向またはその逆方向に平行であり、車両の走行面３５に平行な線を水平線３４とする。水平線は仮想的な線であり、実際には存在しない線である。カメラ１は、水平線３４に対して俯角θ０で下方向を向くよう設置されている。俯角θ０は水平線３４と、カメラ１のカメラ光軸３２とがなす角度である。カメラ１が水平線３４に対して下方向を向くことで、車両Ｅのボディの一部が画面に表示されるため、車両の後退時に、車両Ｅと対象物との距離感が運転手にわかりやすくなる。但し、カメラ１が水平線３４に平行な方向を向いてもよいし、水平線３４に対して上方向を向いてもよい。カメラ１で撮像された画像は信号処理システム１００で搭乗者（運転手等のユーザ）に提示用の表示用画像に変換された後、画像表示部９に送られ、画像表示部９に表示される。
カメラ１が設計値通りに設置されている場合、カメラ１の設置誤差（位置及び角度のずれ量）はゼロである。カメラ１が設計値通りに設置されていない場合、カメラ１の設置位置又は角度の少なくとも一方にずれ量（ずれ量のことを誤差量と呼ぶ）が生じる。カメラ１の設置位置の誤差は、水平方向、前後方向、鉛直方向（ｘ軸、ｙ軸、ｚ軸）により規定される実座標系における位置の誤差として表れる。設置角度の誤差は、ｕｖｗ座標系における、ピッチ角（θｕ）、ヨー角（θｖ）、及びロール角（θｗ）の少なくとも１つの誤差として表れる。本実施形態では主としてピッチ角又はヨー角の誤差がある場合を記載する。
図３を参照して、ｕｖｗ座標系について説明する。図３は、ｕｖｗ座標系を概念的に表す図である。カメラ１の光源を中心として３次元のｕｖｗ座標系が定義される。実座標系を規定する水平方向、前後方向、鉛直方向（ｘ軸、ｙ軸、ｚ軸）を、実座標系内においてカメラ１の各軸周りの傾きだけ各軸周りにそれぞれ傾けることによって得られる３つの方向を、カメラ１におけるｕｖｗ座標系のピッチ軸（ｕ軸）、ヨー軸（ｖ軸）、およびロール軸（ｗ軸）とする。本実施形態では、カメラ１が設計値通りに設置された場合に、カメラ１の光源から見て、車両の進行方向に平行でかつ走行面に平行な方向が、ｕｖｗ座標系のロール軸方向に対応する。ピッチ角（θｕ）は、ピッチ軸周りのカメラ１の傾き角度を表す。ヨー角（θｖ）は、ヨー軸周りのカメラ１の傾き角度を表す。ロール角（θｗ）は、ロール軸周りのカメラ１の傾き角度を表す。設置されたカメラ１の俯角θ０が４０度場合、ピッチ角は４０度となる。ピッチ角の設計値が４０度で、実際のピッチ角が４３度のとき、ピッチ角のずれ量が３度である。ヨー角等についても同様にしてずれ量が定義される。
カメラ１が設計値通り、例えばカメラ１は俯角４０度で、ヨー角及びロール角が０度で、車両Ｅの後部中心に走行面からの高さ１ｍの位置に設置されているとする。この場合、車両の進行方向に平行でかつ走行面に平行な方向が、カメラ１のロール軸方向に一致する。当該ロール軸方向に直交しかつ走行面に平行な２つの方向の一方がピッチ軸方向、他方がピッチ軸の負方向に対応する。カメラ１の設置角度（例えばピッチ角）が設計値と３度ずれた場合、カメラ１におけるピッチ軸が、設計値通りにカメラ１が設置された場合のピッチ軸（車両の進行方向に平行でかつ走行面に平行な方向）に対して、３度ずれることになる。
以上、カメラ１の設置誤差について説明した。以下、図１の信号処理システム１００について詳細に説明する。
図１のカメラ１は、車両Ｅの後方を含む周囲の環境を撮像する撮像装置又は撮像部である。カメラ１は、撮像により画素（ピクセル）ごとに輝度情報を含む画像データを取得する。カメラ１は、例えば、ＲＧＢカメラ、モノクロカメラ、赤外線などであるが、これらに限定されない。カメラ１は、単眼カメラでも、複眼カメラでもよい。本例では、カメラ１は広角レンズを用いた単眼のＲＧＢカメラを想定する。カメラ１は撮像した画像を画像処理部２に提供する。具体的には、カメラ１は一定のサンプリングレートで撮像を行い、時系列の複数のフレームの画像を画像処理部２に順次提供する。
画像処理部２は、カメラ１に接続されており、カメラ１から一定時間毎に提供される複数のフレームの画像（時系列の画像）を受け取り、受け取った画像を処理する。画像処理部２は、受け取った画像を３つの方向の３つの視点（仮想光軸）の画像に変換する。具体的には以下の通りである。
画像処理部２は、受け取った画像を、第１視点の画像に変換する。第１視点は、ロール軸方向の視点であり、ピッチ角０度、ヨー角０度の方向の視点である。つまり、ロール軸方向に延びる仮想光軸（仮想光軸Ａ１とする）を定義した場合に、カメラ光軸３２（図２参照）の方向の画像を、仮想光軸Ａ１の方向の画像に変換する。
図４は、カメラ１の光源からロール軸方向（ピッチ角０度、ヨー角０度の方向）に延びる仮想光軸Ａ１の例を示す。仮想光軸Ａ１は、仮にカメラ１にピッチ角（俯角）の設置誤差がなかった場合、車両の進行方向に平行で、かつ走行面に平行な方向に対応する軸である。すなわちこの場合、仮想光軸Ａ１は図２の水平線３４に平行である。しかしながら、仮にピッチ角（俯角）の誤差がある場合は、仮想光軸Ａ１は水平線３４に対して誤差に応じた角度だけ傾くことになる。
また、画像処理部２は、カメラ１から受けた画像を、第２視点の画像に変換する。第２視点は、ピッチ角０度、ヨー角９０度（ヨー角９０度はピッチ軸の正方向に対応する）の方向の視点である。つまり、ピッチ軸方向に延びる仮想光軸（仮想光軸Ａ２とする）を定義した場合に、カメラ光軸３２の方向の画像を、仮想光軸Ａ２の方向の画像に変換する。
図５は、カメラ１の光源からピッチ軸方向（ピッチ角０度、ヨー角９０度の方向）に延びる仮想光軸Ａ２の例を示す。図５には車両を後方から見た状態が示されている。仮想光軸Ａ２は、仮にカメラ１にヨー角の設置誤差がなかった場合、車両の進行方向に垂直で、かつ走行面に平行な方向の軸である。すなわちこの場合、仮想光軸Ａ２は図２の水平線３４に垂直で、かつ走行面に平行である。しかしながら、仮にヨー角に誤差がある場合は、仮想光軸Ａ２は車両の進行方向に垂直な方向に対して、誤差に応じた角度だけ傾く。
また、画像処理部２は、カメラ１から受けた画像を、第３視点の画像に変換する。第３視点は、ピッチ角０度、ヨー角－９０度（－９０度はピッチ軸の負方向に対応する）の方向の視点である。つまり、ピッチ軸負方向に延びる仮想光軸（仮想光軸Ａ３とする）を定義した場合に、カメラ光軸３２の方向の画像を、仮想光軸Ａ３の方向の画像に変換する。
上述の図５には、カメラ１の光源からピッチ軸負方向（ピッチ角０度、ヨー角－９０度の方向）に延びる仮想光軸Ａ３の例が示される。仮想光軸Ａ３は、仮にカメラ１にヨー角の設置誤差がなかった場合、車両の進行方向に垂直で、かつ走行面に平行な方向の軸である。すなわちこの場合、仮想光軸Ａ３は図２の水平線３４に垂直で、かつ走行面に平行である。しかしながら、仮にヨー角に誤差がある場合は、仮想光軸Ａ３は車両の進行方向に垂直な方向に対して、誤差に応じた角度だけ傾く。
なお、上述した第２視点及び第３視点の定義を逆にしてもよい。すなわち第２視点を仮想光軸Ａ３に対応する視点、第３視点を仮想光軸Ａ２に対応する視点としてもよい。
画像処理部２は、カメラ１の撮像画像を上述の３つの視点（３つの仮想光軸Ａ１，Ａ２，Ａ３）の画像に変換するために、検出用変換マップ記憶部３に記憶された検出用変換マップＭ１，Ｍ２，Ｍ３を用いる。
検出用変換マップ記憶部３は、検出用変換マップＭ１～Ｍ３を記憶している。検出用変換マップＭ１は、カメラ１の画像を第１視点（仮想光軸Ａ１）の画像に変換（画像幾何学変換）するための変換情報である。検出用変換マップＭ２は、カメラ１の画像を第２視点（仮想光軸Ａ２）の画像に変換するための変換情報である。検出用変換マップＭ３は、カメラ１の画像を第３視点（仮想光軸Ａ３）の画像に変換するための変換情報である。検出用変換マップ記憶部３は、メモリ装置、ハードディスク、又は光ディスク等の記録媒体である。メモリ装置は不揮発性メモリでも、揮発性メモリでもよい。
検出用変換マップＭ１は、カメラ１の画像のどの画素（ピクセル）を、仮想光軸Ａ１の方向の画像のどの画素にマッピングするかを定めている。画素間のマッピングは１対１でもよいし、カメラ１の画像における複数の画素を、仮想光軸Ａ１の方向の画像の１つの画素にマッピングしてもよい。この場合、例えば複数の画素の値の演算値（例えば複数の画素にフィルタを乗じて得られる値）を、１つの画素にマッピングする。検出用変換マップＭ１はルックアップテーブル等の変換前の画素値と変換後の画素値とを対応づけた対応情報でもよい。または、検出用変換マップＭ１は、カメラ１の画像における１つ以上の画素の値を入力とし、仮想光軸Ａ１の方向の画像における１つの画素の値を出力する関数（変換関数）でもよい。検出用変換マップＭ１は、例えば、カメラ１のパラメータ（外部パラメータ及び内部パラメータ）に基づく画像幾何変換（例えばアフィン変換）を利用して生成できる。検出用変換マップＭ２及び検出用変換マップＭ３についても、検出用変換マップＭ１と同様にして生成できる。
画像処理部２は、検出用変換マップ記憶部３から検出用変換マップＭ１を読み出し、検出用変換マップＭ１に基づいて、カメラ１の撮像画像を第１視点の画像（仮想光軸Ａ１の方向の画像）に変換する。同様に、画像処理部２は、検出用変換マップ記憶部３から検出用変換マップＭ２を読み出し、検出用変換マップＭ２に基づいて、カメラ１の撮像画像を第２視点の画像（仮想光軸Ａ２の方向の画像）に変換する。さらに、画像処理部２は、検出用変換マップ記憶部３から検出用変換マップＭ３を読み出し、検出用変換マップＭ３に基づいて、カメラ１の撮像画像を、第３視点の画像（仮想光軸Ａ３の方向の画像）に変換する。
以下、検出用変換マップＭ１で変換した画像（仮想光軸Ａ１の方向の画像）のことをマップ変換画像Ｃ１、検出用変換マップＭ２で変換した画像（仮想光軸Ａ２の方向の画像）のことをマップ変換画像Ｃ２、検出用変換マップＭ３で変換した画像（仮想光軸Ａ３の方向の画像）のことをマップ変換画像Ｃ３と記載する。
以下、図６～図９を用いて、画像処理部２の動作を具体的に説明する。
図６は、カメラ１と、被写体となる８本の円柱Ｐ１～Ｐ８との位置関係を平面的に示す図である。
図７は、図６と同じ状態を車両Ｅの側方の斜め上方から見た図である。
車両Ｅが前進する場合を想定し、車両Ｅの進行方向の逆方向をｙ軸正方向とする。走行面に平行で、ｙ軸に直交し、車両Ｅから見て右９０度側の方向をｘ軸負方向とする。走行面に平行で、ｙ軸に直交し、車両Ｅから見て左９０度側の方向をｘ軸正方向とする。カメラ１の光源位置をｘｙ座標系の原点としたとき、（－３，０）、（－３，１）、（－３，２）、（－１，３）、（０，３）、（１，３）、（３，０）、（３，１）、（３，２）の位置（単位は［ｍ］）に、円柱Ｐ１～Ｐ８が配置されている。円柱Ｐ１～Ｐ８は、例えば、直径２０［ｃｍ］、高さ２［ｍ］である。
図８は、図６及び図７の状態でカメラ１により撮像された画像の例を示す。この画像は、圧縮符号化等の処理をされていない高画質な生画像データ（raw image data）の画像である。カメラ１設置の設計値として、カメラ１の高さは例えば、車両Ｅの後方部中心に走行面から１［ｍ］の高さで、姿勢はロール角（俯角）が４０度、ヨー角は０度である。図８の例の画像は、カメラ１が設計値通りに設置されている場合に得られたものである。カメラ１に広角レンズを用いているため、全体として歪みのある画像となっている。図８の画像において、４隅の領域Ｂ１～Ｂ４は、カメラ１の撮像範囲外の領域であり、特定の色になっている。
図９は、図８の画像を検出用変換マップＭ１～Ｍ３で変換して得られたマップ変換画像Ｃ１～Ｃ３の例を示す。マップ変換画像Ｃ１は、図８の画像を第１視点（仮想光軸Ａ１）の方向に変換した画像である。マップ変換画像Ｃ２は、図８の画像を第２視点（仮想光軸Ａ２）の方向に変換した画像である。マップ変換画像Ｃ３は、図８の画像を第３視点（仮想光軸Ａ３）の方向に変換した画像である。それぞれ変換時に図８の画像の歪みは除去されている。この歪みの除去は、検出用変換マップＭ１～Ｍ３に反映させられている。
図１のオプティカルフロー検出部４は、画像処理部２に接続されており、画像処理部２からマップ変換画像Ｃ１～Ｃ３を受け取り、マップ変換画像Ｃ１～Ｃ３のそれぞれについてオプティカルフローを検出する。具体的には、オプティカルフロー検出部４は、時系列的の複数のマップ変換画像Ｃ１を用いて、マップ変換画像Ｃ１からオプティカルフローを検出する。同様に、オプティカルフロー検出部４は、時系列の複数のマップ変換画像Ｃ２を用いて、マップ変換画像Ｃ２からオプティカルフローを検出する。オプティカルフロー検出部４は、時系列の複数のマップ変換画像Ｃ３を用いて、マップ変換画像Ｃ３からオプティカルフローを検出する。
オプティカルフローとは、時系列的に前後する画像の対応する各点の移動量を示すベクトルである。
図１０及び図１１はオプティカルフローを検出する処理を説明するための図である。図９には現在フレームの画像５１と画像５１内の点Ｋとが示される。点Ｋは画像５１内の任意のオブジェクト又はオブジェクトの一部を表す。図１１には、現在フレームより時間Ｔ１前に取得された過去フレームの画像５２と、現在フレームより時間Ｔ１前の位置の点Ｋとが示される。図１０及び図１１において、画像の上方向にＶ軸をとり、画像の右方向にＵ軸をとる。また、画像の中心をＵ軸およびＶ軸の原点とする。オプティカルフローを検出する処理は、画像５１内の点が画像５２中のどこから移動したかを探索することで行われる。
画像５２から画像５１にかけて点Ｋが、図１０に示すように移動したとする。画像５２での点Ｋの位置が（ｕ－Δｕ，ｖ－Δｖ）であり、画像５１では点Ｋの位置が（ｕ，ｖ）である。この画像５１における点Ｋの位置と画像５２における点Ｋの位置の差である（Δｕ，Δｖ）が、画像５１の点Ｋにおけるオプティカルフローとなる。すなわち、画像５１の点（ｕ，ｖ）はオプティカルフローの終点であり、画像５２の位置（ｕ－Δｕ，ｖ－Δｖ）に対応する画像５１上の位置（ｕ－Δｕ，ｖ－Δｖ）はオプティカルフローの始点ともいえる。図１０及び図１１では２つの画像を用いて説明したが３つ以上の画像を用いることで、３つ以上の点の隣接する点間のベクトルの集合をオプティカルフローとして検出してもよい。
オプティカルフロー検出部４は、マップ変換画像ＣＸ（Ｘは１～３の整数）について、画像ＣＸ内の１つ又は複数の点のオプティカルフローを検出する。オプティカルフローの検出対象となる点は、オブジェクトとして（追跡対象として）認識可能であれば何でもよい。
図１２は、画像５３において複数のオプティカルフローを検出した例を示す。画像内に内側に向かう複数のオプティカルフロー（図の例では６個のオプティカルフロー）が示される。複数のオプティカルフローは、画像５３の水平方向（Ｕ軸方向）における中心を通り、Ｖ軸に平行な線上に収束する。複数のオプティカルフローが収束する点は消失点ＰＯに相当する。消失点ＰＯは、各オプティカルフローを終点側に延長した直線が交差する点ともいえる。
設置誤差算出部５は、オプティカルフロー検出部４に接続されており、マップ変換画像Ｃ１～Ｃ３のそれぞれについて、オプティカルフロー検出部４によって検出されたオプティカルフローの情報を取得する。設置誤差算出部５は、取得した情報を用いて、カメラ１の姿勢の誤差量を算出する。具体的には、設置誤差算出部５は、ピッチ角のずれ量（ピッチ角の誤差量）、及びヨー角のずれ量（ヨー角の誤差量）を算出する。以下、設置誤差算出部５の動作について詳細に説明する。
［ヨー角のずれ量の算出］
設置誤差算出部５は、マップ変換画像Ｃ１から検出されたオプティカルフローの情報に基づき、カメラ１の設置の設計値に対するヨー角のずれ量（ヨー角の誤差量）を算出する。カメラ１が設計値通りに設置されている状態で、車両が前進（直進）した場合、マップ変換画像Ｃ１には、マップ変換画像Ｃ１の水平方向の中心を通る垂直線（以下、垂直中心線）上の点に収束するオプティカルフローが生じる。より詳細には、マップ変換画像Ｃ１内の点は垂直中心線上の消失点に収束する。なお、消失点はマップ変換画像Ｃ１に含まれるとは限られず、マップ変換画像Ｃ１に消失点が含まれない場合（マップ変換画像Ｃ１の外側にある場合）もあり得る。
図１３（Ａ）は消失点が存在する画像の例、図１３（Ｂ）は消失点が存在しない画像の例を示す。例えば、カメラの垂直画角が狭い場合、あるいはカメラの俯角が大きい場合などに消失点が存在しないことが起こり得る。なお、図１３（Ａ）及び図１３（Ｂ）の画像は、カメラ１の撮像画像を変換する前の広角画像データ（高精細生画像データ）による画像である。
設置誤差算出部５は、マップ変換画像Ｃ１においてオプティカルフローが収束する水平方向の位置（オプティカルフローが収束する垂直線）を算出する。設置誤差算出部５は、算出した水平方向の位置と、水平方向の中心位置との距離（すなわち垂直線と垂直中心線との距離）を算出する。距離は、例えば算出した垂直線のＵ軸の座標と、垂直中心線のＵ軸座標との差分により算出される。算出した差分はヨー角のずれ量に対応する。このようにマップ変換画像Ｃ１におけるオプティカルフローの収束線（垂直線）は、ヨー角のずれ量分、画像の垂直中心線からシフトする。算出した距離が０のときは、ヨー角の誤差が無い場合に相当する。設置誤差算出部５は、距離に応じたヨー角のずれ量を算出する。例えば、画像上の水平方向のずれ量（画素数）をΔH、画像全体の水平方向出力サイズをH、出力水平画角をAとした場合、ヨー角のずれ量Δyawは、以下の関係式（１）から計算できる。
tan（Δyaw）／tan（A/2）=ΔH／H （１）
ここでは関係式を用いてヨー角のずれ量を算出したが、水平方向出力サイズ及び出力水平画角Ａが予め決められている場合は、距離とヨー角のずれ量とを対応づけたルックアップテーブル等の情報を用いて、ヨー角のずれ量を算出してもよい。
オプティカルフローが収束する垂直線を算出する方法として、マップ変換画像Ｃ１内でＵ軸に直交する（Ｖ軸に平行な）オプティカルフローを検出し、検出したオプティカルフローのＵ軸座標を垂直線の水平方向の位置としてもよい。あるいは、検出された１つ以上のオプティカルフローから垂直線の水平方向の位置を推定してもよい。例えば１つ以上のオプティカルフローを入力とし、収束する垂直線のＵ軸座標を出力とする学習済みのニューラルネットワークを用いてもよい。他の方法を用いて、オプティカルフローが収束する垂直線を算出してもよい。
［ピッチ角のずれ量の算出］
設置誤差算出部５は、マップ変換画像Ｃ２から検出されたオプティカルフローの情報に基づき、カメラ１設置の設計値に対するピッチ角のずれ量（ピッチ角の誤差量）を算出する。カメラ１が設計値通りに設置されている状態で、車両が前進した場合、マップ変換画像Ｃ２には、マップ変換画像Ｃ２にＵ軸に平行（Ｖ軸に垂直）なオプティカルフローが生じる。
設置誤差算出部５は、マップ変換画像Ｃ２から算出されたオプティカルフローのＵ軸に対する傾きを算出する。算出した傾きが０である場合、ピッチ角のずれ量は０（誤差が無い場合）に相当する。設置誤差算出部５は、傾きに応じたピッチ角のずれ量を算出する。すなわち、マップ変換画像Ｃ２のオプティカルフローは、ピッチ角のずれ量分傾くため、その傾きを検出することで、ピッチ角のずれ量を求めることができる。なお、出力画像の縦横のスケール（アスペクト）が異なる場合は、アスペクト比を考慮して換算すればよい。ピッチ角のずれ量を算出するために、設置誤差算出部５は、傾きとピッチ角のずれ量とを対応づけたルックアップテーブル等の対応情報を用いてもよい。または、傾きを入力としてピッチ角のずれ量を出力とする関数を用いてもよい。傾きの算出に用いるオプティカルフローは１つでも複数でもよい。複数の場合、複数のオプティカルフローの傾きの統計値（最大値、最小値、平均値等）を用いて、ずれ量を算出してもよい。またはオプティかフローごとにずれ量を算出し、算出したずれ量の統計値（最大値、最小値、又は平均値等）を採用してもよい。複数のオプティカルフローを用いることで、傾き算出の精度を向上させることができる。
設置誤差算出部５は、マップ変換画像Ｃ３についてもマップ変換画像Ｃ２と同様にして、ピッチ角のずれ量（ピッチ角の誤差量）を算出する。すなわち、マップ変換画像Ｃ３から算出されたオプティカルフローのＵ軸に対する傾きを算出する。設置誤差算出部５は、傾きに応じたピッチ角のずれ量を算出する。
設置誤差算出部５は、マップ変換画像Ｃ２及びマップ変換画像Ｃ３に対して算出したピッチ角のずれ量に基づき、ピッチ角のずれ量を最終的に決定する。例えばピッチ角のずれ量の大きい方又は小さい方を採用する。また両方のピッチ角の平均又は加重平均を採用してもよい。マップ変換画像Ｃ２及びマップ変換画像Ｃ３の両方を用いてピッチ角のずれ量を算出したが、いずれか一方のみからピッチ角のずれ量を算出してもよい。これにより演算量を低減できる。一方、両方を用いてピッチ角のずれ量を算出することで、算出の精度を向上させることができる。
以下、図１４～図１８を用いて、ヨー角のずれ量及びピッチ角のずれ量の算出方法の具体例を説明する。
図１４（Ａ）～図１４（Ｃ）は、カメラ１に設置誤差が無い場合に、前進する車両Ｅのカメラ１の撮像画像から得られたマップ変換画像Ｃ１～Ｃ３と、それぞれから検出されたオプティカルフローの例を示す。マップ変換画像Ｃ１ではオプティカルフローが垂直中心線ＣＬ上に収束している。マップ変換画像Ｃ２，Ｃ３ではオプティカルフローが画像水平方向（Ｕ軸）に平行になっている。このように図１４に示した例では、ピッチ角のずれ量及びヨー角のずれ量はいずれも０である。
図１５（Ａ）～図１５（Ｃ）は、カメラ１にヨー角３度及びピッチ角３度の設置誤差がある場合に、前進する車両Ｅのカメラ１の撮像画像から得られたマップ変換画像Ｃ１～Ｃ３と、それぞれから検出されたオプティカルフローの例を示す。マップ変換画像Ｃ１において垂直中心線ＣＬからずれた位置の垂直線ＥＬにオプティカルフローが収束している。この場合、垂直線ＥＬのＵ座標（水平位置）と、垂直中心線ＣＬのＵ座標（水平位置）との差ΔＨに応じたヨー角のずれ量が設置誤差算出部５によって算出される。マップ変換画像Ｃ２において水平線ＨＬ１からθ１だけ傾いたオプティカルフローが検出されている。この場合、傾きθ１に応じたピッチ角のずれ量が、設置誤差算出部５によって算出される。マップ変換画像Ｃ３において水平線ＨＬ２からθ２だけ傾いたオプティカルフローが検出されている。この場合、傾きθ２に応じたピッチ角のずれ量が、設置誤差算出部５によって算出される。
図１６は、（Ａ）設置誤差が無い場合、（Ｂ）ピッチ角３度の設置誤差がありヨー角に誤差はない場合、（Ｃ）ヨー角に３度の誤差がありピッチ角に誤差は無い場合、（Ｄ）ピッチ角３度及びヨー角３度の誤差がある場合のそれぞれにおいて、マップ変換画像Ｃ１と垂直中心線ＣＬとの位置関係を示す。図１６（Ａ）の設置誤差が無い場合、及び図１６（Ｂ）のピッチ角にずれがある場合、垂直中心線ＣＬと、オプティカルフロー（図示せず）の収束する垂直線（収束線）は一致する。図１６（Ｃ）のヨー角に誤差がある場合、及び図１６（Ｄ）のヨー角とピッチ角の双方に誤差がある場合、オプティカルフローの収束先は垂直中心線ＣＬからずれる。このようにマップ変換画像Ｃ１ではピッチ角の影響を受けずに、ヨー角のずれを独立して検出可能である。
図１７は、（Ａ）設置誤差が無い場合、（Ｂ）ヨー角３度の設置誤差がありピッチ角に誤差はない場合、（Ｃ）ピッチ角に３度の誤差がありヨー角に誤差は無い場合、（Ｄ）ヨー角３度及びピッチ角３度の誤差がある場合のそれぞれにおいて、マップ変換画像Ｃ２と水平線ＨＬ１との位置関係を示す。図１７（Ａ）の設置誤差が無い場合、及び図１７（Ｂ）のヨー角にずれがある場合、水平線ＨＬ１と、オプティカルフロー（図示せず）は平行である。一方、図１７（Ｃ）のピッチ角に誤差がある場合、図１７（Ｄ）のヨー角とピッチ角の双方に誤差がある場合、オプティカルフローは水平線ＨＬ１に対して誤差に応じた角度だけ傾く。このようにマップ変換画像Ｃ２ではヨー角の影響を受けずに、ピッチ角のずれを独立して検出可能である。
図１８は、（Ａ）設置誤差が無い場合、（Ｂ）ヨー角３度の設置誤差がありピッチ角に誤差はない場合、（Ｃ）ピッチ角に３度の誤差がありヨー角に誤差は無い場合、（Ｄ）ヨー角３度及びピッチ角３度の誤差がある場合のそれぞれにおいて、マップ変換画像Ｃ３と水平線ＨＬ２との位置関係を示す。図１８（Ａ）の設置誤差が無い場合、及び図１８（Ｂ）のヨー角にピッチ角にずれがある場合、水平線ＨＬ２と、オプティカルフロー（図示せず）は平行である。一方、図１８（Ｃ）のピッチ角に誤差がある場合、図１８（Ｄ）のヨー角とピッチ角の双方に誤差がある場合、オプティカルフローは水平線ＨＬ２に対して誤差に応じた角度だけ傾く。このようにマップ変換画像Ｃ３ではヨー角の影響を受けずに、ピッチ角のずれを独立して検出可能である。
設置誤差算出部５は、算出した姿勢の誤差量、すなわち、ヨー角のずれ量及びピッチ角のずれ量に関する情報を含む設置誤差情報を、マップ補正部７及び距離算出部８に提供する。
表示用変換マップ記憶部６は、カメラ１の撮像画像を画像表示部９の表示用画像に変換するための変換情報である表示用変換マップを記憶している。表示用変換マップは、車両後退時（駐停車時等）に画像を表示する場合、又は車両前進時に後方の画像を表示する場合など、用途に応じて複数記憶されていてもよい。表示用変換マップ記憶部６は、メモリ装置、ハードディスク、又は光ディスク等の記録媒体である。メモリ装置は不揮発性メモリでも、揮発性メモリでもよい。
表示用変換マップは、カメラ１の撮像画像のどの画素（ピクセル）を、表示用画像のどの画素にマッピングするかを定めている。表示用変換マップは、例えば、カメラ１のパラメータ（外部パラメータ及び内部パラメータ）に基づく画像幾何変換を利用して生成できる。表示用変換マップは、カメラ１が設計値通りに設置された場合（カメラ１のピッチ角及びヨー角等にずれがない場合）を想定して作成されている。表示用変換マップによる画素間のマッピングは１対１でもよいし、カメラ１の撮像画像の複数の画素を、表示用画像の１画素にマッピングしてもよい。表示用変換マップはルックアップテーブルでもよいし、カメラ１の画像における１つ以上の画素の値を入力とし、表示用画像における１つの画素の値を出力する関数でもよい。
マップ補正部７は、表示用変換マップ記憶部６と設置誤差算出部５とに接続されている。マップ補正部７は、表示用変換マップ記憶部６に記憶されている表示用変換マップを読み出し、設置誤差算出部５から設置誤差情報（ピッチ角のずれ量、ヨー角のずれ量の情報）を取得する。マップ補正部７は、設置誤差情報に基づき、表示用変換マップを補正し、補正した表示用変換マップを表示用変換マップ記憶部６に書き込む。例えばカメラ１の撮像画像と表示用画像との間で１対１のマッピングを行う場合、ずれ量に応じた分の画素数だけマッピング先を変えることにより表示用変換マップを補正する。表示用変換マップがピッチ角及びヨー角をパラメータとして含む関数である場合、関数のパラメータを設置誤差情報で更新することにより、表示用変換マップを補正する。これにより、例えばカメラ１の俯角（ピッチ角）の設計値が４０度であり、実際のカメラ１の俯角が４５度であった場合でも、俯角が４０度で設置された場合と同等の画像を表示できる。
画像処理部２は、表示用変換マップ記憶部６から補正された表示用変換マップを読み出し、読み出した表示用変換マップに基づいて、カメラ１の撮像画像を表示用の画像に変換する。画像処理部２は、変換された画像を画像表示部９に提供する。画像表示部は、画像処理部２に接続されており、画像処理部２から提供された画像を画面に表示する。表示された画像は、車両の搭乗者（運転手等のユーザ）に視認される。例えば車両の後退時に、後方下部を含む周囲の環境の画像を表示する。車両の搭乗者は、カメラ１の設置に誤差があった場合でも、設置誤差に起因する画像のずれが補正された画像を視認できる。
距離算出部８は、設置誤差算出部５に接続されており、設置誤差算出部５によって算出された設置誤差情報（ピッチ角のずれ量、ヨー角のずれ量の情報）を取得する。また、距離算出部８は、画像処理部２に接続されており、画像処理部２から認識処理用の画像を取得する。画像処理部２は、カメラ１で撮像された画像に基づき、認識処理用の画像を生成する。画像処理部２は、例えば、カメラ１で撮像された画像を、所望の視点の画像に変換し、変換した画像に、画像中の物体を認識しやすくするための画像処理を行うことで、処理画像を生成する。画像処理の例として、自動露出制御、自動ホワイトバランス調整、ハイダイナミックレンジ合成などがある。所望の視点は、前述した第１視点～第３視点の少なくとも１つと同じでもよいし、これらとは別の視点でもよい。また、カメラ１の撮像画像を視点変換せずに、認識処理用に用いてもよい。また画像処理部２は画像表示部９に表示用の画像を認識処理用の処理画像として流用してもよい。
距離算出部８は、処理画像に対して、認識処理を行うことで画像中の物体を認識する。認識対象とする物体は、３次元のもの、２次元のものいずれでもよい。例えば、車両、歩行者、障害物、信号機、交通標識、道路の車線（レーン）、歩道の縁石などがある。
距離算出部８は、処理画像中の物体に関する物体情報として、物体までの距離を算出する。その他、距離算出部８は、物体情報として、物体の形状、物体の位置、物体の方向、物体の移動方向及び移動速度等の少なくとも１つを算出してもよい。距離算出部８、時間的に連続する複数の処理画像を用いて物体情報を算出してもよい。
距離算出部８による物体までの距離の算出方法の一例として、対象物である他車両との車間距離を算出する方法について説明する。
図１９は、画像処理部２が認識処理用に生成する処理画像Ｇの一例を示している。処理画像Ｇには、他車両ＭＦと、走行レーンを規定する２本の車線Ｌ１，Ｌ２と、が示されている。
まず、処理画像Ｇ中で２本の車線Ｌ１，Ｌ２が交わる消失点Ｖを求める。なお、消失点Ｖは、車線Ｌ１，Ｌ２によらずに、他の物体から求めてもよい。例えば、歩道の縁石や、複数の処理画像における交通標識などの固定物の移動軌跡などを用いて消失点Ｖを求めることもできる。
次に、処理画像の下縁部Ｇ１から消失点Ｖまでの距離Ｄ０（画像における上下方向の寸法）と、処理画像の下縁部Ｇ１から他車両ＭＦまでの距離Ｄ１（画像における上下方向の寸法）と、を求める。他車両ＭＦとの車間距離は、例えば、距離Ｄ０、Ｄ１間の比率を用いて求めることができる。距離Ｄ０、Ｄ１間の比率に加えて、車線Ｌ１、Ｌ２間の実距離、処理画像Ｇにおける車線Ｌ１、Ｌ２の角度を用いてもよい。車間距離を算出する際、距離算出部８は、設置誤差情報（ピッチ角のずれ量、ヨー角のずれ量の情報）に基づき対象物の位置を補正し、補正後の位置の対象物に対して、距離を算出する。あるいは、距離算出部８は、設置誤差情報を用いずに算出した対象物までの距離を、設置誤差情報に基づき補正してもよい。車線Ｌ１、Ｌ２間の実距離は、高精度地図情報を用いて算出してもよいし、予め車線Ｌ１、Ｌ２間の実距離の情報が与えられていてもよい。高精度地図情報は外部のサーバから無線又は有線の通信で取得してもよいし、距離算出部８からアクセス可能な記憶部に高精度地図情報が記憶されていてもよい。
距離算出部８は、算出した距離を、後段の処理部（後述する図２１参照）に出力する。算出した距離は、車両Ｅの自動運転制御又は運転補助等に用いることができる。運転補助機能とは、典型的には、衝突回避、衝撃緩和、追従走行（車間距離の維持）、車速維持走行、衝突警告、レーン逸脱警告などを含むＡＤＡＳ（Advanced Driver Assistance System）の機能である。
撮像画像中の対象物の画素位置に基づいて対象物との距離を算出する場合に、カメラの設置角度が設計値からずれた画像を用いると、対象物の検出位置がずれてしまい、算出される距離の精度が悪くなることがある。本実施形態では、設置誤差情報に基づき物体までの距離を算出することで、算出する距離の精度を高くできる。
図２０は、信号処理システム１００の動作の一例のフローチャートである。図２０のフローチャートのステップの順序は一例であり、ステップの順序が入れ替わってもよい。例えばステップＳ４，Ｓ５の順序を入れ替えてもよい。ステップＳ６，Ｓ７の順序を入れ替えてもよい。
ステップＳ１において、車両Ｅの走行中、カメラ１が一定のサンプリングレートで画像を撮像し、撮像した画像を画像処理部２に提供する。
ステップＳ２において、画像処理部２は、検出用変換マップ記憶部３に記憶されている検出用変換マップＭ１～Ｍ３を用いて、カメラ１の撮像画像を３つの視点の画像（仮想光軸Ａ１～Ａ３の方向の画像）に変換することにより、マップ変換画像Ｃ１～Ｃ３を得る。
ステップＳ３において、オプティカルフロー検出部４は、時系列のマップ変換画像Ｃ１からオプティカルフローを検出し、時系列のマップ変換画像Ｃ２からオプティカルフローを検出し、時系列のマップ変換画像Ｃ３からオプティカルフローを検出する。
ステップＳ４、Ｓ５において、設置誤差算出部５は、マップ変換画像Ｃ１～Ｃ３から検出されたオプティカルフローを用いて姿勢の誤差量を算出する。具体的には、まずステップＳ４において、設置誤差算出部５は、マップ変換画像Ｃ１から検出したオプティカルフローを用いて、ヨー角のずれ量を算出する。例えば画像Ｃ１において垂直方向のオプティカルフローを検出し、検出したオプティカルフローの水平座標（Ｕ軸座標）と、画像Ｃ１の垂直中心線の座標との差分を算出する。設置誤差算出部５は、差分に応じたヨー角のずれ量を算出する。
続くステップＳ５において、設置誤差算出部５は、マップ変換画像Ｃ２から検出したオプティカルフローを用いて、ピッチ角のずれ量を算出する。例えば画像Ｃ２において検出されたオプティカルフローの水平方向に対する傾き（角度）を算出し、傾きに応じたピッチ角のずれ量を算出する。設置誤差算出部５は、マップ変換画像Ｃ３についてもマップ変換画像Ｃ２と同様にして、ピッチ角のずれ量を算出する。設置誤差算出部５は、算出した２つのずれ量に基づき、最終的なピッチ角のずれ量を決定する。例えば２つのずれ量の平均値、最小値又は最大値等の値を決定する。なお、画像Ｃ２、Ｃ３のいずれか一方のみからオプティカルフローを検出し、ピッチ角のずれ量を算出してもよい。これにより設置誤差算出部５の演算量を低減し、処理時間を短くできる。
ステップＳ６において、マップ補正部７は、姿勢の誤差量（ピッチ角のずれ量、ヨー角のずれ量の情報）に基づき、表示用変換マップ記憶部６に記憶されている表示用変換マップを補正する。画像処理部２は、補正された表示用変換マップに基づいて、カメラ１の撮像画像を表示用の画像に変換する。画像表示部９は、画像処理部２により変換された画像を受け取り、画像を表示する。これにより、車両の搭乗者は、カメラ１の設置に誤差があった場合でも、設置誤差に起因する画像のずれが補正された画像を視認できる。
ステップＳ７において、画像処理部２は、カメラ１で撮像された画像に基づき、認識処理用の処理画像を生成する。距離算出部８は、画像処理部２から認識処理用の処理画像を取得し、認識処理を行うことで画像中の物体を認識する。距離算出部８は、設置誤差算出部５により算出された姿勢の誤差量の情報（設置誤差情報）を取得し、設置誤差情報に基づき、処理画像中の物体までの距離を算出する。例えば、距離算出部８は、設置誤差情報を用いずに処理画像中の物体までの距離を算出した後、算出した距離を設置誤差情報に基づき補正する。あるいは、距離算出部８は、処理画像を設置誤差情報に基づき補正した後、補正後の処理画像に基づき認識処理を行い、物体までの距離を算出する。
以上、本実施形態によれば、画像のオプティカルフローを用いてカメラの姿勢の誤差量（ずれ量）を検出するため、校正チャートを用いずに、カメラの姿勢の誤差量を検出できる。
また本実施形態によれば、カメラの撮像画像を、ロール軸方向の視点の画像と、ピッチ軸方向の視点の画像、ピッチ軸負方向の視点の画像に変換し、それぞれの画像からオプティカルフローを検出する。これにより、ヨー角のずれ量、ピッチ角のずれ量を独立して検出できる。また高精度の検出が可能であり、また検出が容易になる。
また、本実施形態によれば、カメラの設置誤差を検出するために消失点を算出する必要がないため、画像上に消失点が存在しない場合（例えばカメラの垂直画角が狭い、あるいはカメラの俯角が大きい場合）でも、カメラの姿勢の誤差量を検出できる。
＜変形例１＞
上述した実施形態では後方にカメラを設置した車両を前方に進行させる場合の動作例を記載したが、車両を後方に進行させる場合にも同様の処理が可能である。なお、この場合、第１視点の画像（仮想光軸Ａ１の方向の画像）では、オプティカルフローは消失点から放射状に発生する。
＜変形例２＞
カメラ１が車両の後方部に設置されていたが、カメラが車両の前方部に設置されてもよい。車両の前方を含む周囲の環境をカメラで撮像する場合も、本実施形態と同様の構成及び処理を実現可能である。
＜変形例３＞
図１では、カメラ１と他の機能ブロックは異なるものとして説明した。しかし、信号処理システム１００における任意のブロックがカメラ１内に含まれるようにしてもよい。例えば、画像処理部２で行う処理の少なくとも一部をカメラ１の回路基板に実装された画像処理部によって行ってもよい。図１の信号処理システム１００全体を一つの装置として構成してもよい。また、信号処理装置１０１を含む筐体（第１筐体）と、カメラ１を含む筐体（第２筐体）とが異なる筐体であってもよい。また、信号処理装置１０１とカメラ１とが同じ筐体に含まれ、そして、一つの装置に含まれていてもよい。
＜変形例４＞
上述の実施形態では、広角レンズのカメラを用い、カメラの撮像画像を複数の視点の画像に変換した。変形例４として、例えば、狭角レンズのカメラを車両の後方に設置し、カメラの姿勢の設計値として、カメラ光軸及びロール軸が、車両の進行方向に平行かつ走行面に平行としてもよい。この場合、カメラの撮像画像を視点変換せずに用いて、オプティカルフローの検出及びヨー角のずれ量の算出を行ってもよい。同様に、例えば、狭角レンズのカメラを車両の両側面の一方又は双方に設置し、カメラの姿勢の設計値としてロール軸及びカメラ光軸が車両の進行方向に垂直かつ走行面に平行としてもよい。この場合、カメラの撮像画像を視点変換せずに用いて、オプティカルフローの検出及びピッチ角のずれ量の算出を行ってもよい。
（第２実施形態）
図２１は、第２実施形態に係る信号処理システム１００Ａのブロック図である。図１の信号処理システムに対して、情報生成部１０と、駆動制御部１１と、駆動制御システム２０が追加されている。情報生成部１０と駆動制御部１１とは信号処理装置１０１Ａに含まれている。信号処理システム１００Ａは、カメラ１を用いて車両Ｅの駆動を制御する。信号処理システム１００Ａは、カメラ１によって撮像した画像を用いて、駆動制御システム２０の駆動力発生機構Ｍ１１、制動機構Ｍ１２、ステアリング機構Ｍ１３などを制御する。
信号処理システム１００Ａによって実現可能な機能としては、例えば、上述の運転補助機能や自動運転機能などが挙げられる。ここでは運転補助機能を実現可能な信号処理システム１００Ａについて説明する。距離算出部８が対象物までの距離を算出するまでの動作は第１実施形態と同様であるため説明を省略する。
情報生成部１０は、距離算出部８によって算出された対象物までの距離等の情報に基づき、駆動制御システム２０の動作に必要な駆動制御情報を生成する。より詳細に、情報生成部１０は、距離算出部８によって算出された距離等の情報に基づいて、駆動制御システム２０に実行させるべき駆動を決定し、この駆動の指示を含む駆動制御情報を生成する。情報生成部１０は、生成した駆動制御情報を駆動制御部１１に提供する。なお、情報生成部１０は、駆動制御情報以外の情報を生成してもよい。
駆動制御システム２０に実行させる駆動としては、例えば、速度の変更（加速、減速）、進行方向の変更などが挙げられる。具体例として、情報生成部１０は、車両Ｅと他車両ＭＦとの車間距離が小さい場合、例えば閾値以下の場合には、駆動制御システム２０に車両Ｅの減速を行わせることを決定する。この場合、情報生成部１０は減速の指示を含む駆動制御情報を生成し、生成した駆動制御情報を駆動制御部１１に提供する。
駆動制御部１１は、情報生成部１０から受けた駆動制御情報に基づき、駆動制御信号を生成し、駆動制御信号を出力する。例えば、駆動制御部１１は、駆動力発生機構Ｍ１１によって車両Ｅを加速させ、制動機構Ｍ１２によって車両Ｅを減速させ、あるいは、ステアリング機構Ｍ１３によって車両Ｅの進行方向を変更させることができる。
図２２は、信号処理システム１００Ａの動作の一例のフローチャートである。ステップＳ１～Ｓ７は、図２０のフローチャートと同じであるため、ステップＳ８以降を説明する。
ステップＳ８において、情報生成部１０は、距離算出部８によって算出された対象物までの距離等の情報に基づき、駆動制御システム２０の動作に必要な駆動制御情報を生成する。
ステップＳ９において、駆動制御部１１は、情報生成部１０から受けた駆動制御情報に基づき、駆動制御信号を生成し、駆動制御信号を駆動制御システム２０に出力する。
ステップＳ１０において、駆動制御システム２０が車両の駆動を制御する。例えば、駆動力発生機構Ｍ１１が車両Ｅを加速させる。または、制動機構Ｍ１２によって車両Ｅを減速させる。または、ステアリング機構Ｍ１３によって車両Ｅの進行方向を変更させる。
＜変形例１＞
上述した実施形態では後方にカメラを設置した車両を前方に進行させる場合の動作例を記載したが、車両を後方に進行させる場合にも同様の処理が可能である。なお、この場合、第１視点の画像（仮想光軸Ａ１の方向の画像）では、オプティカルフローは消失点から放射状に発生する。
＜変形例２＞
カメラ１が車両の後方部に設置されていたが、カメラが車両の前方部に設置されてもよい。車両の前方を含む周囲の環境をカメラで撮像する場合も、本実施形態と同様の構成及び処理を実現可能である。
＜変形例３＞
図１では、カメラ１と他の機能ブロックは異なるものとして説明した。しかし、信号処理システム１００Ａにおける任意のブロックがカメラ１内に含まれるようにしてもよい。例えば、画像処理部２で行う処理の少なくとも一部をカメラ１の回路基板に実装された画像処理部によって行ってもよい。図２１の信号処理システム１００Ａ全体を一つの装置として構成してもよい。また、信号処理装置１０１Ａを含む筐体（第１筐体）と、カメラ１を含む筐体（第２筐体）とが異なる筐体であってもよい。また、信号処理装置１０１Ａとカメラ１とが同じ筐体に含まれ、そして、一つの装置に含まれていてもよい。
＜変形例４＞
上述の実施形態では、広角レンズのカメラを用い、カメラの撮像画像を複数の視点の画像に変換した。変形例４として、例えば、狭角レンズのカメラを車両の後方に設置し、カメラの姿勢の設計値として、カメラ光軸及びロール軸が、車両の進行方向に平行かつ走行面に平行としてもよい。この場合、カメラの撮像画像を視点変換せずに用いて、オプティカルフローの検出及びヨー角のずれ量の算出を行ってもよい。同様に、例えば、狭角レンズのカメラを車両の両側面の一方又は双方に設置し、カメラの姿勢の設計値としてロール軸及びカメラ光軸が車両の進行方向に垂直かつ走行面に平行としてもよい。この場合、カメラの撮像画像を視点変換せずに用いて、オプティカルフローの検出及びピッチ角のずれ量の算出を行ってもよい。
なお、上述の実施形態は本開示を具現化するための一例を示したものであり、その他の様々な形態で本開示を実施することが可能である。例えば、本開示の要旨を逸脱しない範囲で、種々の変形、置換、省略又はこれらの組み合わせが可能である。そのような変形、置換、省略等を行った形態も、本開示の範囲に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
また、本明細書に記載された本開示の効果は例示に過ぎず、その他の効果があってもよい。
なお、本開示は以下のような構成を取ることもできる。
［項目１］
車両に設置された撮像装置により撮像された画像に基づき、オプティカルフローを検出するオプティカルフロー検出部と、
前記オプティカルフローの情報に基づいて、前記撮像装置の姿勢の誤差量を算出する設置誤差算出部と
を備えた信号処理装置。
［項目２］
前記設置誤差算出部は、前記画像の水平方向において前記オプティカルフローが収束する位置に基づいて、前記姿勢の誤差量を算出する
項目１に記載の信号処理装置。
［項目３］
前記オプティカルフロー検出部は、前記画像において垂直方向のオプティカルフローを検出し、
前記設置誤差算出部は、前記垂直方向のオプティカルフローの水平方向の位置に基づいて、前記姿勢の誤差量を算出する
項目２に記載の信号処理装置。
［項目４］
前記画像を、前記撮像装置の光源から第１視点の画像に変換する画像処理部を備え、
前記オプティカルフロー検出部は、前記第１視点の画像に基づいて、前記オプティカルフローを検出する
項目２又は３に記載の信号処理装置。
［項目５］
前記撮像装置の光源は前記撮像装置のヨー軸回りに回転した方向を向き、
前記第１視点は、前記撮像装置のロール軸の方向を向く
項目４に記載の信号処理装置。
［項目６］
前記ロール軸は、前記撮像装置が前記姿勢に誤差が無い状態で設置されている場合、前記車両の進行方向に平行であり、かつ前記車両の走行面に平行である、
項目５に記載の信号処理装置。
［項目７］
前記姿勢の誤差量は、前記撮像装置のヨー角の誤差量を含む
項目１～６のいずれか一項に記載の信号処理装置。
［項目８］
前記設置誤差算出部は、前記画像における前記オプティカルフローの傾きに基づいて、前記姿勢の誤差量を算出する
項目１～７のいずれか一項に記載の信号処理装置。
［項目９］
前記画像を、前記撮像装置の光源から第２視点の画像に変換する画像処理部を備え、
前記オプティカルフロー検出部は、前記第２視点の画像に基づいて、前記オプティカルフローを検出する
項目１～８のいずれか一項に記載の信号処理装置。
［項目１０］
前記撮像装置の光源は前記撮像装置のピッチ軸回りに回転した方向を向き、
前記第２視点は、前記撮像装置のピッチ軸方向を向く
請求項９に記載の信号処理装置。
［項目１１］
前記姿勢の誤差量は、前記撮像装置のピッチ角の誤差量を含む
項目１～１０のいずれか一項に記載の信号処理装置。
［項目１２］
前記ピッチ軸は、前記撮像装置が前記姿勢に誤差が無い状態で設置されている場合、前記車両の進行方向に垂直な方向に平行であり、かつ前記車両の走行面に平行である、
項目１１に記載の信号処理装置。
［項目１３］
前記画像処理部は、前記画像を、前記撮像装置の光源から前記第２視点と反対方向の第３視点の画像に変換し、
前記オプティカルフロー検出部は、前記第３視点の画像に基づいて、前記オプティカルフローを検出し、
前記設置誤差算出部は、前記第２視点の画像の前記オプティカルフローの情報と、前記第３視点の画像の前記オプティカルフローの情報とに基づいて、前記姿勢の誤差量を算出する
請求項９～１２のいずれか一項に記載の信号処理装置。
［項目１４］
前記姿勢の誤差量に基づき前記画像を補正して、画像表示部に表示させる表示用画像を生成する画像処理部
を備えた項目１～１３のいずれか一項に記載の信号処理装置。
［項目１５］
前記画像を前記表示用画像に変換する変換情報を前記姿勢の誤差量に基づき補正するマップ補正部を備え、
前記画像処理部は、前記画像を、補正された前記変換情報により変換することで、前記表示用画像を生成する
項目１４に記載の信号処理装置。
［項目１６］
前記画像に基づき処理画像を生成する画像処理部を備え、
前記処理画像と前記姿勢の誤差量とに基づき、前記処理画像に含まれる対象物までの距離を算出する距離算出部
を備えた項目１～１５のいずれか一項に記載の信号処理装置。
［項目１７］
前記撮像装置を備えた
項目１～１６のいずれか一項に記載の信号処理装置。
［項目１８］
前記画像処理部及び前記設置誤差算出部を含む第１筐体と、
前記撮像装置を含む第２筐体と、を備え、
前記第１筐体は前記第２筐体とは異なる筐体である
項目１７に記載の信号処理装置。
［項目１９］
車両に設置された撮像装置により撮像された画像に基づき、オプティカルフローを検出し、
前記オプティカルフローの情報に基づいて、前記撮像装置の姿勢の誤差量を算出する
信号処理方法。
［項目２０］
車両に設置された撮像部と、
車両に設置された撮像装置により撮像された画像に基づき、オプティカルフローを検出するオプティカルフロー検出部と、
前記オプティカルフローの情報に基づいて、前記撮像部の姿勢の誤差量を算出する設置誤差算出部と、
前記姿勢の誤差量と、前記撮像部により撮像された画像に基づき、表示用画像を生成する画像生成部と、
前記表示用画像を表示する画像表示部と
を備えた信号処理システム。
Ｅ 車両
１ カメラ
２ 画像処理部
３ 検出用変換マップ記憶部
４ オプティカルフロー検出部
５ 設置誤差算出部
６ 表示用変換マップ記憶部
７ マップ補正部
８ 距離算出部
９ 画像表示部
１０ 情報生成部
１１ 駆動制御部
２０ 駆動制御システム
３２ カメラ光軸
３４ 水平線
５１ 画像
５２ 画像
５３ 画像
１００ 信号処理システム
１００Ａ 信号処理システム
１０１ 信号処理装置
１０１Ａ 信号処理装置

Claims (20)

  1. 車両に設置された撮像装置により撮像された画像に基づき、オプティカルフローを検出するオプティカルフロー検出部と、
    前記オプティカルフローの情報に基づいて、前記撮像装置の姿勢の誤差量を算出する設置誤差算出部と
    を備えた信号処理装置。
  2. 前記設置誤差算出部は、前記画像の水平方向において前記オプティカルフローが収束する位置に基づいて、前記姿勢の誤差量を算出する
    請求項１に記載の信号処理装置。
  3. 前記オプティカルフロー検出部は、前記画像において垂直方向のオプティカルフローを検出し、
    前記設置誤差算出部は、前記垂直方向のオプティカルフローの水平方向の位置に基づいて、前記姿勢の誤差量を算出する
    請求項２に記載の信号処理装置。
  4. 前記画像を、前記撮像装置の光源から第１視点の画像に変換する画像処理部を備え、
    前記オプティカルフロー検出部は、前記第１視点の画像に基づいて、前記オプティカルフローを検出する
    請求項２に記載の信号処理装置。
  5. 前記撮像装置の光源は前記撮像装置のヨー軸回りに回転した方向を向き、
    前記第１視点は、前記撮像装置のロール軸の方向を向く
    請求項４に記載の信号処理装置。
  6. 前記ロール軸は、前記撮像装置が前記姿勢に誤差が無い状態で設置されている場合、前記車両の進行方向に平行であり、かつ前記車両の走行面に平行である、
    請求項５に記載の信号処理装置。
  7. 前記姿勢の誤差量は、前記撮像装置のヨー角の誤差量を含む
    請求項５に記載の信号処理装置。
  8. 前記設置誤差算出部は、前記画像における前記オプティカルフローの傾きに基づいて、前記姿勢の誤差量を算出する
    請求項１に記載の信号処理装置。
  9. 前記画像を、前記撮像装置の光源から第２視点の画像に変換する画像処理部を備え、
    前記オプティカルフロー検出部は、前記第２視点の画像に基づいて、前記オプティカルフローを検出する
    請求項８に記載の信号処理装置。
  10. 前記撮像装置の光源は前記撮像装置のピッチ軸回りに回転した方向を向き、
    前記第２視点は、前記撮像装置のピッチ軸方向を向く
    請求項９に記載の信号処理装置。
  11. 前記ピッチ軸は、前記撮像装置が前記姿勢に誤差が無い状態で設置されている場合、前記車両の進行方向に垂直な方向に平行であり、かつ前記車両の走行面に平行である、
    請求項１０に記載の信号処理装置。
  12. 前記姿勢の誤差量は、前記撮像装置のピッチ角の誤差量を含む
    請求項１０に記載の信号処理装置。
  13. 前記画像処理部は、前記画像を、前記撮像装置の光源から前記第２視点と反対方向の第３視点の画像に変換し、
    前記オプティカルフロー検出部は、前記第３視点の画像に基づいて、前記オプティカルフローを検出し、
    前記設置誤差算出部は、前記第２視点の画像の前記オプティカルフローの情報と、前記第３視点の画像の前記オプティカルフローの情報とに基づいて、前記姿勢の誤差量を算出する
    請求項９に記載の信号処理装置。
  14. 前記姿勢の誤差量に基づき前記画像を補正して、画像表示部に表示させる表示用画像を生成する画像処理部
    を備えた請求項１に記載の信号処理装置。
  15. 前記画像を前記表示用画像に変換する変換情報を前記姿勢の誤差量に基づき補正するマップ補正部を備え、
    前記画像処理部は、前記画像を、補正された前記変換情報により変換することで、前記表示用画像を生成する
    請求項１４に記載の信号処理装置。
  16. 前記画像に基づき処理画像を生成する画像処理部を備え、
    前記処理画像と前記姿勢の誤差量とに基づき、前記処理画像に含まれる対象物までの距離を算出する距離算出部
    を備えた請求項１に記載の信号処理装置。
  17. 前記撮像装置を備えた
    請求項１に記載の信号処理装置。
  18. 前記オプティカルフロー検出部及び前記設置誤差算出部を含む第１筐体と、
    前記撮像装置を含む第２筐体と、を備え、
    前記第１筐体は前記第２筐体とは異なる筐体である
    請求項１７に記載の信号処理装置。
  19. 車両に設置された撮像装置により撮像された画像に基づき、オプティカルフローを検出し、
    前記オプティカルフローの情報に基づいて、前記撮像装置の姿勢の誤差量を算出する
    信号処理方法。
  20. 車両に設置された撮像部と、
    前記撮像部により撮像された画像に基づき、オプティカルフローを検出するオプティカルフロー検出部と、
    前記オプティカルフローの情報に基づいて、前記撮像部の姿勢の誤差量を算出する設置誤差算出部と、
    前記姿勢の誤差量と、前記撮像部により撮像された画像に基づき、表示用画像を生成する画像生成部と、
    前記表示用画像を表示する画像表示部と
    を備えた信号処理システム。
JP2021002942A 2021-01-12 2021-01-12 信号処理装置、信号処理方法及び信号処理システム Pending JP2024038527A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2021002942A JP2024038527A (ja) 2021-01-12 2021-01-12 信号処理装置、信号処理方法及び信号処理システム
PCT/JP2021/047163 WO2022153795A1 (ja) 2021-01-12 2021-12-21 信号処理装置、信号処理方法及び信号処理システム
US18/260,250 US20240054656A1 (en) 2021-01-12 2021-12-21 Signal processing device, signal processing method, and signal processing system
DE112021006799.0T DE112021006799T5 (de) 2021-01-12 2021-12-21 Signalverarbeitungsvorrichtung, signalverarbeitungsverfahren und signalverarbeitungssystem

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021002942A JP2024038527A (ja) 2021-01-12 2021-01-12 信号処理装置、信号処理方法及び信号処理システム

Publications (1)

Publication Number Publication Date
JP2024038527A true JP2024038527A (ja) 2024-03-21

Family

ID=82447247

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021002942A Pending JP2024038527A (ja) 2021-01-12 2021-01-12 信号処理装置、信号処理方法及び信号処理システム

Country Status (4)

Country Link
US (1) US20240054656A1 (ja)
JP (1) JP2024038527A (ja)
DE (1) DE112021006799T5 (ja)
WO (1) WO2022153795A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115597498B (zh) * 2022-12-13 2023-03-31 成都铂贝科技有限公司 一种无人机定位及速度估计方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5526315Y2 (ja) 1974-12-05 1980-06-24
JPS6354425U (ja) 1986-09-26 1988-04-12
JP5665458B2 (ja) * 2010-09-27 2015-02-04 京セラ株式会社 運転支援装置及び運転支援表示の表示方法
JP6668975B2 (ja) * 2016-07-01 2020-03-18 株式会社ニコン 電子機器および自動車

Also Published As

Publication number Publication date
US20240054656A1 (en) 2024-02-15
DE112021006799T5 (de) 2023-11-02
WO2022153795A1 (ja) 2022-07-21

Similar Documents

Publication Publication Date Title
CN109360245B (zh) 无人驾驶车辆多相机系统的外参数标定方法
US9884623B2 (en) Method for image-based vehicle localization
KR102275310B1 (ko) 자동차 주변의 장애물 검출 방법
CN111986506B (zh) 基于多视觉系统的机械式停车位泊车方法
US8036424B2 (en) Field recognition apparatus, method for field recognition and program for the same
Gandhi et al. Vehicle surround capture: Survey of techniques and a novel omni-video-based approach for dynamic panoramic surround maps
US8564657B2 (en) Object motion detection system based on combining 3D warping techniques and a proper object motion detection
US11210533B1 (en) Method of predicting trajectory of vehicle
JP4425495B2 (ja) 車外監視装置
WO2021046716A1 (zh) 目标对象的检测方法、系统、设备及存储介质
WO2010032523A1 (ja) 道路境界検出判断装置
US11287879B2 (en) Display control device, display control method, and program for display based on travel conditions
CN109074653B (zh) 用于检测机动车辆的道路旁边的物体的方法、计算设备、驾驶员辅助系统以及机动车辆
CN108367710B (zh) 俯瞰影像生成装置、俯瞰影像生成系统、以及存储介质
US11887336B2 (en) Method for estimating a relative position of an object in the surroundings of a vehicle and electronic control unit for a vehicle and vehicle
CN109895697B (zh) 一种行车辅助提示系统及方法
WO2022153795A1 (ja) 信号処理装置、信号処理方法及び信号処理システム
JP6768554B2 (ja) キャリブレーション装置
CN113838060A (zh) 用于自主车辆的感知系统
Shan et al. Probabilistic egocentric motion correction of lidar point cloud and projection to camera images for moving platforms
WO2022153896A1 (ja) 撮像装置、画像処理方法及び画像処理プログラム
CN116524016A (zh) 图像处理装置及方法、移动体控制装置、以及存储介质
CN113646769A (zh) 用于图像归一化的系统和方法
CN115959112A (zh) 车辆控制装置、车辆控制方法及存储介质
JP6561688B2 (ja) 検出装置、検出方法、撮像装置、機器制御システム、及びプログラム