JP7188228B2 - image generator - Google Patents
image generator Download PDFInfo
- Publication number
- JP7188228B2 JP7188228B2 JP2019060291A JP2019060291A JP7188228B2 JP 7188228 B2 JP7188228 B2 JP 7188228B2 JP 2019060291 A JP2019060291 A JP 2019060291A JP 2019060291 A JP2019060291 A JP 2019060291A JP 7188228 B2 JP7188228 B2 JP 7188228B2
- Authority
- JP
- Japan
- Prior art keywords
- distance
- tilt angle
- camera
- moving body
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
本発明は、移動体に搭載されたカメラにより生成された撮影画像から視点変換画像を生成する画像生成装置に関する。 The present invention relates to an image generation device that generates a viewpoint-converted image from a photographed image generated by a camera mounted on a mobile object.
車両等の移動体に搭載されたカメラにより生成された撮影画像を用いて、予め設定された仮想視点から見た視点変換画像を生成する画像生成装置が知られている。例えば、仮想視点が車両よりも上の位置に設定された場合、視点変換画像は、車両を上から見た俯瞰画像である。 2. Description of the Related Art There is known an image generation device that generates a viewpoint-transformed image viewed from a preset virtual viewpoint using a photographed image generated by a camera mounted on a moving object such as a vehicle. For example, when the virtual viewpoint is set at a position above the vehicle, the viewpoint-converted image is a bird's-eye image of the vehicle viewed from above.
車両が複数のカメラを搭載する場合、画像生成装置は、複数のカメラによって生成された複数の撮影画像を仮想視点から見た画像に変換する。画像生成装置は、変換された複数の撮影画像を繋ぎ合わせて、視点変換画像を生成する。車両におけるカメラの取付位置や光軸データを含むカメラ姿勢データが、撮影画像を変換するためのパラメータとして画像生成装置に予め設定されている。カメラ姿勢データは、視点変換画像において複数の撮影画像を繋ぎ合わせた際に生じる画像間のずれをなくすよう、車両の出荷時に調整される。この調整作業をカメラキャリブレーションといい、例えば、特許文献1が知られている
When a vehicle is equipped with a plurality of cameras, the image generation device converts a plurality of captured images generated by the plurality of cameras into an image viewed from a virtual viewpoint. The image generation device joins together the plurality of converted captured images to generate a viewpoint-converted image. Camera orientation data including camera mounting position and optical axis data on a vehicle is preset in the image generation device as a parameter for converting a captured image. The camera posture data is adjusted when the vehicle is shipped so as to eliminate the deviation between images that occurs when a plurality of shot images are joined together in the viewpoint conversion image. This adjustment work is called camera calibration, and for example,
しかし、運転者等の搭乗者が車両に乗車した場合、車両の姿勢が変化する。カメラの姿勢は、車両の姿勢変化に応じて変化する。そのため、搭乗者が車両に乗車すると、視点変換画像において繋ぎ合わせた画像間にずれが生じてしまう。 However, when a passenger such as a driver gets into the vehicle, the posture of the vehicle changes. The attitude of the camera changes according to the change in the attitude of the vehicle. Therefore, when a passenger gets into the vehicle, a shift occurs between the joined images in the viewpoint-converted images.
上記問題点に鑑み、本発明は、搭乗者が車両に乗車して移動体の姿勢が変化した場合であっても、仮想視点画像において繋ぎ合わせた画像間のずれの発生を抑制することができる画像生成装置を提供することを課題とする。 In view of the above-described problems, the present invention can suppress the occurrence of deviations between images that are joined together in virtual viewpoint images even when a passenger gets into a vehicle and the posture of the moving object changes. An object of the present invention is to provide an image generation device.
第1の発明は、移動体に搭載された複数のカメラにより生成された複数の撮影画像からカメラの姿勢データを用いて視点変換画像を生成する画像生成装置であって、第1距離検出部と、第2距離検出部と、傾斜角算出部と、補正部と、画像生成部と、を備える。第1距離検出部は、移動体に搭乗者が乗車する前に、移動体の左方向または右方向に存在する物体と移動体との距離を、第1距離として検出する。第2距離検出部は、移動体に搭乗者が乗車した後に、移動体の左方向または右方向に存在する物体と移動体との距離を、第2距離として検出する。傾斜角算出部は、第1距離および第2距離に基づき、搭乗者が移動体に搭乗する前後における移動体の横方向の傾斜角の変化量である傾斜角変化量を算出する。補正部は、傾斜角変化量、第1距離および第2距離に基づき姿勢データを補正する。画像生成部は、補正された姿勢データを用いて、生成された複数の画像から視点変換画像を生成する。 A first invention is an image generation device that generates a viewpoint-transformed image from a plurality of captured images generated by a plurality of cameras mounted on a moving object using posture data of the cameras, comprising: a first distance detection unit; , a second distance detection unit, an inclination angle calculation unit, a correction unit, and an image generation unit. The first distance detection unit detects, as a first distance, a distance between an object existing on the left side or the right side of the mobile body and the mobile body before the passenger gets on the mobile body. The second distance detection unit detects, as a second distance, a distance between an object existing on the left side or the right side of the moving body and the moving body after the passenger gets on the moving body. The tilt angle calculation unit calculates a tilt angle change amount, which is a change amount of the tilt angle in the horizontal direction of the moving body before and after the passenger boards the moving body, based on the first distance and the second distance. The correction unit corrects the posture data based on the tilt angle change amount, the first distance, and the second distance. The image generator uses the corrected orientation data to generate a viewpoint-transformed image from the plurality of generated images.
本発明は、搭乗者が車両に乗車して移動体の姿勢が変化した場合であっても、仮想視点画像において繋ぎ合わせた画像間のずれの発生を抑制することができる画像生成装置を提供できる。 INDUSTRIAL APPLICABILITY The present invention can provide an image generation device capable of suppressing the occurrence of deviations between images that are joined together in a virtual viewpoint image even when the posture of a moving body changes when a passenger gets into a vehicle. .
以下、図面を参照し、本発明の実施の形態を詳しく説明する。図中同一又は相当部分には同一符号を付してその説明は繰り返さない。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. The same reference numerals are given to the same or corresponding parts in the drawings, and the description thereof will not be repeated.
[1.構成]
[1.1.車両1の構成]
図1は、本発明の実施の形態に係る画像生成装置10を搭載した車両1の構成を示す機能ブロック図である。図1を参照して、画像生成装置10は、移動体である車両1に搭載された複数のカメラにより生成された複数の撮影画像から、カメラの姿勢データを用いて視点変換画像を生成する。本実施の形態では、視点変換画像は、車両1の上方に設定された仮想視点から車両1を見下ろした俯瞰画像25である。図1において、俯瞰画像25の生成に関する構成以外の車両1の構成の表示を省略している。
[1. Constitution]
[1.1. Configuration of vehicle 1]
FIG. 1 is a functional block diagram showing the configuration of a
車両1は、車体1Dと、左前輪1FLと、右前輪1FRと、左後輪1RLと、右後輪1RRと、フロントシャフト1SFと、リアシャフト1SRとを備える。
The
左前輪1FLは、車体1Dの左前方に配置される。右前輪1FRは、車体1Dの右前方に配置される。左前輪1FL及び右前輪1FRは、車体1Dの前方に配置されたフロントシャフト1SFを回転軸として回転する。フロントシャフト1SFは、図示しないエンジンの出力を左前輪1FL及び右前輪1FRに伝える。左前輪1FL及び右前輪1FRは、車両1の操舵輪であり、図示しないステアリングホイールの回転に応じて回転する。
The left front wheel 1FL is arranged on the left front side of the
左後輪1RLは、車体1Dの左後方に配置される。右後輪1RRは、車体1Dの右後方に配置される。左後輪1RL及び右後輪1RRは、車体1Dの後方に配置されたリアシャフト1SRを回転軸として回転する。リアシャフト1SRは、図示しないエンジンの出力を左後輪1RL及び右後輪1RRに伝える。
The left rear wheel 1RL is arranged at the left rear of the
車両1は、さらに、フロントカメラ2Fと、左サイドカメラ2Lと、右サイドカメラ2Rと、リアカメラ2Bとを備える。
フロントカメラ2Fは、車両1の前方を撮影して前方撮影画像3Fを生成する。左サイドカメラ2Lは、車両1の左方を撮影して左方撮影画像3Lを生成する。右サイドカメラ2Rは、車両1の右方を撮影して右方撮影画像3Rを生成する。リアカメラ2Bは、車両1の後方を撮影して後方撮影画像3Bを生成する。生成された撮影画像3F、3L、3R及び3Bの各々は、画像生成装置10に出力される。
The
本実施の形態において、前方撮影画像3F、左方撮影画像3L、右方撮影画像3Rおよび後方撮影画像3Bの各々は、動画像を構成するフレームである。例えば、フロントカメラ2Fは、フレームである前方撮影画像3Fを生成するたびに、その生成した前方撮影画像3Fを画像生成装置10に出力する。
In the present embodiment, each of the
車両1は、さらに、測距センサ4L、4Rを備える。測距センサ4L、4Rは、それぞれ左サイドカメラ2L、右サイドカメラ2Rの近傍に設置される。測距センサ4L、4Rは、超音波、電波、光等を用いた公知のレーダ装置とすることができる。測距センサ4Lは、車両1の左方に存在する隣接車両等の物体との距離を検出する。測距センサ4Rは、車両1の右方に存在する隣接車両等の物体との距離を検出する。測距センサ4L、4Rは、距離検出信号5L、5Rを画像生成装置10に出力する。なお、測距センサ4L、4Rは、物体を検出できない場合は距離検出信号5L、5Rを画像生成装置10に出力しない。
車両1は、さらに、ロックスイッチ6L、6Rを備える。ロックスイッチ6Lは、車両1の助手席側ドアの施錠状態を検出する。ロックスイッチ6Lは、助手席側ドアがロック状態からアンロック状態に変化したときにアンロック信号7Lを画像生成装置10に出力する。ロックスイッチ6Rは、車両1の運転席側ドアの施錠状態を検出する。ロックスイッチ6Rは、運転席側ドアがロック状態からアンロック状態に変化したときにアンロック信号7Rを画像生成装置10に出力する。
車両1は、さらに、イグニッションスイッチ8(以下、「IGスイッチ8」という)を備える。IGスイッチ8は、オンになると画像生成装置10を含む車両各部に配置される制御装置(図示せず)にバッテリ(図示せず)からの電力を供給する。それにより画像生成装置10は動作を開始する。IGスイッチ8は、オンになるとオンになったことを示すイグニッション信号9(以下、「IG信号9」という)を画像生成装置10に出力する。
車両1は、さらに、画像生成装置10と、表示装置23とを備える。画像生成装置10は、距離検出信号5L、5Rを測距センサ4L、4Rから受ける。また、画像生成装置10は、アンロック信号7L、7Rをロックスイッチ6L、6Rから受ける。さらに、画像生成装置10は、IG信号9をIGスイッチ8から受ける。画像生成装置10は、その受けた距離検出信号5L、5R、アンロック信号7L、7R、IG信号9等に基づいて、画像生成装置10に予め設定されたカメラの姿勢データを補正する。カメラの姿勢データは、カメラの位置データ及び光軸データを含む。画像生成装置1は、補正したカメラの姿勢データを用いて、車両1に搭載されたカメラにより生成された複数の撮影画像から俯瞰画像25を生成する。
表示装置23は、俯瞰画像25を画像生成装置10から受け、その受けた俯瞰画像25を表示する。車両1の運転者は、表示装置23に表示された俯瞰画像25を参照して、車両1の周囲の状況を容易に確認できる。
The
なお、本実施の形態において、フロントカメラ2F、左サイドカメラ2L、右サイドカメラ2R及びリアカメラ2Bを総称して「カメラ2」と記載する場合がある。また、本実施の形態において、前方撮影画像3F、左方撮影画像3L、右方撮影画像3R及び後方撮影画像3Bを総称して「撮影画像3」と記載する場合がある。また、本実施の形態において、測距センサ4Lおよび測距センサ4Rを総称して「測距センサ4」と記載する場合がある。また、本実施の形態において、距離検出信号5Lおよび距離検出信号5Rを総称して「距離検出信号5」と記載する場合がある。また、本実施の形態において、ロックスイッチ6Lおよびロックスイッチ6Rを総称して「ロックスイッチ6」と記載する場合がある。また、本実施の形態において、アンロック信号7Lおよびアンロック信号7Rを総称して「アンロック信号7」と記載する場合がある。
In the present embodiment, the
[1.2.カメラの配置]
図2は、図1に示すカメラの取付位置を示す図であり、図1に示す車両1を上から見た平面図に相当する。
[1.2. camera placement]
FIG. 2 is a diagram showing the mounting position of the camera shown in FIG. 1, and corresponds to a plan view of the
図2を参照して、フロントカメラ2Fは、車両1の前端にあるナンバープレート取付位置の近傍に設けられ、その光軸2Faは車両1の前方に向けられている。リアカメラ2Bは、車両1の後端にあるナンバープレート取付位置の近傍に設けられ、その光軸2Baは、車両1の後方に向けられている。
Referring to FIG. 2 , front camera 2</b>F is provided near the license plate mounting position at the front end of
左サイドカメラ2Lは左のドアミラー93に設けられ、その光軸2Laは車両1の左方に向けられている。右サイドカメラ2Rは右のドアミラー93に設けられ、その光軸2Raは車両1の右方に向けられている。
The
車両1に搭載される各カメラのレンズは、180°以上の画角を有する広角レンズである。フロントカメラ2F、左サイドカメラ2L、右サイドカメラ2R及びリアカメラ2Bを用いることにより、車両1の全周囲を撮影できる。フロントカメラ2F及びリアカメラ2Bの取付位置は、車両1の左右中央であることが望ましいが、左右中央から多少ずれた位置であってもよい。
A lens of each camera mounted on the
なお、図2では図示を省略しているが、測距センサ4Lは左サイドカメラ2Lの近傍に設けられ、その光軸は、左サイドカメラ2Lの光軸2Laと平行であり車両1の左方に向けられている。また、測距センサ4Rは右サイドカメラ2Rの近傍に設けられ、その光軸は、右サイドカメラ2Rの光軸2Raと平行であり車両1の右方に向けられている。
Although not shown in FIG. 2, the distance measuring sensor 4L is provided in the vicinity of the
[1.3.カメラ姿勢データの定義]
次に、カメラ2の姿勢データの定義について、図3および図4を用いて説明する。図3および図4は、カメラ2の姿勢データの定義を示す図である。カメラ2の姿勢データは、カメラ2の位置データと光軸データを含む。カメラ2の位置データ、および光軸データは、路面を基準とした路面座標系で表される。本実施の形態において、路面座標系は、X軸と、Y軸と、Z軸とを有する3次元直交座標系である。
[1.3. Definition of camera posture data]
Next, definition of posture data of the camera 2 will be described with reference to FIGS. 3 and 4. FIG. 3 and 4 are diagrams showing definitions of attitude data of the camera 2. FIG. The posture data of camera 2 includes position data and optical axis data of camera 2 . The position data of the camera 2 and the optical axis data are expressed in a road surface coordinate system based on the road surface. In this embodiment, the road surface coordinate system is a three-dimensional orthogonal coordinate system having an X-axis, a Y-axis and a Z-axis.
図3および図4に示すように、路面座標系の原点Oは、車両1の重心を路面100に対して鉛直方向に投影した路面上の点Oである。X軸は、原点Oを通り車両1の横方向に伸び、Y軸は、原点Oを通り車両1の前後方向に伸びる。Z軸は、原点Oを通り路面100から車両1の高さ方向に伸びる。
As shown in FIGS. 3 and 4, the origin O of the road surface coordinate system is a point O on the road surface obtained by projecting the center of gravity of the
カメラ2の位置データは、原点Oを基準とした各カメラの設置位置を示し、(X、Y、Z)で表される。カメラ2の位置データのXは、原点Oを基準とした車両1の横方向の位置(距離)を示す。カメラ2の位置データのYは、原点Oを基準とした車両1の前後方向の位置(距離)を示す。カメラ2の位置データのZは、原点Oを基準とした車両1の高さ方向の位置(距離)を示す。
The position data of the camera 2 indicates the installation position of each camera with reference to the origin O, and is represented by (X, Y, Z). X in the position data of the camera 2 indicates the lateral position (distance) of the
図3、および図4(a)に示す例では、左サイドカメラ2Lの横方向の位置はXLであり、前後方向の位置はYLであり、高さ方向の位置はZLであることを示している。したがって、左サイドカメラ2Lの位置データは、(XL、YL、ZL)となる。同様に、右サイドカメラ2Rの位置データは、(XR、YR、ZR)となる。図示していないが、フロントカメラ2Fの位置データは、(XF、YF、ZF)となり、リアカメラ2Bの位置データは、(XB、YB、ZB)となる。本実施の形態において、各カメラ2F、2L、2R及び2Bの位置データを総称して(X、Y、Z)と記載する場合がある。また、位置データを位置座標と記載する場合がある。
In the example shown in FIGS. 3 and 4(a), the
カメラ2の光軸データは、カメラ2の光軸の角度やカメラの取付角度を示し、Pan(パン)角P、Roll(ロール)角R、およびTilt(チルト)角Tからなる。 The optical axis data of the camera 2 indicates the angle of the optical axis of the camera 2 and the mounting angle of the camera, and consists of a Pan angle P, a Roll angle R, and a Tilt angle T.
パン角Pは、カメラ2の光軸が基準線に対して旋回方向になす角度を示す。図3を参照して左サイドカメラ2Lを例にとり説明する。左サイドカメラ2Lの位置座標(XL、YL、ZL)を通り、Y軸と平行に前方向に伸びる基準線61Lを0°とする。左サイドカメラの位置座標(XL、YL、ZL)を通り、Z軸と平行に鉛直方向に伸びる基準線(図示せず)を回転軸とする。左サイドカメラ2Lのパン角は、この回転軸回りに光軸2Laが基準線61Lとなす角度PLで表される。
The pan angle P indicates the angle that the optical axis of the camera 2 makes in the turning direction with respect to the reference line. The
右サイドカメラ2Rのパン角も同様であり、右サイドカメラ2Rの位置座標(XR、YR、ZR)を通り、前方向に伸びる基準線61Rを0°とし、鉛直方向に伸びる基準線(図示せず)を回転軸とする。右サイドカメラ2Rのパン角は、この回転軸回りに光軸2Raが基準線61Rとなす角度PRで表される。フロントカメラ2Fおよびリアカメラ2Bのパン角も同様であり、フロントカメラ2Fのパン角はPFで表され、リアカメラ2Bのパン角はPBで表される。
The pan angle of the
ロール角Rは、カメラ2が基準線に対して回転する角度を示す。ロール角Rは、カメラ2が基準線に対して傾いている角度であるともいえる。図4(a)を参照して左サイドカメラ2Lを例にとり説明する。左サイドカメラ2Lの位置座標(XL、YL、ZL)を通り、Z軸と平行に上方向に伸びる基準線62Lを0°とする。左サイドカメラ2Lの位置座標(XL、YL、ZL)を通り、X軸と平行に横方向に伸びる基準線(図示せず)を回転軸とする。左サイドカメラ2Lのロール角は、この回転軸回りに左サイドカメラ2Lが基準線62Lから回転している角度RLで表される。同様に、右サイドカメラ2Rのロール角はRR、フロントカメラ2Fのロール角はRF、リアカメラ2Bのロール角はRBで表される。なお、フロントカメラ2Fとリアカメラ2Bのロール角の回転軸は、Y軸と平行に前後方向に伸びる基準線である。
The roll angle R indicates the angle by which the camera 2 rotates with respect to the reference line. The roll angle R can also be said to be the angle at which the camera 2 is tilted with respect to the reference line. The
チルト角Tは、カメラ2の光軸が基準線に対して高さ方向になす角度を示す。図4(b)を参照して左サイドカメラ2Lを例にとり説明する。左サイドカメラ2Lの位置座標(XL、YL、ZL)を通り、X軸と平行に横方向に伸びる基準線63Lを0°とする。左サイドカメラの位置座標(XL、YL、ZL)を通り、Y軸と平行に前後方向に伸びる基準線(図示せず)を回転軸とする。左サイドカメラ2Lのチルト角は、この回転軸回りに光軸2Laが基準線63Lとなす角度TLで表される。
The tilt angle T indicates the angle that the optical axis of the camera 2 makes in the height direction with respect to the reference line. The
右サイドカメラ2Rのチルト角も同様であり、右サイドカメラ2Rの位置座標(XR、YR、ZR)を通り、横方向に伸びる基準線63Rを0°とし、前後方向に伸びる基準線(図示せず)を回転軸とする。右サイドカメラ2Rのチルト角は、この回転軸回りに光軸2Raが基準線63Rとなす角度TRで表される。同様に、フロントカメラ2Fのチルト角はTF、リアカメラ2Bのチルト角はTBで表される。なお、フロントカメラ2Fとリアカメラ2Bのチルト角の回転軸は、X軸と平行に横方向に伸びる基準線である。本実施の形態において、各カメラ2F、2L、2R及び2Bのパン角、ロール角、チルト角を総称して(P、R、T)と記載する場合がある。
The tilt angle of the
以上のように、左サイドカメラ2Lの姿勢データは、位置データとして横方向位置XL、前後方向位置YL、高さ方向位置ZLを有し、光軸データとしてパン角PL、ロール角RL、チルト角TLを有する。同様に、右サイドカメラ2Rの姿勢データは、位置データとして横方向位置XR、前後方向位置YR、高さ方向位置ZRを有し、光軸データとしてパン角PR、ロール角RR、チルト角TRを有する。フロントカメラ2Fおよびリアカメラ2Bも同様である。
As described above, the attitude data of the left-
かかる、カメラ2の姿勢データは、車両1の出荷前に公知のカメラキャリブレーションによって調整されて画像生成装置10の記憶部15(図5)に記憶される。カメラ2の姿勢データは、各カメラ2の撮影画像を繋ぎ合わせて俯瞰画像を生成する際に、隣接するカメラ2の撮影画像間にずれが生じないように設定されたデータである。なお、本実施の形態において、車両1の出荷前に調整されたカメラ2の姿勢データを「初期カメラ姿勢データ」という。
Such posture data of the camera 2 is adjusted by known camera calibration before the
[1.4.画像生成装置10の構成]
図5は、図1に示す画像生成装置10の構成を示す機能ブロック図である。画像生成装置10は、距離検出部11と、傾斜角算出部12と、補正部13と、画像生成部14と、記憶部15とを備える。
[1.4. Configuration of image generation device 10]
FIG. 5 is a functional block diagram showing the configuration of the
距離検出部11は、車両1に搭乗者が乗車する前と乗車した後に、車両1の左方に存在する物体(以下、「左方物体」という)および右方に存在する物体(以下、「右方物体」という)と車両1との距離をそれぞれ検出する。距離検出部11は、第1距離検出部111と第2距離検出部112を備える。なお、本実施の形態において、左方物体と右方物体を総称して、「隣接物体」という場合がある。
The
第1距離検出部111は、車両1に搭乗者が乗車する前に、左方物体および右方物体と車両1との距離を、第1距離Xaとして検出する。具体的には、第1距離検出部111は、車両1に搭乗者が乗車する前の所定時点T1で、測距センサ4Lを起動し、測距センサ4Lから距離検出信号5Lを取得する。第1距離検出部111は、取得した距離検出信号5Lに基づき、左方物体と車両1との距離を左方第1距離LXaとして検出する。この左方第1距離LXaは、車両1に搭乗者が乗車する前における左サイドカメラ2Lと左方物体との距離として用いられる。
The first
また、第1距離検出部111は、車両1に搭乗者が乗車する前の前記所定時点T1で、測距センサ4Rを起動し、測距センサ4Rから距離検出信号5Rを取得する。第1距離検出部111は、取得した距離検出信号5Rに基づき、右方物体と車両1との距離を右方第1距離RXaとして検出する。この右方第1距離RXaは、車両1に搭乗者が乗車する前における右サイドカメラ2Rと右方物体との距離として用いられる。なお、本実施の形態において、左方第1距離LXaと右方第1距離RXaを総称して、第1距離Xaと記載する場合がある。
Further, the first
第1距離検出部111は、検出した第1距離Xaを傾斜角算出部12に出力する。ただし、第1距離検出部111は、測距センサ4から距離検出信号5を取得できない場合は、その方向に物体は存在しないと判断する。その場合、第1距離検出部111は、その方向の第1距離Xaを傾斜角算出部12に出力しない。
The
第1距離検出部111は、ロックスイッチ6からアンロック信号7を取得する。第1距離検出部111は、アンロック信号7を取得したとき、車両1に搭乗者が乗車する前の所定時点T1であると判断する。具体的には、第1距離検出部111は、助手席側ドアのアンロック信号7Lおよび運転席側ドアのアンロック信号7Rを取得する。第1距離検出部111は、アンロック信号7Lまたは7Rのどちらかを先に取得した時点を所定時点T1であると判断する。運転席側ドアまたは助手席側ドアのアンロックは、搭乗者が車両1に搭乗する直前に行われるためである。
The
このように、第1距離検出部111は、アンロック信号7を取得すると、車両1に搭乗者が乗車する直前であると判断し、測距センサ4を起動して測距センサ4から距離検出信号5を取得する。第1距離検出部111は、取得した距離検出信号5を基に第1距離Xaを検出する。
Thus, when the first
第2距離検出部112は、車両1に搭乗者が乗車した後に、左方物体または右方物体と車両1との距離を、第2距離Xbとして検出する。具体的には、第2距離検出部112は、車両1に搭乗者が乗車した後の所定時点T2で、測距センサ4Lから距離検出信号5Lを取得する。第2距離検出部112は、取得した距離検出信号5Lに基づき、左方物体と車両1との距離を左方第2距離LXbとして検出する。この左方第2距離LXbは、車両1に搭乗者が乗車した後における左サイドカメラ2Lと左方物体との距離として用いられる。
The second
また、第2距離検出部112は、車両1に搭乗者が乗車した後の前記所定時点T2で、測距センサ4Rから距離検出信号5Rを取得する。第2距離検出部112は、取得した距離検出信号5Rに基づき、右方物体と車両1との距離を右方第2距離RXbとして検出する。この右方第2距離RXbは、車両1に搭乗者が乗車した後における右サイドカメラ2Lと右方物体との距離として用いられる。なお、左方第2距離LXbと右方第2距離RXbを総称して、第2距離Xbと記載する場合がある。
Further, the second
第2距離検出部112は、検出した第2距離Xbを傾斜角算出部12に出力する。ただし、第2距離検出部112は、測距センサ4から距離検出信号5を取得できない場合は、その方向に物体は存在しないと判断する。その場合、第2距離検出部112は、その方向の第2距離Xbを傾斜角算出部12に出力しない。
The
第2距離検出部112は、IGスイッチ8からIG信号9を取得する。第2距離検出部112は、IG信号9を取得したとき、車両1に搭乗者が乗車した後の所定時点T2であると判断する。IGスイッチ8のオン操作は、搭乗者が車両1に搭乗した後に行われるためである。
このように、第2距離検出部112は、IG信号9を取得すると、車両1に搭乗者が乗車した後であると判断し、測距センサ4から距離検出信号5を取得する。第2距離検出部112は、取得した距離検出信号5を基に第2距離Xbを検出する。
In this way, when the second
傾斜角算出部12は、第1距離検出部111で検出された第1距離Xaと、第2距離検出部112で検出された第2距離Xbに基づき、搭乗者が車両1に搭乗する前後における車両1の横方向の傾斜角の変化量である傾斜角変化量θを算出する。
The inclination
具体的には、運転席側ドアまたは助手席側ドアがアンロックされた時点T1では、車両1に搭乗者は乗車していないため、車両1に姿勢変化はない。すなわち、時点T1において、車両1は搭乗者が乗車していない初期状態である。第1距離Xaは、車両1の初期状態における隣接物体と車両1との距離を示す。
Specifically, at the time T1 when the driver's seat side door or the passenger's seat side door is unlocked, there is no passenger in the
その後、IGスイッチ8がオンされた時点T2では、車両1に搭乗者が乗車しているため、車両1に姿勢変化が生じる。すなわち、車両1が初期状態から横方向に傾斜角θだけ傾く。傾斜角θは、搭乗者が車両1に搭乗する前後における車両1の横方向の傾斜角の変化量である。第2距離Xbは、車両1が初期状態から横方向に傾斜角変化量θだけ傾いた状態における隣接物体と車両1との距離を示す。第1距離Xaと第2距離Xbの差は、傾斜角変化量θとして表れる。第1距離Xaと第2距離Xbの差が大きくなるほど傾斜角変化量θも大きくなる。
After that, at time T2 when the
かかる事実に基づき、傾斜角算出部12は、第1距離Xaと第2距離Xbの差を求め、その差を基に傾斜角変化量θを算出する。傾斜角変化量θの具体的な算出方法は後述する。傾斜角算出部12は、算出した傾斜角変化量θを補正部13に出力する。傾斜角算出部12は、また、第1距離Xaおよび第2距離Xbを補正部13に出力する。
Based on this fact, the
補正部13は、傾斜角変化量θ、第1距離Xaおよび第2距離Xbに基づき、カメラの姿勢データを補正する。具体的には、補正部13は、傾斜角変化量θに基づき記憶部15に記憶されている初期カメラ姿勢データ41を補正する。初期カメラ姿勢データ41は、カメラキャリブレーションにより得られたカメラ2の位置データX、Y、Zからなる初期位置データ42と、光軸データP、R、Tからなる初期光軸データ43である。
The
補正部13は、補正した初期カメラ姿勢データ41を補正カメラ姿勢データ51として記憶部15に記憶する。補正部13は、記憶部15に記憶した補正カメラ姿勢データ51、すなわち、補正位置データ52と補正光軸データ53を画像生成部14に出力する。なお、補正部13は、初期カメラ姿勢データ41を補正していない場合は、初期カメラ姿勢データ41を補正カメラ姿勢データ51として画像生成部14に出力する。初期カメラ姿勢データ41の具体的な補正方法は後述する。
The
画像生成部14は、補正カメラ姿勢データ51を用いて、生成された複数の撮影画像3から視点変換画像を生成する。具体的には、画像生成部14は、補正位置データ52と補正光軸データ53を補正部13から受け、撮影画像3を車両1に搭載された各カメラ2から受ける。画像生成部14は、補正位置データ52と補正光軸データ53を用いて、撮影画像3から俯瞰画像25を生成する。画像生成部14は、生成した俯瞰画像25を表示装置23に出力する。
The
記憶部15は、初期カメラ姿勢データ41と補正カメラ姿勢データ51を記憶する。初期カメラ姿勢データ41は、車両1の出荷前にカメラキャリブレーションによって調整されたカメラ2の姿勢データである。初期カメラ姿勢データ41は、初期位置データ42と初期光軸データ43を含む。
The
初期位置データ42は、前述したように、カメラキャリブレーションによって得られたカメラ2の横方向位置X、前後方向位置Y、および高さ方向位置Zを有する。具体的には、初期位置データ42は、左サイドカメラ2L、右サイドカメラ2R、フロントカメラ2F、およびリアカメラ2Bのそれぞれの横方向位置XL、XR、XF、XB、前後方向位置YL、YR、YF、YB、および高さ方向位置ZL、ZR、ZF、ZBを有する。
The
初期光軸データ43は、前述したように、カメラキャリブレーションによって得られたカメラ2のパン角P、ロール角R、チルト角Tを有する。具体的には、初期光軸データ43は、左サイドカメラ2L、右サイドカメラ2R、フロントカメラ2F、およびリアカメラ2Bのそれぞれのパン角PL、PR、PF、PB、ロール角RL、RR、RF、RB、およびチルト角TL、TR、TF、TBを有する。
The initial
補正カメラ姿勢データ51は、補正部13により補正された初期カメラ姿勢データ41である。補正カメラ姿勢データ51は、補正位置データ52と補正光軸データ53を含む。
The corrected
本実施の形態において、初期カメラ姿勢データ41と補正カメラ姿勢データ51を区別するために、初期カメラ姿勢データ41に含まれる各データはa付きで表示し、補正カメラ姿勢データ51に含まれる各データはb付きで表示することがある。例えば、左サイドカメラ2Lの初期高さ方向位置はZLaと表記し、補正された高さ方向位置はZLbと表記する。
In this embodiment, in order to distinguish between the initial
[2.傾斜角変化量θの算出方法]
以下、図6を用いて、傾斜角変化量θの具体的な算出方法について説明する。図6は、傾斜角変化量θの算出方法を説明する図である。図6(a)は、車両1の左右両隣に隣接物体である隣接車両1L、1Rが駐車枠110内に駐車している状態を上面視で示している。図6(b)は、車両1に搭乗者が搭乗する前の時点T1における各車両1、1L、1Rの状態を後面視で示している。図6(c)は、車両1に搭乗者が乗車した後の時点T2における各車両1、1L、1Rの状態を後面視で示している。なお、図6(b)(c)において、車両1、1L、1Rを直方体の剛体として表現している。図6(d)は、車両1に搭乗者が乗車する前後の車両1の姿勢変化、および車両1の左方の隣接車両1Lと車両1との距離関係を示している。なお、図6(c)(d)において、車両1の姿勢が変化した後の車両1と同じ車両部分については、「’」付きで表記している。
[2. Calculation method of tilt angle change amount θ]
A specific method for calculating the tilt angle change amount θ will be described below with reference to FIG. 6 . FIG. 6 is a diagram illustrating a method of calculating the tilt angle change amount θ. FIG. 6(a) shows a state in which
図6(b)を参照して、運転席側ドアまたは助手席側ドアがアンロックされた時点T1では、車両1は搭乗者が乗車していない初期状態である。このときの車両1と左方隣接車両1Lとの距離である左方第1距離はLXaであり、車両1と右方の隣接車両1Rとの右方第1距離はRXaであるとする。その後、搭乗者が車両1に乗車し、IGスイッチ8をオンした時点T2では、図6(c)に示すように、搭乗者の乗車により車両1の姿勢が変化する。図6(c)では車両1が右側に傾斜角θLだけ初期状態から傾斜していることを示している。すなわち、車両1の左方の傾斜角変化量θはθL(以下、「左方傾斜角変化量θL」という)である。このときの車両1’と左方隣接車両1Lとの距離である左方第2距離はLXbであり、車両1’と右方隣接車両1Rとの右方第2距離はRXbであるとする。なお、図6では、時点T1と時点T2で車両1の前後方向の傾斜角変化量は0であるとしている。
Referring to FIG. 6(b), at time T1 when the driver's seat side door or passenger's seat side door is unlocked,
図6(d)を参照して、車両1の左側面1Sには左サイドカメラ2Lが取り付けられている。測距センサ4Lは図6(d)に図示していないが、左サイドカメラ2Lの近傍でほぼ同じ位置に設置されている。時点T1では車両1は初期状態であり、このときの左サイドカメラ2Lの路面に対する高さは、初期位置データ42における左サイドカメラ2Lの高さ方向位置ZLaに対応する長さである。また、時点T1において、左サイドカメラ2Lと左方隣接車両1Lの右側面1LSとの左方第1距離はLXaである。
6(d), a
時点T2において、車両1’が回転中心Aを中心として左方傾斜角変化量θLだけ傾く。このとき、左サイドカメラ2L’と左方隣接車両1Lの右側面1LSとの左方第2距離はLXbである。よって、傾斜後の左サイドカメラ2L’と初期状態における車両1の左側面1Sとの距離は、LXb-LXaとなる。時点T2において、左サイドカメラ2L’と回転中心Aとの距離は、初期状態における左サイドカメラ2Lの高さと同じであるため、高さ方向位置ZLaに対応する長さである。したがって、左方傾斜角変化量θLは、下記の式(1)を用いて算出することができる。
θL=sin-1((LXb-LXa)/ZLa) ・・・(1)
At time T2, the vehicle 1' is tilted about the center of rotation A by the left tilt angle change amount θL. At this time, the second left distance between the
θL=sin −1 ((LXb−LXa)/ZLa) (1)
左方隣接車両1Lに対して左方傾斜角変化量θLを算出したのと同様に、右方隣接車両1Rに対しても、車両1の右方の傾斜角変化量θである傾斜角変化量θR(以下、「右方傾斜角変化量θR」という)を算出することができる。この場合、高さ方向位置ZLaの代わりに、右サイドカメラ2Rの高さ方向位置ZRaを使用し、右方第1距離はRXaを使用し、右方第2距離はRXbを使用する。右方傾斜角変化量θRは、下記の式(2)を用いて算出することができる。
θR=sin-1((RXb-RXa)/ZRa) ・・・(2)
なお、本実施の形態において、左方傾斜角変化量θLと右方傾斜角変化量θRを総称して、傾斜角変化量θと記載する場合がある。
In the same manner as calculating the left tilt angle change amount θL for the left
θR=sin −1 ((RXb−RXa)/ZRa) (2)
In the present embodiment, the left tilt angle change amount θL and the right tilt angle change amount θR may be collectively referred to as the tilt angle change amount θ.
傾斜角算出部12(図5)は、第1距離検出部111から左方第1距離LXaおよび右方第1距離RXaを取得する。傾斜角算出部12は、第2距離検出部112から左方第2距離LXbおよび右方第2距離RXbを取得する。さらに、傾斜角算出部12は、記憶部15から初期カメラ姿勢データ41におけるカメラ位置データ42のうち、左サイドカメラ2Lの高さ方向位置データZLaおよび右サイドカメラ2Rの高さ方向位置データZRaを読み出す。傾斜角算出部12は、取得した左方第1距離LXa、左方第2距離LXb、および高さ方向位置データZLaに基づき、前記式(1)により左方傾斜角変化量θLを算出する。
The tilt angle calculator 12 ( FIG. 5 ) acquires the first left distance LXa and the first right distance RXa from the
また、傾斜角算出部12は、取得した右方第1距離RXa、右方第2距離RXb、および高さ方向位置データZRaに基づき、前記式(2)により右方傾斜角変化量θRを算出する。傾斜角算出部12は、算出した左方傾斜角変化量θLと右方傾斜角変化量θRを補正部13に出力する。また、傾斜角算出部12は、検出した左方第1距離LXa、左方第2距離LXb、および右方第1距離RXa、右方第2距離RXbを補正部13に出力する。
In addition, the tilt
[3.カメラ姿勢データの補正方法]
次に、初期カメラ姿勢データ41の補正方法について図6(d)を用いて説明する。車両1が左方傾斜角変化量θLだけ横方向に傾斜することにより、左サイドカメラ2Lの初期カメラ姿勢データ41が変化する。具体的には、横方向位置XLは、初期横方向位置XLaに対しLXb-LXaだけ小さくなる。高さ方向位置ZLは、初期高さ方向位置ZLaに対し、ZLa-(LXb-LXa)/tanθLだけ小さくなる。チルト角TLaは、初期チルト角TLaに対し、左方傾斜角変化量θLだけ大きくなる。一方、前後方向位置YL、パン角PL、およびロール角RLは、車両1の姿勢変化後も初期値から変化しない。
[3. Method of Correcting Camera Posture Data]
Next, a method for correcting the initial
したがって、補正後の左サイドカメラ2Lの補正カメラ姿勢データ51は、式(3)から式(8)のようになる。
補正横方向位置XLb=XLa-(LXb-LXa) ・・・(3)
補正前後方向位置YLb=YLa ・・・(4)
補正高さ方向位置ZLb=(LXb-LXa)/tanθL ・・・(5)
補正パン角PLb=PLa ・・・(6)
補正ロール角RLb=RLa ・・・(7)
補正チルト角TLb=TLa+θL ・・・(8)
Therefore, the corrected
Corrected lateral position XLb=XLa-(LXb-LXa) (3)
Corrected front-back direction position YLb=YLa (4)
Corrected height direction position ZLb=(LXb-LXa)/tan θL (5)
Corrected pan angle PLb=PLa (6)
Corrected roll angle RLb=RLa (7)
Corrected tilt angle TLb=TLa+θL (8)
右サイドカメラ2Rについても同様であり、補正後の右サイドカメラ2Rの補正カメラ姿勢データ51は、式(9)から式(14)のようになる。
補正横方向位置XRb=XRa-(RXb-RXa) ・・・(9)
補正前後方向位置YRb=YRa ・・・(10)
補正高さ方向位置ZRb=(RXb-RXa)/tanθR ・・・(11)
補正パン角PRb=PRa ・・・(12)
補正ロール角RRb=RRa ・・・(13)
補正チルト角TRb=TRa+θR ・・・(14)
The same is true for the
Corrected lateral position XRb=XRa-(RXb-RXa) (9)
Corrected longitudinal position YRb=YRa (10)
Corrected height direction position ZRb=(RXb-RXa)/tan θR (11)
Corrected pan angle PRb=PRa (12)
Corrected roll angle RRb=RRa (13)
Corrected tilt angle TRb=TRa+θR (14)
フロントカメラ2Fの場合、左右のサイドカメラ2L、2Rと若干異なり、横方向位置XFおよび高さ方向位置ZFの変化量は、左方傾斜角変化量θLと初期高さ方向位置ZFaによって定まる。また、フロントカメラ2Fの場合、ロール角RFが左方傾斜角変化量θLだけ変化する。したがって、フロントカメラ2Fの補正後の補正カメラ姿勢データ51は、式(15)から式(20)のようになる。
補正横方向位置XFb=XFa-sinθL×ZFa ・・・(15)
補正前後方向位置YFb=YFa ・・・(16)
補正高さ方向位置ZFb=cosθL×ZFa ・・・(17)
補正パン角PFb=PFa ・・・(18)
補正ロール角RFb=RFa+θL ・・・(19)
補正チルト角TFb=TFa ・・・(20)
In the case of the
Corrected lateral position XFb=XFa-sin θL×ZFa (15)
Corrected longitudinal position YFb=YFa (16)
Corrected height direction position ZFb=cos θL×ZFa (17)
Corrected pan angle PFb=PFa (18)
Corrected roll angle RFb=RFa+θL (19)
Corrected tilt angle TFb=TFa (20)
リアカメラ2Bについては、フロントカメラ2Fと同様であり、補正後の補正カメラ姿勢データ51は、式(21)から式(26)のようになる。
補正横方向位置XBb=XBa-sinθL×ZBa ・・・(21)
補正前後方向位置YBb=YBa ・・・(22)
補正高さ方向位置ZBb=cosθL×ZBa ・・・(23)
補正パン角PBb=PBa ・・・(24)
補正ロール角RBb=RBa+θL ・・・(25)
補正チルト角TBb=TBa ・・・(26)
The
Corrected lateral position XBb=XBa-sin θL×ZBa (21)
Corrected longitudinal position YBb=YBa (22)
Corrected height direction position ZBb=cos θL×ZBa (23)
Corrected pan angle PBb=PBa (24)
Corrected roll angle RBb=RBa+θL (25)
Corrected tilt angle TBb=TBa (26)
なお、フロントカメラ2Fおよびリアカメラ2Bの補正カメラ姿勢データ51は、傾斜角変化量θとして左方傾斜角変化量θLを使用しているが、これに限らない。例えば、補正カメラ姿勢データ51は、傾斜角変化量θとして右方傾斜角変化量θRを使用してもよい。補正カメラ姿勢データ51は、左方傾斜角変化量θLと右方傾斜角変化量θRの平均値を使用してもよい。
Although the corrected
補正部13(図5)は、傾斜角算出部12から左方傾斜角変化量θL、左方第1距離LXaおよび左方第2距離LXbを取得する。補正部13は、前記式(3)から式(8)により左サイドカメラ2Lの補正カメラ姿勢データ51を算出する。
The correction unit 13 ( FIG. 5 ) acquires the left tilt angle change amount θL, the left first distance LXa, and the left second distance LXb from the tilt
補正部13は、傾斜角算出部12から右方傾斜角変化量θR、右方第1距離RXaおよび右方第2距離RXbを取得する。補正部13は、前記式(9)から式(14)により右サイドカメラ2Rの補正カメラ姿勢データ51を算出する。
The
補正部13は、傾斜角算出部12から取得した左方傾斜角変化量θLまたは右方傾斜角変化量θRを用いて、前記式(15)から式(26)によりフロントサイドカメラ2F、およびリアカメラ2Bの補正カメラ姿勢データ51を算出する。
Using the left tilt angle change amount θL or the right tilt angle change amount θR acquired from the tilt
補正部13は、補正カメラ姿勢データ51を算出すると、算出した補正カメラ姿勢データ51を記憶部15に記憶し、画像生成部14に出力する。これにより、画像生成部14は、補正カメラ姿勢データ51を用いて撮影画像3から俯瞰画像25を生成する。これにより、搭乗者が車両1に乗車して車両1の姿勢が変化しても、仮想視点画像において繋ぎ合わせた画像間にずれが生じなくなる。
After calculating the corrected
なお、車両1の左右方向に、左方隣接車両1Lと右方隣接車両1Rのどちらか一方のみが存在する場合、補正部13は、その一方の隣接車両に対する傾斜角変化量θと第1距離Xa、第2距離Xbしか得られない。その場合、補正部13は、取得した一方の傾斜角変化量θを共通の傾斜角変化量θとし、取得した一方の第1距離Xa、第2距離Xbを共通の第1距離Xa、第2距離Xbとする。補正部13は、隣接車両が存在しない側に対応する他方の傾斜角変化量θとして、共通の傾斜角変化量θを使用する。また補正部13は、隣接車両が存在しない側に対応する他方の第1距離Xa、第2距離Xbとして共通の第1距離Xa、第2距離Xbを使用する。
Note that when only one of the left
例えば、車両1の隣に左方隣接車両1Lが駐車しており、右方隣接車両1Rが駐車していないとする。その場合、補正部13は、左方傾斜角変化量θL、左方第1距離LXa、左方第2距離LXbしか取得できない。補正部13は、右サイドカメラ2Rの補正カメラ姿勢データ51を算出するにあたり、前記式(9)から式(14)において、右方傾斜角変化量θR、右方第1距離RXa、右方第2距離RXbの代わりに、左方傾斜角変化量θL、左方第1距離LXa、左方第2距離LXbを使用する。
For example, it is assumed that the left
また、車両1の左右方向に、左方隣接車両1Lと右方隣接車両1Rのどちらも存在しない場合、補正部13は、傾斜角変化量θと第1距離Xa、第2距離Xbを得られない。その場合、補正部13は初期カメラ姿勢データ41の補正を禁止する。
Further, when neither the left
[4.動作詳細]
図7は、図1に示す画像生成装置10の動作を示すフローチャートである。画像生成装置10は、IGスイッチ8がオフの間はスリープモードとなり、動作を停止している。助手席側ドアのアンロック信号7L、または運転席側ドアのアンロック信号7Rのどちらかが画像生成装置10に入力されると、画像生成装置10は、スリープモードからアクティブモードになり図7に示す処理を開始する。このタイミングが、車両1に搭乗者が乗車する前の時点T1となる。
[4. Operation details]
FIG. 7 is a flow chart showing the operation of the
第1距離検出部111は、測距センサ4Lを起動し、測距センサ4Lから左方隣接物体との距離検出信号5Lを取得する。第1距離検出部111は、取得した距離検出信号5Lを左方第1距離LXaとして検出し、傾斜角算出部12に出力する(ステップS1)。次いで、第1距離検出部111は、測距センサ4Rを起動し、測距センサ4Rから右方隣接物体との距離検出信号5Rを取得する。第1距離検出部111は、取得した距離検出信号5Rを右方第1距離RXaとして検出し、傾斜角算出部12に出力する(ステップS2)。
The first
第2距離検出部112は、IG信号9に基づきIGスイッチ8がオンされたか否かを判断する(ステップS3)。IGスイッチ8がオンされていなければ(ステップS3 NO)、第2距離検出部112は、ステップS3を繰り返し、IGスイッチ8がオンされるのを待つ。IGスイッチ8がオンされると、そのタイミングが、車両1に搭乗者が乗車した後の時点T2となる。
The
第2距離検出部112は、IGスイッチ8がオンされたと判断すると(ステップS3 YES)、測距センサ4Lから左方隣接物体との距離検出信号5Lを取得する。第2距離検出部112は、取得した距離検出信号5Lを左方第2距離LXbとして検出し、傾斜角算出部12に出力する(ステップS4)。次いで、第2距離検出部112は、測距センサ4Rから右方隣接物体との距離検出信号5Rを取得する。第2距離検出部112は、取得した距離検出信号5Rを右方第2距離RXbとして検出し、傾斜角算出部12に出力する(ステップS5)。
When the
傾斜角算出部12は、記憶部15から読み出した初期カメラ姿勢データ41と、距離検出部11から取得した第1距離Xaおよび第2距離Xbに基づき、車両1の傾斜角変化量θを算出する(ステップS6)。傾斜角算出部12は、算出した傾斜角変化量θを第1距離Xaおよび第2距離Xbと共に補正部13に出力する。具体的には、傾斜角算出部12は、記憶部15から初期カメラ姿勢データ41のうち、左右のサイドカメラ2L、2Rの初期高さ方向位置ZLa、ZRaを読み出す。傾斜角算出部12は、記憶部15から読み出した左サイドカメラ2Lの初期高さ方向位置ZLa、および傾斜角算出部12から取得した左方第1距離LXaと左方第2距離LXbに基づき、前記式(1)により左方傾斜角変化量θLを算出する。また、傾斜角算出部12は、記憶部15から読み出した右サイドカメラ2Rの初期高さ方向位置ZRa、および傾斜角算出部12から取得した右方第1距離RXaと右方第2距離RXbに基づき、前記式(2)により右方傾斜角変化量θRを算出する。傾斜角算出部12は、算出した左方傾斜角変化量θLと右方傾斜角変化量θR、を補正部13に出力する。また、傾斜角算出部12は、距離検出部11から取得した左方第1距離LXa、左方第2距離LXb、右方第1距離RXa、および右方第2距離RXbを補正部13に出力する。
The
補正部13は、記憶部15から初期カメラ姿勢データ41を読み出し、初期カメラ姿勢データ41と傾斜角変化量θ、第1距離Xa、第2距離Xbに基づき、初期カメラ姿勢データ41を補正する(ステップS7)。具体的には、補正部13は、前記式(3)から式(26)により各カメラ2の補正カメラ姿勢データ51を算出し、記憶部15に記憶する。補正部13は、記憶部15に記憶した補正カメラ姿勢データ51を画像生成部14に出力する。
The
画像生成部14は、カメラ2から取得した撮影画像3と、補正部13から取得した補正カメラ姿勢データ51に基づき俯瞰画像25を生成する。画像生成部14は、生成した俯瞰画像25を表示装置23に出力する。
The
以上、詳細に説明したように、本実施の形態に係る画像生成装置は、移動体に搭載された複数のカメラにより生成された複数の撮影画像からカメラの姿勢データを用いて視点変換画像を生成する画像生成装置であって、第1距離検出部と、第2距離検出部と、傾斜角算出部と、補正部と、画像生成部と、を備える。第1距離検出部は、移動体に搭乗者が乗車する前に、移動体の左方向または右方向に存在する物体と移動体との距離を、第1距離として検出する。第2距離検出部は、移動体に搭乗者が乗車した後に、移動体の左方向または右方向に存在する物体と移動体との距離を、第2距離として検出する。傾斜角算出部は、第1距離および第2距離に基づき、搭乗者が移動体に搭乗する前後における移動体の横方向の傾斜角の変化量である傾斜角変化量を算出する。補正部は、傾斜角変化量、第1距離および第2距離に基づき姿勢データを補正する。画像生成部は、補正された姿勢データを用いて、生成された複数の画像から視点変換画像を生成する。 As described in detail above, the image generating apparatus according to the present embodiment generates a viewpoint-transformed image from a plurality of photographed images generated by a plurality of cameras mounted on a moving object, using camera orientation data. An image generating device for detecting an object, comprising a first distance detecting section, a second distance detecting section, an inclination angle calculating section, a correcting section, and an image generating section. The first distance detection unit detects, as a first distance, a distance between an object existing on the left side or the right side of the mobile body and the mobile body before the passenger gets on the mobile body. The second distance detection unit detects, as a second distance, a distance between an object existing on the left side or the right side of the moving body and the moving body after the passenger gets on the moving body. The tilt angle calculation unit calculates a tilt angle change amount, which is a change amount of the tilt angle in the lateral direction of the moving body before and after the passenger boards the moving body, based on the first distance and the second distance. The correction unit corrects the posture data based on the tilt angle change amount, the first distance, and the second distance. The image generator uses the corrected orientation data to generate a viewpoint-transformed image from the plurality of generated images.
これにより、移動体の姿勢が変化した場合であっても、仮想視点画像において繋ぎ合わせた画像間のずれの発生を抑制することができる。 With this, even when the posture of the moving object changes, it is possible to suppress the occurrence of a deviation between the images that are joined together in the virtual viewpoint image.
また、本実施の形態に係る画像生成装置では、カメラは、移動体の左側に搭載された左サイドカメラと移動体の右側に搭載された右サイドカメラを備え、傾斜角算出部は、移動体の左方向と右方向の両方に物体が存在する場合、移動体と左方向の物体との第1距離および第2距離に基づき傾斜角変化量を左方傾斜角変化量として算出し、移動体と前記右方向の物体との第1距離および第2距離に基づき傾斜角変化量を右方傾斜角変化量として算出し、補正部は、左サイドカメラの姿勢データを左方傾斜角変化量に基づき補正し、右サイドカメラの姿勢データを右方傾斜角変化量に基づき補正する。 Further, in the image generation device according to the present embodiment, the cameras include a left-side camera mounted on the left side of the moving body and a right-side camera mounted on the right side of the moving body, and the tilt angle calculation unit If there are objects on both the left and right sides of the moving body, the tilt angle change amount is calculated as the left tilt angle change amount based on the first distance and the second distance between the moving body and the object on the left side. and the first distance and the second distance from the object in the right direction, the amount of change in the tilt angle is calculated as the amount of change in the right tilt angle. The posture data of the right side camera is corrected based on the right tilt angle change amount.
これにより、移動体の姿勢が変化した場合であっても、左右カメラの姿勢データをそれぞれ補正でき、仮想視点画像において繋ぎ合わせた画像間のずれの発生を抑制することができる。 Thereby, even if the posture of the moving object changes, the posture data of the left and right cameras can be corrected, respectively, and the occurrence of deviation between the images joined together in the virtual viewpoint images can be suppressed.
また、本実施の形態に係る画像生成装置では、カメラは、移動体の左側に搭載された左サイドカメラと移動体の右側に搭載された右サイドカメラを備え、傾斜角算出部は、移動体の左方向と右方向のいずれか一方に物体が存在する場合、移動体と存在する物体との第1距離および第2距離に基づき傾斜角変化量を共通の傾斜角変化量として算出し、補正部は、左サイドカメラと右サイドカメラのうち、物体が存在しない側に搭載されたサイドカメラの姿勢データを共通の傾斜角変化量に基づき補正する。 Further, in the image generation device according to the present embodiment, the cameras include a left-side camera mounted on the left side of the moving body and a right-side camera mounted on the right side of the moving body, and the tilt angle calculation unit If an object exists in either the left or right direction of the moving object, the tilt angle change amount is calculated as a common tilt angle change amount based on the first distance and the second distance between the moving object and the existing object, and corrected The section corrects the attitude data of the side camera mounted on the side where the object does not exist, out of the left side camera and the right side camera, based on the common tilt angle change amount.
これによれば、移動体の左右いずれかに物体が存在しない場合であっても、物体の存在しない側に搭載されたサイドカメラの姿勢データを補正できるため、仮想視点画像において繋ぎ合わせた画像間のずれの発生を抑制することができる。 According to this, even if an object does not exist on either the left or right side of the moving body, the attitude data of the side camera mounted on the side where the object does not exist can be corrected. It is possible to suppress the occurrence of deviation.
また、本実施の形態に係る画像生成装置では、補正部は、移動体の左方向と右方向のどちらにも物体が存在しない場合、姿勢データの補正を禁止する。 In addition, in the image generating apparatus according to the present embodiment, the correcting unit prohibits correcting the orientation data when there is no object on either the left side or the right side of the moving body.
これによれば、姿勢データが間違って補正されてしまうことを防止できる。 According to this, it is possible to prevent the attitude data from being erroneously corrected.
[変形例]
上記実施の形態において、距離検出部11は、レーダ装置を例とする測距センサ4により第1距離および第2距離を検出したが、これに限らない。距離検出部11は、画像認識により第1距離と第2距離を検出してもよい。その場合、測距センサ4の代わりにカメラ2を用いることができる。具体的には、第1距離検出部111は、時点T1でカメラ2を起動し、撮影画像3を取得して記憶する。第1距離検出部111は、撮影画像3に映る物体の路面との接地点を検出する。例えば、物体が隣接車両である場合、第1距離検出部111は、撮影画像3において隣接車両のタイヤを検出し、撮影画像3におけるタイヤの最下点のピクセル位置より第1距離を検出する。第2距離検出部112も同様に、時点T2における撮影画像3より第2距離を検出する。これにより、測距センサ4をカメラ2と兼用することができるため、コストダウンになる。
[Modification]
In the above-described embodiment, the
上記実施の形態において、距離検出部11は、移動体に搭乗者が乗車する前の時点T1をアンロック信号7により検出したが、これに限らない。距離検出部11は、移動体に搭乗者が乗車する前であることを検出できれば、いかなる信号を使用してもよい。例えば、距離検出部11は、ドア開閉スイッチにより車両1のいずれかのドアが開いたことを検出した時点を時点T1としてもよい。
In the above-described embodiment, the
上記実施の形態において、距離検出部11は、移動体に搭乗者が乗車した後の時点T2をIGスイッチ8により検出したが、これに限らない。距離検出部11は、移動体に搭乗者が乗車したことを検出できればいかなる信号を使用してもよい。例えば、距離検出部11は、ACCスイッチのオン信号、シートに設けられる着座センサ、ブレーキのオン信号、シフト位置センサによるシフト位置の切換などにより、移動体に搭乗者が乗車したことを検出してもよい。
In the above-described embodiment, the
上記実施の形態において、時点T1で検出した第1距離Xaと、時点T2で検出した第2距離Xbとは、同じ隣接物体と車両1との距離であると見做している。搭乗者がドアをアンロックしてからIGスイッチ8をオンするまでの時間は短時間であるため、その間に隣接物体が別の物体と入れ替わる可能性が低いためである。しかしながら、時点T1から時点T2までの時間が長い場合は、その間に隣接物体が他の物体と入れ替わっている可能性が高くなる。隣接物体が入れ替わると、第1距離Xaと第2距離Xbは、異なる物体との距離になるため、傾斜角算出部12は間違った傾斜角変化量θを算出してしまう。それにより、補正部13は、初期カメラ姿勢データ41を間違った値に補正してしまう。そこで、補正部13は、時点T1から時点T2までの経過時間を計測し、その経過時間が所定時間を超えた場合は、初期カメラ姿勢データ41の補正を禁止するようにしてもよい。これにより、補正部13が、初期カメラ姿勢データ41を間違った値に補正することを防止できる。
In the above embodiment, the first distance Xa detected at time T1 and the second distance Xb detected at time T2 are assumed to be the distances between the same adjacent object and the
また、上記実施の形態において、画像生成装置10の各機能ブロックは、LSIなどの半導体装置により個別に1チップ化されてもよいし、一部又は全部を含むように1チップ化されてもよい。ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
Further, in the above embodiment, each functional block of the
集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Fi eld Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。 The method of circuit integration is not limited to LSI, and may be realized by a dedicated circuit or a general-purpose processor. An FPGA (Field Programmable Gate Array) that can be programmed after the LSI is manufactured, or a reconfigurable processor that can reconfigure the connections and settings of the circuit cells inside the LSI may be used.
また、画像生成装置10により実行される処理の一部または全部は、プログラムにより実現されてもよい。そして、上記各実施の形態の各機能ブロックの処理の一部または全部は、コンピュータにおいて、中央演算装置(CPU)により行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ROMなどの記憶装置に格納されており、ROMにおいて、あるいはRAMに読み出されて実行される。
Also, part or all of the processing executed by the
また、上記実施の形態の各処理をハードウェアにより実現してもよいし、ソフトウェア(OS(オペレーティングシステム)、ミドルウェア、あるいは、所定のライブラリとともに実現される場合を含む。)により実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。 Further, each process of the above embodiment may be realized by hardware, or may be realized by software (including cases where it is realized together with an OS (operating system), middleware, or a predetermined library). . Furthermore, it may be realized by mixed processing of software and hardware.
また、上記実施の形態における処理方法の実行順序は、上記実施の形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で実行順序を入れ替えてもよい。 Also, the execution order of the processing methods in the above embodiments is not limited to the description of the above embodiments, and the execution order may be changed without departing from the spirit of the invention.
前述した方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、CD-ROM、MO、DVD、DVD-ROM、DVD-RAM、大容量DVD、次世代DVD、半導体メモリを挙げることができる。 A computer program that causes a computer to execute the method described above and a computer-readable recording medium that records the program are included in the scope of the present invention. Examples of computer-readable recording media include flexible disks, hard disks, CD-ROMs, MOs, DVDs, DVD-ROMs, DVD-RAMs, large-capacity DVDs, next-generation DVDs, and semiconductor memories. .
以上、本発明の実施の形態を説明したが、上述した実施の形態は本発明を実施するための例示に過ぎない。よって、本発明は上述した実施の形態に限定されることなく、その趣旨を逸脱しない範囲内で上述した実施の形態を適宜変形して実施することが可能である。 Although the embodiments of the present invention have been described above, the above-described embodiments are merely examples for carrying out the present invention. Therefore, the present invention is not limited to the above-described embodiment, and can be implemented by appropriately modifying the above-described embodiment without departing from the spirit of the present invention.
1 車両
2F、2L、2R、2B カメラ
4L、4R 測距センサ
10 画像生成装置
11 距離検出部
12 傾斜角算出部
13 補正部
14 画像生成部
15 記憶部
1
Claims (5)
前記移動体に搭乗者が乗車する前に、前記移動体の左方向または右方向に存在する物体と前記移動体との距離を、第1距離として検出する第1距離検出部と、
前記移動体に搭乗者が乗車した後に、前記移動体の左方向または右方向に存在する物体と前記移動体との距離を、第2距離として検出する第2距離検出部と、
前記第1距離および前記第2距離に基づき、前記搭乗者が前記移動体に搭乗する前後における前記移動体の横方向の傾斜角の変化量である傾斜角変化量を算出する傾斜角算出部と、
前記傾斜角変化量、前記第1距離および前記第2距離に基づき前記姿勢データを補正する補正部と、
前記補正された前記姿勢データを用いて、前記生成された複数の撮影画像から前記視点変換画像を生成する画像生成部と、を備える画像生成装置。 An image generation device for generating a viewpoint-transformed image from a plurality of captured images generated by a plurality of cameras mounted on a mobile object using posture data of the cameras,
a first distance detection unit that detects, as a first distance, a distance between an object existing on the left side or the right side of the moving body and the moving body before a passenger gets on the moving body;
a second distance detection unit configured to detect, as a second distance, a distance between an object existing on the left side or the right side of the moving body and the moving body after the passenger has boarded the moving body;
a tilt angle calculation unit that calculates a tilt angle change amount, which is a change amount of the tilt angle in the horizontal direction of the moving object before and after the passenger boards the moving object, based on the first distance and the second distance; ,
a correction unit that corrects the posture data based on the tilt angle change amount, the first distance, and the second distance;
and an image generation unit that generates the viewpoint-transformed image from the plurality of generated photographed images using the corrected orientation data.
前記カメラは、前記移動体の左側に搭載された左サイドカメラと前記移動体の右側に搭載された右サイドカメラを備え、
前記傾斜角算出部は、前記移動体の左方向と右方向の両方に物体が存在する場合、前記移動体と前記左方向の物体との前記第1距離および前記第2距離に基づき前記傾斜角変化量を左方傾斜角変化量として算出し、前記移動体と前記右方向の物体との前記第1距離および前記第2距離に基づき前記傾斜角変化量を右方傾斜角変化量として算出し、
前記補正部は、前記左サイドカメラの前記姿勢データを前記左方傾斜角変化量に基づき補正し、前記右サイドカメラの前記姿勢データを前記右方傾斜角変化量に基づき補正する、画像生成装置。 The image generation device of claim 1, comprising:
The camera comprises a left side camera mounted on the left side of the moving body and a right side camera mounted on the right side of the moving body,
The tilt angle calculator calculates the tilt angle based on the first distance and the second distance between the moving object and the object on the left when there are objects on both the left and right sides of the moving object. The amount of change is calculated as a left tilt angle change amount, and the tilt angle change amount is calculated as a right tilt angle change amount based on the first distance and the second distance between the moving object and the rightward object. ,
The correction unit corrects the posture data of the left side camera based on the left tilt angle change amount, and corrects the posture data of the right side camera based on the right tilt angle change amount. .
前記カメラは、前記移動体の左側に搭載された左サイドカメラと前記移動体の右側に搭載された右サイドカメラを備え、
前記傾斜角算出部は、前記移動体の左方向と右方向のいずれか一方に物体が存在する場合、前記移動体と前記存在する物体との前記第1距離および前記第2距離に基づき前記傾斜角変化量を共通の傾斜角変化量として算出し、
前記補正部は、前記左サイドカメラと右サイドカメラのうち、前記物体が存在しない側に搭載されたサイドカメラの前記姿勢データを前記共通の傾斜角変化量に基づき補正する、画像生成装置。 The image generation device of claim 1, comprising:
The camera comprises a left side camera mounted on the left side of the moving body and a right side camera mounted on the right side of the moving body,
The tilt angle calculation unit calculates the tilt angle based on the first distance and the second distance between the moving body and the existing object when an object exists in either one of the left direction and the right direction of the moving body. Calculate the angle change amount as a common tilt angle change amount,
The image generating device, wherein the correction unit corrects the attitude data of a side camera mounted on a side where the object does not exist, out of the left side camera and the right side camera, based on the common tilt angle change amount.
前記補正部は、前記移動体の左方向と右方向のどちらにも物体が存在しない場合、前記姿勢データの補正を禁止する、画像生成装置。 The image generation device of claim 1, comprising:
The image generating device, wherein the correction unit prohibits correction of the posture data when an object does not exist in either the left direction or the right direction of the moving body.
前記移動体に搭乗者が乗車する前に、前記移動体の左方向または右方向に存在する物体と前記移動体との距離を、第1距離として検出するステップと、
前記移動体に搭乗者が乗車した後に、前記移動体の左方向または右方向に存在する物体と前記移動体との距離を、第2距離として検出するステップと、
前記第1距離および前記第2距離に基づき、前記搭乗者が前記移動体に搭乗する前後における前記移動体の横方向の傾斜角の変化量である傾斜角変化量を算出するステップと、
前記傾斜角変化量、前記第1距離および前記第2距離に基づき前記姿勢データを補正するステップと、
前記補正された前記姿勢データを用いて、前記生成された複数の撮影画像から前記視点変換画像を生成するステップと、を備える画像生成方法。 An image generation method for generating a viewpoint-transformed image from a plurality of captured images generated by a plurality of cameras mounted on a moving body using posture data of the cameras,
a step of detecting, as a first distance, a distance between an object present on the left side or the right side of the moving body and the moving body before the passenger gets on the moving body;
a step of detecting, as a second distance, a distance between an object existing on the left side or the right side of the moving body and the moving body after the passenger has boarded the moving body;
calculating an inclination angle change amount, which is an amount of change in inclination angle in the horizontal direction of the moving body before and after the passenger boards the moving body, based on the first distance and the second distance;
correcting the posture data based on the tilt angle change amount, the first distance, and the second distance;
and generating the viewpoint-transformed image from the plurality of generated photographed images using the corrected posture data.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019060291A JP7188228B2 (en) | 2019-03-27 | 2019-03-27 | image generator |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019060291A JP7188228B2 (en) | 2019-03-27 | 2019-03-27 | image generator |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020162020A JP2020162020A (en) | 2020-10-01 |
JP7188228B2 true JP7188228B2 (en) | 2022-12-13 |
Family
ID=72640026
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019060291A Active JP7188228B2 (en) | 2019-03-27 | 2019-03-27 | image generator |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7188228B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7401614B1 (en) | 2022-08-19 | 2023-12-19 | 株式会社デンソーテン | Information processing device, information processing method and program |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009151524A (en) | 2007-12-20 | 2009-07-09 | Alpine Electronics Inc | Image display method and image display apparatus |
JP2009253571A (en) | 2008-04-04 | 2009-10-29 | Clarion Co Ltd | Monitor video image generation device for vehicle |
WO2013058093A1 (en) | 2011-10-18 | 2013-04-25 | 日立建機株式会社 | Device for monitoring surroundings of machinery |
JP2015106777A (en) | 2013-11-29 | 2015-06-08 | 株式会社富士通ゼネラル | Image processing system, operation support device, navigation device, and camera device |
WO2016052505A1 (en) | 2014-09-30 | 2016-04-07 | クラリオン株式会社 | Camera calibration device and camera calibration system |
WO2017069191A1 (en) | 2015-10-20 | 2017-04-27 | クラリオン株式会社 | Calibration apparatus, calibration method, and calibration program |
JP2017143417A (en) | 2016-02-10 | 2017-08-17 | クラリオン株式会社 | Calibration system, calibration device |
JP2017222258A (en) | 2016-06-15 | 2017-12-21 | 株式会社Jvcケンウッド | Posture change determination device, overhead image generation device, overhead image generation system, posture change determination method, and program |
-
2019
- 2019-03-27 JP JP2019060291A patent/JP7188228B2/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009151524A (en) | 2007-12-20 | 2009-07-09 | Alpine Electronics Inc | Image display method and image display apparatus |
JP2009253571A (en) | 2008-04-04 | 2009-10-29 | Clarion Co Ltd | Monitor video image generation device for vehicle |
WO2013058093A1 (en) | 2011-10-18 | 2013-04-25 | 日立建機株式会社 | Device for monitoring surroundings of machinery |
JP2015106777A (en) | 2013-11-29 | 2015-06-08 | 株式会社富士通ゼネラル | Image processing system, operation support device, navigation device, and camera device |
WO2016052505A1 (en) | 2014-09-30 | 2016-04-07 | クラリオン株式会社 | Camera calibration device and camera calibration system |
WO2017069191A1 (en) | 2015-10-20 | 2017-04-27 | クラリオン株式会社 | Calibration apparatus, calibration method, and calibration program |
JP2017143417A (en) | 2016-02-10 | 2017-08-17 | クラリオン株式会社 | Calibration system, calibration device |
JP2017222258A (en) | 2016-06-15 | 2017-12-21 | 株式会社Jvcケンウッド | Posture change determination device, overhead image generation device, overhead image generation system, posture change determination method, and program |
Also Published As
Publication number | Publication date |
---|---|
JP2020162020A (en) | 2020-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9981605B2 (en) | Surround-view camera system (VPM) and vehicle dynamic | |
US11693422B2 (en) | Sensor array for an autonomously operated utility vehicle and method for surround-view image acquisition | |
US9619894B2 (en) | System and method for estimating vehicle dynamics using feature points in images from multiple cameras | |
US20210109204A1 (en) | Calibration of lidar sensors | |
US10346705B2 (en) | Method and apparatus for estimating articulation angle | |
US20150329048A1 (en) | Surround-view camera system (vpm) online calibration | |
US10474898B2 (en) | Image processing apparatus for vehicle | |
CN104890671B (en) | Trailer lane-departure warning system | |
CN108886606B (en) | Mounting angle detection device, mounting angle calibration device, and mounting angle detection method for in-vehicle camera | |
US10171796B2 (en) | Moving body system | |
EP3308353B1 (en) | Vehicle diagnosis and camera adjustment using a detection of camera inclination angles | |
JP2008269496A (en) | Occupant information detection system, occupant restraint system and vehicle | |
CN103430044A (en) | Dump truck with obstacle detection mechanism, and obstacle detection method thereof | |
US9892519B2 (en) | Method for detecting an object in an environmental region of a motor vehicle, driver assistance system and motor vehicle | |
JP2018090108A (en) | Parking support device and parking support method | |
JP7188228B2 (en) | image generator | |
JP6450530B2 (en) | In-vehicle camera mounting angle adjustment processing, mounting angle detection device | |
JP7206938B2 (en) | Movement amount calculator | |
CN113474678B (en) | System and method for compensating for movement of a vehicle component | |
WO2015049154A1 (en) | Vehicle having wade sensing apparatus and system | |
US20220342054A1 (en) | Attitude/position detection system and method for detecting attitude/position of detector | |
JP4622637B2 (en) | In-vehicle camera attitude correction device and in-vehicle camera attitude correction method | |
JP2015106777A (en) | Image processing system, operation support device, navigation device, and camera device | |
JP2009098085A (en) | Object detector for vehicle | |
JP2019135620A (en) | Traveling support device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20211116 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211117 |
|
TRDD | Decision of grant or rejection written | ||
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221026 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221101 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221114 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7188228 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |