JP7244562B2 - 移動体の制御装置及び制御方法並びに車両 - Google Patents
移動体の制御装置及び制御方法並びに車両 Download PDFInfo
- Publication number
- JP7244562B2 JP7244562B2 JP2021049122A JP2021049122A JP7244562B2 JP 7244562 B2 JP7244562 B2 JP 7244562B2 JP 2021049122 A JP2021049122 A JP 2021049122A JP 2021049122 A JP2021049122 A JP 2021049122A JP 7244562 B2 JP7244562 B2 JP 7244562B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- control device
- distortion reduction
- oblique
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 19
- 238000003384 imaging method Methods 0.000 claims description 100
- 238000012545 processing Methods 0.000 claims description 79
- 230000009467 reduction Effects 0.000 claims description 56
- 238000011946 reduction process Methods 0.000 claims description 52
- 238000012937 correction Methods 0.000 claims description 18
- 230000033001 locomotion Effects 0.000 claims description 17
- 238000010586 diagram Methods 0.000 description 24
- 230000009466 transformation Effects 0.000 description 22
- 238000001514 detection method Methods 0.000 description 13
- 230000007704 transition Effects 0.000 description 10
- 230000015654 memory Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 230000004044 response Effects 0.000 description 6
- 230000001133 acceleration Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/06—Road conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/06—Improving the dynamic response of the control system, e.g. improving the speed of regulation or avoiding hunting or overshoot
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/243—Aligning, centring, orientation detection or correction of the image by compensating for image skew or non-uniform image deformations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
- B60R2011/004—Arrangements for holding or mounting articles, not otherwise provided for characterised by position outside the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/408—Radar; Laser, e.g. lidar
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B13/00—Optical objectives specially designed for the purposes specified below
- G02B13/06—Panoramic objectives; So-called "sky lenses" including panoramic objectives having reflecting surfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Transportation (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Mathematical Physics (AREA)
- Traffic Control Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Image Processing (AREA)
- Geometry (AREA)
Description
<項目1>
1つ以上の撮影装置(41~44)を有する移動体(1)の制御装置(2)であって、
前記1つ以上の撮影装置から前記移動体の外界の画像(300)を取得する画像取得手段と、
前記1つ以上の撮影装置から取得された画像に含まれる1つ以上の領域(302)のそれぞれについて画像の歪みを軽減するための歪み軽減処理を行う補正手段と、
前記歪み軽減処理が行われた画像(303)に基づいて前記移動体の外界を認識する認識手段と、を備え、
前記補正手段は、前記移動体の移動シーンに応じた所定の規則に従って、前記歪み軽減処理の対象とする前記1つ以上の領域を決定する、制御装置。
この項目によれば、移動シーンに応じて移動体の外界を適切に認識できる。
<項目2>
前記補正手段は、所定の周期ごとに前記歪み軽減処理を行い、
前記所定の規則は、前記所定の周期ごとの前記歪み軽減処理の対象とする領域を定める規則である、項目1に記載の制御装置。
この項目によれば、着目すべき領域を、指定の頻度で分析できる。
<項目3>
前記所定の規則は、
前記歪み軽減処理の対象とする領域の水平方向の位置と、
前記位置にある領域を前記歪み軽減処理の対象とするタイミングと、
を規定する、項目1又は2に記載の制御装置。
この項目によれば、水平方向において着目すべき位置を、指定の頻度で分析できる。
<項目4>
前記所定の規則は、前記歪み軽減処理の対象とする領域の垂直方向の位置を規定する、項目1乃至3の何れか1項に記載の制御装置。
この項目によれば、垂直方向において着目すべき位置を重点的に分析できる。
<項目5>
前記移動体は複数の撮影装置を有し、
前記画像取得手段は、前記複数の撮影装置のそれぞれから前記移動体の外界の画像を取得し、
前記所定の規則は、前記複数の撮影装置のそれぞれについて個別の規則を規定する、項目1乃至4の何れか1項に記載の制御装置。
この項目によれば、複数の撮影装置の撮影範囲に含まれる個別の領域を選択して重点的に分析できる。
<項目6>
前記複数の撮影装置は、
前記移動体の前方正面、右斜め前方及び左斜め前方を撮影する第1撮影装置(41)と、
前記移動体の後方正面、右斜め後方及び左斜め後方を撮影する第2撮影装置(43)と、
前記移動体の右方正面、右斜め前方及び右斜め後方を撮影する第3撮影装置(42)と、
前記移動体の左方正面、左斜め前方及び左斜め後方を撮影する第4撮影装置(44)と、
を含む、項目5に記載の制御装置。
この項目によれば、移動体の周囲を全方位的に分析できる。
<項目7>
前記移動体は車両(1)であり、前記移動シーンは前記車両の走行シーンである、項目1乃至6の何れか1項に記載の制御装置。
この項目によれば、車両が走行する際に着目すべき方向を重点的に分析できる。
<項目8>
前記所定の規則は、前記車両が丁字交差点へ進入する場合又は前記車両が一時停止後に再発進する場合に、
前記車両の左斜め前方及び右斜め前方を、前記車両の右方正面、左方正面、右斜め後方、左斜め後方及び後方正面よりも高い頻度で前記歪み軽減処理の対象とすることを規定する、項目7に記載の制御装置。
この項目によれば、丁字交差点へ進入する際又は一時停止後に再発進する際に着目すべき方向を重点的に分析できる。
<項目9>
前記所定の規則は、前記車両が丁字交差点へ進入する場合又は前記車両が一時停止後に再発進する場合に、
2つの撮影装置から取得された2つの画像のうち、前記車両の斜め前方を含む2つの領域を同じタイミングで前記歪み軽減処理の対象とすることを規定する、項目7又は8に記載の制御装置。
この項目によれば、丁字交差点へ進入する際又は一時停止後に再発進する際に着目すべき方向を重点的に分析できる。
<項目10>
前記所定の規則は、前記車両が狭路を走行する場合に、
前記車両の左斜め前方及び右斜め前方を、前記車両の右方正面、左方正面、右斜め後方、左斜め後方及び後方正面よりも高い頻度で前記歪み軽減処理の対象とすることを規定する、項目7乃至9の何れか1項に記載の制御装置。
この項目によれば、狭路を走行する際に着目すべき方向を重点的に分析できる。
<項目11>
前記所定の規則は、前記車両が狭路を走行する場合に、
前記車両の右斜め前方及び左斜め前方を、前記車両の右方正面、左方正面、右斜め後方、左斜め後方及び後方正面よりも高い頻度で前記歪み軽減処理の対象とすることを規定する、項目7乃至10の何れか1項に記載の制御装置。
この項目によれば、狭路を走行する際に着目すべき方向を重点的に分析できる。
<項目12>
前記所定の規則は、前記車両が狭路を走行する場合に、前記車両が狭路以外を走行する場合と比較して、
前記車両の右方正面、左方正面、右斜め後方、左斜め後方及び後方正面を含む領域の垂直方向における位置を下側にすることを規定する、項目7乃至11の何れか1項に記載の制御装置。
この項目によれば、狭路を走行する際に着目すべき方向を重点的に分析できる。
<項目13>
前記所定の規則は、前記車両が狭路を走行する場合に、前記車両が狭路以外を走行する場合と比較して、
前記車両の前方正面、右斜め前方及び左斜め前方を含む領域の垂直方向における位置を下側にすることを規定する、項目7乃至11の何れか1項に記載の制御装置。
この項目によれば、狭路を走行する際に着目すべき方向を重点的に分析できる。
<項目14>
前記所定の規則は、前記車両が狭路を走行する場合に、
前記車両の右斜め前方及び左斜め前方を含む領域の垂直方向における位置を、前記車両の右方正面及び左方正面を含む領域の垂直方向における位置よりも上側にすることを規定する、項目7乃至13の何れか1項に記載の制御装置。
この項目によれば、狭路を走行する際に着目すべき方向を重点的に分析できる。
<項目15>
前記所定の規則は、前記車両が交差点において曲がる場合に、
前記車両が曲がる方向の前記車両の斜め前方を、前記車両の後方正面及び前記車両が曲がる方向とは反対側の前記車両の斜め後方よりも高い頻度で前記歪み軽減処理の対象とすることを規定する、項目7乃至14の何れか1項に記載の制御装置。
この項目によれば、交差点を曲がる際に着目すべき方向を重点的に分析できる。
<項目16>
前記所定の規則は、前記車両が交差点において対向車線と交差する方に曲がる場合に、
前記車両の前方正面を、前記車両の後方正面及び前記車両の曲がる方向とは反対側の前記車両の斜め後方よりも高い頻度で前記歪み軽減処理の対象とすることを規定する、項目15に記載の制御装置。
この項目によれば、交差点を曲がる際に着目すべき方向を重点的に分析できる。
<項目17>
前記所定の規則は、前記車両が交差点において対向車線と交差しない方に曲がる場合に、
前記車両が曲がる方向の前記車両の斜め後方を、前記車両の後方正面及び前記車両の曲がる方向とは反対側の前記車両の斜め後方よりも高い頻度で前記歪み軽減処理の対象とすることを規定する、項目15又は16に記載の制御装置。
この項目によれば、交差点を曲がる際に着目すべき方向を重点的に分析できる。
<項目18>
前記所定の規則は、前記車両が後退する場合に、
前記車両の後方正面、右斜め後方及び左斜め後方を、前記車両の右斜め前方及び左斜め前方よりも高い頻度で前記歪み軽減処理の対象とすることを規定する、項目7乃至17の何れか1項に記載の制御装置。
この項目によれば、後退する際に着目すべき方向を重点的に分析できる。
<項目19>
前記所定の規則は、前記車両が後退する場合に、
前記車両の後方正面を、前記車両の右斜め後方及び左斜め後方よりも高い頻度で前記歪み軽減処理の対象とする、項目18に記載の制御装置。
この項目によれば、後退する際に着目すべき方向を重点的に分析できる。
<項目20>
前記所定の規則は、前記車両が後退する場合に、前記車両が前進する場合と比較して、
前記車両の後方正面を含む領域の垂直方向における位置を下側にすることを規定する、項目7乃至19の何れか1項に記載の制御装置。
この項目によれば、後退する際に着目すべき方向を重点的に分析できる。
<項目21>
前記所定の規則は、前記車両が車線変更を行う場合に、
前記車両の右斜め前方及び左斜め前方を、左右のうち前記車両の移動方向の正面及び左右のうち前記車両の移動方向の斜め後ろよりも高い頻度で前記歪み軽減処理の対象とすることを規定し、
左右のうち前記車両の移動方向の正面及び左右のうち前記車両の移動方向の斜め後ろを、左右のうち前記車両の移動方向とは反対側の正面及び左右のうち前記車両の移動方向とは反対側の斜め後ろよりも高い頻度で前記歪み軽減処理の対象とすることを規定する、項目7乃至20の何れか1項に記載の制御装置。
この項目によれば、車線変更する際に着目すべき方向を重点的に分析できる。
<項目22>
前記所定の規則は、前記車両が車線変更を行う場合に、
左右のうち前記車両の移動方向とは反対側の斜め前方を含む領域の垂直方向における位置を、左右のうち前記車両の移動方向の斜め前方を含む領域の垂直方向における位置よりも下側にすることを規定する、項目7乃至21の何れか1項に記載の制御装置。
この項目によれば、車線変更する際に着目すべき方向を重点的に分析できる。
<項目23>
前記1つ以上の撮影装置はそれぞれ、魚眼レンズが取り付けられた撮影装置である、項目1乃至22の何れか1項に記載の制御装置。
この項目によれば、撮影装置の撮影範囲を広くすることができる。
<項目24>
前記移動体は、前記1つ以上の撮影装置よりも歪みが少ない画像を撮影する別の撮影装置(40)をさらに有し、
前記画像取得手段は、前記別の撮影装置から前記移動体の外界の画像を取得し、
前記認識手段は、前記別の撮影装置からの画像にさらに基づいて前記移動体の外界を認識する、項目1乃至23の何れか1項に記載の制御装置。
この項目によれば、複数のタイプの撮影装置を用いて外界を認識できる。
<項目25>
項目1乃至24の何れか1項に記載の制御装置を備える車両。
この項目によれば、車両の形態で上記の効果が得られる。
<項目26>
コンピュータを項目1乃至24の何れか1項に記載の制御装置の各手段として機能させるためのプログラム。
この項目によれば、プログラムの形態で上記の効果が得られる。
<項目27>
1つ以上の撮影装置(41~44)を有する移動体(1)の制御方法であって、
前記1つ以上の撮影装置から前記移動体の外界の画像(300)を取得する画像取得工程と、
前記1つ以上の撮影装置から取得された画像に含まれる1つ以上の領域(302)のそれぞれについて画像の歪みを軽減するための歪み軽減処理を行う補正工程と、
前記歪み軽減処理が行われた画像(303)に基づいて前記移動体の外界を認識する認識工程と、を備え、
前記補正工程において、前記移動体の移動シーンに応じた所定の規則に従って、前記歪み軽減処理の対象とする前記1つ以上の領域を決定する、制御方法。
この項目によれば、移動シーンに応じて移動体の外界を適切に認識できる。
Claims (27)
- 1つ以上の撮影装置を有する移動体の制御装置であって、
前記1つ以上の撮影装置から前記移動体の外界の画像を取得する画像取得手段と、
前記1つ以上の撮影装置から取得された画像に含まれる1つ以上の領域のそれぞれについて画像の歪みを軽減するための歪み軽減処理を行う補正手段と、
前記歪み軽減処理が行われた画像に基づいて前記移動体の外界を認識する認識手段と、を備え、
前記補正手段は、前記移動体の移動シーンに応じた所定の規則に従って、前記歪み軽減処理の対象とする前記1つ以上の領域を決定し、
前記所定の規則は、
前記歪み軽減処理の対象とする領域の水平方向の位置と、
前記位置にある領域を前記歪み軽減処理の対象とするタイミングと、
を規定する、制御装置。 - 1つ以上の撮影装置を有する移動体の制御装置であって、
前記1つ以上の撮影装置から前記移動体の外界の画像を取得する画像取得手段と、
前記1つ以上の撮影装置から取得された画像に含まれる1つ以上の領域のそれぞれについて画像の歪みを軽減するための歪み軽減処理を行う補正手段と、
前記歪み軽減処理が行われた画像に基づいて前記移動体の外界を認識する認識手段と、を備え、
前記補正手段は、前記移動体の移動シーンに応じた所定の規則に従って、前記歪み軽減処理の対象とする前記1つ以上の領域を決定し、
前記所定の規則は、前記歪み軽減処理の対象とする領域の垂直方向の位置を規定する、制御装置。 - 複数の撮影装置を有する移動体の制御装置であって、
前記複数の撮影装置のそれぞれから前記移動体の外界の画像を取得する画像取得手段と、
前記複数の撮影装置のそれぞれから取得された画像に含まれる1つ以上の領域のそれぞれについて画像の歪みを軽減するための歪み軽減処理を行う補正手段と、
前記歪み軽減処理が行われた画像に基づいて前記移動体の外界を認識する認識手段と、を備え、
前記補正手段は、前記移動体の移動シーンに応じた所定の規則に従って、前記歪み軽減処理の対象とする前記1つ以上の領域を決定し、
前記所定の規則は、前記複数の撮影装置のそれぞれについて個別の規則を規定する、制御装置。 - 前記複数の撮影装置は、
前記移動体の前方正面、右斜め前方及び左斜め前方を撮影する第1撮影装置と、
前記移動体の後方正面、右斜め後方及び左斜め後方を撮影する第2撮影装置と、
前記移動体の右方正面、右斜め前方及び右斜め後方を撮影する第3撮影装置と、
前記移動体の左方正面、左斜め前方及び左斜め後方を撮影する第4撮影装置と、
を含む、請求項3に記載の制御装置。 - 前記移動体は車両であり、前記移動シーンは前記車両の走行シーンである、請求項1乃至4の何れか1項に記載の制御装置。
- 前記所定の規則は、前記車両が丁字交差点へ進入する場合又は前記車両が一時停止後に再発進する場合に、
前記車両の左斜め前方及び右斜め前方を、前記車両の右方正面、左方正面、右斜め後方、左斜め後方及び後方正面よりも高い頻度で前記歪み軽減処理の対象とすることを規定する、請求項5に記載の制御装置。 - 前記所定の規則は、前記車両が丁字交差点へ進入する場合又は前記車両が一時停止後に再発進する場合に、
2つの撮影装置から取得された2つの画像のうち、前記車両の斜め前方を含む2つの領域を同じタイミングで前記歪み軽減処理の対象とすることを規定する、請求項5又は6に記載の制御装置。 - 前記所定の規則は、前記車両が狭路を走行する場合に、
前記車両の左斜め前方及び右斜め前方を、前記車両の右方正面、左方正面、右斜め後方、左斜め後方及び後方正面よりも高い頻度で前記歪み軽減処理の対象とすることを規定する、請求項5乃至7の何れか1項に記載の制御装置。 - 前記所定の規則は、前記車両が狭路を走行する場合に、
前記車両の右斜め前方及び左斜め前方を、前記車両の右方正面、左方正面、右斜め後方、左斜め後方及び後方正面よりも高い頻度で前記歪み軽減処理の対象とすることを規定する、請求項5乃至8の何れか1項に記載の制御装置。 - 前記所定の規則は、前記車両が狭路を走行する場合に、前記車両が狭路以外を走行する場合と比較して、
前記車両の右方正面、左方正面、右斜め後方、左斜め後方及び後方正面を含む領域の垂直方向における位置を下側にすることを規定する、請求項5乃至9の何れか1項に記載の制御装置。 - 前記所定の規則は、前記車両が狭路を走行する場合に、前記車両が狭路以外を走行する場合と比較して、
前記車両の前方正面、右斜め前方及び左斜め前方を含む領域の垂直方向における位置を下側にすることを規定する、請求項5乃至9の何れか1項に記載の制御装置。 - 前記所定の規則は、前記車両が狭路を走行する場合に、
前記車両の右斜め前方及び左斜め前方を含む領域の垂直方向における位置を、前記車両の右方正面及び左方正面を含む領域の垂直方向における位置よりも上側にすることを規定する、請求項5乃至11の何れか1項に記載の制御装置。 - 前記所定の規則は、前記車両が交差点において曲がる場合に、
前記車両が曲がる方向の前記車両の斜め前方を、前記車両の後方正面及び前記車両が曲がる方向とは反対側の前記車両の斜め後方よりも高い頻度で前記歪み軽減処理の対象とすることを規定する、請求項5乃至12の何れか1項に記載の制御装置。 - 前記所定の規則は、前記車両が交差点において対向車線と交差する方に曲がる場合に、
前記車両の前方正面を、前記車両の後方正面及び前記車両の曲がる方向とは反対側の前記車両の斜め後方よりも高い頻度で前記歪み軽減処理の対象とすることを規定する、請求項13に記載の制御装置。 - 前記所定の規則は、前記車両が交差点において対向車線と交差しない方に曲がる場合に、
前記車両が曲がる方向の前記車両の斜め後方を、前記車両の後方正面及び前記車両の曲がる方向とは反対側の前記車両の斜め後方よりも高い頻度で前記歪み軽減処理の対象とすることを規定する、請求項13又は14に記載の制御装置。 - 前記所定の規則は、前記車両が後退する場合に、
前記車両の後方正面、右斜め後方及び左斜め後方を、前記車両の右斜め前方及び左斜め前方よりも高い頻度で前記歪み軽減処理の対象とすることを規定する、請求項5乃至15の何れか1項に記載の制御装置。 - 前記所定の規則は、前記車両が後退する場合に、
前記車両の後方正面を、前記車両の右斜め後方及び左斜め後方よりも高い頻度で前記歪み軽減処理の対象とする、請求項16に記載の制御装置。 - 前記所定の規則は、前記車両が後退する場合に、前記車両が前進する場合と比較して、
前記車両の後方正面を含む領域の垂直方向における位置を下側にすることを規定する、請求項5乃至17の何れか1項に記載の制御装置。 - 前記所定の規則は、前記車両が車線変更を行う場合に、
前記車両の右斜め前方及び左斜め前方を、左右のうち前記車両の移動方向の正面及び左右のうち前記車両の移動方向の斜め後ろよりも高い頻度で前記歪み軽減処理の対象とすることを規定し、
左右のうち前記車両の移動方向の正面及び左右のうち前記車両の移動方向の斜め後ろを、左右のうち前記車両の移動方向とは反対側の正面及び左右のうち前記車両の移動方向とは反対側の斜め後ろよりも高い頻度で前記歪み軽減処理の対象とすることを規定する、請求項5乃至18の何れか1項に記載の制御装置。 - 前記所定の規則は、前記車両が車線変更を行う場合に、
左右のうち前記車両の移動方向とは反対側の斜め前方を含む領域の垂直方向における位置を、左右のうち前記車両の移動方向の斜め前方を含む領域の垂直方向における位置よりも下側にすることを規定する、請求項5乃至19の何れか1項に記載の制御装置。 - 前記撮影装置はそれぞれ、魚眼レンズが取り付けられた撮影装置である、請求項1乃至20の何れか1項に記載の制御装置。
- 前記移動体は、前記撮影装置よりも歪みが少ない画像を撮影する別の撮影装置をさらに有し、
前記画像取得手段は、前記別の撮影装置から前記移動体の外界の画像を取得し、
前記認識手段は、前記別の撮影装置からの画像にさらに基づいて前記移動体の外界を認識する、請求項1乃至21の何れか1項に記載の制御装置。 - 請求項1乃至22の何れか1項に記載の制御装置を備える車両。
- コンピュータを請求項1乃至22の何れか1項に記載の制御装置の各手段として機能させるためのプログラム。
- 1つ以上の撮影装置を有する移動体の制御方法であって、
前記1つ以上の撮影装置から前記移動体の外界の画像を取得する画像取得工程と、
前記1つ以上の撮影装置から取得された画像に含まれる1つ以上の領域のそれぞれについて画像の歪みを軽減するための歪み軽減処理を行う補正工程と、
前記歪み軽減処理が行われた画像に基づいて前記移動体の外界を認識する認識工程と、を備え、
前記補正工程において、前記移動体の移動シーンに応じた所定の規則に従って、前記歪み軽減処理の対象とする前記1つ以上の領域を決定し、
前記所定の規則は、
前記歪み軽減処理の対象とする領域の水平方向の位置と、
前記位置にある領域を前記歪み軽減処理の対象とするタイミングと、
を規定する、制御方法。 - 1つ以上の撮影装置を有する移動体の制御方法であって、
前記1つ以上の撮影装置から前記移動体の外界の画像を取得する画像取得工程と、
前記1つ以上の撮影装置から取得された画像に含まれる1つ以上の領域のそれぞれについて画像の歪みを軽減するための歪み軽減処理を行う補正工程と、
前記歪み軽減処理が行われた画像に基づいて前記移動体の外界を認識する認識工程と、を備え、
前記補正工程において、前記移動体の移動シーンに応じた所定の規則に従って、前記歪み軽減処理の対象とする前記1つ以上の領域を決定し、
前記所定の規則は、前記歪み軽減処理の対象とする領域の垂直方向の位置を規定する、制御方法。 - 複数の撮影装置を有する移動体の制御方法であって、
前記複数の撮影装置のそれぞれから前記移動体の外界の画像を取得する画像取得工程と、
前記複数の撮影装置のそれぞれから取得された画像に含まれる1つ以上の領域のそれぞれについて画像の歪みを軽減するための歪み軽減処理を行う補正工程と、
前記歪み軽減処理が行われた画像に基づいて前記移動体の外界を認識する認識工程と、を備え、
前記補正工程において、前記移動体の移動シーンに応じた所定の規則に従って、前記歪み軽減処理の対象とする前記1つ以上の領域を決定し、
前記所定の規則は、前記複数の撮影装置のそれぞれについて個別の規則を規定する、制御方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021049122A JP7244562B2 (ja) | 2021-03-23 | 2021-03-23 | 移動体の制御装置及び制御方法並びに車両 |
CN202210148611.5A CN115179863A (zh) | 2021-03-23 | 2022-02-18 | 移动体的控制装置及控制方法、存储介质以及车辆 |
US17/688,084 US11893715B2 (en) | 2021-03-23 | 2022-03-07 | Control device and control method for mobile object, storage medium, and vehicle |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021049122A JP7244562B2 (ja) | 2021-03-23 | 2021-03-23 | 移動体の制御装置及び制御方法並びに車両 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022147742A JP2022147742A (ja) | 2022-10-06 |
JP7244562B2 true JP7244562B2 (ja) | 2023-03-22 |
Family
ID=83364755
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021049122A Active JP7244562B2 (ja) | 2021-03-23 | 2021-03-23 | 移動体の制御装置及び制御方法並びに車両 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11893715B2 (ja) |
JP (1) | JP7244562B2 (ja) |
CN (1) | CN115179863A (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023054302A1 (ja) | 2021-09-30 | 2023-04-06 | キヤノン株式会社 | 圧着シート製造方法、圧着シート製造装置及び画像形成装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015014819A (ja) | 2013-07-03 | 2015-01-22 | クラリオン株式会社 | 接近物検出システム、及び車両 |
JP2015172876A (ja) | 2014-03-12 | 2015-10-01 | 株式会社デンソーアイティーラボラトリ | 車両周辺監視装置、車両周辺監視システム、及びプログラム |
JP2016143308A (ja) | 2015-02-04 | 2016-08-08 | パイオニア株式会社 | 報知装置、制御方法、プログラム及び記憶媒体 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8054201B2 (en) * | 2008-03-19 | 2011-11-08 | Mazda Motor Corporation | Surroundings monitoring device for vehicle |
JP5884439B2 (ja) * | 2011-11-24 | 2016-03-15 | アイシン精機株式会社 | 車両周辺監視用画像生成装置 |
KR101376210B1 (ko) * | 2012-08-06 | 2014-03-21 | 현대모비스 주식회사 | 어라운드 뷰 모니터 시스템 및 모니터링 방법 |
KR101942527B1 (ko) * | 2015-11-09 | 2019-01-25 | 엘지전자 주식회사 | 차량용 어라운드 뷰 제공 장치 및 차량 |
DE102016217488A1 (de) * | 2016-09-14 | 2018-03-15 | Robert Bosch Gmbh | Verfahren zum Bereitstellen einer Rückspiegelansicht einer Fahrzeugumgebung eines Fahrzeugs |
JP6888950B2 (ja) * | 2016-12-16 | 2021-06-18 | フォルシアクラリオン・エレクトロニクス株式会社 | 画像処理装置、外界認識装置 |
JP6573218B2 (ja) | 2017-03-31 | 2019-09-11 | マツダ株式会社 | 車両用画像表示装置及び設定方法 |
US10836312B2 (en) * | 2017-06-19 | 2020-11-17 | Rom Acquisition Corporation | Dynamic 360 degree view accident avoidance system |
US10796402B2 (en) * | 2018-10-19 | 2020-10-06 | Tusimple, Inc. | System and method for fisheye image processing |
EP4131944A4 (en) * | 2020-03-27 | 2023-07-26 | JVCKENWOOD Corporation | DISPLAY CONTROL DEVICE, DISPLAY CONTROL METHOD AND PROGRAM |
US11636689B2 (en) * | 2020-09-08 | 2023-04-25 | Nvidia Corporation | Adaptive object tracking algorithm for autonomous machine applications |
KR20220097656A (ko) * | 2020-12-30 | 2022-07-08 | 현대자동차주식회사 | 운전자 보조 장치, 차량 및 그 제어 방법 |
-
2021
- 2021-03-23 JP JP2021049122A patent/JP7244562B2/ja active Active
-
2022
- 2022-02-18 CN CN202210148611.5A patent/CN115179863A/zh active Pending
- 2022-03-07 US US17/688,084 patent/US11893715B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015014819A (ja) | 2013-07-03 | 2015-01-22 | クラリオン株式会社 | 接近物検出システム、及び車両 |
JP2015172876A (ja) | 2014-03-12 | 2015-10-01 | 株式会社デンソーアイティーラボラトリ | 車両周辺監視装置、車両周辺監視システム、及びプログラム |
JP2016143308A (ja) | 2015-02-04 | 2016-08-08 | パイオニア株式会社 | 報知装置、制御方法、プログラム及び記憶媒体 |
Also Published As
Publication number | Publication date |
---|---|
JP2022147742A (ja) | 2022-10-06 |
US11893715B2 (en) | 2024-02-06 |
CN115179863A (zh) | 2022-10-14 |
US20220309625A1 (en) | 2022-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10580303B2 (en) | Collision avoidance device | |
JP6592074B2 (ja) | 車両制御装置、車両制御方法、プログラム、および情報取得装置 | |
US9902399B2 (en) | Vehicle travelling control device for controlling a vehicle in traffic | |
JP2019156174A (ja) | 車両制御装置、車両、車両制御方法およびプログラム | |
US10803307B2 (en) | Vehicle control apparatus, vehicle, vehicle control method, and storage medium | |
US20200247415A1 (en) | Vehicle, and control apparatus and control method thereof | |
JPWO2019043847A1 (ja) | 走行制御装置、車両および走行制御方法 | |
JP7156988B2 (ja) | 走行制御装置、走行制御方法、およびプログラム | |
CN110281925B (zh) | 行驶控制装置、车辆以及行驶控制方法 | |
JP7244562B2 (ja) | 移動体の制御装置及び制御方法並びに車両 | |
JP7245653B2 (ja) | 信号機認識方法及び信号機認識装置 | |
US11654931B2 (en) | Driving assistance device and vehicle | |
JP7181956B2 (ja) | 移動体の制御装置及び制御方法並びに車両 | |
JP2019121300A (ja) | 車両の運転支援制御装置、車両の運転支援システムおよび車両の運転支援制御方法 | |
JP2022148585A (ja) | 車両並びにその制御装置及び制御方法 | |
US20220319191A1 (en) | Control device and control method for mobile object, and storage medium | |
WO2024069689A1 (ja) | 運転支援方法及び運転支援装置 | |
US20220318960A1 (en) | Image processing apparatus, image processing method, vehicle control apparatus, and storage medium | |
JP2014100957A (ja) | 駐車支援装置及び制御装置 | |
CN113875223B (zh) | 外部环境识别装置 | |
US20230064724A1 (en) | Danger notification method, danger notification device, and non-transitory storage medium | |
US20220306120A1 (en) | Driving support device | |
JP2022149731A (ja) | 制御装置、制御装置の動作方法及びプログラム | |
JP2022172928A (ja) | 遠隔監視装置、遠隔監視システム、遠隔監視方法、及び遠隔監視プログラム | |
JP2023049749A (ja) | 車両制御装置、情報処理装置、それらの動作方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221024 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221209 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230220 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230309 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7244562 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |