JP6895403B2 - 画像処理装置、運転支援システム、及び画像処理方法 - Google Patents
画像処理装置、運転支援システム、及び画像処理方法 Download PDFInfo
- Publication number
- JP6895403B2 JP6895403B2 JP2018052868A JP2018052868A JP6895403B2 JP 6895403 B2 JP6895403 B2 JP 6895403B2 JP 2018052868 A JP2018052868 A JP 2018052868A JP 2018052868 A JP2018052868 A JP 2018052868A JP 6895403 B2 JP6895403 B2 JP 6895403B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- parallax
- image processing
- width
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 90
- 238000003672 processing method Methods 0.000 title description 3
- 238000003702 image correction Methods 0.000 claims description 51
- 238000000034 method Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 7
- 238000013459 approach Methods 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 description 11
- 238000003384 imaging method Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 7
- 230000008859 change Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000032683 aging Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Measurement Of Optical Distance (AREA)
- Regulating Braking Force (AREA)
- Traffic Control Systems (AREA)
- Geometry (AREA)
- Optics & Photonics (AREA)
Description
(一実施形態)
図1は、一実施形態に係る運転支援システム1の全体構成を示すブロック図である。この図1に示すように運転支援システム1は、ステレオ画像により三次元情報を生成し、車両の運転を支援するシステムである。より具体的には、この運転支援システム1は、ステレオカメラ10と、画像処理装置20と、運転支援装置30と、音声装置40と、制動装置50とを、備えて構成されている。
Claims (6)
- ステレオカメラにより撮像された第1画像および第2画像を画像処理する画像処理装置であって、
二つの基準線を前記第1画像および前記第2画像のうちの少なくとも一方に配置する基準線配置部と、
前記二つの基準線を延長した交点における前記第1画像と前記第2画像の視差を0に近づける画像補正処理のパラメータを取得するパラメータ取得部と、
を備え、
前記パラメータ取得部は、前記二つの基準線を延長した交点における視差が0になると、コストが最小となるコスト関数を規定し、前記コストが0に近づく前記パラメータを取得し、
前記二つの基準線における一方の基準線上の第1点の第1視差、および前記第1点を通り、他方の基準線と交差する第1直線の基準線間の第1幅と、前記一方の基準線上の第2点の第2視差、および前記第1直線と平行であり前記第2点を通り、他方の基準線と交差する第2直線の基準線間の第2幅と、に基づき、前記コスト関数を規定し、
前記第1視差と前記第1幅との第1比率と、前記第2視差と前記第2幅との第2比率と、が等しくなると前記コストが最小となる前記コスト関数を規定する、画像処理装置。 - 前記パラメータを用いて、前記第1画像および前記第2画像のうちの少なくとも一方に画像補正処理を行う画像補正処理部を、更に備える、請求項1に記載の画像処理装置。
- 前記パラメータ取得部は、前記一方の基準線上の2点以上の基準点のそれぞれの視差と、それぞれの基準点を通過する平行線の基準線間の幅に基づき、前記2点以上の基準点の中の2点の組み合わせそれぞれから視差と幅の関係を示す線形式の切片をそれぞれ求め、それぞれの切片の値に基づく、前記コスト関数を規定する、請求項1に記載の画像処理装置。
- 前記コスト関数は、切片の値が小さくなるにしたがい大きくなる重み値を各切片に基づく値に乗算した関数である、請求項3に記載の画像処理装置。
- 前記画像補正処理により補正処理された前記第1画像および前記第2画像のうちの少なくとも一方に基づく画像情報を表示する表示部を、更に備える、請求項4に記載の画像処理装置。
- 請求項1乃至5のいずれか一項に記載の画像処理装置と、
前記画像処理装置により得られた情報に基づき、車両の運転を支援する運転支援装置と、
を備える運転支援システム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018052868A JP6895403B2 (ja) | 2018-03-20 | 2018-03-20 | 画像処理装置、運転支援システム、及び画像処理方法 |
US16/129,014 US10771688B2 (en) | 2018-03-20 | 2018-09-12 | Image processing device, driving support system, and image processing method |
KR1020180128109A KR20190110419A (ko) | 2018-03-20 | 2018-10-25 | 화상 처리 장치, 운전 지원 시스템 및 화상 처리 방법 |
EP18203357.1A EP3543951A1 (en) | 2018-03-20 | 2018-10-30 | Image processing device, driving support system, and image processing method |
CN201811283455.3A CN110312120A (zh) | 2018-03-20 | 2018-10-31 | 图像处理装置、驾驶辅助系统及图像处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018052868A JP6895403B2 (ja) | 2018-03-20 | 2018-03-20 | 画像処理装置、運転支援システム、及び画像処理方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2019164667A JP2019164667A (ja) | 2019-09-26 |
JP2019164667A5 JP2019164667A5 (ja) | 2020-02-06 |
JP6895403B2 true JP6895403B2 (ja) | 2021-06-30 |
Family
ID=64083012
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018052868A Active JP6895403B2 (ja) | 2018-03-20 | 2018-03-20 | 画像処理装置、運転支援システム、及び画像処理方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10771688B2 (ja) |
EP (1) | EP3543951A1 (ja) |
JP (1) | JP6895403B2 (ja) |
KR (1) | KR20190110419A (ja) |
CN (1) | CN110312120A (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6956051B2 (ja) | 2018-09-03 | 2021-10-27 | 株式会社東芝 | 画像処理装置、運転支援システム、画像処理方法及びプログラム |
CN111311742B (zh) * | 2020-03-27 | 2023-05-05 | 阿波罗智能技术(北京)有限公司 | 三维重建方法、三维重建装置和电子设备 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4863922B2 (ja) * | 2007-04-18 | 2012-01-25 | 三洋電機株式会社 | 運転支援システム並びに車両 |
JP2009100342A (ja) | 2007-10-18 | 2009-05-07 | Sanyo Electric Co Ltd | カメラ校正装置及び方法、並びに、車両 |
JP5316805B2 (ja) * | 2009-03-16 | 2013-10-16 | 株式会社リコー | 車載カメラ装置の画像調整装置及び車載カメラ装置 |
JP5588812B2 (ja) | 2010-09-30 | 2014-09-10 | 日立オートモティブシステムズ株式会社 | 画像処理装置及びそれを用いた撮像装置 |
JP2013123123A (ja) * | 2011-12-09 | 2013-06-20 | Fujitsu Ltd | ステレオ画像生成装置、ステレオ画像生成方法及びステレオ画像生成用コンピュータプログラム |
US9098885B2 (en) * | 2012-04-27 | 2015-08-04 | Adobe Systems Incorporated | Camera calibration and automatic adjustment of images |
JP6010870B2 (ja) * | 2013-12-24 | 2016-10-19 | カシオ計算機株式会社 | 画像補正装置、及び画像補正方法、プログラム |
JP6251099B2 (ja) * | 2014-03-24 | 2017-12-20 | 国立大学法人東京工業大学 | 距離算出装置 |
JP5906272B2 (ja) | 2014-03-28 | 2016-04-20 | 富士重工業株式会社 | 車両用ステレオ画像処理装置 |
JP6322024B2 (ja) | 2014-03-28 | 2018-05-09 | 株式会社Subaru | 車外監視装置 |
KR101493946B1 (ko) * | 2014-04-16 | 2015-02-17 | 하이네트(주) | 광각 렌즈 이미지 보정 방법 및 그 장치 |
JP2016225719A (ja) | 2015-05-27 | 2016-12-28 | 京セラ株式会社 | ステレオカメラ装置、車両、および較正方法 |
JP6489645B2 (ja) * | 2015-06-19 | 2019-03-27 | 株式会社Subaru | 画像処理装置 |
EP3139346B1 (en) | 2015-09-01 | 2019-01-16 | Veoneer Sweden AB | Vision system for a motor vehicle and method of controlling a vision system |
US10558867B2 (en) * | 2015-09-28 | 2020-02-11 | Kyocera Corporation | Image processing apparatus, stereo camera apparatus, vehicle, and image processing method |
-
2018
- 2018-03-20 JP JP2018052868A patent/JP6895403B2/ja active Active
- 2018-09-12 US US16/129,014 patent/US10771688B2/en active Active
- 2018-10-25 KR KR1020180128109A patent/KR20190110419A/ko not_active Application Discontinuation
- 2018-10-30 EP EP18203357.1A patent/EP3543951A1/en not_active Withdrawn
- 2018-10-31 CN CN201811283455.3A patent/CN110312120A/zh not_active Withdrawn
Also Published As
Publication number | Publication date |
---|---|
JP2019164667A (ja) | 2019-09-26 |
US20190297254A1 (en) | 2019-09-26 |
EP3543951A1 (en) | 2019-09-25 |
US10771688B2 (en) | 2020-09-08 |
KR20190110419A (ko) | 2019-09-30 |
CN110312120A (zh) | 2019-10-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101787304B1 (ko) | 교정 방법, 교정 장치 및 컴퓨터 프로그램 제품 | |
JP4690476B2 (ja) | 車載カメラの校正装置 | |
KR101265012B1 (ko) | 차량 탑재 카메라의 교정 장치, 방법 및 프로그램 | |
JP6891954B2 (ja) | 物体検知装置、物体検知方法、及びプログラム | |
JP5073123B2 (ja) | カメラ距離測定装置 | |
JP4975592B2 (ja) | 撮像装置 | |
JP5081313B2 (ja) | 車載カメラの校正装置 | |
TWI536313B (zh) | 車用環景系統調校方法 | |
EP3002727B1 (en) | Periphery monitoring apparatus and periphery monitoring system | |
JP5959311B2 (ja) | データ導出装置、及び、データ導出方法 | |
JP6895403B2 (ja) | 画像処理装置、運転支援システム、及び画像処理方法 | |
JP2019068272A (ja) | 周辺監視装置およびその校正方法 | |
KR102268094B1 (ko) | 동적 입체 캘리브레이션을 위한 시스템 및 방법 | |
CN110651295A (zh) | 图像处理设备、图像处理方法和程序 | |
US20160288711A1 (en) | Distance and direction estimation of a target point from a vehicle using monocular video camera | |
JP2014165810A (ja) | パラメータ取得装置、パラメータ取得方法及びプログラム | |
JP2007295113A (ja) | 撮像装置 | |
CN112543318A (zh) | 3d显示屏补偿方法、系统及计算机可读存储介质 | |
JP4682830B2 (ja) | 車載画像処理装置 | |
JP2013024712A (ja) | 複数カメラの校正方法及び校正システム | |
JP2009168461A (ja) | カメラ校正装置 | |
JP2018136739A (ja) | キャリブレーション装置 | |
WO2013154085A1 (ja) | キャリブレーション方法および装置 | |
JP2020035158A (ja) | 姿勢推定装置およびキャリブレーションシステム | |
JP2018113622A (ja) | 画像処理装置、画像処理システム、及び、画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191216 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191216 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210115 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210129 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20210325 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210409 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210420 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210507 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210607 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6895403 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |