JP7344031B2 - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP7344031B2 JP7344031B2 JP2019133866A JP2019133866A JP7344031B2 JP 7344031 B2 JP7344031 B2 JP 7344031B2 JP 2019133866 A JP2019133866 A JP 2019133866A JP 2019133866 A JP2019133866 A JP 2019133866A JP 7344031 B2 JP7344031 B2 JP 7344031B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- distance
- vehicle
- processing unit
- straight line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0092—Image segmentation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Measurement Of Optical Distance (AREA)
Description
[構成例]
図1は、一実施の形態に係る画像処理装置(画像処理装置1)の一構成例を表すものである。画像処理装置1は、ステレオカメラ11と、処理部20とを有している。画像処理装置1は、自動車等の車両10に搭載される。
続いて、本実施の形態の画像処理装置1の動作および作用について説明する。
まず、図1を参照して、画像処理装置1の全体動作概要を説明する。ステレオカメラ11は、車両10の前方を撮像することにより、左画像PLおよび右画像PRを含むステレオ画像PICを生成する。処理部20は、ステレオカメラ11から供給されたステレオ画像PICに基づいて、左画像PLおよび右画像PRに含まれる、車両10の前方の車両などの様々な物体のそれぞれに、画像領域Rを設定することにより、物体を認識する。
図5は、処理部20の一動作例を表すものである。処理部20は、ステレオカメラ11からステレオ画像PICが供給される度に、そのステレオ画像PICに基づいて、距離画像PZを生成し、この距離画像PZに基づいて複数の画像領域Rを設定する。そして、処理部20は、1つの画像領域Rを分割し、あるいは2つの画像領域Rを結合することにより、1または複数の画像領域Rを設定する。以下に、この処理について詳細に説明する。
次に、図5のステップS105に示した領域分割処理Aに含まれる、分割処理A1について詳細に説明する。
ここで、σ1は、仮分割位置POS1において仮分割を行った場合における近似直線L11,L12からのばらつき度合いである。このばらつき度合いσ1は、仮分割位置POS1の左の領域における分散値V11の平方根と、仮分割位置POS1の右の領域における分散値V12の和である。言い換えれば、このばらつき度合いσ1は、仮分割位置POS1の左の領域における標準偏差と、仮分割位置POS1の右の領域における標準偏差の和である。同様に、σ2は、仮分割位置POS2において仮分割を行った場合における近似直線L21,L22からのばらつき度合いであり、σ3は、仮分割位置POS3において仮分割を行った場合における近似直線L31,L32からのばらつき度合いであり、σ4は、仮分割位置POS4において仮分割を行った場合における近似直線L41,L42からのばらつき度合いであり、σ5は、仮分割位置POS5において仮分割を行った場合における近似直線L51,L52からのばらつき度合いである。分割処理部25は、このばらつき度合いσ1~σ5のうちの最も小さいばらつき度合いσが得られた仮分割位置POSを選択する。図9A~9Eの例では、分割処理部25は、仮分割位置POS4を選択する。
次に、図5のステップS106に示した領域結合処理Bに含まれる、結合処理B1について詳細に説明する。
次に、図5のステップS106に示した領域結合処理Bに含まれる、結合処理B2について詳細に説明する。
以上のように本実施の形態では、画像領域R1が属する複数の画素列に対応する複数の代表距離値に基づいて、画像領域R1が他車両のコーナー部の画像を含むかどうかを判定し、この画像領域R1がコーナー部の画像を含む場合に、そのコーナー部に基づいて分割処理を行うことにより2つの画像領域R2,R3を設定するようにした。これにより、他車両の側面とその他車両の背面に、別々の画像領域R2,R3をそれぞれ設定することができるので、適切に画像領域を設定することができる。
Claims (4)
- ステレオ画像に基づいて生成された、各画素での距離値を含む距離画像に基づいて、前記距離画像における複数の画素列に対応づけられ、それぞれが、対応する画素列における前記距離値の代表値である複数の代表距離値を生成する代表距離算出部と、
前記ステレオ画像に含まれる、他車両を含む1または複数の物体の画像に応じて設定された、互いに離間する第1の画像領域および第2の画像領域を結合する結合処理を行うことが可能であり、前記第1の画像領域および前記第2の画像領域の両方が前記他車両の側面の画像を含むかどうかを判定する判定処理を行い、前記第1の画像領域および前記第2の画像領域の両方が前記他車両の側面の画像を含む場合に、前記結合処理を行う結合処理部と
を備え、
前記結合処理部は、
前記複数の代表距離値のうちの、前記第1の画像領域が属する複数の画素列に対応する第1の複数の代表距離値と、前記複数の代表距離値のうちの、前記第2の画像領域が属する複数の画素列に対応する第2の複数の代表距離値と、前記距離画像における各画素での距離値のうちの、前記第1の画像領域および前記第2の画像領域の間の各画素での画素距離値とに基づいて前記判定処理を行う
画像処理装置。 - 前記判定処理は、前記第1の画像領域および前記第2の画像領域の両方が前記他車両の側面における互いに異なる部分の画像を含むかどうかを判定する
請求項1に記載の画像処理装置。 - 前記結合処理部は、前記判定処理において、
前記第1の画像領域および前記第2の画像領域が仮結合された領域である仮結合領域において、前記第1の複数の代表距離値および前記第2の複数の代表距離値に基づいて近似直線を生成し、
前記距離画像の横軸方向および前記距離値の距離方向を含む座標面において、複数の前記画素距離値が示す複数の座標点を前記近似直線上に移動させ、
前記近似直線上に移動された前記複数の座標点の密度を算出し、前記近似直線上に移動された前記複数の座標点のうちの、密度が低い領域における座標点を削除し、
前記近似直線上において残留する前記複数の座標点を、前記第1の画像領域に対応する第1のグループ、または前記第2の画像領域に対応する第2のグループに区分し、
前記第1のグループに区分された前記複数の座標点、および前記第2のグループに区分された前記複数の座標点の間の、前記近似直線に沿った第1の距離が所定の距離よりも短い場合に、前記第1の画像領域および前記第2の画像領域の両方が前記他車両の側面の画像を含むと判定する
請求項1または請求項2に記載の画像処理装置。 - 前記結合処理部は、前記座標面における、前記第1の複数の代表距離値に対応する複数の座標点および前記第2の複数の代表距離値に対応する複数の座標点の間の、前記近似直線に沿った第2の距離が所定の距離よりも長い場合に、前記判定処理を行う
請求項3に記載の画像処理装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019133866A JP7344031B2 (ja) | 2019-07-19 | 2019-07-19 | 画像処理装置 |
US16/844,612 US11087483B2 (en) | 2019-07-19 | 2020-04-09 | Image processing apparatus |
CN202010393436.7A CN112241980A (zh) | 2019-07-19 | 2020-05-11 | 图像处理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019133866A JP7344031B2 (ja) | 2019-07-19 | 2019-07-19 | 画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021018604A JP2021018604A (ja) | 2021-02-15 |
JP7344031B2 true JP7344031B2 (ja) | 2023-09-13 |
Family
ID=74170488
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019133866A Active JP7344031B2 (ja) | 2019-07-19 | 2019-07-19 | 画像処理装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11087483B2 (ja) |
JP (1) | JP7344031B2 (ja) |
CN (1) | CN112241980A (ja) |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3315054B2 (ja) * | 1997-04-04 | 2002-08-19 | 富士重工業株式会社 | 車外監視装置 |
JP3349060B2 (ja) * | 1997-04-04 | 2002-11-20 | 富士重工業株式会社 | 車外監視装置 |
ATE527620T1 (de) * | 2009-02-17 | 2011-10-15 | Autoliv Dev | Verfahren und system zur automatischen detektion von objekten vor einem kraftfahrzeug |
JP5523448B2 (ja) * | 2009-04-23 | 2014-06-18 | パナソニック株式会社 | 運転支援システム、情報表示装置、及び情報表示プログラム |
JP6621445B2 (ja) | 2017-06-19 | 2019-12-18 | 日本電信電話株式会社 | 特徴抽出装置、物体検出装置、方法、及びプログラム |
JP7160040B2 (ja) * | 2017-08-22 | 2022-10-25 | ソニーグループ株式会社 | 信号処理装置、および信号処理方法、プログラム、移動体、並びに、信号処理システム |
EP3722992B1 (en) * | 2019-04-10 | 2023-03-01 | Teraki GmbH | System and method for pre-processing images captured by a vehicle |
-
2019
- 2019-07-19 JP JP2019133866A patent/JP7344031B2/ja active Active
-
2020
- 2020-04-09 US US16/844,612 patent/US11087483B2/en active Active
- 2020-05-11 CN CN202010393436.7A patent/CN112241980A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
US20210019901A1 (en) | 2021-01-21 |
JP2021018604A (ja) | 2021-02-15 |
CN112241980A (zh) | 2021-01-19 |
US11087483B2 (en) | 2021-08-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6519262B2 (ja) | 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム | |
JP5944781B2 (ja) | 移動体認識システム、移動体認識プログラム、及び移動体認識方法 | |
JP6550881B2 (ja) | 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム | |
EP2757524B1 (en) | Depth sensing method and system for autonomous vehicles | |
JP6131704B2 (ja) | 連続型道路分割体の検知方法及び連続型道路分割体の検知装置 | |
CN107491065B (zh) | 利用障碍物的地面边界信息检测物体的侧面的方法和装置 | |
JP2019517089A (ja) | 地面マーキングを認識するための画像処理方法、および地面マーキングを検出するためのシステム | |
US8406472B2 (en) | Method and system for processing image data | |
EP3082066A1 (en) | Road surface gradient detection device | |
KR102569437B1 (ko) | 3차원 영상정보 기반 객체 추적 장치 및 방법 | |
JP2009075938A (ja) | 道路形状推定装置 | |
CN109791607B (zh) | 借助单应矩阵从摄像机的一系列图像中探测和验证对象 | |
JP6816401B2 (ja) | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム | |
CN110809766B (zh) | 高级驾驶员辅助系统和方法 | |
CN112927309A (zh) | 一种车载相机标定方法、装置、车载相机及存储介质 | |
JP7344032B2 (ja) | 画像処理装置 | |
JP7344031B2 (ja) | 画像処理装置 | |
US11884303B2 (en) | Apparatus and method for determining lane change of surrounding objects | |
JP7291594B2 (ja) | 画像処理装置 | |
WO2020036039A1 (ja) | ステレオカメラ装置 | |
JP7058128B2 (ja) | 情報処理装置およびプログラム | |
JP7216526B2 (ja) | 車外環境認識装置および車外環境認識方法 | |
JP7246165B2 (ja) | 路面検出装置 | |
GÜNGÖR et al. | Stereo-image-based ground-line prediction and obstacle detection | |
KR102424664B1 (ko) | 3차원 영상정보 기반 객체 추적 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220318 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230320 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230328 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230525 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230808 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230901 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7344031 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |