JP7093715B2 - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP7093715B2 JP7093715B2 JP2018199816A JP2018199816A JP7093715B2 JP 7093715 B2 JP7093715 B2 JP 7093715B2 JP 2018199816 A JP2018199816 A JP 2018199816A JP 2018199816 A JP2018199816 A JP 2018199816A JP 7093715 B2 JP7093715 B2 JP 7093715B2
- Authority
- JP
- Japan
- Prior art keywords
- line
- line segment
- image
- unit
- candidate points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 48
- 238000001514 detection method Methods 0.000 claims description 42
- 238000007781 pre-processing Methods 0.000 claims description 29
- 238000012805 post-processing Methods 0.000 claims description 14
- 239000000284 extract Substances 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 claims description 5
- 238000000034 method Methods 0.000 description 27
- 230000008569 process Effects 0.000 description 14
- 230000000007 visual effect Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 7
- 238000011156 evaluation Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 239000010426 asphalt Substances 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Description
前記取得部は、移動体に設置されたカメラにより撮像された視野画像を取得する。
前記前処理部は、前記視野画像をエッジ探索することで、線分を構成する複数の候補点を抽出する。
前記後処理部は、前記複数の候補点の一軸方向に沿った連続性に基づいて前記線分を区間分割する。
前記判定部は、区間分割した各線分の中から所定の条件を満たす線分を検出対象として抽出する。
画像処理装置10は、CPU(Central Processing Unit)、RAM(Random Access Memory)及びROM(Read Only Memory)等のコンピュータに用いられるハードウェア要素及び必要なソフトウェアにより実現される。画像処理装置10は、CPUに代えて、またはこれに加えて、FPGA(Field Programmable Gate Array)等のPLD(Programmable Logic Device)、あるいは、GPU(Graphics Processing Unit)、DSP(Digital Signal Processor)、その他ASIC(Application Specific Integrated Circuit)等を有してもよい。
取得部11は、移動体1に設置された撮像部20(21,22)により撮像された視野画像を時系列に取得可能に構成される。取得部11は、撮像部20に対する撮影の指示及び撮影の停止を制御することが可能に構成されてもよい。
前処理部12は、視野画像V1をエッジ探索することで、線分を構成する複数の候補点を抽出することが可能に構成される。
後処理部13は、前処理部12で抽出された複数の候補点の一軸方向に沿った連続性に基づいて前記線分を区間分割することが可能に構成される。
判定部14は、区間分割した各線分の中から所定の条件を満たす線分を検出対象として抽出することが可能に構成される。本実施形態では、後述するように、後処理部13において区間分割された線分のうち、形状、傾き、長さおよび線幅の少なくとも1つが所定条件を満たす線分を検出対象として抽出するように構成される。
表示制御部15は、視野画像を表示する表示部30へ検出対象の存在を知らせる画像情報を表示させるための制御信号を生成するように構成される。これにより、表示部30を介してユーザに路上への注意喚起を促すことができる。表示制御部15は、特許請求の範囲の「信号生成部」に相当する。
通信部16は、画像処理装置10と管理装置40との間で情報を送受信することが可能なアンテナ等を含む通信モジュールを備える。通信部16は、取得部11で取得された撮像部20の画像、前処理部12により抽出された複数の候補点に関する情報、後処理部13により区間分割された線分に関する情報等を管理装置40へ出力するように構成される。なお、通信部16及び管理装置40の設置は任意であり、必要に応じて省略されてもよい。
メモリ17は、画像処理装置10の各部の動作を実行するプログラムソフトウェアや演算パラメータが格納される。メモリ17は、取得部11により取得された視野画像、前処理部12において抽出された複数の候補点に関する情報、後処理部13により区間分割された線分に関する情報、判定部14による検出対象の存在の有無の判定結果等が格納されてもよい。なお、メモリ17は、画像処理装置10とは別の記憶装置で構成されてもよい。
表示部30は、撮像部20で撮影された視野画像を表示することが可能な液晶表示装置や有機EL表示装置等で構成され、典型的には、図2に示すように移動体1の運転席等に設置される。
次に、本実施形態の画像処理システム100の典型的な動作について説明する。
移動体1が走行を開始すると、取得部11は、撮像部20から路面Sの視野画像を時系列的に取得する。視野画像は、表示部30に表示される。表示部30に表示される視野画像は典型的にはRGB画像である。
次に、前処理部12は、取得部11から出力された視野画像をグレースケール画像V2に変換する画像処理を実行する。この画像処理は、時系列に所定のフレーム単位で実行される。画像処理の結果生成されたグレースケール画像V2はメモリ17に記憶される。
続いて、前処理部12は、グレースケール画像V2をエッジ探索することで、線分を構成する複数の候補点を抽出する処理を実行する。エッジ探索方法は特に限定されず、本実施形態では、グレースケール画像V2の各画素を畳み込み演算することで、上記複数の候補点を抽出する。
続いて、図5(B)に示すように、前処理部12は、各候補点Fの位置に基づいて、当該線分領域T1を構成する直線L1のパラメータ(傾き、切片)を算出する。算出方法は特に限定されず、例えば、RANSAC(Random Sample Consensus)等のアルゴリズムを用いた最小二乗法が適用される。
前処理部12はさらに、各候補点Fについて各々の位置における線分領域T1の線幅の大きさを算出し、所定の範囲内にない線幅の領域を無効にする処理を実行する。本実施形態では、図6(A)に模式的に示すように、各候補点FのX軸位置における線内部の候補点F1と線上部の候補点F2の画素値(輝度値)を用い、これらの差分(F1-F2)が所定の閾値を上回った候補点を最終候補点として抽出する。閾値以下の候補点Fについては、無効として除去される。
後処理部13は、前処理部12において無効な候補点が除去された候補点群の連続性を評価し、直線区間分割処理を実行する。連続性の判定は特に限定されず、本実施形態では、各候補点Fの位置の間隔に基づいて、線状領域を区間分割する。判定基準としては、例えば、以下の2条件が用いられる。
(2)画像左から候補点のY座標を比較していき、間隔が「平均線幅×任意係数」以上離れていれば、別の区間として判断する。
分割した各候補線群(候補線1~3)を図6(B)に模式的に示す。各候補線群は、ステップ105と同様な処理で、直線近似される。
区間線幅=(区間内の線幅合計値)/(区間内の候補点数)
続いて、判定部15は、区間分割した各線分の中から所定の条件を満たす線分を検出対象として抽出する処理を実行する。評価の対象には、各候補線の形状、傾きおよび線幅が含まれるが、これに限られず、これらの少なくとも1つ、あるいはこれら以外の他のパラメータが対象とされてもよい。
続いて、判定部14は、最終候補として抽出された候補線T3が検出対象であるか否かを判定する。判定基準として、ここでは、当該候補線T3の線幅が検出対象である停止線の幅に相当するか否かが評価される。
表示制御部15は、停止線であると推定された候補線T3(以下、単に停止線ともいう)の座標と移動体1からの距離とを算出する。
(1)線左端座標
候補線の線長評価(図7(C))で探索した候補線T3の左端X座標と、直線パラメータ(直線近似式)より算出されたY座標とを用いて、線左端座標が算出される。
(2)線右端座標
候補線の線長評価(図7(C))で探索した候補線T3の右端X座標と、直線パラメータ(直線近似式)より算出されたY座標とを用いて、線右端座標が算出される。
(3)線中心座標
画像中心のX座標と、直線パラメータ(直線近似式)より算出されたY座標とを用いて、線中心座標が算出される。画像中心の座標を採用するのは、画像中心が移動体1の中心であるとの前提に基づくものである。したがって、画像中心が移動体1の中心でない場合は、画像中心を移動体1の中心とする補正を行ってもよい。
10…画像処理装置
11…取得部
12…前処理部
13…後処理部
14…判定部
15…表示制御部
20…撮像部
30…表示部
100…画像処理システム
Claims (4)
- 移動体に設置された撮像部により撮像された視野画像を取得する取得部と、
前記視野画像をエッジ探索することで、線分を構成する複数の候補点を抽出する前処理部と、
前記複数の候補点の一軸方向に沿った間隔が所定以上離れているか否かに基づいて、前記線分を区間分割する後処理部と、
区間分割した各線分の中から、区間内候補点間の傾きの差分の平均値が所定の閾値以下である線分、水平方向に関するなす角度が所定角度未満である線分、または、最も線長の長い線分を検出対象として抽出する判定部と
を具備する画像処理装置。 - 請求項1に記載の画像処理装置であって、
前記前処理部は、前記複数の候補点の各位置において前記移動体の進行方向における前記線分の線幅を算出し、算出した線幅が所定の範囲内にない候補点を無効とする
画像処理装置。 - 請求項2に記載の画像処理装置であって、
前記前処理部は、前記視野画像をグレースケール画像に変換し、前記グレースケール画像の各画素を畳み込み演算することで前記複数の候補点を抽出する
画像処理装置。 - 請求項2または3に記載の画像処理装置であって、
前記前処理部は、前記複数の候補点に基づく直線近似を算出し、算出した直線近似から所定以上外れた候補点を無効とする
画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018199816A JP7093715B2 (ja) | 2018-10-24 | 2018-10-24 | 画像処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018199816A JP7093715B2 (ja) | 2018-10-24 | 2018-10-24 | 画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020067795A JP2020067795A (ja) | 2020-04-30 |
JP7093715B2 true JP7093715B2 (ja) | 2022-06-30 |
Family
ID=70390336
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018199816A Active JP7093715B2 (ja) | 2018-10-24 | 2018-10-24 | 画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7093715B2 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011100174A (ja) | 2009-11-03 | 2011-05-19 | Tokyo Institute Of Technology | 車線内車両検出装置及び車線内車両検出方法 |
US20130100286A1 (en) | 2011-10-21 | 2013-04-25 | Mesa Engineering, Inc. | System and method for predicting vehicle location |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6493000B2 (ja) * | 2015-06-16 | 2019-04-03 | 日産自動車株式会社 | 路面標示検出装置及び路面標示検出方法 |
-
2018
- 2018-10-24 JP JP2018199816A patent/JP7093715B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011100174A (ja) | 2009-11-03 | 2011-05-19 | Tokyo Institute Of Technology | 車線内車両検出装置及び車線内車両検出方法 |
US20130100286A1 (en) | 2011-10-21 | 2013-04-25 | Mesa Engineering, Inc. | System and method for predicting vehicle location |
Non-Patent Citations (2)
Title |
---|
田岡武司, 外4名,"自動車用白線認識アルゴリズムの一実現",電子情報通信学会技術研究報告,日本,電子情報通信学会,2006年10月19日,第106巻, 第318号,p.63-68 |
齊藤隆仁, 外3名,"つくばチャレンジにおける屋外自律ナビゲーションシステムの開発",ロボティクス・メカトロニクス 講演会2012 講演論文集,日本,日本機械学会,2012年05月27日,p.(1A1-C08(1))-(1A1-C08(4)) |
Also Published As
Publication number | Publication date |
---|---|
JP2020067795A (ja) | 2020-04-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7949151B2 (en) | Vehicle surroundings monitoring apparatus | |
JP5551595B2 (ja) | 滑走路監視システムおよび方法 | |
US8005266B2 (en) | Vehicle surroundings monitoring apparatus | |
JP3083918B2 (ja) | 画像処理装置 | |
US20130286205A1 (en) | Approaching object detection device and method for detecting approaching objects | |
US7982748B2 (en) | Vehicle surroundings monitoring apparatus | |
JPH10512694A (ja) | 連続画像内での物体の移動を検知する方法及び装置 | |
KR101051459B1 (ko) | 영상의 에지를 추출하는 장치 및 방법 | |
JP2008158958A (ja) | 路面判別方法および路面判別装置。 | |
JP2011138310A (ja) | 有害鳥類の数及び停留位置の確定方法及びその確定装置並びに有害鳥類の防除方法 | |
US11282235B2 (en) | Vehicle surroundings recognition apparatus | |
KR102561309B1 (ko) | 영상 처리 장치 및 영상 처리 방법 | |
US20160026878A1 (en) | Algorithm to extend detecting range for avm stop line detection | |
US9747507B2 (en) | Ground plane detection | |
KR101026778B1 (ko) | 차량 영상 검지 장치 | |
WO2013116598A1 (en) | Low-cost lane marker detection | |
KR101236223B1 (ko) | 차선 검출 방법 | |
JP5189556B2 (ja) | 車線検出装置 | |
JP2008165595A (ja) | 障害物検出方法、障害物検出装置、障害物検出システム | |
JP7093715B2 (ja) | 画像処理装置 | |
JP2010136207A (ja) | 歩行者検出表示システム | |
JP2010286995A (ja) | 車両用画像処理システム | |
JP4765113B2 (ja) | 車両周辺監視装置、車両、車両周辺監視用プログラム、車両周辺監視方法 | |
JP4804202B2 (ja) | ステレオ式監視装置 | |
JPWO2018168182A1 (ja) | 移動体検出装置、移動体検出方法および移動体検出プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210419 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220308 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220322 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220518 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20220518 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220607 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220620 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7093715 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |