JP7828158B2 - 視界判定システム、視界判定方法、及びプログラム - Google Patents
視界判定システム、視界判定方法、及びプログラムInfo
- Publication number
- JP7828158B2 JP7828158B2 JP2021183930A JP2021183930A JP7828158B2 JP 7828158 B2 JP7828158 B2 JP 7828158B2 JP 2021183930 A JP2021183930 A JP 2021183930A JP 2021183930 A JP2021183930 A JP 2021183930A JP 7828158 B2 JP7828158 B2 JP 7828158B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- extracted
- visibility
- edge
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/176—Urban or other man-made structures
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D47/00—Equipment not otherwise provided for
- B64D47/08—Arrangements of cameras
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Alarm Systems (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Description
特許文献2には、道路の視認状況を確認する技術が開示されている。
以下、本開示の第1実施形態の視界判定システム1及びデータ生成システム2を、図面を参照して説明する。第1実施形態の視界判定システム1(装置でもよい)は、カメラが撮像した画像に基づいて視界の良否を判定する。データ生成システム2は、視界判定システム1が用いる判定用データを生成する。
図1に示すように、データ生成システム2は、エッジ抽出部21と、平均化処理部22と、判定用データ生成部23と、を有する。これら各部(21~23)は、CPUなどのプロセッサ、メモリなどのストレージ、各種インターフェイス等を備えたコンピュータにおいてプロセッサが予めメモリに記憶されているプログラムを実行することによりソフトウェア及びハードウェアが協働して実現される。
図1に示すように、視界判定システム1は、エッジ抽出部11と、領域抽出部12と、取得部13と、判定部14と、を有する。これら各部(11~14)は、CPUなどのプロセッサ1b、メモリなどのストレージ1a、各種インターフェイス等を備えたコンピュータにおいてプロセッサ1bが予めストレージ1aに記憶されているプログラムを実行することによりソフトウェア及びハードウェアが協働して実現される。
上記視界判定システム1及びデータ生成システム2が実行する、情報処理方法について図10及び図11を参照しつつ説明する。図10は、第1実施形態のデータ生成システム2が実行するデータ生成処理を示すフローチャートである。図11は、第1実施形態の視界判定システム1が実行する視界判定処理を示すフローチャートである。
データ生成処理を説明する。図10に示すステップST200において、カメラ10が、学習用画像としての第1画像G1を複数の時点で撮影する。ステップST201において、エッジ抽出部21が、複数の第1画像G1それぞれについてエッジ抽出を行う。ステップST202において、平均化処理部22が、エッジ抽出された画像に対して時系列で平均化処理を実行し、空領域を特定する。ステップ203において、空領域を特定した画像に基づいて、判定用データ生成部23は、撮影目標S1の島部分を含む第1領域Ar1を示す第1抽出画像T1と、撮像した画像から第1領域Ar1を抽出するためのフィルタ24とを生成する。
視界判定処理を説明する。図11に示すステップST100において、カメラ10が、判定対象としての第2画像G2を撮影する。第2画像G2は、第1画像G1とは異なる時点で撮影される。ステップST101において、エッジ抽出部11は、第2画像G2のエッジを抽出する。ステップST102において、領域抽出部12は、エッジ抽出された第2画像G2から第2抽出画像T2をフィルタ24を用いて抽出する。第2抽出画像T2は、撮影目標S1のエッジを含み得る第2領域Ar2を有する。ステップST103において、取得部13は、カメラ10で撮影された第1画像G1内において撮影目標S1のエッジを抽出した第1抽出画像T1を取得する。ステップST104において、判定部14は、第1抽出画像T1と第2抽出画像T2とに基づいて、視界の良否を判定する。具体的には、判定部14を構成する明瞭度算出部14aが、第1抽出画像T1における第1領域Ar1の画素数に対する、第2抽出画像T2における第2領域Ar2の画素数の割合に基づいて、視界の明瞭度を算出する。
複数の第1画像G1は、背景だけでなく、撮影目標S1の遮蔽体の経時変化を含んでおり、複数の第1画像G1を平均化処理することで経時変化を適切に反映された第1抽出画像T1を生成でき、現地にあった第1抽出画像T1を用いるので、判定精度を向上可能となる。
このようにすれば、第1領域Ar1は、撮影目標S1のエッジを含み第1画像G1の一部であり、第2領域Ar2は撮影目標S1のエッジを含む可能性があり且つ画像の一部であるので、判定精度を向上可能となる。
この構成によれば、空における雲、空に隣接する地平線、山および島などの撮影目標の位置を特定して第1領域Ar1を抽出することが可能となる。これらの撮影目標が第2領域Ar2に含まれ、気象の影響を受けやすいので、視界の判定精度を向上可能となる。
視界の良否を明瞭度で表現可能となり、有用である。
視界が不良となる状況になれば、システムから警告信号が出力されるので、人手による監視に比べて自動監視が実現でき、有用である。
視界の良否を考慮した、移動体の迂回ルートを提供可能となる。
この構成によれば、地形の高度毎に視界の良否が判定され、有用である。
この構成によれば、視界不良領域を、地形の標高データに対応して理解できるので、有用である。
撮影目標は、カメラとの位置関係が不変であれば、どのようなものでも撮影目標にでき、視界判定の運用に有用である。
12 領域抽出部
13 取得部
14 判定部
14a 明瞭度算出部
15 報知部
16 表示部
17 迂回ルート生成部
G1 第1画像
G2 第2画像
S1 撮影目標
T1 第1抽出画像
T2 第2抽出画像
Claims (13)
- 地上に固定されたカメラで撮影した画像に基づいて視界状況を判定するシステムであって、
前記カメラで撮影された第1画像内において撮影目標のエッジを抽出した第1抽出画像を取得する取得部と、
前記第1抽出画像におけるエッジの画素数に対する、前記第1画像とは異なる時点に前記カメラで撮影された第2画像内において前記撮影目標のエッジを抽出した第2抽出画像におけるエッジの画素数の割合に基づいて、前記第2画像が撮影された時点における視界の良否を判定する判定部と、
を備え、
前記第1抽出画像は、エッジ抽出された複数の前記第1画像に対して平均化処理することで生成されている、視界判定システム。 - 前記第1抽出画像は、エッジ抽出された複数の前記第1画像に対して平均化処理することで生成されている、請求項1に記載の視界判定システム。
- 前記第1抽出画像は、エッジ抽出された前記第1画像の一部であり且つ前記撮影目標のエッジを含む第1領域を抽出して生成されており、
前記視界判定システムは、エッジ抽出された前記第2画像の一部であり且つ前記第1領域に対応する第2領域を抽出する領域抽出部を更に備え、
前記判定部は、前記第1領域を含む前記第1抽出画像と、前記領域抽出部によって抽出された前記第2領域を含む前記第2抽出画像とに基づいて、視界の良否を判定する、請求項1または2に記載の視界判定システム。 - 前記第1領域は、前記第1画像内において空である領域における撮影目標の輪郭の形状に基づいて、抽出された領域である、請求項3に記載の視界判定システム。
- 前記第1抽出画像におけるエッジの画素数に対する、前記第1画像とは異なる時点に前記カメラで撮影された第2画像内において前記撮影目標のエッジを抽出した第2抽出画像におけるエッジの画素数の割合に基づいて算出された、前記第2画像が撮影された時点における視界の明瞭度が、所定の明瞭度の閾値よりも低い場合に、警告信号を出力する報知部を備える、請求項1に記載の視界判定システム。
- 前記第1領域の前記第1抽出画像に対する位置関係は、前記第2領域の前記第2抽出画像に対する位置関係と同一である、請求項3または4に記載の視界判定システム。
- 互いに異なる地点に設置された複数のカメラから得られる前記第2画像に基づく前記判定部の判定結果に基づいて、移動体の迂回ルートを生成する、請求項1から請求項6のいずれかに記載の視界判定システム。
- 前記判定部は、地形の高度毎に視界の良否を判定する、請求項1から請求項7のいずれかに記載の視界判定システム。
- 前記判定部の判定結果に基づく視界不良領域を、地形の標高データに対応して表示する表示部を備える、請求項1から請求項8のいずれかに記載の視界判定システム。
- 前記撮影目標は、自然物、または地上に固定された構造物を含む、請求項1から請求項9のいずれかに記載の視界判定システム。
- 前記視界判定システムは、さらに前記カメラを含む、請求項1から請求項10のいずれかに記載の視界判定システム。
- 地上に固定されたカメラで撮影された第1画像内において撮影目標のエッジを抽出した第1抽出画像を取得することと、
前記第1抽出画像におけるエッジの画素数に対する、前記第1画像とは異なる時点に前記カメラで撮影された第2画像内において前記撮影目標のエッジを抽出した第2抽出画像におけるエッジの画素数の割合に基づいて、前記第2画像が撮影された時点における視界の良否を判定することと、
を含み、
前記第1抽出画像は、エッジ抽出された複数の前記第1画像に対して平均化処理することで生成されている、視界判定方法。 - 地上に固定されたカメラで撮影された第1画像内において撮影目標のエッジを抽出した第1抽出画像を取得することと、
前記第1抽出画像におけるエッジの画素数に対する、前記第1画像とは異なる時点に前記カメラで撮影された第2画像内において前記撮影目標のエッジを抽出した第2抽出画像におけるエッジの画素数の割合に基づいて、前記第2画像が撮影された時点における視界の良否を判定することと、
を1又は複数のプロセッサに実行させ、
前記第1抽出画像は、エッジ抽出された複数の前記第1画像に対して平均化処理することで生成されている、プログラム。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021183930A JP7828158B2 (ja) | 2021-11-11 | 2021-11-11 | 視界判定システム、視界判定方法、及びプログラム |
| CN202210977418.2A CN116132763A (zh) | 2021-11-11 | 2022-08-15 | 视野判定系统、视野判定方法以及存储介质 |
| US17/889,372 US12067727B2 (en) | 2021-11-11 | 2022-08-16 | Visibility determination system, visibility determination method, and non-transitory computer-readable medium |
| EP22190528.4A EP4181087B1 (en) | 2021-11-11 | 2022-08-16 | Visibility determination system, visibility determination method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021183930A JP7828158B2 (ja) | 2021-11-11 | 2021-11-11 | 視界判定システム、視界判定方法、及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2023071272A JP2023071272A (ja) | 2023-05-23 |
| JP7828158B2 true JP7828158B2 (ja) | 2026-03-11 |
Family
ID=83270810
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021183930A Active JP7828158B2 (ja) | 2021-11-11 | 2021-11-11 | 視界判定システム、視界判定方法、及びプログラム |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US12067727B2 (ja) |
| EP (1) | EP4181087B1 (ja) |
| JP (1) | JP7828158B2 (ja) |
| CN (1) | CN116132763A (ja) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007265277A (ja) | 2006-03-29 | 2007-10-11 | Denso Corp | 車両用視程測定装置、及び運転支援装置 |
| JP2016053504A (ja) | 2014-09-03 | 2016-04-14 | パイオニア株式会社 | ルート探索装置、制御方法、プログラム及び記憶媒体 |
| JP2018503061A (ja) | 2014-11-06 | 2018-02-01 | ジェンテックス コーポレイション | 視程検出のためのシステムおよび方法 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3444192B2 (ja) | 1998-05-21 | 2003-09-08 | 日産自動車株式会社 | 撮像環境推定装置 |
| JP4749142B2 (ja) | 2005-01-14 | 2011-08-17 | 小糸工業株式会社 | 視認状況測定装置 |
| US10748012B2 (en) | 2018-02-13 | 2020-08-18 | Ford Global Technologies, Llc | Methods and apparatus to facilitate environmental visibility determination |
| US10803570B2 (en) | 2018-05-10 | 2020-10-13 | Eagle Technology, Llc | Method and system for a measure of visibility from a single daytime image |
| KR102257078B1 (ko) * | 2018-12-18 | 2021-05-27 | 허병도 | 좌표계를 이용한 안개 탐지 장치 및 그 방법 |
| JP7295012B2 (ja) * | 2019-12-24 | 2023-06-20 | 日立Astemo株式会社 | 車両制御システム、および、車両制御方法 |
| US20230368357A1 (en) * | 2020-10-06 | 2023-11-16 | Bristol Industrial and Research Associates Limited | Visibility measurement device |
-
2021
- 2021-11-11 JP JP2021183930A patent/JP7828158B2/ja active Active
-
2022
- 2022-08-15 CN CN202210977418.2A patent/CN116132763A/zh active Pending
- 2022-08-16 EP EP22190528.4A patent/EP4181087B1/en active Active
- 2022-08-16 US US17/889,372 patent/US12067727B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007265277A (ja) | 2006-03-29 | 2007-10-11 | Denso Corp | 車両用視程測定装置、及び運転支援装置 |
| JP2016053504A (ja) | 2014-09-03 | 2016-04-14 | パイオニア株式会社 | ルート探索装置、制御方法、プログラム及び記憶媒体 |
| JP2018503061A (ja) | 2014-11-06 | 2018-02-01 | ジェンテックス コーポレイション | 視程検出のためのシステムおよび方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP4181087B1 (en) | 2026-01-21 |
| JP2023071272A (ja) | 2023-05-23 |
| US20230143999A1 (en) | 2023-05-11 |
| US12067727B2 (en) | 2024-08-20 |
| CN116132763A (zh) | 2023-05-16 |
| EP4181087A1 (en) | 2023-05-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8116530B2 (en) | Map change detection device, map change detection method, and program | |
| EP3223191B1 (en) | Creation of a 3d city model from oblique imaging and lidar data | |
| US7528938B2 (en) | Geospatial image change detecting system and associated methods | |
| US7630797B2 (en) | Accuracy enhancing system for geospatial collection value of an image sensor aboard an airborne platform and associated methods | |
| CN106504192B (zh) | 一种输电线路走廊地质灾害勘探影像处理方法及系统 | |
| EP3648050B1 (en) | Image compositing method, image compositing device, and recording medium | |
| US7603208B2 (en) | Geospatial image change detecting system with environmental enhancement and associated methods | |
| JP6947927B2 (ja) | 雲観測装置、雲観測システム、雲観測方法、及びプログラム | |
| KR100904078B1 (ko) | 항공 사진의 영상정합을 이용한 3차원 공간 정보 생성 시스템 및 방법 | |
| JP2018205264A (ja) | 画像処理装置、画像処理方法および画像処理用プログラム | |
| US11157735B2 (en) | Cloud detection in aerial imagery | |
| US8433457B2 (en) | Environmental condition detecting system using geospatial images and associated methods | |
| US9571801B2 (en) | Photographing plan creation device and program and method for the same | |
| JP7828158B2 (ja) | 視界判定システム、視界判定方法、及びプログラム | |
| EP4191507A1 (en) | Structure investigation support device, structure investigation support method, and program | |
| JP7830376B2 (ja) | 地物変化検知装置と地物変化検知方法 | |
| KR102049433B1 (ko) | Gps 좌표의 활주로 내 이물질 위치를 공항 그리드 맵에 표시하는 방법 | |
| JP2008276436A (ja) | 画像処理による稜線・尾根線の判定方法とその装置 | |
| WO2023209413A1 (en) | System and method for monitoring a right of way | |
| JP5012703B2 (ja) | 目標物検出システム | |
| JP7511147B2 (ja) | 撮像パラメータ出力方法、及び、撮像パラメータ出力装置 | |
| US20260099937A1 (en) | Cloud measuring system and cloud height measuring method | |
| JP4941421B2 (ja) | 目標物検出システム | |
| CN121304797A (zh) | 基于数据融合的滑坡监测方法、装置、系统和电子设备 | |
| CN120411898A (zh) | 一种环境隐患的空天地一体化监测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20241031 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20250612 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20250731 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20250818 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20251106 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20251209 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20260115 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20260129 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20260204 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20260227 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7828158 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |