JP6968475B1 - 情報処理方法、プログラム及び情報処理装置 - Google Patents
情報処理方法、プログラム及び情報処理装置 Download PDFInfo
- Publication number
- JP6968475B1 JP6968475B1 JP2021093690A JP2021093690A JP6968475B1 JP 6968475 B1 JP6968475 B1 JP 6968475B1 JP 2021093690 A JP2021093690 A JP 2021093690A JP 2021093690 A JP2021093690 A JP 2021093690A JP 6968475 B1 JP6968475 B1 JP 6968475B1
- Authority
- JP
- Japan
- Prior art keywords
- sensor
- data
- image
- information processing
- acquiring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 65
- 238000003672 processing method Methods 0.000 title claims description 9
- 230000005856 abnormality Effects 0.000 claims abstract description 80
- 230000002159 abnormal effect Effects 0.000 claims abstract description 23
- 238000010586 diagram Methods 0.000 abstract description 8
- 238000000034 method Methods 0.000 description 24
- 210000004556 brain Anatomy 0.000 description 8
- 238000004891 communication Methods 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 7
- 238000003066 decision tree Methods 0.000 description 6
- 239000003973 paint Substances 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000007477 logistic regression Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004886 process control Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000005452 bending Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000015541 sensory perception of touch Effects 0.000 description 1
- 239000007921 spray Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Aviation & Aerospace Engineering (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Automation & Control Theory (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Quality & Reliability (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Electromagnetism (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
図1は、本発明の一実施形態に係る情報処理システム1の一例を示す図である。図1に示す情報処理システム1は、情報処理装置10、撮像装置が搭載された車両20、各センサ30が設けられた物体を含み、ネットワークNを介して相互にデータ通信可能である。
以下、本発明に係る一実施例について説明する。実施例1では、認識対象物に1又は複数のセンサ30が設けられ、情報処理装置10は、各センサ30にセンシングされた各データを用いて、認識対象物自体に変更が加えられたか(異常があるか)を判定する。
次に、本発明に係る実施例2について説明する。実施例2では、道路標識などの認識対象物に対して、この認識対象物の周囲に位置する物体に1又は複数のセンサ30が設けられ、情報処理装置10は、各センサ30にセンシングされた各データを用いて、認識対象物に変更が加えられたか(異常があるか)を判定する。物体とは、例えば、上述した地物、人、及び車両等の少なくとも1つである。
Claims (8)
- 情報処理装置に備えられるプロセッサが、
撮像装置から、対象物を含む画像を取得すること、
前記対象物又は前記対象物近傍の物体に設けられる1又は複数のセンサから、各センサによりセンシングされる各データを取得すること、
前記各センサからの過去の各データを学習データとして前記対象物に関して異常の有無を学習した各学習モデルに、前記各センサから取得される各データのうち、対応するデータをそれぞれ入力して前記対象物に関して異常か否かの各判定結果を取得すること、
前記各判定結果を用いて、前記画像に基づく前記対象物の認識結果が異常か否かを判定すること、
を実行する、情報処理方法。 - 前記判定することは、
前記各判定結果をアンサンブル学習して、前記認識結果が異常か否かを判定することを含む、請求項1に記載の情報処理方法。 - 情報処理装置に備えられるプロセッサが、
自動運転可能な車両に搭載される撮像装置から、道路、信号機、又は標識に関する地物を含む対象物を含む画像を取得すること、
前記対象物又は前記対象物近傍の物体に設けられる1又は複数のセンサから、各センサによりセンシングされる各データを取得することであって、前記物体は、地物、人、又は車両を含む、前記取得すること、
前記各データを用いて、前記画像に基づく前記対象物の認識結果が異常か否かを判定すること、
を実行する、情報処理方法。 - 前記画像を取得することは、
前記車両の位置情報を取得することを含み、
前記各データを取得することは、
前記各センサの位置情報を取得することを含み、
前記判定することは、
前記車両の位置情報に基づき特定される位置情報を有する各センサから送信されるデータを用いて、前記対象物の認識結果が異常か否かを判定することを含む、請求項3に記載の情報処理方法。 - 情報処理装置に備えられるプロセッサに、
撮像装置から、対象物を含む画像を取得すること、
前記対象物又は前記対象物近傍の物体に設けられる1又は複数のセンサから、各センサによりセンシングされる各データを取得すること、
前記各センサからの過去の各データを学習データとして前記対象物に関して異常の有無を学習した各学習モデルに、前記各センサから取得される各データのうち、対応するデータをそれぞれ入力して前記対象物に関して異常か否かの各判定結果を取得すること、
前記各判定結果を用いて、前記画像に基づく前記対象物の認識結果が異常か否かを判定すること、
を実行させる、プログラム。 - 情報処理装置に備えられるプロセッサに、
自動運転可能な車両に搭載される撮像装置から、道路、信号機、又は標識に関する地物を含む対象物を含む画像を取得すること、
前記対象物又は前記対象物近傍の物体に設けられる1又は複数のセンサから、各センサによりセンシングされる各データを取得することであって、前記物体は、地物、人、又は車両を含む、前記取得すること、
前記各データを用いて、前記画像に基づく前記対象物の認識結果が異常か否かを判定すること、
を実行させる、プログラム。 - プロセッサを備える情報処理装置であって、
前記プロセッサが、
撮像装置から、対象物を含む画像を取得すること、
前記対象物又は前記対象物近傍の物体に設けられる1又は複数のセンサから、各センサによりセンシングされる各データを取得すること、
前記各センサからの過去の各データを学習データとして前記対象物に関して異常の有無を学習した各学習モデルに、前記各センサから取得される各データのうち、対応するデータをそれぞれ入力して前記対象物に関して異常か否かの各判定結果を取得すること、
前記各判定結果を用いて、前記画像に基づく前記対象物の認識結果が異常か否かを判定すること、
を実行する、情報処理装置。 - プロセッサを備える情報処理装置であって、
前記プロセッサが、
自動運転可能な車両に搭載される撮像装置から、道路、信号機、又は標識に関する地物を含む対象物を含む画像を取得すること、
前記対象物又は前記対象物近傍の物体に設けられる1又は複数のセンサから、各センサによりセンシングされる各データを取得することであって、前記物体は、地物、人、又は車両を含む、前記取得すること、
前記各データを用いて、前記画像に基づく前記対象物の認識結果が異常か否かを判定すること、
を実行する、情報処理装置。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021093690A JP6968475B1 (ja) | 2021-06-03 | 2021-06-03 | 情報処理方法、プログラム及び情報処理装置 |
JP2021171818A JP2022186572A (ja) | 2021-06-03 | 2021-10-20 | 情報処理方法、プログラム及び情報処理装置 |
CN202210361344.XA CN115509222B (zh) | 2021-06-03 | 2022-04-07 | 信息处理方法、存储介质和信息处理装置 |
US17/746,825 US20220392208A1 (en) | 2021-06-03 | 2022-05-17 | Information processing method, storage medium, and information processing apparatus |
EP22175343.7A EP4099277A1 (en) | 2021-06-03 | 2022-05-25 | Information processing method, storage medium, and information processing apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021093690A JP6968475B1 (ja) | 2021-06-03 | 2021-06-03 | 情報処理方法、プログラム及び情報処理装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021171818A Division JP2022186572A (ja) | 2021-06-03 | 2021-10-20 | 情報処理方法、プログラム及び情報処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6968475B1 true JP6968475B1 (ja) | 2021-11-17 |
JP2022185827A JP2022185827A (ja) | 2022-12-15 |
Family
ID=78509657
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021093690A Active JP6968475B1 (ja) | 2021-06-03 | 2021-06-03 | 情報処理方法、プログラム及び情報処理装置 |
JP2021171818A Pending JP2022186572A (ja) | 2021-06-03 | 2021-10-20 | 情報処理方法、プログラム及び情報処理装置 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021171818A Pending JP2022186572A (ja) | 2021-06-03 | 2021-10-20 | 情報処理方法、プログラム及び情報処理装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220392208A1 (ja) |
EP (1) | EP4099277A1 (ja) |
JP (2) | JP6968475B1 (ja) |
CN (1) | CN115509222B (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013029899A (ja) * | 2011-07-27 | 2013-02-07 | Sanyo Electric Co Ltd | 移動体通信装置及び走行支援方法 |
WO2017029847A1 (ja) * | 2015-08-19 | 2017-02-23 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP2021022134A (ja) * | 2019-07-26 | 2021-02-18 | トヨタ自動車株式会社 | 信号機情報管理システム |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7912645B2 (en) * | 1997-10-22 | 2011-03-22 | Intelligent Technologies International, Inc. | Information transfer arrangement and method for vehicles |
US7202776B2 (en) * | 1997-10-22 | 2007-04-10 | Intelligent Technologies International, Inc. | Method and system for detecting objects external to a vehicle |
JP2009042918A (ja) * | 2007-08-07 | 2009-02-26 | Toyota Motor Corp | 信号情報の異常判定装置。 |
JP2009266136A (ja) * | 2008-04-29 | 2009-11-12 | Mitsubishi Electric Corp | 道路構造物異常検知装置 |
JP2016086237A (ja) * | 2014-10-23 | 2016-05-19 | 協立電子工業株式会社 | サーバ装置及び方法 |
DE102015205094A1 (de) * | 2015-03-20 | 2016-09-22 | Continental Automotive Gmbh | Vorrichtung zum automatischen Erfassen eines Zustands eines Objekts, Auswertevorrichtung zum automatischen Bestimmen eines vorbestimmten Zustands eines Objekts und Verfahren zum automatischen Bestimmen eines vorbestimmten Zustands eines Objekts |
US9566986B1 (en) | 2015-09-25 | 2017-02-14 | International Business Machines Corporation | Controlling driving modes of self-driving vehicles |
CN107369326A (zh) * | 2017-03-06 | 2017-11-21 | 扬州大学 | 一种应用于自动驾驶的智能交通灯设计系统 |
CN110248861B (zh) * | 2018-01-07 | 2023-05-30 | 辉达公司 | 在车辆操纵过程中使用机器学习模型来引导车辆 |
JP7183729B2 (ja) * | 2018-11-26 | 2022-12-06 | トヨタ自動車株式会社 | 撮影異常診断装置 |
CN109886210B (zh) * | 2019-02-25 | 2022-07-19 | 百度在线网络技术(北京)有限公司 | 一种交通图像识别方法、装置、计算机设备和介质 |
WO2020181419A1 (en) * | 2019-03-08 | 2020-09-17 | SZ DJI Technology Co., Ltd. | Techniques for sharing mapping data between an unmanned aerial vehicle and a ground vehicle |
US11327497B2 (en) * | 2019-06-21 | 2022-05-10 | Volkswagen Ag | Autonomous transportation vehicle image augmentation |
WO2021069967A1 (en) * | 2019-10-08 | 2021-04-15 | Mobileye Vision Technologies Ltd. | Systems and methods for vehicle navigation |
CN112287973A (zh) * | 2020-09-28 | 2021-01-29 | 北京航空航天大学 | 基于截尾奇异值和像素插值的数字图像对抗样本防御方法 |
-
2021
- 2021-06-03 JP JP2021093690A patent/JP6968475B1/ja active Active
- 2021-10-20 JP JP2021171818A patent/JP2022186572A/ja active Pending
-
2022
- 2022-04-07 CN CN202210361344.XA patent/CN115509222B/zh active Active
- 2022-05-17 US US17/746,825 patent/US20220392208A1/en active Pending
- 2022-05-25 EP EP22175343.7A patent/EP4099277A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013029899A (ja) * | 2011-07-27 | 2013-02-07 | Sanyo Electric Co Ltd | 移動体通信装置及び走行支援方法 |
WO2017029847A1 (ja) * | 2015-08-19 | 2017-02-23 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP2021022134A (ja) * | 2019-07-26 | 2021-02-18 | トヨタ自動車株式会社 | 信号機情報管理システム |
Also Published As
Publication number | Publication date |
---|---|
CN115509222A (zh) | 2022-12-23 |
CN115509222B (zh) | 2024-03-12 |
US20220392208A1 (en) | 2022-12-08 |
JP2022186572A (ja) | 2022-12-15 |
EP4099277A1 (en) | 2022-12-07 |
JP2022185827A (ja) | 2022-12-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11501572B2 (en) | Object behavior anomaly detection using neural networks | |
Chan et al. | A comprehensive review of driver behavior analysis utilizing smartphones | |
US20200369271A1 (en) | Electronic apparatus for determining a dangerous situation of a vehicle and method of operating the same | |
EP2201496B1 (en) | Inattentive state determination device and method of determining inattentive state | |
AU2018217437B2 (en) | System for identifying a defined object | |
US10121205B1 (en) | Risk evaluation based on vehicle operator behavior | |
US20220139070A1 (en) | Learning apparatus, estimation apparatus, data generation apparatus, learning method, and computer-readable storage medium storing a learning program | |
KR101276770B1 (ko) | 사용자 적응형 특이행동 검출기반의 안전운전보조시스템 | |
CN108549911B (zh) | 基于神经网络的驾驶员转向介入识别方法 | |
US11899787B2 (en) | Information processing system, inference method, attack detection method, inference execution program and attack detection program | |
JP2007122362A (ja) | ニューラルネットワークを用いた状態推定方法及びニューラルネットワークを用いた状態推定装置 | |
WO2008133746A1 (en) | Systems and methods for detecting unsafe conditions | |
US20200064912A1 (en) | Eye gaze tracking of a vehicle passenger | |
CN111344761A (zh) | 车外交流装置、车外交流方法、信息处理装置和车外交流程序 | |
Guria et al. | Iot-enabled driver drowsiness detection using machine learning | |
JP2023543611A (ja) | センサ性能低下状態を決定する方法 | |
JP6968475B1 (ja) | 情報処理方法、プログラム及び情報処理装置 | |
Fasanmade et al. | Context-Aware Quantitative Risk Assessment Machine Learning Model for Drivers Distraction | |
TWM538142U (zh) | 智慧多功能行車輔助駕駛記錄系統 | |
Pradhan et al. | Driver Drowsiness Detection Model System Using EAR | |
JP6776738B2 (ja) | 情報提供装置および情報提供方法 | |
KR20240090518A (ko) | 차량 데이터 시스템 및 관련된 또는 전송 가치가 있는 환경 감지 센서의 차량 데이터를 결정하는 방법 | |
KR20230126272A (ko) | 운전면허등급 평가 및 표출 시스템 | |
CN117850310A (zh) | 一种智能物联小车的操作控制系统 | |
CN115384541A (zh) | 行驶风险检测的方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210607 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20210607 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210817 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210909 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210930 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211020 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6968475 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |