KR102337352B1 - 스마트폰을 사용하는 보행자를 보호하기 위한 첨단 보행자 보조 시스템을 제공하는 방법 및 장치 - Google Patents
스마트폰을 사용하는 보행자를 보호하기 위한 첨단 보행자 보조 시스템을 제공하는 방법 및 장치 Download PDFInfo
- Publication number
- KR102337352B1 KR102337352B1 KR1020190147103A KR20190147103A KR102337352B1 KR 102337352 B1 KR102337352 B1 KR 102337352B1 KR 1020190147103 A KR1020190147103 A KR 1020190147103A KR 20190147103 A KR20190147103 A KR 20190147103A KR 102337352 B1 KR102337352 B1 KR 102337352B1
- Authority
- KR
- South Korea
- Prior art keywords
- pedestrian
- information
- smartphone
- adjacent
- control unit
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 76
- 238000001514 detection method Methods 0.000 claims abstract description 27
- 230000005021 gait Effects 0.000 claims abstract description 6
- 230000008569 process Effects 0.000 claims description 28
- 230000008859 change Effects 0.000 claims description 20
- 230000001133 acceleration Effects 0.000 claims description 16
- 230000009471 action Effects 0.000 claims description 7
- 238000005259 measurement Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 15
- WUBBRNOQWQTFEX-UHFFFAOYSA-N 4-aminosalicylic acid Chemical compound NC1=CC=C(C(O)=O)C(O)=C1 WUBBRNOQWQTFEX-UHFFFAOYSA-N 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 241000287181 Sturnus vulgaris Species 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
- G06Q50/265—Personal security, identity or safety
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/005—Traffic control systems for road vehicles including pedestrian guidance indicator
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B31/00—Predictive alarm systems characterised by extrapolation or other computation using updated historic data
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/07—Controlling traffic signals
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/095—Traffic lights
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
- H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
- H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
- H04M1/72457—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to geographic location
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
- H04M2201/34—Microprocessors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2250/00—Details of telephonic subscriber devices
- H04M2250/10—Details of telephonic subscriber devices including a GPS signal receiver
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2250/00—Details of telephonic subscriber devices
- H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2250/00—Details of telephonic subscriber devices
- H04M2250/52—Details of telephonic subscriber devices including functional features of a camera
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Human Computer Interaction (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Tourism & Hospitality (AREA)
- Emergency Management (AREA)
- Computer Security & Cryptography (AREA)
- Theoretical Computer Science (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Automation & Control Theory (AREA)
- Environmental & Geological Engineering (AREA)
- Traffic Control Systems (AREA)
Abstract
본 발명에서는 스마트폰을 사용하는 보행자를 보호하기 위한 첨단 보행자 보조 시스템(Advanced Pedestrian Assistance System)을 제공하는 방법이 제시된다. 상기 방법은, 상기 스마트폰이, 위치추적 유닛으로 하여금, 상기 보행자의 위치 정보 및 속도 정보, 그리고 상기 스마트폰의 위치 정보 및 속도 정보를 포함하는 제1 정보를 획득하도록 하는 단계; 검출 유닛으로 하여금, 상기 스마트폰에 연동된 스마트폰 카메라에 의해 획득된 이미지 및 상기 제1 정보를 참조로 하여, 상기 보행자에 인접한 위험 영역의 위험 상태와 위험 객체의 위치 정보 및 속도 정보를 포함하는 제2 정보를 획득하도록 하는 단계; 및 제어 유닛으로 하여금, 상기 제1 정보 및 상기 제2 정보를 참조로 하여 상기 보행자의 보행 안전도를 산출한 후, 상기 보행자에게 위험 알림을 상기 스마트폰을 통해 전송하도록 하는 단계;를 포함한다. 또한, 상기 방법은 감시용이나 군사용으로 이용될 수 있다.
Description
본 발명은 적어도 하나의 스마트폰을 사용하는 적어도 한 명의 보행자를 보호하기 위한 첨단 보행자 보조 시스템(Advanced Pedestrian Assistance System)을 제공하는 방법 및 이를 이용한 스마트폰에 관한 것이다.
최근 스몸비(Smombie), 즉 스마트폰 좀비라는 말이 유행할 정도로, 스마트폰에 집중한 나머지 주변을 잘 살피지 못해 위험에 처하는 보행자가 많다. 이와 같은 스몸비는 자신을 위험에 빠지게 할 뿐만 아니라, 타인에게도 위험을 끼칠 수 있기 때문에 사회적으로 큰 문제가 될 수 있다.
스몸비를 보호하기 위해, 스몸비가 보행 중 오랫동안 화면을 응시하는 등의 경우 스몸비에게 단순히 경고를 주는 스마트폰 어플리케이션이 생겨났으나, 상기 어플리케이션은 너무 간단하여 스몸비에게 생길 수 있는 수많은 위험 상황에 대해서는 경고할 수 없는 단점이 있다.
다시 말해, 스몸비의 안전과 스몸비 주변 사람을 위한 포괄적이고 정교한 경고 시스템은 전무한 실정이다.
본 발명은 상술한 문제점을 해결하는 것을 목적으로 한다.
본 발명은 적어도 하나의 스마트폰을 사용하는 적어도 한 명의 보행자를 보호하기 위한 첨단 보행자 보조 시스템(Advanced Pedestrian Assistance System)을 제공함으로써, 상기 보행자 및 그 주변의 타 보행자들을 보호하는 것을 목적으로 한다.
상기한 바와 같은 본 발명의 목적을 달성하고, 후술하는 본 발명의 특징적인 효과를 실현하기 위한 본 발명의 특징적인 구성은 하기와 같다.
본 발명의 일 태양에 따르면, 적어도 하나의 스마트폰을 사용하는 적어도 한 명의 보행자를 보호하기 위한 첨단 보행자 보조 시스템(Advanced Pedestrian Assistance System)을 제공하는 방법에 있어서, (a) 상기 스마트폰이, 적어도 하나의 위치추적 유닛으로 하여금, 적어도 하나의 고정밀 지도(High Definition Map, HD Map), 적어도 하나의 GPS (Global Positioning System), 및 적어도 하나의 IMU (inertial measurement unit)에 포함된 적어도 하나의 가속도 센서와 적어도 하나의 자이로 센서로부터 획득된 정보 중 적어도 일부를 참조로 하여, 상기 보행자의 위치 정보 및 속도 정보, 그리고 상기 스마트폰의 위치 정보 및 속도 정보 중 적어도 일부를 포함하는 제1 정보를 획득하도록 하는 단계; (b) 상기 스마트폰이, 적어도 하나의 검출 유닛으로 하여금, 상기 스마트폰에 연동된 하나 이상의 스마트폰 카메라에 의해 획득된 이미지 중 적어도 일부 및 상기 제1 정보를 참조로 하여, 상기 보행자에 인접한 위험 영역 각각의 위험 상태와 위험 객체의 위치 정보 및 속도 정보를 포함하는 제2 정보를 획득하도록 하는 단계; 및 (c) 상기 스마트폰이, 적어도 하나의 제어 유닛으로 하여금, 상기 제1 정보 및 상기 제2 정보를 참조로 하여 상기 보행자의 적어도 하나의 보행 안전도를 계산한 후, 상기 보행자에게 위험 알림을 상기 스마트폰을 통해 전송하도록 하는 단계;를 포함하는 것을 특징으로 하는 방법이 개시된다.
일 실시예에서, (d) 상기 스마트폰이, 상기 제어 유닛으로 하여금, 상기 제1 정보 및 상기 제2 정보 중 적어도 일부를, 상기 보행자에 인접한 적어도 하나의 차량, 적어도 하나의 CCTV, 적어도 한 명의 타 보행자의 적어도 하나의 타 스마트폰 및 적어도 하나의 신호등을 포함하는, 상기 보행자에 인접한 커넥티드 디바이스 중 적어도 일부에 전송하도록 하되, 상기 커넥티드 디바이스 중 적어도 일부는 상기 위험 객체 중 적어도 일부인 단계;를 더 포함하는 것을 특징으로 한다.
일 실시예에서, 상기 (d) 단계에서, 상기 스마트폰이, 상기 제어 유닛으로 하여금, 상기 제1 정보 및 상기 제2 정보 중 적어도 일부를 상기 보행자에 인접한 상기 커넥티드 디바이스 중 적어도 일부에 전송하도록 함으로써, 상기 커넥티드 디바이스로 하여금, 상기 제1 정보 및 상기 제2 정보 중 적어도 일부를 참조로 하여, 상기 위험 객체와 상기 보행자 간에 충돌할 위험도를 낮추는 방향으로 동작하도록 하는 것을 특징으로 한다.
일 실시예에서, 상기 (c) 단계에서, 상기 스마트폰이, 상기 제어 유닛으로 하여금, 제3 정보를 추가로 참조로 하여 상기 보행 안전도를 판단하도록 하되, 상기 제3 정보는, 상기 스마트폰이 상기 제어 유닛으로 하여금, 상기 보행자에 인접한 적어도 하나의 차량, 적어도 하나의 CCTV, 적어도 한 명의 타 보행자의 적어도 하나의 타 스마트폰, 및 적어도 하나의 신호등을 포함하는, 상기 보행자에 인접한 커넥티드 디바이스 중 적어도 일부와 통신하도록 하여 생성된 상기 보행자 주변 사항에 관한 정보를 포함하고, 상기 커넥티드 디바이스 중 적어도 일부는 상기 위험 객체 중 적어도 일부인 것을 특징으로 한다.
일 실시예에서, 상기 제3 정보는 제3-1 정보 및 제3-2 정보 중 적어도 일부를 포함하고, 상기 제3-1 정보는, 상기 스마트폰에 연동된 상기 스마트폰 카메라의 적어도 하나의 가상 뷰잉 프러스텀(Virtual Viewing Frustum) 및 상기 커넥티드 디바이스에 연동된 적어도 하나의 외부 카메라의 적어도 하나의 가상 뷰잉 프러스텀에 동시에 포함되는 제1 특정 위험 객체의 위치 정보 및 속도 정보를 포함하고, 상기 제3-2 정보는, 상기 스마트폰에 연동된 상기 스마트폰 카메라의 상기 가상 뷰잉 프러스텀에는 포함되지 않으나, 상기 커넥티드 디바이스에 연동된 상기 외부 카메라의 상기 가상 뷰잉 프러스텀에는 포함되는 제2 특정 위험 객체의 위치 정보 및 속도 정보를 포함하며, 상기 스마트폰이, 상기 제어 유닛으로 하여금, 상기 제3-1 정보를 참조로 하여 상기 제2 정보의 신뢰성을 검증하고, 상기 제3-2 정보를 참조로 하여 적어도 하나의 미검출 위험 객체에 대한 정보를 획득하도록 하는 것을 특징으로 한다.
일 실시예에서, 상기 (c) 단계에서, 상기 스마트폰이, 상기 제어 유닛으로 하여금, (i) 상기 제3 정보에 포함된, 상기 보행자에 인접한 신호등의 위치 정보 및 신호 상태 정보와 (ii) 상기 제1 정보에 포함된, 상기 보행자의 상기 위치 정보 및 상기 속도 정보를 참조로 하여 상기 보행자의 관심 신호등 정보를 생성하고, 상기 관심 신호등 정보를 참조로 하여 상기 보행자에게 상기 스마트폰을 통해 추가 신호등 알림을 상기 보행자에게 전송하도록 하는 것을 특징으로 한다.
일 실시예에서, 상기 제3 정보는, (i) 상기 보행자에 인접한 상기 차량의 위치와 속도, (ii) 상기 보행자에 인접한 상기 CCTV를 참조로 하여 획득된, 상기 보행자에 인접한 상기 위험 객체의 위치와 속도, (iii) 상기 적어도 한 명의 타 보행자의 위치와 속도, 및 (iv) 상기 보행자에 인접한 신호등의 위치 정보 및 신호 상태 정보를 포함하는 것을 특징으로 한다.
일 실시예에서, 상기 스마트폰이, 상기 제어 유닛을 이용하여, 상기 스마트폰 카메라에 의해 획득된 상기 이미지에 대응하는, 상기 고정밀 지도 상의 적어도 하나의 영역의 넓이가 임계치 이하인 것을 감지한 경우, 상기 제어 유닛으로 하여금, 상기 스마트폰을 통해 상기 보행자에게 감지 불능 알림을 전송하도록 하는 것을 특징으로 한다.
일 실시예에서, 상기 스마트폰이, 적어도 하나의 세그멘팅 유닛에 의해 획득된, 상기 스마트폰 카메라의 적어도 하나의 렌즈를 가리고 있는 적어도 하나의 방해 객체에 대한 가림 정보 및 상기 보행자를 중심으로 한 3차원 공간에서 상기 보행자의 이동 면을 정의하는 법선 벡터와 상기 스마트폰 카메라의 적어도 하나의 가상 뷰잉 프러스텀의 중심축 간 각도에 대한 각도 정보 중 적어도 일부를 참조로 하여, 상기 영역의 넓이가 상기 임계치 이하인 적어도 하나의 원인을 판단하고, 상기 스마트폰을 통해 상기 원인 각각에 따라 상기 보행자에게 각각 다른 경고 알림을 전송하는 것을 특징으로 한다.
일 실시예에서, 상기 (c) 단계에서, 상기 스마트폰이, 상기 제어 유닛으로 하여금, 상기 제1 정보 및 상기 제2 정보를 참조로 하여, 상기 보행자와 상기 보행자에 인접한 상기 위험 객체가 임계 시간 내에 충돌할 위험도의 확률을 판단함으로써 상기 보행 안전도를 생성하도록 하는 것을 특징으로 한다.
일 실시예에서, 상기 스마트폰이, 상기 제어 유닛으로 하여금, 상기 보행 안전도를 향상시키기 위해, 상기 보행자에게 행동 지침을 주는 알림을 상기 스마트폰을 통해 추가로 전송하도록 하는 것을 특징으로 한다.
일 실시예에서, 상기 스마트폰이, 상기 제어 유닛으로 하여금, (i) 상기 제1 정보에 포함된 가속도 센서 정보를 참조로 하여, 상기 보행자의 이동 속도 변화를 예측할 수 있는 보행자 이동 예측 모델을 생성하고, (ii) 상기 보행자 이동 예측 모델을 참조로 하여, 상기 보행자가 상기 임계 시간 내에 상기 보행자에 인접한 각각의 영역으로 이동할 확률인 보행자 이동 확률을 계산한 후, (iii) 상기 제2 정보 중 적어도 일부를 참조로 하여, 상기 위험 객체의 이동 속도 변화를 예측할 수 있는 위험 객체 이동 예측 모델을 생성하고, (iv) 상기 위험 객체 이동 예측 모델을 참조로 하여, 상기 위험 객체가 상기 임계 시간 내에 상기 위험 객체에 인접한 각각의 영역으로 이동할 확률인 위험 객체 이동 확률을 계산한 다음, (v) 상기 보행자 이동 확률 및 상기 위험 객체 이동 확률을 참조로 하여 상기 보행 안전도를 생성하도록 하는 것을 특징으로 한다.
일 실시예에서, 상기 (c) 단계에서, 상기 스마트폰이, 상기 제어 유닛으로 하여금, 상기 제1 정보 및 상기 제2 정보에 포함된, 상기 보행자의 상기 위치 정보 및 상기 속도 정보, 그리고 상기 위험 영역에 대한 정보를 참조로 하여, 상기 보행자가 상기 위험 영역 중 하나로 이동할지 여부를 판단하도록 함으로써 상기 보행 안전도를 생성하는 것을 특징으로 한다.
일 실시예에서, 상기 스마트폰이, 상기 제어 유닛으로 하여금, (i) 상기 보행자의 이동 속도 변화를 예측할 수 있는 보행자 이동 예측 모델을 생성하고, (ii) 상기 보행자 이동 예측 모델을 참조로 하여, 상기 보행자가 상기 보행자에 인접한 각각의 인접 영역으로 이동할 보행자 이동 확률을 계산한 후, (iii) 상기 보행자 이동 확률 및 각각의 상기 인접 영역이 각각의 상기 위험 영역에 대응하는지를 참조로 하여 상기 보행 안전도를 생성하도록 하는 것을 특징으로 한다.
일 실시예에서, 상기 (b) 단계에서, 상기 스마트폰이, 상기 검출 유닛으로 하여금, (i) 상기 검출 유닛에 포함된 적어도 하나의 컨벌루션 레이어, 적어도 하나의 RPN(Region Proposal Network), 적어도 하나의 FC(Fully Connected) 레이어를 이용하여, 각각의 상기 이미지에 포함된, 상기 보행자에 인접한 상기 위험 객체를 검출하도록 하고, (ii) 상기 스마트폰 카메라의 적어도 하나의 초점 거리와 관련된 캘리브레이션(calibration) 정보 및 상기 제1 정보를 참조로 하여, 상기 검출된 위험 객체에 관한 상기 제2 정보를 획득하도록 하는 것을 특징으로 한다.
본 발명의 다른 태양에 따르면, 스마트폰을 사용하는 적어도 한 명의 보행자를 보호하기 위한 첨단 보행자 보조 시스템을 제공하는 상기 스마트폰에 있어서, 인스트럭션들을 저장하는 적어도 하나의 메모리; 및 (I) 적어도 하나의 위치추적 유닛으로 하여금, 적어도 하나의 고정밀 지도(HD map), 적어도 하나의 GPS, 및 적어도 하나의 IMU에 포함된 적어도 하나의 가속도 센서와 적어도 하나의 자이로 센서로부터 획득된 정보 중 적어도 일부를 참조로 하여, 상기 보행자의 위치 정보 및 속도 정보, 그리고 상기 스마트폰의 위치 정보 및 속도 정보 중 적어도 일부를 포함하는 제1 정보를 획득하도록 하는 프로세스, (II) 적어도 하나의 검출 유닛으로 하여금, 상기 스마트폰에 연동된 하나 이상의 스마트폰 카메라에 의해 획득된 이미지 중 적어도 일부 및 상기 제1 정보를 참조로 하여, 상기 보행자에 인접한 위험 영역 각각의 위험 상태와 위험 객체의 위치 정보 및 속도 정보를 포함하는 제2 정보를 획득하도록 하는 프로세스, 및 (III) 적어도 하나의 제어 유닛으로 하여금, 상기 제1 정보 및 상기 제2 정보를 참조로 하여 상기 보행자의 적어도 하나의 보행 안전도를 계산한 후, 상기 보행자에게 위험 알림을 상기 스마트폰을 통해 전송하도록 하는 프로세스를 수행하기 위한 상기 인스트럭션들을 실행하도록 구성된 적어도 하나의 프로세서;를 포함하는 것을 특징으로 하는 스마트폰이 개시된다.
일 실시예에서, 상기 프로세서가, (IV) 상기 제어 유닛으로 하여금, 상기 제1 정보 및 상기 제2 정보 중 적어도 일부를, 상기 보행자에 인접한 적어도 하나의 차량, 적어도 하나의 CCTV, 적어도 한 명의 타 보행자의 적어도 하나의 타 스마트폰 및 적어도 하나의 신호등을 포함하는, 상기 보행자에 인접한 커넥티드 디바이스 중 적어도 일부에 전송하도록 하되, 상기 커넥티드 디바이스 중 적어도 일부는 상기 위험 객체 중 적어도 일부인 프로세스;를 더 수행하는 것을 특징으로 한다.
일 실시예에서, 상기 (IV) 프로세스에서, 상기 프로세서가, 상기 제어 유닛으로 하여금, 상기 제1 정보 및 상기 제2 정보 중 적어도 일부를 상기 보행자에 인접한 상기 커넥티드 디바이스 중 적어도 일부에 전송하도록 함으로써, 상기 커넥티드 디바이스로 하여금, 상기 제1 정보 및 상기 제2 정보 중 적어도 일부를 참조로 하여, 상기 위험 객체와 상기 보행자 간에 충돌할 위험도를 낮추는 방향으로 동작하도록 하는 것을 특징으로 한다.
일 실시예에서, 상기 (III) 프로세스에서, 상기 프로세서가, 상기 제어 유닛으로 하여금, 제3 정보를 추가로 참조로 하여 상기 보행 안전도를 판단하도록 하되, 상기 제3 정보는, 상기 프로세서가 상기 제어 유닛으로 하여금, 상기 보행자에 인접한 적어도 하나의 차량, 적어도 하나의 CCTV, 적어도 한 명의 타 보행자의 적어도 하나의 타 스마트폰, 및 적어도 하나의 신호등을 포함하는, 상기 보행자에 인접한 커넥티드 디바이스 중 적어도 일부와 통신하도록 하여 생성된 상기 보행자 주변 사항에 관한 정보를 포함하고, 상기 커넥티드 디바이스 중 적어도 일부는 상기 위험 객체 중 적어도 일부인 것을 특징으로 한다.
일 실시예에서, 상기 제3 정보는 제3-1 정보 및 제3-2 정보 중 적어도 일부를 포함하고, 상기 제3-1 정보는, 상기 스마트폰에 연동된 상기 스마트폰 카메라의 적어도 하나의 가상 뷰잉 프러스텀 및 상기 커넥티드 디바이스에 연동된 적어도 하나의 외부 카메라의 적어도 하나의 가상 뷰잉 프러스텀에 동시에 포함되는 제1 특정 위험 객체의 위치 정보 및 속도 정보를 포함하고, 상기 제3-2 정보는, 상기 스마트폰에 연동된 상기 스마트폰 카메라의 상기 가상 뷰잉 프러스텀에는 포함되지 않으나, 상기 커넥티드 디바이스에 연동된 상기 외부 카메라의 상기 가상 뷰잉 프러스텀에는 포함되는 제2 특정 위험 객체의 위치 정보 및 속도 정보를 포함하며, 상기 프로세서가, 상기 제어 유닛으로 하여금, 상기 제3-1 정보를 참조로 하여 상기 제2 정보의 신뢰성을 검증하고, 상기 제3-2 정보를 참조로 하여 적어도 하나의 미검출 위험 객체에 대한 정보를 획득하도록 하는 것을 특징으로 한다.
일 실시예에서, 상기 (III) 프로세스에서, 상기 프로세서가, 상기 제어 유닛으로 하여금, (i) 상기 제3 정보에 포함된, 상기 보행자에 인접한 신호등의 위치 정보 및 신호 상태 정보와 (ii) 상기 제1 정보에 포함된, 상기 보행자의 상기 위치 정보 및 상기 속도 정보를 참조로 하여 상기 보행자의 관심 신호등 정보를 생성하고, 상기 관심 신호등 정보를 참조로 하여 상기 보행자에게 상기 스마트폰을 통해 추가 신호등 알림을 상기 보행자에게 전송하도록 하는 것을 특징으로 한다.
일 실시예에서, 상기 제3 정보는, (i) 상기 보행자에 인접한 상기 차량의 위치와 속도, (ii) 상기 보행자에 인접한 상기 CCTV를 참조로 하여 획득된, 상기 보행자에 인접한 상기 위험 객체의 위치와 속도, (iii) 상기 적어도 한 명의 타 보행자의 위치와 속도, 및 (iv) 상기 보행자에 인접한 신호등의 위치 정보 및 신호 상태 정보를 포함하는 것을 특징으로 한다.
일 실시예에서, 상기 프로세서가, 상기 제어 유닛을 이용하여, 상기 스마트폰 카메라에 의해 획득된 상기 이미지에 대응하는, 상기 고정밀 지도 상의 적어도 하나의 영역의 넓이가 임계치 이하인 것을 감지한 경우, 상기 제어 유닛으로 하여금, 상기 스마트폰을 통해 상기 보행자에게 감지 불능 알림을 전송하도록 하는 것을 특징으로 한다.
일 실시예에서, 상기 프로세서가, 적어도 하나의 세그멘팅 유닛에 의해 획득된, 상기 스마트폰 카메라의 적어도 하나의 렌즈를 가리고 있는 적어도 하나의 방해 객체에 대한 가림 정보 및 상기 보행자를 중심으로 한 3차원 공간에서 상기 보행자의 이동 면을 정의하는 법선 벡터와 상기 스마트폰 카메라의 적어도 하나의 가상 뷰잉 프러스텀의 중심축 간 각도에 대한 각도 정보 중 적어도 일부를 참조로 하여, 상기 영역의 넓이가 상기 임계치 이하인 적어도 하나의 원인을 판단하고, 상기 스마트폰을 통해 상기 원인 각각에 따라 상기 보행자에게 각각 다른 경고 알림을 전송하는 것을 특징으로 한다.
일 실시예에서, 상기 (III) 프로세스에서, 상기 프로세서가, 상기 제어 유닛으로 하여금, 상기 제1 정보 및 상기 제2 정보를 참조로 하여, 상기 보행자와 상기 보행자에 인접한 상기 위험 객체가 임계 시간 내에 충돌할 위험도의 확률을 판단함으로써 상기 보행 안전도를 생성하도록 하는 것을 특징으로 한다.
일 실시예에서, 상기 프로세서가, 상기 제어 유닛으로 하여금, 상기 보행 안전도를 향상시키기 위해, 상기 보행자에게 행동 지침을 주는 알림을 상기 스마트폰을 통해 추가로 전송하도록 하는 것을 특징으로 한다.
일 실시예에서, 상기 프로세서가, 상기 제어 유닛으로 하여금, (i) 상기 제1 정보에 포함된 가속도 센서 정보를 참조로 하여, 상기 보행자의 이동 속도 변화를 예측할 수 있는 보행자 이동 예측 모델을 생성하고, (ii) 상기 보행자 이동 예측 모델을 참조로 하여, 상기 보행자가 상기 임계 시간 내에 상기 보행자에 인접한 각각의 영역으로 이동할 확률인 보행자 이동 확률을 계산한 후, (iii) 상기 제2 정보 중 적어도 일부를 참조로 하여, 상기 위험 객체의 이동 속도 변화를 예측할 수 있는 위험 객체 이동 예측 모델을 생성하고, (iv) 상기 위험 객체 이동 예측 모델을 참조로 하여, 상기 위험 객체가 상기 임계 시간 내에 상기 위험 객체에 인접한 각각의 영역으로 이동할 확률인 위험 객체 이동 확률을 계산한 다음, (v) 상기 보행자 이동 확률 및 상기 위험 객체 이동 확률을 참조로 하여 상기 보행 안전도를 생성하도록 하는 것을 특징으로 한다.
일 실시예에서, 상기 (III) 프로세스에서, 상기 프로세서가, 상기 제어 유닛으로 하여금, 상기 제1 정보 및 상기 제2 정보에 포함된, 상기 보행자의 상기 위치 정보 및 상기 속도 정보, 그리고 상기 위험 영역에 대한 정보를 참조로 하여, 상기 보행자가 상기 위험 영역 중 하나로 이동할지 여부를 판단하도록 함으로써 상기 보행 안전도를 생성하는 것을 특징으로 한다.
일 실시예에서, 상기 프로세서가, 상기 제어 유닛으로 하여금, (i) 상기 보행자의 이동 속도 변화를 예측할 수 있는 보행자 이동 예측 모델을 생성하고, (ii) 상기 보행자 이동 예측 모델을 참조로 하여, 상기 보행자가 상기 보행자에 인접한 각각의 인접 영역으로 이동할 보행자 이동 확률을 계산한 후, (iii) 상기 보행자 이동 확률 및 각각의 상기 인접 영역이 각각의 상기 위험 영역에 대응하는지를 참조로 하여 상기 보행 안전도를 생성하도록 하는 것을 특징으로 한다.
일 실시예에서, 상기 (II) 프로세스에서, 상기 프로세서가, 상기 검출 유닛으로 하여금, (i) 상기 검출 유닛에 포함된 적어도 하나의 컨벌루션 레이어, 적어도 하나의 RPN, 적어도 하나의 FC 레이어를 이용하여, 각각의 상기 이미지에 포함된, 상기 보행자에 인접한 상기 위험 객체를 검출하도록 하고, (ii) 상기 스마트폰 카메라의 적어도 하나의 초점 거리와 관련된 캘리브레이션 정보 및 상기 제1 정보를 참조로 하여, 상기 검출된 위험 객체에 관한 상기 제2 정보를 획득하도록 하는 것을 특징으로 한다.
본 발명은 적어도 하나의 스마트폰을 사용하는 적어도 한 명의 보행자를 보호하기 위한 첨단 보행자 보조 시스템(Advanced Pedestrian Assistance System)을 제공함으로써, 상기 보행자 및 그 주변의 타 보행자들을 보호할 수 있는 효과가 있다.
본 발명의 실시예의 설명에 이용되기 위하여 첨부된 아래 도면들은 본 발명의 실시예들 중 단지 일부일 뿐이며, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자(이하 "통상의 기술자")에게 있어서는 발명적 작업이 이루어짐 없이 이 도면들에 기초하여 다른 도면들이 얻어질 수 있다.
도 1은 본 발명의 일 실시예에 따라 적어도 하나의 스마트폰을 사용하는 적어도 한 명의 보행자를 보호하기 위한 첨단 보행자 보조 시스템(Advanced Pedestrian Assistance System)을 제공하기 위한 상기 스마트폰의 구성을 개략적으로 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따라 상기 스마트폰을 사용하는 상기 보행자를 보호하기 위한 상기 첨단 보행자 보조 시스템의 구성을 개략적으로 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따라 상기 스마트폰을 사용하는 상기 보행자를 보호하기 위한 상기 첨단 보행자 보조 시스템이, 상기 보행자가 각각의 인접한 영역으로 이동할 확률을 참조로 하여, 적어도 하나의 보행 안전도를 계산하는 과정을 개략적으로 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따라 상기 스마트폰을 사용하는 상기 보행자를 보호하기 위한 상기 첨단 보행자 보조 시스템이, 상기 보행자와 하나 이상의 위험 객체가 충돌할 위험도의 확률을 참조로 하여 상기 보행 안전도를 계산하는 것을 개략적으로 나타낸 도면이다.
도 5a 및 도 5b는 본 발명의 일 실시예에 따라 상기 스마트폰을 사용하는 상기 보행자를 보호하기 위한 상기 첨단 보행자 보조 시스템이 획득하는 제3-1 정보 및 제3-2 정보와 관련된 상황을 개략적으로 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따라 상기 스마트폰을 사용하는 상기 보행자를 보호하기 위한 상기 첨단 보행자 보조 시스템이 사용하는, 스마트폰 카메라의 뷰잉 프러스텀(viewing frustum)의 중심축 각각과 지면 사이의 각도 정보를 개략적으로 나타낸 도면이다.
도 1은 본 발명의 일 실시예에 따라 적어도 하나의 스마트폰을 사용하는 적어도 한 명의 보행자를 보호하기 위한 첨단 보행자 보조 시스템(Advanced Pedestrian Assistance System)을 제공하기 위한 상기 스마트폰의 구성을 개략적으로 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따라 상기 스마트폰을 사용하는 상기 보행자를 보호하기 위한 상기 첨단 보행자 보조 시스템의 구성을 개략적으로 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따라 상기 스마트폰을 사용하는 상기 보행자를 보호하기 위한 상기 첨단 보행자 보조 시스템이, 상기 보행자가 각각의 인접한 영역으로 이동할 확률을 참조로 하여, 적어도 하나의 보행 안전도를 계산하는 과정을 개략적으로 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따라 상기 스마트폰을 사용하는 상기 보행자를 보호하기 위한 상기 첨단 보행자 보조 시스템이, 상기 보행자와 하나 이상의 위험 객체가 충돌할 위험도의 확률을 참조로 하여 상기 보행 안전도를 계산하는 것을 개략적으로 나타낸 도면이다.
도 5a 및 도 5b는 본 발명의 일 실시예에 따라 상기 스마트폰을 사용하는 상기 보행자를 보호하기 위한 상기 첨단 보행자 보조 시스템이 획득하는 제3-1 정보 및 제3-2 정보와 관련된 상황을 개략적으로 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따라 상기 스마트폰을 사용하는 상기 보행자를 보호하기 위한 상기 첨단 보행자 보조 시스템이 사용하는, 스마트폰 카메라의 뷰잉 프러스텀(viewing frustum)의 중심축 각각과 지면 사이의 각도 정보를 개략적으로 나타낸 도면이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명의 목적들, 기술적 해법들 및 장점들을 분명하게 하기 위하여 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 통상의 기술자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다.
또한, 본 발명의 상세한 설명 및 청구항들에 걸쳐, "포함하다"라는 단어 및 그것의 변형은 다른 기술적 특징들, 부가물들, 구성요소들 또는 단계들을 제외하는 것으로 의도된 것이 아니다. 통상의 기술자에게 본 발명의 다른 목적들, 장점들 및 특성들이 일부는 본 설명서로부터, 그리고 일부는 본 발명의 실시로부터 드러날 것이다. 아래의 예시 및 도면은 실례로서 제공되며, 본 발명을 한정하는 것으로 의도된 것이 아니다.
더욱이 본 발명은 본 명세서에 표시된 실시예들의 모든 가능한 조합들을 망라한다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
본 발명에서 언급하는 각종 이미지는 포장 또는 비포장 도로 관련 이미지를 포함할 수 있으며, 이 경우 도로 환경에서 등장할 수 있는 물체(가령, 자동차, 사람, 동물, 식물, 물건, 건물, 비행기나 드론과 같은 비행체, 기타 장애물)를 상정할 수 있을 것이나, 반드시 이에 한정되는 것은 아니며, 본 발명에서 언급하는 각종 이미지는 도로와 상관 없는 이미지(가령, 비포장도로, 골목길, 공터, 바다, 호수, 강, 산, 숲, 사막, 하늘, 실내와 관련된 이미지)일 수도 있으며, 이 경우, 비포장도로, 골목길, 공터, 바다, 호수, 강, 산, 숲, 사막, 하늘, 실내 환경에서 등장할 수 있는 물체(가령, 자동차, 사람, 동물, 식물, 물건, 건물, 비행기나 드론과 같은 비행체, 기타 장애물)를 상정할 수 있을 것이나, 반드시 이에 한정되는 것은 아니다.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따라 적어도 하나의 스마트폰을 사용하는 적어도 한 명의 보행자를 보호하기 위한 첨단 보행자 보조 시스템을 제공하기 위한 상기 스마트폰의 구성을 개략적으로 나타낸 도면이다.
도 1을 참조하면, 상기 스마트폰(100)은, 추후 자세히 설명할 요소인 상기 첨단 보행자 보조 시스템(200) 및 적어도 하나의 데이터베이스(DB)(300)를 포함할 수 있다. 상기 첨단 보행자 보조 시스템(Advanced Pedestrian Assistance System)(200)은 이하 APAS(200)로 칭하도록 한다. 상기 APAS(200) 및 상기 DB(300)의 입출력 및 연산 과정은 각각 통신부(110) 및 프로세서(120)에 의해 이루어질 수 있다. 다만, 도 1에서는 상기 통신부(110) 및 상기 프로세서(120) 간의 구체적인 연결 관계를 생략하였다. 이 때, 메모리(115)는 후술할 여러 가지 인스트럭션들을 저장한 상태일 수 있고, 상기 프로세서(120)는 상기 메모리(115)에 저장된 상기 인스트럭션들을 실행하도록 설정되고, 추후 설명할 인스트럭션들을 실행함으로써 본 발명의 프로세스를 수행할 수 있다. 이와 같이 상기 스마트폰(100)이 묘사되었다고 하여, 상기 스마트폰(100)이 본 발명을 실시하기 위한 매체, 프로세서, 메모리 또는 기타 컴퓨팅 구성요소가 통합된 형태인 통합 프로세서를 포함하는 경우를 배제하는 것은 아니다.
또한, 상기 스마트폰(100)은, 하나 이상의 스마트폰 카메라(400) 및 하나 이상의 커넥티드 디바이스(500)와 데이터를 교환할 수 있는데, 이와 같은 과정은 추후 상기 APAS(200)에 대해 더욱 구체적으로 설명하면서 함께 설명하도록 한다.
도 2는 본 발명의 일 실시예에 따라 상기 스마트폰을 사용하는 상기 보행자를 보호하기 위한 상기 첨단 보행자 보조 시스템의 구성을 개략적으로 나타낸 도면이다.
상기 APAS(200)는, 적어도 하나의 위치추적 유닛(210), 적어도 하나의 검출 유닛(220), 적어도 하나의 제어 유닛(230), 적어도 하나의 세그멘팅 유닛(240), 적어도 하나의 IMU(Inertial Measurement Unit)(250) 및 적어도 하나의 GPS(Global Positioning System)(260)를 포함할 수 있다. 추후 자세히 설명하겠지만, 기본적으로 상기 IMU(250)가, 상기 각각의 유닛에 입력될 수 있는 센서 정보를 생성할 수 있고, 상기 위치추적 유닛(210), 상기 검출 유닛(220), 및 상기 제어 유닛(230)은, 상기 센서 정보뿐만 아니라, 상기 GPS(260)를 통해 획득된 정보, 상기 스마트폰 카메라(400)에서 획득된 하나 이상의 이미지 및 상기 커넥티드 디바이스(500)에서 획득된 정보를 이용하여, 상기 스마트폰(100)을 사용하는 상기 보행자를 보호할 수 있다. 상기 세그멘팅 유닛(240)은 추후 자세히 설명하겠지만, 객체가 상기 스마트폰 카메라(400)의 뷰를 가리는지를 검출하는데 사용될 수 있다.
이상 상기 스마트폰(100)과 이에 포함된 상기 APAS(200)의 구성을 개괄적으로 살핀 바, 이하 상기 APAS(200)가 어떻게 동작하는지 구체적으로 살피도록 한다.
먼저, 상기 스마트폰(100)이, 상기 위치추적 유닛(210)으로 하여금, 상기 DB(300)에 포함된 고정밀 지도(High Definition Map) 정보, 상기 GPS(260)로부터의 위치 정보 및 상기 IMU(250)로부터의 센서 데이터를 획득하도록 할 수 있다. 상기 IMU(250)로부터 획득된 상기 센서 데이터는, 적어도 하나의 가속도 센서 또는 적어도 하나의 자이로 센서 등 상기 스마트폰(100)의 관성을 측정할 수 있는 센서에 의해 생성된 정보를 포함할 수 있다. 이와 같은 정보가 획득되면, 상기 스마트폰(100)은, 상기 위치추적 유닛(210)으로 하여금, 상기 고정밀 지도, 상기 GPS, 및 상기 IMU에 포함된 상기 가속도 센서와 상기 자이로 센서로부터 획득된 상기 정보 중 적어도 일부를 참조로 하여, 상기 스마트폰(100)을 사용하는 상기 보행자의 위치 정보 및 속도 정보, 상기 스마트폰(100)의 위치 정보 및 속도 정보 중 적어도 일부를 포함하는 제1 정보를 획득하도록 할 수 있다.
많은 경우에, 상기 보행자의 위치 정보는 상기 스마트폰(100)의 위치 정보와 유사하고, 상기 보행자의 속도 정보는 상기 스마트폰의 속도 정보와 유사하겠지만, 상기 스마트폰과 상기 보행자 간 이동 속도 차이가 커서 이를 보정해야 하는 경우도 있을 수 있다. 이하에서는 이와 같은 경우에 대해 살펴 본다.
먼저, 상기 스마트폰(100)이, 상기 위치추적 유닛(210)으로 하여금, 상기 스마트폰 카메라(400)에 의해 획득된 상기 이미지를 이용하여, 상기 보행자의 양 눈을 이은 가로선과 코를 지나는 세로선의 교점으로부터 상기 보행자의 양 눈 각각의 거리를 계산하고, 각각의 상기 거리의 비율을 참조로 하여 상기 스마트폰이 상기 보행자의 몸을 기준으로 어느 정도로 기울어져 있는지를 나타내는 각도를 계산할 수 있다. 이는, 상기 각도와 상기 비율 간의 관계를 나타내는 가우시안 분포 모델(Gaussian distribution model)을 참조로 하여 계산될 수 있다. 이후, 상기 스마트폰의 속도 정보와 상기 각도에 대응하는 벡터를 통합함으로써 상기 보행자의 속도 정보를 계산할 수 있다.
이후, 상기 스마트폰(100)이, 상기 검출 유닛(220)으로 하여금, 상기 스마트폰(100)에 연동된 상기 스마트폰 카메라(400)에 의해 획득된 이미지 중 적어도 일부 및 상기 제1 정보를 참조로 하여, 상기 보행자에 인접한 위험 영역의 각각의 위험 상태와 위험 객체의 위치 정보 및 속도 정보를 포함하는 제2 정보를 획득하도록 할 수 있다. 상기 위험 영역이란, 상기 보행자가 위치할 경우 위험할 수 있는 영역을 의미하는데, 예를 들어 차도 또는 공사장 주변일 수 있다. 상기 위험 객체란 보행자의 주변에 있는, 상기 보행자와 충돌할 수 있는 모든 객체를 말한다. 이는 차량, 가로등, 전봇대 등의 객체뿐만 아니라, 타 보행자를 포함하는 개념이다. 이와 같은 상기 제2 정보를 획득하기 위해 상기 이미지 중 적어도 일부 및 상기 제1 정보에 어떤 연산을 가하는지 살피도록 한다.
먼저, 상기 검출 유닛(220)은, CNN으로 구성될 수 있으며, 적어도 하나의 뉴럴 네트워크 연산을 통해 상기 제2 정보를 획득할 수 있다. 즉, 상기 검출 유닛(220)은, 적어도 하나의 컨벌루션 레이어, 적어도 하나의 RPN, 적어도 하나의 FC 레이어를 이용하여, 상기 스마트폰 카메라(400)로부터 획득된 각각의 상기 이미지에 포함된 상기 보행자 주변의 객체를 검출 할 수 있다. 이후, 상기 스마트폰 카메라(400)의 초점 거리(focal length)와 관련된 캘리브레이션(calibration) 정보 및 상기 제1 정보에 포함된 상기 스마트폰(100)의 위치 정보 및 속도 정보를 참조로 하여, 상기 위험 객체의 위치 정보 및 속도 정보를 이용함으로써 상기 제2 정보를 획득할 수 있다.
상기 위험 객체의 위치 정보를 획득하는 과정을 자세히 살펴 보면, 상기 검출 유닛(220)은, 상기 스마트폰(100)의 위치 정보를 참조로 하여, 상기 스마트폰(100)에 연동된 상기 스마트폰 카메라(400)의 위치 정보를 획득할 수 있다. 구체적으로, 상기 스마트폰(100)의 유형 또는 기종을 파악하여, 그 설계도를 참조로 상기 스마트폰(100)의 중심에서 상기 스마트폰 카메라(400)가 얼마나 떨어져 위치하는 지에 대한 정보를 획득한 후, 상기 스마트폰의 위치 정보 및 상기 스마트폰 카메라(400)가 얼마나 떨어져 위치하는 지에 대한 상기 획득된 정보를 참조로 하여, 상기 스마트폰 카메라(400)의 위치 정보가 계산될 수 있다. 이와 같이 상기 스마트폰 카메라(400)의 위치 정보가 획득되면, 각각의 상기 이미지의 중심 각각으로부터 각각의 상기 위험 객체의 2차원 거리 각각이 계산되고, 상기 초점 거리를 추가로 참조하여 상기 스마트폰 카메라(400)로부터 각각의 상기 위험 객체의 3차원 거리 각각이 계산되며, 상기 3차원 거리와 상기 스마트폰 카메라(400)의 위치 정보를 참조로 하여 각각의 상기 위험 객체의 위치 정보가 획득될 수 있다.
상기 스마트폰 카메라(400)로부터 연속적으로 획득된 상기 다수의 이미지를 참조로 하여, 상기 스마트폰 카메라(400)와 상기 위험 객체 간의 상대 속도가 각각 계산된 후, 각각의 상기 계산된 상대 속도와, 상기 스마트폰의 상기 속도 정보를 이용하여 계산된 상기 스마트폰 카메라(400)에 관한 속도 정보를 각각 참조로 하여, 상기 위험 객체의 속도 정보가 계산될 수 있다.
상기 위험 객체의 위치 정보 및 속도 정보가 획득되면, 상기 스마트폰(100)이, 상기 제어 유닛(230)으로 하여금, 상기 제1 정보 및 상기 제2 정보를 참조로 하여 상기 보행자의 적어도 하나의 보행 안전도를 산출한 후, 상기 보행 안전도를 참조로 하여, 상기 보행자에게 위험 알림을 상기 스마트폰(100)을 통해 전송하도록 할 수 있다.
상기 보행 안전도를 생성할 때 상기 위험 영역 및 상기 위험 객체를 고려할 수 있는데, 먼저 상기 위험 영역을 고려하는 방식에 대해 살펴 본다.
상기 스마트폰(100)은, 상기 제어 유닛(230)으로 하여금, 상기 제1 정보 및 상기 제2 정보에 포함된, 상기 보행자의 위치 정보 및 속도 정보, 그리고 상기 위험 영역에 대한 정보를 참조로 하여, 상기 보행자가 상기 위험 영역 중 하나로 이동할 지를 판단함으로써, 상기 보행 안전도를 생성하도록 할 수 있다. 구체적으로는, 상기 스마트폰(100)이, 상기 제어 유닛(230)으로 하여금, (i) 상기 보행자의 이동 속도 변화를 예측할 수 있는 보행자 이동 예측 모델을 생성하고, (ii) 상기 보행자 이동 예측 모델을 참조로 하여, 상기 보행자가 각각의 인접한 영역으로 이동할 확률인 하나 이상의 보행자 이동 확률을 계산한 후, (iii) 각각의 상기 인접한 영역이 각각의 상기 위험 영역에 대응하는 지와 상기 보행자 이동 확률을 참조로 하여 상기 보행 안전도를 생성하도록 할 수 있다.
상기 보행자 이동 예측 모델은, 두 가지 세부 모델을 포함할 수 있는데, 하나는 상기 보행자의 이동 속력을, 나머지 하나는 상기 보행자의 이동 방향을 예측한다. 상기 보행자의 상기 이동 속력을 예측하는 세부 모델은, 상기 IMU(250)에 포함된 상기 가속도 센서에 의해 획득된 상기 보행자의 가속도의 절대값을 기준점으로, 0의 가속도 변화량의 평균값과 기설정된 분산을 갖는 특정 제1 분포인 가우시안 분포 모델일 수 있다. 또한, 상기 보행자의 상기 이동 방향을 예측하기 위한 세부 모델은, 상기 보행자의 가속도에 포함된 상기 이동 방향에 대한 정보를 기준점으로, 0의 이동 방향 변화량의 평균값과 기설정된 분산을 갖는 특정 제2 분포인 모델일 수 있다. 도 3을 참조로 하여 본 방식의 예시를 설명하도록 한다.
도 3은 본 발명의 일 실시예에 따라 상기 스마트폰을 사용하는 상기 보행자를 보호하기 위한 상기 첨단 보행자 보조 시스템이, 상기 보행자가 각각의 인접한 영역으로 이동할 확률을 참조로 하여, 상기 보행 안전도를 계산하는 과정을 개략적으로 나타낸 도면이다.
도 3을 참조로 하면, 상기 설명한 바와 같은 방법에 따라, 상기 보행자가 자신에게 인접한 영역으로 이동할 확률이 계산되었음을 알 수 있다. 상기 분포 모델에 따르면, 상기 보행자가 초기 속력과 초기 방향으로 이동할 확률이 가장 높게 계산되므로, 정면의 영역으로 이동할 확률이 0.8로, 좌측과 우측의 영역으로 이동할 확률이 각각 0.15와 0.05로 계산된 것을 확인할 수 있다. 도 3의 S는 해당 영역이 안전 영역임을, D는 해당 영역이 위험 영역임을 의미하는데, 도 3의 예시에서는 상기 보행자가 상기 위험 영역으로 이동할 확률이 0.2로 상대적으로 낮은 바, 상기 APAS(200)는 상기 보행 안전도를 다소 높게 평가할 수 있다.
이상, 상기 위험 영역을 참조하여 상기 보행 안전도를 계산하는 방식에 대해 알아본 바, 이하에서는 상기 위험 객체를 참조하여 상기 보행 안전도를 계산하는 방식에 대해 알아본다.
상기 스마트폰(100)은, 상기 제어 유닛(230)으로 하여금, 상기 제1 정보 및 상기 제2 정보를 참조로 하여, 상기 보행자와 그에 인접한 상기 위험 객체가 임계 시간 내에 충돌할 적어도 하나의 위험도의 확률을 판단함으로써 상기 보행 안전도를 생성하도록 할 수 있다. 구체적으로는, 상기 스마트폰(100)이, 상기 제어 유닛(230)으로 하여금, 전술하였던 바와 같은 상기 보행자 이동 예측 모델, 및 상기 위험 객체의 이동 속도 변화를 예측할 수 있는 위험 객체 이동 예측 모델을 생성하도록 할 수 있다. 그리고, 상기 보행자 이동 예측 모델을 참조로 하여 상기 보행자가 상기 임계 시간 내에 상기 보행자에 인접한 각각의 영역으로 이동할 확률인 보행자 이동 확률을 계산하고, 상기 위험 객체 이동 예측 모델을 참조로 하여 상기 위험 객체가 상기 임계 시간 내에 상기 위험 객체에 인접할 각각의 영역으로 이동할 확률인 위험 객체 이동 확률을 계산하도록 할 수 있다. 이후, 상기 보행자 이동 확률 및 상기 위험 객체 이동 확률을 참조로 하여 상기 보행 안전도를 생성하도록 할 수 있다.
상기 위험 객체 이동 예측 모델은, 상기 제2 정보에 포함된 상기 위험 객체의 위치 정보 및 속도 정보를 참조로 하여, 상기 보행자 이동 예측 모델과 유사한 방식으로 생성될 수 있다.
상기 보행자 이동 확률 및 상기 위험 객체 이동 확률은 각각, 시간 별로 각각의 위치에 상기 보행자 및 상기 위험 객체가 존재할 확률을 나타내는 함수일 수 있으며, 상기 제어 유닛(230)은, 상기 두 확률을 곱한 값을 상기 임계 시간으로 적분한 결과를 참조로 하여 상기 보행 안전도를 생성할 수 있다. 이와 같은 경우의 예시를 살피기 위해 도 4를 참조하도록 한다.
도 4는 본 발명의 일 실시예에 따라 상기 스마트폰을 사용하는 상기 보행자를 보호하기 위한 상기 첨단 보행자 보조 시스템이, 상기 보행자와 상기 위험 객체가 충돌할 상기 위험도의 확률을 참조로 하여 상기 보행 안전도를 계산하는 것을 개략적으로 나타낸 도면이다.
도 4를 참조로 하면, 상기 보행자 이동 확률이 각각 
및 
이고, 이에 각각 대응하는 상기 위험 객체 이동 확률이 각각 
및 
임을 알 수 있다. 이 때, 상기 제어 유닛(230)은, 각각의 확률을 곱한 후, 적분할 수 있다. 그 수식은 다음과 같을 것이다.
상기 적분 식에서 T는 상기 임계 시간일 수 있다.
상기 적분의 결과는, 상기 위험 객체와 상기 보행자가 충돌할 상기 위험도를 나타내는 바, 상기 제어 유닛(230)은 상기 위험도를 참조로 하여 상기 보행 안전도를 계산할 수 있을 것이다.
이 때, 상기 위험 객체 때문에 상기 보행 안전도가 낮게 계산될 경우, 상기 보행자에게 알림 외에도, 상기 보행 안전도를 향상시킬 수 있는 행동이 제시될 수 있다. 즉, 상기 스마트폰(100)이, 상기 제어 유닛(230)으로 하여금, 상기 보행자가 상기 위험 객체를 피할 수 있도록 상기 보행자에게 행동 지침을 주는 알림을 추가로 전송할 수 있다. 예를 들어, 상기 위험 객체 중 하나가 제1 특정 방향으로 이동하고 있는 경우, 상기 보행자가 이를 피할 수 있도록, 제2 특정 방향으로 이동하도록 하는 상기 행동 지침이 제시될 수 있다.
이와 같이, 상기 스마트폰(100)은, 상기 제어 유닛(230)으로 하여금, 상기 보행 안전도를 계산하도록 함으로써 상기 보행자의 안전을 제공한다. 하지만, 상기 설명한 바는, 상기 스마트폰(100)과 이에 연동된 상기 스마트폰 카메라(400)에 의해 획득된 정보만을 이용하여 상기 보행 안전도를 계산하므로, 상기 보행자에 인접한 상기 커넥티드 디바이스(500)로부터 획득된 정보를 추가로 이용하여 상기 보행 안전도를 계산하면, 상기 보행자가 보다 안전해질 것으로 예상된다. 따라서, 이하에서는 상기 커넥티드 디바이스(500)로부터 획득된 정보를 이용하는 방식에 대해 설명하도록 한다.
즉, 상기 스마트폰(100)은, 상기 제어 유닛(230)으로 하여금, 제3 정보를 참조로 하여 상기 보행 안전도를 계산하도록 할 수 있다. 이 때, 상기 제3 정보는, 상기 스마트폰(100)이 상기 제어 유닛(230)으로 하여금, 상기 보행자에 인접한 적어도 하나의 차량, 적어도 하나의 CCTV, 적어도 한 명의 타 보행자의 적어도 하나의 타 스마트폰, 및 적어도 하나의 신호등을 포함하는, 상기 보행자에 인접한 커넥티드 디바이스 중 적어도 일부와 통신하도록 하여 생성된 상기 보행자 주변 사항에 관한 정보를 포함하고, 상기 커넥티드 디바이스 중 적어도 일부는 상기 위험 객체 중 적어도 일부일 수 있다. 예를 들어, 상기 제3 정보는 상기 CCTV에 의해 생성되는 영상에서 보여지는 상기 위험 객체의 위치 정보와 속도 정보를 포함할 수 있다.
상기 제3 정보는 적어도 두 가지의 세부 정보를 포함할 수 있는데, 이는 제3-1 정보 및 제3-2 정보이다.
상기 제3-1 정보는, 상기 스마트폰(100)에 연동된 상기 스마트폰 카메라(400)의 적어도 하나의 가상 뷰잉 프러스텀(Virtual Viewing Frustum) 및 상기 커넥티드 디바이스(500)에 연동된 적어도 하나의 외부 카메라의 적어도 하나의 가상 뷰잉 프러스텀에 동시에 포함되는 제1 특정 위험 객체의 위치 정보 및 속도 정보를 포함할 수 있고, 상기 제3-2 정보는, 상기 스마트폰(100)에 연동된 상기 스마트폰 카메라(400)의 가상 뷰잉 프러스텀에는 포함되지 않으나 상기 커넥티드 디바이스(500)에 연동된 상기 외부 카메라의 가상 뷰잉 프러스텀에는 포함되는 제2 특정 위험 객체의 위치 정보 및 속도 정보를 포함할 수 있다.
상기 제3-1 정보와 상기 제3-2 정보는 각각 다른 역할을 수행할 수 있는데, 구체적으로, 상기 스마트폰(100)이, 상기 제어 유닛(230)으로 하여금, 상기 스마트폰(100)이 생성한 상기 제2 정보의 신뢰성을, 상기 제3-1 정보를 참조로 하여 검증하고, 자신이 검출하지 못한 적어도 하나의 미검출 위험 객체에 대한 정보를, 상기 제3-2 정보를 참조로 하여 획득하도록 할 수 있다. 상기 제3-1 정보를 이용함으로써 상기 보행 안전도는 더 정확해질 수 있고, 상기 제3-2 정보를 이용함으로써 상기 보행 안전도에 더 많은 정보가 반영될 수 있다. 도 5a 및 도 5b를 참조하여 상기 제3-1 정보와 상기 제3-2 정보의 예시를 살피도록 한다.
도 5a 및 도 5b는 본 발명의 일 실시예에 따라 상기 스마트폰을 사용하는 상기 보행자를 보호하기 위한 상기 첨단 보행자 보조 시스템이 획득하는 상기 제3-1 정보 및 상기 제3-2 정보와 관련된 상황을 개략적으로 나타낸 도면이다.
도 5a는 상기 제3-1 정보와 관련된 상황의 예시인데, 상기 제1 특정 위험 객체는, 상기 스마트폰(100)에 연동된 상기 스마트폰 카메라(400)와 상기 CCTV에 연동된 카메라 둘 다에 의해 검출되었음을 알 수 있다. 이 경우에는, 상기 스마트폰(100)이 상기 검출 유닛(220)을 통해 획득한 상기 제2 정보를, 상기 제1 특정 위험 객체에 대한 상기 제3 정보를 사용하여 검증할 수 있다.
도 5b는 상기 제3-2 정보와 관련된 상황의 예시인데, 상기 제2 특정 위험 객체는, 상기 스마트폰(100)에 연동된 상기 스마트폰 카메라(400)에 의해서는 검출되지 않았으나, 상기 CCTV에 연동된 상기 카메라에 의해 검출되었음을 알 수 있다. 이 때, 상기 제2 정보는 상기 제2 특정 위험 객체에 대한 정보를 포함하지 않으므로, 상기 스마트폰(100)은, 상기 제3-2 정보를 참조로 하여, 상기 제2 특정 위험 객체에 대한 정보를 추가로 획득할 수 있다.
또한, 상기 스마트폰(100)은, 상기 제어 유닛(230)으로 하여금, 상기 보행 안전도를 참조로 하여 상기 위험 알림을 전송해 줄 뿐만 아니라, 신호등에 대한 정보도 줄 수 있는 바, 이에 대해 살펴본다.
즉, 상기 스마트폰(100)이, 상기 제어 유닛(230)으로 하여금, (i) 상기 제3 정보에 포함된, 상기 보행자에 인접한 신호등의 위치 정보 및 신호 상태 정보와 (ii) 상기 제1 정보에 포함된, 상기 보행자의 위치 정보 및 속도 정보를 참조로 하여 상기 보행자의 관심 신호등 정보를 생성하고, 상기 관심 신호등 정보를 참조로 하여 상기 보행자에게 상기 스마트폰(100)을 통해 추가 신호등 알림을 상기 보행자에게 전송하도록 할 수 있다. 구체적으로, 상기 보행자의 위치 정보 및 속도 정보를 참조로 하면, 상기 제어 유닛(230)은 상기 보행자의 가상 이동 경로를 생성할 수 있고, 상기 제3 정보를 참조로 하여, 상기 보행자의 가상 이동 경로 주변에 위치한 상기 신호등의 위치 정보 및 신호 상태 정보를 획득할 수 있다.
상기 스마트폰(100)은 이와 같이, 상기 커넥티드 디바이스(500)로부터 획득한 정보를 이용할 수 있고, 반대로, 상기 커넥티드 디바이스(500)는 상기 스마트폰(100)이 획득한 정보를 이용할 수 있다.
즉, 상기 스마트폰(100)이, 상기 제어 유닛(230)으로 하여금, 상기 제1 정보 및 상기 제2 정보 중 적어도 일부를, 상기 보행자에 인접한 상기 커넥티드 디바이스(500) 중 적어도 일부에 전송하도록 함으로써, 상기 커넥티드 디바이스로 하여금, 상기 획득된 제1 정보 및 상기 제2 정보 중 적어도 일부를 참조로 하여, 상기 위험 객체와 상기 보행자 간에 충돌할 상기 위험도를 낮추는 방향으로 동작하도록 할 수 있다. 상기 커넥티드 디바이스(500) 중, 상기 스마트폰(100)과 동일 또는 유사한 장치는, 상기 스마트폰(100)이 상기 제3 정보를 활용한 것과 유사한 방식으로, 상기 제1 정보 및 상기 제2 정보 중 적어도 일부를 활용할 수 있다.
한편, 상기 스마트폰(100)이 이와 같은 상기 APAS(200)를 상기 보행자에게 제공하려면, 상기 스마트폰 카메라(400)를 이용해 충분한 정보를 획득하는 것이 필요한데, 상기 보행자의 상기 스마트폰(100) 사용 패턴에 따라 충분한 정보가 획득되지 못 하는 경우가 있다. 이와 같은 경우, 상기 보행자에게 이러한 상황에 대한 알림을 전송해, 상기 보행자가 자신의 행동을 고치도록 할 필요가 있는 바, 이에 대해 설명하도록 한다.
즉, 상기 스마트폰(100)이, 상기 제어 유닛(230)을 이용하여, 상기 스마트폰 카메라(400)에 의해 획득된 상기 이미지에 대응하는, 상기 고정밀 지도 상의 적어도 하나의 영역의 넓이가 임계치 이하인 것을 감지한 경우, 상기 제어 유닛(230)으로 하여금, 상기 스마트폰(100)을 통해 상기 보행자에게 감지 불능 알림을 전송하도록 할 수 있다. 이는, 상기 스마트폰 카메라(400)에 의해 획득된 이미지에 대응하는, 상기 고정밀 지도 상의 영역이 넓어야 상기 스마트폰(100)이 상기 위험 객체에 대한 정보를 많이 획득할 수 있기 때문이다.
하지만, 이와 같이 상기 고정밀 지도 상의 상기 영역의 넓이가 상기 임계치 미만이 되는 경우는, 상기 스마트폰 카메라(400)의 적어도 하나의 렌즈가 적어도 하나의 객체(예를 들면, 손가락)에 의해 가려지는 경우에 해당하거나, 상기 보행자가 상기 스마트폰(100)을 지면과 거의 평행으로 들고 있는 경우에 해당할 수 있다. 상기 두 경우는 해결 방법이 다르므로, 이를 구분할 방안이 필요한 바, 이에 대해 설명하도록 한다.
구체적으로, 상기 스마트폰(100)이, 적어도 하나의 세그멘팅 유닛(240)에 의해 획득된, 상기 스마트폰 카메라의 적어도 하나의 렌즈를 가리고 있는 적어도 하나의 방해 객체에 의한 가림 정보 및 상기 보행자를 중심으로 한 3차원 공간에서 상기 보행자의 이동 면을 정의하는 법선 벡터와 상기 스마트폰 카메라의 적어도 하나의 가상 뷰잉 프러스텀의 중심축 간 각도에 대한 각도 정보 중 적어도 일부를 참조로 하여, 상기 영역의 넓이가 상기 임계치 이하인 적어도 하나의 원인을 판단할 수 있다. 이후, 상기 스마트폰을 통해 상기 원인 각각에 따라 상기 보행자에게 각각 다른 경고 알림을 전송할 수 있다.
상기 세그멘팅 유닛(240)은, 상기 스마트폰 카메라(400)에 의해 획득된 상기 이미지의 적어도 하나의 영역을 픽셀 단위로 세그멘팅하여, 상기 렌즈를 가리는 방해 객체가 있는지 판단하는 유닛이다. 이는 상기 CNN으로 구성될 수 있는데, 상기 CNN은 상기 방해 객체가 있는 입력된 이미지, 상기 방해 객체가 없는 입력된 이미지 및 이들에 대응하는 GT를 참조하여, 하나 이상의 로스를 계산한 후 이를 백프로파게이션함으로써 학습된 상태일 수 있다.
상기 각도 정보는, 상기 IMU(250)에 포함된 상기 가속도 센서 및 상기 자이로 센서에 의해 획득된 정보를 참조로 하여 생성될 수 있다. 상기 각도 정보를 어떠한 방식으로 이용하는 지 살피기 위해 도 6을 참조하기로 한다.
도 6은 본 발명의 일 실시예에 따라 상기 스마트폰을 사용하는 상기 보행자를 보호하기 위한 상기 APAS가 사용하는, 상기 스마트폰 카메라의 뷰잉 프러스텀의 중심축 각각과 상기 지면 사이의 상기 각도 정보를 개략적으로 나타낸 도면이다.
도 6을 참조로 하면, 상기 보행자를 중심으로 한 3차원 공간에서, 상기 보행자의 이동 면을 정의하는 법선 벡터와 상기 스마트폰 카메라의 상기 가상 뷰잉 프러스텀의 중심축 간의 각도가 큰 경우(θ2), 상기 가상 뷰잉 프러스텀이 상기 지면의 적은 면을 비추게 되고, 각도가 작은 경우(θ1), 상기 가상 뷰잉 프러스텀이 상기 지면의 넓은 면을 비추게 됨을 알 수 있다.
따라서, 상기 영역이 작고, 상기 각도(θ2)가 임계 각도보다 큰 경우, 이는 상기 보행자가 상기 스마트폰(100)을 상기 지면과 거의 평행하게 들고 있는 것을 의미하므로, 상기 스마트폰(100)은 상기 제어 유닛(230)으로 하여금, 상기 스마트폰(100)을 통해, 상기 스마트폰(100)을 기울여지게 들도록 상기 보행자에게 알려주는 알림을 전송하도록 할 수 있다. 반대로, 상기 영역이 작고, 상기 각도(θ1)가 상기 임계 각도보다 작으며, 상기 세그멘팅 유닛(240)에 의해 생성된 상기 가림 정보를 참조로, 상기 방해 객체가 상기 이미지 상에서 상기 임계 영역 이상의 영역을 차지하고 있는 것으로 판단되는 경우, 상기 스마트폰(100)은 상기 제어 유닛(230)으로 하여금, 상기 방해 객체를 제거하도록 상기 보행자에게 알려주는 알림을 전송할 수 있다.
이와 같이 종합적이고 정교한 방식으로 상기 APAS를 제공함으로써, 상기 보행자의 안전을 도모할 수 있다.
본 발명 기술분야의 통상의 기술자에게 이해될 수 있는 바로서, 위에서 설명된 이미지, 예컨대 원본 이미지, 원본 라벨 및 추가 라벨과 같은 이미지 데이터의 송수신이 스마트폰의 통신부들에 의하여 이루어질 수 있으며, 특징 맵과 연산을 수행하기 위한 데이터가 스마트폰의 프로세서(및/또는 메모리)에 의하여 보유/유지될 수 있고, 컨벌루션 연산, 디컨벌루션 연산, 로스 값 연산 과정이 주로 스마트폰의 프로세서에 의하여 수행될 수 있으나, 본 발명이 이에 한정되지는 않을 것이다.
본 발명에 따른 위와 같은 방법은 감시용이나 군사용으로 이용될 수 있을 것이다.
이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.
Claims (30)
- 적어도 하나의 스마트폰을 사용하는 적어도 한 명의 보행자를 보호하기 위한 첨단 보행자 보조 시스템(Advanced Pedestrian Assistance System)을 제공하는 방법에 있어서,
(a) 상기 스마트폰이, 적어도 하나의 위치추적 유닛으로 하여금, 적어도 하나의 고정밀 지도(High Definition Map, HD Map), 적어도 하나의 GPS(Global Positioning System), 및 적어도 하나의 IMU(inertial measurement unit)에 포함된 적어도 하나의 가속도 센서와 적어도 하나의 자이로 센서로부터 획득된 정보 중 적어도 일부를 참조로 하여, 상기 보행자의 위치 정보 및 속도 정보, 그리고 상기 스마트폰의 위치 정보 및 속도 정보 중 적어도 일부를 포함하는 제1 정보를 획득하도록 하는 단계;
(b) 상기 스마트폰이, 적어도 하나의 검출 유닛으로 하여금, 상기 스마트폰에 연동된 하나 이상의 스마트폰 카메라에 의해 획득된 이미지 중 적어도 일부 및 상기 제1 정보를 참조로 하여, 상기 보행자에 인접한 위험 영역 각각의 위험 상태와 위험 객체의 위치 정보 및 속도 정보를 포함하는 제2 정보를 획득하도록 하는 단계; 및
(c) 상기 스마트폰이, 적어도 하나의 제어 유닛으로 하여금, 상기 제1 정보 및 상기 제2 정보를 참조로 하여 상기 보행자의 적어도 하나의 보행 안전도를 계산한 후, 상기 보행자에게 위험 알림을 상기 스마트폰을 통해 전송하도록 하는 단계;
를 포함하되,
상기 (c) 단계에서,
상기 스마트폰이, 상기 제어 유닛으로 하여금, 제3 정보를 추가로 참조로 하여 상기 보행 안전도를 판단하도록 하되,
상기 제3 정보는, 상기 스마트폰이 상기 제어 유닛으로 하여금, 상기 보행자에 인접한 적어도 하나의 차량, 적어도 하나의 CCTV, 적어도 한 명의 타 보행자의 적어도 하나의 타 스마트폰, 및 적어도 하나의 신호등을 포함하는, 상기 보행자에 인접한 커넥티드 디바이스 중 적어도 일부와 통신하도록 하여 생성된 상기 보행자 주변 사항에 관한 정보를 포함하고, 상기 커넥티드 디바이스 중 적어도 일부는 상기 위험 객체 중 적어도 일부이고,
상기 제3 정보는 제3-1 정보 및 제3-2 정보 중 적어도 일부를 포함하고,
상기 제3-1 정보는, 상기 스마트폰에 연동된 상기 스마트폰 카메라의 적어도 하나의 가상 뷰잉 프러스텀(Virtual Viewing Frustum) 및 상기 커넥티드 디바이스에 연동된 적어도 하나의 외부 카메라의 적어도 하나의 가상 뷰잉 프러스텀에 동시에 포함되는 제1 특정 위험 객체의 위치 정보 및 속도 정보를 포함하고,
상기 제3-2 정보는, 상기 스마트폰에 연동된 상기 스마트폰 카메라의 상기 가상 뷰잉 프러스텀에는 포함되지 않으나, 상기 커넥티드 디바이스에 연동된 상기 외부 카메라의 상기 가상 뷰잉 프러스텀에는 포함되는 제2 특정 위험 객체의 위치 정보 및 속도 정보를 포함하며,
상기 스마트폰이, 상기 제어 유닛으로 하여금, 상기 제3-1 정보를 참조로 하여 상기 제2 정보의 신뢰성을 검증하고, 상기 제3-2 정보를 참조로 하여 적어도 하나의 미검출 위험 객체에 대한 정보를 획득하도록 하고,
상기 스마트폰이, 적어도 하나의 세그멘팅 유닛에 의해 획득된, 상기 스마트폰 카메라의 적어도 하나의 렌즈를 가리고 있는 적어도 하나의 방해 객체에 의한 가림 정보 및 상기 보행자를 중심으로 한 3차원 공간에서 상기 보행자의 이동 면을 정의하는 법선 벡터와 상기 스마트폰 카메라의 적어도 하나의 가상 뷰잉 프러스텀의 중심축 간의 각도에 대한 각도 정보 중 적어도 일부를 참조로 하여, 상기 스마트폰 카메라에 의해 획득된 상기 이미지에 대응하는, 상기 고정밀 지도 상의 적어도 하나의 영역의 넓이가 임계치 이하인 적어도 하나의 원인을 판단하고, 상기 스마트폰을 통해 상기 원인 각각에 따라 상기 보행자에게 각각 다른 경고 알림을 전송하고,
상기 (c) 단계에서,
상기 스마트폰이, 상기 제어 유닛으로 하여금, (i) 상기 제1 정보에 포함된 가속도 센서 정보를 참조로 하여, 상기 보행자의 이동 속도 변화를 예측할 수 있는 보행자 이동 예측 모델을 생성하고, (ii) 상기 보행자 이동 예측 모델을 참조로 하여, 상기 보행자가 임계 시간 내에 상기 보행자에 인접한 각각의 영역으로 이동할 확률인 보행자 이동 확률을 계산한 후, (iii) 상기 제2 정보 중 적어도 일부를 참조로 하여, 상기 위험 객체의 이동 속도 변화를 예측할 수 있는 위험 객체 이동 예측 모델을 생성하고, (iv) 상기 위험 객체 이동 예측 모델을 참조로 하여, 상기 위험 객체가 상기 임계 시간 내에 상기 위험 객체에 인접한 각각의 영역으로 이동할 확률인 위험 객체 이동 확률을 계산한 다음, (v) 상기 보행자 이동 확률 및 상기 위험 객체 이동 확률을 참조로 하여 상기 보행 안전도를 생성하도록 하고,
상기 (b) 단계에서,
상기 스마트폰이, 상기 검출 유닛으로 하여금, (i) 상기 검출 유닛에 포함된 적어도 하나의 컨벌루션 레이어, 적어도 하나의 RPN(Region Proposal Network), 적어도 하나의 FC(Fully Connected) 레이어를 이용하여, 각각의 상기 이미지에 포함된, 상기 보행자에 인접한 상기 위험 객체를 검출하도록 하고, (ii) 상기 스마트폰 카메라의 적어도 하나의 초점 거리와 관련된 캘리브레이션(calibration) 정보 및 상기 제1 정보를 참조로 하여, 상기 검출된 위험 객체에 관한 상기 제2 정보를 획득하도록 하는 것을 특징으로 하는 방법. - 제 1항에 있어서,
(d) 상기 스마트폰이, 상기 제어 유닛으로 하여금, 상기 제1 정보 및 상기 제2 정보 중 적어도 일부를, 상기 보행자에 인접한 적어도 하나의 차량, 적어도 하나의 CCTV, 적어도 한 명의 타 보행자의 적어도 하나의 타 스마트폰 및 적어도 하나의 신호등을 포함하는, 상기 보행자에 인접한 커넥티드 디바이스(connected device) 중 적어도 일부에 전송하도록 하되, 상기 커넥티드 디바이스 중 적어도 일부는 상기 위험 객체 중 적어도 일부인 단계;
를 더 포함하는 것을 특징으로 하는 방법. - 제 2항에 있어서,
상기 (d) 단계에서,
상기 스마트폰이, 상기 제어 유닛으로 하여금, 상기 제1 정보 및 상기 제2 정보 중 적어도 일부를 상기 보행자에 인접한 상기 커넥티드 디바이스 중 적어도 일부에 전송하도록 함으로써, 상기 커넥티드 디바이스로 하여금, 상기 제1 정보 및 상기 제2 정보 중 적어도 일부를 참조로 하여, 상기 위험 객체와 상기 보행자 간에 충돌할 위험도를 낮추는 방향으로 동작하도록 하는 것을 특징으로 하는 방법. - 삭제
- 삭제
- 제 1항에 있어서,
상기 (c) 단계에서,
상기 스마트폰이, 상기 제어 유닛으로 하여금, (i) 상기 제3 정보에 포함된, 상기 보행자에 인접한 신호등의 위치 정보 및 신호 상태 정보와 (ii) 상기 제1 정보에 포함된, 상기 보행자의 상기 위치 정보 및 상기 속도 정보를 참조로 하여 상기 보행자의 관심 신호등 정보를 생성하고, 상기 관심 신호등 정보를 참조로 하여 상기 보행자에게 상기 스마트폰을 통해 추가 신호등 알림을 상기 보행자에게 전송하도록 하는 것을 특징으로 하는 방법. - 제 1항에 있어서,
상기 제3 정보는, (i) 상기 보행자에 인접한 상기 차량의 위치와 속도, (ii) 상기 보행자에 인접한 상기 CCTV를 참조로 하여 획득된, 상기 보행자에 인접한 상기 위험 객체의 위치와 속도, (iii) 상기 적어도 한 명의 타 보행자의 위치와 속도, 및 (iv) 상기 보행자에 인접한 신호등의 위치 정보 및 신호 상태 정보를 포함하는 것을 특징으로 하는 방법. - 제 1항에 있어서,
상기 스마트폰이, 상기 제어 유닛을 이용하여, 상기 스마트폰 카메라에 의해 획득된 상기 이미지에 대응하는, 상기 고정밀 지도 상의 적어도 하나의 영역의 넓이가 임계치 이하인 것을 감지한 경우, 상기 제어 유닛으로 하여금, 상기 스마트폰을 통해 상기 보행자에게 감지 불능 알림을 전송하도록 하는 것을 특징으로 하는 방법. - 제 8항에 있어서,
상기 스마트폰이, 적어도 하나의 세그멘팅 유닛에 의해 획득된, 상기 스마트폰 카메라의 적어도 하나의 렌즈를 가리고 있는 적어도 하나의 방해 객체에 의한 가림 정보 및 상기 보행자를 중심으로 한 3차원 공간에서 상기 보행자의 이동 면을 정의하는 법선 벡터와 상기 스마트폰 카메라의 적어도 하나의 가상 뷰잉 프러스텀의 중심축 간의 각도에 대한 각도 정보 중 적어도 일부를 참조로 하여, 상기 영역의 넓이가 상기 임계치 이하인 적어도 하나의 원인을 판단하고, 상기 스마트폰을 통해 상기 원인 각각에 따라 상기 보행자에게 각각 다른 경고 알림을 전송하는 것을 특징으로 하는 방법. - 제 1항에 있어서,
상기 (c) 단계에서,
상기 스마트폰이, 상기 제어 유닛으로 하여금, 상기 제1 정보 및 상기 제2 정보를 참조로 하여, 상기 보행자와 그에 인접한 상기 위험 객체가 임계 시간 내에 충돌할 위험도의 확률을 판단함으로써 상기 보행 안전도를 생성하도록 하는 것을 특징으로 하는 방법. - 제 10항에 있어서,
상기 스마트폰이, 상기 제어 유닛으로 하여금, 상기 보행 안전도를 향상시키기 위해, 상기 보행자에게 행동 지침을 주는 알림을 상기 스마트폰을 통해 추가로 전송하도록 하는 것을 특징으로 하는 방법. - 제 10항에 있어서,
상기 스마트폰이, 상기 제어 유닛으로 하여금, (i) 상기 제1 정보에 포함된 가속도 센서 정보를 참조로 하여, 상기 보행자의 이동 속도 변화를 예측할 수 있는 보행자 이동 예측 모델을 생성하고, (ii) 상기 보행자 이동 예측 모델을 참조로 하여, 상기 보행자가 상기 임계 시간 내에 상기 보행자에 인접한 각각의 영역으로 이동할 확률인 보행자 이동 확률을 계산한 후, (iii) 상기 제2 정보 중 적어도 일부를 참조로 하여, 상기 위험 객체의 이동 속도 변화를 예측할 수 있는 위험 객체 이동 예측 모델을 생성하고, (iv) 상기 위험 객체 이동 예측 모델을 참조로 하여, 상기 위험 객체가 상기 임계 시간 내에 상기 위험 객체에 인접한 각각의 영역으로 이동할 확률인 위험 객체 이동 확률을 계산한 다음, (v) 상기 보행자 이동 확률 및 상기 위험 객체 이동 확률을 참조로 하여 상기 보행 안전도를 생성하도록 하는 것을 특징으로 하는 방법. - 제 1항에 있어서,
상기 (c) 단계에서,
상기 스마트폰이, 상기 제어 유닛으로 하여금, 상기 제1 정보 및 상기 제2 정보에 포함된, 상기 보행자의 상기 위치 정보 및 상기 속도 정보, 그리고 상기 위험 영역에 대한 정보를 참조로 하여, 상기 보행자가 상기 위험 영역 중 하나로 이동할지 여부를 판단하도록 함으로써 상기 보행 안전도를 생성하는 것을 특징으로 하는 방법. - 제 13항에 있어서,
상기 스마트폰이, 상기 제어 유닛으로 하여금, (i) 상기 보행자의 이동 속도 변화를 예측할 수 있는 보행자 이동 예측 모델을 생성하고, (ii) 상기 보행자 이동 예측 모델을 참조로 하여, 상기 보행자가 상기 보행자에 인접한 각각의 인접 영역으로 이동할 보행자 이동 확률을 계산한 후, (iii) 상기 보행자 이동 확률 및 각각의 상기 인접 영역이 각각의 상기 위험 영역에 대응하는지를 참조로 하여 상기 보행 안전도를 생성하도록 하는 것을 특징으로 하는 방법. - 제 1항에 있어서,
상기 (b) 단계에서,
상기 스마트폰이, 상기 검출 유닛으로 하여금, (i) 상기 검출 유닛에 포함된 적어도 하나의 컨벌루션 레이어, 적어도 하나의 RPN(Region Proposal Network), 적어도 하나의 FC(Fully Connected) 레이어를 이용하여, 각각의 상기 이미지에 포함된, 상기 보행자에 인접한 상기 위험 객체를 검출하도록 하고, (ii) 상기 스마트폰 카메라의 적어도 하나의 초점 거리와 관련된 캘리브레이션(calibration) 정보 및 상기 제1 정보를 참조로 하여, 상기 검출된 위험 객체에 관한 상기 제2 정보를 획득하도록 하는 것을 특징으로 하는 방법. - 스마트폰을 사용하는 적어도 한 명의 보행자를 보호하기 위한 첨단 보행자 보조 시스템을 제공하는 상기 스마트폰에 있어서,
인스트럭션들을 저장하는 적어도 하나의 메모리; 및
(I) 적어도 하나의 위치추적 유닛으로 하여금, 적어도 하나의 고정밀 지도(HD map), 적어도 하나의 GPS, 및 적어도 하나의 IMU에 포함된 적어도 하나의 가속도 센서와 적어도 하나의 자이로 센서로부터 획득된 정보 중 적어도 일부를 참조로 하여, 상기 보행자의 위치 정보 및 속도 정보, 그리고 상기 스마트폰의 위치 정보 및 속도 정보 중 적어도 일부를 포함하는 제1 정보를 획득하도록 하는 프로세스, (II) 적어도 하나의 검출 유닛으로 하여금, 상기 스마트폰에 연동된 하나 이상의 스마트폰 카메라에 의해 획득된 이미지 중 적어도 일부 및 상기 제1 정보를 참조로 하여, 상기 보행자에 인접한 위험 영역 각각의 위험 상태와 위험 객체의 위치 정보 및 속도 정보를 포함하는 제2 정보를 획득하도록 하는 프로세스, 및 (III) 적어도 하나의 제어 유닛으로 하여금, 상기 제1 정보 및 상기 제2 정보를 참조로 하여 상기 보행자의 적어도 하나의 보행 안전도를 계산한 후, 상기 보행자에게 위험 알림을 상기 스마트폰을 통해 전송하도록 하는 프로세스를 수행하기 위한 상기 인스트럭션들을 실행하도록 구성된 적어도 하나의 프로세서;
를 포함하되,
상기 (III) 프로세스에서,
상기 프로세서가, 상기 제어 유닛으로 하여금, 제3 정보를 추가로 참조로 하여 상기 보행 안전도를 판단하도록 하되,
상기 제3 정보는, 상기 프로세서가 상기 제어 유닛으로 하여금, 상기 보행자에 인접한 적어도 하나의 차량, 적어도 하나의 CCTV, 적어도 한 명의 타 보행자의 적어도 하나의 타 스마트폰, 및 적어도 하나의 신호등을 포함하는, 상기 보행자에 인접한 커넥티드 디바이스 중 적어도 일부와 통신하도록 하여 생성된 상기 보행자 주변 사항에 관한 정보를 포함하고, 상기 커넥티드 디바이스 중 적어도 일부는 상기 위험 객체 중 적어도 일부이고,
상기 제3 정보는 제3-1 정보 및 제3-2 정보 중 적어도 일부를 포함하고,
상기 제3-1 정보는, 상기 스마트폰에 연동된 상기 스마트폰 카메라의 적어도 하나의 가상 뷰잉 프러스텀 및 상기 커넥티드 디바이스에 연동된 적어도 하나의 외부 카메라의 적어도 하나의 가상 뷰잉 프러스텀에 동시에 포함되는 제1 특정 위험 객체의 위치 정보 및 속도 정보를 포함하고,
상기 제3-2 정보는, 상기 스마트폰에 연동된 상기 스마트폰 카메라의 상기 가상 뷰잉 프러스텀에는 포함되지 않으나, 상기 커넥티드 디바이스에 연동된 상기 외부 카메라의 상기 가상 뷰잉 프러스텀에는 포함되는 제2 특정 위험 객체의 위치 정보 및 속도 정보를 포함하며,
상기 프로세서가, 상기 제어 유닛으로 하여금, 상기 제3-1 정보를 참조로 하여 상기 제2 정보의 신뢰성을 검증하고, 상기 제3-2 정보를 참조로 하여 적어도 하나의 미검출 위험 객체에 대한 정보를 획득하도록 하고,
상기 프로세서가, 적어도 하나의 세그멘팅 유닛에 의해 획득된, 상기 스마트폰 카메라의 적어도 하나의 렌즈를 가리고 있는 적어도 하나의 방해 객체에 의한 가림 정보 및 상기 보행자를 중심으로 한 3차원 공간에서 상기 보행자의 이동 면을 정의하는 법선 벡터와 상기 스마트폰 카메라의 적어도 하나의 가상 뷰잉 프러스텀의 중심축 간의 각도에 대한 각도 정보 중 적어도 일부를 참조로 하여, 상기 스마트폰 카메라에 의해 획득된 상기 이미지에 대응하는, 상기 고정밀 지도 상의 적어도 하나의 영역의 넓이가 임계치 이하인 적어도 하나의 원인을 판단하고, 상기 스마트폰을 통해 상기 원인 각각에 따라 상기 보행자에게 각각 다른 경고 알림을 전송하고,
상기 (III) 프로세스에서,
상기 프로세서가, 상기 제어 유닛으로 하여금, (i) 상기 제1 정보에 포함된 가속도 센서 정보를 참조로 하여, 상기 보행자의 이동 속도 변화를 예측할 수 있는 보행자 이동 예측 모델을 생성하고, (ii) 상기 보행자 이동 예측 모델을 참조로 하여, 상기 보행자가 임계 시간 내에 상기 보행자에 인접한 각각의 영역으로 이동할 확률인 보행자 이동 확률을 계산한 후, (iii) 상기 제2 정보 중 적어도 일부를 참조로 하여, 상기 위험 객체의 이동 속도 변화를 예측할 수 있는 위험 객체 이동 예측 모델을 생성하고, (iv) 상기 위험 객체 이동 예측 모델을 참조로 하여, 상기 위험 객체가 상기 임계 시간 내에 상기 위험 객체에 인접한 각각의 영역으로 이동할 확률인 위험 객체 이동 확률을 계산한 다음, (v) 상기 보행자 이동 확률 및 상기 위험 객체 이동 확률을 참조로 하여 상기 보행 안전도를 생성하도록 하고,
상기 (II) 프로세스에서,
상기 프로세서가, 상기 검출 유닛으로 하여금, (i) 상기 검출 유닛에 포함된 적어도 하나의 컨벌루션 레이어, 적어도 하나의 RPN(Region Proposal Network), 적어도 하나의 FC(Fully Connected) 레이어를 이용하여, 각각의 상기 이미지에 포함된, 상기 보행자에 인접한 상기 위험 객체를 검출하도록 하고, (ii) 상기 스마트폰 카메라의 적어도 하나의 초점 거리와 관련된 캘리브레이션(calibration) 정보 및 상기 제1 정보를 참조로 하여, 상기 검출된 위험 객체에 관한 상기 제2 정보를 획득하도록 하는 것을 특징으로 하는 스마트폰. - 제16항에 있어서,
상기 프로세서가,
(IV) 상기 제어 유닛으로 하여금, 상기 제1 정보 및 상기 제2 정보 중 적어도 일부를, 상기 보행자에 인접한 적어도 하나의 차량, 적어도 하나의 CCTV, 적어도 한 명의 타 보행자의 적어도 하나의 타 스마트폰 및 적어도 하나의 신호등을 포함하는, 상기 보행자에 인접한 커넥티드 디바이스 중 적어도 일부에 전송하도록 하되, 상기 커넥티드 디바이스 중 적어도 일부는 상기 위험 객체 중 적어도 일부인 프로세스;
를 더 수행하는 것을 특징으로 하는 스마트폰. - 제17항에 있어서,
상기 (IV) 프로세스에서,
상기 프로세서가, 상기 제어 유닛으로 하여금, 상기 제1 정보 및 상기 제2 정보 중 적어도 일부를 상기 보행자에 인접한 상기 커넥티드 디바이스 중 적어도 일부에 전송하도록 함으로써, 상기 커넥티드 디바이스로 하여금, 상기 제1 정보 및 상기 제2 정보 중 적어도 일부를 참조로 하여, 상기 위험 객체와 상기 보행자 간에 충돌할 위험도를 낮추는 방향으로 동작하도록 하는 것을 특징으로 하는 스마트폰. - 삭제
- 삭제
- 제 16항에 있어서,
상기 (III) 프로세스에서,
상기 프로세서가, 상기 제어 유닛으로 하여금, (i) 상기 제3 정보에 포함된, 상기 보행자에 인접한 신호등의 위치 정보 및 신호 상태 정보와 (ii) 상기 제1 정보에 포함된, 상기 보행자의 상기 위치 정보 및 상기 속도 정보를 참조로 하여 상기 보행자의 관심 신호등 정보를 생성하고, 상기 관심 신호등 정보를 참조로 하여 상기 보행자에게 상기 스마트폰을 통해 추가 신호등 알림을 상기 보행자에게 전송하도록 하는 것을 특징으로 하는 스마트폰. - 제 16항에 있어서,
상기 제3 정보는, (i) 상기 보행자에 인접한 상기 차량의 위치와 속도, (ii) 상기 보행자에 인접한 상기 CCTV를 참조로 하여 획득된, 상기 보행자에 인접한 상기 위험 객체의 위치와 속도, (iii) 상기 적어도 한 명의 타 보행자의 위치와 속도, 및 (iv) 상기 보행자에 인접한 신호등의 위치 정보 및 신호 상태 정보를 포함하는 것을 특징으로 하는 스마트폰. - 제 16항에 있어서,
상기 프로세서가, 상기 제어 유닛을 이용하여, 상기 스마트폰 카메라에 의해 획득된 상기 이미지에 대응하는, 상기 고정밀 지도 상의 적어도 하나의 영역의 넓이가 임계치 이하인 것을 감지한 경우, 상기 제어 유닛으로 하여금, 상기 스마트폰을 통해 상기 보행자에게 감지 불능 알림을 전송하도록 하는 것을 특징으로 하는 스마트폰. - 제 23항에 있어서,
상기 프로세서가, 적어도 하나의 세그멘팅 유닛에 의해 획득된, 상기 스마트폰 카메라의 적어도 하나의 렌즈를 가리고 있는 적어도 하나의 방해 객체에 대한 가림 정보 및 상기 보행자를 중심으로 한 3차원 공간에서 상기 보행자의 이동 면을 정의하는 법선 벡터와 상기 스마트폰 카메라의 적어도 하나의 가상 뷰잉 프러스텀의 중심축 간 각도에 대한 각도 정보 중 적어도 일부를 참조로 하여, 상기 영역의 넓이가 상기 임계치 이하인 적어도 하나의 원인을 판단하고, 상기 스마트폰을 통해 상기 원인 각각에 따라 상기 보행자에게 각각 다른 경고 알림을 전송하는 것을 특징으로 하는 스마트폰. - 제 16항에 있어서,
상기 (III) 프로세스에서,
상기 프로세서가, 상기 제어 유닛으로 하여금, 상기 제1 정보 및 상기 제2 정보를 참조로 하여, 상기 보행자와 상기 보행자에 인접한 상기 위험 객체가 임계 시간 내에 충돌할 위험도의 확률을 판단함으로써 상기 보행 안전도를 생성하도록 하는 것을 특징으로 하는 스마트폰. - 제 25항에 있어서,
상기 프로세서가, 상기 제어 유닛으로 하여금, 상기 보행 안전도를 향상시키기 위해, 상기 보행자에게 행동 지침을 주는 알림을 상기 스마트폰을 통해 추가로 전송하도록 하는 것을 특징으로 하는 스마트폰. - 제 25항에 있어서,
상기 프로세서가, 상기 제어 유닛으로 하여금, (i) 상기 제1 정보에 포함된 가속도 센서 정보를 참조로 하여, 상기 보행자의 이동 속도 변화를 예측할 수 있는 보행자 이동 예측 모델을 생성하고, (ii) 상기 보행자 이동 예측 모델을 참조로 하여, 상기 보행자가 상기 임계 시간 내에 상기 보행자에 인접한 각각의 영역으로 이동할 확률인 보행자 이동 확률을 계산한 후, (iii) 상기 제2 정보 중 적어도 일부를 참조로 하여, 상기 위험 객체의 이동 속도 변화를 예측할 수 있는 위험 객체 이동 예측 모델을 생성하고, (iv) 상기 위험 객체 이동 예측 모델을 참조로 하여, 상기 위험 객체가 상기 임계 시간 내에 상기 위험 객체에 인접한 각각의 영역으로 이동할 확률인 위험 객체 이동 확률을 계산한 다음, (v) 상기 보행자 이동 확률 및 상기 위험 객체 이동 확률을 참조로 하여 상기 보행 안전도를 계산하도록 하는 것을 특징으로 하는 스마트폰. - 제 16항에 있어서,
상기 (III) 프로세스에서,
상기 프로세서가, 상기 제어 유닛으로 하여금, 상기 제1 정보 및 상기 제2 정보에 포함된, 상기 보행자의 상기 위치 정보 및 상기 속도 정보, 그리고 상기 위험 영역에 대한 정보를 참조로 하여, 상기 보행자가 상기 위험 영역 중 하나로 이동할지 여부를 판단하도록 함으로써 상기 보행 안전도를 생성하는 것을 특징으로 하는 스마트폰. - 제 28항에 있어서,
상기 프로세서가, 상기 제어 유닛으로 하여금, (i) 상기 보행자의 이동 속도 변화를 예측할 수 있는 보행자 이동 예측 모델을 생성하고, (ii) 상기 보행자 이동 예측 모델을 참조로 하여, 상기 보행자가 상기 보행자에 인접한 각각의 인접 영역으로 이동할 보행자 이동 확률을 계산한 후, (iii) 상기 보행자 이동 확률 및 각각의 상기 인접 영역이 각각의 상기 위험 영역에 대응하는지를 참조로 하여 상기 보행 안전도를 생성하도록 하는 것을 특징으로 하는 스마트폰. - 제 16항에 있어서,
상기 (II) 프로세스에서,
상기 프로세서가, 상기 검출 유닛으로 하여금, (i) 상기 검출 유닛에 포함된 적어도 하나의 컨벌루션 레이어, 적어도 하나의 RPN, 적어도 하나의 FC 레이어를 이용하여, 각각의 상기 이미지에 포함된, 상기 보행자에 인접한 상기 위험 객체를 검출하도록 하고, (ii) 상기 스마트폰 카메라의 적어도 하나의 초점 거리와 관련된 캘리브레이션 정보 및 상기 제1 정보를 참조로 하여, 상기 검출된 위험 객체에 관한 상기 제2 정보를 획득하도록 하는 것을 특징으로 하는 스마트폰.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/263,006 US10565863B1 (en) | 2019-01-31 | 2019-01-31 | Method and device for providing advanced pedestrian assistance system to protect pedestrian preoccupied with smartphone |
| US16/263,006 | 2019-01-31 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200095338A KR20200095338A (ko) | 2020-08-10 |
| KR102337352B1 true KR102337352B1 (ko) | 2021-12-10 |
Family
ID=69156281
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190147103A KR102337352B1 (ko) | 2019-01-31 | 2019-11-15 | 스마트폰을 사용하는 보행자를 보호하기 위한 첨단 보행자 보조 시스템을 제공하는 방법 및 장치 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US10565863B1 (ko) |
| EP (1) | EP3690396B1 (ko) |
| JP (1) | JP6935947B2 (ko) |
| KR (1) | KR102337352B1 (ko) |
| CN (1) | CN111508222B (ko) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US12002345B2 (en) * | 2020-05-22 | 2024-06-04 | Wipro Limited | Environment-based-threat alerting to user via mobile phone |
| FR3112641A1 (fr) | 2020-07-17 | 2022-01-21 | CopSonic | Methode de signalisation d’un danger de circulation a l’utilisateur d’un smartphone |
| CN112671977A (zh) * | 2020-12-25 | 2021-04-16 | 深圳市九洲电器有限公司 | 一种安全预警方法、装置、存储介质及电子设备 |
| JP7571767B2 (ja) * | 2022-06-21 | 2024-10-23 | トヨタ自動車株式会社 | 通知システムおよび通知方法 |
| CN115188188B (zh) * | 2022-07-08 | 2023-09-05 | 重庆交通大学 | 等待时间手机分心条件下行人过街风险评估方法 |
| DE102022210507A1 (de) * | 2022-10-05 | 2024-04-11 | Continental Automotive Technologies GmbH | Alarmsystem zur Warnung vulnerabler Verkehrsteilnehmer in einem vorgegebenen Straßenabschnitt |
| WO2024150966A1 (ko) * | 2023-01-13 | 2024-07-18 | 삼성전자주식회사 | 알림 정보를 출력하는 전자 장치 및 이의 동작 방법 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015197785A (ja) * | 2014-04-01 | 2015-11-09 | 独立行政法人交通安全環境研究所 | 歩行者支援システム及び歩行者支援プログラム |
| KR101906569B1 (ko) * | 2018-07-11 | 2018-12-05 | 권성국 | 횡단보도 보행자 안전 시스템 |
Family Cites Families (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010287161A (ja) * | 2009-06-15 | 2010-12-24 | Toyota Infotechnology Center Co Ltd | 歩行者検知システム |
| EP2619742B1 (en) * | 2010-09-24 | 2018-02-28 | iRobot Corporation | Systems and methods for vslam optimization |
| RU2495775C2 (ru) * | 2011-12-29 | 2013-10-20 | Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования Марийский государственный технический университет | Способ повышения безопасности пешеходных переходов |
| EP2903787B1 (en) * | 2012-10-05 | 2019-05-15 | iRobot Corporation | Robot management systems for determining docking station pose including mobile robots and methods using same |
| US10591608B2 (en) * | 2014-01-24 | 2020-03-17 | Savari, Inc. | Positioning quality filter for the V2X technologies |
| JP6429368B2 (ja) * | 2013-08-02 | 2018-11-28 | 本田技研工業株式会社 | 歩車間通信システムおよび方法 |
| KR101616450B1 (ko) * | 2014-06-09 | 2016-05-11 | (주) 펀매직 | 카메라를 통한 가상 버튼 구현방법, 장치 및 컴퓨터 판독가능 기록매체 |
| US9947215B2 (en) * | 2014-09-26 | 2018-04-17 | Harman International Industries, Incorporated | Pedestrian information system |
| US9896030B2 (en) * | 2015-04-30 | 2018-02-20 | Honda Motor Co., Ltd. | System and method for vehicle collision mitigation with vulnerable road user context sensing |
| CN108489486B (zh) * | 2015-06-01 | 2021-07-02 | 北京极智嘉科技股份有限公司 | 二维码以及用于机器人的视觉-惯性组合导航系统及方法 |
| KR20170025179A (ko) * | 2015-08-27 | 2017-03-08 | 엘지전자 주식회사 | 보행자 추돌 방지 시스템 및 그 동작방법 |
| KR101751032B1 (ko) * | 2015-11-20 | 2017-06-26 | 유한회사 청텍 | 이미지 센서를 이용한 위험 감지 장치 |
| CN106816035B (zh) * | 2015-12-02 | 2020-04-10 | 中国移动通信集团公司 | 一种面向行人的告警方法及装置 |
| KR101916993B1 (ko) * | 2015-12-24 | 2018-11-08 | 엘지전자 주식회사 | 차량용 디스플레이 장치 및 그 제어방법 |
| JP6169747B2 (ja) * | 2016-04-11 | 2017-07-26 | 富士通テン株式会社 | 携帯端末 |
| JP6325601B2 (ja) * | 2016-05-25 | 2018-05-16 | 京セラ株式会社 | 電子機器、制御方法、及び制御プログラム |
| CN106790992A (zh) * | 2016-11-21 | 2017-05-31 | 广东欧珀移动通信有限公司 | 安全提醒方法及智能手机 |
| KR101862986B1 (ko) * | 2017-03-15 | 2018-05-30 | 인하대학교 산학협력단 | 스마트 폰을 사용하며 보행중인 사용자 경보 시스템 및 방법 |
| US10349011B2 (en) * | 2017-08-14 | 2019-07-09 | GM Global Technology Operations LLC | System and method for improved obstacle awareness in using a V2X communications system |
| CN108492625A (zh) * | 2018-03-25 | 2018-09-04 | 张小莲 | 一种基于NB-IoT的行人防撞智能交通管理控制系统 |
-
2019
- 2019-01-31 US US16/263,006 patent/US10565863B1/en active Active
- 2019-11-15 KR KR1020190147103A patent/KR102337352B1/ko active IP Right Grant
-
2020
- 2020-01-09 EP EP20150873.6A patent/EP3690396B1/en active Active
- 2020-01-15 JP JP2020004612A patent/JP6935947B2/ja active Active
- 2020-01-16 CN CN202010046100.3A patent/CN111508222B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015197785A (ja) * | 2014-04-01 | 2015-11-09 | 独立行政法人交通安全環境研究所 | 歩行者支援システム及び歩行者支援プログラム |
| KR101906569B1 (ko) * | 2018-07-11 | 2018-12-05 | 권성국 | 횡단보도 보행자 안전 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6935947B2 (ja) | 2021-09-15 |
| US10565863B1 (en) | 2020-02-18 |
| CN111508222B (zh) | 2022-08-12 |
| JP2020126612A (ja) | 2020-08-20 |
| EP3690396A1 (en) | 2020-08-05 |
| KR20200095338A (ko) | 2020-08-10 |
| EP3690396B1 (en) | 2024-10-09 |
| CN111508222A (zh) | 2020-08-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102337352B1 (ko) | 스마트폰을 사용하는 보행자를 보호하기 위한 첨단 보행자 보조 시스템을 제공하는 방법 및 장치 | |
| US11993290B2 (en) | Predicting and responding to cut in vehicles and altruistic responses | |
| CN112292711B (zh) | 关联lidar数据和图像数据 | |
| US10832063B2 (en) | Systems and methods for detecting an object | |
| EP3842304B1 (en) | Systems and methods for navigating with safe distances | |
| US10649463B2 (en) | Navigating a vehicle based on a detected barrier | |
| KR102565533B1 (ko) | 자율 주행을 위한 항법 정보의 융합 프레임워크 및 배치 정렬 | |
| JP7157054B2 (ja) | 整合画像及びｌｉｄａｒ情報に基づいた車両ナビゲーション | |
| CN107111742B (zh) | 在导航中对车道限制和施工区域的识别和预测 | |
| CN106536299B (zh) | 基于检测对象制动车辆的系统和方法 | |
| KR102320979B1 (ko) | 딥 뉴럴 네트워크를 기반으로 한 이미지 분석을 통해 사람의 상태 및 주행 환경을 식별하여 자율 주행을 보조하는 자율 주행 보조 안경 | |
| US20170185853A1 (en) | Processing apparatus, processing system, and processing method | |
| US20150332103A1 (en) | Processing apparatus, computer program product, and processing method | |
| JPWO2018230492A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| CN112149460A (zh) | 一种障碍物检测方法及装置 | |
| CN109271857A (zh) | 一种伪车道线剔除方法及装置 | |
| KR102241584B1 (ko) | 응급 차량을 실시간으로 검출하고, 응급 차량으로 인해 발생될 것으로 예상되는 상황에 대처하기 위한 주행 경로를 플래닝하는 방법 및 장치 | |
| KR102373492B1 (ko) | 자체적으로 생성된 정보 및 다른 개체에 의해 생성된 정보를 선택적으로 사용하여 카메라의 오정렬을 보정하는 방법 및 이를 이용한 장치 | |
| CN114969221A (zh) | 一种更新地图的方法及相关设备 | |
| US20220157015A1 (en) | Ghost point filtering | |
| CN111491154A (zh) | 基于一个或多个单视场帧的检测和测距 | |
| US20240265707A1 (en) | Systems and methods for deriving an agent trajectory based on multiple image sources |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |