KR20220057577A - 도로 상황 프롬프트 방법, 장치, 전자 기기, 저장 매체 및 프로그램 제품 - Google Patents

도로 상황 프롬프트 방법, 장치, 전자 기기, 저장 매체 및 프로그램 제품 Download PDF

Info

Publication number
KR20220057577A
KR20220057577A KR1020227011056A KR20227011056A KR20220057577A KR 20220057577 A KR20220057577 A KR 20220057577A KR 1020227011056 A KR1020227011056 A KR 1020227011056A KR 20227011056 A KR20227011056 A KR 20227011056A KR 20220057577 A KR20220057577 A KR 20220057577A
Authority
KR
South Korea
Prior art keywords
target object
type
target
information
obstacle avoiding
Prior art date
Application number
KR1020227011056A
Other languages
English (en)
Inventor
웨이후아 인
진루이 샤오
잉 린
Original Assignee
베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 filed Critical 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드
Publication of KR20220057577A publication Critical patent/KR20220057577A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0141—Measuring and analyzing of parameters relative to traffic conditions for specific applications for traffic information dissemination
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/097—Supervising of traffic control systems, e.g. by giving an alarm if two crossing streets have green light simultaneously
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

본 발명의 실시예는 도로 상황 프롬프트 방법, 장치, 전자 기기, 저장 매체 및 프로그램 제품을 제공하고, 여기서, 상기 도로 상황 프롬프트 방법은, 장애물 회피 기기에 대응되는 거리 설정 범위 내의 타깃 대상에 대응되는 대상 속성 정보 및 상기 타깃 대상에 대응되는 거리 정보를 획득하는 단계; 상기 타깃 대상에 대응되는 상기 대상 속성 정보 및 상기 거리 정보에 기반하여, 상기 타깃 대상의 위험 정보를 결정하는 단계; 및 결정된 상기 위험 정보에 기반하여, 상기 장애물 회피 기기를 통해 도로 상황 프롬프트를 진행하는 단계를 포함한다.

Description

도로 상황 프롬프트 방법, 장치, 전자 기기, 저장 매체 및 프로그램 제품
관련 출원에 대한 상호 참조
본 특허 출원은 출원 번호가 202010887576.X이고, 출원일이 2020년 8월 28일인 중국 특허 출원에 기반하여 제출하였고, 출원인은 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드이며, 출원 명칭은 “도로 상황 프롬프트 방법, 장치, 전자 기기 및 저장 매체”이고, 상기 중국 특허 출원의 우선권을 주장하는 바, 상기 발명의 모든 내용은 참조로서 본 발명에 인용된다.
본 발명은 블라인드 가이드 기술분야에 관한 것이고, 특히 도로 상황 프롬프트 방법, 장치, 전자 기기, 저장 매체 및 프로그램 제품에 관한 것이다.
세계보건기구의 통계에 따르면, 전 세계적으로 약 2억 8,500만 명의 시각 장애인이 있으며, 시각 장애인은 정상적인 시력을 상실하여, 색상, 형태, 거리 및 움직임에 대한 이해가 매우 어려우므로, 생활과 출행 등의 편리함은 모두 크게 영향을 받고 있고, 특히 낯선 실외의 출행 환경 속에서 영향을 받고 있다.
종래의 시각 장애인의 출행은 주로 시각 장애인 지팡이, 안내견 유도 등 방식에 의존하고 있으며, 시각 장애인 지팡이를 통한 출행 보조 방식은 탐지 범위가 제한되어 있고, 안내견의 안내를 통한 출행 보조 방식은 사용 시나리오가 제한되어 있다.
따라서, 시각 장애인의 출행을 보조하기 위해 효과적인 블라인드 가이드 방식을 제공하는 것이 시급하다.
본 발명의 실시예는 적어도 하나의 도로 상황 프롬프트 방안을 제공한다.
제1 측면에 있어서, 본 발명의 실시예는 도로 상황 프롬프트 방법을 제공하고, 상기 방법은,
장애물 회피 기기에 대응되는 거리 설정 범위 내의 타깃 대상에 대응되는 대상 속성 정보 및 상기 타깃 대상에 대응되는 거리 정보를 획득하는 단계;
상기 타깃 대상에 대응되는 상기 대상 속성 정보 및 상기 거리 정보에 기반하여, 상기 타깃 대상의 위험 정보를 결정하는 단계; 및
결정된 상기 위험 정보에 기반하여, 상기 장애물 회피 기기를 통해 도로 상황 프롬프트를 진행하는 단계를 포함한다.
본 발명의 실시예에 있어서, 장애물 회피 기기에 대응되는 거리 설정 범위 내의 타깃 대상에 대응되는 대상 속성 정보 및 타깃 대상에 대응되는 거리 정보를 획득할 수 있고, 이와 동시에 타깃 대상에 대응되는 대상 속성 정보 및 거리 정보에 기반하여 타깃 대상의 위험 정보를 결정함으로써, 타깃 대상의 위험 정보를 정확하게 결정할 수 있고, 예시적으로, 장애물 회피 기기는 시각 장애인이 착용한 장애물 회피 안경일 수 있고, 타깃 대상은 시각 장애인이 보행하는 도로에서의 장애물일 수 있으며, 이로써 장애물에 대응되는 대상 속성 정보 및 거리 정보를 얻은 후, 장애물이 상기 시각 장애인에 대한 위험 정보를 정확하게 결정할 수 있음으로써, 상기 위험 정보에 기반하여 도로 상황 프롬프트를 진행하여, 시각 장애인의 출행 안전을 향상시킨다.
제2 측면에 있어서, 본 발명의 실시예는 도로 상황 프롬프트 장치를 제공하고, 상기 장치는,
장애물 회피 기기에 대응되는 거리 설정 범위 내의 타깃 대상에 대응되는 대상 속성 정보 및 상기 타깃 대상에 대응되는 거리 정보를 획득하도록 구성된 획득부;
상기 타깃 대상에 대응되는 상기 대상 속성 정보 및 상기 거리 정보에 기반하여, 상기 타깃 대상의 위험 정보를 결정하도록 구성된 결정부; 및
결정된 상기 위험 정보에 기반하여, 상기 장애물 회피 기기를 통해 도로 상황 프롬프트를 진행하도록 구성된 프롬프트부를 포함한다.
제3 측면에 있어서, 전자 기기를 제공하고, 상기 전자 기기는, 프로세서, 메모리 및 버스를 포함하며, 상기 메모리에는 상기 프로세서가 실행 가능한 기계 판독 가능한 명령어가 저장되어 있으며, 전자 기기가 작동될 경우, 상기 프로세서와 상기 메모리 사이는 버스를 통해 통신하고, 상기 기계 판독 가능한 명령어가 상기 프로세서에 의해 실행될 경우 제1 측면에 따른 도로 상황 프롬프트 방법의 단계를 실행한다.
제4 측면에 있어서, 컴퓨터 판독 가능한 저장 매체를 제공하고, 상기 컴퓨터 판독 가능한 저장 매체에는 컴퓨터 프로그램이 저장되어 있으며, 상기 컴퓨터 프로그램이 프로세서에 의해 작동될 경우 제1 측면에 따른 도로 상황 프롬프트 방법의 단계를 실행한다.
제5 측면에 있어서, 컴퓨터 판독 가능 코드를 포함한 컴퓨터 프로그램 제품을 제공하며, 상기 컴퓨터 판독 가능 코드가 전자 기기에서 작동될 경우, 상기 전자 기기에서의 프로세서는 제1 측면에 따른 도로 상황 프롬프트 방법의 단계를 실행한다.
본 발명의 상기 목적 특징 및 장점이 더욱 선명해지고 이해하기 쉬워지도록 하기 위해, 아래에 비교적 바람직한 실시예를 예를 들고, 첨부 도면과 배합하여, 상세하게 설명하고자 한다.
본 발명의 실시예의 기술방안을 더욱 선명하게 설명하기 위해, 아래에 실시예에서 사용되어야 하는 도면을 간단하게 설명하고, 이 곳의 도면은 명세서의 일부분으로서 명세서 전체를 구성하며, 이러한 도면은 본 발명에 부합되는 실시예를 도시하며, 명세서와 함께 본 발명의 기술방안을 설명하기 위한 것이다. 이해해야 할 것은, 아래의 도면은 본 발명의 일부 실시예만 도시할 뿐이므로, 범위에 대한 한정으로 간주되어서는 안되며, 본 분야의 기술자는 창조성 노동을 부여하지 않는 전제 하에서도, 이러한 도면에 따라 다른 연관된 도면을 획득할 수 있다.
도 1은 본 발명의 실시예에서 제공한 도로 상황 프롬프트 방법의 흐름도이다.
도 2는 본 발명의 실시예에서 제공한 타깃 대상의 위험 정보의 방법 흐름도이다.
도 3은 본 발명의 실시예에서 제공한 제1 타입 대상에 대한 언어 프롬프트 방법 흐름도이다.
도 4는 본 발명의 실시예에서 제공한 제2 타입 대상에 대한 언어 프롬프트 방법 흐름도이다.
도 5는 본 발명의 실시예에서 제공한 장애물 회피 기기가 위치한 위치에 대응되는 도로 시나리오 타입을 결정하는 첫 번째 방법 흐름도이다.
도 6은 본 발명의 실시예에서 제공한 장애물 회피 기기가 위치한 위치에 대응되는 도로 시나리오 타입을 결정하는 두 번째 방법 흐름도이다.
도 7은 본 발명의 실시예에서 제공한 제1 타입 음성 프롬프트 정보 및 제2 타입 음성 프롬프트 정보에 대한 음성 재생 방법의 흐름도이다.
도 8은 본 발명의 실시예에서 제공한 구체적인 도로 상황 프롬프트 방안의 예시도이다.
도 9는 본 발명의 실시예에서 제공한 도로 상황 프롬프트 장치의 구조 예시도이다.
도 10은 본 발명의 실시예에서 제공한 전자 기기의 구조 예시도이다.
본 발명의 목적, 기술적 해결수단 및 장점을 더욱 명확하게 하기 위해, 아래에, 본 발명의 실시예에서의 도면과 결합하여, 본 발명의 실시예에서의 기술적 해결수단에 대해 명확하고 완전하게 설명하며, 설명된 실시예는 본 발명의 전부 실시예가 아닌 일부 실시예일뿐임은 자명한 것이다. 일반적으로 이곳의 도면에서 설명되고 도시된 본 발명의 실시예의 컴포넌트는 다양한 상이한 구성으로 배치되고 설계될 수 있다. 따라서, 아래 도면에서 제공한 본 발명의 실시예의 상세한 설명은 본 발명의 보호 범위를 한정하려는 것이 아닌 본 발명의 선택된 실시예를 나타내기 위한 것이다. 본 발명의 실시예에 기반하여, 본 분야 기술자가 창조성 노동 없이 얻은 다른 실시예는 전부 본 발명의 보호 범위에 속해야 한다.
유의해야 할 것은, 유사한 부호 및 문자는 아래의 도면에서 유사한 항목을 표시하므로, 어느 한 항목이 하나의 도면에서 정의되면, 후속 도면에서 정의 및 해석을 진행할 필요가 없다.
본문 중의 용어 “및/ 또는”는 연관 관계를 설명하기 위한 것이며, 세 가지 관계가 존재할 수 있음을 의미하는데, 예를 들어, “A 및/ 또는 B”는, A가 단독적으로 존재하거나, A와 B가 동시에 존재하거나, B가 단독적으로 존재하는 세 가지 경우를 의미한다. 또한, 본 명세서에서 "적어도 하나"라는 용어는 복수 개 중 어느 하나 또는 복수 개 중 적어도 2 개의 임의의 조합을 나타내며, 예를 들어, A, B 및 C 중 적어도 하나는 A, B 및 C에 의해 형성된 집합에서 선택된 임의의 하나 또는 복수 개의 요소를 나타낼 수 있다.
출행 분야에 대해, 도로 상황 정보의 정확한 프롬프트는 교통 안전 분야에서 중요한 의미를 가지고, 전통적인 시각 장애인의 출행은 주로 시각 장애인 지팡이, 안내견 유도 등 방식에 의존하고 있으며, 시각 장애인 지팡이를 통한 출행 보조 방식은 탐지 범위가 제한되어 있고, 안내견의 안내를 통한 출행 보조 방식은 시나리오가 제한되어 있으며, 따라서, 시각 장애인의 출행을 보조하기 위해 효과적인 블라인드 가이드 방식을 제공하는 것이 시급하다.
본 발명의 실시예는 도로 상황 프롬프트 방법을 제공하고, 상기 방법은, 시각 장애인의 출행을 효과적으로 보조할 수 있다. 상기 방법은 장애물 회피 기기에 대응되는 거리 설정 범위 내의 타깃 대상에 대응되는 대상 속성 정보 및 타깃 대상에 대응되는 거리 정보를 획득할 수 있고, 이와 동시에 타깃 대상에 대응되는 대상 속성 정보 및 거리 정보에 기반하여 타깃 대상의 위험 정보를 결정함으로써, 상기 위험 정보에 기반하여 도로 상황 프롬프트를 진행하여, 시각 장애인의 출행 안전을 향상시킬 수 있다.
본 실시예의 이해를 용이하게 하기 위해, 먼저 본 발명의 실시예에서 개시한 도로 상황 프롬프트 방법을 상세히 소개하고, 본 발명의 실시예에서 제공한 도로 상황 프롬프트 방법의 실행주체는 일반적으로 일정한 컴퓨터 능력을 가진 컴퓨터 기기이고, 상기 컴츄터 기기는 예를 들어, 단말 기기 또는 서버 또는 다른 처리 기기를 포함하고, 단말 기기는, 사용자 기기(User Equipment, UE), 모바일 기기, 사용자 단말, 단말, 예를 들어 핸드폰(Mobile Phone) 등과 같은 휴대용 기기, 태블릿 컴퓨터(Pad),무선 송수신기 기능이 있는 컴퓨터, 휴대용 컴퓨터, 데스크톱 컴퓨터, 개인 정보 단말기, 휴대용 미디어 플레이어, 스마트 스피커, 내비게이션 장치, 스마트 시계, 스마트 안경, 스마트 목걸이 및 다른 웨어러블 기기, 만보기, 디지털 TV, 가상현실(VirtualReality, VR)단말 기기, 증강 현실(Augmented Reality, AR)단말 기기, 산업용 제어(Industrial Control)에서의 무선 단말, 무인 운전(Self Driving)에서의 무선 단말, 원격 수술(Remote Medical Surgery)에서의 무선 단말, 스마트그리드(Smart Grid)에서의 무선 단말, 운송 안전(Transportation Safety)에서의 무선 단말, 스마트 시티(Smart City)에서의 무선 단말, 스마트 홈(Smart Home)에서의 무선 단말, 자동차 인터넷 시스템에서의 자동차, 자동차 탑재 기기, 자동차 탑재 모듈 등등 중의 하나일 수 있다. 여기서, 본 발명의 실시예에서 제공한 도로 상황 프롬프트 방법의 실행 주체 및 장애물 회피 기기는 동일할 수 있고, 상이할 수도 있으며, 일부 가능한 구현 방식에 있어서, 상기 도로 상황 프롬프트 방법 프로세서가 메모리에 저장된 컴퓨터 판독 가능한 명령어를 호출하는 방식을 통해 구현될 수 있다.
도 1에 도시된 바를 참조하면, 본 발명의 실시예에서 제공한 도로 상황 프롬프트 방법의 흐름도이고, 상기 방법은 단계 S101 내지 단계 103을 포함할 수 있다.
단계 S101에 있어서, 장애물 회피 기기에 대응되는 거리 설정 범위 내의 타깃 대상에 대응되는 대상 속성 정보 및 타깃 대상에 대응되는 거리 정보를 획득한다.
여기서, 본 발명의 실시예에서 제공한 도로 상황 프롬프트 방법의 실행 주체는 장애물 회피 기기일 수 있고, 장애물 회피 기기와 통신할 수 있는 상기 열거된 다른 기기일 수도 있으며, 일반적인 경우, 다른 기기는 장애물 회피 기기와 통긴 연결을 유지하거나 데이터 송신이 필요한 경우 통신 연결을 구축할 수 있고, 여기서 이에 대해 한정하지 않는다.
예시적으로, 본 발명의 실시예에서 제공한 도로 상황 프롬프트 방법이 블라인드 가이드 영역에 적용되는 경우, 장애물 회피 기기는 장애물 회피 안경 및 이동 기기에서의 적어도 하나를 포함할 수 있고, 또는 장애물 회피 안경 및 다른 기기에서의 적어도 하나를 포함할 수 있고, 또는 장애물 회피 안경 및 클라우드 기기에서의 적어도 하나를 포함할 수 있다. 일부 실시형태에 있어서, 장애물 회피 기기는 장애물 회피 안경 등과 같은 웨어러블 장치를 별도로 지칭할 수 있다.
예시적으로, 상이한 응용 시나리오에 대해, 타깃 대상은 기설정된 응용 시나리오와 매칭되는 장애물, 도로 상황이 지시하는 물체, 보행자 중의 적어도 하나를 포함할 수 있고, 도로 시나리오를 예로 들면, 타깃 대상은 도로 시나리오에서 사용자에게 보행 방식에 대해 교통 지시를 진행할 수 있는 물체 또는 지시 신호 등을 포함할 수 있고, 예를 들어 신호등 및 횡단보도 중 적어도 하나를 포함할 수 있고, 또한 사용자가 전진하는 과정에서 충돌을 일으킬 수 있는 장애물을 포함할 수 있으며, 예를 들어 차량, 보행자, 계단, 장애물, 전봇대 나무 등 중 적어도 하나를 포함할 수 있다.
이에 대응하여, 타깃 대상의 대상 속성 정보는, 먼저 응용 시나리오 내에 포함된 상이한 타깃 대상을 속성에 기반하여 분류하여, 얻은 타깃 대상의 속성 특징을 표시하기 위한 정보를 포함할 수 있고, 예를 들어 도로 시나리오에 포함된 타깃 대상에 대응되는 대상 속성 정보는, 동적 자동차, 동적 비동력 차량 및 정적 물체 중 적어도 하나를 포함할 수 있으며, 상이한 대상 속성 정보에 대응되는 위험 계수는 상이하고, 이는 아래 문장에서 상세히 소개하도록 한다.
예시적으로, 여기서 타깃 검출 방법을 사용하여 장애물 회피 기기가 촬영한 시나리오 이미지에 대해 타깃 검출을 진행하여, 응용 시나리오와 매칭되는 기설정된 타깃 대상을 포함하는지 여부를 결정할 수 있고, 예를 들어 도로 시나리오에 대해, 장애물 회피 기기가 시나리오 이미지를 촬영한 후, 미리 훈련된 타깃 검출 네트워크에 기반하여 상기 시나리오 이미지에 차량, 보행자, 난간, 나무, 계단, 장애물, 전봇대 등 중 적어도 하나가 포함되는지 여부를 검출할 수 있다.
예시적으로, 장애물 회피 기기에는 이미지 수집 부재가 설정될 수 있고, 상기 이미지 수집 부재는 장애물 회피 기기에 설치된 하나 또는 복수 개의 카메라를 포함할 수 있고, 여기서, 카메라는 파노라마 카메라일 수 있거나, 비교적 넓은 범위를 수집할 수 있는 카메라일 수 있고, 장애물 회피 기기가 장애물 회피 안경인 경우, 각 카메라는 장애물 회피 안경의 상이한 위치에 분포되어, 사용자가 위치한 도로 시나리오의 시나리오 이미지를 수집하는데 사용될 수 있다.
여기서 장애물 회피 기기에 대응되는 거리 설정 범위 내의 타깃 대상은, 장애물 회피 기기와의 거리가 설정 범위 내인 타깃 대상을 가리킬 수 있고, 장애물 회피 기기에서의 이미지 수집 부재를 통해 시나리오 이미지를 수집한 후, 상기 시나리오 이미지를 통해 장애물 회피 기기와의 거리가 설정 범위 내인 타깃 대상을 얻을 수 있다. 여기서, 설정 범위의 경계와 장애물 회피 기기 간의 거리는 기설정된 범위 내이고, 상기 기설정된 범위와 장애물 회피 기기에서의 이미지 수집 부재의 내부 파라미터는 관련되고, 이미지 수집 부재의 내부 파라미터가 결정된 후, 상기 이미지 수집 부재가 촬영할 수 있는 가장 먼 거리를 기설정된 범위에 대응되는 거리로 표시할 수 있다.
예시적으로, 타깃 대상에 대응되는 거리 정보는 타깃 대상과 장애물 회피 기기 간의 거리를 표시할 수 있고, 상기 거리는 다양한 방식을 통해 결정될 수 있고, 예를 들어 레이저 거리 측정의 방식을 통할 수 있고, 광 펄스의 비행 시간 감지를 통해, 타깃 대상과 장애물 회피 기기 간의 거리 정보를 결정할 수도 있으며, 아래 문장에서 상세히 소개하도록 한다.
단계 S102에 있어서, 타깃 대상에 대응되는 대상 속성 정보 및 거리 정보에 기반하여, 타깃 대상의 위험 정보를 결정한다.
블라인드 가이드 영역에서, 타깃 대상과 사용자 간의 거리가 가까울수록, 사용자에 대한 위험이 더욱 커지고, 먼저 장애물을 예로 들면, 장애물과 사용자의 거리가 가까워지는 경우, 충돌이 발생할 가능성이 비교적 크고, 교통이 지시하는 물체 또는 지시 신호 등에 있어서, 예를 들어 신호등을 예로 들면, 신호등의 지시에 따라 보행하지 않는 경우, 위험이 발생할 확률이 비교적 높고, 따라서 타깃 대상에 대응되는 거리 정보는 타깃 대상의 위험 정보를 측정하는 지표로 사용될 수 있다. 또한, 상이한 대상 속성 정보의 타깃 대상이 사용자에 대한 위험도 상이하고, 예를 들어, 타깃 대상을 비교적 빠르게 달리는 자동차인 것 및 타깃 대상이 정적 물체인 것을 예로 들면, 자동차와 사용자가 충돌할 경우의 위험도가, 정적 물체와 사용자가 충돌할 경우의 위험도보다 큰 것을 고려하면, 여기서 타깃 대상에 대응되는 대상 속성 정보는 타깃 대상의 위험 정보를 측정하는 지표로 사용될 수도 있고, 즉 타깃 대상의 대상 속성 정보가 각각 자동차 및 정적 물체인 경우, 속성 정보를 통해 사용자에 대한 타깃 대상의 위험도를 판단할 수 있다.
단계 S103에 있어서, 결정된 타깃 대상의 위험 정보에 기반하여, 장애물 회피 기기를 통해 도로 상황 프롬프트를 진행한다.
타깃 대상의 위험 정보를 얻은 후, 타깃 대상에 대해 도로 상황 프롬프트를 진행할 수 있고, 예시적으로, 복수 개의 타깃 대상이 존재하는 경우, 각 타깃 대상의 위험 정보가 상이한 것을 고려하여, 이때 각 타깃 대상의 위험 정보에 따라, 사용자에 대해 선택적인 프롬프트를 진행할 수 있고, 예를 들어 위험도가 비교적 높은 타깃 대상을 선택하여, 사용자에 대해 도로 상황 프롬프트를 진행하여, 사용자의 출행 안전을 보장한다.
일부 실시형태에 있어서, 장애물 회피 기기를 통해 도로 상황 프롬프트를 진행하는 것은, 음성 형태 및 진동 형태 중의 적어도 하나로 프롬프트를 진행하는 것을 포함할 수 있다.
예를 들어 음성을 통해 사용자에게 “전방에 장애물이 존재하니, 속도를 줄이고 피하십시오”라고 프롬프트하거나, 진동을 통해 사용자에게 전방에 장애물이 존재함을 프롬프트할 수 있다.
본 발명의 실시예에 있어서, 장애물 회피 기기에 대응되는 거리 설정 범위 내의 타깃 대상에 대응되는 대상 속성 정보 및 타깃 대상에 대응되는 거리 정보를 획득할 수 있고, 이와 동시에 타깃 대상에 대응되는 대상 속성 정보 및 거리 정보에 기반하여 타깃 대상의 위험 정보를 결정함으로써, 타깃 대상의 위험 정보를 정확하게 결정할 수 있고, 예시적으로, 장애물 회피 기기는 시각 장애인이 착용한 장애물 회피 안경일 수 있고, 타깃 대상은 시각 장애인이 보행하는 도로에서의 장애물일 수 있으며, 이로써 장애물에 대응되는 대상 속성 정보 및 거리 정보를 얻은 후, 장애물이 상기 시각 장애인에 대한 위험 정보를 정확하게 결정할 수 있음으로써, 상기 위험 정보에 기반하여 도로 상황 프롬프트를 진행하여, 시각 장애인의 출행 안전을 향상시킨다.
아래는 실시예와 결합하여 상기 단계 S101 내지 단계 S103에 대해 상세히 소개를 한다.
상기 단계 S101에 대해, 장애물 회피 기기에 대응되는 거리 설정 범위 내의 타깃 대상에 대응되는 대상 속성 정보를 획득하는 단계는, 아래 단계 S1011 내지 단계 S1012를 포함할 수 있다.
단계 S1011에 있어서, 장애물 회피 기기가 타깃 도로 상황 시나리오를 촬영하여 얻은 시나리오 이미지를 획득한다.
단계 S1012에 있어서, 시나리오 이미지에 대해 타깃 검출을 진행하여, 시나리오 이미지에 포함된 타깃 대상 및 타깃 대상에 대응되는 대상 속성 정보를 결정한다.
예시적으로, 장애물 회피 기기의 이미지 수집 부재는 RGB 이미지를 수집하기 위한 카메라를 포함할 수 있고, 상기 카메라는 타깃 도로 상황 시나리오의 RGB 시나리오 이미지를 수집할 수 있고, 상기 RGB 시나리오 이미지에 대해, 미리 훈련된 타깃 검출 신경 네트워크에 따라 상기 RGB 시나리오 이미지에 포함된 타깃 대상에 대해 타깃 검출을 진행할 수 있음으로써, 상기 RGB 시나리오 이미지에 포함된 타깃 대상 및 타깃 대상에 대응되는 대상 속성 정보를 결정할 수 있다.
예시적으로, 먼저 도로 상황 시나리오에 대응되는 대량 샘플 이미지에 기반하여 설정된 타깃 대상을 검출 가능한 신경 네트워크를 훈련할 수 있고, 예를 들어 자동차, 자전거, 보행자, 교통 표지 바리케이드(교통 신호 지시등), 교통 표지(횡단보도), 나무, 전봇대, 계단 등 적어도 하나의 장애물을 검출 가능한 신경 네트워크를 훈련할 수 있다.
본 발명의 실시예에 있어서, 장애물 회피 기기를 통해 직접 시나리오 이미지를 촬영하여 얻을 수 있고, 사용자가 장애물 회피 기기를 착용한 경우, 사용자 출행 시나리오에 대응되는 시나리오 이미지를 직접 획득할 수 있고, 시나리오 이미지를 획득한 후, 시나리오 이미지에 따라 타깃 대상 및 대응되는 대상 속성 정보를 결정할 수 있다. 예시적으로, 미리 훈련된 타깃 검출 신경 네트워크에 기반하여 직접 시나리오 이미지에 대해 타깃 검출을 진행하여 타깃 대상을 얻을 수 있고, 이로써 장애물 회피 기기는 시나리오 이미지를 획득할 수 있는 카메라를 설치하여, 장애물 회피 기기의 부피를 줄일 수 있어, 사용자가 휴대하기 편리하다.
일 실시형태에 있어서, 상기 단계 S101에 대해, 타깃 대상에 대응되는 거리 정보를 획득한 경우, 아래의 단계 S1013 내지 단계 S1014를 포함할 수 있다.
단계 S1013에 있어서, 장애물 회피 기기가 타깃 도로 상황 시나리오를 촬영하여 얻은 시나리오 이미지 및 심층 이미지를 획득한다.
단계 S1014에 있어서, 시나리오 이미지 및 심층 이미지에 기반하여, 타깃 대상에 대응되는 거리 정보를 결정한다.
예시적으로, 장애물 회피 기기는 타깃 도로 상황 시나리오에 대응되는 RGB 시나리오 이미지를 획득하기 위한 RGB 카메라를 포함하는 것 이외에, 또한 심층 이미지를 수집하기 위한 카메라가 배치될 수도 있으며, 심층 이미지를 수집하는 카메라는 쌍안 스테레오 비전 카메라 또는 비행 시간 법(Time Of Flight, TOF) 카메라를 포함할 수 있다.
예시적으로, 장애물 회피 기기가 TOF 카메라를 포함하는 경우, 비행 시간 원격 측정법을 사용하여 타깃 도로 상황 시나리오에 대응되는 심층 이미지를 획득할 수 있고, 예를 들어 광펄스의 송신부터 광퍼스를 수신하기까지의 시간 간격 및 광펄스의 전송 속도에 따라, 타깃 도로 상황 시나리오에 대응되는 심층 이미지를 생성할 수 있다.
타깃 도로 상황 시나리오에 대응되는 심층 이미지를 얻은 후, 상기 타깃 도로 상황 시나리오에 대응되는 심층 이미지 및 시나리오 이미지를 정렬하여, RGB 카메라 및 TOF 카메라로 하여금 동일한 좌표계에 위치하게 한 다음, 정렬된 심층 이미지 및 시나리오 이미지에 기반하여 각 타깃 대상과 장애물 회피 기기 간의 거리 정보를 결정할 수 있다.
본 발명의 실시예에 있어서, 장애물 회피 기기를 통해 타깃 도로 상황 시나리오에 대응되는 심층 이미지를 획득함으로써, 상기 타깃 도로 상황 시나리오에 대응되는 시나리오 이미지와 결합하여 각 타깃 대상에 대응되는 거리 정보를 빠르게 결정하는 것을 제안했다.
상기 타깃 대상 및 타깃 대상에 대응되는 대상 속성 정보를 결정하는 과정, 즉 단계 S1011 내지 단계 S1012의 과정과, 타깃 대상에 대응되는 거리 정보를 결정하는 과정, 즉 상기 단계 S1013 내지 단계 S1014 과정의 순서는 한정되지 않고, 먼저 시나리오 이미지에 포함된 각 대상에 대응되는 거리 정보를 결정한 다음, 타깃 대상인 대상을 결정할 수 있거나, 먼저 타깃 대상을 결정한 다음, 타깃 대상에 대응되는 거리 정보를 결정할 수 있다.
일부 실시형태에 있어서, 상기 단계 S1014에 대해, 시나리오 이미지 및 심층 이미지에 기반하여, 타깃 대상에 대응되는 거리 정보를 결정하는 단계는 아래 단계 S10141 내지 단계 S10142를 포함한다.
단계 S10141에 있어서, 시나리오 이미지 및 심층 이미지에 포함된 보정 특징 포인트를 각각 추출한다.
단계 S10142에 있어서, 시나리오 이미지의 보정 특징 포인트 및 심층 이미지의 보정 특징 포인트에 기반하여, 시나리오 이미지 및 심층 이미지를 정렬하고, 심층 이미지에서 시나리오 이미지에 포함된 타깃 대상의 심층 정보를 추출하여, 타깃 대상에 대응되는 거리 정보를 얻는다.
예시적으로, 일부 시나리오 이미지 및 심층 이미지에 모두 포함된 동일한 건축물의 가장자리 위치 포인트를 보정 특징 포인트로 사용하고, 예를 들어 시나리오 이미지에 건축물 A가 포함되고, 심층 이미지에도 건축물 A가 포함되면, 건축물 A 윤곽을 구성하는 특징 포인트를 보정 특징 포인트로 사용하여, 시나리오 이미지 및 심층 이미지를 정렬할 수 있고, 이로써 심층 이미지에서 시나리오 이미지에 포함된 타깃 대상에 대응되는 심층 정보를 결정하고, 상기 심층 정보를 타깃 대상에 대응되는 거리 정보로 사용할 수 있다.
본 발명의 실시예에 있어서, 시나리오 이미지의 보정 특징 포인트 및 심층 이미지의 보정 특징 포인트에 기반하여, 시나리오 이미지 및 심층 이미지를 정렬함으로써, 시나리오 이미지 및 심층 이미지를 정렬하는 방식을 제공하고, 정렬의 정확성이 높다.
상기 단계 S102에 대해, 타깃 대상에 대응되는 대상 속성 정보 및 거리 정보에 기반하여, 타깃 대상의 위험 정보를 결정하고, 도 2에 도시된 바와 같이, 아래 단계 S201 내지 단계 S203을 포함할 수 있다.
단계 S201에 있어서, 타깃 대상에 대응되는 대상 속성 정보에 기반하여, 타깃 대상에 대응되는 제1 위험 계수를 결정한다.
단계 S202에 있어서, 타깃 대상에 대응되는 거리 정보에 의해 지시된 타깃 대상과 장애물 회피 기기 간의 거리에 따라, 타깃 대상에 대응되는 제2 위험 계수를 결정한다.
단계 S203에 있어서, 거리 정보, 제1 위험 계수 및 제2 위험 계수에 기반하여, 타깃 대상의 위험 정보를 결정한다.
예시적으로, 각 대상 속성 정보의 위험도에 따라, 각 대상 속성 정보를 위해 대응되는 제1 위험 계수를 미리 설정하고, 상이한 거리 구간에 대응되는 위험도에 따라, 각 거리 구간을 위해 대응되는 제2 위험 계수를 미리 설정할 수 있다.
일부 실시형태에 있어서, 동적 자동차가 사용자에 대한 위험도는 동적 비동력 차량의 위험도보다 크고, 동적 비동력 차량의 위험도는 정적 물체가 사용자에 대한 위험도보다 크며, 따라서 동적 자동차, 예를 들어 자동차, 오토바이의 제1 위험 계수는 동적 비동력 차량, 예를 들어 사람, 자동차의 제1 위험 계수보다 크고; 동적 비동력 차량의 제1 위험 계수는 정적 물체, 예를 들어 난간, 나무의 제1 위험 계수보다 크다.
예시적으로, 거리 구간에 대응되는 제2 위험 계수에 대해, 상이한 거리 구간에 대응되는 제2 위험 계수를 미리 설정할 수 있고, 예를 들어 거리 구간은 0.5미터보다 크고 1미터보다 작거나 같은 구간, 1미터보다 크고 3미터보다 작거나 같은 구간, 3미터보다 큰 구간을 포함할 수 있고, 각 거리 구간은 상이한 제2 위험 계수에 대응된다.
상이한 대상 속성 정보에 대응되는 위험도가 상이하고, 상이한 거리 구간에 대응되는 위험도가 상이한 것을 고려하면, 따라서 각 타깃 대상에 대해, 상기 타깃 대상과 장애물 회피 기기 간의 거리, 상기 타깃 대상에 대응되는 제1 위험 계수 및 제2 위험 계수에 따라, 타깃 대상의 위험 정보를 공동으로 결정할 수 있다.
본 발명의 실시예에 있어서, 타깃 대상에 대응되는 위험 정보를 결정할 경우, 타깃 대상에 대응되는 대상 속성 정보 및 상기 타깃 대상과 장애물 회피 기기 간의 거리 정보를 종합적으로 고려하여 상기 타깃 대상이 사용자에 대한 위험 정보를 공동으로 결정할 수 있음으로써, 결정된 타깃 대상의 위험 정보의 정확성을 향상시킨다.
일부 실시형태에 있어서, 상기 단계 S203에 대해, 거리 정보, 제1 위험 계수 및 제2 위험 계수에 기반하여, 타깃 대상의 위험 정보를 결정하는 단계는, 단계 S2031 내지 단계 S2032를 포함할 수 있다.
단계 S2031에 있어서, 장애물 회피 기기의 촬영 범위에 대응되는 가장 먼 거리 및 거리 정보에 기반하여, 타깃 거리 차이값을 결정한다.
단계 S2032에 있어서, 타깃 거리 차이값, 제1 위험 계수 및 제2 위험 계수의 곱을, 타깃 대상의 위험 정보로 사용한다.
여기서, 장애물 회피 기기의 카메라 촬영 범위에 대응되는 가장 먼 거리와 카메라의 내부 파라미터는 관련되고, 상기 가장 먼 거리는 고정 파라미터이고, 상기 가장 먼 거리 및 타깃 대상에 대응되는 거리 정보에 의해 지시된 거리를 통해, 상기 타깃 대상과 가장 먼 거리 간을 표시하는 타깃 거리 차이값을 결정할 수 있다.
일부 실시형태에 있어서, 타깃 대상에 대응되는 타깃 거리 차이값, 제1 위험 계수 및 제2 위험 계수를 통해, 타깃 대상의 위험 정보를 표시하는 위험값을 결정할 수 있고, 복수 개의 타깃 대상을 포함한 경우에 대해, 동일한 방식에 따라 각 타깃 대상에 대응되는 위험값을 결정할 수 있고, 아래 공식(1)에 따라 상기 타깃 대상i의 위험값(Ri)을 결정할 수 있다.
Figure pct00001
여기서, H는 장애물 회피 기기의 촬영 범위에 대응되는 가장 먼 거리를 표시하고; di는 타깃 대상(i)과 장애물 회피 기기 간의 거리를 표시하고; wi1은 타깃 대상(i)에 대응되는 제1 위험 계수를 표시하며; wi2는 타깃 대상(i)에 대응되는 제2 위험 계수를 표시한다.
일 실시형태에 있어서, 본 발명의 실시예에서 제공한 도로 상황 프롬프트 방법은 또한,
타깃 대상에 대응되는 대상 속성 정보에 기반하여, 타깃 대상에 대응되는 타입 정보를 결정하는 단계를 포함할 수 있고; 상기 타입 정보는 교통 지시 타입 및 비교통 지시 타입 중 적어도 하나를 포함한다.
예시적으로, 출행의 안정성 및 유효성을 향상시키기 위해, 본 발명의 실시예는 대상 속성 정보에 따라 타깃 대상을 교통 지시 타입의 타깃 대상 및 비교통 지시 타입의 타깃 대상으로 나눌 수 있는 방법을 제안하고, 교통 지시 타입의 타깃 대상은, 예를 들어 교통 신호 지시등 및 교통 표지등을 포함할 수 있고, 예를 들어 신호등 및 횡단보도 중 적어도 하나를 포함할 수 있고; 비교통 지시 타입의 타깃 대상은, 자동차, 오토바이 같은 동적 자동차, 보행자, 자전거와 같은 동적 비동력 차량, 및 난간, 나무 및 계단 등과 같은 정적 비교통 지시 타입의 물체 중 적어도 하나를 포함할 수 있다.
결정된 위험 정보에 기반하여, 장애물 회피 기기를 통해 도로 상황 프롬프트를 진행하는 단계는 타깃 대상에 대응되는 타입 정보 및 위험 정보에 기반하여, 장애물 회피 기기를 통해 도로 상황 프롬프트를 진행하는 단계를 포함할 수 있다.
본 발명의 실시예에 있어서, 사용자에 대해 도로 상황 프롬프트를 진행하는 경우, 타깃 대상에 대응되는 타깃 타입 정보 및 위험 정보에 기반하여, 도로 상황 프롬프트 정보를 결정한 다음, 도로 상황 프롬프트 정보에 따라 사용자에 대해 프롬프트를 진행하여, 사용자 출행 안전을 향상시킬 수 있다.
일 실시형태에 있어서, 획득된 타깃 대상에 대응되는 대상 속성 정보에 따라, 타깃 대상을 교통 지시 타입에 속하는 제1 타입 타깃 대상 및 비교통 지시 타입에 속하는 제2 타입 타깃 대상으로 나눌수 있고, 교통 지시 타입의 타깃 대상이 도로 시나리오에서의 의미에 대해, 즉 교통 규칙을 지시하기 위함이고, 이로써 도로 상황 프롬프트의 프롬프트 순서에서, 교통 지시 타입에 속하는 제1 타입 타깃 대상의 우선 순위가, 비교통 지시 타입에 속하는 제2 타입 타깃 대상의 우선 순위보다 높거나 또는 같은 것으로 결정한다.
제1 타입 타깃 대상의 프롬프트 순서 및 제2 타입 타깃 대상의 프롬프트 순서를 구별하기 위해, 상기 공식(1)에 기반하여 타깃 대상의 위험값을 결정할 경우, 제1 타입 타깃 대상에 대응되는 제1 타입 위험 계수를 음수로 사용하고, 제2 타입 타깃 대상에 대응되는 제1 타입 위험 계수를 양수로 사용할 수 있고, 도로 상황 프롬프트를 진행하는 경우, 먼저 위험값이 음수인 제1 타입 타깃 대상을 방송하고, 다음 위험값이 양수인 제1 타입 타깃 대상을 방송한다.
예시적으로, 교통 지시 타입의 타깃 대상이 시각 장애인 사용자가 출행 환경에서의 의미, 예를 들어 사용자가 길을 건너는 경우를 고려하면, 먼저 사용자에게 교통 신호 지시등이 지시하는 정보를 프롬프트할 수 있고, 사용자는 상기 정보에 기반하여 길을 건널지 여부를 결정할 수 있고, 다음 도로에 존재하는 비교통 지시 타입의 타깃 대상에 대해 프롬프트를 진행하며, 상기 방식을 따르면 사용자가 도로 시나리오에서 안전 출행을 하는데 도움을 줄 수 있다.
일부 실시형태에 있어서, 타깃 대상에 대응되는 타입 정보 및 위험 정보에 기반하여, 장애물 회피 기기를 통해 도로 상황 프롬프트를 진행하는 단계는, 도 3에 도시된 바와 같이, 아래 단계 S301 내지 단계 S302를 포함할 수 있다.
단계 S301에 있어서, 타깃 대상이 교통 지시 타입에 속하는 제1 타입 타깃 대상을 포함하는 경우, 제1 타입 타깃 대상의 위험 정보에 기반하여, 제1 타입 타깃 대상이 장애물 회피 기기를 통해 도로 상황 프롬프트를 진행하는 경우의 프롬프트 순서를 결정한다.
단계 S302에 있어서, 결정된 프롬프트 순서에 따라, 장애물 회피 기기를 통해 제1 타입 타깃 대상에 대해 도로 상황 프롬프트를 진행한다.
여기서 먼저 제1 타입 타깃 대상에 대해 도로 상황 프롬프트를 진행하는 방법에 대해 설명한다.
일부 실시형태에 있어서, 복수 개의 제1 타입 타깃 대상을 포함한 경우, 상기 공식(1)에 따라 각 제1 타입 타깃 대상의 위험 정보를 결정한 다음, 위험도의 내림순에 따라, 각 제1 타입 타깃 대상을 배열하여, 각 제1 타입 타깃 대상이 장애물 회피 기기를 통해 도로 상황 프롬프트를 진행하는 경우의 프롬프트 순서를 얻을 수 있다.
일부 실시형태에 있어서, 상기 단계 S301에 대해, 제1 타입 타깃 대상의 위험 정보에 기반하여, 제1 타입 타깃 대상이 장애물 회피 기기를 통해 도로 상황 프롬프트를 진행하는 경우의 프롬프트 순서를 결정하는 단계는, 아래 단계 S3011 내지 단계 S3014를 포함한다.
단계 S3011에 있어서, 장애물 회피 기기가 촬영한 시나리오 이미지, 제1 타입 타깃 대상에 대응되는 거리 정보 및 장애물 회피 기기에 대응되는 파라미터 정보에 기반하여, 장애물 회피 기기가 제1 타입 타깃 대상을 가리키는 제1 방향 정보를 결정한다.
예시적으로, 장애물 회피 기기에 대응되는 파라미터 정보는 이미지 좌표계를 카메라 좌표계로 전환하기 위한 내부 파라미터 및 카메라 좌표계를 월드 좌표계로 전환하기 위한 외부 파라미터 중 적어도 하나를 포함할 수 있다.
예시적으로, 장애물 회피 기기가 제1 타입 타깃 대상을 가리키는 제1 방향 정보는, 제1 타입 타깃 대상 및 장애물 회피 기기가 월드 좌표계에서의 방향 관계를 표시할 수 있고, 예를 들어 제1 타입 타깃 대상이 월드 좌표계에서는 장애물 회피 기기의 X축의 정방향에 위치하고, 상기 X축의 정방향이 동쪽 방향을 가리킬 경우, 제1 타입 타깃 대상은 장애물 회피 기기의 동쪽 방향에 위치한다.
일부 실시형태에 있어서, 장애물 회피 기기가 촬영한 시나리오 이미지, 제1 타입 타깃 대상에 대응되는 거리 정보 및 장애물 회피 기기에 대응되는 파라미터 정보에 기반하여, 장애물 회피 기기가 제1 타입 타깃 대상을 가리키는 제1 방향 정보를 결정하는 단계는 아래와 같은 내용을 포함할 수 있다.
(1) 장애물 회피 기기가 촬영한 시나리오 이미지에 기반하여, 장애물 회피 기기가 현실 시나리오에 대응되는 월드 좌표계에서의 포즈 정보를 결정한다.
예시적으로, 여기서 장애물 회피 기기가 촬영한 시나리오 이미지 및 미리 구축된 현실 시나리오를 나타내는 3차원 시나리오 맵에 기반하여 장애물 회피 기기가 현실 시나리오에 대응되는 월드 좌표계에서의 포즈 정보를 결정할 수 있다. 월드 좌표계에서, 현실 시나리오를 나타내는 3차원 시나리오 맵은 현실 시나리오와 완전히 중첩될 수 있고, 따라서 장애물 회피 기기가 촬영한 시나리오 이미지 및 3차원 시나리오 맵에 기반하여, 장애물 회피 기기가 현실 시나리오에 대응되는 월드 좌표계에서의 포즈 정보를 결정할 수 있다.
일부 실시형태에 있어서, 장애물 회피 기기가 현실 시나리오에 대응되는 월드 좌표계에서의 포즈 정보는 장애물 회피 기기가 월드 좌표계에서의 위치 좌표값 및 방향 각도 중 적어도 하나를 포함할 수 있고, 여기서 방향 각도는 월드 좌표계의 좌표 축과의 협각을 통해 표시될 수 있다.
(2) 시나리오 이미지에 대해 타깃 검출을 진행하여, 제1 타입 타깃 대상이 시나리오 이미지에 대응되는 이미지 좌표계에서의 2차원 검출 정보를 결정한다.
예시적으로, 여기서 사전에 훈련된 타깃 검출 신경 네트워크를 통해, 시나리오 이미지에 포함된 타깃 대상 및 타깃 대상에 대응되는 검출 프레임이 이미지 좌표계에서의 픽셀 좌표를 검출할 수 있고, 여기서 검출 프레임의 중심 포인트에 대응되는 픽셀 좌표를, 제1 타입 타깃 대상이 시나리오 이미지에 대응되는 이미지 좌표계에서의 2차원 검출 정보로 사용할 수 있다.
(3) 2차원 검출 정보, 제1 타입 타깃 대상에 대응되는 거리 정보 및 장애물 회피 기기에 대응되는 파라미터 정보에 기반하여, 제1 타입 타깃 대상이 월드 좌표계에서의 포즈 정보를 결정한다.
일부 실시형태에 있어서, 제1 타입 타깃 대상이 시나리오 이미지에 대응되는 이미지 좌표계에서의 2차원 검출 정보 및 장애물 회피 기기에 대응되는 내부 파라미터(미리 저장된 내부 파라미터)에 기반하여, 제1 타입 타깃 대상이 장애물 회피 기기에 대응되는 카메라 좌표계에서, 카메라 좌표계의 X축 및 Y축을 따른 좌표값을 결정할 수 있고, 다음 제1 타입 타깃 대상에 대응되는 거리 정보에 기반하여, 제1 타입 타깃 대상이 장애물 회피 기기에 대응되는 카메라 좌표계에서, 카메라 좌표계의 Z축을 따른 좌표값을 결정하고, 다음 장애물 회피 기기에 대응되는 외부 파라미터(장애물 회피 기기가 현실 시나리오에 대응되는 월드 좌표계에서의 포즈 정보를 통해 결정될 수 있음)와 결합하여, 제1 타입 타깃 대상이 월드 좌표계에서의 포즈 정보를 결정할 수 있다.
예시적으로, 여기서 제1 타입 타깃 대상이 월드 좌표계에서의 포즈 정보는 상기 제1 타입 타깃 대상이 월드 좌표계에서의 위치 좌표값을 포함할 수 있다.
(4) 장애물 회피 기기에 대응되는 포즈 정보 및 제1 타입 타깃 대상에 대응되는 포즈 정보에 기반하여, 장애물 회피 기기가 제1 타입 타깃 대상을 가리키는 제1 방향 정보를 결정한다.
일부 실시형태에 있어서, 장애물 회피 기기가 제1 타입 타깃 대상을 가리키는 제1 방향 정보를 결정할 경우, 장애물 회피 기기 및 제1 타입 타깃 대상이 월드 좌표계에서의 위치 좌표값에 기반하여 결정할 수 있다.
단계 S3012에 있어서, 장애물 회피 기기가 촬영한 복수 개의 시나리오 이미지에 기반하여, 장애물 회피 기기의 운동 방향을 결정한다.
예시적으로, 복수 개의 시나리오 이미지에 기반하여, 장애물 회피 기기가 월드 좌표계에서의 위치 좌표값을 결정할 수 있음으로써, 장애물 회피 기기의 운동 방향을 얻는다.
단계 S3013에 있어서, 제1 타입 타깃 대상에 복수 개가 포함될 경우, 제1 타입 타깃 대상에 대응되는 제1 방향 정보 및 장애물 회피 기기의 운동 방향에 기반하여, 제1 타입 타깃 대상으로부터 프롬프트될 타입 타깃 대상을 결정하고, 프롬프트될 제1 타입 타깃 대상에 대응되는 제1 방향 정보에 의해 지시된 방향과, 장애물 회피 기기의 운동 방향 간의 제1 각도는 설정된 각도 임계값보다 작다.
제1 타입 타깃 대상에 복수 개가 포함될 경우, 장애물 회피 설정이 가장 접근된 제1 타입 타깃 대상을 프롬프트될 제1 타입 타깃 대상으로 사용할 수 있고, 예를 들어 3 개의 제1 타입 타깃 대상을 검출하고, 각각 제1 타입 타깃 대상 A, 제1 타입 타깃 대상 B 및 제1 타입 타깃 대상 C로 표기하고, 장애물 회피 기기의 운동 방향이 제1 타입 타깃 대상 A를 가리키고, 제1 타입 타깃 대상 B 및 제1 타입 타깃 대상 C를 멀리할 경우, 여기서 제1 타입 타깃 대상 A를 프롬프트될 제1 타입 타깃 대상으로 사용할 수 있다.
단계 S3014에 있어서, 프롬프트될 제1 타입 타깃 대상의 위험 정보에 기반하여, 프롬프트될 제1 타입 타깃 대상이 장애물 회피 기기를 통해 도로 상황 프롬프트를 진행할 경우에서의 프롬프트 순서를 결정한다.
복수 개의 제1 타입 타깃 대상으로부터 프롬프트될 제1 타입 타깃 대상을 선별한 후, 프롬프트될 제1 타입 타깃 대상의 위험 정보에 기반하여, 프롬프트될 제1 타입 타깃 대상이 장애물 회피 기기를 통해 도로 상황 프롬프트를 진행할 경우에서의 프롬프트 순서를 결정할 수 있다.
예시적으로, 제1 타입 타깃 대상이 신호등 및 횡단보도를 포함하고, 신호등과 장애물 회피 기기 간의 거리가 횡단보도와 장애물 회피 기기 간의 거리보다 작은 것이 결정될 경우, 상기 공식(1)에 따라 신호등에 대응되는 위험값이 횡단보도에 대응되는 위험값보다 큰 것으로 결정할 수 있고, 신호등의 프롬프트 순서가 횡단보도의 프롬프트 순서보다 우선적인 것으로 결정할 수 있다.
일부 실시형태에 있어서, 결정된 프롬프트 순서에 따라, 장애물 회피 기기를 통해 제1 타입 타깃 대상에 대해 도로 상황 프롬프트를 진행하는 단계는 아래와 같은 내용을 포함할 수 있다.
결정된 프롬프트될 제1 타입 타깃 대상에 대응되는 프롬프트 순서에 따라, 프롬프트될 제1 타입 타깃 대상에 대응되는 거리 정보에 의해 지시된 프롬프트될 제1 타입 타깃 대상과 장애물 회피 기기 간의 거리가, 제1 기설정된 거리 임계값보다 작은 경우, 장애물 회피 기기를 통해 프롬프트될 제1 타입 타깃 대상에 대해 도로 상황 프롬프트를 진행한다.
예시적으로, 사용자가 주행 과정에서, 프롬프트될 제1 타입 타깃 대상과 거리가 비교적 먼 위치에서 경로를 미리 변경하거나, 더 이상 전진하지 않는 것을 고려하면, 이때 프롬프트될 제1 타입 타깃 대상은 사용자에게 더 이상 위험하지 않으므로, 이에 대해 프롬프트를 진행할 필요가 없고, 이에 대해, 본 발명의 실시예는 장애물 회피 기기를 통해 프롬프트될 제1 타입 타깃 대상이 사용자에 대해 도로 상황 프롬프트를 진행하는 경우, 사용자와 프롬프트될 제1 타입 타깃 대상의 거리가 제1 기설정된 거리 임계값보다 작은 경우, 프롬프트를 진행하게 하고, 여기서, 사용자가 긴급 상황을 마주할 경우 긴급하게 보행 상태를 조정할 때 필요되는 거리를 여기서의 제1 기설정된 거리 임계값으로 사용할 수 있고, 제1 기설정된 거리 임계값의 설정은 빅데이터 기반 사전 통계를 통해 얻을 수 있다.
본 발명의 실시예에 있어서, 복수 개의 제1 타입 타깃 대상을 포함할 경우, 장애물 회피 기기와 가까운 제1 타입 타깃 대상을 우선적으로 선택하여 프롬프트될 타깃 대상으로 사용하고, 장애물 회피 기기와 제1 타입 타깃 대상 간의 거리가 제1 기설정된 거리 임계값보다 작은 것으로 결정될 경우 프롬프트를 진행하여, 무효 프롬프트의 상황을 저하시킴으로써, 사용자에 대한 도로 상황 프롬프트 과정에서, 도로 상황 프롬프트의 정확도를 향상시킬 수 있다.
다른 실시형태에 있어서, 타깃 대상에 대응되는 타입 정보 및 위험 정보에 기반하여, 장애물 회피 기기를 통해 도로 상황 프롬프트를 진행하는 단계는 도 4에 도시된 바와 같이, 아래 단계 S401 내지 단계 S402를 포함할 수 있다.
단계 S401에 있어서, 타깃 대상이 비교통 지시 타입에 속하는 제2 타입 타깃 대상을 포함할 경우, 제2 타입 타깃 대상의 위험 정보에 기반하여, 제2 타입 타깃 대상으로부터 기설정된 조건을 만족하는 프롬프트될 제2 타입 타깃 대상을 결정한다.
도로 상황 환경에 대해 유효한 프롬프트를 진행하기 위해, 제2 타입 타깃 대상의 위험 정보에 대해, 큰 확률로 사용자의 출행에 대해 위험을 조성하는 제2 타입 타깃 대상을 선별하여 프롬프트될 제2 타입 타깃 대상으로 사용할 수 있다.
단계 S402에 있어서, 프롬프트될 제2 타입 타깃 대상에 대응되는 거리 정보에 의해 지시된 프롬프트될 제2 타입 타깃 대상과 장애물 회피 기기 간의 거리가, 제2 기설정된 거리 임계값보다 작은 경우, 장애물 회피 기기를 통해 프롬프트될 제2 타입 타깃 대상에 대해 도로 상황 프롬프트를 진행한다.
예시적으로, 여기서 제2 기설정된 거리 임계값 및 상기 제1 기설정된 거리 임계값은 동일할 수 있고, 상이할 수도 있으며, 상기 프롬프트될 제1 타입 타깃 대상에 대해 프롬프트를 진행하는 과정과 유사하고, 프롬프트될 제2 타입 타깃 대상에 대해 도로 상황 프롬프트를 진행하는 경우, 프롬프트될 제2 타입 타깃 대상과 장애물 회피 기기 간의 거리가 제2 기설정된 거리 임계값보다 작은 것으로 결정된 경우, 장애물 회피 기기를 통해 프롬프트될 제2 타입 타깃 대상에 대해 도로 상황 프롬프트를 진행하여도, 마찬가지로 무효 프롬프트의 상황을 저하시킴으로써, 도로 상황 프롬프트 과정에서, 도로 상황 프롬프트의 정확도를 향상시킬 수 있다.
일부 실시형태에 있어서, 상기 단계 S401에 대해, 제2 타입 타깃 대상의 위험 정보에 기반하여, 제2 타입 타깃 대상으로부터 기설정된 조건을 만족하는 프롬프트될 제2 타입 타깃 대상을 결정하는 단계는, 단계 S4011 내지 단계 S4014를 포함할 수 있다.
단계 S4011에 있어서, 장애물 회피 기기가 촬영한 시나리오 이미지, 제2 타입 타깃 대상에 대응되는 거리 정보 및 장애물 회피 기기에 대응되는 파라미터 정보에 기반하여, 장애물 회피 기기가 제2 타입 타깃 대상을 가리키는 제2 방향 정보를 결정한다.
여기서 장애물 회피 기기가 제2 타입 타깃 대상을 가리키는 제2 방향 정보를 결정하는 방식은 위의 내용에서 제안한 장애물 회피 기기가 제1 타입 타깃 대상을 가리키는 제1 방향 정보를 결정하는 방식과 유사하다.
단계 S4012에 있어서, 장애물 회피 기기가 촬영한 복수 개의 시나리오 이미지에 기반하여, 장애물 회피 기기의 운동 방향을 결정한다.
여기서 장애물 회피 기기의 운동 방향을 결정하는 상세한 내용은 위의 내용을 참고하길 바란다.
단계 S4013에 있어서, 제2 타입 타깃 대상에 대응되는 제2 방향 정보 및 장애물 회피 기기의 운동 방향에 기반하여, 제2 방향 정보에 의해 지시된 제2 방향과 장애물 회피 기기의 운동 방향 간의 제2 각도를 결정한다.
예시적으로, 제2 각도를 통해 장애물 회피 기기가 제2 타입 타깃 대상을 향해 운동하는지 여부를 결정할 수 있고, 예를 들어 제2 각도가 작을수록, 장애물 회피 기기가 제2 타입 타깃 대상을 향해 운동할 확률이 더욱 높다.
단계 S4014에 있어서, 제2 타입 타깃 대상에 복수 개가 포함될 경우, 제2 타입 타깃 대상으로부터 결정된 제2 각도가 기설정된 각도 임계값보다 작은 적어도 하나의 제2 타입 타깃 대상을, 프롬프트될 제2 타입 타깃 대상으로 사용하고, 적어도 하나의 제2 타입 타깃 대상에 대응되는 위험 정보에 의해 지시된 위험도는, 제2 타입 타깃 대상에서 프롬프트될 제2 타입 타깃 대상을 제외한 다른 타깃 대상에 대응되는 위험 정보에 의해 지시된 위험도보다 높다.
제2 타입 타깃 대상에 복수 개가 포함될 경우, 동시에 제2 각도 및 제2 타입 타깃 대상에 대응되는 위험 정보에 기반하여 프롬프트될 제2 타입 타깃 대상을 선택할 수 있고, 예를 들어 장애물 회피 기기가 점점 가까워지고, 대응되는 위험 정보에 의해 지시된 위험도가 비교적 높은 제2 타입 타깃 대상을 프롬프트될 제2 타입 타깃 대상으로 사용할 수 있다.
본 발명의 실시예에 있어서, 장애물 회피 기기의 운동 방향 및 제2 타입 타깃 대상과 장애물 회피 기기 간의 거리를 결합하여 프롬프트될 제2 타입 타깃 대상을 선별함으로써, 큰 확룔로 사용자에 대해 위험이 존재하는 제2 타입 타깃 대상을 선택하여 프롬프트를 진행하여, 사용자의 출행 안전을 향상시킬 수 있다.
일 실시형태에 있어서, 사용자가 도로 시나리오에서 마주치는 타깃 대상을 고려하는 이외에, 또한 사용자가 도로 시나리오에서 마주치는 도로 시나리오 유형을 고려할 수 있으며, 예를 들어 횡단 도로 시나리오 유형, 십자 도로 시나리오 유형, 육교 터널 시나리오 유형, 스테이션 시나리오 유형 등일 수 있고, 시각 장애인의 안전 출행에 도움을 주기 위해, 사용자가 마주치는 타깃 대상에 대해 프롬프트를 진행하는 이외에, 또한 현재 사용자가 위치한 도로 시나리오 유형에 대해 프롬프트를 진행하여, 사용자가 자신의 출행 도로에서의 도로 시나리오 유형을 결정하는데 도움을 줌으로써, 출행 안전을 향상시킬 수 있고, 이에 대해, 본 발명의 실시예에서 제공한 도로 상황 프롬프트 방법은,
장애물 회피 기기가 위치한 위치에 대응되는 도로 시나리오 유형을 획득하는 단계를 더 포함한다.
예시적으로, 도로 시나리오 유형은 상이한 방식을 통해 획득될 수 있고, 예를 들어 장애물 회피 기기가 내비게이션 부재를 포함할 경우, 내비게이션 부재 및 미리 선택된 내비게이션 경로에 기반하여, 현재 사용자가 위치한 도로 시나리오 유형을 결정할 수 있고, 또는 장애물 회피 기기를 통해 촬영된 시나리오 마크로 현재 사용자가 위치한 도로 시나리오 유형을 결정할 수 있으며, 현재 사용자가 위치한 도로 시나리오 유형을 결정하는 방식은 아래 문장에서 설명을 진행한다.
상기 제안한 결정된 위험 정보에 기반하여, 장애물 회피 기기를 통해 도로 상황 프롬프트를 진행하는 단계는, 결정된 위험 정보 및 도로 시나리오 유형에 기반하여, 장애물 회피 기기를 통해 도로 상황 프롬프트를 진행하는 단계를 포함할 수 있다.
예시적으로, 도로 상황 프롬프트를 진행하는 경우, 먼저 타깃 대상에 대해 프롬프트를 진행한 다음, 도로 시나리오 유형에 대해 프롬프트를 진행할 수 있고, 또는 먼저 도로 시나리오 유형에 대해 프롬프트를 진행한 다음, 타깃 대상에 대해 프롬프트를 진행할 수 있다.
일 가능한 실시형태에 있어서, 장애물 회피 기기가 위치한 위치에 대응되는 도로 시나리오 유형을 획득하는 단계는, 도 5에 도시된 바와 같이, 아래 단계 S501 내지 단계 S502를 포함할 수 있다.
단계 S501에 있어서, 장애물 회피 기기의 위치 정보를 획득한다.
단계 S502에 있어서, 장애물 회피 기기의 기설정된 내비게이션 경로로부터, 장애물 회피 기기의 위치 정보에 대응되는 도로 시나리오 유형을 결정한다.
예시적으로, 장애물 회피 기기에서의 내비게이션 부재를 통해 장애물 회피 기기의 위치 정보를 획득할 수 있고, 또는 장애물 회피 기기가 촬영한 시나리오 이미지에 기반하여 장애물 회피 기기의 위치 정보를 결정할 수 있으며, 상기 방식의 상세한 내용은 위의 내용을 참고하길 바란다.
예시적으로, 장애물 회피 기기는 모바일 기기를 포함할 수 있고, 예를 들어 핸드폰, 태블릿이며, 내비게이션 부재는 핸드폰 또는 태블릿에서의 내비게이션 부재일 수 있다.
예시적으로, 사용자가 출발하기 전, 장애물 회피 기기를 통해 목적지까지의 내비게이션 경로를 선택할 수 있고, 상기 내비게이션 경로는 복수 개의 도로 시나리오 및 각 도로 시나리오에 대응되는 위치 정보를 포함할 수 있고, 장애물 회피 기기의 위치 정보와 어느 하나의 도로 시나리오에 대응되는 위치 정보가 매칭되는 것으로 결정될 경우, 장애물 회피 기기가 위치한 위치에 대응되는 도로 시나리오 유형을 결정할 수 있다.
다른 실시형태에 있어서, 장애물 회피 기기가 위치한 위치에 대응되는 도로 시나리오 유형을 획득하는 경우, 도 6에 도시된 바와 같이, 아래 단계 S601 내지 단계 S602를 포함할 수 있다.
단계 S601에 있어서, 장애물 회피 기기가 촬영한 표지판 이미지를 획득한다.
단계 S602에 있어서, 표지판 이미지에 대해 시나리오 마크 식별을 수행하여, 장애물 회피 기기가 위치한 영역에 대응되는 도로 시나리오 유형을 결정한다.
예시적으로, 표지판 이미지는 장애물 회피 기기에서의 이미지 수집 부재를 통해 수집하여 얻을 수 있고, 미리 훈련된 마크 식별 신경 네트워크로 표지판 이미지에 대해 식별하여, 장애물 회피 기기가 위치한 영역에 대응되는 도로 시나리오 유형을 결정할 수 있다.
예를 들어 표지판 이미지에 대해 시나리오 마크 식별을 수행하는 것을 통해, 상기 표지판 이미지에서의 시나리오 마크가“중관촌 역”인 것으로 결정하고, 상기 장애물 회피 기기가 위치한 영역에 대응되는 도로 시나리오 유형을 스테이션 시나리오 유형인 것으로 결정할 수 있다.
일부 실시형태에 있어서, 도 7에 도시된 바와 같이, 결정된 위험 정보 및 도로 시나리오 유형에 기반하여, 장애물 회피 기기를 통해 도로 상황 프롬프트를 진행하는 것은 아래 단계 S701 내지 단계 S703을 포함할 수 있다.
단계 S701에 있어서, 결정된 타깃 대상의 위험 정보에 기반하여, 제1 타입 프롬프트 정보를 생성한다.
단계 S702에 있어서, 도로 시나리오 유형에 기반하여, 제2 타입 프롬프트 정보를 생성한다.
단계 S703에 있어서, 기설정된 프롬프트 순서에 기반하여, 장애물 회피 기기를 통해 제1 타입 프롬프트 정보 및 제2 타입 프롬프트 정보에 대해 도로 상황 프롬프트를 진행한다.
여기서, 결정된 위험 정보에 기반하여, 장애물 회피 기기에 대한 제1 타입 프롬프트 정보를 생성하는 방식의 상세한 내용은 위의 내용을 참고하길 바라고, 예시적으로, 타깃 대상의 타깃 대상 타입 정보, 대상 속성 정보 및 장애물 회피 기기 간의 거리로 장애물 회피 기기에 대한 제1 타입 프롬프트 정보를 생성할 수 있다.
예시적으로, 장애물 회피 기기에 대한 제2 타입 프롬프트 정보는 사용자가 위치한 도로 시나리오 유형을 프롬프트하기 위함이고, 사용자가 본인이 위치한 도로 시나리오 유형을 결정하는데 편리함으로써, 보행 속도를 조정할지 여부를 결정하여, 출행 안전을 향상시킬 수 있다.
예시적으로, 기설정된 제1 타입 프롬프트 정보 및 제2 타입 프롬프트 정보 간의 프롬프트 순서가, 제2 타입 프롬프트 정보가 제1 타입 프롬프트 정보보다 우선일 경우, 먼저 제2 타입 프롬프트 정보를 방송한 다음, 제1 타입 프롬프트 정보를 방송하여, 사용자가 먼저 본인이 위치한 도로 시나리오 유형을 결정한 다음, 상기 도로 시나리오 유형에서 마주친 장애물을 결정하는데 편리함으로써, 보행 속도 및 방향을 제때에 조정하여, 출행 안전을 향상시킬 수 있다.
관련 기술에서 시각 장애인이 외출하여 보행하는 시나리오에서, 사용되는 장애물 회피 기기는 주로 초음파 기술, 레이저 거리 측정 기술, 쌍안 시각 기술, 글로벌 포지셔닝 시스템 기술을 사용하고, 이러한 기술은 단순히 물체, 인체 식별만 진행할 뿐, 가장 먼저 도착하는 물체를 판단하지 못하고, 이 물체가 시각 장애인의 보행에 위험을 주는지 여부를 판단하지도 못한다.
관련 기술에서, 단순히 물체, 인체 식별만 진행할 뿐, 가장 먼저 도착하는 물체를 판단하지 못하고, 이 물체가 시각 장애인의 보행에 위험을 주는지 여부를 판단하지도 못하는 상황을 개선하기 위해, 본 발명의 실시예는 시각 장애인을 도와 자동으로 선별하는 방안을 사용하여, 가장 먼저 도착하는 첫 번째 물체, 두 번째 물체, 세 번째 물체 등을 선별하고, 이와 동시에 물체의 위험도를 판단한다.
본 발명의 실시예에서 제공한 도로 상황 프롬프트 방법을 통해, 전방의 장애물 정보를 선별하고, 대량의 정보 방송으로 인한 간섭을 줄이고, 상이한 거리 물체의 상이한 가중치와 결합하여 물체 위험 평가를 진행함으로써, 가장 위험한 물체 하나만 방송할 수 있다.
아래는 도 8에 도시된 바와 결합하여, 본 발명의 실시예에서 제공한 도로 상황 프롬프트 방안에 대해 소개를 진행한다.
도 8에 도시된 바와 같이, 사용자가 시각 장애인이고, 장애물 회피 기기가 장애물 회피 안경 및 단말 기기를 포함하는 것을 예로 들어, 사용자가 장애물 회피 안경을 착용하고 도로 시나리오에서 보행하는 경우, 장애물 회피 안경에 설치된 RGB 카메라를 통해 비디오를 수집하는 것을 통해, 도로 시나리오에 대응되는 시나리오 이미지를 수집한 다음, 단말 기기를 통해 상기 시나리오 이미지에 대해 타깃 검출을 진행하여, 시나리오 이미지에 포함된 타깃 대상을 결정할 수 있고, 예를 들어 횡단도로/시각 장애인 전용도로, 자동차/비동력 차량, 지하철역/버스역, 보행자/동물, 오버브리지/지하, 경사로/계단/엘리베이터, 역 표지판, 전봇대/나무, 경사면/웅덩이 등 적어도 하나의 타깃 대상을 식별하여, 시나리오 이미지에 포함된 타깃 대상을 결정하고, 이와 동시에 TOF 카메라에 기반하여 거리 수집을 진행하여, 도로 시나리오에 대응되는 심층 이미지를 수집할 수 있다.
다음 획득된 시나리오 이미지에 대해 물체 식별하고, 획득된 심층 이미지에 대해 심층 식별을 수행하며, 시나리오 이미지 및 심층 이미지를 정렬 처리한 후, 타깃 대상의 거리 정보를 획득한다. 타깃 대상의 거리 정보를 획득하는 단계는 타깃 대상에 대응되는 거리 정보를 결정하는 단계, 즉 검출된 타깃 대상과 장애물 회피 안경 간의 거리 정보를 결정하는 단계를 포함할 수 있다. 또한 상기 제안한 시나리오 이미지 및 심층 이미지에 기반하여 타깃 대상이 월드 좌표계에서의 위치 좌표값을 결정하는 것에 기반하여, 타깃 대상의 공간 위치를 결정할 수 있다.
이외에도, 단말 기기는 맵 위치에 따라 내비게이션 경로 안내를 판단할 수 있고, 일 실시형태에 있어서, 내비게이션 경로에 기반하여 현재 위치를 결정함으로써, 현재 위치에 기반하여 시나리오 감지를 수행할 수 있고, 예를 들어 사용자의 위치 정보 및 기설정된 내비게이션 경로에 기반하여 사용자가 위치한 도로 시나리오 유형을 결정할 수 있고, 예를 들어 횡단보도 보행 시나리오 유형, 십자 도로를 보행하는 시나리오 유형, 육교 터널을 보행하는 시나리오 유형, 지하철을 기다리는 시나리오 유형 등을 식별할 수 있고, 또는 표지판 마크에 기반하여 위치하는 도로 시나리오 유형 중 적어도 하나를 결정할 수 있다. 일 실시형태에 있어서, 내비게이션 경로에 기반하여 내비게이션 경로를 계획할 수 있고, 내비게이션 경로에 기반하여 음성 프롬프트 정보를 생성할 수 있다.
사용자가 위치한 도로 시나리오 유형이 결정된 후, 시나리오 감지에 기반하여 사용자가 위치한 도로 시나리오 유형 및 타깃 대상의 거리 정보를 얻고, 각 타깃 대상이 사용자에 대한 잠재적 위험도를 판단한 다음, 위험도에 기반하여 음성 프롬프트 정보를 생성할 수 있다. 예를 들어 도로 시나리오 유형, 타깃 대상에 대응되는 대상 속성 정보, 타깃 대상과 장애물 회피 기기 간의 거리 정보를 결합하여, 사용자에 대한 음성 프롬프트 정보를 생성할 수 있다. 음성 프롬프트 정보를 얻은 후, 상기 언어 프롬프트 정보에 기반하여 사용자에 대해 음성 프롬프트를 진행함으로써, 사용자의 출행 안전을 향상시킬 수 있다.
일부 실시형태에 있어서, 장애물 회피 기기를 통해 사용자에 대해 음성 프롬프트를 진행할 수 있다. 다른 일부 실시형태에 있어서, 단말 기기를 통해 사용자에 대해 음성 프롬프트를 진행할 수 있다.
본 분야의 기술자는 실시형태의 상기 방법에서, 각 단계의 기록 순서는 엄격한 실행 순서를 의미하지 않고 실시 과정에 대한 임의의 제한을 구성하며, 각 단계의 실행 순서는 그 기능 및 가능한 내부 논리에 의해 결정된다.
동일한 기술적 사상에 기반하여, 본 발명의 실시예는 도로 상황 프롬프트 방법에 대응되는 도로 상황 프롬프트 장치를 더 제공하고, 본 발명의 실시예에서의 장치가 문제를 해결하는 원리가 본 발명의 실시예에 따른 도로 상황 프롬프트 방법과 유사하므로, 장치의 실시는 방법의 실시를 참조할 수 있다.
도 9에 도시된 바를 참조하면, 본 발명의 실시예에서 제공한 도로 상황 프롬프트 장치(800)의 예시도이고, 상기 도로 상황 프롬프트 장치(800)는,
장애물 회피 기기에 대응되는 거리 설정 범위 내의 타깃 대상에 대응되는 대상 속성 정보 및 타깃 대상에 대응되는 거리 정보를 획득하도록 구성된 획득부(801);
타깃 대상에 대응되는 대상 속성 정보 및 거리 정보에 기반하여, 타깃 대상의 위험 정보를 결정하도록 구성된 결정부(802); 및
결정된 위험 정보에 기반하여, 장애물 회피 기기를 통해 도로 상황 프롬프트를 진행하도록 구성된 프롬프트부(803)를 포함한다.
일 가능한 실시형태에 있어서, 획득부(801)가 장애물 회피 기기에 대응되는 거리 설정 범위 내의 타깃 대상에 대응되는 대상 속성 정보를 획득하도록 구성된 경우, 또한,
장애물 회피 기기가 타깃 도로 상황 시나리오를 촬영하여 얻은 시나리오 이미지를 획득하고;
시나리오 이미지에 대해 타깃 검출을 진행하여, 시나리오 이미지에 포함된 타깃 대상 및 타깃 대상에 대응되는 대상 속성 정보를 결정하도록 구성된다.
일 가능한 실시형태에 있어서, 획득부(801)가 타깃 대상에 대응되는 거리 정보를 획득하도록 구성된 경우, 또한,
장애물 회피 기기가 타깃 도로 상황 시나리오를 촬영하여 얻은 시나리오 이미지 및 심층 이미지를 획득하고;
시나리오 이미지 및 심층 이미지에 기반하여, 타깃 대상에 대응되는 거리 정보를 결정하도록 구성되고, 거리 정보는 타깃 대상과 장애물 회피 기기 간의 거리를 포함하는 것을 포함한다.
일 가능한 실시형태에 있어서, 획득부(801)가 시나리오 이미지 및 심층 이미지에 기반하여, 타깃 대상에 대응되는 거리 정보를 결정하도록 구성된 경우, 또한,
시나리오 이미지 및 심층 이미지에 포함된 보정 특징 포인트를 각각 추출하고;
시나리오 이미지의 보정 특징 포인트 및 심층 이미지의 보정 특징 포인트에 기반하여, 시나리오 이미지 및 심층 이미지를 정렬하고, 심층 이미지에서 시나리오 이미지에 포함된 타깃 대상의 심층 정보를 추출하여, 타깃 대상에 대응되는 거리 정보를 얻도록 구성된다.
일 가능한 실시형태에 있어서, 결정부(802)가 타깃 대상에 대응되는 대상 속성 정보 및 거리 정보에 기반하여, 타깃 대상의 위험 정보를 결정하도록 구성된 경우, 또한,
타깃 대상에 대응되는 대상 속성 정보에 기반하여, 타깃 대상에 대응되는 제1 위험 계수를 결정하고;
타깃 대상에 대응되는 거리 정보에 의해 지시된 타깃 대상과 장애물 회피 기기 간의 거리에 따라, 상기 타깃 대상에 대응되는 제2 위험 계수를 결정하고;
거리 정보, 제1 위험 계수 및 제2 위험 계수에 기반하여, 타깃 대상의 위험 정보를 결정하도록 구성된다.
일 가능한 실시형태에 있어서, 결정부(802)가 거리 정보, 제1 위험 계수 및 제2 위험 계수에 기반하여, 타깃 대상의 위험 정보를 결정하도록 구성된 경우, 또한,
장애물 회피 기기의 촬영 범위에 대응되는 가장 먼 거리 및 거리 정보에 기반하여, 타깃 거리 차이값을 결정하고;
타깃 거리 차이값, 제1 위험 계수 및 제2 위험 계수의 곱을, 타깃 대상의 위험 정보로 사용하도록 구성된다.
일 가능한 실시형태에 있어서, 결정부(802)는 또한,
타깃 대상에 대응되는 대상 속성 정보에 기반하여, 타깃 대상에 대응되는 타입 정보를 결정하도록 구성되고; 상기 타입 정보는 교통 지시 타입 및 비교통 지시 타입 중 적어도 하나를 포함한다.
프롬프트부(803)가 결정된 위험 정보에 기반하여, 장애물 회피 기기를 통해 도로 상황 프롬프트를 진행하도록 구성된 경우, 또한
타깃 대상에 대응되는 타입 정보 및 위험 정보에 기반하여, 장애물 회피 기기를 통해 도로 상황 프롬프트를 진행하도록 구성된다.
일 가능한 실시형태에 있어서, 도로 상황 프롬프트의 프롬프트 순서에서, 교통 지시 타입에 속하는 제1 타입 타깃 대상의 우선 순위는, 비교통 지시 타입에 속하는 제2 타입 타깃 대상의 우선 순위보다 높거나 같다.
일 가능한 실시형태에 있어서, 프롬프트부(803)가 타깃 대상에 대응되는 타입 정보 및 위험 정보에 기반하여, 장애물 회피 기기를 통해 도로 상황 프롬프트를 진행하도록 구성된 경우, 또한,
타깃 대상이 교통 지시 타입에 속하는 제1 타입 타깃 대상을 포함하는 경우, 제1 타입 타깃 대상의 위험 정보에 기반하여, 제1 타입 타깃 대상이 장애물 회피 기기를 통해 도로 상황 프롬프트를 진행할 경우의 프롬프트 순서를 결정하고;
결정된 프롬프트 순서에 따라, 장애물 회피 기기를 통해 제1 타입 타깃 대상에 대해 도로 상황 프롬프트를 진행하도록 구성된다.
일 가능한 실시형태에 있어서, 프롬프트부(803)가 제1 타입 타깃 대상의 위험 정보에 기반하여, 제1 타입 타깃 대상이 장애물 회피 기기를 통해 도로 상황 프롬프트를 진행할 경우의 프롬프트 순서를 결정하도록 구성된 경우, 또한,
장애물 회피 기기가 촬영한 시나리오 이미지, 제1 타입 타깃 대상에 대응되는 거리 정보 및 장애물 회피 기기에 대응되는 파라미터 정보에 기반하여, 장애물 회피 기기가 제1 타입 타깃 대상을 가리키는 제1 방향 정보를 결정하고;
장애물 회피 기기가 촬영한 복수 개의 시나리오 이미지에 기반하여, 장애물 회피 기기의 운동 방향을 결정하며;
제1 타입 타깃 대상에 복수 개가 포함되는 경우, 제1 타입 타깃 대상에 대응되는 제1 방향 정보 및 장애물 회피 기기의 운동 방향에 기반하여, 제1 타입 타깃 대상으로부터 프롬프트될 제1 타입 타깃 대상을 결정하고 - 프롬프트될 제1 타입 타깃 대상에 대응되는 제1 방향 정보에 의해 지시된 방향과 장애물 회피 기기의 운동 방향 간의 제1 각도는 설정된 각도 임계값보다 작음 - ;
프롬프트될 제1 타입 타깃 대상의 위험 정보에 기반하여, 프롬프트될 제1 타입 타깃 대상이 장애물 회피 기기를 통해 도로 상황 프롬프트를 진행할 경우의 프롬프트 순서를 결정하도록 구성된다.
프롬프트부(803)가 결정된 프롬프트 순서에 따라, 장애물 회피 기기를 통해 제1 타입 타깃 대상에 대해 도로 상황 프롬프트를 진행하도록 구성된 경우, 또한,
결정된 프롬프트될 제1 타입 타깃 대상에 대응되는 프롬프트 순서에 따라, 프롬프트될 제1 타입 타깃 대상에 대응되는 거리 정보에서 지시하는 것; 프롬프트될 제1 타입 타깃 대상과 장애물 회피 기기 간의 거리가, 제1 기설정된 거리 임계값보다 작은 경우, 장애물 회피 기기를 통해 프롬프트될 제1 타입 타깃 대상에 대해 도로 상황 프롬프트를 진행하도록 구성된다.
일 가능한 실시형태에 있어서, 프롬프트부(803)가 장애물 회피 기기가 촬영한 시나리오 이미지, 제1 타입 타깃 대상에 대응되는 거리 정보 및 장애물 회피 기기에 대응되는 파라미터 정보에 기반하여, 장애물 회피 기기가 제1 타입 타깃 대상을 가리키는 제1 방향 정보를 결정하도록 구성된 경우, 또한,
장애물 회피 기기가 촬영한 시나리오 이미지에 기반하여, 장애물 회피 기기가 현실 시나리오에 대응되는 월드 좌표계에서의 포즈 정보를 결정하고;
시나리오 이미지에 대해 타깃 검출을 진행하여, 제1 타입 타깃 대상이 시나리오 이미지에 대응되는 이미지 좌표계에서의 2차원 검출 정보를 결정하며;
2차원 검출 정보, 제1 타입 타깃 대상에 대응되는 거리 정보 및 장애물 회피 기기에 대응되는 파라미터 정보에 기반하여, 제1 타입 타깃 대상이 월드 좌표계에서의 포즈 정보를 결정하며;
장애물 회피 기기에 대응되는 포즈 정보 및 제1 타입 타깃 대상에 대응되는 포즈 정보에 기반하여, 장애물 회피 기기가 제1 타입 타깃 대상을 가리키는 제1 방향 정보를 결정하도록 구성된다.
일 가능한 실시형태에 있어서, 프롬프트부(803)가 타깃 대상에 대응되는 타입 정보 및 위험 정보에 기반하여, 장애물 회피 기기를 통해 도로 상황 프롬프트를 진행하도록 구성된 경우, 또한,
타깃 대상이 비교통 지시 타입에 속하는 제2 타입 타깃 대상을 포함한 경우, 제2 타입 타깃 대상의 위험 정보에 기반하여, 제2 타입 타깃 대상으로부터 기설정된 조건을 만족하는 프롬프트될 제2 타입 타깃 대상을 결정하고;
프롬프트될 제2 타입 타깃 대상에 대응되는 거리 정보에서 지시하는 것; 프롬프트될 제2 타입 타깃 대상과 장애물 회피 기기 간의 거리가, 제2 기설정된 거리 임계값보다 작은 경우, 장애물 회피 기기를 통해 프롬프트될 제2 타입 타깃 대상에 대해 도로 상황 프롬프트를 진행하도록 구성된다.
일 가능한 실시형태에 있어서, 프롬프트부(803)가 제2 타입 타깃 대상의 위험 정보에 기반하여, 제2 타입 타깃 대상으로부터 기설정된 조건을 만족하는 프롬프트될 제2 타입 타깃 대상을 결정하도록 구성된 경우, 또한,
장애물 회피 기기가 촬영한 시나리오 이미지, 제2 타입 타깃 대상에 대응되는 거리 정보 및 장애물 회피 기기에 대응되는 파라미터 정보에 기반하여, 장애물 회피 기기가 가리키는 제2 타입 타깃 대상의 제2 방향 정보를 결정하고;
장애물 회피 기기가 촬영한 복수 개의 시나리오 이미지에 기반하여, 장애물 회피 기기의 운동 방향을 결정하며;
제2 타입 타깃 대상에 대응되는 제2 방향 정보 및 장애물 회피 기기의 운동 방향에 기반하여, 제2 방향 정보에 의해 지시된 제2 방향과 장애물 회피 기기의 운동 방향 간의 제2 각도를 결정하며;
제2 타입 타깃 대상이 복수 개의 제2 타깃 대상을 포함하는 경우, 제2 타입 타깃 대상으로부터 결정된 제2 각도가 기설정된 각도 임계값보다 작은 적어도 하나의 제2 타입 타깃 대상을, 프롬프트될 제2 타입 타깃 대상으로 사용하도록 구성되고, 적어도 하나의 제2 타입 타깃 대상에 대응되는 위험 정보에 의해 지시된 위험도는, 제2 타입 타깃 대상에서 프롬프트될 제2 타입 타깃 대상을 제외한 다른 타깃 대상에 대응되는 위험 정보에 의해 지시된 위험도보다 높다.
일 가능한 실시형태에 있어서, 획득부(801)는 또한,
장애물 회피 기기가 위치한 위치에 대응되는 도로 시나리오 유형을 획득하도록 구성되고;
프롬프트부(803)가 결정된 위험 정보에 기반하여, 장애물 회피 기기를 통해 도로 상황 프롬프트를 진행하도록 구성되는 경우, 또한,
결정된 위험 정보 및 도로 시나리오 유형에 기반하여, 장애물 회피 기기를 통해 도로 상황 프롬프트를 진행하도록 구성된다.
일 가능한 실시형태에 있어서, 획득부(801)가 장애물 회피 기기가 위치한 위치에 대응되는 도로 시나리오 유형을 획득하도록 구성된 경우, 또한,
장애물 회피 기기의 위치 정보를 획득하고;
장애물 회피 기기의 기설정된 내비게이션 경로로부터, 장애물 회피 기기의 위치 정보에 대응되는 도로 시나리오 유형을 결정하도록 구성된다.
일 가능한 실시형태에 있어서, 획득부(801)가 장애물 회피 기기가 위치한 위치에 대응되는 도로 시나리오 유형을 획득하도록 구성된 경우, 또한,
장애물 회피 기기가 촬영한 표지판 이미지를 획득하고;
표지판 이미지에 대해 시나리오 마크 식별을 수행하여, 장애물 회피 기기가 위치한 위치에 대응되는 도로 시나리오 유형을 결정하도록 구성된다.
일 가능한 실시형태에 있어서, 프롬프트부(803)는 결정된 위험 정보 및 도로 시나리오 유형에 기반하여, 장애물 회피 기기를 통해 도로 상황 프롬프트를 진행하도록 구성된 경우, 또한,
결정된 타깃 대상의 위험 정보에 기반하여, 제1 타입 프롬프트 정보를 생성하고;
도로 시나리오 유형에 기반하여, 제2 타입 프롬프트 정보를 생성하며;
기설정된 프롬프트 순서에 기반하여, 장애물 회피 기기를 통해 제1 타입 프롬프트 정보 및 제2 타입 프롬프트 정보에 대해 도로 상황 프롬프트를 진행하도록 구성된다.
장치에서의 각 부의 처리 프로세서 및 각 부 사이의 인터랙션 플로우의 설명은 상기 방법 실시예에서의 관련 설명을 참조할 수 있고, 여기서 더이상 상세하게 설명하지 않는다.
도 1에서의 도로 상황 프롬프트 방법에 대응하여, 본 발명의 실시예는 전자 기기 (900)를 더 제공하고, 도 10에 도시된 바와 같이, 본 발명의 실시예에서 제공한 전자 기기(900) 구조 예시도이고, 상기 전자 기기(800)는,
프로세서(91), 메모리(92) 및 버스(93)를 포함하고; 메모리(92)는 프로세서(91)에 의해 실행가능한 기계 판독 가능한 명령어를 저장하고, 전자 기기가 작동될 경우, 프로세서(91)와 메모리(92) 간은 버스(93)를 통해 통신하고, 기계 판독 가능한 명령어가 프로세서(91)에 의해 실행될 경우 상기 방법 실시예에서의 도로 상황 프롬프트 방법의 단계를 실행한다.
메모리(92)는 실행 명령어를 저장하도록 구성되고, 내부 저장소(921) 및 외부 메모리(922)를 포함하며; 여기서 내부 저장소(921)는 내부 메모리로도 지칭되고, 프로세서(91)에서의 연산 데이터 및 하드웨어 등 외부 메모리(922)와 교환되는 데이터를 잠시 저장하도록 구성되고, 프로세서(91)는 내부 저장소(921)를 통해 외부 메모리(922)와 데이터 교환을 진행하도록 구성되며, 상기 전자 기기(900)가 작동되는 경우, 프로세서(91)와 메모리(92) 사이는 버스(93)를 통해 통신하고, 프로세서(91)로 하여금 장애물 회피 기기에 대응되는 거리 법위 설정 내의 타깃 대상에 대응되는 대상 속성 정보 및 타깃 대상에 대응되는 거리정보를 획득하고; 타깃 대상에 대응되는 대상 속성 정보 및 거리 정보에 기반하여, 타깃 대상의 위험 정보를 결정하며; 결정된 위험 정보에 기반하여, 장애물 회피 기기를 통해 도로 상황 프롬프트를 진행하도록 한다.
또한, 전자 기기(900)는 상기 어느 한 실시예에서 제공한 도로 상황 프롬프트 방법의 단계를 실행할 수 있다.
본 발명의 실시예는 컴퓨터 판독 가능한 저장 매체를 더 제공하고, 상기 컴퓨터 판독 가능한 저장 매체에는 컴퓨터 프로그램이 저장되어 있으며, 상기 컴퓨터 프로그램이 프로세서에 의해 작동되는 경우 상기 방법 실시예에 따른 도로 상황 프롬프트 방법의 단계를 실행한다. 여기서, 상기 컴퓨터 판독 가능한 저장 매체는 휘발성 컴퓨터 판독 가능한 또는 비휘발성 컴퓨터 판독 가능한 저장 매체일 수 있다.
본 발명의 실시예에서 제공한 도로 상황 프롬프트 방법의 컴퓨터 프로그램 제품은, 컴퓨터 판독 가능한 코드를 포함하고, 상기 컴퓨터 판독 가능한 코드가 전자 기기에서 작동될 경우, 상기 전자 기기에서의 프로세서는 상기 방법의 실시예에서 전술한 도로 상황 프롬프트 방법의 단계를 실행하고, 상기 방법의 실시예를 참조할 수 있다.
본 발명의 실시예는 컴퓨터 프로그램을 더 제공하고, 상기 컴퓨터프로그램이 프로세서에 의해 실행될 경우 상기 실시예의 임의의 방법을 구현한다. 상기 컴퓨터 프로그램 제품은 하드웨어, 소프트웨어 또는 이들의 조합에 의해 구현된다. 하나의 선택적인 실시예에서, 상기 컴퓨터 프로그램 제품은 컴퓨터 저장 매체로 구현되며, 다른 하나의 선택적인 예에서, 상기 컴퓨터 프로그램 제품은 소프트웨어 개발 키트(Software Development Kit, SDK) 등과 같은 소프트웨어 제품으로 구현된다.
본 기술분야의 통상의 기술자는 설명의 편의 및 간결함을 위해, 상기 설명된 시스템, 장치의 동작 과정이, 전술된 방법 실시예 중 대응되는 과정을 참조할 수 있음을 이해할 수 있다. 본 발명에서 제공된 몇 개의 실시예에 있어서, 개시된 시스템, 장치 및 방법은 다른 방식으로 구현될 수 있음을 이해해야 한다. 전술된 장치 실시예는 다만 예시적이며, 예를 들어, 상기 유닛에 대한 분할은 다만 논리적 기능 분할이고, 실제로 구현될 경우 다른 분할 방식이 있을 수 있으며, 또 예를 들어, 복수 개의 유닛 또는 컴포넌트는 다른 시스템에 결합되거나 통합될 수 있거나, 일부 특징을 무시하거나 실행하지 않을 수 있다. 또한, 나타내거나 논의된 상호간의 결합 또는 직접 결합 또는 통신 연결은, 일부 통신 인터페이스를 통해 구현되며, 장치 또는 유닛을 통한 간접 결합 또는 통신 연결은, 전기, 기계 또는 다른 형태일 수 있다.
상기 분리 부재로서 설명된 유닛은, 물리적으로 분리된 것이거나 아닐 수 있고, 유닛으로서 나타낸 부재는 물리적 유닛이거나 아닐 수 있고, 즉 한 곳에 위치할 수 있거나, 복수 개의 네트워크 유닛에 분포될 수도 있다. 실제 필요에 따라 유닛의 일부 또는 전부를 선택하여 본 실시예 방안의 목적을 구현할 수 있다.
또한, 본 발명의 각 실시예에서의 각 기능 유닛은 하나의 처리 유닛에 통합될 수 있고, 각 유닛이 독립적인 물리적 존재일 수도 있고, 두 개 또는 두 개 이상의 유닛이 한 유닛에 통합될 수도 있다.
상기 기능이 소프트웨어 기능 유닛의 형태로 구현되고 단독적인 제품으로 판매되거나 사용될 경우, 하나의 프로세서가 실행 가능한 비휘발성 컴퓨터 판독 가능한 저장 매체에 저장될 수 있다. 이러한 이해에 기반하여, 본 발명의 기술 방안, 즉 종래 기술에 기여하는 부분 또는 상기 기술 방안의 일부는 소프트웨어 제품의 형태로 구현될 수 있고, 상기 컴퓨터 소프트웨어 제품은 하나의 저장 매체에 저장되며, 하나의 컴퓨터 기기(개인용 컴퓨터, 서버 또는 네트워크 기기 등일 수 있음)로 하여금 본 발명의 각 실시예의 상기 방법의 전부 또는 일부 단계를 실행하는데 사용되는 복수 개의 명령어를 포함한다. 전술한 저장 매체는 U 디스크, 모바일 디스크, 판독 전용 메모리(Read-Only Memory, ROM), 랜덤 액세스 메모리(Random Access Memory, RAM), 자기 디스크 또는 광 디스크 등 프로그램 코드를 저장할 수 있는 여러 가지 매체를 포함한다.
마지막으로 설명해야 할 것은, 이상 상기 실시예는, 다만 본 발명의 구체적인 실시형태일 뿐이고, 본 발명의 기술방안을 한정하려는 것이 아닌 설명하기 위함이며, 본 발명의 청구 범위는 이에 한정되지 않으며, 비록 전술한 실시예를 참조하여 본 발명에 대해 상세하게 설명하였지만, 본 분야의 기술자라면, 임의의 본 기술분야의 공지된 기술자가 본 발명에서 개시된 기술 범위 내에서, 여전히 전술한 실시예에서 기재된 기술방안을 수정하거나 용이하게 변화를 생각해낼 수 있으며, 또는 그것의 일부 기술 특징을 동등하게 대체할 수 있음을 이해해야 하고; 이러한 수정, 변화 또는 교체는 상응하는 기술방안의 본질이 본 발명의 기술방안의 사상 및 범위를 벗어나지 않도록 하며, 모두 본 발명의 보호 범위 내에 속해야 함을 이해해야 한다. 따라서, 본 발명의 보호 범위는 상기 특허 청구 범위의 보호 범위를 기준으로 해야 한다.
본 발명의 실시예는 도로 상황 프롬프트 방법, 장치, 전자 기기, 저장 매체 및 프로그램 제품을 개시하고, 여기서, 도로 상황 프롬프트 방법은, 장애물 회피 기기에 대응되는 거리 설정 범위 내의 타깃 대상에 대응되는 대상 속성 정보 및 상기 타깃 대상에 대응되는 거리 정보를 획득하는 단계; 상기 타깃 대상에 대응되는 상기 대상 속성 정보 및 상기 거리 정보에 기반하여, 상기 타깃 대상의 위험 정보를 결정하는 단계; 및 결정된 상기 위험 정보에 기반하여, 상기 장애물 회피 기기를 통해 도로 상황 프롬프트를 진행하는 단계를 포함한다. 상기 방안은 장애물이 상기 시각 장애인에 대한 위험 정보를 정확하게 결정할 수 있음으로써, 상기 위험 정보에 기반하여 도로 상황 프롬프트를 진행하여, 시각 장애인의 출행 안전을 향상시킨다.

Claims (21)

  1. 도로 상황 프롬프트 방법으로서,
    장애물 회피 기기에 대응되는 거리 설정 범위 내의 타깃 대상에 대응되는 대상 속성 정보 및 상기 타깃 대상에 대응되는 거리 정보를 획득하는 단계;
    상기 타깃 대상에 대응되는 상기 대상 속성 정보 및 상기 거리 정보에 기반하여, 상기 타깃 대상의 위험 정보를 결정하는 단계; 및
    결정된 상기 위험 정보에 기반하여, 상기 장애물 회피 기기를 통해 도로 상황 프롬프트를 진행하는 단계를 포함하는 것을 특징으로 하는 도로 상황 프롬프트트 방법.
  2. 제1항에 있어서,
    상기 장애물 회피 기기에 대응되는 거리 설정 범위 내의 타깃 대상에 대응되는 대상 속성 정보를 획득하는 단계는,
    상기 장애물 회피 기기가 타깃 도로 상황 시나리오를 촬영하여 얻은 시나리오 이미지를 획득하는 단계; 및
    상기 시나리오 이미지에 대해 타깃 검출을 진행하여, 상기 시나리오 이미지에 포함된 상기 타깃 대상 및 상기 타깃 대상에 대응되는 대상 속성 정보를 결정하는 단계를 포함하는 것을 특징으로 하는 도로 상황 프롬프트트 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 타깃 대상에 대응되는 거리 정보를 획득하는 단계는,
    상기 장애물 회피 기기가 타깃 도로 상황 시나리오를 촬영하여 얻은 시나리오 이미지 및 심층 이미지를 획득하는 단계; 및
    상기 시나리오 이미지 및 상기 심층 이미지에 기반하여, 상기 타깃 대상에 대응되는 거리 정보를 결정하는 단계 - 상기 거리 정보는 상기 타깃 대상과 상기 장애물 회피 기기 간의 거리를 포함함 - 를 포함하는 것을 특징으로 하는 도로 상황 프롬프트트 방법.
  4. 제3항에 있어서,
    상기 시나리오 이미지 및 상기 심층 이미지에 기반하여, 상기 타깃 대상에 대응되는 거리 정보를 결정하는 단계는,
    상기 시나리오 이미지 및 상기 심층 이미지에 포함된 보정 특징 포인트를 각각 추출하는 단계; 및
    상기 시나리오 이미지의 보정 특징 포인트 및 상기 심층 이미지의 보정 특징 포인트에 기반하여, 상기 시나리오 이미지 및 상기 심층 이미지를 정렬하고, 상기 심층 이미지에서 상기 시나리오 이미지에 포함된 상기 타깃 대상의 심층 정보를 추출하여, 상기 타깃 대상에 대응되는 거리 정보를 얻는 단계를 포함하는 것을 특징으로 하는 도로 상황 프롬프트트 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 타깃 대상에 대응되는 상기 대상 속성 정보 및 상기 거리 정보에 기반하여, 상기 타깃 대상의 위험 정보를 결정하는 단계는,
    상기 타깃 대상에 대응되는 상기 대상 속성 정보에 기반하여, 상기 타깃 대상에 대응되는 제1 위험 계수를 결정하는 단계;
    상기 타깃 대상에 대응되는 거리 정보에 의해 지시된 상기 타깃 대상과 상기 장애물 회피 기기 간의 거리에 따라, 상기 타깃 대상에 대응되는 제2 위험 계수를 결정하는 단계; 및
    상기 거리 정보, 상기 제1 위험 계수 및 상기 제2 위험 계수에 기반하여, 상기 타깃 대상의 위험 정보를 결정하는 단계를 포함하는 것을 특징으로 하는 도로 상황 프롬프트트 방법.
  6. 제5항에 있어서,
    상기 거리 정보, 상기 제1 위험 계수 및 상기 제2 위험 계수에 기반하여, 상기 타깃 대상의 위험 정보를 결정하는 단계는,
    상기 장애물 회피 기기의 촬영 범위에 대응되는 가장 먼 거리 및 상기 거리 정보에 기반하여, 타깃 거리 차이값을 결정하는 단계; 및
    상기 타깃 거리 차이값, 상기 제1 위험 계수 및 상기 제2 위험 계수의 곱을, 상기 타깃 대상의 위험 정보로 사용하는 것을 포함하는 것을 특징으로 하는 도로 상황 프롬프트트 방법.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 도로 상황 프롬프트 방법은,
    상기 타깃 대상에 대응되는 대상 속성 정보에 기반하여, 상기 타깃 대상에 대응되는 타입 정보를 결정하는 단계 - 상기 타입 정보는 교통 지시 타입 및 비교통 지시 타입 중 적어도 하나를 포함함 - 를 더 포함하고,
    상기 결정된 상기 위험 정보에 기반하여, 상기 장애물 회피 기기를 통해 도로 상황 프롬프트를 진행하는 단계는,
    상기 타깃 대상에 대응되는 상기 타입 정보 및 상기 위험 정보에 기반하여, 상기 장애물 회피 기기를 통해 상기 도로 상황 프롬프트를 진행하는 단계를 포함하는 것을 특징으로 하는 도로 상황 프롬프트 방법.
  8. 제7항에 있어서,
    상기 도로 상황 프롬프트의 프롬프트 순서에서, 상기 교통 지시 타입에 속하는 제1 타입 타깃 대상의 우선 순위는, 상기 비교통 지시 타입에 속하는 제2 타입 타깃 대상의 우선 순위보다 높거나 같은 것을 특징으로 하는 도로 상황 프롬프트 방법.
  9. 제7항 또는 제8항에 있어서,
    상기 타깃 대상에 대응되는 상기 타입 정보 및 상기 위험 정보에 기반하여, 상기 장애물 회피 기기를 통해 상기 도로 상황 프롬프트를 진행하는 단계는,
    상기 타깃 대상이 상기 교통 지시 타입에 속하는 제1 타입 타깃 대상을 포함하는 경우, 상기 제1 타입 타깃 대상의 위험 정보에 기반하여, 상기 제1 타입 타깃 대상이 상기 장애물 회피 기기를 통해 상기 도로 상황 프롬프트를 진행할 경우의 프롬프트 순서를 결정하는 단계; 및
    상기 결정된 프롬프트 순서에 따라, 상기 장애물 회피 기기를 통해 상기 제1 타입 타깃 대상에 대해 도로 상황 프롬프트를 진행하는 단계를 포함하는 것을 특징으로 하는 도로 상황 프롬프트 방법.
  10. 제9항에 있어서,
    상기 제1 타입 타깃 대상의 위험 정보에 기반하여, 상기 제1 타입 타깃 대상이 상기 장애물 회피 기기를 통해 상기 도로 상황 프롬프트를 진행할 경우의 프롬프트 순서를 결정하는 단계는,
    상기 장애물 회피 기기가 촬영한 시나리오 이미지, 상기 제1 타입 타깃 대상에 대응되는 거리 정보 및 상기 장애물 회피 기기에 대응되는 파라미터 정보에 기반하여, 장애물 회피 기기가 상기 제1 타입 타깃 대상을 가리키는 제1 방향 정보를 결정하는 단계;
    상기 장애물 회피 기기가 촬영한 복수 개의 시나리오 이미지에 기반하여, 상기 장애물 회피 기기의 운동 방향을 결정하는 단계;
    상기 제1 타입 타깃 대상에 복수 개가 포함되는 경우, 상기 제1 타입 타깃 대상에 대응되는 제1 방향 정보 및 상기 장애물 회피 기기의 운동 방향에 기반하여, 상기 제1 타입 타깃 대상으로부터 프롬프트될 제1 타입 타깃 대상을 결정하는 단계 - 상기 프롬프트될 제1 타입 타깃 대상에 대응되는 제1 방향 정보에 의해 지시된 방향과 상기 장애물 회피 기기의 운동 방향 간의 제1 각도는 설정된 각도 임계값보다 작음 - ; 및
    상기 프롬프트될 제1 타입 타깃 대상의 위험 정보에 기반하여, 상기 프롬프트될 제1 타입 타깃 대상이 상기 장애물 회피 기기를 통해 상기 도로 상황 프롬프트를 진행할 경우의 프롬프트 순서를 결정하는 단계를 포함하고;
    상기 결정된 상기 프롬프트 순서에 따라, 상기 장애물 회피 기기를 통해 상기 제1 타입 타깃 대상에 대해 도로 상황 프롬프트를 진행하는 단계는,
    결정된 상기 프롬프트될 제1 타입 타깃 대상에 대응되는 상기 프롬프트 순서에 따라, 상기 프롬프트될 제1 타입 타깃 대상에 대응되는 거리 정보에 의해 지시된 상기 프롬프트될 제1 타입 타깃 대상과 상기 장애물 회피 기기 간의 거리가, 제1 기설정된 거리 임계값보다 작은 경우, 상기 장애물 회피 기기를 통해 상기 프롬프트될 제1 타입 타깃 대상에 대해 도로 상황 프롬프트를 진행하는 단계를 포함하는 것을 특징으로 하는 도로 상황 프롬프트 방법.
  11. 제10항에 있어서,
    상기 장애물 회피 기기가 촬영한 시나리오 이미지, 상기 제1 타입 타깃 대상에 대응되는 거리 정보 및 상기 장애물 회피 기기에 대응되는 파라미터 정보에 기반하여, 장애물 회피 기기가 제1 타입 타깃 대상을 가리키는 제1 방향 정보를 결정하는 단계는,
    상기 장애물 회피 기기가 촬영한 상기 시나리오 이미지에 기반하여, 상기 장애물 회피 기기가 현실 시나리오에 대응되는 월드 좌표계에서의 포즈 정보를 결정하는 단계;
    상기 시나리오 이미지에 대해 타깃 검출을 진행하여, 상기 제1 타입 타깃 대상이 상기 시나리오 이미지에 대응되는 이미지 좌표계에서의 2차원 검출 정보를 결정하는 단계;
    상기 2차원 검출 정보, 상기 제1 타입 타깃 대상에 대응되는 거리 정보 및 상기 장애물 회피 기기에 대응되는 파라미터 정보에 기반하여, 상기 제1 타입 타깃 대상이 상기 월드 좌표계에서의 포즈 정보를 결정하는 단계; 및
    상기 장애물 회피 기기에 대응되는 포즈 정보 및 상기 제1 타입 타깃 대상에 대응되는 포즈 정보에 기반하여, 상기 장애물 회피 기기가 상기 제1 타입 타깃 대상을 가리키는 제1 방향 정보를 결정하는 단계를 포함하는 것을 특징으로 하는 도로 상황 프롬프트 방법.
  12. 제7항 내지 제11항 중 어느 한 항에 있어서,
    상기 타깃 대상에 대응되는 상기 타입 정보 및 상기 위험 정보에 기반하여, 상기 장애물 회피 기기를 통해 상기 도로 상황 프롬프트를 진행하는 단계는,
    상기 타깃 대상이 상기 비교통 지시 타입에 속하는 제2 타입 타깃 대상을 포함할 경우, 상기 제2 타입 타깃 대상의 위험 정보에 기반하여, 상기 제2 타입 타깃 대상으로부터 기설정된 조건을 만족하는 프롬프트될 제2 타입 타깃 대상을 결정하는 단계; 및
    프롬프트될 제2 타입 타깃 대상에 대응되는 거리 정보에 의해 지시된 프롬프트될 제2 타입 타깃 대상과 장애물 회피 기기 간의 거리가, 제2 기설정된 거리 임계값보다 작은 경우, 상기 장애물 회피 기기를 통해 프롬프트될 제2 타입 타깃 대상에 대해 도로 상황 프롬프트를 진행하는 단계를 포함하는 것을 특징으로 하는 도로 상황 프롬프트 방법.
  13. 제12항에 있어서,
    상기 제2 타입 타깃 대상의 위험 정보에 기반하여, 상기 제2 타입 타깃 대상으로부터 기설정된 조건을 만족하는 프롬프트될 제2 타입 타깃 대상을 결정하는 단계는,
    상기 장애물 회피 기기가 촬영한 시나리오 이미지, 상기 제2 타입 타깃 대상에 대응되는 거리 정보 및 상기 장애물 회피 기기에 대응되는 파라미터 정보에 기반하여, 상기 장애물 회피 기기가 상기 제2 타입 타깃 대상을 가리키는 제2 방향 정보를 결정하는 단계;
    상기 장애물 회피 기기가 촬영한 복수 개의 시나리오 이미지에 기반하여, 상기 장애물 회피 기기의 운동 방향을 결정하는 단계;
    상기 제2 타입 타깃 대상에 대응되는 제2 방향 정보 및 상기 장애물 회피 기기의 운동 방향에 기반하여, 상기 제2 방향 정보에 의해 지시된 제2 방향과 상기 장애물 회피 기기의 운동 방향 간의 제2 각도를 결정하는 단계; 및
    상기 제2 타입 타깃 대상에 복수 개가 포함되는 경우, 상기 제2 타입 타깃 대상으로부터 결정된 상기 제2 각도가 기설정된 각도 임계값보다 작은 적어도 하나의 제2 타입 타깃 대상을, 상기 프롬프트될 제2 타입 타깃 대상으로 사용하는 단계 - 상기 적어도 하나의 제2 타입 타깃 대상에 대응되는 위험 정보에 의해 지시된 위험도는, 상기 제2 타입 타깃 대상에서 상기 프롬프트될 제2 타입 타깃 대상을 제외한 다른 타깃 대상에 대응되는 위험 정보에 의해 지시된 위험도보다 높음 - 를 포함하는 것을 특징으로 하는 도로 상황 프롬프트 방법.
  14. 제1항 내지 제13항 중 어느 한 항에 있어서,
    상기 도로 상황 프롬프트 방법은,
    상기 장애물 회피 기기가 위치한 위치에 대응되는 도로 시나리오 유형을 획득하는 단계를 더 포함하고,
    상기 결정된 상기 위험 정보에 기반하여, 상기 장애물 회피 기기를 통해 도로 상황 프롬프트를 진행하는 단계는,
    결정된 상기 위험 정보 및 상기 도로 시나리오 유형에 기반하여, 상기 장애물 회피 기기를 통해 상기 도로 상황 프롬프트를 진행하는 단계를 포함하는 것을 특징으로 하는 도로 상황 프롬프트 방법.
  15. 제14항에 있어서,
    상기 장애물 회피 기기가 위치한 위치에 대응되는 도로 시나리오 유형을 획득하는 단계는,
    상기 장애물 회피 기기의 위치 정보를 획득하는 단계; 및
    상기 장애물 회피 기기의 기설정된 내비게이션 경로로부터, 상기 장애물 회피 기기의 위치 정보에 대응되는 도로 시나리오 유형을 결정하는 단계를 포함하는 것을 특징으로 하는 도로 상황 프롬프트 방법.
  16. 제14항 또는 제15항에 있어서,
    상기 장애물 회피 기기가 위치한 위치에 대응되는 도로 시나리오 유형을 획득하는 단계는,
    상기 장애물 회피 기기가 촬영한 표지판 이미지를 획득하는 단계; 및
    상기 표지판 이미지에 대해 시나리오 마크 식별을 수행하여, 상기 장애물 회피 기기가 위치한 영역에 대응되는 도로 시나리오 유형을 결정하는 단계를 포함하는 것을 특징으로 하는 도로 상황 프롬프트 방법.
  17. 제14항 내지 제16항 중 어느 한 항에 있어서,
    상기 결정된 상기 위험 정보 및 상기 도로 시나리오 유형에 기반하여, 상기 장애물 회피 기기를 통해 상기 도로 상황 프롬프트를 진행하는 단계는,
    결정된 상기 타깃 대상의 위험 정보에 기반하여, 제1 타입 프롬프트 정보를 생성하는 단계;
    상기 도로 시나리오 유형에 기반하여, 제2 타입 프롬프트 정보를 생성하는 단계; 및
    기설정된 프롬프트 순서에 기반하여, 상기 장애물 회피 기기를 통해 상기 제1 타입 프롬프트 정보 및 상기 제2 타입 프롬프트 정보에 대해 상기 도로 상황 프롬프트를 진행하는 단계를 포함하는 것을 특징으로 하는 도로 상황 프롬프트 방법.
  18. 도로 상황 프롬프트 장치로서,
    장애물 회피 기기에 대응되는 거리 설정 범위 내의 타깃 대상에 대응되는 대상 속성 정보 및 상기 타깃 대상에 대응되는 거리 정보를 획득하도록 구성된 획득부;
    상기 타깃 대상에 대응되는 상기 대상 속성 정보 및 상기 거리 정보에 기반하여, 상기 타깃 대상의 위험 정보를 결정하도록 구성된 결정부; 및
    결정된 상기 위험 정보에 기반하여, 상기 장애물 회피 기기를 통해 도로 상황 프롬프트를 진행하도록 구성된 프롬프트부를 포함하는 것을 특징으로 하는 도로 상황 프롬프트 장치.
  19. 전자 기기로서,
    상기 전자 기기는,
    프로세서, 메모리 및 버스를 포함하며, 상기 메모리에는 상기 프로세서가 실행 가능한 기계 판독 가능한 명령어가 저장되며, 전자 기기가 작동될 경우, 상기 프로세서와 상기 메모리 사이는 버스를 통해 통신하고, 상기 기계 판독 가능한 명령어가 상기 프로세서에 의해 실행될 경우 제1항 내지 제 17항의 어느 한 항에 따른 도로 상황 프롬프트 방법의 단계를 실행하는 것을 특징으로 하는 전자 기기.
  20. 컴퓨터 판독 가능 저장 매체로서,
    상기 컴퓨터 판독 가능한 저장 매체에는 컴퓨터 프로그램이 저장되며, 상기 컴퓨터 프로그램이 프로세서에 의해 실행될 경우, 제1항 내지 제17항 중 어느 한 항에 따른 도로 상황 프롬프트 방법의 단계를 실행하는 것을 특징으로 하는 컴퓨터 판독 가능 저장 매체.
  21. 컴퓨터 프로그램 제품으로서,
    컴퓨터 판독 가능한 코드를 포함하고, 상기 컴퓨터 판독 가능한 코드가 전자 기기에서 작동될 경우, 상기 전자 기기에서의 프로세서는 제1항 내지 제17항 중 어느 한 항에 따른 도로 상황 프롬프트 방법의 단계를 실행하는 것을 특징으로 하는 컴퓨터 프로그램 제품.
KR1020227011056A 2020-08-28 2021-05-21 도로 상황 프롬프트 방법, 장치, 전자 기기, 저장 매체 및 프로그램 제품 KR20220057577A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202010887576.X 2020-08-28
CN202010887576.XA CN111968376B (zh) 2020-08-28 2020-08-28 一种路况提示方法、装置、电子设备及存储介质
PCT/CN2021/095149 WO2022041869A1 (zh) 2020-08-28 2021-05-21 路况提示方法、装置、电子设备、存储介质及程序产品

Publications (1)

Publication Number Publication Date
KR20220057577A true KR20220057577A (ko) 2022-05-09

Family

ID=73400863

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227011056A KR20220057577A (ko) 2020-08-28 2021-05-21 도로 상황 프롬프트 방법, 장치, 전자 기기, 저장 매체 및 프로그램 제품

Country Status (4)

Country Link
JP (1) JP2022550895A (ko)
KR (1) KR20220057577A (ko)
CN (1) CN111968376B (ko)
WO (1) WO2022041869A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111968376B (zh) * 2020-08-28 2022-06-28 北京市商汤科技开发有限公司 一种路况提示方法、装置、电子设备及存储介质
CN112489460A (zh) * 2020-12-03 2021-03-12 百度国际科技（深圳）有限公司 信号灯信息的输出方法和装置
CN112906625A (zh) * 2021-03-12 2021-06-04 北京市商汤科技开发有限公司 一种避障提示方法、装置、电子设备及存储介质
CN112907757A (zh) * 2021-04-08 2021-06-04 深圳市慧鲤科技有限公司 一种导航提示方法、装置、电子设备及存储介质
CN115148025B (zh) * 2022-06-28 2023-10-20 重庆长安汽车股份有限公司 一种交通目标轨迹预测方法及可读存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104427960B (zh) * 2011-11-04 2017-11-24 马萨诸塞眼科耳科诊所 自适应视觉辅助装置
CN105078717A (zh) * 2014-05-19 2015-11-25 中兴通讯股份有限公司 一种智能导盲方法及设备
US20180185232A1 (en) * 2015-06-19 2018-07-05 Ashkon Namdar Wearable navigation system for blind or visually impaired persons with wireless assistance
CN105167967B (zh) * 2015-09-14 2018-04-03 深圳市冠旭电子股份有限公司 一种导盲方法及系统
CN106375448A (zh) * 2016-09-05 2017-02-01 腾讯科技（深圳）有限公司 图像处理方法和装置及系统
CN107976199A (zh) * 2016-10-25 2018-05-01 中兴通讯股份有限公司 无人机导航方法、系统及无人机
JP2018138118A (ja) * 2017-02-24 2018-09-06 シナノケンシ株式会社 視覚障害者歩行支援装置
CN109427343B (zh) * 2017-09-04 2022-06-10 比亚迪股份有限公司 导盲语音处理方法、装置及系统
WO2019084797A1 (zh) * 2017-10-31 2019-05-09 深圳市大疆创新科技有限公司 一种障碍信息显示方法、显示装置、无人机及系统
CN111968376B (zh) * 2020-08-28 2022-06-28 北京市商汤科技开发有限公司 一种路况提示方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN111968376B (zh) 2022-06-28
CN111968376A (zh) 2020-11-20
WO2022041869A1 (zh) 2022-03-03
JP2022550895A (ja) 2022-12-05

Similar Documents

Publication Publication Date Title
KR20220057577A (ko) 도로 상황 프롬프트 방법, 장치, 전자 기기, 저장 매체 및 프로그램 제품
KR102541561B1 (ko) 차량의 주행을 위한 정보를 제공하는 방법 및 그 장치들
JP6763448B2 (ja) 視覚強化ナビゲーション
JP7302934B2 (ja) ナビゲーション情報を匿名化するためのシステム及び方法
KR102434580B1 (ko) 가상 경로를 디스플레이하는 방법 및 장치
KR102595897B1 (ko) 차선 결정 방법 및 장치
US20190251374A1 (en) Travel assistance device and computer program
EP3624002A2 (en) Training data generating method for image processing, image processing method, and devices thereof
CN109730910B (zh) 出行的视觉辅助系统及其辅助设备、方法、可读存储介质
CN110347145A (zh) 用于自动驾驶车辆的感知辅助
CN106289290A (zh) 一种路径导航系统及方法
JP2011227888A (ja) 画像処理システム及び位置測位システム
KR20200046437A (ko) 영상 및 맵 데이터 기반 측위 방법 및 장치
KR20200093271A (ko) 랜드마크 위치 추정 장치와 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능한 기록매체
KR20200095338A (ko) 스마트폰을 사용하는 보행자를 보호하기 위한 첨단 보행자 보조 시스템을 제공하는 방법 및 장치
CN113205088A (zh) 障碍物图像展示方法、电子设备和计算机可读介质
JP6444508B2 (ja) 表示制御装置およびナビゲーション装置
KR101281629B1 (ko) 센서를 이용한 운전 안내 시스템
US20210173095A1 (en) Method and apparatus for determining location by correcting global navigation satellite system based location and electronic device thereof
US20220412741A1 (en) Information processing apparatus, information processing method, and program
US10621858B1 (en) Systems and methods for improving situational awareness of a user
Gonnot et al. Integrated machine vision and communication system for blind navigation and guidance
Matviienko et al. QuantiBike: Quantifying Perceived Cyclists' Safety via Head Movements in Virtual Reality and Outdoors
JP2014174880A (ja) 情報提供装置、及び情報提供プログラム
Grewe et al. Road following for blindBike: an assistive bike navigation system for low vision persons

Legal Events

Date Code Title Description
A201 Request for examination