KR20210074364A - 교차로 상태 검출방법, 장치, 전자장치 및 차량 - Google Patents

교차로 상태 검출방법, 장치, 전자장치 및 차량 Download PDF

Info

Publication number
KR20210074364A
KR20210074364A KR1020217014702A KR20217014702A KR20210074364A KR 20210074364 A KR20210074364 A KR 20210074364A KR 1020217014702 A KR1020217014702 A KR 1020217014702A KR 20217014702 A KR20217014702 A KR 20217014702A KR 20210074364 A KR20210074364 A KR 20210074364A
Authority
KR
South Korea
Prior art keywords
intersection
target
state
vehicle breaker
state information
Prior art date
Application number
KR1020217014702A
Other languages
English (en)
Inventor
싱유 조우
건 왕
싱유 젱
Original Assignee
베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 filed Critical 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드
Publication of KR20210074364A publication Critical patent/KR20210074364A/ko

Links

Images

Classifications

    • G06K9/00805—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06K9/00798—
    • G06K9/00825—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 출원은 교차로 상태 검출 방법, 장치, 전자장치 및 차량을 공개하였으며, 방법은, 획득된 이미지에 대해 차량차단기를 포함하는 목표 물체 검출을 수행하여, 목표 물체의 목표 검출 프레임을 획득하는 단계; 상기 목표 물체의 목표 검출 프레임에 따라 상기 목표 물체의 목표 상태 정보를 확정하는 단계; 상기 목표 물체의 목표 상태 정보에 따라 교차로의 교차로 상태 정보를 확정하는 단계를 포함한다.

Description

교차로 상태 검출방법, 장치, 전자장치 및 차량
본 출원은 2018년 11월 13일 중국 특허국에 출원번호가 201811351511.2이고, 출원명칭이 "교차로 상태 검출방법, 장치, 전자장치 및 차량"인 중국 특허 출원의 우선권을 청구하였으며, 그 내용 전부는 인용을 통해 본 출원에 결합시켰다.
본 발명은 머신 비전 기술분야에 관한 것으로서, 특히 교차로 상태 검출방법, 장치, 전자장치 및 차량에 관한 것이다.
현재, 인공지능이 첨단 운전자 보조 시스템(Advanced Driver Assistance Systems, ADAS) 또는 자율주행, 시각장애인용 보행 안내장치 등의 보조시스템과 같은 다양한 분야에 이미 운용되면서 사람들의 생활이 갈수록 편리해지고 있다. 예컨대 ADAS는 차량에 설치된 각종 센서를 이용하여, 자동차가 주행하는 과정에서 각종 데이터를 수집하고, 정적, 동적 물체의 식별, 탐지와 추적을 수행하여, 발생할 가능성이 있는 위험을 운전자에게 미리 인식시킴으로써, 자동차 운전의 쾌적성과 안전성을 향상시키기에 효과적이다.
그러나, 이러한 보조시스템을 사용하는 과정에서, 교차로, 주차장, 철도 교차로 등과 같이 각종 복잡한 환경을 만날 수 있으므로, 시스템은 각기 다른 주행 환경에 따라 상이한 검출 방법을 설계하여, 특정 환경에서 특정 환경에 맞는 안내 메시지를 생성할 필요가 있다.
본 출원의 실시예는 교차로 상태 검출 기술방안을 제공한다.
첫 번째 측면으로, 본 출원의 실시예는 교차로 상태 검출방법을 제공하며, 상기 방법은:
획득한 이미지에 대해 차량차단기를 포함하는 목표 물체 검출을 수행하여 목표 물체의 목표 검출 프레임을 획득하는 단계;
상기 목표 물체의 목표 검출 프레임에 따라 상기 목표 물체의 목표 상태 정보를 확정하는 단계;
상기 목표 물체의 목표 상태 정보에 따라 교차로의 교차로 상태 정보를 확정하는 단계를 포함한다.
두 번째 측면으로, 본 출원은 교차로 상태 검출장치를 제공하며, 이는
획득한 이미지에 대해 차량차단기를 포함하는 목표 물체 검출을 수행하여 목표 물체의 목표 검출 프레임을 획득하기 위한 검출 유닛;
상기 목표 물체의 목표 검출 프레임에 따라 상기 목표 물체의 목표 상태 정보를 확정하기 위한 처리 유닛;
상기 목표 물체의 목표 상태 정보에 따라 교차로의 교차로 상태 정보를 확정하기 위한 처리유닛을 포함한다.
세 번째 측면으로, 본 출원은 서로 연결되는 프로세서, 입출력장치 및 메모리를 포함하는 전자장치를 제공하며, 여기서, 상기 메모리는 컴퓨터 프로그램을 저장하기 위한 것이고, 상기 입출력장치는 데이터를 입력 또는 출력하기 위한 것이며, 상기 컴퓨터 프로그램은 프로그램 명령을 포함하고, 상기 프로세서는 상기 프로그램 명령을 호출하여 첫 번째 측면에 따른 상기 방법을 실행하도록 배치된다.
네 번째 측면으로, 본 출원은 컴퓨터 프로그램이 저장된 컴퓨터 저장매체를 제공하며, 상기 컴퓨터 프로그램은 프로세서에 의해 실행 시 첫 번째 측면에 따른 방법을 구현하는 것을 특징으로 한다.
다섯 번째 측면으로, 본 출원은 세 번째 측면에 따른 상기 전자장치 또는 네 번째 측면에 따른 컴퓨터 저장 매체가 설치되는 차량을 제공한다.
본 출원의 실시예가 제공하는 교차로 상태 검출 기술방안의 실시를 통해, 차량차단기가 설치된 교차로에서, 머신 비전 방식을 통해 차량차단기 등의 목표 물체에 대해 검출과 식별을 수행하고, 검출 및 식별된 목표의 이미지 정보에 따라 각 목표의 목표 상태를 판단하며, 각 목표의 목표 상태를 결합하여 교차로의 상태 정보 및 교차로에 대한 안내 메시지 등을 생성함으로써, ADAS, 자율주행, 시각장애인 안내장치, 로봇 등 시스템의 응용 상황 및 응용의 안전성을 높일 수 있다.
본 출원의 실시예의 기술방안을 보다 명확하게 설명하기 위하여, 이하 실시예에 대해 기재 시 사용해야 할 첨부도면에 대해 간단히 소개한다. 이하 첨부도면은 본 출원의 일부 실시예일뿐, 본 분야의 보통 기술자에게 있어서, 창조적인 노동을 하지 않는다는 전제하에, 이러한 도면에 따라 다른 도면을 더 획득할 수도 있음은 자명하다.
도 1은 본 출원의 실시예가 제공하는 교차로 검출 방법의 흐름도이다.
도 2는 본 출원의 실시예가 제공하는 차량차단기의 상태도이다.
도 3은 본 출원의 실시예가 제공하는 후보 검출 프레임의 설명도이다.
도 4는 본 출원의 실시예가 제공하는 이미지 좌표계의 설명도이다.
도 5는 본 출원의 실시예가 제공하는 철도 교차로 상태 및 각 상태 간의 전환관계 설명도이다.
도 6은 본 출원의 실시예가 제공하는 다른 철도 교차로 상태 및 각 상태 간의 전환관계 설명도이다.
도 7은 본 출원의 실시예가 제공하는 교차로 안내 메시지 생성장치의 블록도이다.
도 8은 본 출원의 실시예가 제공하는 전자장치의 블록도이다.
이하 본 출원의 실시예 중의 첨부도면을 결합하여, 본 출원의 실시예 중의 기술방안에 대해 명확하고 완전하게 설명한다. 물론, 설명하는 실시예는 본 출원의 일부 실시예일뿐 전체 실시예가 아님은 자명하다. 본 출원의 실시예를 바탕으로, 본 분야의 보통 기술자가 창조적인 노동을 하지 않는 전제하에 획득된 모든 기타 실시예는 모두 본 출원의 보호범위에 속한다.
본 명세서와 청구항에서 사용되는 용어 "포함하다"와 "포함"은 기재되는 특징, 완전체, 단계, 조작, 원소 및/또는 어셈블리가 존재함을 의미하나, 하나 또는 다수의 기타 특징, 완전체, 단계, 조작, 원소, 어셈블리 및/또는 이들의 집합의 존재 또는 첨가를 배제하지 않는다는 점을 이해해야 한다.
또한, 본 출원 명세서에서 사용되는 용어는 단지 특정 실시예를 설명하기 위한 목적이지 본 출원을 제한하려는 의도가 있는 것이 아니며, 본 출원 명세서와 상기 청구항에 사용된 바와 같이, 본문에서 기타 상황을 명시하지 않는 한, 단수 형식의 "일", "하나", 및 "상기"는 복수의 형식을 포함한다는 점을 이해해야 한다.
본 명세서와 청구항에 사용된 바와 같이, 용어 "만약"은 본문에 따라 "??인 경우" 또는 "일단" 또는 "결정에 응답하여" 또는 "검출된????바에 응답하여"로 해석될 수 있다. 유사하게, [기재하는 조건 또는 사건]이"확정된다면" 또는 "검출된다면"은 본문에서 "일단 확정되면" 또는 "확정에 응답하여" 또는 "[기재하는 조건 또는 사건]이 일단 검출되면" 또는 "검출된 [기재하는 조건 또는 사건]에 응답하여"로 해석될 수 있다.
본 출원의 실시예 중의 용어 "제1", "제2"는 단지 목적을 설명하기 위한 것일 뿐, 상대적인 중요성을 지시 및 암시하거나 또는 지시하는 기술특징의 수량을 암묵적으로 명시하는 것으로 이해해서는 안 된다. 따라서, "제1", "제2"로 한정된 특징은 하나 또는 그 이상의 상기 특징을 명시하거나 또는 암묵적으로 포함할 수 있다.
본 출원의 실시예 중 "적어도 하나"는 하나 또는 다수를 의미하고, "다수"는 두 개 또는 두 개 이상을 의미한다.
본 출원의 실시예에서 사용된 용어 "및/또는"은 관련하여 열거된 항목 중의 하나 또는 다수의 임의의 조합을 가리킨다. 예를 들어, A 및/또는 B는 A가 단독으로 존재하거나, A와 B가 동시에 존재하거나, B가 단독으로 존재하는 3가지 상황을 나타낼 수 있으며, 여기서 A, B는 단수 또는 복수일 수 있다. 부호 "/"는 일반적으로 전후의 관련 대상이 "또는"의 관계인 것을 나타낸다. "아래 중의 적어도 한 항(개)"또는 그와 유사한 표현은 이러한 항목 중의 임의의 조합을 나타낸다. 예를 들어 a, b 또는 c 중의 적어도 한 항(개)는 a, b, c, a-b, a-c, b-c 또는 a-b-c를 나타낼 수 있으며, 여기서 a, b, c는 단수일 수도 있고, 다수일 수도 있다.
본 출원 중 "예시적인" 또는 "예를 들어"로 기재되는 임의의 실시예 또는 설계방안은 다른 실시예 또는 설계방안보다 더 우수하거나 더 많은 장점을 지니는 것으로 해석되어서는 안 된다. 확실하게 말하면, "예시적으로" 또는 "예를 들어" 등의 용어는 구체적인 방식으로 관련 개념을 나타내기 위한 것이다.
본 출원에서 제공하는 교차로 검출방법에 대해 설명하기 전, 먼저 본 출원의 응용 상황에 대해 소개한다. 본 출원이 제공하는 교차로 검출방법은 차량차단기가 설치된 교차로, 예를 들어 철도와 도로의 교차로, 주차장 입구, 톨게이트, 골목 입구 등에 응용된다.
본 출원의 실시예는 교차로 검출방법을 제공한다. 도 1을 참조하면, 도 1은 본 출원의 실시예가 제공하는 교차로 검출방법의 흐름도로서, 도 1에 도시된 바와 같이 상기 방법은 이하 단계를 포함한다.
102: 획득된 이미지에 대해 목표 물체의 검출을 수행하여, 목표 물체의 목표 검출 프레임을 획득하는 단계로서, 상기 목표 물체는 차량차단기를 포함한다.
본 출원의 실시예에서, 단말은 참고 대상에 설치된 카메라를 통해 수집한 상기 참고 대상 전방의 이미지를 획득하고, 상기 이미지에 대해 목표 물체 검출을 수행하여, 상기 목표 물체에 대응되는 목표 검출 프레임을 획득한다. 여기서, 각 목표 물체는 하나의 목표 검출 프레임에 대응되며, 전방이란 상기 참고 대상의 전진방향을 지칭하고, 상기 참고 대상은 차량, 로봇, 웨어러블 장치 및 시각장애인 안내장치 등을 포함한다.
104: 상기 목표 물체의 목표 검출 프레임에 따라 상기 목표 물체의 목표 상태 정보를 확정하는 단계.
본 출원의 실시예에서, 상기 목표 물체가 차량차단기인 경우, 상기 목표 검출 프레임은 직사각형 프레임이며, 상기 차량차단기에 대응하는 목표 검출 프레임의 길이-폭비에 따라 상기 차량차단기의 목표 상태 정보를 즉시 확인할 수 있다. 여기서, 차량차단기의 목표 상태 정보는 적어도 수평 상태, 경사진 상태, 수직 상태 중 하나를 포함한다.
예를 들어, 상기 차량차단기의 목표 상태 정보가 확인된 경우, 각 목표 검출 프레임의 4개의 모서리의 이미지 중의 위치 정보에 따라 차량차단기에 대응되는 목표 영역의 길이-폭비를 획득할 수 있다. 도 2에 도시된 바와 같이, 도 2는 본 출원의 실시예가 제공하는 차량차단기의 상태도로서, 도면 중 직사각형 프레임으로 차량차단기가 3종의 상이한 상태일 때에 대응되는 목표 검출 프레임을 나타낸 것이다. 차량차단기의 상태가 확정되면, 차량차단기에 대응하는 목표 검출 프레임의 수평방향에서의 각 행의 화소점 개수를 목표 검출 프레임의 길이로 하고, 차량차단기에 대응하는 목표 검출 프레임의 수직 방향에서의 각 열의 화소점 개수를 목표 검출 프레임의 폭으로 하여, 만약 목표 검출 프레임의 이미지 좌표계 중에서의 4개의 모서리의 좌표가 각각 (x3, y3), (x4, y3), (x3, y4) 및 (x4, y4)라면, 즉 목표 검출 프레임의 길이는 x4-x3이고, 목표 검출 프레임의 폭은 y4-y3이며, 차량차단기의 목표 검출 프레임의 길이-폭비(N)는 다음과 같다:
Figure pct00001
(공식 1)
N이 제1 비율 임계치보다 작거나 같은 경우, 도 4 중의 검출 프레임 h에 도시된 바와 같이, 차량차단기가 수직상태인 것으로 확정하고; N이 제1 비율 임계치보다 크고, 제2 비율 임계치보다 작거나 같은 경우, 도 4 중의 검출 프레임 i에 도시된 바와 같이, 차량차단기가 경사진 상태인 것으로 확정하며; N이 제2 비율 임계치보다 큰 경우, 도 4 중의 검출 프레임 j에 도시된 바와 같이, 차량차단기가 수평 상태인 것으로 확정한다. 도 4를 결합해보면 알 수 있듯이, 차량차단기가 수직상태인 경우, 목표 영역 b의 길이가 폭보다 작기 때문에, 제1 비율 임계치는 1보다 작은 양의 실수이며, 예를 들어 0.7, 0.53, 0.5, 0.32 등을 취할 수 있으며, 본 출원의 실시예는 이에 대해 구체적으로 한정하지 않는다. 차량차단기가 경사진 상태이면서 수평방향과의 협각이 π/4인 경우, 상기 길이-폭비(N)는 1과 가까우며, 차량차단기가 계속 하강 시, 상기 길이-폭비(N)의 값은 점차 커진다. 따라서, 차량차단기가 수평 상태이면, 상기 길이-폭비(N)는 1보다 큰 값이며, 즉 상기 제2 비율 임계치는 1보다 큰 실수이다. 단 수평상태일 때, 상기 길이-폭비가 무한히 커질 수 없기 때문에, 제2 비율 임계치에는 상한값이 있다. 예를 들어 1보다 크고 20보다 작은 임의의 실수를 취할 수 있으며, 본 출원의 실시예는 이에 대해 구체적으로 한정하지 않는다. 일종의 가능한 실시예에서, 차량차단기에 대응되는 목표 검출 프레임의 수직방향에서의 각 열의 화소점 개수를 목표 검출 프레임의 길이로 하고, 차량차단기에 대응되는 목표 검출 프레임의 수평 방향에서의 각 행의 화소점 개수를 목표 검출 프레임의 폭으로 할 수도 있으며, 상기 예는 단지 예시적으로 설명한 것일 뿐, 구체적인 한정으로 이해해서는 안 된다는 점에 유의한다.
106: 상기 목표 물체의 목표 상태 정보에 따라 교차로의 교차로 상태 정보를 확정하는 단계.
본 출원의 실시예에서, 상기 목표 물체의 목표 상태 정보에 따라 교차로의 교차로 상태 정보를 확인하며, 예를 들어 상기 차량차단기가 수직 상태인 경우, 상기 교차로 상태 정보를 개방 상태로 확정하고; 상기 차량차단기가 경사진 상태인 경우, 상기 교차로 상태 정보를 곧 개방되거나 또는 곧 폐쇄될 상태로 확정하며; 상기 차량차단기가 경사진 상태인 경우, 상기 교차로 상태 정보를 폐쇄 상태로 확정한다. 이상의 교차로 상태 정보는 예시적인 것으로서, 실제 응용에서는 필요에 따라 교차로 상태 정보의 다른 방식을 더 확정할 수 있으며, 본 출원은 이에 대해 제한을 두지 않는다.
본 출원의 실시예에서, 상기 단계 102 중, 상기 획득된 이미지에 대해 목표 물체 검출을 수행하여, 목표 물체의 목표 검출 프레임을 획득하는 단계는, 각종 검출 알고리즘을 통해 이미지에 대해 목표 검출을 수행 시, 이미지 중의 하나의 목표 물체에서 다수의 후보 검출 프레임을 검출할 수 있음을 이해할 수 있으며, 도 3에 도시된 바와 같이, 도 3에서는 실제로는 하나의 차량차단기만 있으나, 검출 알고리즘을 통해 목표 검출을 수행 시, 상기 차량차단기가 놓인 영역에서 차량차단기를 포함한 4개의 후보 검출 프레임이 검출되며, 도 3 중의 직사각형으로 표시한 바와 같이, 각각의 직사각형 프레임은 검출 알고리즘으로 검출된 하나의 차량차단기의 후보 영역을 대표한다. 여기서, 각각의 후보 검출 프레임은 상기 이미지에 대해 목표 검출을 수행 시, 검출된 각 목표 물체의 바운딩 박스(bounding box)에 대응되는 이미지 영역이며, 각 후보 검출 프레임의 네 변은 상기 이미지의 네 변과 평행한 직사각형 프레임이다.
이러한 이유로, 상기 다수의 후보 검출 프레임 중 목표 물체의 위치결정이 부정확한 후보 검출 프레임을 삭제하여 선별 후의 목표 검출 프레임을 획득할 수 있도록, 검출된 후보 검출 프레임에 대해 선별을 수행하여야 한다. 다수의 후보 검출 프레임을 선별하기 전, 먼저 상기 이미지에 대해 목표 물체 검출을 수행하여, 상기 이미지에 상기 목표 물체를 포함하는 후보 검출 프레임이 존재하면, 각 후보 검출 프레임의 위치 정보를 획득한다. 여기서, 상기 위치 정보는 후보 검출 프레임의 4개의 모서리의 상기 이미지 중에서의 좌표 정보를 포함한다. 이후 신경망 모델을 이용하여 각 후보 검출 프레임 중의 목표 물체를 식별하고, 각 후보 검출 프레임 중 목표 물체가 속한 목표 유형 및 각 목표 물체가 속한 목표 유형에 대응되는 확률값을 획득하며, 상기 목표 검출 시 확정된 각 후보 검출 프레임의 위치 정보를 결합하여, 각 후보 검출 프레임의 대응되는 이미지 정보를 획득한다.
이하 이미지 중의 어느 하나의 후보 검출 프레임(a)을 예로 들어, 상기 각 후보 검출 프레임에 대응되는 이미지 정보를 확정하는데 대하여 설명한다. 도 4에 도시된 바와 같이, 상기 이미지의 좌측 상부 모서리를 좌표 원점으로 하여, 수평 방향을 x축으로 하고, 수직 방향을 y축으로 하여 이미지 좌표계를 구축한다. 먼저 상기 이미지에서 목표 물체(T)를 포함한 후보 검출 프레임(a)을 검출하며, 이미지 좌표계 중에서 획득한 후보 검출 프레임(a)의 4개의 모서리의 좌표는 각각 Z1(x1, y1), Z2(x2, y1), Z3(x1, y2) 및 Z4(x2, y2)이고, 여기서, x1 < x2, y1 < y2, x1은 0보다 크거나 같고, y1은 0보다 크거나 같다. 다시 신경망 모델에 따라 후보 검출 프레임(a) 중의 목표 물체(T)를 식별하여, 목표 물체(T)가 표지판에 속할 확률이 0.92임을 획득하고, 이에 따라 후보 검출 프레임(a)에 대응되는 이미지 정보를 획득한다. 상기 이미지 정보는 후보 검출 프레임(a) 중의 목표 물체가 표지판에 속할 확률이 0.92이고, 상기 후보 검출 프레임(a)의 이미지 중에서의 위치는 (x1, y1), (x2, y1), (x1, y2) 및 (x2, y2)이다.
상기 다수의 후보 검출 프레임에 대해 선별을 수행 시, 이하 2종 방식 중의 어느 하나 또는 2종을 결합하여 상기 다수의 후보 검출 프레임을 선별할 수 있으나, 이에 한정되지 않는다.
첫 번째 방식은, 상기 다수의 후보 검출 프레임에 대해 선별을 수행 시, 도 3에 도시된 바와 같이, 후보 검출 프레임 A와 후보 검출 프레임 B에 대하여, 후보 검출 프레임 A 중의 목표 물체가 대응되는 목표 유형에 속할 확률값이 제1 확률값이고, 후보 검출 프레임 B 중의 목표 물체가 대응되는 목표 유형에 속할 확률값이 제2 확률값이며, 여기서 후보 검출 프레임 A와 후보 검출 프레임 B 중의 목표 물체의 상기 목표 유형이 동일하다면, 후보 검출 프레임 A와 후보 검출 프레임 B 사이의 중첩도(Intersection over Union, iou)를 제1 중첩도(iou1)라 정의한다:
Figure pct00002
(공식 2)
여기서, SA는 후보 검출 프레임 A의 면적이고, SB는 후보 검출 프레임 B의 면적이며, SAB는 후보 검출 프레임 A와 후보 검출 프레임 B 사이의 중첩부분의 면적이고, Spmin(SA, SB)은 참고 영역의 면적을 나타낸다. 각 후보 검출 프레임 중의 목표 물체는 모두 하나의 해당 목표 유형에 속하는 확률값에 대응되며, 즉 각 후보 검출 프레임마다 하나의 확률값이 대응된다. 2개의 후보 검출 프레임마다의 제1 중첩도(iou1)를 계산한 후, 상기 iou1의 값이 제3 비율 임계치보다 크면, 2개의 후보 검출 프레임에 대응되는 2개의 확률값의 크기를 비교하여, 작은 확률값에 대응하는 후보 검출 프레임 및 상기 후보 검출 프레임에 대응하는 이미지 정보를 삭제함으로써, 선별 후의 목표 검출 프레임 및 목표 검출 프레임에 대응하는 이미지 정보를 획득하며, 여기서, 제3 비율 임계치는 1 이하의 양의 실수이다.
예를 들어 설명하면, 목표 검출을 통해 이미지 중 각각 후보 검출 프레임 b, 후보 검출 프레임 c, 후보 검출 프레임 d, 후보 검출 프레임 e, 후보 검출 프레임 f 및 후보 검출 프레임 g인 목표 물체를 포함한 6개의 후보 영역을 검출하고, 상기 6개의 후보 검출 프레임 중의 목표 물체를 식별하여, 후보 검출 프레임 b 내지 후보 검출 프레임 g 중 목표 물체가 차량차단기에 속할 확률 0.90, 0.93, 0.92, 0.90, 0.91 및 0.94를 각각 획득한다. 이 6개의 초기 이미지를 선별 시, 먼저, 해당 확률값이 최대인 후보 검출 프레임 g를 선택하여, 각각 후보 검출 프레임 g와 후보 검출 프레임 b 내지 후보 검출 프레임 f 사이의 중첩도(iou1)를 계산한다. 후보 검출 프레임 b 및 후보 검출 프레임 d와 후보 검출 프레임 g 사이의 중첩도(iou1)가 제3 비율 임계치보다 크다고 가정하면, 즉 후보 검출 프레임 b와 후보 검출 프레임 d를 삭제하고, 후보 검출 영역 g를 남긴다. 이후 나머지 후보 검출 프레임 c, 후보 검출 프레임 e 및 후보 검출 프레임 f 중 해당 확률값이 최대인 후보 검출 프레임 c를 선택하고, 후보 검출 프레임 e 및 후보 검출 프레임 f와 후보 검출 프레임 g 사이의 중첩도를 계산하여 모두 제3 비율 임계치보다 크면, 후보 검출 프레임 e 및 후보 검출 프레임 f를 삭제하고, 후보 검출 프레임 c를 남긴다. 이 6개의 후보 검출 프레임을 선별한 후, 최종적으로 후보 검출 프레임 g 및 후보 검출 프레임 c만 남겨 목표 검출 프레임으로 삼는다. 상기 예는 단지 일종의 예시적인 설명일뿐, 구체적인 한정으로 이해해서는 안 된다. 예를 들어 일종의 가능한 실시예에서, 상기 후보 검출 프레임 g와 후보 검출 프레임 b 내지 후보 검출 프레임 f 사이의 중첩도(iou1)가 모두 제3 비율 임계치보다 클 가능성이 있으며, 최종적으로는 후보 검출 프레임 g만 남겨 목표 검출 프레임으로 삼는다.
두 번째 방식으로, 후보 검출 프레임 A와 후보 검출 프레임 B에 대하여, 후보 검출 프레임 A 중의 목표 물체가 해당 목표 유형에 속할 확률값이 제3 확률값이고, 후보 검출 프레임 B 중의 목표 물체가 해당 목표 유형에 속할 확률값이 제4 확률값이면, 후보 검출 프레임 A와 후보 검출 프레임 B 사이의 중첩도를 제2 중첩도(iou2)로 정의한다:
Figure pct00003
(공식 3)
여기서, SA는 후보 검출 프레임 A의 면적이고, SB는 후보 검출 프레임 B의 면적이며, SAB는 후보 검출 프레임 A와 후보 검출 프레임 B 사이의 중첩부분의 면적이다. 상기 참고 영역은 상기 제1 확률값과 상기 제2 확률값 중 작은 값에 해당하는 후보 검출 프레임이다. 상기 공식 3에 따라 각각 2개의 후보 검출 프레임의 제2 중첩도(iou2)를 계산한 후, 2개의 후보 검출 프레임 간의 새로운 중첩도(iou2)가 제4 비율 임계치보다 크면, 2개의 후보 검출 프레임에 해당하는 2개의 확률값의 크기를 비교하여, 작은 확률값에 해당하는 후보 검출 프레임 및 상기 후보 검출 프레임에 해당하는 이미지 정보를 삭제한다. 여기서, 제4 비율 임계치는 1보다 작은 양의 실수이고, 제4 비율 임계치는 제3 비율 임계치보다 작거나 같다. 중첩도(iou2)에 따라 후보 검출 프레임을 선별하는 과정은 상기 중첩도(iou1)에 따라 후보 검출 프레임을 선별하는 과정과 같으므로, 여기서는 중복 설명을 생략한다.
일종의 가능한 실시예에서, 먼저 상기 첫 번째 방식에 따라 상기 다수의 후보 검출 프레임에 대해 선별을 수행한 다음, 다시 상기 두 번째 방식에 따라 나머지 적어도 하나의 후보 검출 프레임에 대해 추가적으로 선별을 수행하여, 최종적인 목표 검출 프레임을 획득한다. 상기 공식 2와 공식 3에 따르면, iou1이 iou2보다 크다는 것을 알 수 있으며, 제3 비율 임계치가 제4 비율 임계치보다 크거나 같으면, 공식 2에 따라 구해진 제1 중첩도(iou1)가 상기 제3 비율 임계치보다 작은 2개의 후보 검출 프레임을 생성할 수 있고, 공식 3에 따라 구해진 제2 중첩도(iou2)가 상기 제4 비율 임계치보다 크면, 즉 상기 공식 3에 해당하는 방법에 따라 하나의 후보 검출 프레임을 삭제할 수 있다. 예를 들어, 상기 첫 번째 방식의 예에서, 다수의 후보 영역에 대해 선별을 수행한 후, 후보 검출 프레임 g 및 후보 검출 프레임 c를 목표 검출 프레임으로 남겨둔다. 그러나 후보 검출 프레임 g와 후보 검출 프레임 c 중의 목표 물체는 여전히 동일한 목표 물체이다. 이를 기초로, 계속 두 번째 방식을 이용하여 후보 검출 프레임 g와 후보 검출 프레임 c 사이의 새로운 중첩도(iou2)를 계산하여, 새로운 중첩도(iou2)가 제4 비율 임계치보다 크면, 즉 후보 검출 프레임 c 및 후보 영역 c에 해당하는 이미지 정보를 삭제할 수 있다. 먼저 첫 번째 방식을 이용한 다음 두 번째 방식을 이용하여 다수의 후보 검출 프레임을 선별하는 방식을 통해, 목표 검출 프레임의 수량을 추가적으로 감소시키고, 후속 단계에서 처리해야 할 데이터량을 감소시킴으로써, 시스템 처리 시간이 단축되며, 철도 교차로의 상태 정보 및 철도 교차로에 대한 안내 메시지를 보다 적시에 생성할 수 있어, 시스템의 안전성이 향상된다.
일종의 가능한 실시예에서, 상기 목표 상태 정보 및 상기 교차로 상태 정보를 확정한 후, 참고 대상의 조작자에게 관련 조작을 수행하도록 안내하기 위해, 상기 교차로 상태 정보에 따라 제1 안내 메시지를 생성하거나, 및/또는, 자율 주행 시스템이 상응하는 조작을 실행하도록, 제1 주행 제어 정보를 생성할 수 있다. 예를 들어, 상기 교차로 상태 정보가 폐쇄 상태인 경우, 감속 안내 메시지를 생성하거나, 및/또는 상기 참고 대상의 감속을 제어하기 위한 제어 명령을 생성한다.
선택적으로, 상기 이미지에 대해 목표 검출을 수행하는 방법은 엣지 박스(Edge Boxes) 검출 알고리즘, 선택적 검색 알고리즘, 템플릿 매칭(template matching), 영역 기반 컨볼루션 신경망(Region-Based Convolutional Neural Network, RCNN), 영역 기반 완전 컨볼루션 네트워크(Region-based Fully Convolutional Networks, RFCN) 모델 등을 포함하되, 이에 한정되지 않는다.
선택적으로, 본 출원의 실시예 중 목표 물체를 식별하는 신경망 모델은 영역 분류 네트워크 모델 또는 분할 컨볼루션 신경망 모델일 수 있으며, 여기서 영역 분류 신경망 모델은 잔류 네트워크(Residual Networks, ResNet) 모델, VGG16 모델, VGGNet 모델, Inception 모델 등을 포함하되, 이에 한정되지 않고, 분할 컨볼루션 신경망 모델은 완전 컨볼루션 네트워크(Fully Convolutional Networks, FCN) 모델, 멀티태스크 네트워크 캐스케이드 MNC 모델, Mask-RCNN 모델 등을 포함하되, 이에 한정되지 않는다.
본 출원의 실시예가 제공하는 교차로 검출 방법은, 철도 교차로 등 차량차단기가 구비된 영역에 대해, 머신 비전 방법을 사용하여 목표 검출과 식별을 수행하고, 차량차단기에 대한 검출을 수행하여 차량차단기의 상태를 판단하며, 차량차단기의 상태에 따라 대응되는 안내 메시지 및/또는 제어 명령 등을 생성함으로써, 사용자 또는 장치에게 상응하는 조작을 수행하도록 안내할 수 있어, 상기 구역을 통과 시의 안전성이 증가한다. 예를 들어 운전자 보조 주행 시스템, 자율 주행 시스템, 시각장애인 안내장치 또는 로봇 보조 시스템에 운용할 경우, 이러한 시스템의 응용 상황 및 응용의 안정성이 증가할 수 있다.
일종의 가능한 실시예에서, 상기 단계 104에서 목표 물체의 목표 상태 정보를 확정하기 전, 참고 대상과 목표 물체의 거리를 더 확정할 수 있다. 예를 들어, 검출된 목표 물체가 차량차단기인 경우, 차량차단기에 대응하는 목표 검출 프레임의 장변 길이가 제1 길이 임계치보다 작은지 여부를 비교하여, 상기 제1 길이 임계치보다 작으면, 즉 참고 대상과 차량차단기의 거리가 제1 거리보다 큰 것으로 확정하고, 상기 제1 길이 임계치보다 크면, 즉 차량차단기로부터의 거리가 제1 거리보다 작은 것으로 확정할 수 있다. 여기서, 상기 장변의 길이는 목표 검출 프레임 장변의 화소점 수량이고, 상기 제1 길이 임계치는 참고 대상과 상기 차량차단기가 제1 거리만큼 떨어져 있을 때, 이미지 중 상기 차량차단기가 45도로 경사졌을 때의 장변에 대응하는 화소점 수량이다.
참고 대상과 차량차단기의 거리가 상기 제1 거리보다 작은 것으로 확인되면, 즉 차량차단기에 해당하는 목표 영역의 장변 길이가 제2 길이 임계치보다 큰지 여부를 더 비교하여, 상기 제2 길이 임계치보다 크다면, 참고 대상과 차량차단기의 거리가 제2 거리보다 작은 것으로 확정한다. 여기서, 상기 제2 거리는 상기 제1 거리보다 작고, 상기 제2 길이 임계치는 상기 제1 길이 임계치보다 크며, 상기 제2 길이 임계치는 참고 대상이 상기 차량차단기와 제2 거리만큼 떨어져 있을 때, 이미지 중 상기 차량차단기가 수직 상태 또는 수평 상태인 경우에 대응하는 목표 검출 프레임의 장변에 대응되는 화소점 수량이다.
선택적으로, 차량에서 목표 물체까지의 거리 확정을 통해, 사용자는 차량이 목표 물체로부터 떨어진 거리가 제1 거리보다 클 때, 철도 교차로에서 비교적 멀리 떨어져 있으므로, 차량차단기의 상태 정보나, 교차로 상태 정보를 더 이상 계속 확인하지 않고, 제1 거리보다 큰 차량 전방 구역에 철도 교차로가 존재하는 것만 확인하도록 선택할 수 있다. 차량과 목표 물체의 거리가 제2 거리보다 작을 때에는, 차량차단기의 상태 정보를 계속 판단하여, 교차로 상태 정보를 확인한다. 참고 대상과 목표 물체의 거리 측정을 통해, 목표 물체가 검출되었으면서 목표 물체로부터의 거리가 소정 거리보다 작을 때에만 비로소 목표 물체의 상태 등에 대해 판단을 수행함으로써, 처리해야 할 데이터를 감소시키고, 교차로 상태에 대해 생성되는 안내 메시지를 감소시켜, 지나치게 많은 안내로 인해 운전자가 상태에 집중하지 못하게 되는 문제를 방지할 수 있다.
일종의 가능한 실시예에서, 상기 목표 물체는 신호등 및/또는 표지판을 더 포함하며, 여기서, 상기 표지판의 목표 상태는 표지판이 존재하거나 표지판이 존재하지 않는 두 가지 상태이다. 상기 신호등 상태는 신호등 켜짐 및 신호등 꺼짐 두 가지 상태이다. 예를 들어 상기 신호등이 켜졌을 때 적색이면, 상기 신호등이 켜졌을 때는 통행 금지를 나타내고, 신호등이 꺼졌을 때는 통행이 허용됨을 나타낸다.
상기 표지판의 상태를 확정 시, 상기 후보 검출 프레임에 대해 선별을 수행하여 목표 검출 프레임을 획득한 후, 목표 검출 프레임에 목표 유형이 표지판인 목표 물체가 존재하면, 즉 표지판의 목표 상태는 표지판이 존재함을 나타내고, 목표 검출 프레임에 목표 유형이 표지판인 목표 물체가 존재하지 않으면, 즉 표지판의 목표 상태는 표지판이 존재하지 않음을 나타낸다는 것은 이해할 수 있을 것이다.
상기 신호등의 상태를 확정 시, 직접 신호등의 종류에 따라 신호등의 상태를 확인할 수 있으며, 일종의 가능한 실시예에서, 신경망 모델을 훈련 시, 켜진 신호등 및 꺼진 신호등을 이용하여 신경망 모델을 훈련시키면, 훈련된 신경망 모델을 이용하여 각각의 후보 검출 프레임을 식별 시, 켜져 있는 신호등과 꺼진 신호등을 즉시 식별할 수 있으며, 상기 후보 검출 프레임에 대해 선별을 수행한 후, 목표 영역에 목표 유형이 켜짐인 신호등이 존재하면, 즉 신호등의 상태는 신호등이 켜져 있음을 나타내고, 목표 영역에 목표 유형이 꺼짐인 신호등이 존재하면, 즉 신호등의 상태는 신호등 꺼져 있음을 나타낸다는 것은 이해할 수 있을 것이다.
본 출원의 실시예에서, 상기 교차로가 철도 교차로인 경우, 상기 신호등은 상기 철도 교차로의 열차의 통행상태를 지시하기 위한 것이다. 예를 들어, 상기 신호등 상태가 신호등 켜짐일 때, 상기 철도 교차로는 열차가 곧 통과할 것이거나 또는 열차가 상기 철도 교차로를 통과하고 있는 중임을 나타내고, 상기 신호등 상태가 신호등 꺼짐일 때, 상기 철도 교차로에 통과하는 열차가 없음을 나타낸다. 상기 차량차단기는 상기 철도 교차로에 열차가 곧 통과할 것이거나 열차가 상기 철도 교차로를 통과하고 있는 중일 때, 차량과 행인이 상기 철도 교차로를 통과하지 못하도록 저지하기 위한 것이다.
이하 상기 분석에 따라, 표지판, 신호등 및 차량차단기의 상태를 결합하여, 철도 교차로의 교차로 상태 정보를 확정하는 상황에 대해 설명한다. 도 5를 참조하면, 도 5는 본 출원의 실시예가 제공하는 철도 교차로 상태 및 각 상태 간의 전환 관계 설명도로서, 이미지에 목표 물체를 포함한 후보 검출 프레임이 검출되지 않으면, 즉 목표 물체가 검출되지 않았다는 안내 메시지를 생성하며, 도 5 중의 철도 교차로 상태는 "검출되지 않음"에 해당된다. 신호등의 상태가 신호등 켜짐이고, 차량차단기가 수직 상태(즉 N이 제2 비율 임계치(N2)보다 작거나 같음)이면, 열차가 곧 상기 철도 교차로를 통과할 것이며, 차량 또는 행인이 통과하는 것을 저지하기 위해 차량차단기가 하강할 준비를 하는 것을 설명하며, 이때 차량차단기가 곧 하강할 것이라는 안내 메시지를 생성하고, 도 5 중의 철도 교차로 상태는 "곧 하강함"에 해당된다. 신호등의 상태가 신호등 켜짐이고, 차량차단기가 기울어진 상태이면(즉 N이 제2 비율 임계치보다 크고, 제3 비율 임계치(N3)보다 작거나 같음), 곧 열차가 상기 철도 교차로를 통과할 것임을 설명하는 것으로, 이때 차량차단기가 하강하는 중이라는 안내 메시지를 생성하며, 도 5 중 철도 교차로 상태가 "곧 하강함"에서 "하강 중"으로 전환된다. 신호등의 상태가 신호 켜짐이고, 차량차단기가 수평 상태이면(즉 N이 제3 비율 임계치(N3)보다 크면), 곧 열차가 오거나 또는 열차가 상기 철도 교차로를 통과하는 중임을 설명하는 것으로, 이때 차량차단기가 이미 하강하였다는 안내 메시지를 생성하며, 도 5 중의 철도 교차로 상태는 "하강 중"에서 "이미 하강하였음"으로 전환된다.
선택적으로 상기 분석에 따르면, 본 출원의 실시예는 다음과 같은 3종 철도 교차로의 교차로 상태가 더 추가될 수 있다: 신호등 상태가 신호등 꺼짐이고, 차량차단기가 수평 상태이면, 열차가 이미 상기 철도 교차로를 통과하였음을 설명하는 것으로, 이때 차량차단기가 곧 상승한다는 안내 메시지를 생성하며, 대응되는 철도 교차로 상태는 "곧 상승함"이고; 신호등의 상태가 신호등 꺼짐이고, 차량차단기가 경사진 상태이면, 열차가 이미 상기 철도 교차로를 통과하였음을 설명하는 것으로, 이때 차량차단기가 상승 중이라는 안내 메시지를 생성하며, 대응되는 철도 교차로 상태는 "상승 중"이며; 신호등의 상태가 신호등 꺼짐이고, 차량차단기가 수직 상태이면, 열차가 이미 상기 철도 교차로를 통과하였음을 설명하는 것으로, 이때 차량차단기가 이미 상승하였다는 안내 메시지를 생성하며, 대응되는 철도 교차로 상태는 "이미 상승하였음"이다.
실시간 머신 비전 방식을 통해 교차로의 표지판, 신호등 및 차량차단기 등 목표에 대해 검출과 식별을 수행하고, 검출 및 식별된 목표의 이미지 정보에 따라 각 목표의 목표 상태를 판단한 후, 각 목표의 목표 상태를 결합하여, 교차로의 상태 정보 및 철도 교차로에 대한 안내 메시지 등을 생성함으로써, 승강봉을 구비한 교차로와 같은 장소에 대에 머신 비전 기반의 검출 안내 방법을 제공하며, 운전자 보조 주행 시스템 또는 로봇 보조 시스템 등 시스템의 응용 상황 및 응용의 안전성이 향상된다.
선택적으로, 상기 참고 대상의 목표 물체로부터의 거리를 확정 시, 표지판 또는 신호등에 대응하는 목표 검출 프레임을 이용하여 확정할 수도 있으며, 본 출원의 실시예는 구체적으로 한정하지 않는다.
참고 대상과 차량차단기의 거리 확정을 통해, 2종의 철도 교차로 안내 메시지 및 2종의 철도 교차로 상태를 추가할 수 있다. 즉 목표 물체가 존재함이 검출되었고 차량에서 목표 물체까지의 거리가 상기 제1 거리보다 크면, 제1 거리보다 큰 곳에서 목표 물체가 검출되었다는 안내 메시지를 생성하며, 대응되는 철도 교차로의 상태는 "원거리에 있음"이다. 목표 물체가 있음이 검출되었고 차량에서 목표물체까지의 거리가 상기 제2 거리보다 작으면, 제2 거리보다 작은 곳에서 목표 물체가 검출되었다는 안내 메시지를 생성하며, 대응되는 철도 교차로의 상태는 "근거리에 있음"이다. 즉 상기 철도 교차로 상태를 결합하면, 철도 교차로의 상태는 "검출되지 않음", "원거리에 있음", "근거리에 있음", "곧 하강함", "하강 중", "이미 하강하였음", "곧 상승함", "상승 중" 및 "이미 상승하였음"의 9종 상태를 포함할 수 있다. 도 6에 도시된 바와 같이, 도 6은 본 출원의 실시예가 제공하는 다른 철도 교차로 상태 및 각 상태 간의 전환 관계 설명도로서, 도면에서 "검출되지 않음", "원거리에 있음", "근거리에 있음", "곧 하강함", "하강 중"및 "이미 하강하였음"인 6종 상태를 예로 들어 설명한다. 이미지에서 목표 물체가 검출되지 않으면, 즉 목표 물체가 검출되지 않았다는 안내 메시지를 생성하며, 도 6 중의 철도 교차로 상태가 "검출되지 않음"에 해당하고; 적어도 하나의 목표 물체가 검출되고 목표 물체와의 거리가 제1 거리 임계치보다 크면, 제1 거리보다 큰 곳에서 목표 물체가 검출되었다는 안내 메시지를 생성하며, 도 6 중의 철도 교차로 상태는 "원거리에 있음"에 해당하며; 적어도 하나의 목표 물체가 검출되고 목표 물체와의 거리가 상기 제2 거리보다 작으면, 제2 거리보다 작은 곳에서 목표 물체가 검출되었다는 안내 메시지를 생성하며, 도 6 중의 철도 교차로 상태는 "근거리에 있음"에 해당하고; 신호등의 상태가 신호등 켜짐이고, 차량차단기가 수직 상태이면, 즉 차량차단기가 곧 하강한다는 알림 신호를 생성하며, 도 6 중의 철도 교차로 상태는 "곧 하강함"에 해당하고; 신호등의 상태가 신호등이 켜짐이고, 차량차단기가 경사진 상태이면, 즉 차량차단기가 하강 중이라는 알림 신호를 생성하며, 도 6 중 철도 교차로 상태는 "하강 중"에 해당하며; 신호등의 상태가 신호등 켜짐이고, 차량차단기가 수평 상태이면, 즉 차량차단기가 이미 하강하였다는 안내 메시지를 생성하며, 도 6 중의 철도 교차로 상태는 "이미 하강하였음"에 해당된다. 상기 9종 교차로 상태는 예시적인 것이고, 실제 응용 시에는 필요에 따라 교차로 상태의 다른 기재 방식을 확정할 수도 있다는 점을 이해할 수 있을 것이며, 본 출원은 이에 대해 제한을 두지 않는다.
일종의 가능한 실시예에서, 상기 교차로 상태 정보가 상기 차량차단기가 곧 하강함, 상기 교차로의 차량차단기가 하강 중임, 상기 교차로의 차량차단기가 이미 하강하였음 중의 어느 하나인 경우, 감속 또는 정차 안내 메시지를 생성하거나; 및/또는, 상기 참고 대상의 감속 또는 정차를 제어하기 위한 주행 제어 명령을 생성하며; 상기 교차로 상태 정보가 상기 교차로의 차량차단기가 이미 상승하였음, 상기 교차로의 차량차단기가 상승 중임, 상기 교차로의 차량차단기가 곧 상승함 중의 어느 하나인 경우, 현재 주행 상태를 유지하거나 또는 저속으로 통행하라는 안내 메시지를 생성하거나; 및/또는 상기 참고 대상이 현재 주행 상태를 유지하거나 또는 저속으로 주행하도록 제어하기 위한 주행 제어 명령을 생성한다.
일종의 가능한 실시예에서, 한 프레임의 이미지에서 목표 물체가 검출되면, 목표 추적 알고리즘을 이용하여, 다음 프레임의 이미지 중의 목표 물체의 위치를 추정하여, 목표 검출 범위를 축소시킴으로써, 목표 검출 속도를 향상시킴과 동시에, 직사각형 프레임을 이용하여 이미지에 후보 검출 프레임 또는 목표 영역을 표시하고, 목표 추적 알고리즘을 이용하여 비디오 영상 중 직사각형 프레임의 떨림을 효과적으로 억제할 수 있다.
도 7을 참조하면, 도 7은 본 출원의 실시예가 제공하는 교차로 검출 장치의 블록도로서, 상기 장치는 검출 유닛(701) 및 처리 유닛(702)을 포함한다. 여기서,
상기 검출 유닛(701)은 획득된 이미지에 대해 목표 물체 검출을 수행하여, 목표 물체의 목표 검출 프레임을 획득하기 위한 것이고, 상기 목표 물체는 차량차단기를 포함한다.
상기 처리 유닛(702)은 상기 목표 물체의 목표 검출 프레임에 따라 상기 목표 물체의 목표 상태 정보를 확정하기 위한 것이다.
상기 처리 유닛(702)은 또한 상기 목표 물체의 목표 상태 정보에 따라 교차로의 교차로 상태 정보를 확정하기 위한 것이다.
상기 장치는 참고 대상에 설치된 카메라가 수집한 상기 참고 대상의 전방 이미지를 획득하기 위한 획득 유닛(703)을 더 포함한다. 상기 참고 대상은 차량, 로봇, 웨어러블 장치 및 시각장애인 안내 장치를 포함한다.
상기 처리 유닛(702)은 구체적으로, 상기 차량차단기에 대응하는 목표 검출 프레임의 길이-폭비에 따라 상기 차량차단기의 목표 상태 정보를 확정하기 위한 것으로서, 상기 차량차단기의 목표 상태 정보는 수평 상태, 경사진 상태, 수직 상태 중의 적어도 하나를 포함한다.
상기 처리 유닛(702)은 또한 구체적으로, 상기 차량차단기가 수직 상태인 경우, 상기 교차로 상태 정보를 개방 상태로 확정하고; 및/또는, 상기 차량차단기가 경사진 상태인 경우, 상기 교차로 상태 정보가 곧 개방될 상태이거나 또는 곧 폐쇄될 상태로 확정하며; 및/또는 상기 차량차단기가 경사진 상태인 경우, 상기 교차로 상태 정보를 폐쇄 상태로 확정하기 위한 것이다.
본 출원의 실시예에서, 상기 목표 물체는 신호등 및/또는 교차로 표지판을 더 포함하며, 상기 신호등의 목표 상태 정보는 신호등 켜짐과 신호등 꺼짐을 포함한다.
구체적으로, 상기 각 유닛이 각 항의 조작을 실행하는 과정은 상기 방법의 실시예 중의 구현 과정을 참조하면 되므로, 여기서는 중복 설명을 생략한다.
도 8을 참조하면, 도 8은 본 출원의 실시예가 제공하는 전자장치의 블록도이다. 도 8에 도시된 본 실시예 중의 전자장치는 하나 또는 다수의 프로세서(801); 하나 또는 다수의 입력장치(802), 하나 또는 다수의 출력장치(803)와 메모리(804)를 포함할 수 있다. 상기 프로세서(801), 입력장치(802), 출력장치(803)와 메모리(804)는 버스(805)를 통해 연결된다. 메모리(802)는 컴퓨터 프로그램을 저장하기 위한 것이고, 상기 컴퓨터 프로그램은 프로그램 명령을 포함하며, 프로세서(801)는 메모리(802)에 저장된 프로그램 명령을 실행하여, 상기 방법의 실시예 중 상기 방법 단계를 완수하기 위한 것이다.
이해하여야 할 점은, 본 출원의 실시예에서, 소위 프로세서(801)란 중앙처리장치(Central Processing Unit, CPU)일 수 있으며, 상기 프로세서는 또한 기타 범용 프로세서, 그래픽 처리 장치(Graphics Processing Unit, GPU), 디지털 신호 처리장치(Digital Signal Processor, DSP), 전용 집적회로(Application Specific Integrated Circuit, ASIC), 필드 프로그래머블 게이트 어레이(Field-Programmable Gate Array, FPGA) 또는 기타 프로그래머블 논리 소자, 개별 게이트(Discrete Gate) 또는 트랜지스터 논리 소자, 개별 하드웨어 컴포넌트 등일 수 있다. 범용 프로세서는 마이크로프로세서일 수 있으며, 또는 상기 프로세서는 임의의 통상적인 프로세서 등일 수도 있다.
입력 장치(802)는 터치패널, 센서, 마이크, 이미지 수집 장치 등을 포함할 수 있고, 출력 장치(803)는 디스플레이(LCD 등), 스피커, 통신모듈 등을 포함할 수 있다.
메모리(804)는 리드 온리 메모리와 랜덤 액세스 메모리를 포함하며, 프로세서(801)로 명령과 데이터를 제공할 수 있다. 메모리(804)의 일부는 비휘발성 랜덤 액세스 메모리를 더 포함할 수 있다. 예를 들어, 메모리(804)는 저장장치 유형의 정보일 수도 있다.
구체적으로 구현 시, 본 출원의 실시예에 기재된 프로세서(801), 입력장치(802), 출력장치(803)는 본 출원의 방법 실시예가 제공하는 교차로 검출 방법 중에 기재된 구현방식을 실행할 수도 있고, 본 출원의 실시예에 기재된 장치의 구현방식을 실행할 수도 있으며, 여기서는 이에 대한 중복 설명을 생략한다.
구체적으로 구현 시, 본 출원의 실시예 중의 전자장치는 본 출원이 제공하는 방법 실시예에 기재된 방법을 실행하기 위한 단말장치일 수도 있고, 본 출원에 기재된 장치를 포함하는 단말장치일 수도 있으며, 상기 전자장치는 이미지 수집 모듈 및 이미지 처리를 수행할 수 있는 모바일 핸드폰, 주행기록장치, 태블릿 컴퓨터, 모바일 인터넷 디바이스(Mobile Internet Device, MID), 서버 등 각종 단말장치를 포함하며, 본 출원의 실시예는 제한을 두지 않는다.
본 출원의 실시예는 비 일시적 컴퓨터 저장 매체를 더 제공하며, 상기 컴퓨터 저장 매체에 명령이 저장되어, 그것이 프로세서에서 운행될 때, 상기 방법 실시예 중의 방법 단계를 구현할 수 있다. 상기 컴퓨터 저장 매체의 프로세서가 상기 방법 단계를 실행하는 구체적인 구현은 상기 방법 실시예의 구체적인 조작을 참조하면 되므로, 여기서는 설명을 생략한다.
본 출원의 실시예는 차량을 더 제공하며, 상기 차량에 상기와 같은 전자장치가 설치되거나 또는 상기 컴퓨터 저장 매체가 설치된다.
본 분야의 보통 기술자라면, 본문에 공개한 실시예에 기재된 각 구현예를 결합한 유닛 및 방법 단계는 전자 하드웨어, 컴퓨터 소프트웨어 또는 이들의 결합을 통해 구현될 수 있음을 알 수 있을 것이며, 하드웨어와 소프트웨어의 호환성을 명확하게 설명하기 위하여, 상기 명세서에서는 이미 기능에 따라 각 구현예의 구성 및 단계를 일반적으로 기재하였다. 이러한 기능이 하드웨어 또는 소프트웨어 방식으로 실행될 것인지는 기술방안의 특정 응용과 설계의 약속 조건에 의해 결정된다. 전문 기술자라면 각 특정 응용에 대해 상이한 방법을 사용하여 기재된 기능을 구현할 수 있으나, 이러한 구현이 본 출원의 범위를 벗어나는 것으로 여겨서는 안 된다.
당업자라면 설명의 편의와 간결함을 위하여, 상기 기재된 장치, 전자장치와 유닛의 구체적인 작동 과정이 전술한 방법 실시예 중의 해당 과정을 참조할 수 있음을 명확하게 이해할 수 있을 것이므로, 여기서는 중복 설명을 생략한다.
본 출원에서 제공하는 몇 가지 실시예에서, 공개된 장치, 전자장치와 방법이 다른 방식을 통해서도 구현될 수 있다는 점을 이해하여야 한다. 예를 들어, 상기 유닛의 구분은 단지 논리 기능의 구분일 뿐이며, 실제 구현 시에는 별도의 구분 방식이 있을 수 있다. 예를 들어 다수의 유닛 또는 어셈블리는 결합되거나 또는 다른 시스템에 집적될 수 있고, 또는 일부 특징은 생략되거나 실행되지 않을 수 있다. 또한, 표시하거나 또는 토론하는 상호 간의 결합은 직접적인 결합이거나 또는 통신 연결이 일부 인터페이스, 장치 또는 유닛을 통한 간접적인 결합이거나 또는 통신 연결일 수 있고, 전기적, 기계적 또는 기타 형식의 연결일 수도 있다.
또한, 본 출원의 각 실시예 중의 각 기능 유닛은 하나의 처리 유닛에 집적될 수도 있고, 각 유닛이 단독으로 물리적으로 존재할 수도 있으며, 2개 또는 2개 이상의 유닛이 하나의 유닛에 집적될 수도 있다. 상기 집적된 유닛은 하드웨어 형식으로 구현될 수도 있고, 소프트웨어 기능 유닛의 형식으로 구현될 수도 있다.
상기 집적된 유닛이 소프트웨어 기능 유닛의 형식으로 구현되면서 독립적인 제품으로 판매되거나 사용되는 경우, 하나의 컴퓨터 가독 액세스 저장 매체에 저장될 수 있다. 이러한 이해를 바탕으로, 본 출원의 기술방안은 본질적으로 종래 기술에 대해 기여하는 부분, 또는 상기 기술방안의 전체 또는 일부가 소프트웨어 제품 형식으로 구현될 수 있으며, 상기 컴퓨터 소프트웨어 제품은 한 대의 컴퓨터 장치(개인용 컴퓨터, 서버, 또는 네트워크 장치 등일 수 있다)가 본 출원의 각 실시예의 상기 방법의 전부 또는 일부 단계를 실행하게 하기 위한 약간의 명령을 포함하는 저장 매체에 저장된다. 전술한 저장 매체는 U 디스크, 모바일 하드디스크, 리드 온리 메모리(ROM, Read-Only Memory), 랜덤 액세스 메모리(RAM, Random Access Memory), 자기디스크 또는 레이저디스크 등 프로그램 코드를 저장할 수 있는 각종 매체를 포함한다.
이상의 내용은 단지 본 출원의 구체적인 실시방식일 뿐이나, 본 출원의 보호범위는 이에 국한되지 않으며, 본 기술분야를 숙지하는 기술자라면 누구든지 본 출원에 공개된 기술 범위 내에서, 각종 등가의 수정 또는 교체를 용이하게 생각해낼 수 있을 것이며, 이러한 수정 또는 교체는 모두 본 출원의 보호 범위 내에 포함된다. 따라서, 본 출원의 보호범위는 청구항의 보호범위를 기준으로 하여야 한다.

Claims (37)

  1. 교차로 검출 방법에 있어서,
    획득된 이미지에 대해 차량차단기를 포함하는 목표 물체 검출을 수행하여, 목표 물체의 목표 검출 프레임을 획득하는 단계;
    상기 목표 물체의 목표 검출 프레임에 따라 상기 목표 물체의 목표 상태 정보를 확정하는 단계;
    상기 목표 물체의 목표 상태 정보에 따라 교차로의 교차로 상태 정보를 확정하는 단계를 포함하는 것을 특징으로 하는 교차로 검출 방법.
  2. 제1항에 있어서,
    상기 획득된 이미지에 대해 목표 물체 검출을 수행하기 전,
    참고 대상에 설치된 카메라를 통해 수집된 상기 참고 대상의 전방 이미지를 획득하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 방법은
    상기 교차로 상태 정보에 따라 제1 안내 메시지를 생성하고, 및/또는, 상기 교차로 상태 정보에 따라 제1 주행 제어 정보를 생성하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  4. 제2항 또는 제3항에 있어서,
    상기 참고 대상은 적어도 차량, 로봇, 웨어러블장치, 시각장애인 안내장치 중의 하나를 포함하는 것을 특징으로 하는 방법.
  5. 제1항 내지 제4항 중의 어느 한 항에 있어서,
    상기 목표 검출 프레임은 직사각형 프레임이고, 상기 목표 물체의 목표 검출 프레임에 따라 상기 목표 물체의 목표 상태 정보를 확정하는 단계는,
    상기 차량차단기에 대응하는 목표 검출 프레임의 길이-폭비에 따라 상기 차량차단기의 목표 상태 정보를 확정하는 단계를 포함하며,
    상기 차량차단기의 목표 상태 정보는 적어도 수평 상태, 경사진 상태, 수직 상태 중의 하나를 포함하는 것을 특징으로 하는 방법.
  6. 제5항에 있어서,
    상기 차량차단기에 대응하는 목표 검출 프레임의 길이-폭비에 따라 상기 차량차단기의 목표 상태 정보를 확정하는 단계는, 적어도
    상기 차량차단기에 대응하는 목표 검출 프레임의 길이-폭비가 제1 비율 임계치보다 작거나 같은 경우, 상기 차량차단기가 수직상태인 것으로 확정하는 단계, 상기 길이-폭비는 상기 차량차단기에 대응하는 목표 검출 프레임의 각 행의 화소점의 개수와 각 열의 화소점 개수의 비율이며;
    상기 차량차단기에 대응하는 목표 검출 프레임의 길이-폭비가 상기 제1 비율 임계치보다 크고, 제2 비율 임계치보다 작거나 같은 경우, 상기 차량차단기가 경사진 상태인 것으로 확정하는 단계;
    상기 차량차단기에 대응하는 목표 검출 프레임의 길이-폭비가 상기 제2 비율 임계치보다 큰 경우, 상기 차량차단기가 수평상태인 것으로 확정하는 단계 중의 하나를 포함하는 것을 특징으로 하는 방법.
  7. 제6항에 있어서,
    상기 목표 물체의 목표 상태 정보에 따라 교차로의 교차로 상태 정보를 확정하는 단계는, 적어도,
    상기 차량차단기가 수직 상태인 경우, 상기 교차로 상태 정보를 개방상태로 확정하는 단계;
    상기 차량차단기가 경사진 상태인 경우, 상기 교차로 상태 정보를 곧 개방될 상태이거나 또는 곧 폐쇄될 상태인 것으로 확정하는 단계;
    상기 차량차단기가 경사진 상태인 경우, 상기 교차로 상태 정보를 폐쇄 상태로 확정하는 단계 중의 하나를 포함하는 것을 특징으로 하는 방법.
  8. 제1항 내지 제7항 중의 어느 한 항에 있어서,
    상기 획득된 이미지에 대해 목표 물체 검출을 수행하여, 목표 물체의 목표 검출 프레임을 획득하는 단계는,
    획득된 이미지에 대해 목표 물체 검출을 수행하여, 상기 목표 물체에 대응하는 다수의 후보 검출 프레임을 획득하는 단계;
    상기 다수의 후보 검출 프레임에 대해 선별을 수행하여, 상기 목표 물체의 목표 검출 프레임을 획득하는 단계를 포함하는 것을 특징으로 하는 방법.
  9. 제8항에 있어서,
    상기 후보 검출 프레임에 대해 선별을 수행하는 단계는,
    상기 다수의 후보 검출 프레임 중의 어느 하나인 제1 후보 검출 프레임에서 목표 물체가 목표 유형에 속할 제1 확률값을 획득하는 단계;
    상기 제1 후보 검출 프레임과 중첩 영역을 가지는 제2 후보 검출 프레임에서 목표 물체가 목표 유형에 속할 제2 확률값을 획득하는 단계;
    상기 중첩 영역의 면적과 제1 참고 영역의 면적 사이의 면적 비율을 확정하여, 상기 면적 비율이 제3 비율 임계치보다 큰 경우, 상기 제1 확률값과 상기 제2 확률값 중 작은 값에 대응하는 후보 검출 프레임인 상기 제1 참고 영역에 대응하는 후보 검출 프레임을 삭제하는 단계를 포함하는 것을 특징으로 하는 방법.
  10. 제8항 내지 제9항에 있어서,
    상기 후보 검출 프레임에 대해 선별을 수행하는 단계는,
    상기 적어도 하나의 후보 검출 프레임 중의 어느 하나인 제3 후보 검출 프레임 중 목표 물체가 목표 유형에 속할 제3 확률값을 획득하는 단계;
    상기 제3 후보 검출 프레임과 중첩 영역을 가지는 제4 후보 검출 프레임에서 목표 물체가 목표 유형에 속할 제4 확률값을 획득하는 단계;
    상기 중첩 영역의 면적과 제2 참고 영역의 면적 사이의 면적 비율을 확정하여, 상기 면적 비율이 제4 비율 임계치보다 큰 경우, 상기 제3 확률값과 상기 제4 확률값 중 작은 값에 대응하는 후보 검출 프레임을 삭제하는 단계를 포함하며, 상기 제2 참고 영역은 상기 제3 후보 검출 프레임과 상기 제4 후보 검출 프레임의 중첩 영역과 비 중첩 영역으로 구성된 영역인 것을 특징으로 하는 방법.
  11. 제1항 내지 제10항 중의 어느 한 항에 있어서,
    상기 목표 물체의 목표 검출 프레임에 따라 상기 참고 대상의 상기 교차로에 대한 거리 정보를 확정하는 단계; 및,
    상기 교차로 상태 정보 및 상기 거리 정보에 따라 제2 안내 메시지를 생성하는 단계; 및/또는, 상기 교차로 상태 정보 및 상기 거리 정보에 따라 제2 주행 제어 정보를 생성하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  12. 제11항에 있어서,
    상기 목표 물체의 목표 검출 프레임에 따라 상기 참고 대상의 상기 교차로에 대한 거리 정보를 확정하는 단계는, 적어도,
    상기 차량차단기에 대응하는 목표 검출 프레임의 장변의 길이가 제1 길이 임계치보다 작은 경우, 상기 참고 대상의 상기 교차로에 대한 거리가 제1 거리보다 큰 것으로 확정하는 단계;
    상기 차량차단기에 대응하는 목표 검출 프레임의 장변의 길이가 제2 길이 임계치보다 큰 경우, 상기 참고 대상의 상기 교차로에 대한 거리가 제2 거리보다 작은 것으로 확정하는 단계 중의 하나를 포함하며, 상기 제2 거리는 제1 거리보다 작고, 상기 제2 길이 임계치는 상기 제1 길이 임계치보다 큰 것을 특징으로 하는 방법.
  13. 제1항 내지 제12항 중의 어느 한 항에 있어서,
    상기 목표 물체는 신호등 및/또는 교차로 표지판을 더 포함하는 것을 특징으로 하는 방법.
  14. 제13항에 있어서,
    상기 목표 물체의 목표 상태 정보에 따라 교차로의 교차로 상태 정보를 확정하는 단계는, 적어도,
    상기 이미지에 검출된 목표 물체가 없는 경우, 상기 교차로 상태 정보를 교차로가 검출되지 않은 것으로 확정하는 단계;
    상기 참고 대상의 상기 교차로에 대한 거리가 제1 거리보다 큰 경우, 상기 교차로 상태 정보를 원거리에서 교차로가 검출된 것으로 확정하는 단계;
    상기 참고 대상의 상기 교차로에 대한 거리가 제2 거리보다 작은 경우, 상기 교차로 상태 정보를 근거리에서 교차로가 검출된 것으로 확정하는 단계 중의 하나를 포함하는 것을 특징으로 하는 방법.
  15. 제14항에 있어서,
    상기 신호등의 목표 상태 정보는 신호등 켜짐과 신호등 꺼짐을 포함하며, 상기 목표 물체의 목표 상태 정보에 따라 교차로의 교차로 상태 정보를 확정하는 단계는, 적어도,
    상기 차량차단기가 수직 상태이고, 상기 신호등의 상태가 신호등 켜짐인 경우, 상기 교차로 상태 정보를 상기 교차로의 차량차단기가 곧 하강할 것으로 확정하는 단계;
    상기 차량차단기가 경사진 상태이고, 상기 신호등의 상태가 신호등 켜짐인 경우, 상기 교차로 상태 정보를 상기 교차로의 차량차단기가 하강 중인 것으로 확정하는 단계;
    상기 차량차단기가 수평 상태이고, 상기 신호등의 상태가 신호등 켜짐인 경우, 상기 교차로 상태 정보를 상기 교차로의 차량차단기가 이미 하강한 것으로 확정하는 단계;
    상기 차량차단기가 수직 상태이고, 상기 신호등의 상태가 신호등 꺼짐인 경우, 상기 교차로 상태 정보를 상기 교차로의 차량차단기가 이미 상승한 것으로 확정하는 단계;
    상기 차량차단기가 경사진 상태이고, 상기 신호등의 상태가 신호등 꺼짐인 경우, 상기 교차로 상태 정보를 상기 교차로의 차량차단기가 상승 중인 것으로 확정하는 단계;
    상기 차량차단기가 수평상태이고, 상기 신호등의 상태가 신호등 켜짐인 경우, 상기 교차로 상태 정보를 상기 교차로의 차량차단기가 곧 상승할 것으로 확정하는 단계; 중의 하나를 더 포함하는 것을 특징으로 하는 방법.
  16. 제14항에 있어서,
    상기 신호등의 목표 상태 정보는 신호등 켜짐과 신호등 꺼짐을 포함하고, 상기 교차로 상태 정보가 근거리에서 교차로가 검출된 것으로 확정된 후, 적어도,
    상기 차량차단기가 수직 상태이고, 상기 신호등의 상태가 신호등 켜짐인 경우, 상기 교차로 상태 정보를 상기 교차로의 차량차단기가 곧 하강할 것으로 확정하는 단계;
    상기 차량차단기가 경사진 상태이고, 상기 신호등의 상태가 신호등 켜짐인 경우, 상기 교차로 상태 정보를 상기 교차로의 차량차단기가 하강 중인 것으로 확정하는 단계;
    상기 차량차단기가 수평 상태이고, 상기 신호등의 상태가 신호등 켜짐인 경우, 상기 교차로 상태 정보를 상기 교차로의 차량차단기가 이미 하강한 것으로 확정하는 단계;
    상기 차량차단기가 수직 상태이고, 상기 신호등의 상태가 신호등 꺼짐인 경우, 상기 교차로 상태 정보를 상기 교차로의 차량차단기가 이미 상승한 것으로 확정하는 단계;
    상기 차량차단기가 경사진 상태이고, 상기 신호등의 상태가 신호등 꺼짐인 경우, 상기 교차로 상태 정보를 상기 교차로의 차량차단기가 상승 중인 것으로 확정하는 단계;
    상기 차량차단기가 수평 상태이고, 상기 신호등의 상태가 신호등 켜짐인 경우, 상기 교차로 상태 정보는 상기 교차로의 차량차단기가 곧 상승할 것으로 확정하는 단계; 중의 하나를 더 포함하는 것을 특징으로 하는 방법.
  17. 제16항에 있어서,
    상기 교차로 상태 정보 및 상기 거리 정보에 따라 제2 안내 메시지를 생성하는 단계; 및/또는, 교차로 상태 정보 및 상기 거리 정보에 따라 제2 주행 제어 정보를 생성하는 단계는, 적어도,
    상기 교차로 상태 정보가 상기 교차로의 차량차단기가 곧 하강함, 상기 교차로의 차량차단기가 하강 중임, 상기 교차로의 차량차단기가 이미 하강하였음 중의 어느 하나인 경우, 감속 또는 정차 안내 메시지를 생성하거나; 및/또는, 상기 참고 대상의 감속 또는 정차를 제어하기 위한 주행 제어 명령을 생성하는 단계;
    상기 교차로 상태 정보가 상기 교차로의 차량차단기가 이미 상승하였음, 상기 교차로의 차량차단기가 상승 중임, 상기 교차로의 차량차단기가 곧 상승함 중의 어느 하나인 경우, 현재 주행 상태를 유지하거나 또는 저속으로 통행하라는 안내 메시지를 생성하거나; 및/또는, 상기 참고 대상이 현재 주행 상태를 유지하거나 또는 저속으로 주행하도록 제어하기 위한 주행 제어 명령을 생성하는 단계; 중의 어느 하나를 포함하는 것을 특징으로 하는 방법.
  18. 교차로 검출 장치에 있어서,
    획득된 이미지에 대해 차량차단기를 포함하는 목표 물체 검출을 수행하여, 목표 물체의 목표 검출 프레임을 획득하기 위한 검출 유닛;
    상기 목표 물체의 목표 검출 프레임에 따라 상기 목표 물체의 목표 상태 정보를 확정하기 위한 처리 유닛;
    상기 목표 물체의 목표 상태 정보에 따라 교차로의 교차로 상태 정보를 확정하기 위한 처리 유닛;을 포함하는 것을 특징으로 하는 교차로 검출 장치.
  19. 제18항에 있어서,
    상기 장치는,
    참고 대상에 설치된 카메라를 통해 수집된 상기 참고 대상의 전방 이미지를 획득하기 위한 획득 유닛을 더 포함하는 것을 특징으로 하는 장치.
  20. 제18항 또는 제19항에 있어서,
    상기 처리 유닛은 또한
    상기 교차로 상태 정보에 따라 제1 안내 메시지를 생성하고, 및/또는, 상기 교차로 상태 정보에 따라 제1 주행 제어 정보를 생성하기 위한 것임을 특징으로 하는 장치.
  21. 제20항에 있어서,
    상기 참고 대상은 적어도 차량, 로봇, 웨어러블장치, 시각장애인 안내장치 중의 하나를 포함하는 것을 특징으로 하는 장치.
  22. 제18항 내지 제21항 중의 어느 한 항에 있어서,
    상기 목표 검출 프레임은 직사각형 프레임이고, 상기 처리 유닛은 또한,
    상기 차량차단기에 대응하는 목표 검출 프레임의 길이-폭비에 따라 상기 차량차단기의 목표 상태 정보를 확정하기 위한 것이며,
    상기 차량차단기의 목표 상태 정보는 적어도 수평상태, 경사진 상태, 수직상태 중의 하나를 포함하는 것을 특징으로 하는 장치.
  23. 제22항에 있어서,
    상기 처리 유닛은 구체적으로 적어도,
    상기 차량차단기에 대응하는 목표 검출 프레임의 길이-폭비가 제1 비율 임계치보다 작거나 같은 경우, 상기 차량차단기가 수직상태에 처한 것으로 확정하는 단계, 상기 길이-폭비는 상기 차량차단기에 대응하는 목표 검출 프레임의 각 행의 화소점의 개수와 각 열의 화소점 개수의 비율이며;
    상기 차량차단기에 대응하는 목표 검출 프레임의 길이-폭비가 상기 제1 비율 임계치보다 크고, 제2 비율 임계치보다 작거나 같은 경우, 상기 차량차단기가 경사진 상태에 처한 것으로 확정하는 단계;
    상기 차량차단기에 대응하는 목표 검출 프레임의 길이-폭비가 상기 제2 비율 임계치보다 큰 경우, 상기 차량차단기가 수평상태에 처한 것으로 확정하는 단계 중의 하나에 사용되는 것을 특징으로 하는 장치.
  24. 제23항에 있어서,
    상기 처리 유닛은 또한 적어도,
    상기 차량차단기가 수직 상태인 경우, 상기 교차로 상태 정보를 개방상태로 확정하는 단계;
    상기 차량차단기가 경사진 상태인 경우, 상기 교차로 상태 정보를 곧 개방될 상태이거나 또는 곧 폐쇄될 상태인 것으로 확정하는 단계;
    상기 차량차단기가 경사진 상태에 처한 경우, 상기 교차로 상태 정보를 폐쇄 상태로 확정하는 단계 중의 하나에 사용되는 것을 특징으로 하는 장치.
  25. 제18항 내지 제24항 중의 어느 한 항에 있어서,
    상기 검출 유닛은 구체적으로,
    획득된 이미지에 대해 목표 물체 검출을 수행하여, 상기 목표 물체에 대응하는 다수의 후보 검출 프레임을 획득하는 단계;
    상기 다수의 후보 검출 프레임에 대해 선별을 수행하여, 상기 목표 물체의 목표 검출 프레임을 획득하는 단계에 사용되는 것을 특징으로 하는 장치.
  26. 제25항에 있어서,
    상기 검출 유닛은 구체적으로,
    상기 다수의 후보 검출 프레임 중의 어느 하나인 제1 후보 검출 프레임에서 목표 물체가 목표 유형에 속할 제1 확률값을 획득하는 단계;
    상기 제1 후보 검출 프레임과 중첩 영역을 가지는 제2 후보 검출 프레임에서 목표 물체가 목표 유형에 속할 제2 확률값을 획득하는 단계;
    상기 중첩 영역의 면적과 제1 참고 영역의 면적 사이의 면적 비율을 확정하고, 상기 면적 비율이 제3 비율 임계치보다 큰 경우, 상기 제1 확률값과 상기 제2 확률값 중 작은 값에 대응하는 후보 검출 프레임인 상기 제1 참고 영역에 대응하는 후보 검출 프레임을 삭제하는 단계에 사용되는 것을 특징으로 하는 장치.
  27. 제25항 또는 제26항에 있어서,
    상기 검출유닛은 구체적으로,
    상기 적어도 하나의 후보 검출 프레임 중의 어느 하나인 제3 후보 검출 프레임 중 목표 물체가 목표 유형에 속할 제3 확률값을 획득하는 단계;
    상기 제3 후보 검출 프레임과 중첩 영역을 가지는 제4 후보 검출 프레임에서 목표 물체가 목표 유형에 속할 제4 확률값을 획득하는 단계;
    상기 중첩 영역의 면적과 제2 참고 영역의 면적 사이의 면적 비율을 확정하여, 상기 면적 비율이 제4 비율 임계치보다 큰 경우, 상기 제3 확률값과 상기 제4 확률값 중 작은 값에 대응하는 후보 검출 프레임을 삭제하는 단계에 사용되며, 상기 제2 참고 영역은 상기 제3 후보 검출 프레임과 상기 제4 후보 검출 프레임의 중첩 영역과 비 중첩 영역으로 구성된 영역인 것을 특징으로 하는 장치.
  28. 제18항 내지 제27항 중의 어느 한 항에 있어서,
    상기 처리 유닛은 또한,
    상기 목표 물체의 목표 검출 프레임에 따라 상기 참고 대상의 상기 교차로에 대한 거리 정보를 확정하는 단계; 및,
    상기 교차로 상태 정보 및 상기 거리 정보에 따라 제2 안내 메시지를 생성하며; 및/또는, 상기 교차로 상태 정보 및 상기 거리 정보에 따라 제2 주행 제어 정보를 생성하는 단계에 사용되는 것을 특징으로 하는 장치.
  29. 제28항에 있어서,
    상기 처리 유닛은 구체적으로, 적어도
    상기 차량차단기에 대응하는 목표 검출 프레임의 장변의 길이가 제1 길이 임계치보다 작은 경우, 상기 참고 대상의 상기 교차로에 대한 거리가 제1 거리보다 큰 것으로 확정하는 단계;
    상기 차량차단기에 대응하는 목표 검출 프레임의 장변의 길이가 제2 길이 임계치보다 큰 경우, 상기 참고 대상의 상기 교차로에 대한 거리가 제2 거리보다 작은 것으로 확정하는 단계 중의 하나에 사용되며, 상기 제2 거리는 제1 거리보다 작고, 상기 제2 길이 임계치는 상기 제1 길이 임계치보다 큰 것을 특징으로 하는 장치.
  30. 제18항 내지 제29항 중의 어느 한 항에 있어서,
    상기 목표 물체는 신호등 및/또는 교차로 표지판을 더 포함하고, 상기 신호등의 목표 상태 정보는 신호등 켜짐과 신호등 꺼짐을 포함하는 것을 특징으로 하는 장치.
  31. 제30항에 있어서,
    상기 처리 유닛은 구체적으로, 적어도
    상기 이미지에 검출된 목표 물체가 없는 경우, 상기 교차로 상태 정보를 교차로가 검출되지 않은 것으로 확정하는 단계;
    상기 참고 대상의 상기 교차로에 대한 거리가 제1 거리보다 큰 경우, 상기 교차로 상태 정보를 원거리에서 교차로가 검출된 것으로 확정하는 단계;
    상기 참고 대상의 상기 교차로에 대한 거리가 제2 거리보다 작은 경우, 상기 교차로 상태 정보를 근거리에서 교차로가 검출된 것으로 확정하는 단계 중의 하나에 사용되는 것을 특징으로 하는 장치.
  32. 제31항에 있어서,
    상기 처리 유닛은 구체적으로, 적어도
    상기 차량차단기가 수직 상태이고, 상기 신호등의 상태가 신호등 켜짐인 경우, 상기 교차로 상태 정보를 상기 교차로의 차량차단기가 곧 하강할 것으로 확정하는 단계;
    상기 차량차단기가 경사진 상태이고, 상기 신호등의 상태가 신호등 켜짐인 경우, 상기 교차로 상태 정보를 상기 교차로의 차량차단기가 하강 중인 것으로 확정하는 단계;
    상기 차량차단기가 수평 상태이고, 상기 신호등의 상태가 신호등 켜짐인 경우, 상기 교차로 상태 정보를 상기 교차로의 차량차단기가 이미 하강한 것으로 확정하는 단계;
    상기 차량차단기가 수직 상태이고, 상기 신호등의 상태가 신호등 꺼짐인 경우, 상기 교차로 상태 정보를 상기 교차로의 차량차단기가 이미 상승한 것으로 확정하는 단계;
    상기 차량차단기가 경사진 상태이고, 상기 신호등의 상태가 신호등 꺼짐인 경우, 상기 교차로 상태 정보를 상기 교차로의 차량차단기가 상승 중인 것으로 확정하는 단계;
    상기 차량차단기가 수평 상태이고, 상기 신호등의 상태가 신호등 켜짐인 경우, 상기 교차로 상태 정보를 상기 교차로의 차량차단기가 곧 상승할 것으로 확정하는 단계; 중의 하나에 사용되는 것을 특징으로 하는 장치.
  33. 제31항에 있어서,
    상기 교차로 상태 정보가 근거리에서 교차로가 검출된 것으로 확정된 후, 상기 처리 유닛은 또한 적어도,
    상기 차량차단기가 수직 상태이고, 상기 신호등의 상태가 신호등 켜짐인 경우, 상기 교차로 상태 정보를 상기 교차로의 차량차단기가 곧 하강할 것으로 확정하는 단계;
    상기 차량차단기가 경사진 상태이고, 상기 신호등의 상태가 신호등 켜짐인 경우, 상기 교차로 상태 정보를 상기 교차로의 차량차단기가 하강 중인 것으로 확정하는 단계;
    상기 차량차단기가 수평 상태이고, 상기 신호등의 상태가 신호등 켜짐인 경우, 상기 교차로 상태 정보를 상기 교차로의 차량차단기가 이미 하강한 것으로 확정하는 단계;
    상기 차량차단기가 수직 상태이고, 상기 신호등의 상태가 신호등 꺼짐인 경우, 상기 교차로 상태 정보를 상기 교차로의 차량차단기가 이미 상승한 것으로 확정하는 단계;
    상기 차량차단기가 경사진 상태이고, 상기 신호등의 상태가 신호등 꺼짐인 경우, 상기 교차로 상태 정보를 상기 교차로의 차량차단기가 상승 중인 것으로 확정하는 단계;
    상기 차량차단기가 수평 상태이고, 상기 신호등의 상태가 신호등 켜짐인 경우, 상기 교차로 상태 정보를 상기 교차로의 차량차단기가 곧 상승할 것으로 확정하는 단계; 중의 하나에 사용되는 것을 특징으로 하는 장치.
  34. 제33항에 있어서,
    상기 처리 유닛은 구체적으로,
    상기 교차로 상태 정보가 상기 교차로의 차량차단기가 곧 하강함, 상기 교차로의 차량차단기가 하강 중임, 상기 교차로의 차량차단기가 이미 하강하였음 중의 어느 하나인 경우, 감속 또는 정차 안내 메시지를 생성하거나; 및/또는, 상기 참고 대상이 감속 또는 정차하도록 제어하기 위한 주행 제어 명령을 생성하는 단계;
    상기 교차로 상태 정보가 상기 교차로의 차량차단기가 이미 상승하였음, 상기 교차로의 차량차단기가 상승 중임, 상기 교차로의 차량차단기가 곧 상승함 중의 어느 하나인 경우, 현재 주행상태를 유지하거나 또는 저속으로 통행하라는 안내 메시지를 생성하거나; 및/또는, 상기 참고 대상이 현재 주행 상태를 유지하거나 또는 저속으로 주행하도록 제어하기 위한 주행 제어 명령을 생성하는 단계; 중의 하나에 사용되는 것을 특징으로 하는 장치.
  35. 전자장치에 있어서,
    프로세서, 입출력장치 및 메모리를 포함하고, 상기 프로세서, 입출력장치 및 메모리는 서로 연결되며, 여기서 상기 메모리는 컴퓨터 프로그램을 저장하기 위한 것이고, 상기 입출력장치는 데이터를 입력 또는 출력하기 위한 것이며, 상기 컴퓨터 프로그램은 프로그램 명령을 포함하고, 상기 프로세서는 상기 프로그램 명령을 호출하여, 제1항 내지 제17항 중의 어느 한 항에 따른 방법을 실행하도록 배치되는 것을 특징으로 하는 전자장치.
  36. 컴퓨터 저장 매체에 있어서,
    프로세서에 의해 실행 시 제1항 내지 제17항 중의 어느 한 항에 따른 방법을 구현하는 컴퓨터 프로그램이 저장되는 것을 특징으로 하는 컴퓨터 저장 매체.
  37. 차량에 있어서,
    제35항에 따른 전자장치 또는 제36항에 따른 컴퓨터 저장 매체가 설치되는 것을 특징으로 하는 차량.
KR1020217014702A 2018-11-13 2019-10-31 교차로 상태 검출방법, 장치, 전자장치 및 차량 KR20210074364A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201811351511.2A CN111178119A (zh) 2018-11-13 2018-11-13 路口状态检测方法、装置、电子设备及车辆
CN201811351511.2 2018-11-13
PCT/CN2019/114780 WO2020098506A1 (zh) 2018-11-13 2019-10-31 路口状态检测方法、装置、电子设备及车辆

Publications (1)

Publication Number Publication Date
KR20210074364A true KR20210074364A (ko) 2021-06-21

Family

ID=70657347

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217014702A KR20210074364A (ko) 2018-11-13 2019-10-31 교차로 상태 검출방법, 장치, 전자장치 및 차량

Country Status (4)

Country Link
JP (1) JP2022507128A (ko)
KR (1) KR20210074364A (ko)
CN (1) CN111178119A (ko)
WO (1) WO2020098506A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860419A (zh) * 2020-07-29 2020-10-30 广东智媒云图科技股份有限公司 电力检修过程中合规检测的方法、电子设备及存储介质
CN112633496B (zh) * 2020-12-18 2023-08-08 杭州海康威视数字技术股份有限公司 一种检测模型的处理方法及装置
CN113221878A (zh) * 2021-04-26 2021-08-06 阿波罗智联(北京)科技有限公司 应用于信号灯检测的检测框调整方法、装置及路侧设备
CN115035186B (zh) * 2021-12-03 2023-04-11 荣耀终端有限公司 目标对象标记方法和终端设备
CN114821194B (zh) * 2022-05-30 2023-07-25 深圳市科荣软件股份有限公司 一种设备运行状态识别方法及装置
CN115436899A (zh) * 2022-08-31 2022-12-06 中国第一汽车股份有限公司 毫米波雷达探测数据的处理方法、装置、设备和存储介质
CN116563521B (zh) * 2023-04-14 2024-04-23 依未科技(北京)有限公司 目标检测的检测框处理方法及其装置、电子设备

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1040393A (ja) * 1996-07-23 1998-02-13 Sony Corp 画像認識方法およびこの方法を用いた画像認識装置ならびに電子部品実装装置
EP2383713B1 (en) * 2006-12-06 2013-05-29 Mobileye Technologies Limited Detecting and recognizing traffic signs
JP5464054B2 (ja) * 2010-05-27 2014-04-09 日産自動車株式会社 道路環境情報取得装置及びその方法
CN102176287B (zh) * 2011-02-28 2013-11-20 无锡中星微电子有限公司 一种交通信号灯识别系统和方法
CN102493299B (zh) * 2011-12-23 2014-08-13 贵州大学 解决道路潮汐拥堵的智能控制方法及装置
JP5563025B2 (ja) * 2012-03-28 2014-07-30 本田技研工業株式会社 踏切遮断機推定装置及び車両
JP2014137611A (ja) * 2013-01-15 2014-07-28 Mitsubishi Motors Corp 運転支援装置
JP6473571B2 (ja) * 2014-03-24 2019-02-20 アルパイン株式会社 Ｔｔｃ計測装置およびｔｔｃ計測プログラム
CN105741592A (zh) * 2016-05-11 2016-07-06 南京信息职业技术学院 一种自动识别道路限速标志及语音提示装置
CN107527511B (zh) * 2016-06-22 2020-10-09 杭州海康威视数字技术股份有限公司 一种智能车辆行车提醒方法及装置
CN106485797A (zh) * 2016-09-30 2017-03-08 广东中星微电子有限公司 停车计时方法及停车计时装置
CN108520229B (zh) * 2018-04-04 2020-08-07 北京旷视科技有限公司 图像检测方法、装置、电子设备和计算机可读介质
CN108564084A (zh) * 2018-05-08 2018-09-21 北京市商汤科技开发有限公司 文字检测方法、装置、终端及存储介质

Also Published As

Publication number Publication date
WO2020098506A1 (zh) 2020-05-22
CN111178119A (zh) 2020-05-19
JP2022507128A (ja) 2022-01-18

Similar Documents

Publication Publication Date Title
KR20210074364A (ko) 교차로 상태 검출방법, 장치, 전자장치 및 차량
JP2022507995A (ja) 無人運転車用の障害物回避方法及び装置
KR20210097762A (ko) 이미지 처리 방법, 장치 및 디바이스, 및 저장 매체
KR20200018612A (ko) 물체 검출을 위한 방법, 장치 및 기기
US20200090057A1 (en) Human-computer hybrid decision method and apparatus
US20220035733A1 (en) Method and apparatus for checking automatic driving algorithm, related device and storage medium
CN113012176B (zh) 样本图像的处理方法、装置、电子设备及存储介质
CN113859264B (zh) 车辆控制方法、装置、电子设备及存储介质
JP2007293627A (ja) 車両の周辺監視装置、車両、車両の周辺監視方法、および車両の周辺監視用プログラム
EP3620945A1 (en) Obstacle distribution simulation method, device and terminal based on multiple models
JP2023064093A (ja) 交通標識検出方法及び交通標識検出モデルのトレーニング方法
JP2020513627A (ja) インテリジェント盲導方法および装置
CN113052047B (zh) 交通事件的检测方法、路侧设备、云控平台及系统
Sirbu et al. Real-time line matching based speed bump detection algorithm
CN116563801A (zh) 交通事故检测方法、装置、电子设备和介质
US20220324387A1 (en) Display control system, display control method, and non-transitory storage medium
CN114998863B (zh) 目标道路识别方法、装置、电子设备以及存储介质
JP2011198266A (ja) 危険判定装置及びプログラム
CN114852068A (zh) 一种行人避撞方法、装置、设备以及存储介质
CN113554882A (zh) 用于输出信息的方法、装置、设备以及存储介质
CN114596706A (zh) 路侧感知系统的检测方法及装置、电子设备和路侧设备
JP6449699B2 (ja) 環境認識システム
CN114379547A (zh) 制动控制方法、装置、车辆、电子设备及存储介质
CN110736465A (zh) 导航方法、装置、机器人及计算机可读存储介质
US20220004777A1 (en) Information processing apparatus, information processing system, information processing method, and program

Legal Events

Date Code Title Description
A201 Request for examination