KR20220004606A - 신호등 식별 방법, 장치, 기기, 저장 매체 및 컴퓨터 프로그램 - Google Patents

신호등 식별 방법, 장치, 기기, 저장 매체 및 컴퓨터 프로그램 Download PDF

Info

Publication number
KR20220004606A
KR20220004606A KR1020210184229A KR20210184229A KR20220004606A KR 20220004606 A KR20220004606 A KR 20220004606A KR 1020210184229 A KR1020210184229 A KR 1020210184229A KR 20210184229 A KR20210184229 A KR 20210184229A KR 20220004606 A KR20220004606 A KR 20220004606A
Authority
KR
South Korea
Prior art keywords
traffic light
simulated
state information
real
time delay
Prior art date
Application number
KR1020210184229A
Other languages
English (en)
Inventor
레이 왕
칭쥉 쑨
칭?? 쑨
슈칭 송
얀 자오
Original Assignee
아폴로 인텔리전트 커넥티비티 (베이징) 테크놀로지 씨오., 엘티디.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아폴로 인텔리전트 커넥티비티 (베이징) 테크놀로지 씨오., 엘티디. filed Critical 아폴로 인텔리전트 커넥티비티 (베이징) 테크놀로지 씨오., 엘티디.
Publication of KR20220004606A publication Critical patent/KR20220004606A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/18—Extraction of features or characteristics of the image
    • G06V30/18105—Extraction of features or characteristics of the image related to colour
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/095—Traffic lights
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/096—Arrangements for giving variable traffic instructions provided with indicators in which a mark progresses showing the time elapsed, e.g. of green phase
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/02—Recognising information on displays, dials, clocks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 신호등 식별 방법, 장치, 기기, 저장 매체 및 컴퓨터 프로그램을 개시하고, Cooperative Vehicle Infrastructure, 차량 인터넷 등 스마트 교통 분야에 관한 것이다. 구체적인 구현 방안은, 신호등 식별 모델을 이용하여 복수의 비디오 프레임을 식별하여 실제 신호등의 상태 정보 및 모의 신호등의 상태 정보를 얻고; 상기 실제 신호등의 상태 정보 및 상기 모의 신호등의 상태 정보에 의해 상기 실제 신호등 및 상기 모의 신호등 사이의 타임 딜레이를 확정하는 것이다. 이와 같이, 본 발명은 실제 신호등과 모의 신호등의 타임 딜레이 정확도를 높일 수 있다.

Description

신호등 식별 방법, 장치, 기기, 저장 매체 및 컴퓨터 프로그램{SIGNAL LAMP RECOGNITION METHOD, DEVICE, APPARATUS, AND STORAGE MEDIUM AND COMPUTER PROGRAM}
본 발명은 이미지 처리 분야에 관한 것으로, 특히, Cooperative Vehicle Infrastructure, 차량 인터넷 등 스마트 교통 분야에 관한 것이다.
Cooperative Vehicle Infrastructure는 차세대 정보 통신 기술로서, 차량에 더욱 많은 정보를 제공한다. Cooperative Vehicle Infrastructure의 한 활용 시나리오는 차량을 위해 신호등 카운트다운 정보를 제공하는 것이다. 예를 들어, 차량의 전방에 대형 트럭이 운전자의 시선을 가로막을 경우, 운전자는 차량단 기기의 신호등 카운트 다운을 통해 실제 신호등의 상태를 알 수 있다. 이러한 시나리오의 전통적인 테스트 방법은, 사람이 현장에서 실제 신호등의 초를 기록하고 스마트 기기에 표시된 신호등의 카운트 다운의 초와 비교하여 타임 딜레이를 얻는 방식이다.
본 발명은 신호등 식별 방법, 장치, 기기, 저장 매체 및 컴퓨터 프로그램을제공한다.
본 발명의 일 측면에 따르면, 신호등 식별 방법을 제공한다. 상기 방법은,
신호등 식별 모델을 이용하여 복수의 비디오 프레임을 식별하고 실제 신호등의 상태 정보 및 모의 신호등의 상태 정보를 얻는 단계; 및 상기 실제 신호등의 상태 정보 및 상기 모의 신호등의 상태 정보에 의해, 상기 실제 신호등과 상기 모의 신호등 사이의 타임 딜레이를 확정하는 단계를 포함한다.
본 발명의 다른 일 측면에 따르면, 신호등 식별 장치를 제공한다. 상기 장치는,
신호등 식별 모델을 이용하여 복수의 비디오 프레임을 식별하여 실제 신호등의 상태 정보와 모의 신호등의 상태 정보를 얻는 상태 확정 유닛; 및 상기 실제 신호등의 상태 정보 및 상기 모의 신호등의 상태 정보에 의해 상기 실제 신호등과 상기 모의 신호등 사이의 타임 딜레이를 확정하는 타임 딜레이 확정 유닛을 포함한다.
본 발명의 다른 일 측면에 따르면, 전자 기기를 제공한다. 상기 전자 기기는, 적어도 하나 이상의 프로세서; 및 상기 적어도 하나 이상의 프로세서에 통신 연결되는 메모리를 포함하고, 상기 메모리에는 상기 적어도 하나 이상의 프로세서에 의해 실행 가능한 명령이 저장되고, 상기 명령은 상기 적어도 하나 이상의 프로세서에 의해 실행되어 상기 적어도 하나 이상의 프로세서가 본 발명의 임의의 실시예에 따른 방법을 실행하도록 한다.
본 발명의 다른 일 측면에 따르면, 컴퓨터 명령이 저장된 비일시적 컴퓨터 판독 가능 저장 매체를 제공한다. 상기 컴퓨터 명령은 상기 컴퓨터가 본 발명의 임의의 실시예에 따른 방법을 실행하도록 한다.
본 발명의 다른 일 측면에 따르면, 컴퓨터 판독 가능 저장 매체에 저장된 컴퓨터 프로그램을 제공하며, 해당 컴퓨터 프로그램 중의 명령이 프로세서에 의해 실행될 경우, 본 출원의 임의의 하나의 실시예 중의 방법을 실현한다.
본 발명에 따른 기술은 인건비를 절약하고 타임 딜레이의 정확도를 향상시킬수 있다.
본 부분에 기재된 내용은 본 발명의 실시예의 핵심 또는 중요한 특징을 표시하거나 본 발명의 범위를 한정하기 위한 것이 아님을 이해해야 한다. 본 발명의 기타 특징은 아래 명세서의 내용에 의해 쉽게 이해될 것이다.
첨부된 도면은 본 발명의 기술적 수단을 더욱 잘 이해하도록 사용되며, 본 발명을 한정하기 위해 사용되지 않는다.
도 1은 본 발명의 실시예에 따른 신호등 식별 방법의 구현 절차를 나타낸 개략도이다.
도 2는 본 발명의 실시예에 따른 신호등 식별 방법이 일 구체적인 예시에서의 비디오 프레임의 예시도이다.
도 3은 본 발명의 실시예에 따른 신호등 식별 방법이 다른 일 구체적인 예시에서의 비디오 프레임의 예시도이다.
도 4는 본 발명의 실시예에 따른 신호등 식별 방법이 일 구체적인 예시에서 구현하는 플로우 차트이다.
도 5는 본 발명의 실시예에 따른 신호등 식별 방법이 일 구체적인 예시에서의 신호등 식별 결과의 비교도면이다.
도 6은 본 발명의 실시예에 따른 신호등 식별 장치의 구성을 나타낸 개략도이다.
도 7은 본 발명의 실시예에 따른 신호등 식별 방법을 구현하는 전자 기기의 블록도이다.
이하, 첨부된 도면을 결합하여 본 발명의 예시적 실시예를 설명하며, 이해를 돕기 위해 본 발명 실시예의 다양한 세부내용이 포함되며, 이들은 예시적인 것으로 보아야 한다. 따라서, 본 기술분야의 일반 기술자는 여기에 기재된 실시예에 의해 본 발명의 범위 및 기술사상을 벗어나지 않고 다양한 수정과 변경이 가능함을 알 수 있다. 또한, 명세서를 명백하고 간결하게 하기 위하여 이하 설명 중 공지 기능 및 구조의 설명은 생략된다.
본 발명의 기술적 수단은 신호등 식별 방법을 제공한다. 구체적으로, 도 1은 본 발명의 실시예에 따른 신호등 식별 방법의 절차를 나타낸 개략도이다. 도 1에 도시된 바와 같이, 상기 방법은 아래 단계를 포함한다.
단계S101: 신호등 식별 모델을 이용하여 복수의 비디오 프레임을 식별하고 실제 신호등의 상태 정보 및 모의 신호등의 상태 정보를 얻는다.
단계S102: 실제 신호등의 상태 정보 및 모의 신호등의 상태 정보에 의해 실제 신호등과 모의 신호등 사이의 타임 딜레이를 확정한다.
일 예시적인 시나리오에서, 이미지 수집 장치를 이용하여 비디오를 촬영할 수 있다. 여기서, 상기 비디오의 비디오 프레임에는 실제 신호등의 이미지가 포함될 뿐만 아니라 모의 신호등의 이미지도 포함할 수 있다. 예를 들어, 차량 내 디바이스의 제어 인터페이스와 차량의 외부 환경 이미지를 촬영할 수 있는 카메라를 차량 내에 장착한다. 신호등이 장착된 길목을 지날 때, 차 내의 카메라는 차량의 외부 길목에 있는 신호등 화면 및 차량 내 디바이스의 제어 인터페이스 상에 표시된 신호등 화면을 동시에 촬영할 수 있다. 그리고 상기 비디오로부터 복수의 비디오 프레임을 추출할 수 있다. 사전 훈련된 신호등 식별 모델을 이용하여 복수의 비디오 프레임을 식별하고 실제 신호등의 상태 정보와 모의 신호등의 상태 정보를 얻는다. 예를 들어, 실제 신호등이 빨간불 상태인 시간, 초록불 상태인 시간 및 노란불 상태인 시간; 그리고 모의 신호등이 빨간불 상태인 시간, 초록불 상태인 시간 및 노란불 상태인 시간이다. 이와 같이, 본 발명의 기술적 수단은, 비디오 프레임 내의 실제 신호등의 상태 정보와 모의 신호등의 상태 정보에 의해, 실제 신호등과 모의 신호등 사이의 타임 딜레이를 확정할 수 있다. 그러므로 사람이 수동으로 실제 신호등과 모의 신호등의 상태를 기록하여 타임 딜레이를 계산할 필요가 없으므로 인건비를 절약하고 실제 신호등과 모의 신호등의 타임 딜레이의 정확도를 향상시킬 수 있다.
또한, 사람의 눈으로 기록된 데이터를 감지하는 것에 비해, 본 발명의 기술적 수단은 비디오 프레임에 의해 실제 신호등의 상태 정보와 모의 신호등의 상태 정보를 확정하므로 실제 신호등과 모의 신호등의 타임 딜레이 정확도가 더 높고 계산해낸 타임 딜레이에 의한 정확도도 더 높다.
본 발명의 기술적 수단의 실행 주체는 각종 계산 장치, 예를 들어 계산 기능이 있는 계산기 또는 서버 등을 포함할 수 있다. 여기서 서버는 물리 서버일 수도, 가상 서버일 수도 있다. 계산 장치는 이미지 수집 장치에 연결되어 이미지 수집 장치로부터 처리 대상 비디오를 획득하고 이들 비디오에 대해 프레이밍(framing) 등 처리를 수행하여 식별하고자 하는 복수의 비디오 프레임을 얻을 수 있다.
본 발명의 기술적 수단에서, 실제 신호등은 노변 장치, 예를 들어 길목 초소 또는 지지기둥 위의 신호등을 포함할 수 있다.
본 발명의 기술적 수단에서, 모의 신호등은 네트워킹 장치의 모의 신호등을 포함할 수 있다. 네트워킹 장치는 차량 인터넷 기술을 통해 노변 장치에 연결되어 노변 장치의 실제 신호등의 상태 정보를 얻은 후 실제 신호등의 상태 정보에 의해 모의 신호등의 상태 정보를 업데이트한다. 다시 말해, 모의 신호등은 실제 신호등을 시뮬레이션하는 신호등일 수 있다.
네트워킹 장치는 차량 네트워킹 장치, 예를 들어 차량 탑재 스마트 제어 멀티미디어 시스템, 스마트 백미러 등을 포함할 수 있다. 네트워킹 장치는 네트워킹 기능을 갖는 모바일 장치, 예를 들어 스마트 폰, 스마트 테블릿 등을 포함할 수도 있다.
일 구체적인 응용에서, 실제 신호등과 모의 신호등은 구체적으로 신호등일 수 있으며, 신호등의 상태 정보는 빨간불, 노란불 및 초록불 3가지 상태를 포함한다.
일 구체적인 응용에서, 비디오 프레임을 식별할 때, 상이한 방향을 지시하고 있는 실제 신호등과 모의 신호등을 구별해야 한다. 예를 들어, 실제 신호등은 직행 실제 신호등, 죄회전 실제 신호등 및 우회전 실제 신호등으로 나누고, 모의 신호등은 직행 모의 신호등, 좌회전 모의 신호등 및 우회전 모의 신호등으로 나눈다.
실제 시나리오에서, 본 발명 기술적 수단의 복수의 비디오 프레임은 이미지 수집 장치에 수집된 비디오 데이터로부터 얻어질 수 있다. 이미지 수집 장치는 차 내부에 설치가능하며, 비디오 데이터를 수집하는 일 예시적 과정으로, 상기 이미지 수집 장치가 차내 장치의 모의 신호등 및 노변 장치의 실제 신호등을 촬영하되, 그 촬영효과는 도 2와 같다. 다른 일 예시적 과정으로, 상기 이미지 수집 장치가 제1 차내 장치의 모의 신호등 및 제2 차내 장치에 표시된 실제 신호등을 촬영한다. 여기서 제2 차내 장치는 노변 장치의 실제 신호등을 촬영하고 스크린에 표시하되, 그 촬영효과는 도 3과 같다.
본 발명의 기술적 수단의 일 구체적인 예시에서, 신호등 식별 모델을 이용하여 복수의 비디오 프레임을 식별하는 단계는, 처리 대상 비디오에 대해 프레이밍 처리하여 신호등 식별에 필요한 복수의 비디오 프레임을 얻는 단계를 더 포함하고, 비디오 프레임에 실제 신호등과 모의 신호등이 디스플레이되어 있다. 이와 같이, 비디오 데이터를 비디오 프레임 데이터로 변환하여 후속의 이미지 신호등 식별을 위해 기초를 마련한다. 또한 처리 대상 비디오로부터 복수의 비디오 프레임을 선택하여 식별하되, 모든 처리 대상 비디오를 식별하지 않아 업무량 감소에 유리하다.
일 예시로서, 기설정된 프레임 레이트로 처리 대상 비디오에 대해 프레이밍 처리할 수 있다. 예컨대, 기설정된 프레임 속도가 30프레임/초이면, 1/30초마다 하나의 비디오 프레임을 추출한다. 다시 말해, 추출된 두 인접한 비디오 프레임의 시간 간격은 각각 1/30초이다.
본 발명의 기술적 수단의 일 구체적인 예시에서, 신호등 식별 모델의 훈련 샘플 이미지에는 신호등 카테고리를 포함하며 신호등 카테고리는 실제 신호등 또는 모의 신호등이다. 예컨대, 훈련 샘플 이미지를 준비할 때, 비디오 데이터로부터 비디오 프레임을 획득하고 비디오 프레임로부터 신호등 영역을 확정하고 신호등 영역의 신호등 카테고리를 표기하여 훈련 샘플 이미지를 얻는다. 이와 같이, 신호등 식별 모델이 훈련을 마친 후, 비디오 프레임으로부터 식별된 신호등이 실제 신호등인지 모의 신호등인지를 더 잘 구분할 수 있다.
본 발명의 기술적 수단의 일 구체적인 예시에서, 훈련 샘플 이미지에는 신호등의 상태 정보를 더 포함하며, 상태 정보는 빨간불 상태, 초록불 상태 또는 노란불 상태이다. 예컨대, 훈련 샘플 이미지를 준비할 때, 비디오 데이터로부터 비디오 프레임을 획득하고, 비디오 프레임에서 신호등 영역을 획득하고 신호등 영역의 상태 정보를 표기하여 훈련 샘플 이미지를 얻는다. 이와 같이, 신호등 식별 모델이 훈련을 마친 후 비디오 프레임으로부터 식별된 신호등의 상태 정보를 더욱 잘 구분할 수 있다.
본 발명의 기술적 수단의 일 구체적인 예시에서, 실제 신호등의 상태 정보 및 모의 신호등의 상태 정보에 의해 실제 신호등과 모의 신호등 사이의 타임 딜레이를 확정하는 단계는, 먼저, 실제 신호등의 상태 정보 및 모의 신호등의 상태 정보에 의해 동일한 상태 전환인 경우 실제 신호등에 대응하는 비디오 프레임과 모의 신호등에 대응하는 비디오 프레임을 확정한다. 예컨대, 실제 신호등의 상태 전환이 발생된 일 비디오 프레임을 찾았다면, 예를 들어 상기 비디오 프레임이 제10 프레임이라고 하면, 사전 구성된 10s슬라이딩 윈도우(즉, 제10 프레임 뒤의 10s 내의 비디오 프레임 중)를 통해 모의 신호등이 전환되는 비디오 프레임을 찾는다. 예를 들어 제20 프레임이라 하면, 제10 프레임의 실제 신호등의 상태 전환과 제20 프레임의 모의 신호등의 상태 전환을 동일한 상태 전환으로 간주할 수 있다. 이어서, 동일한 상태 전환인 경우 실제 신호등에 대응하는 비디오 프레임과 모의 신호등에 대응하는 비디오 프레임에 의해 실제 신호등과 모의 신호등 사이의 타임 딜레이를 확정한다. 예를 들어, 수동 테스트의 초(秒) 레벨의 타임 딜레이에 비해, 본 발명의 기술적 수단은 프레임 단위로 타임 딜레이를 확정하므로 밀리 초(millisecond) 레벨의 차이를 얻을 수 있다. 이를 통해, 제품의 아키텍처가 업그레이드된 후 타임 딜레이가 줄어들 뿐만 아니라 해당 기술수단을 이용하여 제품의 품질을 평가할 수도 있다.
본 발명의 기술적 수단의 일 구체적인 예시에서, 시뮬레이션 방법은, 실제 신호등의 상태 정보 및 모의 신호등의 상태 정보에 의해 비디오 프레임을 시간 단위로 하는 신호등 상태의 시간축 그림을 생성하는 단계를 더 포함한다. 이와 같이, 시간축 형식으로 실제 신호등과 모의 신호등이 동일한 시점에 대응하는 상태 정보를 용이하게 정렬하고 그림 형식으로 신호등의 상태 정보를 나타내므로 테스트 결과가 더욱 직관적이다. 예컨대, 도 2는 비디오 프레임을 시간 단위로 하는 신호등 상태의 시간축 그림을 도시한다. 시간축 그림에서 윗부분은 실제 신호등의 시각 측정 식별 결과에 대응하고, 아래부분은 차량 내 디바이스의 사람-장치 간 인터페이스(Human Machine Interface, HMI) 신호등의 시각 측정 식별 결과에 대응한다. 도 2로부터 실제 신호등과 모의 신호등의 차이를 직관적으로 확인할 수 있으므로 상태 전환의 시점을 신속하게 포지셔닝하여 타임 딜레이를 확정할 수 있다.
본 발명의 기술적 수단의 일 구체적인 예시에서, 실제 신호등의 상태 정보 및 모의 신호등의 상태 정보에 의해, 실제 신호등과 모의 신호등 사이의 전환 시점, 타임 딜레이의 평균 값, 최대 타임 딜레이 및 최소 타임 딜레이 중 하나 이상을 통계하여 얻는 단계를 더 포함한다. 이를 통해, 데이터 통계를 자동화하여 테스터 작업 인원의 업무량을 줄이고 전환 시점, 타임 딜레이의 평균 값, 최대 타임 딜레이 및 최소 타임 딜레이 등 여러 가지 지표 데이터를 제공할 뿐만 아니라 테스터 작업 인원이 모의 신호등의 시나리오를 더욱 전면적으로 정확하게 평가할 수 있다.
이하에서는 구체적인 예시를 결합하여 본 출원의 기술적 수단에 대해 더욱 상세하게 설명한다.
(1) 모델 훈련 과정:
우선, 프레이밍 처리한다. FFMPEG(Fast Forward MPEG)와 같은 멀티미디어 비디오 처리 툴을 이용하여 처리 대상 비디오에 대해 사전 처리하여 프레이밍(framing)된 이미지를 얻는다. 여기서, FFMPEG는 디지털 오디오, 비디오를 기록 및 변환하여 이를 스트림(stream)으로 전환가능한 오픈 소스 컴퓨터 프로그램이다. MPEG(Moving Picture Experts Group)은 멀티미디어 분야의 국제표준을 만드는 조직이다.
프레이밍(framing)을 거친 이미지에 대해 표기하고 이미지 중 실제 신호등과 모의 신호등(예를 들어 차량 내 디바이스에 표시된 신호등 카운트다운)에 대해 표기한다. 도 3에 도시된 바와 같이, 먼저, 박스를 이용하여 유형을 표기하되 이미지의 실제 신호등과 모의 신호등으로 표기한 다음 각 박스에 타겟 카테고리를 선택한다. 타겟 카테고리는 다음 것을 포함한다: 빨간불 좌회전(실제), 빨간불 직행(실제), 빨간불 우회전(실제), 초록불 좌회전(실제), 초록불 직행(실제), 초록불 우회전(실제), 노란불 좌회전(실제), 노란불 직행(실제), 노란불 우회전(실제), 빨간불 좌회전(MAP), 빨간불 직행(MAP), 빨간불 우회전(MAP), 초록불 좌회전(MAP), 초록불 직행(MAP), 초록불 우회전(MAP), 노란불 좌회전(MAP), 노란불 직행(MAP), 노란불 우회전(MAP). 여기서, "(실제)"는 실제 신호등을, (MAP)는 모의 신호등을 나타낸다. 상기 표기 작업을 완료한 후, 훈련 샘플 이미지 모음을 얻을 수 있다.
훈련 샘플 이미지 모음의 정보를 추출하고 데이터 변환을 진행하여 실제 및 차량 내 디바이스에 표시된 신호등의 각 방향의 색상을 얻은 후, 이러한 정보들을 모델 훈련 모음으로 하되, 심도 학습 모델Faster-Rcnn(다수 제품 융합 모델)을 이용하여 모델 훈련을 진행하여 신호등 식별 모델을 얻는다.
(2) 신호등 식별 과정:
도 4을 참조하면, 이는 신호등 식별 과정에서의 각 모듈의 처리 플로우 차트이다. 구체적으로,
비디오 전처리 모듈: 이미지 디코딩과 관심 영역(Region Of Interest, ROI)을 추출하는데 사용된다. 여기서, 이미지 디코딩은 처리 대상 비디오 데이터에 대해 프레이밍 처리하여 식별하고자 하는 복수의 비디오 프레임을 얻는 것을 포함한다. 관심 영역 추출은 각 비디오 프레임으로부터 신호등 관심 영역을 확정하는 것을 포함한다.
실제등 식별 모듈: 심도 학습 모델 Faster-Rcnn에 의해 훈련된 모델(즉, 신호등 식별 모델)을 이용하여 복수의 비디오 프레임을 식별하고 비디오 프레임 중 실제 신호등 박스(Bounding box, Bbox)의 상태 정보를 얻는다.
실제등 추적(tracking) 모듈: 실제 신호등에 바운싱이 일어나거나 차량에 의해 가려져 실제 신호등의 빈도가 낮은 경우가 발생할 수 있으므로 상기 실제등을 식별한 후 실제 신호등을 추적한다. 예를 들어, 복수의 비디오 프레임에 대응하는 실제 신호등을 식별한 결과 중에서 제10 프레임 내지 제25 프레임 사이에 식별못하는 실제등 상태 정보는, 제10 프레임 이전 및 제25 프레임 이후의 비디오 프레임의 실제등 식별 결과를 이용하여 제10 프레임 내지 제25 프레임 사이의 실제등 식별 결과를 보충한다.
한편, 일반적으로 실제 신호등의 상황이 아주 복잡하므로 단일 신호등과 다수 신호등 사이에 매칭이 필요하다. 예를 들어, 도 3에 나타낸 바와 같이, 실제 신호등에 복수의 직행 빨간불이 나타났을 경우, 모의 신호등과 간편하게 정렬 및 비교하도록 복수의 실제 직행 빨간불을 하나의 실제 직행 빨간불로 간주할 수 있다.
모의등 식별 모듈: 심도 학습 모델Faster-Rcnn에 의해 훈련되어 얻은 모델(즉, 신호등 식별 모델)을 이용하여 복수의 비디오 프레임을 식별하고 비디오 프레임 중의 모의 신호등 박스Bbox의 상태 정보를 얻는다.
신간축 생성 모듈: 상기 복수의 비디오 프레임에 대한 실제 신호등 식별 결과 및 모의 신호등 식별 결과에 의해 비디오 프레임 속도의 시간축 그림을 생성한다.
시간축 그림 비교 모듈: 비디오 프레임 레이트 시간축 그림 상의 전환 시점, 즉 상태 전환이 발생한 비디오 프레임을 검색한다. 슬라이딩 윈도우 비교를 설정(10s)하여 동일한 상태 전환인 비디오 프레임에 있어서, 실제 신호등과 모의 신호등의 타임 딜레이를 비교하도록 슬라이딩 윈도우(10s)를 설정하여 비교할 수 있다. 예를 들어, 실제 신호등이 제10 프레임 전환 상태에서 10s스라이딩 윈도우를 이용하여 제10 프레임 뒤 10s 내의 모의 신호등 상태 전환의 비디오 프레임을 검색하여 동일한 상태 전환으로 하여 비교한다. 프레임에 따라 신호등 전환의 타임 딜레이를 계산하는 바, 예를 들어, 프레임 속도가 30프레임/초이면 가늠할 수 있는 타임 딜레이 최소값이 33밀리 초이다. 이상 위치 이미지 비디오 구간에 대해 비주얼 렌더링(visual rendering)을 진행한다. 예를 들어, 실제 신호등이 바운싱되어 상태 정보를 식별못해 시간축 그림에 블랙 라인이 나타내게 된다. 이때, 가장 가까운 정상 위치의 신호등 색상을 참고하여 이상 위치에 대해 렌더링할 수 있다. 결과적으로, 전환 시점, 평균값, 최대 타임 딜레이Max, 최소 타임 딜레이Min의 신호등 통계를 더 산출할 수 있다.
도 5를 참조하면, 도 5는 본 기술적 수단에 의해 분석해낸 예시 결과이다. 도 5의 위 라인은 실제 직행 신호등 색상을 나타내고 아래 라인은 차량 내 디바이스 상에 표시된 직행 신호등의 색상을 나타낸다.
표1은 실제 직행 신호등과 차량 내 디바이스 상의 직행 신호등 전환 시점의 예시이다.
Figure pat00001
이와 같이, 본 발명의 방법에 따라 비디오 분석과 인공 지능 모델 훈련을 통해 실제 신호등과 차량 내 디바이스의 신호등 카운트다운 사이의 타임 딜레이를 정확하게 얻을 수 있어 해당 시나리오에 대해 전면적이고 정확한 평가를 할 수 있다.
본 발명의 기술적 수단은 테스터 작업 인원이 각 길목마다 신호등 전환 색상의 타임 딜레이를 기록하고 수동으로 계산할 필요가 없으므로 테스트 원가가 낮고 테스트 주기가 짧다.
본 발명의 기술적 수단은 반복 사용성이 높고, 아키텍처가 업그레이드된 후 해당 알고리즘을 이용하여 데이터의 정확도를 효과적으로 평가하여 실제와 차량 내 디바이스에 표시된 신호등의 차이를 얻을 수 있다.
본 발명의 기술적 수단은 신호등 식별 장치를 제공한다. 구체적으로, 도 6에 도시된 바와 같이, 상기 장치는
신호등 식별 모델을 이용하여 복수의 비디오 프레임을 식별하고 실제 신호등의 상태 정보와 모의 신호등의 상태 정보를 얻는 상태 확정 유닛(601);
실제 신호등의 상태 정보와 모의 신호등의 상태 정보에 의해 실제 신호등과 모의 신호등 사이의 타임 딜레이를 확정하는 타임 딜레이 확정 유닛(602)을 포함한다.
본 발명의 기술적 수단의 일 구체적인 예시에서, 상기 장치는,
처리 대상 비디오에 대해 프레이밍 처리하여 신호등 식별에 필요한 복수의 비디오 프레임을 얻는 비디오 프레임 획득 유닛을 더 포함하고 비디오 프레임은 실제 신호등과 모의 신호등이 디스플레이되어 있다. 본 발명의 기술적 수단의 일 구체적인 예시에서, 신호등 식별 모델을 훈련하는 훈련 샘플 이미지에는 신호등 카테고리를 포함하고, 신호등 카테고리는 실제 신호등 또는 모의 신호등이다.
본 발명의 기술적 수단의 일 구체적인 예시에서, 훈련 샘플 이미지에는 빨간불 상태, 초록불 상태 또는 노란불 상태의 신호등 상태 정보를 더 포함한다.
본 발명의 기술적 수단의 일 구체적인 예시에서, 실제 신호등의 상태 정보와 모의 신호등의 상태 정보에 의해 실제 신호등과 모의 신호등 사이의 타임 딜레이를 확정하는 타임 딜레이 확정 유닛은,
실제 신호등의 상태 정보 및 모의 신호등의 상태 정보에 의해, 동일한 상태 전환인 경우 실제 신호등에 대응하는 비디오 프레임과 모의 신호등에 대응하는 비디오 프레임을 확정하는 전환 비디오 프레임 서브 유닛;
동일한 상태 전환인 경우 실제 신호등에 대응하는 비디오 프레임과 모의 신호등에 대응하는 비디오 프레임에 의해 실제 신호등과 모의 신호등 사이의 타임 딜레이를 확정하는 타임 딜레이 확정 서브 유닛을 포함한다.
본 발명의 기술적 수단의 일 구체적인 예시에서, 상기 장치는,
실제 신호등의 상태 정보 및 모의 신호등의 상태 정보에 의해, 비디오 프레임을 시간 단위로 하는 신호등 상태의 시간축 그림을 생성하는 시간축 그림 생성 유닛을 더 포함할 수 있다.
본 발명의 기술적 수단의 일 구체적인 예시에서, 상기 장치는,
실제 신호등의 상태 정보 및 모의 신호등의 상태 정보에 의해, 실제 신호등과 모의 신호등 사이의 전환 시점, 타임 딜레이의 평균 값, 최대 타임 딜레이 및 최소 타임 딜레이 중 하나 이상을 통계하여 얻는 통계 유닛을 더 포함할 수 있다. 본 발명의 실시예에 의하면, 본 발명은 전자 기기, 판독 가능 저장 매체 및 컴퓨터 프로그램 제품을 더 제공한다.
도 7은 본 발명의 실시예를 구현하는 예시적인 전자 기기(700)의 개략적 블록도이다. 전자 기기는 랩 컴퓨터, 데스크탑 컴퓨터, 워크스테이션, PDA, 서버, 블레이드 서버(blade server), 대형 컴퓨터 및 기타 적절한 컴퓨터와 같은 여러 종류의 디지털 컴퓨터를 지칭한다. 전자 기기는 PDA(Personal Digital Assistant), 이동전화(Cellular phone), 스마트폰(smartphone), 웨어러블 디바이스(wearable device) 및 기타 유사한 컴퓨팅 장치와 같은 다양한 이동식 장치를 지칭할 수도 있다. 본 명세서에 언급된 부재, 이들의 연결 및 관계, 그리고 이들의 기능은 예시에 불과하고, 본문에서 기재 및/또는 청구한 본 발명의 구현을 한정하는데 있는 것이 아니다.
도 7에 도시된 바와 같이, 기기(700)는 컴퓨팅 유닛(701)을 포함하고, 상기 컴퓨팅 유닛(701)은 ROM(702)에 저장된 컴퓨터 프로그램 또는 저장 유닛(708)으로부터 RAM(703)에 로딩된 컴퓨터 프로그램에 의해 각종 적절한 동작과 처리를 수행할 수 있다. RAM(703)에는 기기(700)가 작동하는데 필요한 각종 프로그램과 데이터가 더 저장되어 있을 수 있다. 컴퓨팅 유닛(701), ROM(702) 및 RAM(703)는 버스(704)를 통해 서로 연결된다. 또한 입력출력(I/O) 인터페이스(705)는 버스(704)에 연결되어 있다.
기기(700) 중 복수의 부재는 I/O 인터페이스(705)에 연결되고, 키보드, 마우스와 같은 입력 유닛(706); 여러 종류의 디스플레이 장치, 스피커와 같은 출력 유닛(707); 자기 디스크, 광 디스크와 같은 저장 유닛(708); 및 랜 카드, 모뎀, 무선통신 송수신기와 같은 통신 유닛(709)을 포함한다. 통신 유닛(709)은 기기(700)가 인터넷과 같은 컴퓨터 네트워크 및/또는 각종 통신 네트워크를 통해 다른 기기와 정보 또는 데이터를 교환하도록 한다.
컴퓨팅 유닛(701)은 처리 및 컴퓨팅 능력을 가지는 여러 가지 범용의 및/또는 전용의 처리 컴포넌트일 수 있다. 컴퓨팅 유닛(701)의 일부 예시는 중앙 처리 장치(CPU), 그래픽 처리 장치(GPU), 여러 가지 전용 인공 지능 (AI) 컴퓨팅 칩, 기계 학습 모델 알고리즘을 실행하는 여러 가지 컴퓨팅 유닛, 디지털 신호 프로세서(DSP) 및 임의의 적합한 프로세서, 제어기, 마이크로 제어기 등을 포함하나 이에 한정되지 않는다. 컴퓨팅 유닛(701)은 상술한 각 방법과 처리， 예를 들면 신호등 식별 방법을 수행한다. 예를 들어 일부 실시예에서 신호등 식별 방법은 컴퓨터 소프트웨어 프로그램으로 구현될 수 있고, 기계 판독 가능 매체, 예를 들면 저장 유닛(708)에 유형적으로(tangibly) 포함될 수 있다. 일부 실시예에서, 컴퓨터 프로그램의 일부 또는 전부가 ROM(702) 및/또는 통신 유닛(709)을 거쳐 기기(700)에 로딩 및/또는 설치될 수 있다. 컴퓨터 프로그램이 RAM(703)에 로딩되어 컴퓨팅 유닛(701)에 의해 실행될 경우, 상술한 신호등 식별 방법의 하나 또는 복수의 단계가 실행될 수 있다. 대안적으로, 다른 실시예에서, 컴퓨팅 유닛(701)은 기타 임의의 적절한 방식으로(예를 들면 펌웨어에 의해) 신호등 식별 방법을 수행하도록 구성될 수 있다.
본 명세서에 기재된 시스템 및 기술의 각종 실시방식은 디지털 전자 회로 시스템, 집적회로 시스템, 필드 프로그래머블 게이트 어레이(Field-programmable Gate Array: FPGA), 주문형 반도체(Application-Specific Integrated Circuit: ASIC), 주문형 표준 제품(Application-Specific Standard Product: ASSP), 시스템 온 칩 시스템(System-on-a-chip system: SOC), 복합 프로그래머블 로직 디바이스(Complex Programmable Logic Device: CPLD). 컴퓨터 하드웨어, 펌웨어, 소프트웨어 및/또는 이들의 조합에서 구현될 수 있다. 상기 다양한 실시방식은 하나 또는 복수의 컴퓨터 프로그램에서 실시되고, 상기 하나 또는 복수의 컴퓨터 프로그램은 적어도 하나 이상의 프로그래머블 프로세서를 포함하는 프로그래머블 시스템 상에서 실행 및/또는 해석된다. 상기 프로그래머블 가능 프로세서는 전용 또는 범용 프로그래머블 프로세서일 수 있으며, 저장 시스템, 적어도 하나 이상의 입력장치 및 적어도 하나 이상의 출력장치로부터 데이터 및 명령을 수신하고, 데이터 및 명령을 상기 저장 시스템, 상기 적어도 하나 이상의 입력장치 및 상기 적어도 하나 이상의 출력장치로 전송할 수 있다.
본 발명의 방법을 구현하는 프로그램 코드는 하나 또는 복수의 프로그래밍 언어의 임의의 조합으로 프로그래밍할 수 있다. 이러한 프로그램 코드는 범용 컴퓨터, 전용 컴퓨터 또는 다른 프로그래머블 데이터 처리 장치들의 프로세서 또는 제어기에 제공되어 프로그램 코드가 프로세서 또는 제어기에 의해 실행될 때 플로우 차트 및/또는 블록도에 특정된 기능/동작을 구현하도록 할 수 있다. 프로그램 코드는 기계상에서 전체 실행될 수 있고 부분적으로 실행될 수도 있고 독립적인 소프트웨어 패키지로서 일부가 기계에서 실행되고 일부가 원격 기계에서 실행되거나 또는 전체가 원격 기계나 서버에서 실행될 수도 있다.
본 발명의 상하 내용에서, 기계 판독 가능 매체는 유형의 매체일 수 있으며, 명령 실행 시스템, 장치 또는 기기에 의해 사용되거나, 또는 명령 실행 시스템, 장치 또는 기기와 결합하여 사용되는 프로그램을 포함하거나 저장할 수 있다. 기계 판독 가능 매체는 기계 판독 가능한 신호 매체 또는 기계 판독 가능한 저장 매체일 수 있다. 기계 판독 가능 매체는 전자, 자기, 광학, 전자기, 적외선 또는 반도체 시스템, 장치 또는 기기, 또는 전술한 내용들의 임의의 적합한 조합을 포함할 수 있으나, 이에 한정되지 않는다. 기계 판독 가능 저장 매체의 보다 구체적인 예시는 하나 또는 다수의 선에 기반하는 전기적 연결, 휴대용 컴퓨터 디스크, 하드 디스크, 랜덤 액세스 메모리(RAM), 읽기 전용 메모리(ROM), 소거 및 프로그램 가능한 읽기 전용 메모리(EPROM 또는 플래시 메모리), 광섬유, 휴대용 콤팩트 디스크 읽기 전용 메모리(CD-ROM), 광학 저장 장치, 자기 저장 장치 또는 전술한 내용들의 임의의 적합한 조합을 포함할 수 있으나, 이에 한정되지 않는다.
사용자와의 상호 작용을 제공하기 위해, 본 명세서에 기술된 시스템 및 기술은 사용자에게 정보를 디스플레이하기 위한 디스플레이 장치(예컨대, CRT(cathode ray tube) 또는 LCD(liquid crystal display) 모니터) 및 사용자가 컴퓨터에 입력하는 키보드 및 포인팅 디바이스(예컨대, 마우스 또는 트랙볼)를 갖는 컴퓨터상에서 구현될 수 있다. 다른 종류의 디바이스도 사용자와의 상호 작용을 제공하기 위해 사용될 수 있는데, 예를 들어, 사용자에게 제공된 피드백은 임의의 형태의 감각 피드백(예컨대, 시각적 피드백, 청각 피드백 또는 촉각적 피드백)일 수 있으며, 사용자로부터의 입력은 임의의 형태(음향, 음성 또는 촉각 입력을 포함)로 수신될 수 있다.
본 명세서에 설명된 시스템 및 기술은 백 엔드(back end) 컴포넌트(예컨대, 데이터 서버)를 포함하거나 미들웨어 컴포넌트(예컨대, 애플리케이션 서버)를 포함하거나, 또는 프런트 엔드 컴포넌트(예컨대, 그래픽 사용자 인터페이스 또는 웹 브라우저를 갖는 사용자 컴퓨터이며 사용자는 상기 그래픽 사용자 인터페이스 또는 웹 브라우저를 통해 본 명세서에서 기술된 시스템 및 기술의 실시방식과 연동할 수 있다.)를 포함하거나, 또는 백 엔드, 미들웨어 또는 프론트 엔드 컴포넌트의 임의의 조합을 포함하는 컴퓨팅 시스템에서 구현될 수 있다. 시스템의 컴포넌트는 임의의 형태 또는 매체의 디지털 데이터 통신(예컨대, 통신 네트워크)에 의해 상호 연결될 수 있다. 통신 네트워크의 예로는 근거리 통신망(LAN), 광역 통신망(WAN), 및 인터넷을 포함한다.
컴퓨터 시스템은 클라이언트단 및 서버를 포함할 수 있다. 클라이언트단과 서버는 서로 멀리 떨어져 있으며 일반적으로 통신 네트워크를 통해 연동된다. 상응한 컴퓨터 상에서 실행되고 각각 클라이언트단-서버 관계를 갖는 컴퓨터 프로그램을 통해 클라이언트단과 서버의 관계를 생성한다.
위에 기술된 다양한 형식의 프로세스, 재 배열, 추가 또는 삭제의 단계가 적용될 수 있음을 이해해야 한다. 예를 들어, 본 발명에 기재된 각 단계는 병렬로 진행할 수도, 순차적으로 진행할 수도, 다른 순서로 진행될 수도 있는 바, 본 발명에 개시된 기술적 수단이 목표한 결과를 구현할 수만 있다면 특별히 한정하지 않는다.
상기 구체적 실시방식은 본 발명의 보호범위를 한정하지 않는다. 본 기술분야의 일반 기술자는 설계 요구 및 기타 요소에 따라 다양한 수정, 조합, 서브 조합 및 대체가 가능하다는 것을 알 수 있다. 본 발명의 사상 및 원칙 내에서 진행한 그 어떠한 수정, 균등한 치환 및 개선 등은 모두 본 발명의 보호 범위 내에 속한다.

Claims (17)

  1. 신호등 식별 방법으로서,
    신호등 식별 모델을 이용하여 복수의 비디오 프레임을 식별하고 실제 신호등의 상태 정보 및 모의 신호등의 상태 정보를 얻는 단계;
    상기 실제 신호등의 상태 정보 및 상기 모의 신호등의 상태 정보에 의해, 상기 실제 신호등과 상기 모의 신호등 사이의 타임 딜레이를 확정하는 단계
    를 포함하는, 신호등 식별 방법.
  2. 청구항 1에 있어서,
    처리 대상 비디오에 대해 프레이밍 처리하여 신호등 식별에 필요하는 복수의 비디오 프레임을 얻는 단계를 더 포함하고, 상기 비디오 프레임에 실제 신호등과 모의 신호등이 디스플레이 되어 있는, 신호등 식별 방법.
  3. 청구항 2에 있어서,
    상기 신호등 식별 모델의 훈련 샘플 이미지는 실제 신호등 또는 모의 신호등인 신호등 카테고리를 포함하는, 신호등 식별 방법.
  4. 청구항 3에 있어서,
    상기 훈련 샘플 이미지는 빨간불 상태, 초록불 상태 또는 노란불 상태의 신호등 상태 정보를 더 포함하는, 신호등 식별 방법.
  5. 청구항 1 내지 4 중 어느 한 항에 있어서,
    상기 실제 신호등의 상태 정보 및 상기 모의 신호등의 상태 정보에 의해 상기 실제 신호등과 상기 모의 신호등 사이의 타임 딜레이를 확정하는 단계는,
    상기 실제 신호등의 상태 정보 및 상기 모의 신호등의 상태 정보에 의해 동일한 상태 전환인 경우 상기 실제 신호등에 대응하는 비디오 프레임과 상기 모의 신호등에 대응하는 비디오 프레임을 확정하는 단계;
    동일한 상태 전환인 경우 상기 실제 신호등에 대응하는 비디오 프레임과 상기 모의 신호등에 대응하는 비디오 프레임에 의해 상기 실제 신호등과 상기 모의 신호등 사이의 타임 딜레이를 확정하는 단계
    를 포함하는, 신호등 식별 방법.
  6. 청구항 1 내지 4 중 어느 한 항에 있어서,
    상기 실제 신호등의 상태 정보 및 상기 모의 신호등의 상태 정보에 의해 비디오 프레임을 시간 단위로 하는 신호등 상태의 시간축 그림을 생성하는 단계를 더 포함하는, 신호등 식별 방법.
  7. 청구항 1 내지 4 중 어느 한 항에 있어서,
    상기 실제 신호등의 상태 정보 및 상기 모의 신호등의 상태 정보에 의해, 상기 실제 신호등과 상기 모의 신호등 사이의 전환 시점, 타임 딜레의 평균 값, 최대 타임 딜레이 및 최소 타임 딜레이 중 하나 이상을 통계하여 얻는 단계를 더 포함하는, 신호등 식별 방법.
  8. 신호등 식별 장치로서,
    신호등 식별 모델을 이용하여 복수의 비디오 프레임을 식별하여 실제 신호등의 상태 정보와 모의 신호등의 상태 정보를 얻는 상태 확정 유닛; 및
    상기 실제 신호등의 상태 정보 및 상기 모의 신호등의 상태 정보에 의해 상기 실제 신호등과 상기 모의 신호등 사이의 타임 딜레이를 확정하는 타임 딜레이 확정 유닛을 포함하는, 신호등 식별 장치.
  9. 청구항 8에 있어서,
    처리 대상 비디오에 대해 프레이밍 처리하여 신호등 식별에 필요하는 복수의 비디오 프레임을 얻는 비디오 프레임 획득 유닛을 더 포함하고, 상기 비디오 프레임에 실제 신호등과 모의 신호등이 디스플레이되어 있는, 신호등 식별 장치.
  10. 청구항 9에 있어서,
    상기 신호등 식별 모델의 훈련 샘플 이미지는 실제 신호등 또는 모의 신호등인 신호등 카테고리를 포함하는, 신호등 식별 장치.
  11. 청구항 10에 있어서,
    상기 훈련 샘플 이미지는 빨간불 상태, 초록불 상태 또는 노란불 상태의 신호등 상태 정보를 더 포함하는, 신호등 식별 장치.
  12. 청구항 8 내지 11 중 어느 한 항에 있어서,
    상기 타임 딜레이 확정 유닛은,
    상기 실제 신호등의 상태 정보 및 상기 모의 신호등의 상태 정보에 의해, 동일한 상태 전환인 경우 상기 실제 신호등에 대응하는 비디오 프레임과 상기 모의 신호등에 대응하는 비디오 프레임을 확정하는 전환 비디오 프레임 서브 유닛; 및
    동일한 상태 전환인 경우 상기 실제 신호등에 대응하는 비디오 프레임과 상기 모의 신호등에 대응하는 비디오 프레임에 의해 상기 실제 신호등과 상기 모의 신호등 사이의 타임 딜레이를 확정하는 타임 딜레이 확정 서브 유닛
    을 포함하는, 신호등 식별 장치.
  13. 청구항 8 내지 11 중 어느 한 항에 있어서,
    상기 실제 신호등의 상태 정보 및 상기 모의 신호등의 상태 정보에 의해, 비디오 프레임을 시간 단위로 하는 신호등 상태의 시간축 그림을 생성하는 시간축 그림 생성 유닛을 더 포함하는, 신호등 식별 장치.
  14. 청구항 8 내지 11 중 어느 한 항에 있어서,
    상기 실제 신호등의 상태 정보 및 상기 모의 신호등의 상태 정보에 의해, 상기 실제 신호등과 상기 모의 신호등 사이의 전환 시점, 타임 딜레이의 평균 값, 최대 타임 딜레이 및 최소 타임 딜레이 중 하나 이상을 통계하여 얻는 통계 유닛을 더 포함하는, 신호등 식별 장치.
  15. 전자 기기로서,
    적어도 하나 이상의 프로세서; 및
    상기 적어도 하나 이상의 프로세서에 통신 연결되는 메모리
    를 포함하되, 상기 메모리에는 상기 적어도 하나 이상의 프로세서에 의해 실행 가능한 명령이 저장되고, 상기 명령은 상기 적어도 하나 이상의 프로세서에 의해 실행되어 상기 적어도 하나 이상의 프로세서가 청구항 1 내지 청구항 4 중 어느 한 항에 따른 상기 방법을 수행하도록 하는 전자 기기.
  16. 컴퓨터 명령이 저장된 비일시적 컴퓨터 판독 가능 저장 매체로서,
    상기 컴퓨터 명령은 상기 컴퓨터가 청구항 1 내지 청구항 4 중 어느 한 항에 따른 상기 방법을 수행하도록 하는, 비일시적 컴퓨터 판독 가능 저장 매체.
  17. 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램으로서,
    상기 컴퓨터 프로그램 중의 명령이 프로세서에 의해 실행될 경우, 청구항 1 내지 청구항 4 중 어느 한 항의 방법을 구현하는 것을 특징으로 하는 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.
KR1020210184229A 2020-12-23 2021-12-21 신호등 식별 방법, 장치, 기기, 저장 매체 및 컴퓨터 프로그램 KR20220004606A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202011538830.1 2020-12-23
CN202011538830.1A CN112699754B (zh) 2020-12-23 2020-12-23 信号灯识别方法、装置、设备以及存储介质

Publications (1)

Publication Number Publication Date
KR20220004606A true KR20220004606A (ko) 2022-01-11

Family

ID=75509325

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210184229A KR20220004606A (ko) 2020-12-23 2021-12-21 신호등 식별 방법, 장치, 기기, 저장 매체 및 컴퓨터 프로그램

Country Status (5)

Country Link
US (1) US11715372B2 (ko)
EP (1) EP4020312B1 (ko)
JP (1) JP7111873B2 (ko)
KR (1) KR20220004606A (ko)
CN (1) CN112699754B (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114463723B (zh) * 2022-02-10 2023-02-03 广州小鹏自动驾驶科技有限公司 交通信号灯信息处理方法、装置及设备
CN115311885B (zh) * 2022-07-29 2024-04-12 上海商汤临港智能科技有限公司 一种评测方法、系统、电子设备及存储介质

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2611178B2 (ja) * 1994-01-26 1997-05-21 工業技術院長 人工現実感装置の応答時間測定装置
JP3430715B2 (ja) * 1995-05-29 2003-07-28 株式会社エクォス・リサーチ 車両走行支援装置
JP3646605B2 (ja) 2000-02-23 2005-05-11 株式会社日立製作所 車両走行制御装置
JP4588311B2 (ja) 2003-11-17 2010-12-01 富士通テン株式会社 運転支援装置
JP2007010544A (ja) * 2005-07-01 2007-01-18 Alpine Electronics Inc ナビゲーション装置
US10008113B2 (en) * 2013-04-12 2018-06-26 Traffic Technology Services, Inc. Hybrid distributed prediction of traffic signal state changes
JP6539941B2 (ja) 2014-01-07 2019-07-10 富士通株式会社 評価プログラム、評価方法及び評価装置
DE102015013467A1 (de) * 2015-10-17 2017-04-20 Adam Opel Ag Ampelassistenzsystem und Betriebsverfahren dafür
CN105489035B (zh) * 2015-12-29 2018-03-30 大连楼兰科技股份有限公司 应用在主动驾驶技术中检测交通信号灯的方法
DE102016009238A1 (de) * 2016-07-28 2017-02-16 Daimler Ag Verfahren zur Anzeige einer Ampel in einem Fahrzeug
US20180211120A1 (en) 2017-01-25 2018-07-26 Ford Global Technologies, Llc Training An Automatic Traffic Light Detection Model Using Simulated Images
CN108804983B (zh) * 2017-05-03 2022-03-18 腾讯科技（深圳）有限公司 交通信号灯状态识别方法、装置、车载控制终端及机动车
JP2019079398A (ja) 2017-10-26 2019-05-23 トヨタ自動車株式会社 走行制御装置
CN108335510A (zh) * 2018-03-21 2018-07-27 北京百度网讯科技有限公司 交通信号灯识别方法、装置及设备
CN110874945A (zh) * 2018-08-31 2020-03-10 百度在线网络技术（北京）有限公司 基于车路协同的路侧感知系统及其车辆控制方法
CN109544957A (zh) * 2018-10-18 2019-03-29 中国电子科技集团公司第二十八研究所 一种实时显示信号灯数据的路径导航系统
WO2020086615A1 (en) * 2018-10-23 2020-04-30 Traffic Technology Services, Inc. Traffic signal state prediction correction and real-time probe data validation
JP7040399B2 (ja) * 2018-10-23 2022-03-23 トヨタ自動車株式会社 情報処理システム及び情報処理方法
CN110309755B (zh) * 2019-06-25 2021-11-02 广州文远知行科技有限公司 一种交通信号灯的时间校正方法、装置、设备和存储介质
CN110688992B (zh) 2019-12-09 2020-08-04 中智行科技有限公司 交通信号识别方法、装置、车辆导航设备和无人驾驶车辆
DE102019009104A1 (de) * 2019-12-21 2021-06-24 Michael Bacher Vorrichtung zur optischen Verkehrskommunikation
CN112102638B (zh) * 2020-09-03 2022-10-11 阿波罗智联(北京)科技有限公司 信号灯数据展示方法、装置、服务器、终端、系统和介质
CN111950536A (zh) * 2020-09-23 2020-11-17 北京百度网讯科技有限公司 信号灯图像的处理方法、装置、计算机系统和路侧设备

Also Published As

Publication number Publication date
US11715372B2 (en) 2023-08-01
JP2021170399A (ja) 2021-10-28
JP7111873B2 (ja) 2022-08-02
CN112699754B (zh) 2023-07-18
CN112699754A (zh) 2021-04-23
EP4020312A1 (en) 2022-06-29
EP4020312B1 (en) 2024-03-20
US20210383692A1 (en) 2021-12-09

Similar Documents

Publication Publication Date Title
WO2019214319A1 (zh) 一种车辆定损的数据处理方法、装置、处理设备及客户端
WO2020151172A1 (zh) 运动目标检测方法、装置、计算机设备及存储介质
WO2021003825A1 (zh) 视频镜头剪切的方法、装置及计算机设备
US20200364802A1 (en) Processing method, processing apparatus, user terminal and server for recognition of vehicle damage
WO2019214313A1 (zh) 一种车辆定损的交互处理方法、装置、处理设备及客户端
KR20220004606A (ko) 신호등 식별 방법, 장치, 기기, 저장 매체 및 컴퓨터 프로그램
CN112785625B (zh) 目标跟踪方法、装置、电子设备及存储介质
JP7273129B2 (ja) 車線検出方法、装置、電子機器、記憶媒体及び車両
CN113674421B (zh) 3d目标检测方法、模型训练方法、相关装置及电子设备
CN111598164A (zh) 识别目标对象的属性的方法、装置、电子设备和存储介质
WO2019214321A1 (zh) 车辆损伤识别的处理方法、处理设备、客户端及服务器
CN110910628B (zh) 车损图像拍摄的交互处理方法、装置、电子设备
CN113239807B (zh) 训练票据识别模型和票据识别的方法和装置
CN112530021A (zh) 用于处理数据的方法、装置、设备以及存储介质
CN111563398A (zh) 用于确定目标物的信息的方法和装置
CN111814633A (zh) 陈列场景检测方法、装置、设备以及存储介质
CN115761571A (zh) 基于视频的目标检索方法、装置、设备以及存储介质
CN116071315A (zh) 一种基于机器视觉的产品可视缺陷检测方法及系统
US20230186599A1 (en) Image processing method and apparatus, device, medium and program product
CN111325198B (zh) 视频对象特征提取方法和装置、视频对象匹配方法和装置
CN111783613A (zh) 异常检测方法、模型的训练方法、装置、设备及存储介质
WO2018035768A1 (zh) 一种候选框尺度的获取方法及装置
JP2023535662A (ja) ビデオを修復するための方法、装置、機器、媒体及びコンピュータプログラム
CN113569912A (zh) 车辆识别方法、装置、电子设备及存储介质
CN112528079A (zh) 系统检测方法、装置、电子设备、存储介质和程序产品

Legal Events

Date Code Title Description
E902 Notification of reason for refusal