KR20210052525A - 표시등의 지시 정보 인식 방법 및 장치, 전자 기기 및 기억 매체 - Google Patents

표시등의 지시 정보 인식 방법 및 장치, 전자 기기 및 기억 매체 Download PDF

Info

Publication number
KR20210052525A
KR20210052525A KR1020217009669A KR20217009669A KR20210052525A KR 20210052525 A KR20210052525 A KR 20210052525A KR 1020217009669 A KR1020217009669 A KR 1020217009669A KR 20217009669 A KR20217009669 A KR 20217009669A KR 20210052525 A KR20210052525 A KR 20210052525A
Authority
KR
South Korea
Prior art keywords
target object
indicator
detection result
classifier
recognizing
Prior art date
Application number
KR1020217009669A
Other languages
English (en)
Inventor
지아빈 마
저치 허
쿤 왕
싱유 정
Original Assignee
센스타임 그룹 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 센스타임 그룹 리미티드 filed Critical 센스타임 그룹 리미티드
Publication of KR20210052525A publication Critical patent/KR20210052525A/ko

Links

Images

Classifications

    • G06K9/46—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • G06K9/62—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096725—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Atmospheric Sciences (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 표시등의 지시 정보 인식 방법 및 장치, 전자 기기 및 기억 매체에 관한 것으로, 상기 표시등의 지시 정보 인식 방법은 입력 이미지를 취득하는 것과, 상기 입력 이미지에 기초하여 목표 대상물의 검출 결과를 결정하는 것과, 상기 목표 대상물의 검출 결과에 기초하여 상기 입력 이미지에서 상기 목표 대상물이 존재하는 목표 영역을 인식하고, 상기 목표 대상물의 지시 정보를 얻는 것을 포함하고, 상기 목표 대상물에 표시등 받침대, 점등 상태의 표시등 중 하나 이상이 포함되고, 상기 검출 결과에 상기 목표 대상물의 타입, 상기 입력 이미지에서 상기 목표 대상물이 존재하는 목표 영역의 위치가 포함되는 것이다.

Description

표시등의 지시 정보 인식 방법 및 장치, 전자 기기 및 기억 매체
본 발명은 2019년 6월 27일에 중국 특허국에 제출된 출원번호가 CN201910569896.8이고, 출원의 명칭이 「표시등의 지시 정보 인식 방법 및 장치, 전자 기기 및 기억 매체」인 중국 특허출원의 우선권을 주장하고, 당해 출원의 전체 내용은 참조에 의해 본 발명에 포함된다.
본 발명은 컴퓨터 비전 기술 분야에 관한 것으로, 특히 표시등의 지시 정보 인식 방법 및 장치, 전자 기기 및 기억 매체에 관한 것이다.
교통 신호기는 차량이나 보행자에게 안내 신호를 제공하기 위해 도로 위에 설치되는 장치이다. 도로의 도로 상황은 매우 복잡하고 언제든지 갑작스런 상황이나 사고가 발생할 가능성이 있다. 교통 신호기는 상이한 대상의 통과 시간을 조절함으로써 많은 모순을 조절하는 것과 예상치 못한 일의 발생을 예방할 수 있다. 예를 들면, 교차점에서는 상이한 차선의 차량이 먼저 통과하기 위해 교차점을 선점함으로써 분쟁이 일어난다.
실제 적용에서는 교통 신호기는 상이한 장면에 적용할 수 있고, 상이한 형상 및 타입을 갖고, 복잡한 수승 관계를 갖는다.
본 발명은 표시등의 지시 정보 인식의 기술 방안을 제안한다.
본 발명의 하나의 측면에 의하면,
입력 이미지를 취득하는 것과,
상기 입력 이미지에 기초하여 목표 대상물의 검출 결과를 결정하는 것과,
상기 목표 대상물의 검출 결과에 기초하여 상기 입력 이미지에서 상기 목표 대상물이 존재하는 목표 영역을 인식하고, 상기 목표 대상물의 지시 정보를 얻는 것을 포함하고,
상기 목표 대상물에 표시등 받침대, 점등 상태의 표시등 중 하나 이상이 포함되고, 상기 검출 결과에 상기 목표 대상물의 타입, 상기 입력 이미지에서 상기 목표 대상물이 존재하는 목표 영역의 위치가 포함되는 표시등의 지시 정보 인식 방법.
일부 가능한 실시형태에서는 상기 입력 이미지에 기초하여 목표 대상물의 검출 결과를 결정하는 것은
상기 입력 이미지의 이미지 특징을 추출하는 것과,
상기 입력 이미지의 이미지 특징에 기초하여 상기 목표 대상물의 하나 이상의 후보 영역의 각각의 제1 위치를 결정하는 것과,
상기 입력 이미지에서의 각 후보 영역에 대응하는 제1 위치의 이미지 특징에 기초하여 각 후보 영역의 중간 검출 결과를 결정하는 것과,
하나 이상의 후보 영역의 각각의 중간 검출 결과 및 각 후보 영역의 제1 위치에 기초하여, 상기 목표 대상물의 검출 결과를 결정하는 것을 포함하고,
상기 중간 검출 결과에 상기 목표 대상물의 예측 타입과, 상기 목표 대상물이 상기 예측 타입인 예측 확률이 포함되고, 상기 예측 타입이 표시등 받침대, N종류의 점등 상태의 표시등 중 어느 것이고, N이 양의 정수이다.
일부 가능한 실시형태에서는 상기 입력 이미지에서의 각 후보 영역에 대응하는 제1 위치의 이미지 특징에 기초하여 각 후보 영역의 중간 검출 결과를 결정하는 것은
후보 영역마다, 상기 후보 영역에 대응하는 제1 위치의 이미지 특징에 기초하여 상기 후보 영역 내의 상기 목표 대상물을 분류하고, 상기 목표 대상물이 상기 하나 이상의 프리셋 타입의 각각인 예측 확률을 얻는 것과,
상기 하나 이상의 프리셋 타입 중 예측 확률이 가장 높은 프리셋 타입을 상기 후보 영역 내에서의 상기 목표 대상물의 예측 타입으로 하고, 상기 예측 타입의 예측 확률을 얻는 것을 포함하고,
상기 프리셋 타입에 표시등 받침대, N종류의 점등 상태의 표시등 중 하나 이상이 포함되고, N이 양의 정수이다.
일부 가능한 실시형태에서는 하나 이상의 후보 영역의 각각의 중간 검출 결과 및 각 후보 영역의 제1 위치에 기초하여, 상기 목표 대상물의 검출 결과를 결정하기 전에
상기 입력 이미지의 이미지 특징에 기초하여 각 후보 영역의 제1 위치의 위치 편차를 결정하는 것과,
각 후보 영역에 대응하는 위치 편차를 사용하여 각 후보 영역의 제1 위치를 조정하는 것을 추가로 포함한다.
일부 가능한 실시형태에서는 하나 이상의 후보 영역의 각각의 중간 검출 결과 및 각 후보 영역의 제1 위치에 기초하여, 상기 목표 대상물의 검출 결과를 결정하는 것은
상기 목표 대상물의 후보 영역이 적어도 2개인 것에 따라 적어도 2개의 후보 영역의 각각의 중간 검출 결과에 기초하거나, 혹은 각 후보 영역의 중간 검출 결과 및 각 후보 영역의 제1 위치에 기초하여 상기 적어도 2개의 후보 영역에서 목표 영역을 선별하는 것과,
상기 목표 영역 내의 상기 목표 대상물의 예측 타입을 상기 목표 대상물의 타입으로 하고, 상기 목표 영역의 제1 위치를 상기 목표 대상물이 존재하는 목표 영역의 위치로 하고, 상기 목표 대상물의 검출 결과를 얻는 것을 포함한다.
일부 가능한 실시형태에서는 상기 입력 이미지에 기초하여 목표 대상물의 검출 결과를 결정한 후, 상기 방법은
상기 목표 대상물의 검출 결과에 표시등 받침대에 대응하는 검출 결과만이 포함됨에 따라 상기 표시등이 고장 상태인 것으로 결정하는 것과,
상기 목표 대상물의 검출 결과에 점등 상태의 표시등에 대응하는 검출 결과만이 포함됨에 따라 상기 입력 이미지를 수집하는 장면의 상태가 어두운 상태인 것으로 결정하는 것 중 하나 이상을 추가로 포함한다.
일부 가능한 실시형태에서는 상기 목표 대상물의 검출 결과에 기초하여 상기 입력 이미지에서 상기 목표 대상물이 존재하는 목표 영역을 인식하고, 상기 목표 대상물의 지시 정보를 얻는 것은
상기 목표 대상물의 검출 결과에서의 상기 목표 대상물의 타입에 기초하여, 상기 목표 대상물에 매칭되는 분류기를 결정하는 것과,
매칭되는 분류기를 사용하여 상기 입력 이미지에서의 상기 목표 영역의 이미지 특징을 인식하고, 상기 목표 대상물의 지시 정보를 얻는 것을 포함한다.
일부 가능한 실시형태에서는 상기 목표 대상물의 검출 결과에 기초하여 상기 입력 이미지에서 상기 목표 대상물이 존재하는 목표 영역을 인식하고, 상기 목표 대상물의 지시 정보를 얻는 것은
상기 목표 대상물의 타입이 표시등 받침대인 것에 따라 매칭되는 분류기에 상기 표시등 받침대에서의 표시등의 배열 방식을 인식하기 위한 제1 분류기가 포함되는 것으로 결정하고, 상기 제1 분류기를 사용하여 상기 목표물이 존재하는 목표 영역의 이미지 특징을 인식하고, 상기 표시등 받침대에서의 표시등의 배열 방식을 결정하는 것, 및/또는
매칭되는 분류기에 상기 표시등이 존재하는 장면을 인식하기 위한 제2 분류기가 포함되는 것으로 결정하고, 상기 제2 분류기를 사용하여 상기 목표 대상물이 존재하는 목표 영역의 이미지 특징을 인식하고, 상기 표시등이 존재하는 장면의 정보를 결정하는 것을 포함한다.
일부 가능한 실시형태에서는 상기 목표 대상물의 검출 결과에 기초하여 상기 입력 이미지에서 상기 목표 대상물이 존재하는 목표 영역을 인식하고, 상기 목표 대상물의 지시 정보를 얻는 것은
상기 목표 대상물의 타입이 라운드 스팟 램프 또는 보행자용 램프인 것에 따라 매칭되는 분류기에 라운드 스팟 램프 또는 보행자용 램프의 색 속성을 인식하기 위한 제3 분류기가 포함되는 것으로 결정하는 것과,
상기 제3 분류기를 사용하여 상기 목표 대상물이 존재하는 목표 영역의 이미지 특징을 인식하고, 상기 라운드 스팟 램프 또는 보행자용 램프의 색 속성을 결정하는 것을 포함한다.
일부 가능한 실시형태에서는 상기 목표 대상물의 검출 결과에 기초하여 상기 입력 이미지에서 상기 목표 대상물이 존재하는 목표 영역을 인식하고, 상기 목표 대상물의 지시 정보를 얻는 것은
상기 목표 대상물의 타입이 화살표 램프인 것에 따라 매칭되는 분류기에 화살표 램프의 색 속성을 인식하기 위한 제4 분류기 및 방향 속성을 인식하기 위한 제5 분류기가 포함되는 것으로 결정하는 것과,
상기 제4 분류기 및 상기 제5 분류기를 사용하여 상기 목표 대상물이 존재하는 목표 영역의 이미지 특징을 인식하고, 상기 화살표 램프의 색 속성 및 방향 속성을 각각 결정하는 것을 포함한다.
일부 가능한 실시형태에서는 상기 목표 대상물의 검출 결과에 기초하여 상기 입력 이미지에서 상기 목표 대상물이 존재하는 목표 영역을 인식하고, 상기 목표 대상물의 지시 정보를 얻는 것은
상기 목표 대상물의 타입이 디지털 램프인 것에 따라 매칭되는 분류기에 디지털 램프의 색 속성을 인식하기 위한 제6 분류기 및 수치 속성을 인식하기 위한 제7 분류기가 포함되는 것으로 결정하는 것과,
상기 제6 분류기 및 상기 제7 분류기에 기초하여, 상기 목표 대상물이 존재하는 목표 영역의 이미지 특징을 인식하고, 상기 디지털 램프의 색 속성 및 수치 속성을 각각 결정하는 것을 포함한다.
일부 가능한 실시형태에서는 상기 입력 이미지에 적어도 2개의 표시등 받침대가 포함되는 것에 따라, 상기 방법은
상기 적어도 2개의 표시등 받침대 중 하나인 제1 표시등 받침대에 대해, 상기 제1 표시등 받침대에 매칭되는 점등 상태의 표시등을 결정하는 것과,
상기 제1 표시등 받침대의 지시 정보와, 상기 제1 표시등 받침대에 매칭되는 점등 상태의 표시등의 지시 정보를 조합하여 조합 후의 지시 정보를 얻는 것을 추가로 포함한다.
일부 가능한 실시형태에서는 상기 제1 표시등 받침대에 매칭되는 점등 상태의 표시등을 결정하는 것은
상기 목표 대상물의 검출 결과에서의 목표 대상물이 존재하는 목표 영역의 위치에 기초하여, 상기 하나 이상의 점등 상태의 표시등이 존재하는 목표 영역과 상기 제1 표시등 받침대가 존재하는 목표 영역이 교차하는 제1 면적 및 상기 하나 이상의 점등 상태의 표시등이 존재하는 목표 영역의 제2 면적을 결정하는 것과,
점등 상태의 제1 표시등과 상기 제1 표시등 받침대 사이의 상기 제1 면적과, 상기 점등 상태의 제1 표시등의 제2 면적의 비가 설정된 면적 임계치보다 큰 것에 따라, 상기 점등 상태의 제1 표시등이 상기 제1 표시등 받침대에 매칭되는 것으로 결정하는 것을 포함하고,
상기 점등 상태의 제1 표시등은 상기 하나 이상의 점등 상태의 표시등 중 하나이다.
본 발명의 제2 측면에 의하면,
스마트 운전 장치의 이미지 수집 장치를 사용하여 주행 이미지를 수집하는 것과,
상기 주행 이미지에 대해 제 1 항 내지 제 13 중 어느 한 항에 기재된 표시등의 지시 정보 인식 방법을 실행하고, 상기 주행 이미지의 지시 정보를 얻는 것과,
상기 지시 정보를 사용하여 상기 스마트 운전 장치의 제어 명령을 생성하는 것을 포함하는 운전 제어 방법.
본 발명의 제3 측면에 의하면,
입력 이미지를 취득하기 위한 취득 모듈과,
상기 입력 이미지에 기초하여 목표 대상물의 검출 결과를 결정하기 위한 결정 모듈과,
상기 목표 대상물의 검출 결과에 기초하여 상기 입력 이미지에서 상기 목표 대상물이 존재하는 목표 영역을 인식하고, 상기 목표 대상물의 지시 정보를 얻기 위한 인식 모듈을 포함하고,
상기 목표 대상물에 표시등 받침대, 점등 상태의 표시등 중 하나 이상이 포함되고, 상기 검출 결과에 상기 목표 대상물의 타입, 상기 입력 이미지에서 상기 목표 대상물이 존재하는 목표 영역의 위치가 포함되는 표시등의 지시 정보 인식 장치.
일부 가능한 실시형태에서는 상기 결정 모듈은 추가로
상기 입력 이미지의 이미지 특징을 추출하는 것과,
상기 입력 이미지의 이미지 특징에 기초하여 상기 목표 대상물의 하나 이상의 후보 영역의 각각의 제1 위치를 결정하는 것과,
상기 입력 이미지에서의 각 후보 영역에 대응하는 제1 위치의 이미지 특징에 기초하여 각 후보 영역의 중간 검출 결과를 결정하는 것과,
하나 이상의 후보 영역의 각각의 중간 검출 결과 및 각 후보 영역의 제1 위치에 기초하여, 상기 목표 대상물의 검출 결과를 결정하는 것에 사용되고,
상기 중간 검출 결과에 상기 목표 대상물의 예측 타입과, 상기 목표 대상물이 상기 예측 타입인 예측 확률이 포함되고, 상기 예측 타입이 표시등 받침대, N종류의 점등 상태의 표시등 중 어느 것이고, N이 양의 정수이다.
일부 가능한 실시형태에서는 상기 결정 모듈은 추가로,
후보 영역마다, 상기 후보 영역에 대응하는 제1 위치의 이미지 특징에 기초하여 상기 후보 영역 내의 상기 목표 대상물을 분류하고, 상기 목표 대상물이 상기 하나 이상의 프리셋 타입의 각각인 예측 확률을 얻는 것과,
상기 하나 이상의 프리셋 타입 중 예측 확률이 가장 높은 프리셋 타입을 상기 후보 영역 내에서의 상기 목표 대상물의 예측 타입으로 하고, 상기 예측 타입의 예측 확률을 얻는 것에 사용되고,
상기 프리셋 타입에 표시등 받침대, N종류의 점등 상태의 표시등 중 하나 이상이 포함되고, N이 양의 정수이다.
일부 가능한 실시형태에서는 상기 결정 모듈은 추가로,
하나 이상의 후보 영역의 각각의 중간 검출 결과 및 각 후보 영역의 제1 위치에 기초하여, 상기 목표 대상물의 검출 결과를 결정하기 전에, 상기 입력 이미지의 이미지 특징에 기초하여 각 후보 영역의 제1 위치의 위치 편차를 결정하는 것과,
각 후보 영역에 대응하는 위치 편차를 사용하여 각 후보 영역의 제1 위치를 조정하는 것에 사용된다.
일부 가능한 실시형태에서는 상기 결정 모듈은 추가로,
상기 목표 대상물의 후보 영역이 적어도 2개인 경우, 적어도 2개의 후보 영역의 각각의 중간 검출 결과에 기초하거나, 혹은 각 후보 영역의 중간 검출 결과 및 각 후보 영역의 제1 위치에 기초하여, 상기 적어도 2개의 후보 영역에서 목표 영역을 선별하는 것과,
상기 목표 영역 내의 상기 목표 대상물의 예측 타입을 상기 목표 대상물의 타입으로 하고, 상기 목표 영역의 제1 위치를 상기 목표 대상물이 존재하는 목표 영역의 위치로 하고, 상기 목표 대상물의 검출 결과를 얻는 것에 사용된다.
일부 가능한 실시형태에서는 상기 결정 모듈은 추가로,
상기 목표 대상물의 검출 결과에 표시등 받침대에 대응하는 검출 결과만이 포함되는 경우, 상기 표시등이 고장 상태인 것으로 결정하는 것과,
상기 목표 대상물의 검출 결과에 점등 상태의 표시등에 대응하는 검출 결과만이 포함되는 경우, 상기 입력 이미지를 수집하는 장면의 상태가 어두운 상태인 것으로 결정하는 것에 사용된다.
일부 가능한 실시형태에서는 상기 인식 모듈은 추가로,
상기 목표 대상물의 검출 결과에서의 상기 목표 대상물의 타입에 기초하여, 상기 목표 대상물에 매칭되는 분류기를 결정하는 것과,
매칭되는 분류기를 사용하여 상기 입력 이미지에서의 상기 목표 영역의 이미지 특징을 인식하고, 상기 목표 대상물의 지시 정보를 얻는 것에 사용된다.
일부 가능한 실시형태에서는 상기 인식 모듈은 추가로,
상기 목표 대상물의 타입이 표시등 받침대인 경우, 매칭되는 분류기에 상기 표시등 받침대에서의 표시등의 배열 방식을 인식하기 위한 제1 분류기가 포함되는 것으로 결정하고, 상기 제1 분류기를 사용하여 상기 목표 대상물이 존재하는 목표 영역의 이미지 특징을 인식하고, 상기 표시등 받침대에서의 표시등의 배열 방식을 결정하는 것, 및/또는
매칭되는 분류기에 상기 표시등이 존재하는 장면을 인식하기 위한 제2 분류기가 포함되는 것으로 결정하고, 상기 제2 분류기를 사용하여 상기 목표 대상물이 존재하는 목표 영역의 이미지 특징을 인식하고, 상기 표시등이 존재하는 장면의 정보를 결정하는 것에 사용된다.
일부 가능한 실시형태에서는 상기 인식 모듈은 추가로,
상기 목표 대상물의 타입이 라운드 스팟 램프 또는 보행자용 램프인 경우, 매칭되는 분류기에 라운드 스팟 램프 또는 보행자용 램프의 색 속성을 인식하기 위한 제3 분류기가 포함되는 것으로 결정하는 것과,
상기 제3 분류기를 사용하여 상기 목표 대상물이 존재하는 목표 영역의 이미지 특징을 인식하고, 상기 라운드 스팟 램프 또는 보행자용 램프의 색 속성을 결정하는 것에 사용된다.
일부 가능한 실시형태에서는 상기 인식 모듈은 추가로,
상기 목표 대상물의 타입이 화살표 램프인 경우, 매칭되는 분류기에 화살표 램프의 색 속성을 인식하기 위한 제4 분류기 및 방향 속성을 인식하기 위한 제5 분류기가 포함되는 것으로 결정하는 것과,
상기 제4 분류기 및 상기 제5 분류기를 사용하여 상기 목표 대상물이 존재하는 목표 영역의 이미지 특징을 인식하고, 상기 화살표 램프의 색 속성 및 방향 속성을 각각 결정하는 것에 사용된다.
일부 가능한 실시형태에서는 상기 인식 모듈은 추가로,
상기 목표 대상물의 타입이 디지털 램프인 경우, 매칭되는 분류기에 디지털 램프의 색 속성을 인식하기 위한 제6 분류기 및 수치 속성을 인식하기 위한 제7 분류기가 포함되는 것으로 결정하는 것과,
상기 제6 분류기 및 상기 제7 분류기에 기초하여, 상기 목표 대상물이 존재하는 목표 영역의 이미지 특징을 인식하고, 상기 디지털 램프의 색 속성 및 수치 속성을 각각 결정하는 것에 사용된다.
일부 가능한 실시형태에서는 상기 장치는
상기 입력 이미지에 적어도 2개의 표시등 받침대가 포함되는 경우, 상기 적어도 2개의 표시등 받침대 중 하나인 제1 표시등 받침대에 대해, 상기 제1 표시등 받침대에 매칭되는 점등 상태의 표시등을 결정하는 것과,
상기 제1 표시등 받침대의 지시 정보와, 상기 제1 표시등 받침대에 매칭되는 점등 상태의 표시등의 지시 정보를 조합하여 조합 후의 지시 정보를 얻는 것에 사용되는 매핑 모듈을 추가로 포함한다.
일부 가능한 실시형태에서는 상기 매핑 모듈은 추가로,
상기 목표 대상물의 검출 결과에서의 목표 대상물이 존재하는 목표 영역의 위치에 기초하여, 상기 하나 이상의 점등 상태의 표시등이 존재하는 목표 영역과 상기 제1 표시등 받침대가 존재하는 목표 영역이 교차하는 제1 면적 및 상기 하나 이상의 점등 상태의 표시등이 존재하는 목표 영역의 제2 면적을 결정하는 것과,
점등 상태의 제1 표시등과 상기 제1 표시등 받침대 사이의 상기 제1 면적과, 상기 점등 상태의 제1 표시등의 제2 면적의 비가 설정된 면적 임계치보다 큰 경우, 상기 점등 상태의 제1 표시등이 상기 제1 표시등 받침대에 매칭되는 것으로 결정하는 것에 사용되고,
상기 점등 상태의 제1 표시등은 상기 하나 이상의 점등 상태의 표시등 중 하나이다.
본 발명의 제4 측면에 의하면,
스마트 운전 장치에 설치되고, 상기 스마트 운전 장치의 주행 이미지를 수집하기 위한 이미지 수집 모듈과,
상기 주행 이미지에 대해 제1 측면 중 어느 한 항에 기재된 표시등의 지시 정보 인식 방법을 실행하고, 상기 주행 이미지의 지시 정보를 얻기 위한 이미지 처리 모듈과,
상기 지시 정보를 사용하여 상기 스마트 운전 장치의 제어 명령을 생성하기 위한 제어 모듈을 포함하는 운전 제어 장치.
본 발명의 제5 측면에 의하면,
프로세서와,
프로세서에 의해 실행 가능한 명령을 기억하기 위한 메모리를 포함하고,
상기 프로세서는 상기 메모리에 기억되어 있는 명령을 불러내어 제1 측면 또는 제2 측면 중 어느 한 항에 기재된 방법을 실행시키도록 배치되는 전자 기기.
본 발명의 제6 측면에 의하면,
컴퓨터 프로그램 명령이 기억되어 있는 컴퓨터 판독 가능 기억 매체로서, 상기 컴퓨터 프로그램 명령이 프로세서에 의해 실행되면 제1 측면 또는 제2 측면 중 어느 한 항에 기재된 방법을 실행시키는 컴퓨터 판독 가능 기억 매체.
본 발명의 제7 측면에 의하면,
컴퓨터 판독 가능 코드를 포함하는 컴퓨터 프로그램으로서, 상기 컴퓨터 판독 가능 코드가 전자 기기에서 작동하면, 상기 전자 기기의 프로세서에 제1 측면 또는 제2 측면 중 어느 한 항에 기재된 방법을 실행시키기 위한 명령을 실행시키는 컴퓨터 프로그램.
본 발명의 실시예는 우선 입력 이미지에 대해 목표 검출 처리를 행하여, 목표 대상물 검출 결과를 얻는다. 여기서, 목표 대상물의 검출 결과에 목표 대상물의 위치 및 타입 등의 정보가 포함되어도 된다. 또한, 목표 대상물의 검출 결과에 기초하여 목표 대상물의 지시 정보의 인식을 실행할 수 있다. 본 발명은 목표 대상물의 검출 과정을 표시등 받침대와 점등 상태의 표시등의 2개의 검출 과정으로 나눔으로써, 검출 과정에서 목표 대상물의 최초의 구별을 실현하였다. 다음으로 목표 대상물의 검출 결과에 기초하여 새로운 인식을 행할 때, 목표 대상물의 지시 정보를 인식하는 과정에서의 인식 복잡도를 저감시키고, 인식 난도를 저감시키는데 유리하고, 상이한 상황하에서의 각 타입의 표시등에 대한 검출 인식을 간단하고 편리하게 실현할 수 있다.
이상의 일반적인 설명과 이하의 상세한 설명은 예시적이거나 해석적인 것에 불과하고, 본 발명을 제한하는 것이 아니라는 것을 이해해야 한다.
이하, 도면을 참고하면서 예시적인 실시예를 상세히 설명함으로써 본 발명의 다른 특징 및 측면은 명확해진다.
명세서의 일부로서 포함되는 도면은 본 발명의 실시예를 나타내고, 명세서와 함께 본 발명의 기술적 수단을 설명하는 것이다.
도 1은 본 발명의 실시예에 따른 표시등의 지시 정보 인식 방법의 흐름도를 나타낸다.
도 2a는 교통 신호기의 상이한 표시 상태를 나타낸다.
도 2b는 교통 신호기 받침대의 상이한 배열 방식을 나타낸다.
도 2c는 교통 신호기의 상이한 적용 장면을 나타낸다.
도 2d는 복수 종류의 교통 신호기의 타입을 나타낸다.
도 2e는 상이한 상황에서 조합된 교통 신호기의 모식도를 나타낸다.
도 3은 본 발명의 실시예에 따른 표시등의 지시 정보 인식 방법에서의 단계(S20)의 흐름도를 나타낸다.
도 4는 본 발명의 실시예에 따른 영역 후보 네트워크에 의해 목표 검출을 실행하는 모식도를 나타낸다.
도 5는 본 발명의 실시예에 따른 표시등의 지시 정보 인식 방법에서의 단계(S30)의 흐름도를 나타낸다.
도 6은 본 발명의 실시예에 따른 상이한 목표 대상물의 분류 검출의 모식도를 나타낸다.
도 7은 복수의 받침대의 교통 신호기의 구조 개략도를 나타낸다.
도 8은 본 발명의 실시예에 따른 표시등의 지시 정보 인식 방법의 다른 흐름도를 나타낸다.
도 9는 본 발명의 실시예에 따른 운전 제어 방법의 흐름도를 나타낸다.
도 10은 본 발명의 실시예에 따른 표시등의 지시 정보 인식 장치의 블록도를 나타낸다.
도 11은 본 발명의 실시예에 따른 운전 제어 장치의 블록도를 나타낸다.
도 12는 본 발명의 실시예에 따른 전자 기기의 블록도를 나타낸다.
도 13은 본 발명의 실시예에 따른 전자 기기의 다른 블록도를 나타낸다.
이하에 도면을 참조하면서 본 발명의 다양한 예시적 실시예, 특징 및 측면을 상세하게 설명한다. 도면에서 동일한 부호가 동일 또는 유사한 기능의 요소를 나타낸다. 도면에 있어서 실시예의 다양한 측면을 나타냈지만, 특별히 설명이 없는 한, 비례에 따라서 도면을 그릴 필요가 없다.
여기서의 용어「예시적」이란 「예, 실시예로 하는 것 또는 설명적인 것」을 의미한다. 여기서 「예시적」으로 설명되는 어떠한 실시예도 다른 실시예보다 바람직하거나 또한 우수한 것으로 이해해서는 안된다.
본 명세서에서의 용어 「및/또는」은 관련 대상의 관련 관계를 기술하는 것에 불과하고, 3개의 관계가 존재 가능함을 나타내며, 예를 들면, A 및/또는 B는 A만이 존재하고, A와 B가 동시에 존재하고, B만이 존재하는 3개의 경우를 나타낼 수 있다. 또한, 본 명세서에서, 용어 「하나 이상」은 복수 중 어느 하나, 또는 복수 중 적어도 2개의 임의의 조합을 나타내고, 예를 들면 A, B, 및 C 중 하나 이상을 포함하는 것은 A, B 및 C로 구성되는 집합에서 선택된 어느 하나 또는 복수의 요소를 포함하는 것을 나타낼 수 있다.
또한, 본 발명을 보다 효과적으로 설명하기 위해, 이하의 구체적인 실시형태에서 다양한 구체적인 상세를 나타낸다. 당업자라면 본 발명은 어떠한 구체적인 상세가 없어도 동일하게 실시할 수 있는 것으로 이해해야 한다. 일부 실시예에서는 본 발명의 취지를 강조하기 위해 당업자가 숙지하고 있는 방법, 수단, 요소 및 회로에 대해 상세한 설명을 생략한다.
본 발명의 실시예에서 제공되는 표시등의 지시 정보 인식 방법은 상이한 타입의 표시등의 지시 정보 검출을 실행하기 위해 사용되어도 된다. 여기서, 상기 표시등의 지시 정보 인식 방법은 이미지 처리 기능을 갖는 임의의 전자 기기에 의해 실행되어도 된다. 예를 들면, 사용자측 장치(User Equipment, UE), 휴대 기기, 사용자 단말, 단말, 셀룰러 폰, 무선 전화, 퍼스널 디지털 어시스턴트(Personal Digital Assistant, PDA), 휴대용 기기, 계산 장치, 차재 장치, 웨어러블 장치 등의 단말 장치, 서버 또는 다른 처리 장치에 의해 실행되어도 된다. 혹은 일부 가능한 실시형태에서는 표시등의 지시 정보 인식 방법은 스마트 비행 장치, 스마트 차량, 블라인드 가이드 장치 등과 같은 스마트 운전 장치에 적용되어도 되고, 스마트 운전 장치의 스마트 제어에 사용된다. 또한, 일부 가능한 실시형태에서는 상기 표시등의 지시 정보 인식 방법은 프로세서에 의해 메모리에 기억되어 있는 컴퓨터 판독 가능 명령을 불러냄으로써 실현되어도 된다. 본 발명의 실시예에서 제공되는 표시등의 지시 정보 인식 방법은 표시등의 지시 정보 인식, 검출 등의 장면에 적용되어도 되고, 예를 들면, 자동 운전, 감시 등의 적용 장면에서의 표시등의 지시 정보 인식에 적용되어도 되고, 본 발명은 구체적인 적용 장면에 대해 한정하지 않는다.
도 1은 본 발명의 실시예에 따른 표시등의 지시 정보 인식 방법의 흐름도를 나타내고, 도 1에 나타내는 바와 같이 표시등의 지시 정보 인식 방법은 이하의 단계를 포함한다.
S10, 입력 이미지를 취득한다.
일부 가능한 실시형태에서는 입력 이미지는 표시등에 관한 이미지여도 되고, 표시등은 교통 표시등(예를 들면, 신호 램프), 긴급 표시등(예를 들면, 점멸 상태의 표시등), 방향 표시등 중 하나 이상을 포함해도 되고, 다른 실시예에서는 다른 타입의 표시등이어도 된다.
본 발명은 입력 이미지에서의 표시등의 지시 정보의 인식을 실현할 수 있다. 여기서, 입력 이미지는 이미지 수집 장치에 의해 수집된 이미지여도 되고, 예를 들면, 차량에 설치된 이미지 수집 장치에 의해 수집된 노면 주행 이미지여도 되고, 혹은 포설된 카메라에 의해 수집된 이미지여도 되고, 혹은 다른 실시예에서는 휴대용 단말 장치 또는 다른 장치에 의해 수집된 이미지여도 되고, 혹은 입력 이미지는 취득된 비디오 스트림에서 선택된 이미지 프레임이어도 되고, 본 발명은 이에 대해 특별히 한정하지 않는다.
S20, 입력 이미지에 기초하여 목표 대상물의 검출 결과를 결정하고, 목표 대상물에 표시등 받침대, 점등 상태의 표시등 중 하나 이상이 포함되고, 검출 결과에 목표 대상물의 타입, 입력 이미지에서 목표 대상물이 존재하는 목표 영역의 위치가 포함된다.
일부 가능한 실시형태에서는 입력 이미지가 얻어진 경우에 입력 이미지에서의 목표 대상물을 검출 및 인식하여, 목표 대상물에 관한 검출 결과를 얻을 수 있다. 여기서, 검출 결과에는 목표 대상물의 타입 및 위치 정보가 포함되어도 된다. 본 발명의 실시예는 뉴럴 네트워크에 의해 입력 이미지에서의 목표 대상물의 목표 검출을 실현하고, 검출 결과를 얻을 수 있다. 상기 뉴럴 네트워크에 의해 입력 이미지에서의 표시등 받침대 타입, 점등 상태의 표시등 타입 및 받침대 위치, 점등 상태의 표시등 위치 중 적어도 1종류의 정보의 검출을 실현할 수 있다. 여기서, 목표 대상물의 검출 및 분류를 실현할 수 있는 임의의 뉴럴 네트워크에 의해 입력 이미지의 검출 결과를 얻을 수 있다. 여기서, 뉴럴 네트워크는 합성곱 뉴럴 네트워크여도 된다.
실제 적용에서는 수집된 입력 이미지에 포함되는 표시등의 형태는 다양하지만, 교통 표시등(이하, 교통 신호기로 약칭)을 예로 하여, 교통 신호기의 형태는 다양하고, 교통 신호기의 타입이 라운드 스팟 램프인 경우, 도 2a∼도 2e에 나타내는 바와 같이, 교통 신호기의 복수의 표시 상태의 모식도를 각각 나타내고, 여기서 도 2a는 교통 신호기의 상이한 표시 상태, 교통 신호기 받침대의 형상을 나타내고, 본 발명은 이에 대해 한정하지 않는다.
실제 생활에서는 표시등 받침대에는 복수의 색 상태의 표시등이 포함되어 있는 경우가 있기 때문에, 대응하는 표시등의 표시 상태도 다양해진다. 도 2a의 교통 신호기를 예로서 설명한다. 제1 세트의 교통 신호기를 예로서 설명하면, L은 교통 신호기를 나타내고, D는 교통 신호기 받침대를 나타내고, 도 2a에서 알 수 있는 바와 같이, 제1 세트는 교통 신호기에서의 적색, 황색, 녹색 3등이 전부 소등된 상태이며, 이 때 고장 상태가 될 가능성이 있다. 제2 세트의 교통 신호기는 적색 표시등이 점등된 상태이고, 제3 세트의 교통 신호기는 황색등이 점등된 상태이고, 제4 세트의 교통 신호기는 녹색등이 점등된 상태이다. 목표 대상물을 인식하는 과정에서 점등 상태에 있는지 여부의 표시등 및 점등 상태의 표시등의 색을 인식할 수 있다. 여기서, 적색, 황색, 녹색의 문자는 해당하는 색의 교통 신호기가 점등 상태에 있는 것을 모식적으로 나타내는 것에 불과하다.
도 2b는 교통 신호기 받침대의 상이한 배열 방식을 나타내고, 일반적으로 교통 신호기 또는 다른 타입의 표시등은 전부 표시등 받침대에 설치되어도 된다. 도 2b에 나타내는 바와 같이, 받침대 위의 교통 신호기의 배열 방식은 횡방향 배열, 종방향 배열 또는 단일 램프를 포함할 수 있다. 따라서, 목표 대상물을 인식하는 과정에서 표시등의 배열 방식을 인식할 수도 있다. 이상은 받침대 위의 교통 신호기의 배열 방식의 예시적인 설명에 불과하고, 다른 실시예에서는 받침대 위의 표시등의 배열 방식은 다른 타입의 배열 방식을 포함할 수도 있다.
도 2c는 교통 신호기의 상이한 적용 장면을 나타내고, 실제 적용에서는 교통 신호기 등의 표시등은 도로의 교차점, 고속도로 교차점, 급커브 교차점, 안전 경보 위치, 또는 주행 통로에 설치되어도 된다. 따라서, 표시등의 인식에 대해서는 표시등의 적용 장면을 판단하여 인식하는 것도 가능하고, 도 2c에서 실제 적용 장면은 「전자 요금 수수 시스템(Electronic Toll Collection, ETC)」의 표지가 표시되는 고속도로 교차점, 「경고 신호」 등의 경고 표지가 표시된 급커브 교차점 또는 기타 위험한 장면 및 일반적인 장면의 순서대로 나타내는 장면이다. 상기 장면은 예시이고, 본 발명은 이에 대해 특별히 한정하지 않는다.
도 2d는 복수 종류의 교통 신호기의 타입을 나타내고, 일반적으로는 수요 또는 장면의 필요에 따라, 교통 신호기 또는 다른 표시등의 형상도 각각 상이하고, 예를 들면, 도 2d에 순차적으로 나타내는 화살표 형상을 포함하는 화살표 램프, 라운드 스팟 형상을 포함하는 라운드 스팟 램프, 보행자 표지를 포함하는 보행자용 램프 또는 디지털 수치를 포함하는 디지털 램프를 들 수 있다. 그와 동시에 각 타입의 램프는 상이한 색을 가져도 되고, 본 발명은 이것에 한정하지 않는다.
도 2e는 상이한 상황에서 조합된 교통 신호기의 모식도를 나타낸다. 여기서, 예를 들면 상이한 화살표 방향의 화살표 램프의 조합, 디지털 램프와 보행자용 램프의 조합이 있고, 그 중에는 색 등의 지시 정보도 있다. 이상과 같이 실제 적용에서는 다양한 표시등이 존재하지만, 본 발명은 다양한 표시등의 지시 정보의 인식을 실현할 수 있다.
상기 상황의 복잡성을 감안하여, 본 발명의 실시예는 우선 입력 이미지에 대해 목표 대상물의 검출을 행함으로써, 입력 이미지에서의 목표 대상물의 검출 결과를 결정하고, 상기 검출 결과에 기초하여 추가로 목표 대상물의 지시 정보를 얻을 수 있다. 예를 들면, 입력 이미지에 대해 목표 검출을 실행함으로써, 입력 이미지에서의 목표 대상물의 타입 및 위치를 검출할 수 있고, 혹은 검출 결과에 목표 대상물 타입의 확률이 포함되어도 된다. 상기 검출 결과가 얻어진 경우, 추가로 검출된 목표 대상물의 타입에 따라 분류 검출을 실행하고, 목표 대상물의 지시 정보, 예를 들면, 점등색, 수치, 방향, 장면 등의 정보를 얻는다.
본 발명의 실시예는 검출 목표(즉, 목표 대상물)의 타입을 표시등 받침대와 점등 상태의 표시등의 2개의 부분으로 나눌 수 있고, 여기서, 점등 상태의 표시등은 N종류의 타입을 포함해도 되고, 예를 들면, 표시등의 타입은 상기 디지털 램프, 보행자용 램프, 화살표 램프 및 라운드 스팟 램프 중 하나 이상을 포함할 수 있다. 따라서, 목표 대상물의 검출을 실행할 때 입력 이미지에 포함되는 각 목표 대상물이 N＋1종류의 타입(받침대 및 N종류의 점등 표시등) 중 어느 것인 것을 결정할 수 있다. 혹은, 다른 실시형태에서는 다른 타입의 표시등을 포함해도 되고, 본 발명은 이에 대해 특별히 한정하지 않는다.
예시적으로는 본 발명에 있어서, 소등 상태의 표시등에 대한 검출을 실행하지 않아도 된다. 표시등 받침대, 및 점등 상태의 표시등이 검출되지 않은 경우, 입력 이미지 내에 표시등이 존재하지 않는 것으로 간주할 수 있기 때문에, (S30)에서는 목표 대상물의 지시 정보를 추가로 인식하는 과정을 실행할 필요는 없다. 또한, 표시등 받침대가 검출되었지만, 점등 상태의 표시등이 검출되지 않은 경우, 소등 상태의 표시등이 존재한다고 간주할 수도 있고, 이 경우에도 목표 대상물의 지시 정보의 인식을 행할 필요는 없다.
(S30), 목표 대상물의 검출 결과에 기초하여 입력 이미지에서 목표 대상물이 존재하는 목표 영역을 인식하고, 목표 대상물의 지시 정보를 얻는다.
일부 가능한 실시형태에서는 목표 대상물의 검출 결과가 얻어진 경우, 목표 대상물의 관련 속성을 기술하기 위한, 목표 대상물의 지시 정보를 추가로 검출할 수 있다. 스마트 운전 분야에서는 목표 대상물의 지시 정보는 지시 정보에 기초하여 제어 명령을 생성하도록 스마트 운전 장치에 지시하기 위해 사용할 수 있다. 예를 들면, 타입이 받침대인 목표 대상물에 대해서는 표시등의 배열 방식 및 적용 장면 중 하나 이상을 인식할 수 있고, 타입이 점등 상태의 표시등인 목표 대상물에 대해서는 표시등의 점등색, 화살표의 표시 방향, 디지털 수치 등의 정보 중 하나 이상을 인식할 수 있다.
본 발명의 실시예에 기초하여, 먼저 받침대 및 점등 상태의 표시등을 검출하고, 얻어진 검출 결과에 기초하여 목표 대상물의 지시 정보를 추가로 분류 인식할 수 있고, 즉 목표 대상물의 타입, 위치, 및 각종 지시 정보 등의 정보를 정리하여 분류기로 분류 인식하는 것이 아니라, 목표 대상물의 타입 등의 검출 결과에 기초하여 지시 정보의 분류 인식을 실행할 수 있기 때문에, 목표 대상물의 지시 정보를 인식하는 과정에서의 인식 복잡도를 저감시키고, 인식 난도를 저감시키는데 유리함과 함께, 상이한 상황하에서의 각 타입의 표시등에 대한 검출 인식을 간단하고 편리하게 실현할 수 있다.
이하, 본 발명의 실시예의 구체적인 과정에 대해 도면을 참조하여 개별적으로 설명한다. 도 3은 본 발명의 실시예에 따른 표시등의 지시 정보 인식 방법에서의 단계(S20)의 흐름도를 나타낸다. 여기서, 입력 이미지에 기초하여 목표 대상물의 검출 결과를 결정하는 것(단계(S20))은 이하의 단계를 포함해도 된다.
(S21), 입력 이미지의 이미지 특징을 추출한다.
일부 가능한 실시형태에서는 입력 이미지가 얻어진 경우, 입력 이미지에 대해 특징 추출 처리를 실행하여, 입력 이미지 내의 이미지 특징을 얻을 수 있다. 여기서, 특징 추출 알고리즘에 의해 입력 이미지 내의 이미지 특징을 얻을 수 있고, 훈련에 의해 특징 추출을 실현 가능한 뉴럴 네트워크로 이미지 특징을 추출할 수 있다. 예를 들면, 본 발명의 실시예는 합성곱 뉴럴 네트워크를 사용하여 입력 이미지의 이미지 특징을 얻을 수 있고, 입력 이미지에 대해 적어도 1층의 합성곱 처리를 실행함으로써 대응하는 이미지 특징을 얻을 수 있다. 여기서, 합성곱 뉴럴 네트워크는 시각 기하 그룹(Visual Geometry Group, VGG) 네트워크, 잔차 네트워크, 피라미드 특징 네트워크 중 하나 이상을 포함해도 되지만, 본 발명을 특별히 한정하는 것이 아니라 다른 방법으로 이미지 특징을 얻을 수도 있다.
(S22), 입력 이미지의 이미지 특징에 기초하여 목표 대상물의 하나 이상의 후보 영역의 각각의 제1 위치를 결정한다.
일부 가능한 실시형태에서는 입력 이미지의 이미지 특징에 기초하여 입력 이미지에서 목표 대상물이 존재하는 위치 영역을 검출할 수 있고, 즉 각 목표 대상물의 후보 영역의 제1 위치를 얻을 수 있다. 여기서, 목표 대상물마다 하나 이상의 후보 영역을 얻을 수 있고, 이에 따라 각 후보 영역의 제1 위치를 얻을 수 있고, 본 발명의 실시예의 제1 위치는 후보 영역의 대각 정점 위치의 좌표로 나타낼 수 있지만, 본 발명은 이에 대해 특별히 한정하지 않는다.
도 4는 본 발명의 실시예에 따른 목표 검출을 실행하는 모식도를 나타낸다. 여기서, 목표 검출을 실행하기 위해 사용되는 목표 검출 네트워크는 베이스 네트워크(base network) 모듈, 영역 후보 네트워크(Region Proposal Network, RPN) 모듈, 분류 모듈을 포함해도 된다. 여기서, 베이스 네트워크 모듈은 입력 이미지(image)의 특징 추출 처리를 실행하여, 입력 이미지의 이미지 특징을 얻기 위해 사용된다. 영역 후보 네트워크 모듈은 입력 이미지의 이미지 특징에 기초하여 입력 이미지에서의 목표 대상물의 후보 영역(Region of Interest, ROI)을 검출하기 위해 사용되고, 분류 모듈은 후보 영역의 이미지 특징에 기초하여 후보 영역 내의 목표 대상물의 타입을 판단하고, 입력 이미지의 목표 영역(Box)에서의 목표 대상물의 검출 결과를 얻기 위해 사용된다. 예시적으로는 목표 대상물의 검출 결과에는 목표 대상물의 타입 및 목표 영역의 위치가 포함되고, 목표 대상물의 타입은 예를 들면, 받침대, 점등 상태의 표시등(예를 들면, 라운드 스팟 램프, 화살표 램프, 보행자용 램프, 디지털 램프), 배경(background) 중 어느 것이다. 여기서, 배경이란 입력 이미지 중, 받침대, 점등 상태의 표시등이 존재하는 영역을 제외한 이미지 영역인 것으로 이해할 수 있다.
일부 가능한 실시형태에서는 영역 후보 네트워크는 입력 이미지에서의 각 목표 대상물에 대해 하나 이상의 ROI를 얻을 수 있고, 후속의 후처리에 의해, 그 중에서 가장 정밀도가 높은 ROI를 선택할 수 있다.
(S23), 입력 이미지에서의 각 후보 영역에 대응하는 제1 위치의 이미지 특징에 기초하여 각 후보 영역의 중간 검출 결과를 결정한다. 중간 검출 결과에는 목표 대상물의 예측 타입과, 목표 대상물이 예측 타입인 예측 확률이 포함된다. 예측 타입은 표시등 받침대, N종류의 점등 상태의 표시등 중 어느 것이고, N은 양의 정수이다.
각 목표 대상물의 하나 이상의 후보 영역(예를 들면, 제1 후보 영역 또는 제2 후보 영역)이 얻어진 경우, 후보 영역 내의 목표 대상물의 타입 정보를 추가로 분류 인식할 수 있고, 즉 후보 영역 내의 목표 대상물의 예측 타입 및 상기 예측 타입에 대한 예측 확률을 얻을 수 있다. 여기서, 예측 타입은 상기 N＋1종류의 타입 중 어느 것이어도 되고, 예를 들면, 받침대, 라운드 스팟 램프, 화살표 램프, 보행자용 램프, 디지털 램프 중 어느 것이어도 된다. 즉, 후보 영역 내의 목표 대상물의 타입이 받침대인지, N종류의 점등 상태의 표시등 중 하나인지를 예측할 수 있다.
여기서, 단계(S23)는 후보 영역마다, 상기 후보 영역에 대응하는 제1 위치의 이미지 특징에 기초하여 상기 후보 영역 내의 목표 대상물을 분류하고, 목표 대상물이 하나 이상의 프리셋 타입의 각각인 예측 확률을 얻는 것과, 하나 이상의 프리셋 타입 중 예측 확률이 가장 높은 프리셋 타입을 상기 후보 영역 내에서의 목표 대상물의 예측 타입으로 하고, 예측 타입의 예측 확률을 얻는 것을 포함해도 된다. 여기서, 프리셋 타입에 표시등 받침대, N종류의 점등 상태의 표시등 중 하나 이상이 포함되고, N이 양의 정수이다.
일부 가능한 실시형태에서는 각 목표 대상물의 하나 이상의 후보 영역이 얻어진 경우, 후보 영역의 제1 위치에 기초하여 입력 이미지의 이미지 특징 중, 상기 제1 위치에 대응하는 이미지 특징을 얻고, 얻어진 상기 이미지 특징을 후보 영역의 이미지 특징으로서 결정할 수 있다. 또한 각 후보 영역의 이미지 특징에 기초하여 상기 후보 영역 내의 목표 대상물이 각 프리셋 타입인 예측 확률을 예측할 수 있다.
여기서 후보 영역마다 후보 영역 내의 이미지 특징에 대해 분류 인식을 실행할 수 있고, 이에 따라 각 후보 영역의 각 프리셋 타입에 대한 예측 확률을 얻을 수 있고, 여기서 프리셋 타입은 상기 N＋1종류의 타입, 예를 들면, 받침대 및 N종류의 표시등 타입이다. 혹은, 다른 실시예에서는 프리셋 타입은 N＋2종류의 타입이어도 되고, N＋1종류의 타입인 경우에 대해 배경 타입도 추가로 포함되지만, 본 발명은 이에 대해 특별히 한정하지 않는다.
후보 영역 내의 목표 대상물이 각 프리셋 타입인 예측 확률이 얻어진 경우, 예측 확률이 가장 높은 프리셋 타입을 상기 후보 영역 내의 목표 대상물의 예측 타입으로서 결정할 수 있고, 그에 따라 상기 가장 높은 예측 확률은 대응하는 예측 타입의 예측 확률이다.
일부 가능한 실시형태에서는 후보 영역의 목표 대상물에 대해 타입 분류 검출을 실행하기 전에 각 후보 영역의 이미지 특징에 대해 풀링 처리를 행할 수 있기 때문에, 각 후보 영역의 이미지 특징의 스케일을 동일하게 할 수 있다. 예를 들면, ROI마다 이미지 특징의 치수를 7*7로 스케일링할 수 있지만, 본 발명은 이에 대해 특별히 한정하지 않는다. 풀링 처리 후, 풀링 처리 후의 이미지 특징을 분류 처리하여 목표 대상물마다 각 후보 프레임에 대응하는 중간 검출 결과를 얻을 수 있다.
일부 가능한 실시형태에서는 단계(S23)에서의 각 후보 영역의 이미지 특징에 대한 분류 처리는 1개의 분류기를 사용하여 실현되어도 되고, 복수의 분류기를 사용하여 실현되어도 된다. 예를 들면, 하나의 분류기에서 프리셋 타입별 후보 영역의 예측 확률을 얻는다. 또는 N＋1 또는 N＋2개의 분류기를 사용하여 타입별 후보 영역의 예측 확률을 각각 검출할 수 있다. 상기 N＋1 또는 N＋2개의 분류기는 프리셋 타입에 일대일 대응하고, 즉 각 분류기는 대응하는 프리셋 타입의 프리셋 결과를 얻기 위해 사용될 수 있다.
일부 가능한 실시형태에서는 후보 영역에 대해 분류 처리를 실행할 때, 합성곱층을 사용하여 후보 영역의 이미지 특징(또는 풀링 후의 이미지 특징)을 제1 합성곱층에 입력하여 합성곱 처리를 실행하고 차원이 a×b×c인 제1 특징도를 얻을 수도 있다. 여기서, b 및 c는 각각 제1 특징도의 길이 및 폭을 나타내고, a는 제1 특징도의 채널수를 나타내고, a의 수치는 프리셋 타입의 총수(예를 들면, N＋1)이다. 그리고, 제1 특징도에 대해 글로벌 풀링 처리를 실행하여 제1 특징도에 대응하는, 차원이 a×d인 제2 특징도를 얻는다. 동일하게, 상기 제2 특징도를 softmax 함수에 입력하면 a×d차원의 제3 특징도를 얻을 수 있다. 여기서 d는 1 이상의 정수이다. 일례로는 d는 제3 특징도의 열수를 나타내고, 예를 들면, 1이어도 된다. 이에 따라 얻어진 제3 특징도의 요소는 후보 영역 내의 목표 대상물이 각 프리셋 타입인 예측 확률을 나타낸다. 각 요소에 대응하는 수치는 상기 예측 확률의 확률값이어도 된다. 상기 확률값의 순서는 설정된 프리셋 타입의 순서에 대응하고, 제3 특징도의 각 요소는 프리셋 타입의 표지 및 대응하는 예측 확률로 구성되어도 된다. 이에 의해, 프리셋 타입과 예측 확률의 대응 관계를 용이하게 결정할 수 있다.
다른 예로는 d는 1보다 큰 다른 정수값이어도 되고, 제3 특징도의 제1 프리셋 열수의 요소에서 프리셋 타입에 대응하는 예측 확률을 얻을 수 있다. 상기 제1 프리셋 열수는 미리 설정된 값이어도 되고, 예를 들면 1이어도 되지만, 본 발명을 특별히 한정하는 것은 아니다.
이상의 배치에 의해, 각 목표 대상물의 각 후보 영역의 중간 검출 결과를 얻을 수 있다. 또한, 중간 검출 결과를 사용하여 각 목표 대상물 검출 결과를 얻을 수 있다.
(S24), 하나 이상의 후보 영역의 각각의 중간 검출 결과 및 각 후보 영역의 제1 위치에 기초하여 목표 대상물의 검출 결과를 결정한다.
상기 실시예에 기재된 바와 같이 각 목표 대상물의 모든 후보 영역에 대응하는 중간 검출 결과(예를 들면, 후보 영역의 제1 위치, 후보 영역 내의 목표 대상물의 예측 타입 및 예측 확률)를 얻을 수 있다. 또한, 목표 대상물의 각 후보 영역의 중간 검출 결과에 기초하여 목표 대상물의 최종 검출 결과, 즉 목표 대상물의 후보 영역의 위치, 타입 등의 정보를 결정할 수 있다.
또한, 본 발명의 실시예는 각 목표 대상물의 후보 영역의 제1 위치를 상기 후보 영역의 위치로 해도 되고, 보다 정확한 제1 위치가 얻어지도록 제1 위치를 최적화해도 된다. 여기서, 본 발명의 실시예는 각 후보 영역의 이미지 특징에서 대응하는 후보 영역의 위치 편차를 얻고, 상기 위치 편차에 따라 후보 영역의 제1 위치를 조정할 수 있다. 여기서, 각 목표 대상물의 후보 영역의 이미지 특징을 제2 합성곱층에 입력하고, 차원이 e×b×c인 제4 특징도를 얻을 수 있다. 여기서, b 및 c는 각각 제4 특징도 및 제3 특징도의 길이와 폭을 나타냄과 함께, b 및 c는 후보 영역의 이미지 특징의 길이 및 폭이어도 되고, e는 제4 특징도의 채널 수를 나타내고, e는 1 이상의 정수여도 되고, 예를 들면, e는 4여도 된다. 또한, 제4 특징도에 대해 글로벌 풀링 처리를 실행함으로써, 제5 특징도를 얻을 수 있다. 상기 제5 특징도는 길이가 e인 특징 벡터여도 되고, 예를 들면, e는 4와 동일하다. 이 때, 제5 특징도에서의 요소가 대응하는 후보 영역에 대응하는 위치 편차이다. 혹은, 다른 실시예에서는 제5 특징도의 차원은 e×f여도 된다. f는 1 이상의 수치이고, 제5 특징도의 열수를 나타낸다. 이 때, 제3 특징도에서의 프리셋 위치 영역 내의 요소에서 후보 영역의 위치 편차를 얻을 수 있다. 여기서 프리셋 위치 영역은 미리 설정된 위치 영역이어도 되고, 예를 들면 제1∼제4 행 제1 열의 요소여도 되지만, 본 발명을 특별히 한정하는 것은 아니다.
예시적으로는 후보 영역의 제1 위치는 2개의 대각의 정점 위치의 종횡 좌표값으로서 나타내도 되고, 제5 특징도의 요소는 상기 2개의 정점의 종횡 좌표값의 위치 오프셋이어도 된다. 제5 특징도가 얻어진 후, 후보 영역의 제1 위치를 상기 제5 특징도에서의 대응하는 위치 편차에 따라 조정하고, 보다 정밀도가 높은 제1 위치를 얻을 수 있다. 여기서, 제1 합성곱층 및 제2 합성곱층은 2개의 상이한 합성곱층이다.
목표 대상물의 검출을 실행하는 과정에서 입력 이미지에서의 각 목표 대상물에 대해 하나 이상의 후보 영역을 검출할 수 있기 때문에, 본 발명의 실시예는 그 하나 이상의 후보 영역에서 목표 대상물의 목표 영역을 선별할 수 있다.
입력 이미지 중 어느 목표 대상물에 대해 하나의 후보 영역만이 검출된 경우, 상기 후보 영역에 기초하여 결정된 목표 대상물의 예측 타입의 예측 확률이 확률 임계값보다 큰지 여부를 판단할 수 있다. 확률 임계값보다 크면, 상기 후보 영역을 상기 목표 대상물의 목표 영역으로서 결정하고, 상기 후보 영역에 대응하는 예측 타입을 목표 대상물의 타입으로서 결정할 수 있다. 상기 후보 영역에 기초하여 결정된 목표 대상물의 예측 타입의 예측 확률이 확률 임계값보다 작으면, 상기 후보 영역을 파기하고, 상기 후보 영역 내의 대상에는 검출 대상이 되는 목표 대상물 중 어느 것도 존재하지 않는 것으로 결정한다.
혹은 입력 이미지의 하나 이상의 목표 대상물에 대해 복수의 후보 영역이 검출된 경우, 각 후보 영역의 중간 검출 결과에 기초하거나, 또는 각 후보 영역의 중간 검출 결과에서의 각 후보 영역의 제1 위치에 기초하여, 상기 복수의 후보 영역에서 목표 영역을 선별하고, 목표 영역 내의 목표 대상물의 예측 타입을 목표 대상물의 타입으로 하고, 목표 영역의 제1 위치를 목표 대상물이 존재하는 목표 영역의 위치로 하고, 목표 대상물의 검출 결과를 얻을 수 있다.
예시적으로는 후보 영역의 중간 검출 결과에 기초하여 목표 영역을 선별하는 단계는 목표 대상물의 복수의 후보 영역에서 대응하는 예측 확률이 가장 높은 후보 영역을 선택하고, 상기 가장 높은 예측 확률이 확률 임계값보다 큰 경우, 가장 높은 예측 확률에 대응하는 후보 영역의 제1 위치(또는 조정 후의 제1 위치)를 상기 목표 대상물의 목표 영역으로 하고, 및 상기 가장 높은 예측 확률에 대응하는 예측 타입을 목표 대상물의 타입으로서 결정하는 것을 포함해도 된다.
예시적으로는 후보 영역의 제1 위치에 기초하여 목표 대상물의 목표 영역을 선별하는 단계는 이하를 포함해도 된다. 비극대치 억제 알고리즘(Non-maximum suppression, NMS)을 사용하여 복수의 후보 영역에서 목표 대상물의 목표 영역을 선택한다. 여기서, 입력 이미지에서의 목표 대상물의 복수의 후보 영역에서 예측 확률이 가장 높은 후보 영역을 선택할 수 있고, 이하, 제1 후보 영역이라고 한다. 이와 함께, 제1 후보 영역의 제1 위치 및 나머지 후보 영역의 제1 위치에 기초하여, 나머지 후보 영역의 각각과 제1 후보 영역 사이의 중복 영역값(Intersection over Union, IOU)을 결정한다. 나머지 후보 영역 중 어느 후보 영역과 제1 후보 영역 사이의 IOU가 면적 임계값보다 큰 경우, 상기 어느 후보 영역을 파기한다. IOU를 비교한 후, 나머지 후보 영역이 전부 파기된 경우, 제1 후보 영역은 목표 대상물의 목표 영역이 된다. 동시에 제1 후보 영역에 기초하여 얻어진 목표 대상물의 예측 타입은 상기 목표 대상물의 타입이어도 된다. 나머지 후보 영역 중 하나 이상의 제2 후보 영역과 제1 후보 영역 사이의 IOU값이 면적 임계값 미만이면 제2 후보 영역 중 예측 확률이 가장 높은 후보 영역을 새로운 제1 후보 영역으로 하고, 제2 후보 영역 중 나머지 후보 영역과 상기 새로운 제1 후보 영역의 IOU를 계속해서 얻을 수 있다. 동일하게, IOU가 면적 임계값보다 큰 제2 후보 영역을 제1 후보 영역(또는 새로운 후보 영역)과의 IOU가 면적 임계값보다 큰 후보 영역이 존재하지 않을 때까지 파기한다. 이렇게 하여 얻어진 각 제1 후보 영역을 각 목표 대상물의 목표 영역으로서 결정할 수 있다.
혹은 다른 가능한 실시형태에서는 확률 임계값에 의해 각 목표 대상물의 후보 영역에서 예측 확률이 확률 임계값보다 큰 후보 영역을 선별하고, 그리고 상기 NMS 알고리즘에 의해 각 목표 대상물의 목표 영역을 얻음과 함께, 목표 영역 내에서의 목표 대상물에 대한 예측 타입을 얻고, 즉 목표 대상물의 검출 결과를 결정할 수 있다.
또한, 상술한 제1 위치에 의해 검출 결과의 결정 과정을 실행하는 것은 조정 후의 제1 위치에 의해 목표 대상물의 검출 결과의 결정을 실행해도 되고, 구체적인 원리는 동일하며, 여기서는 중복 설명을 생략한다.
상기 실시예에 기초하여, 입력 이미지에 존재하는 목표 대상물의 검출 결과를 얻을 수 있고, 즉 목표 대상물의 타입 및 대응하는 위치를 용이하게 결정할 수 있다. 여기서, 상기 목표 검출에 의해, 목표 대상물(예를 들면, 점등 상태의 표시등, 표시등 받침대)마다 검출 프레임(후보 영역)을 얻을 수 있다. 예를 들면, 점등 상태의 표시등에 대해서는 검출 결과에는 입력 이미지에서의 점등 상태의 표시등의 위치 및 상기 표시등 타입이 포함되어도 되고, 예를 들면, 검출 결과는 (x1, y1, x2, y2, label1, score1)로 나타낼 수 있다. 여기서, (x1, y1), (x2, y2)는 점등 상태의 표시등의 목표 영역의 위치 좌표(2개의 대각의 점의 좌표)이며, label1은 점등 상태의 표시등의 타입 표지를 나타내고(1 내지 N＋1 중 어느 것이고, 예를 들면, 2이며, 디지털 램프로서 나타낼 수 있다), score1은 상기 검출 결과의 신뢰도(즉, 예측 확률)를 나타낸다.
표시등 받침대의 경우, 검출 결과는 (x3, y3, x4, y4, label2, scor12)로 나타낸다. 여기서, (x3, y3), (x4, y4)는 받침대의 목표 영역의 위치 좌표(2개의 대각의 점의 좌표)이고, label2는 받침대의 타입 표지(1 내지 N 중 어느 것이고, 예를 들면 1)를 나타내고, score2는 상기 검출 결과의 신뢰도를 나타낸다. 여기서, 받침대의 표지는 1이어도 되고, 나머지 N개의 표지는 점등 상태의 표시등의 N종류의 타입이어도 된다. 일부 가능한 실시형태에서는 배경의 목표 영역을 나타내기 위해 N＋2로서 표지할 수 있고, 본 발명은 이에 대해 특별히 한정하지 않는다.
이상에 의해, 목표 대상물에 대한 검출 결과를 간단하고 편리하게 얻을 수 있다. 또한, 검출 결과에 표시등 또는 받침대의 타입 정보가 이미 포함되어 있기 때문에, 후속의 분류기의 분류 압력을 저감시킬 수 있다.
일부 가능한 실시형태에서는 입력 이미지에서의 목표 대상물의 검출 결과가 얻어진 경우, 추가로, 상기 검출 결과에 기초하여 표시등이 고장났는지 여부를 결정하거나, 혹은 입력 이미지를 수집하는 수집 환경 등의 정보를 결정할 수 있다. 여기서, 입력 이미지의 목표 대상물의 결과에는 검출된 목표 대상물의 타입에 표시등 받침대만이 포함되고, 모든 타입의 점등 상태의 표시등이 포함되지 않는다. 이 경우, 표시등이 고장 상태인 것으로 결정할 수 있다. 예를 들면, 교통 신호기에서 어느 교통 신호기가 점등된 상태인 것이 검출되지 않는 경우, 상기 교통 신호기가 고장 램프인 것으로 결정할 수 있다. 이 때, 입력 이미지에 관한 수집 시간, 수집 장소 등의 정보에 기초하여, 고장 경보 조작을 실행할 수 있다. 예를 들면, 표시등이 점등되어 있지 않은 고장 상황 및 고장 램프의 위치 정보(상기 수집 장소에 기초하여 결정됨)를 포함하여 얻는 고장 정보를 서버 또는 다른 관리 장치에 송신한다.
혹은 일부 실시예에서는 입력 이미지에 대해 검출된 목표 대상물의 검출 결과에는 점등 상태의 표시등만이 포함되고, 상기 점등 상태의 표시등에 대응하는 받침대가 포함되어 있지 않으면, 이 때, 입력 이미지를 수집하는 수집 환경이 휘도가 프리셋 휘도보다 작은 환경인 어두운 환경 또는 어두운 상태인 것으로 결정할 수 있다. 프리셋 휘도는 장소나 날씨에 따라 설정할 수 있고, 본 발명은 이에 대해 특별히 한정하지 않는다.
도 5는 본 발명의 실시예에 따른 표시등의 지시 정보 인식 방법에서의 단계(S30)의 흐름도를 나타낸다. 여기서, 목표 대상물의 검출 결과에 기초하여 입력 이미지에서 목표 대상물이 존재하는 목표 영역을 인식하고, 목표 대상물의 지시 정보를 얻는 것(단계(S30))은
목표 대상물의 검출 결과에서의 목표 대상물의 타입에 기초하여, 목표 대상물에 매칭되는 분류기를 결정하는 (S31)과,
매칭되는 분류기를 사용하여 입력 이미지에서의 목표 영역의 이미지 특징을 인식하고, 목표 대상물의 지시 정보를 얻는 (S32)를 포함해도 된다.
예시적으로는 목표 대상물에 매칭되는 분류기는 적어도 1종류를 포함하고, 각 종류의 분류기는 하나 이상의 타입의 목표 대상물에 대응해도 된다.
일부 가능한 실시형태에서는 입력 이미지에서의 목표 대상물의 검출 결과가 얻어진 후, 지시 정보의 분류 검출, 예를 들면, 받침대에서의 장면 정보, 표시등 배열 방식, 표시등의 색, 설명, 표시 방향 중 하나 이상의 정보의 분류 인식을 실행할 수 있다. 여기서, 본 발명의 실시예는 상이한 분류기를 사용하여 상이한 지시 정보의 분류 인식을 실행할 수 있기 때문에, 분류 인식을 실행하는 분류기를 최초로 결정할 수 있다.
도 6은 본 발명의 실시예에 따른 상이한 목표 대상물의 분류 검출 모식도를 나타낸다.
일부 가능한 실시형태에서는 인식된 목표 대상물의 타입이 표시등 받침대인 경우, 받침대 타입의 목표 대상물에 대해 지시 정보의 분류 인식을 추가로 실행하고, 표시등의 배열 방식 및 표시등이 존재하는 장면에서의 하나 이상의 지시 정보를 얻을 수 있다. 여기서, 배열 방식은 횡방향 배열, 종방향 배열 및 단일 표시등의 배열 방식 등을 포함해도 된다. 장면은 고속도로 교차점, 급커브 교차점, 일반적인 장면 등을 포함해도 된다. 상기는 배열 방식 및 장면의 예시에 불과하고, 다른 배열 방식 또는 장면을 포함해도 되며, 본 발명은 이에 대해 특별히 한정하지 않는다.
일부 가능한 실시형태에서는 인식된 목표 대상물의 타입이 점등 상태의 라운드 스팟 램프인 경우, 상기 라운드 스팟 램프의 점등색을 분류 인식하고, 점등색(예를 들면, 적색, 녹색, 황색)의 지시 정보를 얻을 수 있다. 인식된 목표 대상물의 타입이 점등 상태의 디지털 표시등인 경우, 수치(예를 들면, 1, 2, 3 등) 및 점등색을 분류 인식하고, 점등색 및 수치의 지시 정보를 얻을 수 있다. 인식된 목표 대상물의 타입이 점등 상태의 화살표 표시등인 경우, 화살표의 방향(예를 들면, 정면 방향, 좌측 방향, 우측 방향 등) 및 점등색을 분류 인식하고, 점등색 및 표시 방향의 지시 정보를 얻을 수 있다. 인식된 목표 대상물의 타입이 보행자 표지의 표시등(보행자용 램프)인 경우, 점등색을 인식하고, 점등색의 지시 정보를 얻을 수 있다.
즉, 본 발명의 실시예는 목표 대상물의 검출 결과 중, 상이한 타입의 목표 대상물에 대해 상이한 지시 정보의 인식을 실행할 수 있고, 보다 용이하고 또한 보다 정확하게 표시등의 지시 정보를 얻을 수 있다. 여기서, 지시 정보의 인식을 실행할 때, 대응하는 타입의 목표 대상물이 존재하는 목표 영역에 대응하는 이미지 특징을 매칭되는 분류기 내에 입력하여, 분류 결과를 얻고, 즉 대응하는 지시 정보를 얻는다.
예시적으로는 입력 이미지에서의 목표 대상물의 검출 결과에 대해 하나 이상의 목표 대상물의 타입이 받침대인 것이 얻어진 경우, 매칭되는 분류기에 제1 분류기 및 제2 분류기 중 하나 이상이 포함되는 것으로 결정한다. 여기서, 제1 분류기는 받침대에서의 표시등의 배열 방식을 분류 인식하기 위해 사용되고, 제2 분류기는 표시등이 존재하는 장면을 분류 인식하기 위해 사용된다. 상기 받침대 타입의 목표 대상물의 목표 영역에 대응하는 이미지 특징을 제1 분류기에 입력하면, 받침대에서의 표시등의 배열 방식을 얻을 수 있다. 상기 받침대 타입의 목표 대상물의 목표 영역에 대응하는 이미지 특징을 제2 분류기에 입력하면 표시등의 장면을 얻을 수 있고, 예를 들면, 텍스트 인식의 방식으로 상기 장면 정보를 얻을 수 있다.
일부 가능한 실시형태에서는 인식된 목표 대상물의 타입이 점등 상태의 라운드 스팟 램프 또는 보행자용 램프인 경우, 매칭되는 분류기에 라운드 스팟 램프 또는 보행자용 램프의 색 속성을 인식하기 위한 제3 분류기가 포함되는 것으로 결정한다. 이 때, 라운드 스팟 램프 타입 또는 보행자용 램프 타입의 목표 대상물에 대응하는 목표 영역의 이미지 특징을 매칭된 제3 분류기에 입력하고, 표시등의 색 속성을 얻을 수 있다.
일부 가능한 실시형태에서는 인식된 목표 대상물의 타입이 점등 상태의 화살표 램프인 경우, 매칭되는 분류기에 화살표 램프의 색 속성을 인식하기 위한 제4 분류기 및 방향 속성을 인식하기 위한 제5 분류기가 포함되는 것으로 결정한다. 이 때, 화살표 램프 타입의 목표 대상물에 대응하는 목표 영역의 이미지 특징을 매칭된 제4 분류기 및 제5 분류기에 입력하고, 제4 분류기 및 제5 분류기를 사용하여 목표 대상물이 존재하는 목표 영역의 이미지 특징을 인식하고, 화살표 램프의 색 속성 및 화살표 램프의 방향 속성을 각각 얻을 수 있다.
일부 가능한 실시형태에서는 인식된 목표 대상물의 타입이 점등 상태의 디지털 램프인 경우, 매칭되는 분류기에 디지털 램프의 색 속성을 인식하기 위한 제6 분류기 및 디지털 램프 수치 속성을 인식하기 위한 제7 분류기가 포함되는 것으로 결정한다. 이 때, 디지털 램프 타입의 목표 대상물에 대응하는 목표 영역의 이미지 특징을 매칭된 제6 분류기 및 제7 분류기에 입력하고, 제6 분류기 및 제7 분류기에 기초하여, 목표 대상물이 존재하는 목표 영역의 이미지 특징을 인식하고, 디지털 램프의 색 속성 및 수치 방향 속성을 각각 얻을 수 있다.
또한, 상기 색 속성의 분류 인식을 실행하는 제3 분류기, 제4 분류기 및 제6 분류기는 동일한 분류기여도 되고, 상이한 분류기여도 되고, 본 발명은 이에 대해 특별히 제한하지 않는다.
또한, 일부 가능한 실시형태에서는 상기 목표 영역의 이미지 특징의 취득 방법으로는 입력 이미지에 대해 특징 추출을 행하여 얻어진 입력 이미지의 이미지 특징 및 목표 영역의 위치 정보에 기초하여 목표 영역의 이미지 특징을 결정할 수 있다. 즉, 목표 영역의 이미지 특징으로서, 입력 이미지의 이미지 특징에서 목표 영역의 위치 정보에 대응하는 특징을 직접 얻을 수 있다. 혹은 입력 이미지에서 목표 영역에 대응하는 서브 이미지를 취득하고, 그리고 상기 서브 이미지에 대해 특징 추출, 예를 들면 합성곱 처리를 실행하고, 서브 이미지의 이미지 특징을 얻음으로써, 목표 영역의 이미지 특징을 결정할 수도 있다. 이상은 예시에 불과하고, 다른 실시예에 있어서도 다른 방법으로 목표 영역의 이미지 특징을 얻을 수 있지만, 본 발명은 이에 대해 특별히 한정하지 않는다.
상기 실시예에 의해, 각 목표 영역 내의 목표 대상물의 지시 정보를 얻을 수 있다. 여기서, 분류 결과가 보다 정확해지도록 상이한 분류기에 의해 상이한 지시 정보의 검출을 실행할 수 있다. 또한, 목표 대상물의 타입을 얻은 뒤에, 추가로 모든 분류기를 사용하여 인식하는 것이 아니라 매칭되는 분류기를 사용하여 분류 인식을 행함으로써 분류기 리소스를 효과적으로 이용하고, 분류 속도를 높일 수 있다.
일부 가능한 실시형태에서는 입력 이미지에는 복수의 표시등 받침대, 복수의 점등 상태의 표시등이 포함될 가능성이 있고, 도 7은 복수의 받침대의 교통 신호기의 구조 모식도를 나타낸다. 얻어진 검출 결과가 복수의 표시등 받침대 및 복수의 점등 상태의 표시등을 포함하는 경우, 이 때, 받침대 및 점등 상태의 표시등을 매칭할 수 있다. 예를 들면, 도 7에서 2개의 표시등 받침대(D1 및 D2)를 포함함과 함께, 각 표시등 받침대에는 그 받침대에 대응하는 표시등을 포함해도 되고, 지시 정보의 인식을 실행하는 과정에서 3개의 점등된 표시등, 즉 L1, L2 및 L3을 결정할 수 있고, 표시등 받침대, 및 점등 상태의 표시등을 매칭함으로써, 점등 상태의 표시등(L1)이 표시등 받침대(D1)에 매칭됨과 함께, 동시에 표시등(L2 및 L3)이 받침대(D2)에 매칭되는 것을 결정할 수 있다.
도 8은 본 발명의 실시예에 따른 표시등의 지시 정보 인식 방법의 다른 흐름도를 나타낸다. 여기서, 표시등의 지시 정보 인식 방법은 표시등 받침대와 점등 상태의 표시등의 매칭 과정을 추가로 포함하고, 구체적으로는 이하에 나타내는 바와 같다.
(S41), 적어도 2개의 표시등 받침대 중 하나인 제1 표시등 받침대에 대해, 제1 표시등 받침대에 매칭되는 점등 상태의 표시등을 결정한다.
여기서, 얻어진 목표 대상물의 검출 결과에는 받침대 타입의 목표 대상물에 대한 목표 영역의 제1 위치와, 점등 상태의 표시등이 존재하는 목표 영역의 제2 위치가 포함되어도 된다. 본 발명의 실시예는 각 받침대의 제1 위치 및 각 표시등의 제2 위치에 기초하여 받침대와 점등 상태의 표시등이 매칭되는지 여부를 결정할 수 있다.
여기서, 목표 대상물의 검출 결과에서의 목표 대상물이 존재하는 목표 영역의 위치에 기초하여, 하나 이상의 점등 상태의 표시등이 존재하는 목표 영역과 제1 표시등 받침대가 존재하는 목표 영역이 교차하는 제1 면적 및 하나 이상의 점등 상태의 표시등이 존재하는 목표 영역의 제2 면적을 결정하고, 점등 상태의 제1 표시등에 대응하는 제1 면적과, 점등 상태의 제1 표시등의 제2 면적의 비가 설정된 면적 임계치보다 큰 것에 따라, 점등 상태의 제1 표시등이 제1 표시등 받침대에 매칭되는 것으로 결정하고, 여기서, 점등 상태의 제1 표시등은 하나 이상의 점등 상태의 표시등 중 하나이다.
즉, 제1 표시등 받침대마다 제1 표시등 받침대의 목표 영역의 제1 위치와, 각 점등 상태의 표시등의 목표 영역의 제2 위치에 기초하여 각 받침대와 각 표시등의 목표 영역이 교차 또는 중복되는 제1 면적(S1)을 결정하고, 점등 상태의 표시등(제1 표시등)과 표시등 받침대 사이의 제1 면적(S1)과, 점등 상태의 표시등의 목표 영역의 제2 면적(S2)의 비(S1/S2)이 면적 임계값보다 큰 경우, 상기 제1 표시등이 제1 표시등 받침대에 매칭되는 것을 결정할 수 있다. 제1 표시등 받침대에 매칭된 복수의 제1 표시등을 결정할 수 있다면, 상기 복수의 제1 표시등을 제1 표시등 받침대에 매칭된 표시등과 동시에 할 수 있고, 혹은 비가 가장 큰 제1 표시등을 제1 표시등 받침대에 매칭된 점등 상태의 표시등으로서 결정할 수 있다. 혹은, 제1 표시등 받침대와의 사이의 상기 S1/S2비가 최대가 되는 프리셋 개수의 표시등을 제1 표시등 받침대에 매칭된 표시등으로서 결정할 수 있다. 프리셋 개수가 2여도 되지만, 본 발명을 특별히 한정하는 것은 아니다. 또한, 면적 임계값은 미리 설정된 값, 예를 들면, 0.8이어도 되지만, 본 발명을 특별히 한정하는 것은 아니다.
(S42), 제1 표시등 받침대의 지시 정보와 제1 표시등 받침대에 매칭되는 점등 상태의 표시등의 지시 정보를 조합하여 조합 후의 지시 정보를 얻는다.
표시등 받침대에 매칭된 점등 상태의 표시등을 얻은 후, 표시등 받침대와, 매치된 점등 상태의 표시등에서 각각 얻어진 지시 정보를 조합하여 표시등의 지시 정보를 얻을 수 있다. 도 7에 나타내는 바와 같이, 표시등 받침대(D1)와 점등 상태의 표시등(L1)의 지시 정보를 조합할 수 있고, 결정된 지시 정보는 장면이 일반적인 장면이고, 표시등의 배열 방식이 횡방향 배열이며, 점등 상태의 표시등이 라운드 스팟 램프이고, 색이 적색인 것을 포함한다. 동시에 표시등 받침대(D2)와 점등 상태의 표시등(L2 및 L3)의 지시 정보를 조합하여, 결정된 지시 정보는 장면이 일반적인 장면이고, 표시등의 배열 방식이 횡방향 배열이고, 점등 상태의 표시등이 화살표 램프이고, 우측 방향 화살표 램프 및 전면 방향 화살표 램프를 포함하고, 여기서 우측 방향 화살표 램프의 색이 적색이고, 전면 방향 화살표 램프의 색이 녹색인 것을 포함한다.
또한, 대응하여 매칭된 점등 상태의 표시등을 찾을 수 없는 표시등 받침대에 대해서는 받침대를 소등 상태로 결정할 수 있다. 즉, 상기 받침대에 대응하는 표시등이 고장 램프인 것으로 결정할 수 있다. 매칭된 표시등 받침대를 찾을 수 없는 점등 상태의 표시등에 대해서는 상기 점등 상태의 표시등에 대응하는 지시 정보를 개별적으로 출력한다. 이와 같은 경우는, 받침대의 시각적 특징이 눈에 띄지 않는 것이 원인인 것이 많아, 예를 들면, 밤이 되면 받침대를 검출하는 것이 곤란해지는 경우가 있다.
또한, 스마트 운전 분야에서는 얻어진 입력 이미지는 실시간으로 수집된 차량 전방 또는 후방의 이미지여도 된다. 입력 이미지에서의 표시등에 대응하는 지시 정보가 얻어진 경우, 상기 얻어진 지시 정보에 기초하여 운전 속도, 운전 방향, 제어 모드, 정지 등의 운전 상태를 포함할 수 있는 운전 장치의 운전 파라미터의 제어 명령을 추가로 생성할 수 있다.
본 발명의 실시예를 보다 명확하게 반영하기 위해, 이하, 예를 들어 본 발명의 실시예에 따른 지시 정보의 취득 과정을 설명한다. 본 발명의 실시예에 사용되는 알고리즘 모델은 도 4에 나타내는 목표 검출을 실행하는 목표 검출 네트워크와, 지시 정보의 분류 인식을 실행하는 분류 네트워크의 2개의 부분을 포함해도 된다. 여기서, 도 4에 나타내는 바와 같이, 목표 검출 네트워크는 베이스 네트워크(base network) 모듈, 영역 후보 네트워크(RPN) 모듈, 분류 모듈을 포함해도 된다. 여기서, 베이스 네트워크 모듈은 입력 이미지의 특징 추출 처리를 실행하고, 입력 이미지의 이미지 특징을 얻기 위해 사용된다. 영역 후보 네트워크 모듈은 입력 이미지의 이미지 특징에 기초하여 입력 이미지에서의 목표 대상물의 후보 영역(ROI)을 검출하기 위해 사용되고, 분류 모듈은 후보 영역의 이미지 특징에 기초하여 후보 영역 내의 목표 대상물의 타입을 판단하고, 입력 이미지의 목표 대상물의 검출 결과를 얻기 위해 사용된다.
여기서, 목표 검출 네트워크의 입력은 입력 이미지이고, 출력은 복수의 목표 대상물의 2D 검출 프레임(즉, 목표 대상물의 목표 영역)이고, 각 검출 프레임은 (x1, y1, x2, y2, label, score)로 나타낼 수 있다. 여기서, x1, y1, x2, y2는 검출 프레임의 위치 좌표이고, label은 카테고리이다(값의 범위는 1 내지 N＋1이고, 제1 카테고리는 받침대를 나타내고, 다른 카테고리는 각종 점등 상태의 표시등을 나타낸다).
목표 검출 과정은 이하를 포함해도 된다. 입력 이미지를 Base Network에 입력하고, 입력 이미지의 이미지 특징을 얻는다. 영역 후보 네트워크(Region Proposal Network, RPN)를 사용하여 표시등의 후보 프레임 ROI(Region of interest)를 생성한다. 여기서, 받침대의 후보 프레임 및 점등 상태의 표시등의 후보 프레임을 포함한다. 그리고, 풀링층을 이용하여 고정 치수의 후보 프레임의 특징도를 얻을 수 있다. 예를 들면, ROI마다 특징도의 크기를 7*7로 스케일링하고, 그리고 분류 모듈에 의해 N＋2종류의 카테고리의 판정(background 배경 카테고리를 추가)을 행하고, 입력 이미지에서의 각 목표 대상물의 후보 프레임의 예측 타입 및 위치를 얻는다. 그리고, NMS나 임계치 등의 후처리를 행하고, 목표 대상물의 최종적인 검출 프레임(목표 영역에 대응하는 후보 프레임)을 얻는다.
여기서, 본 발명의 실시예는 검출된 목표 대상물에서 점등 상태의 표시등을 N종류로 분류하는 합리적인 설명을 행한다.
1, 점등 상태의 표시등의 종류에 따라 의미가 상이하고, 항상 각 타입의 검출 결과를 개별적으로 검토할 필요가 있고, 예를 들면, 보행자용 램프와 차량 라운드 스팟 램프를 혼합하면 안된다.
2, 상이한 종류의 점등 상태의 표시등 사이에 심각한 샘플수 불균형의 문제가 있고, 점등 상태의 표시등을 N개의 상이한 카테고리로 세분하고, 모델의 파라미터를 조절하고, 각각 조절하여 최적화하는 데 편리하다.
각 목표 대상물의 검출 결과가 얻어진 경우, 목표 대상물의 지시 정보를 추가로 인식할 수 있다. 여기서, 매칭되는 분류기에 의해 지시 정보를 분류 인식할 수 있다. 여기서, 복수의 분류기를 포함하는 분류 모듈을 사용하여 목표 대상물의 지시 정보에 대한 인식을 실행할 수 있다. 여기서, 분류 모듈은 상이한 지시 정보의 분류 인식을 실행하기 위한 복수 종류의 타입의 분류기를 포함해도 되고, 특징을 추출하기 위한 합성곱층을 포함해도 되고, 본 발명은 이에 대해 특별히 한정하지 않는다.
분류 모듈의 입력은 검출된 목표 대상물의 목표 영역에 대응하는 이미지 특징이어도 되고, 출력은 목표 영역의 목표 대상물의 각각에 대응하는 지시 정보이다.
구체적인 과정은 이하를 포함해도 된다. 목표 대상물의 목표 영역의 검출 프레임을 입력하고, 검출 프레임 내의 목표 대상물의 타입(1 내지 N＋1)에 매칭되는 분류기를 선택하고, 대응하는 분류 결과를 얻는다. 표시등 받침대의 검출 프레임이면 표시등 받침대가 단순한 전체로서 간주될 수 있기 때문에, 표시등 받침대의 분류기가 전부 활성화되고, 예를 들면, 장면 및 배열 방식을 인식하기 위한 분류기가 전부 활성화되고, 장면 속성 및 배열 방식 속성을 인식하기 위해 사용된다. 점등 상태의 표시등의 검출 프레임이면, 상이한 타입의 점등 상태의 표시등은 상이한 분류기를 선택할 필요가 있고, 예를 들면, 화살표 등은 「색」 및 「화살표 방향」의 2개의 분류기에 대응하고, 라운드 스팟 램프는 「색」 분류기에 대응하는 등. 또한, 다른 속성 판정의 필요성이 증가하면 추가로 다른 분류기를 추가하는 것도 가능하고, 본 발명은 이에 대해 특별히 한정하지 않는다.
이상 설명한 바와 같이, 본 발명의 실시예는 우선 입력 이미지에 대해 목표 검출 처리를 행하고, 목표 대상물 검출 결과를 얻는다. 여기서, 목표 대상물의 검출 결과에 목표 대상물의 위치 및 타입 등의 정보가 포함되어도 된다. 또한, 목표 대상물의 검출 결과에 기초하여 목표 대상물의 지시 정보의 인식을 실행할 수 있다.
본 발명은 목표 대상물의 검출 과정을 받침대와 점등 상태의 표시등의 2개의 검출 과정으로 나눔으로써, 검출 과정에서 목표 대상물의 최초의 구별을 실현하였다. 다음으로, 목표 대상물의 검출 결과에 기초하여 새로운 인식을 행할 때, 목표 대상물의 지시 정보를 인식하는 과정에서의 인식 복잡도를 저감시키고, 인식 난도를 저감시키는 데 유리하며, 상이한 상황하에서의 각 타입의 표시등에 대한 검출 인식을 간단하고, 편리하게 실현할 수 있다.
또한, 본 발명의 실시예는 다른 센서를 사용하지 않고, 단순히 이미지 정보를 사용하는 것만으로 표시등의 검출과 지시 정보 판정을 실현함과 함께 본 발명의 실시예는 상이한 타입의 표시등에 대해 검출을 행할 수 있고, 보다 양호한 적용성을 갖는다.
도 9는 본 발명의 실시예에 따른 운전 제어 방법의 흐름도를 나타낸다. 상기 운전 제어 방법은 스마트 차량, 스마트 항공기, 완구 등의 제어 명령에 따라 운전 파라미터를 조절 가능한 장치에 적용할 수 있다. 상기 운전 제어 방법은 이하를 포함해도 된다.
(S100), 스마트 운전 장치의 이미지 수집 장치를 사용하여 주행 이미지를 수집한다.
스마트 운전 장치의 주행 중에 스마트 운전 장치에 설치된 이미지 수집 장치는 주행 이미지를 수집해도 되고, 다른 장치에 의해 수집된 주행 위치의 주행 이미지를 수신해도 된다.
(S200), 상기 주행 영상에 대해 상기 표시등의 지시 정보 인식 방법을 실행하고, 상기 주행 이미지의 지시 정보를 얻는다.
상기 주행 이미지에 대해 지시 정보의 검출 처리를 실행하고, 즉 상기 실시예에 기재된 표시등의 지시 정보의 인식 방법을 실행하고, 주행 이미지에서의 표시등의 지시 정보를 얻는다.
(S300), 상기 지시 정보를 사용하여, 스마트 운전 장치의 제어 명령을 생성한다.
얻어진 지시 정보에 기초하여, 운전 장치의 운전 파라미터를 실시간으로 제어할 수 있고, 즉 주어진 지시 정보에 기초하여 스마트 운전 장치를 제어하기 위한 제어 명령을 생성할 수 있다. 상기 제어 명령은 스마트 운전 장치의 운전 파라미터를 제어하기 위해 사용되어도 되고, 운전 파라미터는 운전 속도, 운전 방향, 운전 모드 또는 운전 상태 중 하나 이상을 포함해도 된다. 운전 장치의 파라미터 제어 또는 제어 명령의 타입에 대해서는 당업자가 종래 기술의 수단 및 필요에 따라 설정할 수 있고, 본 발명은 이에 대해 특별히 한정하지 않는다.
본 발명의 실시예에 기초하여, 스마트 운전 장치의 스마트 제어를 실현할 수 있고, 지시 정보의 취득 과정이 간단하고 신속하며, 또한 정밀도가 높다는 특징을 갖고 있기 때문에, 스마트 운전 장치의 제어 효율과 정밀도를 향상시킬 수 있다.
당업자에게 이해되도록 구체적인 실시형태의 상기 방법에 있어서, 각 단계의 기재 순서는 엄밀한 실행 순서를 의미하고 실시 과정을 전혀 한정하는 것이 아니고, 각 단계의 구체적인 실행 순서는 그 기능 및 가능한 내재적 논리에 의해 결정되어야 한다. 논리를 위반하지 않는 한, 본 발명에서 제공되는 상이한 실시형태는 상호 조합할 수 있다.
본 발명에서 언급된 상기 각 방법의 실시예는 원리와 논리를 위반하지 않는 한, 상호 조합하여 실시예를 형성할 수 있는 것을 이해해야 한다. 분량에 한계가 있기 때문에, 본 발명에서는 상세한 설명을 생략한다.
또한, 본 발명은 표시등의 지시 정보 인식 장치, 운전 제어 장치, 전자 기기, 컴퓨터 판독 가능 기억 매체, 프로그램을 추가로 제공하고, 이는 전부 본 발명에 따른 표시등의 지시 정보 인식 방법 및/또는 운전 제어 방법 중 어느 하나를 실현하기 위해 이용할 수 있다. 대응하는 기술적 해결 수단 및 설명은 방법의 부분에 대응하는 기재를 참조하면 되고, 상세한 설명을 생략한다.
도 10은 본 발명의 실시예에 따른 표시등의 지시 정보 인식 장치의 블록도를 나타낸다. 도 10에 나타내는 바와 같이, 상기 표시등의 지시 정보 인식 장치는
입력 이미지를 취득하기 위한 취득 모듈(10)과,
상기 입력 이미지에 기초하여 목표 대상물의 검출 결과를 결정하기 위한 결정 모듈(20)과,
상기 목표 대상물의 검출 결과에 기초하여 상기 입력 이미지에서 상기 목표 대상물이 존재하는 목표 영역을 인식하고, 상기 목표 대상물의 지시 정보를 얻기 위한 인식 모듈(30)을 포함하고, 상기 목표 대상물에 표시등 받침대, 점등 상태의 표시등 중 하나 이상이 포함되고, 상기 검출 결과에 상기 목표 대상물의 타입, 상기 입력 이미지에서 상기 목표 대상물이 존재하는 목표 영역의 위치가 포함된다.
일부 가능한 실시형태에서는 상기 결정 모듈은 추가로,
상기 입력 이미지의 이미지 특징을 추출하는 것과,
상기 입력 이미지의 이미지 특징에 기초하여 상기 목표 대상물의 하나 이상의 후보 영역의 각각의 제1 위치를 결정하는 것과,
상기 입력 이미지에서의 각 후보 영역에 대응하는 제1 위치의 이미지 특징에 기초하여 각 후보 영역의 중간 검출 결과를 결정하는 것과,
하나 이상의 후보 영역의 각각의 중간 검출 결과 및 각 후보 영역의 제1 위치에 기초하여, 상기 목표 대상물의 검출 결과를 결정하는 것에 사용된다. 상기 중간 검출 결과에 상기 목표 대상물의 예측 타입과, 상기 목표 대상물이 상기 예측 타입인 예측 확률이 포함되고, 상기 예측 타입이 표시등 받침대, N종류의 점등 상태의 표시등 중 어느 것이고, N이 양의 정수이다.
일부 가능한 실시형태에서는 상기 결정 모듈은 추가로,
후보 영역마다, 상기 후보 영역에 대응하는 제1 위치의 이미지 특징에 기초하여 상기 후보 영역 내의 상기 목표 대상물을 분류하고, 상기 목표 대상물이 상기 하나 이상의 프리셋 타입의 각각인 예측 확률을 얻는 것과,
상기 하나 이상의 프리셋 타입 중 예측 확률이 가장 높은 프리셋 타입을 상기 후보 영역 내에서의 상기 목표 대상물의 예측 타입으로 하고, 상기 예측 타입의 예측 확률을 얻는 것에 사용된다. 상기 프리셋 타입에 표시등 받침대, N종류의 점등 상태의 표시등 중 하나 이상이 포함되고, N이 양의 정수이다.
일부 가능한 실시형태에서는 상기 결정 모듈은 추가로,
하나 이상의 후보 영역의 각각의 중간 검출 결과 및 각 후보 영역의 제1 위치에 기초하여, 상기 목표 대상물의 검출 결과를 결정하기 전에, 상기 입력 이미지의 이미지 특징에 기초하여 각 후보 영역의 제1 위치의 위치 편차를 결정하는 것과,
각 후보 영역에 대응하는 위치 편차를 사용하여 각 후보 영역의 제1 위치를 조정하는 것에 사용된다.
일부 가능한 실시형태에서는 상기 결정 모듈은 추가로,
상기 목표 대상물의 후보 영역이 적어도 2개인 경우, 적어도 2개의 후보 영역의 각각의 중간 검출 결과에 기초하거나, 혹은 각 후보 영역의 중간 검출 결과 및 각 후보 영역의 제1 위치에 기초하여, 상기 적어도 2개의 후보 영역에서 목표 영역을 선별하는 것과,
상기 목표 영역 내의 상기 목표 대상물의 예측 타입을 상기 목표 대상물의 타입으로 하고, 상기 목표 영역의 제1 위치를 상기 목표 대상물이 존재하는 목표 영역의 위치로 하고, 상기 목표 대상물의 검출 결과를 얻는 것에 사용된다.
일부 가능한 실시형태에서는 상기 결정 모듈은 추가로,
상기 목표 대상물의 검출 결과에 표시등 받침대에 대응하는 검출 결과만이 포함되는 경우, 상기 표시등이 고장 상태인 것으로 결정하는 것과,
상기 목표 대상물의 검출 결과에 점등 상태의 표시등에 대응하는 검출 결과만이 포함되는 경우, 상기 입력 이미지를 수집하는 장면의 상태가 어두운 상태인 것으로 결정하는 것에 사용된다.
일부 가능한 실시형태에서는 상기 인식 모듈은 추가로,
상기 목표 대상물의 검출 결과에서의 상기 목표 대상물의 타입에 기초하여, 상기 목표 대상물에 매칭되는 분류기를 결정하는 것과,
매칭되는 분류기를 사용하여 상기 입력 이미지에서의 상기 목표 영역의 이미지 특징을 인식하고, 상기 목표 대상물의 지시 정보를 얻는 것에 사용된다.
일부 가능한 실시형태에서는 상기 인식 모듈은 추가로,
상기 목표 대상물의 타입이 표시등 받침대인 경우, 매칭되는 분류기에 상기 표시등 받침대에서의 표시등의 배열 방식을 인식하기 위한 제1 분류기가 포함되는 것으로 결정하고, 상기 제1 분류기를 사용하여 상기 목표 대상물이 존재하는 목표 영역의 이미지 특징을 인식하고, 상기 표시등 받침대에서의 표시등의 배열 방식을 결정하는 것, 및/또는
매칭되는 분류기에 상기 표시등이 존재하는 장면을 인식하기 위한 제2 분류기가 포함되는 것으로 결정하고, 상기 제2 분류기를 사용하여 상기 목표 대상물이 존재하는 목표 영역의 이미지 특징을 인식하고, 상기 표시등이 존재하는 장면의 정보를 결정하는 것에 사용된다.
일부 가능한 실시형태에서는 상기 인식 모듈은 추가로,
상기 목표 대상물의 타입이 라운드 스팟 램프 또는 보행자용 램프인 경우, 매칭되는 분류기에 라운드 스팟 램프 또는 보행자용 램프의 색 속성을 인식하기 위한 제3 분류기가 포함되는 것으로 결정하는 것과,
상기 제3 분류기를 사용하여 상기 목표 대상물이 존재하는 목표 영역의 이미지 특징을 인식하고, 상기 라운드 스팟 램프 또는 보행자용 램프의 색 속성을 결정하는 것에 사용된다.
일부 가능한 실시형태에서는 상기 인식 모듈은 추가로,
상기 목표 대상물의 타입이 화살표 램프인 경우, 매칭되는 분류기에 화살표 램프의 색 속성을 인식하기 위한 제4 분류기 및 방향 속성을 인식하기 위한 제5 분류기가 포함되는 것으로 결정하는 것과,
상기 제4 분류기 및 상기 제5 분류기를 사용하여 상기 목표 대상물이 존재하는 목표 영역의 이미지 특징을 인식하고, 상기 화살표 램프의 색 속성 및 방향 속성을 각각 결정하는 것에 사용된다.
일부 가능한 실시형태에서는 상기 인식 모듈은 추가로,
상기 목표 대상물의 타입이 디지털 램프인 경우, 매칭되는 분류기에 디지털 램프의 색 속성을 인식하기 위한 제6 분류기 및 수치 속성을 인식하기 위한 제7 분류기가 포함되는 것으로 결정하는 것과,
상기 제6 분류기 및 상기 제7 분류기에 기초하여, 상기 목표 대상물이 존재하는 목표 영역의 이미지 특징을 인식하고, 상기 디지털 램프의 색 속성 및 수치 속성을 각각 결정하는 것에 사용된다 .
일부 가능한 실시형태에서는 상기 장치는
상기 입력 이미지에 적어도 2개의 표시등 받침대가 포함되는 경우, 상기 적어도 2개의 표시등 받침대 중 하나인 제1 표시등 받침대에 대해, 상기 제1 표시등 받침대에 매칭되는 점등 상태의 표시등을 결정하는 것과,
상기 제1 표시등 받침대의 지시 정보와, 상기 제1 표시등 받침대에 매칭되는 점등 상태의 표시등의 지시 정보를 조합하여 조합 후의 지시 정보를 얻는 것에 사용되는 매핑 모듈을 추가로 포함한다.
일부 가능한 실시형태에서는 상기 매핑 모듈은 추가로,
상기 목표 대상물의 검출 결과에서의 목표 대상물이 존재하는 목표 영역의 위치에 기초하여, 상기 하나 이상의 점등 상태의 표시등이 존재하는 목표 영역과 상기 제1 표시등 받침대가 존재하는 목표 영역이 교차하는 제1 면적을 결정하고, 또한 상기 하나 이상의 점등 상태의 표시등이 존재하는 목표 영역의 제2 면적을 결정하는 것과,
점등 상태의 제1 표시등과 상기 제1 표시등 받침대 사이의 상기 제1 면적과, 상기 점등 상태의 제1 표시등의 제2 면적의 비가 설정된 면적 임계치보다 큰 경우, 상기 점등 상태의 제1 표시등이 상기 제1 표시등 받침대에 매칭되는 것으로 결정하는 것에 사용되고,
상기 점등 상태의 제1 표시등은 상기 하나 이상의 점등 상태의 표시등 중 하나이다.
또한, 도 11은 본 발명의 실시예에 따른 운전 제어 장치의 블록도를 나타낸다. 상기 운전 제어 장치는 스마트 운전 장치에 설치되고, 상기 스마트 운전 장치의 주행 이미지를 수집하기 위한 이미지 수집 모듈(100)과,
상기 주행 이미지에 대해 제1 측면 중 어느 한 항에 기재된 표시등의 지시 정보 인식 방법을 실행하고, 상기 주행 이미지의 지시 정보를 얻기 위한 이미지 처리 모듈(200)과,
상기 지시 정보를 사용하여 상기 스마트 운전 장치의 제어 명령을 생성하기 위한 제어 모듈(300)을 포함한다.
일부 실시예에서는 본 발명의 실시예에 따른 장치가 구비하는 기능 또는 모듈은 상술한 방법의 실시예에 설명되는 방법을 실행하기 위해 이용할 수 있고, 그 구체적인 실현에 대해서는 상술한 방법의 실시예의 설명을 참조하면 되고, 간소화를 위해 여기서 상세한 설명을 생략한다.
본 발명의 실시예에서는 컴퓨터 프로그램 명령이 기억되어 있는 컴퓨터 판독 가능 기억 매체로서, 상기 컴퓨터 프로그램 명령은 프로세서에 의해 실행되면, 상기 방법을 실현시키는 컴퓨터 판독 가능 기억 매체가 추가로 제공된다. 컴퓨터 판독 가능 기억 매체는 불휘발성 컴퓨터 판독 가능 기억 매체여도 되고, 또는 휘발성 컴퓨터 판독 가능 기억 매체여도 된다.
본 발명의 실시예에서는 프로세서와, 프로세서에 의해 실행 가능한 명령을 기억하는 메모리를 포함하고, 상기 프로세서는 상기 방법을 실행하도록 구성되는 전자 기기가 추가로 제공된다.
본 발명의 실시예는 컴퓨터 판독 가능 코드를 포함하는 컴퓨터 프로그램으로서, 상기 컴퓨터 판독 가능 코드가 전자 기기에서 작동하면, 상기 전자 기기의 프로세서에 상기 방법을 실현하기 위한 명령을 실행시키는 컴퓨터 프로그램이 추가로 제공된다.
전자 기기는 단말, 서버 또는 다른 형태의 장치로서 제공되어도 된다.
도 12는 본 발명의 실시예에 따른 전자 장치의 블록도를 나타낸다. 예를 들면, 장치(800)는 휴대 전화, 컴퓨터, 디지털 방송 단말, 메시지 송수신 기기, 게임 콘솔, 태블릿형 기기, 의료 기기, 피트니스 기기, 퍼스널 디지털 어시스턴트 등의 단말이어도 된다.
도 12를 참조하면, 전자 기기(800)는 처리 컴포넌트(802), 메모리(804), 전원 컴포넌트(806), 멀티미디어 컴포넌트(808), 오디오 컴포넌트(810), 입력/출력(I/O) 인터페이스(812), 센서 컴포넌트(814) 및 통신 컴포넌트(816) 중 하나 이상을 포함해도 된다.
처리 컴포넌트(802)는 통상 전자 기기(800)의 전체적인 동작, 예를 들면, 표시, 전화의 호출, 데이터 통신, 카메라 동작 및 기록 동작과 관련된 동작을 제어한다. 처리 컴포넌트(802)는 상기 방법의 전부 또는 일부 단계를 실행하기 위해, 명령을 실행하는 하나 이상의 프로세서(820)를 포함해도 된다. 또한, 처리 컴포넌트(802)는 다른 컴포넌트와의 상호 작용을 위한 하나 이상의 모듈을 포함해도 된다. 예를 들면, 처리 컴포넌트(802)는 멀티미디어 컴포넌트(808)와의 상호 작용을 위해 멀티미디어 모듈을 포함해도 된다.
메모리(804)는 전자 기기(800)에서의 동작을 서포트하기 위한 다양한 타입의 데이터를 기억하도록 구성된다. 이들 데이터는 예로서, 전자 기기(800)에서 조작하는 모든 어플리케이션 프로그램 또는 방법의 명령, 연락처 데이터, 전화번호부 데이터, 메시지, 사진, 비디오 등을 포함한다. 메모리(804)는 예를 들면, 정적 랜덤 액세스 메모리(SRAM), 전기적 소거 가능 프로그래머블 판독 전용 메모리(EEPROM), 소거 가능한 프로그래머블 판독 전용 메모리(EPROM), 프로그래머블 판독 전용 메모리(PROM), 판독 전용 메모리(ROM), 자기 메모리, 플래시 메모리, 자기 디스크 또는 광디스크 등의 다양한 타입의 휘발성 또는 불휘발성 기억 기기나 이들의 조합에 의해 실현할 수 있다.
전원 컴포넌트(806)는 전자 기기(800)의 각 컴포넌트에 전력을 공급한다. 전원 컴포넌트(806)는 전원 관리 시스템, 하나 이상의 전원 및 전자 기기(800)를 위한 전력 생성, 관리 및 배분에 관련된 다른 컴포넌트를 포함해도 된다.
멀티미디어 컴포넌트(808)는 상기 전자 기기(800)와 사용자 사이에서 출력 인터페이스를 제공하는 스크린을 포함한다. 일부 실시예에서는 스크린은 액정 디스플레이(LCD) 및 터치 패널(TP)을 포함해도 된다. 스크린이 터치 패널을 포함하는 경우, 사용자로부터의 입력 신호를 수신하는 터치 스크린으로서 실현해도 된다. 터치 패널은 터치, 슬라이드 및 터치 패널에서의 제스처를 검출하기 위해 하나 이상의 터치 센서를 포함한다. 상기 터치 센서는 터치 또는 슬라이드 동작의 경계를 검출할 뿐만 아니라, 상기 터치 또는 슬라이드 조작에 관련되는 지속 시간 및 압력을 검출하도록 해도 된다. 일부 실시예에서는 멀티미디어 컴포넌트(808)는 전면 카메라 및/또는 배면 카메라를 포함한다. 전자 기기(800)가 동작 모드, 예를 들면, 촬영 모드 또는 촬상 모드가 되는 경우, 전면 카메라 및/또는 배면 카메라는 외부의 멀티미디어 데이터를 수신하도록 해도 된다. 각 전면 카메라 및 배면 카메라는 고정된 광학 렌즈계 또는 초점 거리 및 광학 줌 능력을 갖는 것이어도 된다.
오디오 컴포넌트(810)는 오디오 신호를 출력 및/또는 입력하도록 구성된다. 예를 들면, 오디오 컴포넌트(810)는 하나의 마이크(MIC)를 포함하고, 마이크(MIC)는 전자 기기(800)가 동작 모드, 예를 들면, 호출 모드, 기록 모드 및 음성 인식 모드가 되는 경우, 외부의 오디오 신호를 수신하도록 구성된다. 수신된 오디오 신호는 추가로 메모리(804)에 기억되거나 또는 통신 컴포넌트(816)에 의해 송신되어도 된다. 일부 실시예에서는 오디오 컴포넌트(810)는 추가로 오디오 신호를 출력하기 위한 스피커를 포함한다.
I/O 인터페이스(812)는 처리 컴포넌트(802)와 주변 인터페이스 모듈 사이에서 인터페이스를 제공하고, 상기 주변 인터페이스 모듈은 키보드, 클릭 휠, 버튼 등이어도 된다. 이들 버튼은 홈 버튼, 음량 버튼, 시작 버튼 및 잠금 버튼을 포함해도 되지만, 이들에 한정되지 않는다.
센서 컴포넌트(814)는 전자 기기(800)의 각 측면의 상태 평가를 위한 하나 이상의 센서를 포함한다. 예를 들면, 센서 컴포넌트(814)는 전자 기기(800)의 온/오프 상태, 예를 들면, 전자 기기(800)의 표시 장치 및 키패드와 같은 컴포넌트의 상대적 위치 결정을 검출할 수 있고, 센서 컴포넌트(814)는 추가로 전자 기기(800) 또는 전자 기기(800)가 있는 컴포넌트의 위치 변화, 사용자와 전자 기기(800)의 접촉 유무, 전자 기기(800)의 방위 또는 가감속 및 전자 기기(800)의 온도 변화를 검출할 수 있다. 센서 컴포넌트(814)는 어떠한 물리적 접촉도 없는 경우에 근방의 물체의 존재를 검출하도록 구성되는 근접 센서를 포함해도 된다. 센서 컴포넌트(814)는 추가로 CMOS 또는 CCD 이미지 센서와 같은 이미징 어플리케이션에서 사용하기 위한 광센서를 포함해도 된다. 일부 실시예에서는 상기 센서 컴포넌트(814)는 추가로 가속도 센서, 자이로스코프 센서, 자기 센서, 압력 센서 또는 온도 센서를 포함해도 된다.
통신 컴포넌트(816)는 전자 기기(800)와 다른 기기의 유선 또는 무선 통신을 실현하도록 구성된다. 전자 기기(800)는 통신 규격에 기초하는 무선 네트워크, 예를 들면, WiFi, 2G 또는 3G, 또는 이들 조합에 액세스할 수 있다. 일 예시적 실시예에서는 통신 컴포넌트(816)는 방송 채널을 통해 외부 방송 관리 시스템으로부터의 방송 신호 또는 방송 관련 정보를 수신한다. 일 예시적 실시예에서는 상기 통신 컴포넌트(816)는 추가로 근거리 통신을 촉진시키기 위해 근거리 무선 통신(NFC) 모듈을 포함한다. 예를 들면, NFC 모듈은 무선 주파수 식별(RFID) 기술, 적외선 데이터 협회(IrDA) 기술, 초광대역(UWB) 기술, 블루투스(BT) 기술 및 다른 기술에 의해 실현할 수 있다.
예시적인 실시예에서는 전자 기기(800)는 하나 이상의 특정 용도용 집적 회로(ASIC), 디지털 신호 프로세서(DSP), 디지털 신호 처리 디바이스(DSPD), 프로그래머블 로직 디바이스(PLD), 필드 프로그래머블 게이트 어레이(FPGA), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 또는 다른 전자 요소에 의해 실현되고, 상기 방법을 실행하기 위해 사용할 수 있다.
예시적인 실시예에서는 추가로, 불휘발성 컴퓨터 판독 가능 기억 매체, 예를 들면, 컴퓨터 프로그램 명령을 포함하는 메모리(804)가 제공되고, 상기 컴퓨터 프로그램 명령은 전자 기기(800)의 프로세서(820)에 의해 실행되면 상기 방법을 실행할 수 있다.
도 13은 본 발명의 실시예에 따른 전자 기기의 다른 블록도이다. 예를 들면, 전자 기기(1900)는 서버로서 제공되어도 된다. 도 13을 참조하면, 전자 기기(1900)는 하나 이상의 프로세서를 포함하는 처리 컴포넌트(1922) 및 처리 컴포넌트(1922)에 의해 실행 가능한 명령, 예를 들면, 어플리케이션 프로그램을 기억하기 위한, 메모리(1932)를 대표로 하는 메모리 자원을 추가로 포함한다. 메모리(1932)에 기억되어 있는 어플리케이션 프로그램은 각각이 하나의 명령군에 대응하는 하나 이상의 모듈을 포함해도 된다. 또한, 처리 컴포넌트(1922)는 명령을 실행함으로써 상기 방법을 실행하도록 구성된다.
전자 기기(1900)는 추가로, 전자 기기(1900)의 전원 관리를 실행하도록 구성되는 전원 컴포넌트(1926)와, 전자 기기(1900)를 네트워크에 접속하도록 구성되는 유선 또는 무선 네트워크 인터페이스(1950) 및 입출력(I/O) 인터페이스(1958)를 포함해도 된다. 전자 기기(1900)는 메모리(1932)에 기억되어 있는 오퍼레이팅 시스템, 예를 들면, Windows ServerTM, Mac OS XTM, UnixTM, LinuxTM, FreeBSDTM 또는 유사한 것에 기초하여 동작할 수 있다.
예시적인 실시예에서는 추가로, 불휘발성 컴퓨터 판독 가능 기억 매체 또는 휘발성 컴퓨터 판독 가능 기억 매체, 예를 들면, 컴퓨터 프로그램 명령을 포함하는 메모리(1932)가 제공되고, 상기 컴퓨터 프로그램 명령은 전자 기기(1900)의 처리 컴포넌트(1922)에 의해 실행되면, 상기 방법을 실행시킬 수 있다.
본 발명은 시스템, 방법 및/또는 컴퓨터 프로그램 제품이어도 된다. 컴퓨터 프로그램 제품은 프로세서에 본 발명의 각 측면을 실현시키기 위한 컴퓨터 판독 가능 프로그램 명령이 갖고 있는 컴퓨터 판독 가능 기억 매체를 포함해도 된다.
컴퓨터 판독 가능 기억 매체는 명령 실행 장치에 사용되는 명령을 저장 및 기억 가능한 실체가 있는 장치여도 된다. 컴퓨터 판독 가능 기억 매체는 예를 들면, 전기 기억 장치, 자기 기억 장치, 광 기억 장치, 전자 기억 장치, 반도체 기억 장치, 또는 상기의 임의의 적당한 조합이어도 되지만, 이들에 한정되지 않는다. 컴퓨터 판독 가능 기억 매체의 보다 구체적인 예(비망라적 리스트)로는 휴대형 컴퓨터 디스크, 하드 디스크, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 소거·프로그래머블 가능한 판독 전용 메모리(EPROM 또는 플래시 메모리), 정적 랜덤 액세스 메모리(SRAM), 휴대형 콤팩트 디스크 판독 전용 메모리(CD-ROM), 디지털 다용도 디스크(DVD), 메모리 스틱, 플로피 디스크, 예를 들면, 명령이 기억되어 있는 천공 카드 또는 슬롯 내 돌기 구조와 같은 기계적 부호화 장치, 및 상기의 임의의 적당한 조합을 포함한다. 여기에서 사용되는 컴퓨터 판독 가능 기억 매체는 일시적인 신호 자체, 예를 들면, 무선 전파 또는 기타 자유롭게 전파되는 전자파, 도파로 또는 다른 전송 매체를 경유하여 전파되는 전자파(예를 들면, 광파이버 케이블을 통과하는 광펄스), 또는 전선을 경유하여 전송되는 전기 신호로 해석되는 것은 아니다.
여기에서 기술한 컴퓨터 판독 가능 프로그램 명령은 컴퓨터 판독 가능 기억 매체에서 각 계산/처리 기기에 다운로드되어도 되고, 또는 네트워크, 예를 들면, 인터넷, 로컬 에어리어 네트워크, 광역 네트워크 및/또는 무선 네트워크를 경유하여 외부의 컴퓨터 또는 외부 기억 장치에 다운로드되어도 된다. 네트워크는 구리 전송 케이블, 광파이버 전송, 무선 전송, 라우터, 방화벽, 교환기, 게이트웨이 컴퓨터 및/또는 에지 서버를 포함해도 된다. 각 계산/처리 기기 내의 네트워크 어댑터 카드 또는 네트워크 인터페이스는 네트워크에서 컴퓨터 판독 가능 프로그램 명령을 수신하고, 상기 컴퓨터 판독 가능 프로그램 명령을 전송하고, 각 계산/처리 기기 내의 컴퓨터 판독 가능 기억 매체에 기억시킨다.
본 발명의 동작을 실행하기 위한 컴퓨터 프로그램 명령은 어셈블리 명령, 명령 세트 아키텍처(ISA) 명령, 기계어 명령, 기계 의존 명령, 마이크로 코드, 펌웨어 명령, 상태 설정 데이터 또는 Smalltalk, C＋＋ 등의 오브젝트 지향 프로그래밍 언어, 및 「C」언어 또는 유사한 프로그래밍 언어 등의 일반적인 절차형 프로그래밍 언어를 포함하는 하나 이상의 프로그래밍 언어의 임의의 조합으로 작성된 소스 코드 또는 목표 코드여도 된다. 컴퓨터 판독 가능 프로그램 명령은 완전히 사용자의 컴퓨터에서 실행되어도 되고, 부분적으로 사용자의 컴퓨터에서 실행되어도 되고, 독립형 소프트웨어 패키지로서 실행되어도 되고, 부분적으로 사용자의 컴퓨터에서 또한 부분적으로 리모트 컴퓨터에서 실행되어도 되고, 또한 완전히 리모트 컴퓨터 혹은 서버에서 실행되어도 된다. 리모트 컴퓨터의 경우, 리모트 컴퓨터는 로컬 에어리어 네트워크(LAN) 또는 광역 네트워크(WAN)를 포함하는 임의의 종류의 네트워크를 경유하여 사용자의 컴퓨터에 접속되어도 되고, 또는 (예를 들면, 인터넷 서비스 프로바이더를 이용해 인터넷을 경유하여) 외부 컴퓨터에 접속되어도 된다. 일부 실시예에서는 컴퓨터 판독 가능 프로그램 명령의 상태 정보를 이용하여, 예를 들면, 프로그래머블 논리 회로, 필드 프로그래머블 게이트 어레이(FPGA) 또는 프로그래머블 논리 어레이(PLA) 등의 전자 회로를 맞춤 제조하고, 상기 전자 회로에 의해 컴퓨터 판독 가능 프로그램 명령을 실행함으로써 본 발명의 각 측면을 실현하도록 해도 된다.
여기서 본 발명의 실시예에 따른 방법, 장치(시스템) 및 컴퓨터 프로그램 제품의 흐름도 및/또는 블록도를 참조하면서 본 발명의 각 양태를 설명했지만, 흐름도 및/또는 블록도의 각 블록, 및 흐름도 및/또는 블록도의 각 블록의 조합은 전부 컴퓨터 판독 가능한 프로그램 명령에 의해 실현할 수 있음을 이해해야 한다.
이들 컴퓨터 판독 가능 프로그램 명령은 범용 컴퓨터, 전용 컴퓨터 또는 기타 프로그래머블 데이터 처리 장치의 프로세서에 제공되고, 이들 명령이 컴퓨터 또는 기타 프로그래머블 데이터 처리 장치의 프로세서에 의해 실행되면, 흐름도 및/또는 블록도의 하나 이상의 블록에서 지정된 기능/동작을 실현시키도록 장치를 제조해도 된다. 이들 컴퓨터 판독 가능 프로그램 명령은 컴퓨터 판독 가능 기억 매체에 기억되고, 컴퓨터, 프로그래머블 데이터 처리 장치 및/또는 다른 기기를 결정된 방식으로 동작시키도록 해도 된다. 이에 의해, 명령이 기억되어 있는 컴퓨터 판독 가능 기억 매체는 흐름도 및/또는 블록도 중 하나 이상의 블록에서 지정된 기능/동작의 각 측면을 실현하는 명령을 갖는 제품을 포함한다.
컴퓨터 판독 가능 프로그램 명령은 컴퓨터, 기타 프로그래머블 데이터 처리 장치 또는 기타 기기에 로드되고, 컴퓨터, 기타 프로그래머블 데이터 처리 장치 또는 다른 기기에 일련의 동작 단계를 실행시킴으로써, 컴퓨터에 의해 실시 가능한 프로세스를 생성하도록 해도 된다. 이렇게 하여, 컴퓨터, 기타 프로그래머블 데이터 처리 장치 또는 기타 기기에서 실행되는 명령에 의해 흐름도 및/또는 블록도 중 하나 이상의 블록에서 지정된 기능/동작을 실현한다.
도면 중 흐름도 및 블록도는 본 발명의 복수의 실시예에 따른 시스템, 방법 및 컴퓨터 프로그램 제품의 실현 가능한 시스템 아키텍처, 기능 및 동작을 나타낸다. 이 점에서는 흐름도 또는 블록도에서의 각 블록은 하나의 모듈, 프로그램 세그먼트 또는 명령의 일부분을 대표할 수 있고, 상기 모듈, 프로그램 세그먼트 또는 명령의 일부분은 지정된 논리 기능을 실현하기 위한 하나 이상의 실행 가능한 명령을 포함한다. 일부 대체로서의 실현형태에서는 블록에 표기되는 기능은 도면에 붙인 순서와 상이한 순서로 실현해도 된다. 예를 들면, 연속적인 2개의 블록은 실질적으로 병행으로 실행해도 되고, 또한 관련된 기능에 따라 반대 순서로 실행해도 되는 경우가 있다. 또한, 블록도 및/또는 흐름도에서의 각 블록 및 블록도 및/또는 흐름도에서의 블록의 조합은 지정되는 기능 또는 동작을 실행하는 하드웨어에 기초하는 전용 시스템에 의해 실현해도 되며, 또는 전용 하드웨어와 컴퓨터 명령의 조합에 의해 실현해도 된다는 점에도 주의해야 한다.
이상, 본 발명의 각 실시예를 설명했지만, 상기 설명은 예시적인 것에 불과하고, 망라적인 것이 아니며, 또한 개시된 각 실시예에 한정되는 것도 아니다. 당업자에게 있어서, 설명된 각 실시예의 범위 및 정신에서 벗어나지 않고, 다양한 수정 및 변경이 자명하다. 본 명세서에 선택된 용어는 각 실시예의 원리, 실제 적용 또는 종래 기술에 대한 기술적 개선을 바람직하게 해석하거나, 또는 다른 당업자에게 본 명세서에 개시된 각 실시예를 이해시키기 위한 것이다.

Claims (31)

  1. 입력 이미지를 취득하는 것과,
    상기 입력 이미지에 기초하여 목표 대상물의 검출 결과를 결정하는 것과,
    상기 목표 대상물의 검출 결과에 기초하여 상기 입력 이미지에서 상기 목표 대상물이 존재하는 목표 영역을 인식하고, 상기 목표 대상물의 지시 정보를 얻는 것을 포함하고,
    상기 목표 대상물에 표시등 받침대, 점등 상태의 표시등 중 하나 이상이 포함되고, 상기 검출 결과에 상기 목표 대상물의 타입, 상기 입력 이미지에서 상기 목표 대상물이 존재하는 목표 영역의 위치가 포함되는, 표시등의 지시 정보 인식 방법.
  2. 제 1 항에 있어서,
    상기 입력 이미지에 기초하여 목표 대상물의 검출 결과를 결정하는 것은,
    상기 입력 이미지의 이미지 특징을 추출하는 것과,
    상기 입력 이미지의 이미지 특징에 기초하여 상기 목표 대상물의 하나 이상의 후보 영역의 각각의 제1 위치를 결정하는 것과,
    상기 입력 이미지에서의 각 후보 영역에 대응하는 제1 위치의 이미지 특징에 기초하여 각 후보 영역의 중간 검출 결과를 결정하는 것과,
    하나 이상의 후보 영역의 각각의 중간 검출 결과 및 각 후보 영역의 제1 위치에 기초하여, 상기 목표 대상물의 검출 결과를 결정하는 것을 포함하고,
    상기 중간 검출 결과에 상기 목표 대상물의 예측 타입과, 상기 목표 대상물이 상기 예측 타입인 예측 확률이 포함되고, 상기 예측 타입이 표시등 받침대, N종류의 점등 상태의 표시등 중 어느 것이고, N이 양의 정수인, 표시등의 지시 정보 인식 방법.
  3. 제 2 항에 있어서,
    상기 입력 이미지에서의 각 후보 영역에 대응하는 제1 위치의 이미지 특징에 기초하여 각 후보 영역의 중간 검출 결과를 결정하는 것은,
    후보 영역마다, 상기 후보 영역에 대응하는 제1 위치의 이미지 특징에 기초하여 상기 후보 영역 내의 상기 목표 대상물을 분류하고, 상기 목표 대상물이 상기 하나 이상의 프리셋 타입의 각각인 예측 확률을 얻는 것과,
    상기 하나 이상의 프리셋 타입 중 예측 확률이 가장 높은 프리셋 타입을 상기 후보 영역 내에서의 상기 목표 대상물의 예측 타입으로 하고, 상기 예측 타입의 예측 확률을 얻는 것을 포함하고,
    상기 프리셋 타입에 표시등 받침대, N종류의 점등 상태의 표시등 중 하나 이상이 포함되고, N이 양의 정수인, 표시등의 지시 정보 인식 방법.
  4. 제 2 항 또는 제 3 항에 있어서,
    하나 이상의 후보 영역의 각각의 중간 검출 결과 및 각 후보 영역의 제1 위치에 기초하여, 상기 목표 대상물의 검출 결과를 결정하기 전에
    상기 입력 이미지의 이미지 특징에 기초하여 각 후보 영역의 제1 위치의 위치 편차를 결정하는 것과,
    각 후보 영역에 대응하는 위치 편차를 사용하여 각 후보 영역의 제1 위치를 조정하는 것을 추가로 포함하는, 표시등의 지시 정보 인식 방법.
  5. 제 2 항 내지 제 4 항 중 어느 한 항에 있어서,
    하나 이상의 후보 영역의 각각의 중간 검출 결과 및 각 후보 영역의 제1 위치에 기초하여, 상기 목표 대상물의 검출 결과를 결정하는 것은,
    상기 목표 대상물의 후보 영역이 적어도 2개인 것에 따라 적어도 2개의 후보 영역의 각각의 중간 검출 결과에 기초하거나, 혹은 각 후보 영역의 중간 검출 결과 및 각 후보 영역의 제1 위치에 기초하여 상기 적어도 2개의 후보 영역에서 목표 영역을 선별하는 것과,
    상기 목표 영역 내의 상기 목표 대상물의 예측 타입을 상기 목표 대상물의 타입으로 하고, 상기 목표 영역의 제1 위치를 상기 목표 대상물이 존재하는 목표 영역의 위치로 하고, 상기 목표 대상물의 검출 결과를 얻는 것을 포함하는, 표시등의 지시 정보 인식 방법.
  6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
    상기 입력 이미지에 기초하여 목표 대상물의 검출 결과를 결정한 후,
    상기 목표 대상물의 검출 결과에 표시등 받침대에 대응하는 검출 결과만이 포함됨에 따라 상기 표시등이 고장 상태인 것으로 결정하는 것과,
    상기 목표 대상물의 검출 결과에 점등 상태의 표시등에 대응하는 검출 결과만이 포함됨에 따라 상기 입력 이미지를 수집하는 장면의 상태가 어두운 상태인 것으로 결정하는 것 중 하나 이상을 추가로 포함하는, 표시등의 지시 정보 인식 방법.
  7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
    상기 목표 대상물의 검출 결과에 기초하여 상기 입력 이미지에서 상기 목표 대상물이 존재하는 목표 영역을 인식하고, 상기 목표 대상물의 지시 정보를 얻는 것은,
    상기 목표 대상물의 검출 결과에서의 상기 목표 대상물의 타입에 기초하여, 상기 목표 대상물에 매칭되는 분류기를 결정하는 것과,
    매칭되는 분류기를 사용하여 상기 입력 이미지에서의 상기 목표 영역의 이미지 특징을 인식하고, 상기 목표 대상물의 지시 정보를 얻는 것을 포함하는, 표시등의 지시 정보 인식 방법.
  8. 제 7 항에 있어서,
    상기 목표 대상물의 검출 결과에 기초하여 상기 입력 이미지에서 상기 목표 대상물이 존재하는 목표 영역을 인식하고, 상기 목표 대상물의 지시 정보를 얻는 것은,
    상기 목표 대상물의 타입이 표시등 받침대인 것에 따라 매칭되는 분류기에 상기 표시등 받침대에서의 표시등의 배열 방식을 인식하기 위한 제1 분류기가 포함되는 것으로 결정하고, 상기 제1 분류기를 사용하여 상기 목표 대상물이 존재하는 목표 영역의 이미지 특징을 인식하고, 상기 표시등 받침대에서의 표시등의 배열 방식을 결정하는 것, 및/또는
    매칭되는 분류기에 상기 표시등이 존재하는 장면을 인식하기 위한 제2 분류기가 포함되는 것으로 결정하고, 상기 제2 분류기를 사용하여 상기 목표 대상물이 존재하는 목표 영역의 이미지 특징을 인식하고, 상기 표시등이 존재하는 장면의 정보를 결정하는 것을 포함하는, 표시등의 지시 정보 인식 방법.
  9. 제 7 항 또는 제 8 항에 있어서,
    상기 목표 대상물의 검출 결과에 기초하여 상기 입력 이미지에서 상기 목표 대상물이 존재하는 목표 영역을 인식하고, 상기 목표 대상물의 지시 정보를 얻는 것은,
    상기 목표 대상물의 타입이 라운드 스팟 램프 또는 보행자용 램프인 것에 따라 매칭되는 분류기에 라운드 스팟 램프 또는 보행자용 램프의 색 속성을 인식하기 위한 제3 분류기가 포함되는 것으로 결정하는 것과,
    상기 제3 분류기를 사용하여 상기 목표 대상물이 존재하는 목표 영역의 이미지 특징을 인식하고, 상기 라운드 스팟 램프 또는 보행자용 램프의 색 속성을 결정하는 것을 포함하는, 표시등의 지시 정보 인식 방법.
  10. 제 7 항 내지 제 9 항 중 어느 한 항에 있어서,
    상기 목표 대상물의 검출 결과에 기초하여 상기 입력 이미지에서 상기 목표 대상물이 존재하는 목표 영역을 인식하고, 상기 목표 대상물의 지시 정보를 얻는 것은,
    상기 목표 대상물의 타입이 화살표 램프인 것에 따라 매칭되는 분류기에 화살표 램프의 색 속성을 인식하기 위한 제4 분류기 및 방향 속성을 인식하기 위한 제5 분류기가 포함되는 것으로 결정하는 것과,
    상기 제4 분류기 및 상기 제5 분류기를 사용하여 상기 목표 대상물이 존재하는 목표 영역의 이미지 특징을 인식하고, 상기 화살표 램프의 색 속성 및 방향 속성을 각각 결정하는 것을 포함하는, 표시등의 지시 정보 인식 방법.
  11. 제 7 항 내지 제 10 항 중 어느 한 항에 있어서,
    상기 목표 대상물의 검출 결과에 기초하여 상기 입력 이미지에서 상기 목표 대상물이 존재하는 목표 영역을 인식하고, 상기 목표 대상물의 지시 정보를 얻는 것은,
    상기 목표 대상물의 타입이 디지털 램프인 것에 따라 매칭되는 분류기에 디지털 램프의 색 속성을 인식하기 위한 제6 분류기 및 수치 속성을 인식하기 위한 제7 분류기가 포함되는 것으로 결정하는 것과,
    상기 제6 분류기 및 상기 제7 분류기에 기초하여, 상기 목표 대상물이 존재하는 목표 영역의 이미지 특징을 인식하고, 상기 디지털 램프의 색 속성 및 수치 속성을 각각 결정하는 것을 포함하는, 표시등의 지시 정보 인식 방법.
  12. 제 1 항 내지 제 11 항 중 어느 한 항에 있어서,
    상기 입력 이미지에 적어도 2개의 표시등 받침대가 포함됨에 따라,
    상기 적어도 2개의 표시등 받침대 중 하나인 제1 표시등 받침대에 대해, 상기 제1 표시등 받침대에 매칭되는 점등 상태의 표시등을 결정하는 것과,
    상기 제1 표시등 받침대의 지시 정보와, 상기 제1 표시등 받침대에 매칭되는 점등 상태의 표시등의 지시 정보를 조합하여 조합 후의 지시 정보를 얻는 것을 추가로 포함하는, 표시등의 지시 정보 인식 방법.
  13. 제 12 항에 있어서,
    상기 제1 표시등 받침대에 매칭되는 점등 상태의 표시등을 결정하는 것은,
    상기 목표 대상물의 검출 결과에서의 목표 대상물이 존재하는 목표 영역의 위치에 기초하여, 상기 하나 이상의 점등 상태의 표시등이 존재하는 목표 영역과 상기 제1 표시등 받침대가 존재하는 목표 영역이 교차하는 제1 면적 및 상기 하나 이상의 점등 상태의 표시등이 존재하는 목표 영역의 제2 면적을 결정하는 것과,
    점등 상태의 제1 표시등과 상기 제1 표시등 받침대 사이의 상기 제1 면적과, 상기 점등 상태의 제1 표시등의 제2 면적의 비가 설정된 면적 임계치보다 큰 것에 따라, 상기 점등 상태의 제1 표시등이 상기 제1 표시등 받침대에 매칭되는 것으로 결정하는 것을 포함하고,
    상기 점등 상태의 제1 표시등은 상기 하나 이상의 점등 상태의 표시등 중 하나인, 표시등의 지시 정보 인식 방법.
  14. 스마트 운전 장치의 이미지 수집 장치를 사용하여 주행 이미지를 수집하는 것과,
    상기 주행 이미지에 대해 제 1 항 내지 제 13 항 중 어느 한 항의 표시등의 지시 정보 인식 방법을 실행하고, 상기 주행 이미지의 지시 정보를 얻는 것과,
    상기 지시 정보를 사용하여 상기 스마트 운전 장치의 제어 명령을 생성하는 것을 포함하는, 운전 제어 방법.
  15. 입력 이미지를 취득하기 위한 취득 모듈과,
    상기 입력 이미지에 기초하여 목표 대상물의 검출 결과를 결정하기 위한 결정 모듈과,
    상기 목표 대상물의 검출 결과에 기초하여 상기 입력 이미지에서 상기 목표 대상물이 존재하는 목표 영역을 인식하고, 상기 목표 대상물의 지시 정보를 얻기 위한 인식 모듈을 포함하고,
    상기 목표 대상물에 표시등 받침대, 점등 상태의 표시등 중 하나 이상이 포함되고, 상기 검출 결과에 상기 목표 대상물의 타입, 상기 입력 이미지에서 상기 목표 대상물이 존재하는 목표 영역의 위치가 포함되는, 표시등의 지시 정보 인식 장치.
  16. 제 15 항에 있어서,
    상기 결정 모듈은 추가로,
    상기 입력 이미지의 이미지 특징을 추출하는 것과,
    상기 입력 이미지의 이미지 특징에 기초하여 상기 목표 대상물의 하나 이상의 후보 영역의 각각의 제1 위치를 결정하는 것과,
    상기 입력 이미지에서의 각 후보 영역에 대응하는 제1 위치의 이미지 특징에 기초하여 각 후보 영역의 중간 검출 결과를 결정하는 것과,
    하나 이상의 후보 영역의 각각의 중간 검출 결과 및 각 후보 영역의 제1 위치에 기초하여, 상기 목표 대상물의 검출 결과를 결정하는 것에 사용되고,
    상기 중간 검출 결과에 상기 목표 대상물의 예측 타입과, 상기 목표 대상물이 상기 예측 타입인 예측 확률이 포함되고, 상기 예측 타입이 표시등 받침대, N종류의 점등 상태의 표시등 중 어느 것이고, N이 양의 정수인, 표시등의 지시 정보 인식 장치.
  17. 제 16 항에 있어서,
    상기 결정 모듈은 추가로,
    후보 영역마다, 상기 후보 영역에 대응하는 제1 위치의 이미지 특징에 기초하여 상기 후보 영역 내의 상기 목표 대상물을 분류하고, 상기 목표 대상물이 상기 하나 이상의 프리셋 타입의 각각인 예측 확률을 얻는 것과,
    상기 하나 이상의 프리셋 타입 중 예측 확률이 가장 높은 프리셋 타입을 상기 후보 영역 내에서의 상기 목표 대상물의 예측 타입으로 하고, 상기 예측 타입의 예측 확률을 얻는 것에 사용되고,
    상기 프리셋 타입에 표시등 받침대, N종류의 점등 상태의 표시등 중 하나 이상이 포함되고, N이 양의 정수인, 표시등의 지시 정보 인식 장치.
  18. 제 16 항 또는 제 17 항에 있어서,
    상기 결정 모듈은 추가로,
    하나 이상의 후보 영역의 각각의 중간 검출 결과 및 각 후보 영역의 제1 위치에 기초하여, 상기 목표 대상물의 검출 결과를 결정하기 전에, 상기 입력 이미지의 이미지 특징에 기초하여 각 후보 영역의 제1 위치의 위치 편차를 결정하는 것과,
    각 후보 영역에 대응하는 위치 편차를 사용하여 각 후보 영역의 제1 위치를 조정하는 것에 사용되는, 표시등의 지시 정보 인식 장치.
  19. 제 16 항 내지 제 18 항 중 어느 한 항에 있어서,
    상기 결정 모듈은 추가로,
    상기 목표 대상물의 후보 영역이 적어도 2개인 경우, 적어도 2개의 후보 영역의 각각의 중간 검출 결과에 기초하거나, 혹은 각 후보 영역의 중간 검출 결과 및 각 후보 영역의 제1 위치에 기초하여, 상기 적어도 2개의 후보 영역에서 목표 영역을 선별하는 것과,
    상기 목표 영역 내의 상기 목표 대상물의 예측 타입을 상기 목표 대상물의 타입으로 하고, 상기 목표 영역의 제1 위치를 상기 목표 대상물이 존재하는 목표 영역의 위치로 하고, 상기 목표 대상물의 검출 결과를 얻는 것에 사용되는, 표시등의 지시 정보 인식 장치.
  20. 제 15 항 내지 제 19 항 중 어느 한 항에 있어서,
    상기 결정 모듈은 추가로,
    상기 목표 대상물의 검출 결과에 표시등 받침대에 대응하는 검출 결과만이 포함되는 경우, 상기 표시등이 고장 상태인 것으로 결정하는 것과,
    상기 목표 대상물의 검출 결과에 점등 상태의 표시등에 대응하는 검출 결과만이 포함되는 경우, 상기 입력 이미지를 수집하는 장면의 상태가 어두운 상태인 것으로 결정하는 것에 사용되는, 표시등의 지시 정보 인식 장치.
  21. 제 15 항 내지 제 20 항 중 어느 한 항에 있어서,
    상기 인식 모듈은 추가로,
    상기 목표 대상물의 검출 결과에서의 상기 목표 대상물의 타입에 기초하여, 상기 목표 대상물에 매칭되는 분류기를 결정하는 것과,
    매칭되는 분류기를 사용하여 상기 입력 이미지에서의 상기 목표 영역의 이미지 특징을 인식하고, 상기 목표 대상물의 지시 정보를 얻는 것에 사용되는, 표시등의 지시 정보 인식 장치.
  22. 제 21 항에 있어서,
    상기 인식 모듈은 추가로,
    상기 목표 대상물의 타입이 표시등 받침대인 경우, 매칭되는 분류기에 상기 표시등 받침대에서의 표시등의 배열 방식을 인식하기 위한 제1 분류기가 포함되는 것으로 결정하고, 상기 제1 분류기를 사용하여 상기 목표 대상물이 존재하는 목표 영역의 이미지 특징을 인식하고, 상기 표시등 받침대에서의 표시등의 배열 방식을 결정하는 것, 및/또는
    매칭되는 분류기에 상기 표시등이 존재하는 장면을 인식하기 위한 제2 분류기가 포함되는 것으로 결정하고, 상기 제2 분류기를 사용하여 상기 목표 대상물이 존재하는 목표 영역의 이미지 특징을 인식하고, 상기 표시등이 존재하는 장면의 정보를 결정하는 것에 사용되는, 표시등의 지시 정보 인식 장치.
  23. 제 21 항 또는 제 22 항에 있어서,
    상기 인식 모듈은 추가로,
    상기 목표 대상물의 타입이 라운드 스팟 램프 또는 보행자용 램프인 경우, 매칭되는 분류기에 라운드 스팟 램프 또는 보행자용 램프의 색 속성을 인식하기 위한 제3 분류기가 포함되는 것으로 결정하는 것과,
    상기 제3 분류기를 사용하여 상기 목표 대상물이 존재하는 목표 영역의 이미지 특징을 인식하고, 상기 라운드 스팟 램프 또는 보행자용 램프의 색 속성을 결정하는 것에 사용되는, 표시등의 지시 정보 인식 장치.
  24. 제 21 항 내지 제 23 항 중 어느 한 항에 있어서,
    상기 인식 모듈은 추가로,
    상기 목표 대상물의 타입이 화살표 램프인 경우, 매칭되는 분류기에 화살표 램프의 색 속성을 인식하기 위한 제4 분류기 및 방향 속성을 인식하기 위한 제5 분류기가 포함되는 것으로 결정하는 것과,
    상기 제4 분류기 및 상기 제5 분류기를 사용하여 상기 목표 대상물이 존재하는 목표 영역의 이미지 특징을 인식하고, 상기 화살표 램프의 색 속성 및 방향 속성을 각각 결정하는 것에 사용되는, 표시등의 지시 정보 인식 장치.
  25. 제 21 항 내지 제 24 항 중 어느 한 항에 있어서,
    상기 인식 모듈은 추가로,
    상기 목표 대상물의 타입이 디지털 램프인 경우, 매칭되는 분류기에 디지털 램프의 색 속성을 인식하기 위한 제6 분류기 및 수치 속성을 인식하기 위한 제7 분류기가 포함되는 것으로 결정하는 것과,
    상기 제6 분류기 및 상기 제7 분류기에 기초하여, 상기 목표 대상물이 존재하는 목표 영역의 이미지 특징을 인식하고, 상기 디지털 램프의 색 속성 및 수치 속성을 각각 결정하는 것에 사용되는, 표시등의 지시 정보 인식 장치.
  26. 제 15 항 내지 제 25 항 중 어느 한 항에 있어서,
    상기 장치는
    상기 입력 이미지에 적어도 2개의 표시등 받침대가 포함되는 경우, 상기 적어도 2개의 표시등 받침대 중 하나인 제1 표시등 받침대에 대해, 상기 제1 표시등 받침대에 매칭되는 점등 상태의 표시등을 결정하는 것과,
    상기 제1 표시등 받침대의 지시 정보와, 상기 제1 표시등 받침대에 매칭되는 점등 상태의 표시등의 지시 정보를 조합하여 조합 후의 지시 정보를 얻는 것에 사용되는 매핑 모듈을 추가로 포함하는, 표시등의 지시 정보 인식 장치.
  27. 제 26 항에 있어서,
    상기 매핑 모듈은 추가로,
    상기 목표 대상물의 검출 결과에서의 목표 대상물이 존재하는 목표 영역의 위치에 기초하여, 상기 하나 이상의 점등 상태의 표시등이 존재하는 목표 영역과 상기 제1 표시등 받침대가 존재하는 목표 영역이 교차하는 제1 면적 및 상기 하나 이상의 점등 상태의 표시등이 존재하는 목표 영역의 제2 면적을 결정하는 것과,
    점등 상태의 제1 표시등과 상기 제1 표시등 받침대 사이의 상기 제1 면적과, 상기 점등 상태의 제1 표시등의 제2 면적의 비가 설정된 면적 임계치보다 큰 경우, 상기 점등 상태의 제1 표시등이 상기 제1 표시등 받침대에 매칭되는 것으로 결정하는 것에 사용되고,
    상기 점등 상태의 제1 표시등은 상기 하나 이상의 점등 상태의 표시등 중 하나인, 표시등의 지시 정보 인식 장치.
  28. 스마트 운전 장치에 설치되고, 상기 스마트 운전 장치의 주행 이미지를 수집하기 위한 이미지 수집 모듈과,
    상기 주행 이미지에 대해 제 1 항 내지 제 13 항 중 어느 한 항의 표시등의 지시 정보 인식 방법을 실행하고, 상기 주행 이미지의 지시 정보를 얻기 위한 이미지 처리 모듈과,
    상기 지시 정보를 사용하여 상기 스마트 운전 장치의 제어 명령을 생성하기 위한 제어 모듈을 포함하는, 운전 제어 장치.
  29. 프로세서와,
    프로세서에 의해 실행 가능한 명령을 기억하기 위한 메모리를 포함하고,
    상기 프로세서는 상기 메모리에 기억되어 있는 명령을 불러내어 제 1 항 내지 제 13 항 중 어느 한 항의 방법을 실행시키거나, 또는 제 14 항의 방법을 실행시키도록 배치되는, 전자 기기.
  30. 컴퓨터 프로그램 명령이 기억되어 있는 컴퓨터 판독 가능 기억 매체로서, 상기 컴퓨터 프로그램 명령이 프로세서에 의해 실행되면, 제 1 항 내지 제 13 항 중 어느 한 항의 방법을 실현시키거나 또는 제 14 항의 방법을 실현시키는, 컴퓨터 판독 가능 기억 매체.
  31. 컴퓨터 판독 가능 코드를 포함하는 컴퓨터 프로그램으로서, 상기 컴퓨터 판독 가능 코드가 전자 기기에서 작동하면, 상기 전자 기기의 프로세서에 제 1 항 내지 제 13 항 중 어느 한 항의 방법을 실현하거나, 또는 제 14 항의 방법을 실현하기 위한 명령을 실행시키는, 컴퓨터 프로그램.
KR1020217009669A 2019-06-27 2020-06-10 표시등의 지시 정보 인식 방법 및 장치, 전자 기기 및 기억 매체 KR20210052525A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201910569896.8 2019-06-27
CN201910569896.8A CN112149697A (zh) 2019-06-27 2019-06-27 指示灯的指示信息识别方法及装置、电子设备和存储介质
PCT/CN2020/095437 WO2020259291A1 (zh) 2019-06-27 2020-06-10 指示灯的指示信息识别方法及装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
KR20210052525A true KR20210052525A (ko) 2021-05-10

Family

ID=73868880

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217009669A KR20210052525A (ko) 2019-06-27 2020-06-10 표시등의 지시 정보 인식 방법 및 장치, 전자 기기 및 기억 매체

Country Status (6)

Country Link
US (1) US20210192239A1 (ko)
JP (1) JP2022500739A (ko)
KR (1) KR20210052525A (ko)
CN (1) CN112149697A (ko)
SG (1) SG11202102205TA (ko)
WO (1) WO2020259291A1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7172441B2 (ja) * 2018-10-25 2022-11-16 トヨタ自動車株式会社 進行可能方向検出装置及び進行可能方向検出方法
CN112712057B (zh) * 2021-01-13 2021-12-07 腾讯科技（深圳）有限公司 交通信号识别方法、装置、电子设备及存储介质
CN113138887A (zh) * 2021-04-25 2021-07-20 浪潮商用机器有限公司 一种服务器故障灯检测方法、装置及系统
CN113408409A (zh) * 2021-06-17 2021-09-17 阿波罗智联(北京)科技有限公司 交通信号灯识别方法、设备、云控平台和车路协同系统
CN113269190B (zh) * 2021-07-21 2021-10-12 中国平安人寿保险股份有限公司 基于人工智能的数据分类方法、装置、计算机设备及介质
CN113808117B (zh) * 2021-09-24 2024-05-21 北京市商汤科技开发有限公司 灯具检测方法、装置、设备及存储介质
CN115214430B (zh) * 2022-03-23 2023-11-17 广州汽车集团股份有限公司 车辆座椅调节方法及车辆
CN114821194B (zh) * 2022-05-30 2023-07-25 深圳市科荣软件股份有限公司 一种设备运行状态识别方法及装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2010201693A1 (en) * 2009-04-28 2010-11-11 Monsive Jr., Michael G Portable traffic monitoring system and methods for use
CN102176287B (zh) * 2011-02-28 2013-11-20 无锡中星微电子有限公司 一种交通信号灯识别系统和方法
CN102117546B (zh) * 2011-03-10 2013-05-01 上海交通大学 车载交通信号灯辅助装置
DE102012108863A1 (de) * 2012-09-20 2014-05-28 Continental Teves Ag & Co. Ohg Verfahren zur Erkennung eines Ampelzustands mittels einer Kamera
CN105390007A (zh) * 2015-11-17 2016-03-09 陕西科技大学 基于模式识别的交通指挥系统
US10650257B2 (en) * 2017-02-09 2020-05-12 SMR Patents S.à.r.l. Method and device for identifying the signaling state of at least one signaling device
CN107038420A (zh) * 2017-04-14 2017-08-11 北京航空航天大学 一种基于卷积网络的交通信号灯识别算法
CN108804983B (zh) * 2017-05-03 2022-03-18 腾讯科技（深圳）有限公司 交通信号灯状态识别方法、装置、车载控制终端及机动车
CN108615383B (zh) * 2018-05-14 2020-10-20 吉林大学 基于车间通信的汽车交通路口辅助通行系统及其控制方法
CN108875608B (zh) * 2018-06-05 2021-12-17 合肥湛达智能科技有限公司 一种基于深度学习的机动车交通信号识别方法
CN110660254B (zh) * 2018-06-29 2022-04-08 北京市商汤科技开发有限公司 交通信号灯检测及智能驾驶方法和装置、车辆、电子设备
CN109830114A (zh) * 2019-02-20 2019-05-31 华为技术有限公司 交通信号灯提醒方法和装置

Also Published As

Publication number Publication date
SG11202102205TA (en) 2021-04-29
US20210192239A1 (en) 2021-06-24
WO2020259291A1 (zh) 2020-12-30
JP2022500739A (ja) 2022-01-04
CN112149697A (zh) 2020-12-29

Similar Documents

Publication Publication Date Title
KR20210052525A (ko) 표시등의 지시 정보 인식 방법 및 장치, 전자 기기 및 기억 매체
US11308809B2 (en) Collision control method and apparatus, and storage medium
CN107220581B (zh) 通过后置摄像机的行人检测和运动预测
US8890674B2 (en) Driver assistance detection system
US9451062B2 (en) Mobile device edge view display insert
JPWO2008038370A1 (ja) 交通情報検出装置、交通情報検出方法、交通情報検出プログラムおよび記録媒体
WO2015133141A1 (ja) 表示物情報表示装置
KR20220062107A (ko) 광 강도 조절 방법, 장치, 전자 기기 및 기억 매체
EP3270352A1 (en) Alert device, alert method, and alert program
US20210150232A1 (en) Method and device for detecting a state of signal indicator light, and storage medium
KR101344034B1 (ko) 보행자 인식기반 사고방지 시스템 및 그 제어 방법
CN105809095B (zh) 交通路口通行状态的确定
CN109204305A (zh) 丰富视野方法、观察员车辆和对象中使用的设备和机动车
CN110955972A (zh) 虚拟场景生成方法、装置、计算机设备及存储介质
CN110864913A (zh) 车辆测试方法、装置、计算机设备及存储介质
CN115269097A (zh) 导航界面的显示方法、装置、设备、存储介质及程序产品
KR20210088438A (ko) 이미지 처리 방법 및 장치, 전자 기기 및 기억 매체
KR20200091650A (ko) 고속도로 무단침입 방지 장치
CN113486957A (zh) 神经网络训练和图像处理方法及装置
CN105091895A (zh) 关注点提示系统及方法
KR101793156B1 (ko) 신호등을 이용한 차량 사고 방지 시스템 및 방법
KR101416457B1 (ko) 역주행 차량 및 보행자 위험상황 인지가 적용된 도로방범시스템
CN112857381A (zh) 一种路径推荐方法、装置及可读介质
CN113344900B (zh) 机场跑道侵入检测方法、装置、存储介质及电子设备
CN114013367A (zh) 一种远光灯使用提醒方法及装置、电子设备和存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal