KR102594384B1 - 오류데이터 삽입방식을 이용한 자율주행 차량의 영상인식 학습장치와 이를 이용한 영상인식 학습방법 - Google Patents

오류데이터 삽입방식을 이용한 자율주행 차량의 영상인식 학습장치와 이를 이용한 영상인식 학습방법 Download PDF

Info

Publication number
KR102594384B1
KR102594384B1 KR1020220112025A KR20220112025A KR102594384B1 KR 102594384 B1 KR102594384 B1 KR 102594384B1 KR 1020220112025 A KR1020220112025 A KR 1020220112025A KR 20220112025 A KR20220112025 A KR 20220112025A KR 102594384 B1 KR102594384 B1 KR 102594384B1
Authority
KR
South Korea
Prior art keywords
information
recognition
image
reference image
autonomous vehicle
Prior art date
Application number
KR1020220112025A
Other languages
English (en)
Inventor
김상민
박경준
Original Assignee
주식회사 셀플러스코리아
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 셀플러스코리아 filed Critical 주식회사 셀플러스코리아
Priority to KR1020220112025A priority Critical patent/KR102594384B1/ko
Application granted granted Critical
Publication of KR102594384B1 publication Critical patent/KR102594384B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/754—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries involving a deformation of the sample pattern or of the reference pattern; Elastic matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10—Recognition assisted with metadata

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 오류데이터 삽입방식을 이용한 자율주행 차량의 영상인식 학습장치와 이를 이용한 영상인식 학습방법 및 영상인식 성능 평가장치에 관한 것으로, 본 발명에 따른 자율주행 차량의 영상인식 학습장치는, 오브젝트 정보가 포함된 레퍼런스 영상과, 상기 레퍼런스 영상으로부터 상기 오브젝트 정보를 수동으로 미리 인식한 오브젝트 인식정보를 저장하는 메모리부와; 영상인식 AI알고리즘이 내장된 상기 자율주행 차량의 전자제어유닛(ECU)에 상기 레퍼런스 영상을 제1차로 제공하여 오브젝트 정보를 인식하도록 하고, 상기 전자제어유닛(ECU)에서 상기 오브젝트 정보를 인식한 인식결과 데이터를 실시간으로 제공받아 상기 오브젝트 인식정보와 비교함에 의해 인식오류 발생지점과 인식오류사항을 포함하는 오류데이터를 생성하고, 상기 오류데이터를 상기 레퍼런스 영상에 메타데이터로 하여 삽입하는 제어부를 구비한다.

Description

오류데이터 삽입방식을 이용한 자율주행 차량의 영상인식 학습장치와 이를 이용한 영상인식 학습방법{IMAGE RECOGNITION LEARNING APPARATUS OF AUTONOMOUS VEHICLE USING ERROR DATA INSERTION AND IMAGE RECOGNITION LEARNING METHOD USING THE SAME}
본 발명은 오류데이터 삽입방식을 이용한 자율주행 차량의 영상인식 학습장치와 이를 이용한 영상인식 학습방법에 관한 것으로, 보다 구체적으로는, 레퍼런스 영상에 대한 영상인식을 수행하고, 오류데이터를 생성하여 이를 영상에 삽입하여 학습시킴에 의해 영상인식 능력을 향상시킬 수 있는 오류데이터 삽입방식을 이용한 자율주행 차량의 영상인식 학습장치와 이를 이용한 영상인식 학습방법에 관한 것이다.
자율주행 차량이란 운전자가 차량의 주행을 조작하는 것이 아닌 차량 자체적으로 주행을 제어하여 목적지까지 이동하는 차량을 말한다. 자율주행 차량의 구동을 위해서는 운전자를 대신해 주변 환경을 감시하기 위한 다양한 종류의 센서가 필요로 하며, 자율주행 차량은 이를 이용하여 사람, 동물, 다른 차량 및 교통신호등과 같은 대상물(이하 "오브젝트 정보" 라고 함.)을 정확히 인식하고, 인식 후 설정된 상태로 차량이 동작해야만 한다.
특히 다수의 카메라를 이용한 자율주행차량에 대한 관심이 높아지고 있으며, 최근 자율주행 차량과 관련된 연구에서는 카메라를 통해 촬영된 영상으로부터 오브젝트 정보의 인식을 정확히 하는 것에 대한 연구가 활발히 이루어지고 있다.
이러한 카메라가 장착된 자율주행차량에서 탑승자의 안전을 위해서는 카메라를 통해 촬영된 영상으로부터 오브젝트 정보의 인식이 정상적으로 동작되는지 여부에 대한 성능 검증이 반드시 필요하며, 영상인식 성능을 높이기 위한 인공지증(AI) 알고리즘의 학습이 필요하게 된다.
인공지능학습 모델에 의한 영상정보 객체인식률을 높이기 위해, 운전자가 경험할 수 있는 다양한 환경에서 획득된 영상 데이터를 수집하고 이 데이터를 이용하여 인공지능 학습을 수행할 수 있다. 이러한 인공지능 학습은 자율주행차 내에 구비된 전자제어유닛(ECU) 내의 영상인식 모듈에 포함된 영상인식 알고리즘을 통해서 도 수행될 수도 있으나, 별도의 장치(서버)에서 다양한 영상을 수집하여 수행되기도 한다.
영상인식을 개선하기 위한 학습방법으로 다양한 방법이 알려져 있으나, 특정 자율주행차량이나 특정 카메라에 특화되어 최적화된 영상인식 학습장치나 방법도 필요한 실정에 있다.
대한민국 등록특허공보 제10-2299564호(2021.09.02.)
따라서, 본 발명의 목적은 상기한 종래의 문제점을 극복할 수 있는 오류데이터 삽입방식을 이용한 자율주행 차량의 영상인식 학습장치와 이를 이용한 영상인식 학습방법을 제공하는 데 있다.
본 발명의 다른 목적은 오류데이터를 생성하여 자율주행차량의 전자제어유닛(ECU)의 영상인식에 대한 학습을 수행할 수 있고, 영상인식 성능을 평가하여, 보다 정확한 영상인식이 가능하고 다양한 환경에 적용가능하며, 영상인식률을 향상시킬 수 있는 오류데이터 삽입방식을 이용한 자율주행 차량의 영상인식 학습장치와 이를 이용한 영상인식 학습방법을 제공하는 데 있다.
상기한 기술적 과제들의 일부를 달성하기 위한 본 발명의 구체화에 따라, 본 발명에 따른 자율주행 차량의 영상인식 학습장치는, 상기 자율주행 차량에서 인식의 대상이 되는 오브젝트 정보가 포함된 레퍼런스 영상과, 상기 레퍼런스 영상으로부터 상기 오브젝트 정보를 수동으로 미리 인식한 오브젝트 인식정보를 저장하는 메모리부와; 영상인식 AI알고리즘이 내장된 상기 자율주행 차량의 전자제어유닛(ECU)에 상기 레퍼런스 영상을 제1차로 제공하여 오브젝트 정보를 인식하도록 하고, 상기 전자제어유닛(ECU)에서 상기 오브젝트 정보를 인식한 인식결과 데이터를 실시간으로 제공받아 상기 오브젝트 인식정보와 비교함에 의해 인식오류 발생지점과 인식오류사항을 포함하는 오류데이터를 생성하고, 상기 오류데이터를 상기 레퍼런스 영상에 메타데이터로 하여 삽입하는 제어부를 구비하고, 상기 제어부는, 상기 오류데이터가 삽입된 상기 레퍼런스 영상을 제2차로 상기 전자제어유닛(ECU)에 제공하여, 상기 전자제어유닛(ECU)에서 상기 레퍼런스 영상에 삽입된 상기 오류데이터를 인식하여 인식오류 발생지점의 인식오류사항을 수정하는 학습을 수행하도록 한다.
상기 오브젝트 정보는, 대상 도로정보, 차량정보, 사람을 포함한 이동객체정보, 장애물정보, 신호등 정보, 표지판 정보, 이벤트정보 중 적어도 하나를 포함할 수 있다.
상기 레퍼런스 영상은 상기 자율주행 차량에 장착된 카메라로부터 미리 촬영된 영상일 수 있다.
상기 레퍼런스 영상은 고속도로를 주행하면서 촬영한 고속도로 영상, 도심도로를 주행하면서 촬영한 도심도로 영상, 시골마을 도로를 주행하면서 촬영한 시골도로 영상 및 주변에 유동인구가 많은 도로 영상을 포함하여, 다양한 상황을 반영한 영상들 중 어느 하나일 수 있다.
상기 레퍼런스 영상에 삽입되는 상기 오류데이터는 카메라 센서의 임베디드 정보가 저장되는 영역에 삽입되는 방식, 블랭크 픽셀 에어리어(blank pixel area)에 삽입되는 방식, 상기 레퍼런스 영상의 각 프레임의 영상인식과 관계없는 부분에 이미지화되어 삽입되는 방식 중 어느 하나의 방식을 이용하여 삽입될 수 있다.
상기한 기술적 과제들의 일부를 달성하기 위한 본 발명의 다른 구체화에 따라, 본 발명에 따른 자율주행 차량의 영상인식 학습방법은, 상기 자율주행 차량에서 인식의 대상이 되는 오브젝트 정보가 포함된 레퍼런스 영상과, 상기 레퍼런스 영상으로부터 상기 오브젝트 정보를 수동으로 미리 인식한 오브젝트 인식정보를 메모리부에 저장하는 제1단계와; 제어부를 통해, 상기 영상인식 AI알고리즘이 내장된 상기 자율주행 차량의 전자제어유닛(ECU)에 상기 레퍼런스 영상을 제1차로 제공하여 오브젝트 정보를 인식하도록 하고, 상기 전자제어유닛(ECU)에서 상기 오브젝트 정보를 인식한 인식결과 데이터를 실시간으로 제공받는 제2단계와; 상기 제어부에서, 상기 인식결과 데이터를 상기 오브젝트 인식정보와 비교함에 의해 상기 레퍼런스 영상에서의 인식오류 발생지점과 인식오류사항을 포함하는 오류데이터를 생성하고, 상기 오류데이터를 상기 레퍼런스 영상에 메타데이터로 하여 삽입하는 제3단계와; 상기 제어부에서 상기 오류데이터가 삽입된 상기 레퍼런스 영상을 제2차로 상기 전자제어유닛(ECU)에 제공하면, 상기 전자제어유닛(ECU)에서 상기 레퍼런스 영상에 삽입된 상기 오류데이터를 인식하여 인식오류 발생지점의 인식오류사항을 수정하고 인식능력 개선을 위한 학습을 수행하는 제4단계를 구비한다.
상기 제1단계 또는 상기 제1단계와 상기 제2단계 사이에, 상기 레퍼펀스 영상이 생성된 위치나 장소를 나타내는 위치정보 데이터 또는 날씨정보 데이터를, 상기 레퍼런스 영상에 삽입하는 단계를 더 포함하고, 상기 제2단계에서는, 상기 자율주행 차량의 전자제어유닛(ECU)에서는 제1차로 상기 레퍼런스 영상이 제공되면, 상기 레퍼런스 영상으로부터 상기 위치정보 데이터 또는 날씨정보 데이터를 인식하여, 상기 위치정보 데이터 또는 상기 날씨정보 데이터를 통해 추출된 위치나 장소 또는 날씨에 최적화된 영상인식 알고리즘을 추출하여 상기 레퍼런스 영상의 상기 오브젝트 정보를 인식하는 단계를 더 포함할 수 있다.
상기 오브젝트 정보는, 대상 도로정보, 차량정보, 사람을 포함한 이동객체정보, 장애물정보, 신호등 정보, 표지판 정보, 이벤트정보 중 적어도 하나를 포함할 수 있다.
상기 레퍼런스 영상은 상기 자율주행 차량에 장착된 카메라로부터 미리 촬영된 영상 일 수 있다.
상기 레퍼런스 영상은 고속도로를 주행하면서 촬영한 고속도로 영상, 도심도로를 주행하면서 촬영한 도심도로 영상, 시골마을 도로를 주행하면서 촬영한 시골도로 영상 및 주변에 유동인구가 많은 도로 영상을 포함하여, 다양한 상황을 가정한 영상들 중 어느 하나일 수 있다.
상기 레퍼런스 영상에 삽입되는 상기 오류데이터는 카메라 센서의 임베디드 정보가 저장되는 영역에 삽입되는 방식, 블랭크 픽셀 에어리어(blank pixel area)에 삽입되는 방식, 상기 레퍼런스 영상의 각 프레임의 영상인식과 관계없는 부분에 이미지화되어 삽입되는 방식 중 어느 하나의 방식을 이용하여 삽입될 수 있다.
상기 제3단계를 통해 생성된 상기 오류데이터를 이용하여 상기 자율주행 차량의 전자제어유닛(ECU)의 영상 인식 성능을 평가하는 평가데이터를 생성하는 단계를 더 포함할 수 있다.
상기 제4단계를 통한 학습을 수행한 이후에, 상기 자율주행 차량의 전자제어유닛(ECU)에 상기 레퍼런스 영상을 다시 제공하여 오브젝트 정보를 인식하도록 하고, 상기 전자제어유닛(ECU)에서 상기 오브젝트 정보를 인식한 인식결과 데이터를 실시간으로 제공받아 상기 오브젝트 인식정보와 비교함에 의해, 상기 제4단계의 학습효과를 평가하는 단계를 더 구비할 수 있다.
상기한 기술적 과제들의 일부를 달성하기 위한 본 발명의 또 다른구체화에 따라, 본 발명에 따른 자율주행 차량의 영상인식 성능 평가장치는, 상기 자율주행 차량에서 인식의 대상이 되는 오브젝트 정보가 포함된 레퍼런스 영상과, 상기 레퍼런스 영상으로부터 상기 오브젝트 정보를 수동으로 미리 인식한 오브젝트 인식정보를 저장하는 메모리부와; 영상인식 AI알고리즘이 내장된 상기 자율주행 차량의 전자제어유닛(ECU)에 상기 레퍼런스 영상을 제공하여 오브젝트 정보를 인식하도록 하고, 상기 전자제어유닛(ECU)에서 상기 오브젝트 정보를 인식한 인식결과 데이터를 실시간으로 제공받아 상기 오브젝트 인식정보와 비교함에 의해 인식오류 발생지점과 인식오류사항을 포함하는 오류데이터를 생성하는 성능평가부를 구비하고, 상기 성능평가부는, 상기 오류데이터를 이용하여 상기 자율주행 차량의 전자제어유닛(ECU)의 영상인식 성능을 평가하고, 상기 오류데이터를 상기 레퍼런스 영상에 삽입하여 평가정보로 저장한다.
상기 오브젝트 정보는, 대상 도로정보, 차량정보, 사람을 포함한 이동객체정보, 장애물정보, 신호등 정보, 표지판 정보, 이벤트정보 중 적어도 하나를 포함할 수 있다.
상기 레퍼런스 영상에 삽입되는 상기 오류데이터는 카메라 센서의 임베디드 정보가 저장되는 영역에 삽입되는 방식, 블랭크 픽셀 에어리어(blank pixel area)에 삽입되는 방식, 상기 레퍼런스 영상의 각 프레임의 영상인식과 관계없는 부분에 이미지화되어 삽입되는 방식 중 어느 하나의 방식을 이용하여 삽입될 수 있다.
상기 제어부는 상기 오류데이터를 이용하여, 도로, 시간, 지역 중 어느 환경에서 오류가 자주 발생되고, 상기 오브젝트 정보 중 어떤 유형의 오브젝트에서 오류가 발생되는지 여부를 포함하는 오류 정보를 통계화하여 저장할 수 있다.
본 발명에 따르면, 자율주행차량의 전자제어유닛(ECU)의 레퍼런스 영상에 대한 영상 인식결과데이터와 오브젝트 인식정보를 비교하여, 오류데이터를 생성하여 자율주행차량의 전자제어유닛(ECU)의 영상인식에 대한 학습을 수행하여 알고리즘의 고도화가 가능하고, 영상인식 성능을 평가하는 것이 가능하므로, 보다 정확한 영상인식이 가능하고 다양한 환경에 적용가능하며 영상인식률을 향상시킬 수 있는 장점이 있다.
도 1은 본 발명에 따른 자율주행 차량의 영상인식 학습장치의 개략적 블록도이고,
도 2는 도 1의 제어부의 세부 구성블록도이고,
도 3은 도 1의 동작순서도를 나타낸 것이고,
도 4는 본 발명에 따른 자율주행차량의 성능평가장치의 개략도이다.
이하에서는 본 발명의 바람직한 실시예가, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명의 철저한 이해를 제공할 의도 외에는 다른 의도 없이, 첨부한 도면들을 참조로 하여 상세히 설명될 것이다.
도 1은 본 발명에 따른 자율주행 차량의 영상인식 학습장치의 개략도이고, 도 2은 도 1의 제어부의 세부 구성블록도이다.
본 발명에 따른 자율주행 차량은 영상인식을 위한 AI 알고리즘(딥러닝 알고리즘, 딥 뉴럴 네트워크 알고리즘 등)을 전자제어유닛(ECU)에 내장하고 있으며, 상기 AI 알고리즘은 제공되는 영상으로부터 오브젝트 정보를 인식하며, 딥 러닝 학습모델 등을 통한 학습과정을 통해 영상에서의 오브젝트 정보에 대한 인식률을 향상시키게 된다.
도 1에 도시된 바와 같이, 본 발명에 따른 자율주행 차량의 영상인식 학습장치(100)는 자율주행 차량에 적용되기 위한 것으로, 메모리부(110), 제어부(120)를 구비한다.
상기 메모리부(110)는 레퍼런스 영상과 상기 레퍼런스 영상에 포함되어 있는 오브젝트 정보를 인식한 오브젝트 인식정보를 저장한다. 상기 레퍼런스 영상은 카메라 영상을 포함하는 것으로, 자율주행 차량에 장착되는 카메라로부터 촬영된 영상과 동일 포맷을 가지는 영상 일 수 있다. 바람직하게는, 상기 영상인식 학습장치(100)가 적용되도록 선택된 자율주행차량에 장착된 카메라로부터 촬영된 영상일 수 있다. 상기 레퍼런스 영상은 임의의 선정된 영상을 사용하는 것도 가능하지만, 상기 영상인식 학습장치(100)가 적용될 예정인 자율주행 차량에 장착된 카메라로부터 촬영된 영상을 상기 레퍼런스 영상으로 사용하게 되면, 상기 자율주행 차량에 장착된 카메라에 최적화된 영상처리가 가능하게 될 수 있다.
상기 오브젝트 정보는 상기 레퍼런스 영상에 포함되어 있으며, 자율주행을 위해 자율주행 차량에서 인식되어야 하는 오브젝트에 대한 정보가 포함될 수 있다. 상기 오브젝트 정보는, 상기 레퍼런스 영상에 포함되어 있으며, 인식의 대상이 되는 대상 도로정보, 차량정보, 사람을 포함한 이동객체정보, 장애물정보, 신호등 정보, 표지판 정보, 이벤트정보 중 적어도 하나를 포함할 수 있다. 상기 이동객체정보는 사람, 동물을 포함하여 이동하는 객체를 모두 포함할 수 있고, 상기 도로정보는 노면정보나 차선정보 등을 포함할 수 있다. 그리고 상기 차량정보는 전동퀵보드, 자전거나 오토바이 등의 이륜차를 포함하여, 이륜이상의 다양한 차량에 대한 정보를 포함할 수 있다.
또한, 상기 오브젝트 정보는 대상 도로정보, 차량정보, 사람을 포함한 이동객체정보, 장애물정보, 신호등 정보, 표지판 정보, 이벤트정보의 위치정보나 색상정보 등을 포함할 수도 있다. 이외에 자율주행을 위해 카메라 촬영 영상으로부터 인식이 필요하다고 알려져 있는 정보를 포함할 수 있다. 예를 들어, 비정상 객체정보를 추가로 포함할 수 있다. 비정상 객체정보는 일예로, 앉아있는 사람, 누워있는 사람, 동물사체, 우산을 쓰고 있는 사람 등 일반적으로 정상행위라고 알려져 있는 행위 이외의 비정상 행위를 하고 있는 사람이나 동물 등의 객체를 포함할 수 있다.
그리고, 상기 레퍼런스 영상은 고속도로를 주행하면서 촬영한 고속도로 영상, 도심도로를 주행하면서 촬영한 도심도로 영상, 시골마을 도로를 주행하면서 촬영한 시골도로 영상 및 주변에 유동인구가 많은 도로 영상을 포함하여, 다양한 상황, 다양한 장소 또는 다양한 날씨 등을 반영한 영상들 중 어느 하나일 수 있다. 이는 상기 전자제어유닛(ECU)에서 위치나 장소별로 최적화된 영상인식 AI알고리즘들을 각각 별도로 구비하여, 위치나 장소에 따라 그에 최적화된 AI 알고리즘을 선택하여 영상을 인식하도록 하는 것이 가능하기 때문에, 다양한 상황이나 다양한 장소별로 최적화된 영상인식 학습이 가능하도록 할 수 있다.
상기 메모리부(110)에 저장되는 상기 오브젝트 인식정보는, 상기 레퍼런스 영상을 육안으로 인식하여 확인하는 수동방식 등에 의해 상기 오브젝트 정보를 미리 인식하여 저장된 오브젝트 인식 정보를 의미할 수 있다. 즉 상기 오브젝트 인식정보는 자율주행을 위해 카메라 촬영 영상으로부터 인식이 필요하다고 알려져 있는 정보의 100%를 수동방식 등에 의해 미리 인식하여 저장된 정보를 의미할 수 있다.
상기 제어부(120)는 상기 레퍼런스 영상을 이용하여 영상인식 AI알고리즘이 내장된 상기 자율주행 차량의 전자제어유닛(ECU)의 오브젝트 정보 인식률을 향상시키기 위한 학습을 수행하게 된다.
상기 제어부(120)는 도 2에 도시된 바와 같이, 레퍼런스 영상 제공부(122), 오류데이터 생성부(124), 및 오류데이터 삽입부(126)를 구비할 수 있다.
상기 레퍼런스 영상 제공부(122)는 상기 전자제어유닛(ECU)에 상기 레퍼런스 영상을 제1차와 제2차로 제공한다. 제1차로 제공되는 레퍼런스 영상은 후술하는 오류데이터가 삽입되지 않은 원본영상이고, 제2차로 제공되는 레퍼런스 영상은 원본영상에 상기 오류데이터가 삽입되어 가공된 영상을 의미할 수 있다. 이하에서는 이해의 편의 및 구분을 위해, 편의상 상기 메모리부(110)에 저장되어 있는 레퍼런스 영상을 원본영상이라 하고, 제1차로 제공되는 레퍼런스 영상을 제1레퍼런스 영상이라 하고, 제2차로 제공되는 레퍼런스 영상을 제2레퍼런스 영상이라 칭하기로 한다. 여기서 상기 제1레퍼런스 영상과 상기 원본영상은 동일한 영상이지만 구분의 편의를 위해 서로 달리 칭하기로 한다.
상기 제1레퍼런스 영상이 제공되면, 상기 전자제어유닛(ECU)에서는 상기 제1 레퍼런스 영상으로부터 상기 오브젝트 정보를 인식(또는 추출)하고, 인식결과 데이터를 상기 제어부(120)의 상기 오류데이터 생성부(124)로 제공하게 된다. 상기 인식결과 데이터는 상기 제1레퍼런스 영상으로부터 인식한 오브젝트의 종류 및 위치에 대한 정보 등을 포함할 수 있으며, 상기 제1레퍼런스 영상 내의 어느 프레임의 어느 지점에 대한 인식결과인지에 대한 정보도 포함할 수 있다. 또한 일반적인 영상인식으로 인해 얻어진다고 통상의 기술자에게 잘 알려져 있는 영상인식 데이터를 포함할 수 있다.
상기 오류데이터 생성부(124)는 상기 전자제어유닛(ECU)에서 상기 오브젝트 정보를 인식한 인식결과 데이터를 실시간으로 제공받아, 상기 오브젝트 인식정보와 비교함에 의해 인식오류 발생지점과 인식오류사항을 포함하는 오류데이터를 생성한다. 상기 오류데이터는 상기 제1레퍼런스 영상의 어느 프레임의 어느 지점에서 어떤 오브젝트에 대한 인식오류가 발생되었는지 등에 대한 정보를 포함할 수 있다. 예를 들어 상기 오류데이터는, 상기 제1레퍼런스 영상의 특정 프레임에서 사람 3명에 대한 인식이 필요한데 2명만 인식한 경우, 해당 프레임에 대한 정보, 인식하지 못한 사람의 위치에 대한 정보 및 인식하지 못한 오브젝트인 사람에 대한 정보 등을 포함할 수 있다. 이외에 인식오류를 알 수 있는 다양한 정보가 상기 오류데이터에 포함될 수 있으며, 상기 영상인식 AI 알고리즘에서 상기 오류데이터를 통해 인식오류 사항을 개선할 수 있도록 할 수 있는 학습정보 또한 포함될 수 있다.
상기 오브젝트 인식정보는 상기 제1레퍼런스 영상 내의 인식가능한 모든 오브젝트에 대한 정보를 포함하고 있기 때문에, 상기 인식결과 데이터를 상기 오브젝트 인식정보와 비교하여 그 차이를 분석하는 것에 의해 상기 오류데이터 생성이 가능하게 된다.
상기 오류데이터 삽입부(126)는 상기 오류데이터를 원본영상에 삽입함에 의해 상기 제2레퍼런스 영상을 생성한다. 상기 오류데이터는 상기 원본영상에 메타데이터 또는 다른 삽입데이터로 하여 다양한 방식으로 삽입될 수 있다. 상기 오류데이터는 실시간 삽입되는 것도 가능하고, 상기 제1레퍼런스 영상의 제공이 완료된 이후에 상기 원본영상에 삽입하는 것도 가능하다.
상기 오류데이터는 카메라 센서의 임베디드 정보가 저장되는 영역에 삽입되는 방식, 블랭크 픽셀 에어리어(blank pixel area)에 삽입되는 방식, 상기 레퍼런스 영상의 각 프레임의 영상인식과 관계없는 부분에 이미지화되어 삽입되는 방식 중 어느 하나의 방식을 이용하여 삽입될 수 있으며, 이외에 통상의 기술자에게 잘 알려진 데이터 삽입방식을 이용하여 영상에 데이터를 삽입하는 것이 가능하다. 즉 상기 전자제어유닛(ECU)을 통한 영상인식에 장애를 주지 않는 방식이라면 어느 방식이라도 가능할 수 있다. 여기서 카메라 센서의 임베디드 정보가 저장되는 영역이란, 센서 고유의 프레임정보, 광축, 노출정보, 카메라 ID, 등의 정보가 기입되는 영역을 의미할 수 있으며, 이 임베디드 정보가 저장되는 영역 중에서 블랭크(blank) 영역을 오류데이터 영역으로 지정하여 오류데이터를 삽입하는 것이 가능하다. 일반적으로, MIPI 통신표준규약에서는 이러한 임베디드 정보를 데이터 타입을 정의하여 이 영역에 삽입하고 있으므로, 이와 동일 또는 유사하게 오류데이터를 삽입하는 것이 가능하다.
영상에 일반 데이터를 삽입하고 삽입된 데이터를 인식하도록 하는 기술은 통상의 기술자에게 다양하게 잘 알려져 있으므로, 더 이상의 설명을 생략한다.
상기 제어부(120) 내의 상기 레퍼런스 영상 제공부(122)는, 상기 오류데이터가 삽입된 상기 제2레퍼런스 영상을 상기 전자제어유닛(ECU)에 제공하여, 상기 전자제어유닛(ECU)에서 상기 제2레퍼런스 영상에 삽입된 상기 오류데이터를 인식하여 인식오류 발생지점의 인식오류사항을 수정하는 학습을 수행하도록 하게 된다. 상기 전자제어유닛(ECU)에서는 영상인식 AI알고리즘을 구비하고 있기 때문에, 상기 오류데이터를 통해 상기 제1레퍼런스 영상에서 인식하지 못했던 오브젝트에 대한 학습을 수행하여 인식률 향상을 이룰 수 있으며, 이후에 상기 제1레퍼런스 영상이 다시 제공되는 경우에는 오브젝트 정보의 100% 인식이 가능하게 할 수 있다. 이에 따라, 영상인식 AI알고리즘의 고도화가 가능하게 된다. 여기서 인공지능(AI)을 이용하여 영상인식 능력을 학습하는 기술은 다양하게 잘 알려져 있으며, 본 발명에서도 통상의 기술자에게 잘 알려진 학습방법을 채택한 학습이 가능함은 명백하다.
추가적으로, 필요에 따라 상기 제1레퍼런스 영상을 상기 전자제어유닛(ECU)에 제공하는 경우에, 상기 제1레퍼펀스 영상이 생성된 위치나 장소를 나타내는 위치정보 데이터 또는 날씨정보 데이터를, 상기 제1레퍼런스 영상에 메타데이터 또는 기타 데이터로 하여 삽입하는 것이 가능하다. 이 경우 상기 전자제어유닛(ECU)에서는 상기 위치정보데이터 또는 날씨정보 데이터를 인식하여, 내장된 복수의 영상인식 AI알고리즘들 중에서, 상기 위치정보 데이터 또는 상기 날씨정보 데이터를 통해 추출된 위치 또는 날씨에 최적화된 영상인식 AI알고리즘을 선택 또는 추출하여 영상인식을 수행하는 것이 가능하다.
이하 도 3의 동작순서도를 통해 도 1의 자율주행 차량의 영상인식 학습장치를 이용한 자율주행 차량의 영상인식 학습방법을 설명하면 다음과 같다.
도 3에 도시된 바와 같이, 자율주행 차량의 영상인식 학습장치를 이용한 자율주행 차량의 영상인식 학습방법은, 상기 메모리부(110)에 상기 레퍼런스 영상 즉 원본영상과 상기 오브젝트 인식정보를 저장하는 것으로 시작된다(S110).
상기 원본영상은 이미 설명한 바와 같이, 다양한 장소와 다양한 상황 또는 다양한 날씨가 반영된 영상들 중 어느 하나일 수 있다. 상기 메모리부(110)에 저장된 레퍼런스 영상 즉 원본영상은 상기 제1레퍼런스 영상으로 되어 상기 제어부(120)의 레퍼런스 영상 제공부(122)를 통해 상기 자율주행차량의 상기 전자제어유닛(ECU)(200)에 제공된다(S112).
상기 자율주행 차량의 전자제어유닛(ECU)(200)에서는 상기 영상인식 AI알고리즘을 이용하여 상기 제1레퍼런스 영상으로부터 오브젝트 정보를 인식하고 인식된 인식결과 데이터를 상기 제어부(120)에 실시간으로 제공하게 되며, 상기 제어부(120)의 상기 오류데이터 생성부(124)에서는 상기 전자제어유닛(ECU)으로부터 제공되는 상기 인식결과 데이터를 실시간으로 수신하게 된다(S114).
상기 오류데이터 생성부(124)는 상기 인식결과 데이터를 상기 오브젝트 인식정보와 비교함에 의해 인식오류 발생지점과 인식오류사항을 포함하는 오류데이터를 생성한다(S116).
이후 상기 오류데이터는 상기 오류데이터 삽입부(126)를 통해 상기 원본영상에 삽입되고, 이에 따라 상기 오류데이터가 삽입된 상기 제2레퍼런스 영상이 생성되게 된다(S118). 상기 오류데이터는 상기 원본영상에 메타데이터 또는 다른 삽입데이터로 하여 다양한 방식으로 삽입될 수 있다. 상기 오류데이터는 실시간 삽입되는 것도 가능하고, 상기 제1레퍼런스 영상의 제공이 완료된 이후에 상기 원본영상에 삽입하는 것도 가능하다.
이후 상기 제어부(120)의 상기 레퍼런스 영상 제공부(122)를 통해 상기 오류데이터가 삽입된 레퍼런스 영상 즉 제2레퍼런스 영상이 상기 전자제어유닛(ECU)에 제공되게 된다(S120). 이후 상기 전자제어유닛(ECU)(200)에서는 영상인식 AI 알고리즘을 이용하여 상기 제2레퍼런스 영상에 대한 오브젝트 정보 인식을 수행하게 된다. 이때 상기 오류데이터를 인식하여, 상기 제1레퍼런스 영상 제공시에 인식되지 않거나 인식못한 오브젝트 정보를 인식하도록 하는 학습을 수행하게 된다. 즉 상기 제2 레퍼런스 영상에 삽입된 상기 오류데이터를 인식하여 인식오류 발생지점의 인식오류사항을 수정하고 인식능력 개선을 위한 학습을 수행하게 된다(S122).
여기서 상기 전자제어유닛(ECU)(200)에서는 상기 제2레퍼런스 영상에 대한 오브젝트 정보 인식을 수행하지 않고, 상기 오류데이터를 이용하여 상기 제1레퍼런스 영상 제공시에 인식되지 않거나 인식못한 오브젝트 정보를 인식하도록 하는 학습만을 수행하도록 하는 것도 가능하다.
추가적으로, 상기 원본영상을 상기 메모리부(110)에 저장하는 단계(S110)와 상기 제1레퍼런스 영상을 상기 전자제어유닛(ECU)(200)에 제공하는 단계(S112)사이 또는 상기 원본영상을 상기 메모리부(110)에 저장하는 단계(S110)에서, 상기 제1레퍼런스 영상에 상기 제1레퍼펀스 영상 또는 원본영상이 생성된 위치나 장소를 나타내는 위치정보 데이터를 삽입하는 것이 가능하고, 상기 레퍼펀스 영상(또는 원본영상)이 생성될 당시의 날씨정보 데이터를 삽입하는 것이 가능하다.
이 경우 단계(S112)에서는 상기 위치정보 데이터 또는 상기 날씨정보 데이터가 삽입된 상태의 상기 제1레퍼런스 영상이 상기 전자제어유닛(ECU)(200)에 제공되면, 상기 자율주행 차량의 전자제어유닛(ECU)(200)에서는 상기 제1레퍼런스 영상으로부터 상기 위치정보 데이터 또는 날씨정보 데이터를 인식하여, 상기 위치정보 데이터 또는 상기 날씨정보 데이터를 통해 추출된 위치나 장소 또는 날씨에 최적화된 영상인식 알고리즘을 추출하여 상기 제1레퍼런스 영상으로부터 상기 오브젝트 정보를 인식하는 것이 가능하다.
즉 상기 위치정보 데이터를 통해서, 상기 제1레퍼런스 영상이 사람이 거의없고 고속으로 달리는 차량만이 있는 고속도로인지, 사람과 차량이 많은 도심인지, 사람과 차량이 적은 시골도로인지 등을 인식하는 것이 가능하고, 내장된 복수의 영상인식 알고리즘들 중에서 해당위치환경에 최적화된 영상인식 알고리즘을 추출하여 적용하는 것이 가능하고, 이를 통해 영상인식 즉 오브젝트 인식을 수행함에 의해 최적의 오브젝트 인식이 가능할 수 있다.
또한 상기 날씨정보 데이터를 통해서, 상기 제1레퍼런스 영상이 흐린날씨 환경인지, 비가오는 환경인지, 맑은 날씨 환경인지, 눈이오는 날씨 환경 인지, 악천후 인지 등을 인식하는 것이 가능하고, 내장된 복수의 영상인식 알고리즘들 중에서 해당 날씨환경에 최적화된 영상인식 알고리즘을 추출하여 적용하는 것이 가능하고, 추출된 영상인식 알고리즘을 통해 영상인식 즉 오브젝트 인식을 수행함에 의해 최적의 영상인식이 가능하도록 할 수 있다. 이후에 상기 오류데이터를 이용하여 학습을 수행하게 되면, 보다 정확하고 다양한 환경에 적응가능한 영상인식이 가능할 수 있게 된다.
한편, 상술한 학습과는 별개로, 상기 오류데이터 생성부(124)를 통해 상기 오류데이터가 생성되면(S116), 상기 오류데이터를 이용하여 상기 자율주행 차량의 전자제어유닛(ECU)(200)의 영상 인식 성능을 평가하는 평가데이터를 생성할 수 있다. 상기 평가데이터는 인식오류의 개수나 정도가 포함될 수 있고, 사람, 차량 등을 포함하여 어느 오브젝트에 대한 인식오류가 많이 발생되는지, 어느 위치, 어느 환경, 어느 날씨 등에서 인식오류가 발생되는지 등에 대한 데이터를 포함할 수 있으며, 이를 통해 상기 자율주행 차량의 전자제어유닛(ECU)(200)의 영상인식 성능을 평가하는 것이 가능하다.
또한 추가적으로, 상기 오류데이터를 인식하여 인식오류 발생지점의 인식오류사항을 수정하고 인식능력 개선을 위한 학습을 수행하는 단계(S122) 이후에, 즉 상기 오류데이터를 이용한 학습을 수행한 이후에, 상기 자율주행 차량의 전자제어유닛(ECU)(200)에 상기 레퍼런스 영상(원본영상 또는 제1레퍼런스 영상)을 다시 제공하여 오브젝트 정보를 인식하도록 하는 단계를 더 포함할 수 있다. 이후, 상기 전자제어유닛(ECU)(200)에서 상기 오브젝트 정보를 인식한 인식결과 데이터를 실시간으로 제공받아 상기 오브젝트 인식정보와 비교함에 의해, 상술한 오류데이터를 이용한 학습단계(S122)의 학습 효과를 평가하는 것이 가능하다.
도 4는 본 발명의 다른 실시예에 따른 자율주행 차량의 영상인식 성능 평가장치(300)의 개략적 블록도이다.
도 4에 도시된 바와 같이, 상기 자율주행 차량의 영상인식 성능 평가장치(300)는 자율주행 차량에 적용되기 위한 것으로, 메모리부(310), 성능평가부(320)를 구비한다.
상기 메모리부(310)는 레퍼런스 영상과 상기 레퍼런스 영상에 포함되어 있는 오브젝트 정보를 인식한 오브젝트 인식정보를 저장한다. 상기 레퍼런스 영상은 카메라 영상을 포함하는 것으로, 자율주행 차량에 장착되는 카메라로부터 촬영된 영상과 동일 포맷을 가지는 영상 일 수 있다. 바람직하게는, 상기 성능평가장치(100)를 통한 성능평가를 위해 선택된 자율주행차량에 장착된 카메라로부터 촬영된 영상일 수 있다. 상기 레퍼런스 영상은 임의의 선정된 영상을 사용하는 것도 가능하지만, 상기 성능평가 예정인 자율주행 차량에 장착된 카메라로부터 촬영된 영상을 상기 레퍼런스 영상으로 사용하게 되면, 상기 자율주행 차량에 최적화된 성능평가가 가능하게 될 수 있다.
상기 오브젝트 정보는 상기 레퍼런스 영상에 포함되어 있으며, 자율주행을 위해 자율주행 차량에서 인식되어야 하는 오브젝트에 대한 정보가 포함될 수 있다.
상기 오브젝트 정보는 상기 레퍼런스 영상에 포함되어 있으며, 자율주행을 위해 자율주행 차량에서 인식되어야 하는 오브젝트에 대한 정보가 포함될 수 있다. 상기 오브젝트 정보는, 상기 레퍼런스 영상에 포함되어 있으며, 인식의 대상이 되는 대상 도로정보, 차량정보, 사람을 포함한 이동객체정보, 장애물정보, 신호등 정보, 표지판 정보, 이벤트정보 중 적어도 하나를 포함할 수 있다. 상기 이동객체정보는 사람, 동물을 포함하여 이동하는 객체를 모두 포함할 수 있고, 상기 도로정보는 노면정보나 차선정보 등을 포함할 수 있다. 그리고 차량정보는 전동퀵보드, 자전거나 오토바이 등의 이륜차를 포함하여, 이륜이상의 다양한 차량에 대한 정보를 포함할 수 있다.
또한, 상기 오브젝트 정보는 대상 도로정보, 차량정보, 사람을 포함한 이동객체정보, 장애물정보, 신호등 정보, 표지판 정보, 이벤트정보의 위치정보나 색상정보 등을 포함할 수도 있다. 이외에 자율주행을 위해 카메라 촬영 영상으로부터 인식이 필요하다고 알려져 있는 정보를 포함할 수 있다. 예를 들어, 비정상 객체정보를 추가로 포함할 수 있다. 비정상 객체정보는 일예로, 앉아있는 사람, 누워있는 사람, 동물사체, 우산을 쓰고 있는 사람 등 일반적으로 정상행위라고 알려져 있는 행위 이외의 비정상 행위를 하고 있는 사람이나 동물 등의 객체를 포함할 수 있다.
그리고, 상기 레퍼런스 영상은 고속도로를 주행하면서 촬영한 고속도로 영상, 도심도로를 주행하면서 촬영한 도심도로 영상, 시골마을 도로를 주행하면서 촬영한 시골도로 영상 및 주변에 유동인구가 많은 도로 영상을 포함하여, 다양한 상황, 다양한 장소 또는 다양한 날씨 등을 반영한 영상들 중 어느 하나일 수 있다. 이는 상기 전자제어유닛(ECU)(200)에서 위치나 장소별로 최적화된 영상인식 AI알고리즘들을 각각 별도로 구비하여, 위치나 장소에 따라 그에 최적화된 AI 알고리즘을 선택하여 영상을 인식하도록 하는 것이 가능하기 때문에, 다양한 상황이나 다양한 장소별로 최적화된 영상인식 학습이 가능하도록 할 수 있다.
상기 메모리부(310)에 저장되는 상기 오브젝트 인식정보는, 상기 레퍼런스 영상을 육안으로 인식하여 확인하는 수동방식 등에 의해 상기 오브젝트 정보를 미리 인식하여 저장된 오브젝트 인식 정보를 의미할 수 있다. 즉 상기 오브젝트 인식정보는 자율주행을 위해 카메라 촬영 영상으로부터 인식이 필요하다고 알려져 있는 정보의 100%를 수동방식 등에 의해 미리 인식하여 저장된 정보를 의미할 수 있다.
상기 성능평가부(320)는 상기 레퍼런스 영상을 이용하여 영상인식 AI알고리즘이 내장된 상기 자율주행 차량의 전자제어유닛(ECU)(200)의 오브젝트 정보 인식률을 향상시키기 위한 학습을 수행하게 된다.
상기 성능평가부(320)는 상기 전자제어유닛(ECU)(200)에 상기 레퍼런스 영상을 제공하게 된다.
상기 레퍼런스 영상이 제공되면, 상기 전자제어유닛(ECU)(200)에서는 상기 레퍼런스 영상으로부터 상기 오브젝트 정보를 인식(또는 추출)하고, 인식결과 데이터를 실시간으로 상기 성능평가부(320)로 제공하게 된다. 상기 인식결과 데이터는 상기 레퍼런스 영상으로부터 인식한 오브젝트의 종류 및 위치에 대한 정보 등을 포함할 수 있으며, 상기 레퍼런스 영상 내의 어느 프레임의 어느 지점에 대한 인식결과인지에 대한 정보도 포함할 수 있다. 또한 일반적인 영상인식으로 인해 얻어진다고 통상의 기술자에게 잘 알려져 있는 영상인식 데이터를 포함할 수 있다.
상기 성능평가부(320)는 상기 전자제어유닛(ECU)(200)에서 상기 오브젝트 정보를 인식한 인식결과 데이터를 실시간으로 제공받아, 상기 오브젝트 인식정보와 비교함에 의해 인식오류 발생지점과 인식오류사항을 포함하는 오류데이터를 생성한다. 상기 오류데이터는 상기 레퍼런스 영상의 어느 프레임의 어느 지점에서 어떤 오브젝트에 대한 인식오류가 발생되었는지 등에 대한 정보를 포함할 수 있다. 예를 들어 상기 오류데이터는, 상기 레퍼런스 영상의 특정 프레임에서 사람 3명에 대한 인식이 필요한데 2명만 인식한 경우, 해당 프레임에 대한 정보, 인식하지 못한 사람의 위치에 대한 정보 및 인식하지 못한 오브젝트인 사람에 대한 정보 등을 포함할 수 있다. 이외에 인식오류를 알 수 있는 다양한 정보가 상기 오류데이터에 포함될 수 있으며, 상기 영상인식 AI 알고리즘에서 상기 오류데이터를 통해 인식오류 사항을 개선할 수 있도록 할 수 있는 학습정보 또한 포함될 수 있다.
상기 오브젝트 인식정보는 상기 레퍼런스 영상 내의 인식가능한 모든 오브젝트에 대한 정보를 포함하고 있기 때문에, 상기 인식결과 데이터를 상기 오브젝트 인식정보와 비교하여 그 차이를 분석하는 것에 의해 상기 오류데이터 생성이 가능하게 된다.
상기 성능평가부(320)는 상기 오류데이터가 생성되면, 상기 오류데이터를 이용하여 상기 자율주행 차량의 전자제어유닛(ECU)(200)의 영상 인식 성능을 평가하는 평가데이터를 생성하여 평가정보로 저장할 수 있다. 상기 평가데이터는 인식오류의 개수나 정도가 포함될 수 있고, 사람, 차량 등을 포함하여 어느 오브젝트에 대한 인식오류가 많이 발생되는지, 어느 위치, 어느 환경, 어느 날씨 등에서 인식오류가 발생되는지 등에 대한 데이터를 포함할 수 있으며, 이를 통해 상기 자율주행 차량의 전자제어유닛(ECU)(200)의 영상인식 성능을 평가하는 것이 가능하다.
상기 평가데이터의 생성과 동시 또는 상기 평가데이터의 생성이후에, 상기 오류데이터는 상기 레퍼런스 영상에 다양한 방식으로 삽입될 수 있으며, 이를 통해 상기 자율주행 차량의 전자제어유닛(ECU)(200)의 영상인식정도를 평가하는 평가정보로 사용할 수 있다. 즉 오류데이터를 상기 레퍼런스 영상에 삽입하여 저장하게 되면, 상기 자율주행 차량의 전자제어유닛(ECU)(200)의 영상인식 성능의 평가정보로 유용하게 사용할 수 있게 된다.
상기 오류데이터는 실시간 삽입되는 것도 가능하고, 상기 레퍼런스 영상의 제공이 완료된 이후에 상기 레퍼런스 영상에 삽입하는 것도 가능하다. 또한 상기 오류데이터에 추가하여 상기 평가데이터도 상기 레퍼런스 영상에 삽입하는 것도 가능하다.
상기 오류데이터는 카메라 센서의 임베디드 정보가 저장되는 영역에 삽입되는 방식, 블랭크 픽셀 에어리어(blank pixel area)에 삽입되는 방식, 상기 레퍼런스 영상의 각 프레임의 영상인식과 관계없는 부분에 이미지화되어 삽입되는 방식 중 어느 하나의 방식을 이용하여 삽입될 수 있으며, 이외에 통상의 기술자에게 잘 알려진 데이터 삽입방식을 이용하여 영상에 데이터를 삽입하는 것이 가능하다. 즉 상기 전자제어유닛(ECU)을 통한 영상인식에 장애를 주지 않는 방식이라면 어느 방식이라도 가능할 수 있다. 여기서 카메라 센서의 임베디드 정보가 저장되는 영역이란, 센서 고유의 프레임정보, 광축, 노출정보, 카메라 ID, 등의 정보가 기입되는 영역을 의미할 수 있으며, 이 임베디드 정보가 저장되는 영역 중에서 블랭크(blank) 영역을 오류데이터 영역으로 지정하여 오류데이터를 삽입하는 것이 가능하다. 일반적으로, MIPI 통신표준규약에서는 이러한 임베디드 정보를 데이터 타입을 정의하여 이 영역에 삽입하고 있으므로, 이와 동일 또는 유사하게 오류데이터를 삽입하는 것이 가능하다. 상기 평가데이터의 삽입도 동일한 방식으로 수행되는 것이 가능하다.
상기 성능평가부(320)는 상기 오류데이터를 이용하여, 어느 유형의 도로, 어느 시간대에서, 어느 유형의 지역 등 어느 환경에서 오류가 자주 발생되고, 상기 오브젝트 정보 중 어떤 유형의 오브젝트에서 오류가 발생되는지 여부를 포함하는 오류 정보를 통계화하여 저장할 수 있다.
추가적으로, 상기 레퍼런스 영상을 상기 전자제어유닛(ECU)(200)에 제공하기 전에, 상기 레퍼런스 영상에 상기 레퍼펀스 영상이 생성된 위치나 장소를 나타내는 위치정보 데이터를 삽입하는 것이 가능하고, 상기 레퍼펀스 영상이 생성될 당시의 날씨정보 데이터를 삽입하는 것이 가능하다.
이 경우 상기 위치정보 데이터 또는 상기 날씨정보 데이터가 삽입된 상태의 상기 레퍼런스 영상이 상기 전자제어유닛(ECU)(200)에 제공되면, 상기 자율주행 차량의 전자제어유닛(ECU)(200)에서는 상기 레퍼런스 영상으로부터 상기 위치정보 데이터 또는 날씨정보 데이터를 인식하여, 상기 위치정보 데이터 또는 상기 날씨정보 데이터를 통해 추출된 위치나 장소 또는 날씨에 최적화된 영상인식 알고리즘을 추출하여 상기 레퍼런스 영상으로부터 상기 오브젝트 정보를 인식하는 것이 가능하다.
즉 상기 위치정보 데이터를 통해서, 상기 레퍼런스 영상이 사람이 거의 없고 고속으로 달리는 차량만이 있는 고속도로인지, 사람과 차량이 많은 도심인지, 사람과 차량이 적은 시골도로인지 등을 인식하는 것이 가능하고, 내장된 복수의 영상인식 알고리즘들 중에서 해당위치환경에 최적화된 영상인식 알고리즘을 추출하여 적용하는 것이 가능하고, 이를 통해 영상인식 즉 오브젝트 인식을 수행함에 의해 최적의 오브젝트 인식이 가능할 수 있다.
또한 상기 날씨정보 데이터를 통해서, 상기 레퍼런스 영상이 흐린날씨 환경인지, 비가오는 환경인지, 맑은 날씨 환경인지, 눈이오는 날씨 환경 인지, 악천후인지 등을 인식하는 것이 가능하고, 내장된 복수의 영상인식 알고리즘들 중에서 해당 날씨환경에 최적화된 영상인식 알고리즘을 추출하여 적용하는 것이 가능하고, 추출된 영상인식 알고리즘을 통해 영상인식 즉 오브젝트 인식을 수행함에 의해 최적의 영상인식이 가능하도록 할 수 있다. 이 경우 랜덤으로 추출되는 영상인식 알고리즘의 경우나, 하나의 영상인식 알고리즘 만으로 동작하는 경우에 비해, 보다 정확하고 다양한 환경에 적응가능한 영상인식이 가능할 수 있게 된다.
상술한 바와 같이, 본 발명에 따르면, 자율주행차량의 전자제어유닛(ECU)의 레퍼런스 영상에 대한 영상 인식결과데이터와 오브젝트 인식정보를 비교하여, 오류데이터를 생성하여 자율주행차량의 전자제어유닛(ECU)의 영상인식에 대한 학습을 수행할 수 있고, 영상인식 성능을 평가하는 것이 가능하므로, 보다 정확한 영상인식이 가능하고 다양한 환경에 적용가능하며, 영상인식률을 향상시킬 수 있는 장점이 있다.
상기한 실시예의 설명은 본 발명의 더욱 철저한 이해를 위하여 도면을 참조로 예를 든 것에 불과하므로, 본 발명을 한정하는 의미로 해석되어서는 안될 것이다. 또한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기본적 원리를 벗어나지 않는 범위 내에서 다양한 변화와 변경이 가능함은 명백하다 할 것이다.
110 : 메모리부 120 : 제어부
200 : ECU

Claims (17)

  1. 자율주행 차량의 영상인식 학습장치에 있어서:
    상기 자율주행 차량에서 인식의 대상이 되는 오브젝트 정보가 포함된 레퍼런스 영상과, 상기 레퍼런스 영상으로부터 상기 오브젝트 정보를 수동으로 미리 인식한 오브젝트 인식정보를 저장하는 메모리부와;
    영상인식 AI알고리즘이 내장된 상기 자율주행 차량의 전자제어유닛(ECU)에 상기 레퍼런스 영상을 제1차로 제공하여 오브젝트 정보를 인식하도록 하고, 상기 전자제어유닛(ECU)에서 상기 오브젝트 정보를 인식한 인식결과 데이터를 실시간으로 제공받아 상기 오브젝트 인식정보와 비교함에 의해 인식오류 발생지점과 인식오류사항을 포함하는 오류데이터를 생성하고, 상기 오류데이터를 상기 레퍼런스 영상에 메타데이터로 하여 삽입하는 제어부를 구비하고,
    상기 제어부는, 상기 오류데이터가 삽입된 상기 레퍼런스 영상을 제2차로 상기 전자제어유닛(ECU)에 제공하여, 상기 전자제어유닛(ECU)에서 상기 레퍼런스 영상에 삽입된 상기 오류데이터를 인식하여 인식오류 발생지점의 인식오류사항을 수정하는 학습을 수행하도록 하며,
    상기 오브젝트 인식정보는, 자율주행을 위해 영상으로부터 인식이 요구되는 오브젝트 정보의 100%를 수동으로 미리 인식하여 저장된 인식정보임을 특징으로 하는 자율주행 차량의 영상인식 학습장치.
  2. 청구항 1에 있어서,
    상기 오브젝트 정보는, 대상 도로정보, 차량정보, 사람을 포함한 이동객체정보, 장애물정보, 신호등 정보, 표지판 정보, 이벤트정보 중 적어도 하나를 포함함을 특징으로 하는 자율주행 차량의 영상인식 학습장치.
  3. 청구항 1에 있어서,
    상기 레퍼런스 영상은 상기 자율주행 차량에 장착된 카메라로부터 미리 촬영된 영상임을 특징으로 하는 자율주행 차량의 영상인식 학습장치.
  4. 청구항 1에 있어서,
    상기 레퍼런스 영상은 고속도로를 주행하면서 촬영한 고속도로 영상, 도심도로를 주행하면서 촬영한 도심도로 영상, 시골마을 도로를 주행하면서 촬영한 시골도로 영상 및 주변에 유동인구가 많은 도로 영상을 포함하여, 다양한 상황을 반영한 영상들 중 어느 하나임을 특징으로 하는 자율주행 차량의 영상인식 학습장치.
  5. 청구항 1에 있어서,
    상기 레퍼런스 영상에 삽입되는 상기 오류데이터는 카메라 센서의 임베디드 정보가 저장되는 영역에 삽입되는 방식, 블랭크 픽셀 에어리어(blank pixel area)에 삽입되는 방식, 상기 레퍼런스 영상의 각 프레임의 영상인식과 관계없는 부분에 이미지화되어 삽입되는 방식 중 어느 하나의 방식을 이용하여 삽입됨을 특징으로 하는 자율주행 차량의 영상인식 학습장치.
  6. 자율주행 차량의 영상인식 학습방법에 있어서:
    상기 자율주행 차량에서 인식의 대상이 되는 오브젝트 정보가 포함된 레퍼런스 영상과, 상기 레퍼런스 영상으로부터 상기 오브젝트 정보를 수동으로 미리 인식한 오브젝트 인식정보를 메모리부에 저장하는 제1단계와;
    제어부를 통해, 영상인식 AI알고리즘이 내장된 상기 자율주행 차량의 전자제어유닛(ECU)에 상기 레퍼런스 영상을 제1차로 제공하여 오브젝트 정보를 인식하도록 하고, 상기 전자제어유닛(ECU)에서 상기 오브젝트 정보를 인식한 인식결과 데이터를 실시간으로 제공받는 제2단계와;
    상기 제어부에서, 상기 인식결과 데이터를 상기 오브젝트 인식정보와 비교함에 의해 상기 레퍼런스 영상에서의 인식오류 발생지점과 인식오류사항을 포함하는 오류데이터를 생성하고, 상기 오류데이터를 상기 레퍼런스 영상에 메타데이터로 하여 삽입하는 제3단계와;
    상기 제어부에서 상기 오류데이터가 삽입된 상기 레퍼런스 영상을 제2차로 상기 전자제어유닛(ECU)에 제공하면, 상기 전자제어유닛(ECU)에서 상기 레퍼런스 영상에 삽입된 상기 오류데이터를 인식하여 인식오류 발생지점의 인식오류사항을 수정하고 인식능력 개선을 위한 학습을 수행하는 제4단계를 구비하고,
    상기 오브젝트 인식정보는, 자율주행을 위해 인식이 요구되는 오브젝트 정보의 100%를 상기 레퍼런스 영상으로부터 수동으로 미리 인식하여 저장된 인식정보임을 특징으로 하는 자율주행 차량의 영상인식 학습방법.
  7. 청구항 6에 있어서,
    상기 제1단계 또는 상기 제1단계와 상기 제2단계 사이에, 상기 레퍼런스 영상이 생성된 위치나 장소를 나타내는 위치정보 데이터 또는 날씨정보 데이터를, 상기 레퍼런스 영상에 삽입하는 단계를 더 포함하고,
    상기 제2단계에서는, 상기 자율주행 차량의 전자제어유닛(ECU)에서는 제1차로 상기 레퍼런스 영상이 제공되면, 상기 레퍼런스 영상으로부터 상기 위치정보 데이터 또는 날씨정보 데이터를 인식하여, 상기 위치정보 데이터 또는 상기 날씨정보 데이터를 통해 추출된 위치나 장소 또는 날씨에 최적화된 영상인식 알고리즘을 추출하여 상기 레퍼런스 영상의 상기 오브젝트 정보를 인식하는 단계를 더 포함함을 특징으로 하는 자율주행 차량의 영상인식 학습방법.
  8. 청구항 6에 있어서,
    상기 오브젝트 정보는, 대상 도로정보, 차량정보, 사람을 포함한 이동객체정보, 장애물정보, 신호등 정보, 표지판 정보, 이벤트정보 중 적어도 하나를 포함함을 특징으로 하는 자율주행 차량의 영상인식 학습방법.
  9. 청구항 6에 있어서,
    상기 레퍼런스 영상은 상기 자율주행 차량에 장착된 카메라로부터 미리 촬영된 영상 임을 특징으로 하는 자율주행 차량의 영상인식 학습방법.
  10. 청구항 6에 있어서,
    상기 레퍼런스 영상은 고속도로를 주행하면서 촬영한 고속도로 영상, 도심도로를 주행하면서 촬영한 도심도로 영상, 시골마을 도로를 주행하면서 촬영한 시골도로 영상 및 주변에 유동인구가 많은 도로 영상을 포함하여, 다양한 상황을 가정한 영상들 중 어느 하나임을 특징으로 하는 자율주행 차량의 영상인식 학습방법.
  11. 청구항 6에 있어서,
    상기 레퍼런스 영상에 메타데이터로 하여 삽입되는 상기 오류데이터는 카메라 센서의 임베디드 정보가 저장되는 영역에 삽입되는 방식, 블랭크 픽셀 에어리어(blank pixel area)에 삽입되는 방식, 상기 레퍼런스 영상의 각 프레임의 영상인식과 관계없는 부분에 이미지화되어 삽입되는 방식 중 어느 하나의 방식을 이용하여 삽입됨을 특징으로 하는 자율주행 차량의 영상인식 학습방법.
  12. 청구항 6에 있어서,
    상기 제3단계를 통해 생성된 상기 오류데이터를 이용하여 상기 자율주행 차량의 전자제어유닛(ECU)의 영상 인식 성능을 평가하는 평가데이터를 생성하는 단계를 더 포함함을 특징으로 하는 자율주행 차량의 영상인식 학습방법.
  13. 청구항 6에 있어서,
    상기 제4단계를 통한 학습을 수행한 이후에,
    상기 자율주행 차량의 전자제어유닛(ECU)에 상기 레퍼런스 영상을 다시 제공하여 오브젝트 정보를 인식하도록 하고, 상기 전자제어유닛(ECU)에서 상기 오브젝트 정보를 인식한 인식결과 데이터를 실시간으로 제공받아 상기 오브젝트 인식정보와 비교함에 의해, 상기 제4단계의 학습효과를 평가하는 단계를 더 구비함을 특징으로 하는 자율주행 차량의 영상인식 학습방법.
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
KR1020220112025A 2022-09-05 2022-09-05 오류데이터 삽입방식을 이용한 자율주행 차량의 영상인식 학습장치와 이를 이용한 영상인식 학습방법 KR102594384B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220112025A KR102594384B1 (ko) 2022-09-05 2022-09-05 오류데이터 삽입방식을 이용한 자율주행 차량의 영상인식 학습장치와 이를 이용한 영상인식 학습방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220112025A KR102594384B1 (ko) 2022-09-05 2022-09-05 오류데이터 삽입방식을 이용한 자율주행 차량의 영상인식 학습장치와 이를 이용한 영상인식 학습방법

Publications (1)

Publication Number Publication Date
KR102594384B1 true KR102594384B1 (ko) 2023-10-26

Family

ID=88508809

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220112025A KR102594384B1 (ko) 2022-09-05 2022-09-05 오류데이터 삽입방식을 이용한 자율주행 차량의 영상인식 학습장치와 이를 이용한 영상인식 학습방법

Country Status (1)

Country Link
KR (1) KR102594384B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190058863A (ko) * 2017-11-22 2019-05-30 한국도로공사 학습 알고리즘을 이용한 차량번호 인식 시스템 및 그 방법
KR102299564B1 (ko) 2020-08-21 2021-09-08 (주)와토시스 비식별화 영상 데이터를 이용한 인공지능 학습 방법 및 시스템
KR20210133084A (ko) * 2020-04-28 2021-11-05 삼성전자주식회사 뉴럴 네트워크의 학습 방법 및 장치
KR20220098956A (ko) * 2021-01-05 2022-07-12 한국전자통신연구원 자율주행 학습을 위한 합성 이미지 데이터 생성 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190058863A (ko) * 2017-11-22 2019-05-30 한국도로공사 학습 알고리즘을 이용한 차량번호 인식 시스템 및 그 방법
KR20210133084A (ko) * 2020-04-28 2021-11-05 삼성전자주식회사 뉴럴 네트워크의 학습 방법 및 장치
KR102299564B1 (ko) 2020-08-21 2021-09-08 (주)와토시스 비식별화 영상 데이터를 이용한 인공지능 학습 방법 및 시스템
KR20220098956A (ko) * 2021-01-05 2022-07-12 한국전자통신연구원 자율주행 학습을 위한 합성 이미지 데이터 생성 장치 및 방법

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
한국 공개특허공보 제10-2019-0058863호(2019.05.30.) 1부.*
한국 공개특허공보 제10-2021-0133084호(2021.11.05.) 1부.*
한국 공개특허공보 제10-2022-0098956호(2022.07.12.) 1부.*

Similar Documents

Publication Publication Date Title
CN109117709B (zh) 用于自动驾驶车辆的碰撞避免系统
KR102448358B1 (ko) 자율주행 차량들을 위한 카메라 평가 기술들
JP6546271B2 (ja) 画像処理装置、物体検知装置、画像処理方法
US8634593B2 (en) Pixel-based texture-less clear path detection
US20100054539A1 (en) Method and system of identifying one or more features represented in a plurality of sensor acquired data sets
US20050157929A1 (en) Pedestrian detection apparatus
JP7185419B2 (ja) 車両のための、対象物を分類するための方法および装置
KR20210052031A (ko) 딥러닝 기반 교통 흐름 분석 방법 및 시스템
CN107909012B (zh) 一种基于视差图的实时车辆跟踪检测方法与装置
US11250279B2 (en) Generative adversarial network models for small roadway object detection
CN114418895A (zh) 驾驶辅助方法及装置、车载设备及存储介质
JP2009096365A (ja) リスク認識システム
CN112949578B (zh) 车灯状态识别方法、装置、设备及存储介质
US11405761B2 (en) On-board machine vision device for activating vehicular messages from traffic signs
JP2022172444A (ja) 原動機付き車両の走行動作を補助する方法及びアシスト装置並びに原動機付き車両
CN114419603A (zh) 一种自动驾驶车辆控制方法、系统和自动驾驶车辆
CN112949470A (zh) 车辆变道转向灯识别方法、装置、设备及存储介质
KR102594384B1 (ko) 오류데이터 삽입방식을 이용한 자율주행 차량의 영상인식 학습장치와 이를 이용한 영상인식 학습방법
CN112509321A (zh) 一种基于无人机的城市复杂交通情景的驾驶控制方法、系统及可读存储介质
US10735660B2 (en) Method and device for object identification
CN113752940B (zh) 进出隧道车灯控制方法、设备、存储介质及装置
KR20230011774A (ko) 차량의 데이터 기록방법 및 기록시스템
JP4719605B2 (ja) 対象物検出用データ生成装置、方法及びプログラム並びに対象物検出装置、方法及びプログラム
Ravishankaran Impact on how AI in automobile industry has affected the type approval process at RDW
US20240346752A1 (en) Machine learning device and vehicle

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant