KR102548700B1

KR102548700B1 - Ai알고리즘을 이용한 영상처리장치 및 이를 이용한 자율주행 차량의 ecu 성능 검증장치

Info

Publication number: KR102548700B1
Application number: KR1020220083093A
Authority: KR
Inventors: 김상민; 신정훈
Original assignee: 주식회사 셀플러스코리아
Priority date: 2022-07-06
Filing date: 2022-07-06
Publication date: 2023-06-30

Abstract

본 발명은 AI알고리즘을 이용한 영상처리장치 및 이를 이용한 자율주행 차량의 ECU 성능 검증장치에 관한 것으로, 본 발명에 따른 자율주행 차량에 적용되기 위한 AI알고리즘을 이용한 영상처리장치는, 레퍼런스 영상데이터와 오브젝트 인식정보가 저장된 메모리부와; 입력되는 입력영상데이터에 포함된 오브젝트 정보의 인식률 향상을 위한 이미지 프로세싱을 수행하여 처리영상데이터를 생성하고, 상기 처리영상데이터를 상기 자율주행차량의 ECU 장치에 전송하는 이미지 프로세싱부와; 세팅모드에서는 상기 처리영상데이터에 대한 상기 ECU 장치의 상기 오브젝트 정보에 대한 인식률이 일정 인식률 이상이 될 때까지 이미지 프로세싱이 수행되도록 하고, 정상모드에서는 상기 자율주행 차량의 카메라로부터 실시간 촬영되는 영상데이터를 상기 입력영상데이터로 하여 상기 이미지 프로세싱부에 제공되도록 하는 AI알고리즘부를 구비한다.

Description

AI알고리즘을 이용한 영상처리장치 및 이를 이용한 자율주행 차량의 ECU 성능 검증장치{Image signal processor having AI algorithm and ECU Performance Verification apparatus for using the same}

본 발명은 AI알고리즘을 이용한 영상처리장치 및 이를 이용한 자율주행 차량의 ECU 성능 검증장치에 관한 것으로, 보다 구체적으로는, 영상처리장치를 구현하여 자율주행차량에 인식률 향상을 위해 적용할 수 있고, 인식성능을 판단하는 기준을 제공하여 자율주행 차량의 ECU 장치의 인식성능을 검증할 수 있는 AI알고리즘을 이용한 영상처리장치 및 이를 이용한 자율주행 차량의 ECU 성능 검증장치에 관한 것이다.

자율주행 차량이란 운전자가 차량의 주행을 조작하는 것이 아닌 차량 자체적으로 주행을 제어하여 목적지까지 이동하는 차량을 말한다. 자율주행 차량의 구동을 위해서는 운전자를 대신해 주변 환경을 감시하기 위한 다양한 종류의 센서가 필요로 하며, 자율주행 차량은 이를 이용하여 사람, 동물, 다른 차량 및 교통신호등과 같은 대상물을 정확히 인식하고, 인식 후 설정된 상태로 차량이 동작해야만 한다.

특히 다수의 카메라를 이용한 자율주행차량에 대한 관심이 높아지고 있으며, 최근 자율주행 차량과 관련된 연구에서는 사람이나 차량을 인식하기 위해 카메라를 통해 촬영된 영상데이터로부터 오브젝트 정보의 인식 및 위치 측정에 대한 연구가 활발히 이루어지고 있다.

이러한 카메라가 장착된 자율주행차량에서 탑승자의 안전을 위해서는 카메라를 통해 촬영된 영상데이터로부터 오브젝트 정보의 인식이 정상적으로 동작되는지 여부에 대한 성능 검증이 반드시 필요하게 된다.

종래의 경우에는, 자율주행차량의 전자제어유닛(이하 'ECU'라 통칭함.)에서 영상데이터를 통해 오브젝트 정보를 인식하는 성능검증을 수행하는 경우에, 인식오류나 인식저하가 발생되는 경우 이것이 ECU의 알고리즘 문제인지 카메라 영상의 차이로 인한 것인지 판단하기 어렵다는 문제점이 있었다. 또한, 영상 데이터로부터 오브젝트 정보를 인식하는 경우에 인식률이 높은 것인지 낮은 것인지 여부에 대한 기준이 없어 자율주행차량의 ECU 성능을 검증하는데 있어 어려움이 있었다. 즉 일반적으로 자율주행차량의 ECU 성능 검증을 위해서는 비교할 수 있는 기준이 필요하나, 현재까지 자율주행차량의 ECU에서 영상데이터로부터 오브젝트 정보에 대한 인식을 수행하는 경우, 인식 성능이 어느정도 인지여부를 비교할 수 있는 비교군이 없어서 제대로된 성능평가가 이루어지지 못하는 문제점이 있었다.

대한민국 등록특허 제10-2324978호(2021.11.05.)

따라서, 본 발명의 목적은 상기한 종래의 문제점을 극복할 수 있는 AI알고리즘을 이용한 영상처리장치 및 이를 이용한 자율주행 차량의 ECU 성능 검증장치를 제공하는 데 있다.

본 발명의 다른 목적은 영상처리장치를 구성하여, 영상처리장치를 일반적인 자율주행 차량에 적용하여 인식률 성능향상을 꾀하는 것이 가능하고, 영상처리장치를 자율주행 차량의 ECU 장치 성능 검증을 위한 검증장치에 적용하여 일정 성능기준을 통해 검증이 가능한 검증장치를 구현하는 것이 가능한 AI알고리즘을 이용한 영상처리장치 및 이를 이용한 자율주행 차량의 ECU 성능 검증장치를 제공하는 데 있다.

상기한 기술적 과제들의 일부를 달성하기 위한 본 발명의 구체화에 따라, 본 발명에 따른 자율주행 차량에 적용되기 위한 AI알고리즘을 이용한 영상처리장치는, 상기 자율주행 차량에서 인식의 대상이 되는 오브젝트 정보가 포함된 레퍼런스 영상데이터와, 상기 레퍼런스 영상데이터로부터 상기 오브젝트 정보를 수동으로 미리 인식한 오브젝트 인식정보가 저장된 메모리부와; 복수의 이미지 프로세싱 블록들을 구비하며, 입력되는 입력영상데이터에 포함된 오브젝트 정보의 인식률 향상을 위한 이미지 프로세싱을 수행하여 처리영상데이터를 생성하고, 상기 처리영상데이터를 상기 자율주행차량의 ECU 장치에 전송하여 상기 ECU 장치에서 상기 처리영상데이터로부터 상기 오브젝트 정보를 인식하도록 하는 이미지 프로세싱부와; 세팅모드에서는 상기 레퍼런스 영상데이터가 상기 입력영상데이터로 하여 상기 이미지 프로세싱부에 제공되도록 하고, 상기 처리영상데이터에 대한 상기 ECU 장치의 상기 오브젝트 정보에 대한 인식률이 일정 인식률 이상이 될 때까지 상기 복수의 이미지 프로세싱 블록들 중 적어도 하나의 이미지 프로세싱 블록을 이용한 이미지 프로세싱이 수행되도록 하기 위한 프로세싱 보정정보를 반복적으로 갱신하여 상기 이미지 프로세싱부에 제공하고, 상기 ECU 장치의 오브젝트 정보에 대한 인식률이 원하는 인식률에 도달하면 상기 프로세싱 보정정보의 갱신을 완료하고, 갱신이 완료된 프로세싱 보정정보에 따라 이미지 프로세싱이 수행된 상기 처리영상데이터에 대한 이미지 프로세싱 확정정보를 저장하고, 정상모드에서는 상기 자율주행 차량의 카메라로부터 실시간 촬영되는 영상데이터를 상기 입력영상데이터로 하여 상기 이미지 프로세싱부에 제공되도록 하는 AI알고리즘부를 구비하고, 상기 이미지 프로세싱부는, 상기 세팅모드에서는 상기 프로세싱 보정정보에 응답하여 상기 처리영상데이터에 대하여 인식률 향상을 위한 추가 이미지 프로세싱을 수행하는 방식으로 상기 처리영상데이터를 갱신하여 상기 ECU 장치에 전송하고, 상기 정상모드에서는 상기 이미지 프로세싱 확정정보에 따라 이미지 프로세싱을 수행한 처리영상데이터를 상기 ECU 장치에 전송한다.

상기 오브젝트 정보는, 대상 도로정보, 차량정보, 보행자정보, 장애물정보, 신호등 정보, 표지판 정보, 이벤트정보 중 적어도 하나를 포함할 수 있다.

상기 AI 알고리즘부는 머신 러닝 알고리즘 또는 딥 러닝 알고리즘을 이용하여 학습되며, 상기 ECU 장치의 오브젝트 정보에 대한 인식률이 80~100%에 도달할 때까지, 상기 오브젝트 정보의 인식이 부족한 부분에 대한 이미지 프로세싱을 강화하기 위한 상기 프로세싱 보정정보를 반복적으로 갱신할 수 있다.

상기 레퍼런스 영상데이터는 상기 자율주행 차량에 장착된 카메라로부터 미리 촬영된 영상데이터 일 수 있다.

상기 복수의 이미지 프로세싱 블록들은, 블랙 레벨 보정 블록(BLC:Black Level Correction block), 렌즈보정블록(LC:Lens Correction block 또는 LSC:Lens Shading Correction block), 옵티컬 디텍팅 블록(OPD:OPtical Detecting block), 2D 노이즈제거 블록(2DNR:2D Noise Reduction block), 3D 노이즈제거 블록(3DNR:3D Noise Reduction block), 오토 화이트 밸런스 블록(AWB:Auto White Balance block), 와이드 다이나믹 레인지 블록(WDR:Wide Dynamic Range block), 불량 화소 보정 블록(DPC:Defect Pixel Correction block), 컬러 인터폴레이션 블록(CI:Color Interpolation block), 에지 샤프닝 블록(ES:Edge Sharpening block), 색 보정 매트릭스 블록(CCM:Color Correction Matrix block), 명도/대비 조정 블록(BCA:Brightness/Contrast Adjustment block), 명도별 노이즈 제거블록(BNR:Brightness Noise Reduction block), 자동노출조절블록(AE:Auto Exposure block), 에지 매트릭스 블록(EM:Edge Matrix block), 에지필터 블록(EF:Edge Filter block) 에지 강화블록(EE:Edge Enhance block), 디지털 와이드 다이나믹 레인지 블록(DWDR:Digital Wide Dynamic Range block), 컬러 노이즈제거 블록(CS:Chroma Suppression block 또는 CNR:Color Noise Reduction block) 및 감마 보정 블록(GC:Gamma Correction block)을 포함하고, 상기 이미지 프로세싱부는 상기 복수의 이미지 프로세싱 블록들 중 적어도 하나를 이용하여 이미지 프로세싱을 수행할 수 있다.

상기한 기술적 과제들의 일부를 달성하기 위한 본 발명의 다른 구체화에 따라, 본 발명에 따른 자율주행 차량의 ECU 성능 검증장치는, 상기 자율주행 차량에서 인식의 대상이 되는 오브젝트 정보가 포함된 레퍼런스 영상데이터와 상기 레퍼런스 영상데이터로부터 상기 오브젝트 정보를 수동으로 미리 인식한 상기 오브젝트 인식정보가 저장된 메모리와, 이미지 프로세싱을 위한 복수의 이미지 프로세싱 블록들을 구비하고, 상기 레퍼런스 영상데이터에 포함된 상기 오브젝트 정보의 인식률 향상을 위한 이미지 프로세싱을 수행하여 처리영상데이터를 생성하되, 상기 처리 영상데이터에 대한 상기 오브젝트 정보의 인식률이 미리 정해진 수준이 될 때 까지 상기 복수의 이미지 프로세싱 블록들 중 적어도 하나의 이미지 프로세싱 블록을 이용한 이미지 프로세싱을 반복적으로 수행하여 상기 처리 영상데이터를 갱신하여 제공하는 영상처리부와; 상기 오브젝트 정보의 인식과 관련되어 자율주행 차량들 각각의 ECU에 공통적으로 포함된 기능을 가지도록 설계되어, 상기 오브젝트 정보의 인식률이 미리 정해진 수준이 될 때까지 갱신되는 상기 처리 영상데이터로부터 반복적으로 상기 오브젝트 정보에 대한 인식을 수행하는 표준화 영상인식부와; 상기 표준화 영상인식부에서 상기 처리 영상데이터에 대한 상기 오브젝트 정보의 인식률이 미리 정해진 수준이 되어 최종적으로 갱신된 상기 처리 영상데이터를 검증대상인 자율주행 차량의 ECU장치에 제공하여 상기 오브젝트 정보를 인식하도록 하고, 상기 자율주행 차량의 ECU장치의 상기 오브젝트 정보 인식률을 상기 표준화 영상인식부의 인식률과 비교함에 의해 상기 자율주행 차량의 ECU장치의 성능을 검증하는 검증부를 구비한다.

상기 영상처리부를 통한 상기 처리 영상데이터의 갱신은, 상기 표준화 영상인식부를 통한 상기 오브젝트 정보에 대한 인식률이 80~100%에 도달할 때까지 수행될 수 있다.

상기 검증부는, 제1차적으로, 상기 레퍼런스 영상데이터를 상기 표준화 영상인식부 및 상기 자율주행 차량의 ECU장치에 제공하여 상기 오브젝트 정보에 대한 인식률을 비교하고, 제2차적으로, 최종적으로 갱신된 상기 처리 영상데이터를 상기 자율주행 차량의 ECU장치에 제공하고, 상기 표준화 영상인식부 및 상기 자율주행 차량의 ECU장치의 상기 오브젝트 정보에 대한 인식률을 비교하여, 각각의 인식률 개선정도를 비교하는 방식으로 상기 자율주행 차량의 ECU장치의 성능을 검증할 수 있다.

상기 영상처리부는, 상기 메모리를 포함하는 메모리부와; 복수의 이미지 프로세싱 블록들을 구비하며, 입력되는 입력영상데이터에 포함된 상기 오브젝트 정보의 인식률 향상을 위한 이미지 프로세싱을 수행하여 처리영상데이터를 생성하고, 상기 처리영상데이터를 상기 표준화 영상인식부에 전송하여 상기 표준화 영상인식부에서 상기 처리영상데이터로부터 상기 오브젝트 정보를 인식하도록 하는 이미지 프로세싱부와; 상기 레퍼런스 영상데이터가 상기 입력영상데이터로 하여 상기 이미지 프로세싱부에 제공되도록 하고, 상기 처리영상데이터에 대한 상기 표준화 영상인식부의 상기 오브젝트 정보에 대한 인식률이 일정 인식률 이상이 될 때까지 상기 복수의 이미지 프로세싱 블록들 중 적어도 하나의 이미지 프로세싱 블록을 이용한 이미지 프로세싱이 수행되도록 하기 위한 프로세싱 보정정보를 반복적으로 갱신하여 상기 이미지 프로세싱부에 제공하고, 상기 표준화 영상인식부의 오브젝트 정보에 대한 인식률이 원하는 인식률에 도달하면 상기 프로세싱 보정정보의 갱신을 완료하고, 갱신이 완료된 프로세싱 보정정보에 따라 이미지 프로세싱이 수행된 상기 처리영상데이터에 대한 이미지 프로세싱 확정정보를 저장하는 AI알고리즘부를 구비하고, 상기 이미지 프로세싱부는, 상기 프로세싱 보정정보가 전송되면 이에 응답하여 상기 처리영상데이터에 대하여 인식률 향상을 위한 추가 이미지 프로세싱을 수행하는 방식으로 상기 처리영상데이터를 갱신하여 상기 표준화 영상인식부에 제공하고, 상기 이미지 프로세싱 확정정보가 전송되면, 상기 이미지 프로세싱 확정정보에 따라 최종적으로 갱신된 상기 처리 영상데이터를 검증대상인 상기 자율주행 차량의 ECU장치에 제공할 수 있다.

상기 영상처리부는 상기 자율주행 차량의 카메라로부터 실시간 촬영되는 영상데이터에 대하여 상기 이미지 프로세싱 확정정보에 따라 이미지 프로세싱을 수행하여 상기 자율주행 차량의 ECU장치 및 상기 표준화 영상인식부에 제공하고, 상기 검증부는 상기 자율주행 차량의 ECU장치 및 상기 표준화 영상인식부에서의 상기 오브젝트 정보에 대한 인식률을 비교함에 의해 상기 자율주행 차량의 ECU 성능을 검증할 수 있다.

본 발명에 따르면, 영상처리장치를 구성하여, 상기 영상처리장치를 일반적인 자율주행 차량에 적용하여 인식률 성능향상을 꾀하는 것이 가능하고, 상기 영상처리장치를 자율주행 차량의 ECU 장치 성능 검증을 위한 검증장치에 적용하여 일정 성능기준을 통해 검증이 가능한 검증장치를 구현하는 것이 가능한 장점이 있다.

도 1은 본 발명의 일 실시예에 따른 AI알고리즘을 이용한 영상처리장치의 개략적 블록도이고,
도 2는 도 1의 영상처리장치의 동작순서도를 나타낸 것이고,
도 3은 본 발명에 따른 자율주행차량의 ECU 성능 검증장치의 블록도를 나타낸 것이고,
도 4는 도 3의 영상처리부의 내부 구성 블록도이고,
도 5는 도 3의 자율주행차량의 ECU 성능 검증장치의 동작순서도를 나타낸 것이다.

이하에서는 본 발명의 바람직한 실시예가, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명의 철저한 이해를 제공할 의도 외에는 다른 의도 없이, 첨부한 도면들을 참조로 하여 상세히 설명될 것이다.

도 1은 본 발명의 일 실시예에 따른 AI알고리즘을 이용한 영상처리장치(100)의 개략적 블록도이다.

일반적으로 영상처리 장치를 자율주행 차량에 적용하는 경우에, 별도의 최적화 절차없이 영상처리 장치를 자율주행차량에 적용하여 왔다. 이 경우 자율주행 차량의 카메라의 상태나 기능에 따라 영상인식률에 영향을 미칠 수 있다는 문제점이 있다. 이러한 문제점의 해결을 위해 영상처리장치를 자율주행 차량에 적용하는 경우에, 자율주행 차량에 장착된 카메라의 상태나 기능에 최적화된 영상처리가 필요하게 된다. 본 발명의 AI알고리즘을 이용한 영상처리장치는 이를 위한 것으로, 레퍼런스 영상 데이터를 이용하여 오브젝트 정보의 인식률을 최적화된 상태로 향상시켜 영상처리의 최적화된 상태를 가지도록 한 상태에서 실시간 영상에 대한 영상처리가 수행되도록 하기 위한 것이다.

도 1에 도시된 바와 같이, 본 발명에 따른 AI알고리즘을 이용한 영상처리장치(100)는 자율주행 차량에 적용되기 위한 것으로, 메모리부(110), 이미지프로세싱부(120), AI알고리즘부(130)를 구비한다.

상기 메모리부(110)는 레퍼런스 영상데이터와 상기 레퍼런스 영상데이터에 포함되어 있는 오브젝트 정보를 인식한 오브젝트 인식정보를 저장한다. 상기 레퍼런스 영상데이터는 카메라 영상을 포함하는 것으로, 자율주행 차량에 장착되는 카메라로부터 촬영된 영상데이터와 동일 포맷을 가지는 영상데이터 일 수 있다. 바람직하게는, 상기 영상처리장치(100)가 적용되도록 선택된 자율주행차량에 장착된 카메라로부터 촬영된 영상데이터일 수 있다.

상기 레퍼런스 영상데이터는 임의의 선정된 영상데이터를 사용하는 것도 가능하지만, 상기 영상처리 장치(100)가 적용될 예정인 자율주행 차량에 장착된 카메라로부터 촬영된 영상데이터를 레퍼런스 영상데이터로 사용하게 되면, 상기 자율주행 차량에 장착된 카메라에 최적화된 영상처리가 가능하게 된다.

상기 오브젝트 정보는 상기 레퍼런스 영상데이터에 포함되어 있으며, 자율주행을 위해 자율주행 차량에서 인식되어야 하는 오브젝트에 대한 정보가 포함될 수 있다. 상기 오브젝트 정보는, 상기 레퍼런스 영상데이터에 포함되어 있으며, 인식의 대상이 되는 대상 도로정보, 차량정보, 보행자정보, 장애물정보, 신호등 정보, 표지판 정보, 이벤트정보 중 적어도 하나를 포함할 수 있다. 또한 상기 오브젝트 정보는 대상 도로정보, 차량정보, 보행자정보, 장애물정보, 신호등 정보, 표지판 정보, 이벤트정보의 위치정보나 색상정보 등을 포함할 수도 있다. 이외에 자율주행을 위해 카메라 촬영 영상데이터로부터 인식이 필요하다고 알려져 있는 정보를 포함할 수 있다.

상기 메모리부(110)에 저장되는 상기 오브젝트 인식정보는, 상기 레퍼런스 영상 데이터를 육안으로 인식하여 확인하는 수동방식 등에 의해 상기 오브젝트 정보를 미리 인식하여 저장된 오브젝트 인식 정보를 의미할 수 있다. 즉 상기 오브젝트 인식정보는 자율주행을 위해 카메라 촬영 영상데이터로부터 인식이 필요하다고 알려져 있는 정보의 100%를 수동방식 등에 의해 미리 인식하여 저장된 정보를 의미할 수 있다.

상기 이미지 프로세싱부(120)는 입력되는 입력영상데이터에 포함된 오브젝트 정보의 인식률 향상을 위한 이미지 프로세싱을 수행하여 처리영상데이터를 생성하고, 상기 처리영상데이터를 상기 자율주행차량의 ECU 장치(200)에 전송하여 상기 ECU 장치(200)에서 상기 처리영상데이터로부터 상기 오브젝트 정보를 인식하도록 하게 된다. 상기 이미지 프로세싱부(120)는 복수의 이미지 프로세싱 블록들을 구비하고, 상기 복수의 이미지 프로세싱 블록들 중 적어도 하나의 이미지 프로세싱 블록들을 이용하여 이미지 프로세싱을 수행한다.

상기 자율주행 차량의 ECU 장치(200)는 자동차의 전반적인 동작을 제어하는 장치로서, 자율주행 차량의 경우에는 오브젝트 정보를 인식하는 중요한 역할을 수행하는 것으로 알려져 있다. 자율주행 차량에서 상기 ECU 장치 이외에 상기 오브젝트 정보를 인식하는 다른 장치가 있다면 이는 상기 ECU 장치(200)에 포함되는 것으로 이해되어야 하며, 상기 ECU 장치(200)는 자율주행차량에서 영상데이터로부터 오브젝트 정보 인식과 관련된 모든 구성이나 장치를 포함하는 개념으로 이해되어야 한다.

상기 이미지 프로세싱부(120)는 상기 AI알고리즘부(130)의 제어에 의해 세팅모드와 정상모드로 동작하게 된다.

상기 이미지 프로세싱부(120)는, 상기 세팅모드에서는 상기 레퍼런스 영상데이터가 상기 입력영상데이터로 하여 제공되고, 상기 AI 알고리즘부(130)에서 반복적으로 갱신되는 프로세싱 보정정보에 응답하여 상기 처리영상데이터에 대하여 인식률 향상을 위한 추가 이미지 프로세싱을 수행하는 방식으로 상기 처리영상데이터를 갱신하여 상기 ECU 장치(200)에 전송하고, 상기 정상모드에서는 이미지 프로세싱 확정정보에 따라 이미지 프로세싱을 수행한 처리영상데이터를 상기 ECU 장치(200)에 전송한다.

상기 복수의 이미지 프로세싱 블록들은, 블랙 레벨 보정 블록(BLC:Black Level Correction block), 렌즈보정블록(LC:Lens Correction block 또는 LSC:Lens Shading Correction block), 옵티컬 디텍팅 블록(OPD:OPtical Detecting block), 2D 노이즈제거 블록(2DNR:2D Noise Reduction block), 3D 노이즈제거 블록(3DNR:3D Noise Reduction block), 오토 화이트 밸런스 블록(AWB:Auto White Balance block), 와이드 다이나믹 레인지 블록(WDR:Wide Dynamic Range block), 불량 화소 보정 블록(DPC:Defect Pixel Correction block), 컬러 인터폴레이션 블록(CI:Color Interpolation block), 에지 샤프닝 블록(ES:Edge Sharpening block), 색 보정 매트릭스 블록(CCM:Color Correction Matrix block), 명도/대비 조정 블록(BCA:Brightness/Contrast Adjustment block), 명도별 노이즈 제거블록(BNR:Brightness Noise Reduction block), 자동노출조절블록(AE:Auto Exposure block), 에지 매트릭스 블록(EM:Edge Matrix block), 에지필터 블록(EF:Edge Filter block) 에지 강화블록(EE:Edge Enhance block), 디지털 와이드 다이나믹 레인지 블록(DWDR:Digital Wide Dynamic Range block), 컬러 노이즈제거 블록(CS:Chroma Suppression block 또는 CNR:Color Noise Reduction block) 및 감마 보정 블록(GC:Gamma Correction block)을 포함할 수 있다. 이외에도 이미지 프로세싱 블록으로 통상의 기술자에게 잘 알려진 블록이 포함될 수 있다. 상술한 이미지 프로세싱 블록들 각각의 기능은 통상의 기술자에게 잘 알려져 있으므로 더 이상의 설명을 생략한다.

이러한 이미지 프로세싱 블록들 각각은 이미지 프로세싱을 위한 보정작업이 가능한 구성을 가지고 있고, 각 블록은 조정이 가능한 레지스터로 구성되어 있다. 또한 대부분의 이미지 프로세싱 블록들은 증감, 선택 형태로 구성되어 통신을 기반으로 설정이 변경되어 외부에서 컨트롤 가능한 구성을 가지고 있다. 따라서, 이미지 프로세싱을 수행함에 있어, 각 블록들의 순서를 변경하거나, 복수의 블록들 중 필요한 블록만을 선택하거나, 선택된 블록의 개수를 증감하거나, 선택된 블록의 레지스터의 정보를 조정함에 의해 상기 오브젝트 정보에 대한 인식률을 높이기 위한 이미지 프로세싱을 수행하는 것이 가능하다. 이에 따라, 영상데이터에 포함되어 있는 오브젝트 정보들 중에서 특정 위치의 오브젝트 정보에 대한 인식정도가 낮거나, 인식이 되지 않는 경우에 해당 오브젝트가 위치한 이미지 부분에 대한 이미지 프로세싱을 수행하여 인식률을 높이는 것이 가능하고, 특정 색깔이나 특정 모양을 가지는 오브젝트에 대한 인식률이 낮거나 인식이 되지 않는 경우에 해당 색깔이나 모양에 대한 이미지 프로세싱을 수행하여 인식률을 높이는 것이 가능하다.

상기 AI알고리즘부(130)는 세팅모드에서는, 상기 이미지 프로세싱부(120)에서 이미지 프로세싱된 상기 처리영상데이터에 대한 상기 ECU 장치(200)의 상기 오브젝트 정보에 대한 인식률이 일정 인식률 이상이 될 때까지 추가적인 이미지 프로세싱이 수행되도록 하기 위한 프로세싱 보정정보를 반복적으로 갱신하여 상기 이미지 프로세싱부(120)에 제공하게 된다. 여기서 프로세싱 보정정보는 상기 오브젝트 정보에 대한 인식정도가 낮거나 인식이 되지 않은 부분(이를 통칭하여 '인식이 부족한 부분'이라 칭함.)에 대한 이미지 프로세싱을 강화하여 인식률을 향상시키기 위한 이미지 프로세싱 정보(예를 들면, 각 블록들의 순서를 변경하거나, 복수의 블록들 중 필요한 블록만을 선택 또는 증감하거나, 선택된 블록의 레지스터를 조정하는 정보 등)를 의미할 수 있다.

상기 ECU 장치(200)의 오브젝트 정보에 대한 인식률이 원하는 인식률에 도달하면 상기 프로세싱 보정정보의 갱신을 완료하고, 갱신이 완료된 프로세싱 보정정보에 따라 이미지 프로세싱이 수행된 상기 처리영상데이터에 대한 이미지 프로세싱 확정정보를 저장한다. 여기서 이미지 프로세싱 확정정보는 최종적으로 이미지 프로세싱이 수행된 상기 처리 영상데이터에 대한 이미지 프로세싱 정보를 의미할 수 있다. 즉 상기 레퍼런스 영상데이터에 대한 상기 이미지 프로세싱 확정정보가 반영된 이미지 프로세싱을 수행하는 경우 상기 ECU 장치(200)의 오브젝트 정보에 대한 인식률이 원하는 인식률에 도달한다고 평가되는 이미지 프로세싱 정보를 의미할 수 있다.

그리고, 상기 AI알고리즘부(130)는 정상모드에서는 상기 자율주행 차량의 카메라로부터 실시간 촬영되는 영상데이터를 상기 입력영상데이터로 하여 상기 이미지 프로세싱부(120)에 제공되도록 하여 자율주행 차량에 적용되도록 한다.

상기 AI 알고리즘부(130)는 머신 러닝 알고리즘 또는 딥 러닝 알고리즘을 이용하여 학습되며, 상기 세팅모드에서 상기 ECU 장치(200)의 오브젝트 정보에 대한 인식률이 80~100%에 도달할 때까지 상기 프로세싱 보정정보를 반복적으로 갱신하게 되고, 상기 프로세싱 보정정보에 따라 이미지 프로세싱이 되도록 상기 이미지 프로세싱부(130)를 제어하고, 인식률이 80~100%에 도달하게 되면, 정상모드로 전환하여 상기 이미지 프로세싱 확정정보에 따라 이미지 프로세싱이 되도록 상기 이미지 프로세싱부(130)를 제어하게 된다.

이하 도 2를 통해 도 1의 영상처리장치의 동작을 설명하면 다음과 같다.

도 2는 도 1의 영상처리장치의 동작순서도를 나타낸 것이다.

도 2에 도시된 바와 같이, 본 발명의 제1 실시예에 따른 AI알고리즘을 이용한 영상처리장치(100)는, 우선 세팅모드로 동작을 수행하게 된다(S110).

세팅모드에서 상기 메모리부(110)에 미리 저장되어 있는 상기 레퍼런스 영상데이터가 상기 이미지 프로세싱부(120)에 입력영상데이터로 하여 입력된다(S112).

상기 이미지 프로세싱부(120)에서는 입력되는 입력영상데이터에 포함된 상기 오브젝트 정보의 인식률 향상을 위한 이미지 프로세싱을 수행하여 처리영상데이터를 생성한다(S114).

이후 상기 처리영상데이터는 상기 자율주행차량의 ECU 장치(200)에 전송되며, 상기 ECU 장치(200)에서 상기 처리영상데이터로부터 상기 오브젝트 정보를 인식하도록 하게 된다(S116).

이후 상기 AI 알고리즘부(130)에서는 상기 ECU 장치(200)에서 오브젝트 정보를 인식한 인식정보를 상기 메모리부(110)에 미리 저장되어 있는 상기 오브젝트 인식정보와 비교하여 상기 오브젝트 정보에 대한 인식률을 계산하여 상기 인식률이 일정 인식률(대략 80~100%) 이상인지 여부를 판단하게 된다(S118).

상기 ECU 장치(200)의 오브젝트 정보에 대한 인식률이 일정 인식률 미만 인 경우에는(No), 상기 오브젝트 인식정보를 토대로 하여 인식이 부족한 부분(또는 위치)을 판단하고(S130), 상기 오브젝트 정보에 대한 인식이 부족한 부분에 대한 인식률을 향상시키기 위한 프로세싱 보정정보를 생성하게 되고, 이미 생성된 프로세싱 보정정보가 있으면 이를 보강하여 갱신하게 된다(S132).

상기 프로세싱 보정정보는 상기 이미지 프로세싱부(120)로 제공되고, 상기 이미지 프로세싱부(120)에서는 상기 프로세싱 보정정보에 응답하여 상기 처리영상데이터에 대하여 인식률 향상을 위한 추가 이미지 프로세싱을 수행하는 방식으로 상기 처리영상데이터를 갱신하여(S114) 상기 ECU 장치(200)에 전송하게 된다.

이후 상기 ECU 장치(200)에서 갱신된 상기 처리영상데이터로부터 상기 오브젝트 정보를 인식하도록 하게 되고(S116), 상기 AI 알고리즘부(130)에서는 상기 ECU 장치(200)에서 오브젝트 정보를 인식한 인식정보를 상기 메모리부(110)에 미리 저장되어 있는 상기 오브젝트 인식정보와 비교하여 상기 오브젝트 정보에 대한 인식률을 계산하여 상기 인식률이 일정 인식률(대략 80~100%) 이상인지 여부를 판단하게 된다(S118).

이러한 과정(S114-S116-S118-S130-S132-S114의 순환과정)은 상기 처리영상데이터에 대한 상기 ECU 장치(200)의 상기 오브젝트 정보에 대한 인식률이 일정 인식률 이상이 될 때까지 반복적으로 계속되게 된다.

이후 상기 ECU 장치(200)의 오브젝트 정보에 대한 인식률이 원하는 인식률에 도달하면(Yes), 상기 AI 알고리즘부(130)에서는 상기 프로세싱 보정정보의 갱신을 완료하고, 갱신이 완료된 프로세싱 보정정보에 따라 이미지 프로세싱이 수행된 상기 처리영상데이터에 대한 이미지 프로세싱 확정정보를 저장한다(S120).

이렇게 세팅모드가 종료되며, 이후에 정상모드가 시작되면(S122), 정상모드에서는 상기 AI 알고리즘부(130)는, 상기 자율주행 차량에 실제 장착된 카메라(미도시)로부터 실시간 촬영되는 영상데이터를 상기 입력영상데이터로 하여 상기 이미지 프로세싱부(120)에 제공되도록 한다(S124). 이 경우 상기 이미지 프로세싱부(120)에서는 상기 이미지 프로세싱 확정정보에 따라 상기 이미지 프로세싱 블록들을 이용하여 이미지 프로세싱을 수행한 처리 영상데이터를 상기 ECU 장치(200)에 제공하여 오브젝트 정보를 인식하도록 하게 된다(S126). 이 경우 자율주행 차량의 카메라 및 자율주행 차량에 최적화된 영상처리를 통해 자율주행이 가능하게 된다(S128).

상술한 바와 같이, 본 발명에 따르면, 영상처리장치를 자율주행 차량에 채택하는 경우에, 자율주행 차량에 장착된 카메라나 ECU장치에 최적화된 영상처리를 수행하는 것이 가능하다는 장점이 있다.

도 3은 영상처리장치를 이용하여 자율주행차량의 ECU 성능을 검증하기 위한 것으로, 본 발명에 따른 자율주행차량의 ECU 성능 검증장치의 블록도를 나타낸 것이다.

일반적으로 자율주행차량의 ECU 성능 검증을 위해서는 비교할 수 있는 기준이 필요하나, 현재까지 자율주행차량의 ECU에서 영상데이터로부터 오브젝트 정보에 대한 인식을 수행하는 경우, 인식 성능이 어느 정도 인지여부를 비교할 수 있는 비교할 수 있는 기준이 없어서 제대로 된 성능평가가 이루어지지 못하는 문제점이 있었다.

도 3에 도시된 바와 같이, 본 발명에 따른 자율주행차량의 ECU 성능 검증장치(300)는 검증대상 ECU장치(420)를 검증하기 위해, 영상처리부(310), 표준화 영상인식부(320) 및 검증부(330)를 구비한다.

상기 영상처리부(310)는 상기 자율주행 차량에서 인식의 대상이 되는 오브젝트 정보가 포함된 레퍼런스 영상데이터와 상기 레퍼런스 영상데이터로부터 상기 오브젝트 정보를 수동으로 미리 인식한 상기 오브젝트 인식정보가 저장된 메모리와, 이미지 프로세싱을 위한 복수의 이미지 프로세싱 블록들을 구비하는 구성을 가진다. 상기 영상처리부(310)는 상기 레퍼런스 영상 데이터를 입력 영상데이터로 하여 상기 오브젝트 정보의 인식률 향상을 위한 이미지 프로세싱을 수행하여 처리영상데이터를 생성하되, 상기 처리 영상데이터에 대한 상기 오브젝트 정보의 인식률이 미리 정해진 수준이 될 때 까지 상기 복수의 이미지 프로세싱 블록들 중 적어도 하나의 이미지 프로세싱 블록을 이용한 이미지 프로세싱을 반복적으로 수행하여 상기 처리 영상데이터를 반복적으로 갱신하여 제공하게 된다.

상기 영상처리부(310)는 도 4에 도시된 바와 같이, 메모리부(312), 이미지프로세싱부(314), AI알고리즘부(316)를 구비한다.

상기 메모리부(312)는 메모리를 구비하여 상기 레퍼런스 영상데이터와 상기 레퍼런스 영상데이터에 포함되어 있는 오브젝트 정보를 인식한 오브젝트 인식정보를 저장한다. 상기 레퍼런스 영상데이터는 카메라 영상을 포함하는 것으로, 자율주행 차량에 장착되는 카메라로부터 촬영된 영상데이터와 동일 포맷을 가지는 영상데이터 일 수 있다. 바람직하게는, 상기 검증대상 ECU 장치(420)를 구비하는 자율주행 차량에 장착된 카메라(410)로부터 미리 촬영된 영상데이터일 수 있다.

상기 레퍼런스 영상데이터는 임의의 선정된 영상데이터를 사용하는 것도 가능하지만, 상기 검증대상 ECU 장치(420)를 구비하는 자율주행 차량에 장착된 카메라(410)로부터 촬영된 영상데이터를 레퍼런스 영상데이터로 사용하게 되면, 상기 자율주행 차량에 장착된 카메라(410)에 최적화된 영상처리가 가능하게 된다.

상기 메모리부(312)에 저장되는 상기 오브젝트 인식정보는, 상기 레퍼런스 영상 데이터를 육안으로 인식하여 확인하는 수동방식 등에 의해 상기 오브젝트 정보를 미리 인식하여 저장된 오브젝트 인식 정보를 의미할 수 있다. 즉 상기 오브젝트 인식정보는 자율주행을 위해 카메라 촬영 영상데이터로부터 인식이 필요하다고 알려져 있는 정보의 100%를 수동방식 등에 의해 미리 인식하여 저장된 정보를 의미할 수 있다.

상기 이미지 프로세싱부(314)는 입력되는 상기 레퍼런스 영상데이터에 포함된 오브젝트 정보의 인식률 향상을 위한 이미지 프로세싱을 수행하여 처리영상데이터를 생성하고, 상기 처리영상데이터를 상기 표준화 영상인식부(320)에 전송하여 상기 표준화 영상인식부(320)에서 상기 처리영상데이터로부터 상기 오브젝트 정보를 인식하도록 하게 된다. 상기 이미지 프로세싱부(312)는 복수의 이미지 프로세싱 블록들을 구비하고, 상기 복수의 이미지 프로세싱 블록들 중 적어도 하나의 이미지 프로세싱 블록들을 이용하여 이미지 프로세싱을 수행한다.

상기 이미지 프로세싱부(314)는 상기 레퍼런스 영상데이터가 상기 입력영상데이터로 하여 제공되면, 상기 AI 알고리즘부(316)에서 반복적으로 갱신되는 프로세싱 보정정보에 응답하여 상기 처리영상데이터에 대하여 인식률 향상을 위한 추가 이미지 프로세싱을 수행하는 방식으로 상기 처리영상데이터를 갱신하여 상기 표준화 영상인식부(320)에 전송한다.

상기 AI알고리즘부(316)는 상기 이미지 프로세싱부(314)에서 이미지 프로세싱된 상기 처리영상데이터에 대한 상기 표준화 영상인식부(320)에서의 상기 오브젝트 정보에 대한 인식률이 일정 인식률 이상이 될 때까지 추가적인 이미지 프로세싱이 수행되도록 하기 위한 프로세싱 보정정보를 반복적으로 갱신하여 상기 이미지 프로세싱부(314)에 제공하게 된다. 여기서 프로세싱 보정정보는 상기 오브젝트 정보에 대한 인식정도가 낮거나 인식이 되지 않은 부분(이를 통칭하여 '인식이 부족한 부분'이라 칭함.)에 대한 이미지 프로세싱을 강화하여 인식률을 향상시키기 위한 이미지 프로세싱 정보(예를 들면, 각 블록들의 순서를 변경하거나, 복수의 블록들 중 필요한 블록만을 선택 또는 증감하거나, 선택된 블록의 레지스터를 조정하는 정보 등)를 의미할 수 있다.

상기 AI알고리즘부(316)는 상기 표준화 영상인식부(320)에서의 오브젝트 정보에 대한 인식률이 원하는 인식률에 도달하면 상기 프로세싱 보정정보의 갱신을 완료하고, 갱신이 완료된 프로세싱 보정정보에 따라 이미지 프로세싱이 수행된 상기 처리영상데이터에 대한 이미지 프로세싱 확정정보를 저장한다. 여기서 이미지 프로세싱 확정정보는 최종적으로 이미지 프로세싱이 수행된 상기 처리 영상데이터에 대한 이미지 프로세싱 정보를 의미할 수 있다. 즉 상기 레퍼런스 영상데이터에 대한 상기 이미지 프로세싱 확정정보가 반영된 이미지 프로세싱을 수행하는 경우 상기 표준화 영상인식부(320)에서의 오브젝트 정보에 대한 인식률이 원하는 인식률에 도달한다고 평가되는 이미지 프로세싱 정보를 의미할 수 있다.

상기 AI 알고리즘부(316)는 머신 러닝 알고리즘 또는 딥 러닝 알고리즘을 이용하여 학습되며, 상기 표준화 영상인식부(320)에서의 오브젝트 정보에 대한 인식률이 80~100%에 도달할 때까지 상기 프로세싱 보정정보를 반복적으로 갱신하게 되고, 상기 프로세싱 보정정보에 따라 이미지 프로세싱이 되도록 상기 이미지 프로세싱부(314)를 제어하고, 인식률이 80~100%에 도달하게 되면, 상기 이미지 프로세싱 확정정보를 저장하고 이에 따라 이미지 프로세싱이 되도록 상기 이미지 프로세싱부(314)를 제어하게 된다.

상기 영상처리부(310)의 동작을 살펴보면, 우선적으로, 상기 메모리부(312)에 미리 저장되어 있는 상기 레퍼런스 영상데이터가 상기 이미지 프로세싱부(314)에 입력영상데이터로 하여 입력된다. 상기 이미지 프로세싱부(314)에서는 입력되는 입력영상데이터에 포함된 상기 오브젝트 정보의 인식률 향상을 위한 이미지 프로세싱을 수행하여 처리영상데이터를 생성한다. 이후 상기 처리영상데이터는 상기 표준화 영상인식부(320)에 전송되며, 상기 표준화 영상인식부(320)에서 상기 처리영상데이터로부터 상기 오브젝트 정보를 인식하도록 하게 된다.

이후 상기 AI 알고리즘부(316)에서는 상기 표준화 영상인식부(320)에서 오브젝트 정보를 인식한 인식정보를 상기 메모리부(312)에 미리 저장되어 있는 상기 오브젝트 인식정보와 비교하여 상기 오브젝트 정보에 대한 인식률을 계산하여 상기 인식률이 일정 인식률(대략 80~100%) 이상인지 여부를 판단하게 된다.

상기 표준화 영상인식부(320)의 오브젝트 정보에 대한 인식률이 일정 인식률 미만 인 경우에는, 상기 오브젝트 인식정보를 토대로 하여 인식이 부족한 부분(또는 위치)을 판단하고, 상기 오브젝트 정보에 대한 인식이 부족한 부분에 대한 인식률을 향상시키기 위한 프로세싱 보정정보를 생성하게 되고, 이미 생성된 프로세싱 보정정보가 있으면 이를 보강하여 갱신하게 된다. 상기 프로세싱 보정정보는 상기 이미지 프로세싱부(314)로 제공되고, 상기 이미지 프로세싱부(314)에서는 상기 프로세싱 보정정보에 응답하여 상기 처리영상데이터에 대하여 인식률 향상을 위한 추가 이미지 프로세싱을 수행하는 방식으로 상기 처리영상데이터를 갱신하여 상기 표준화 영상인식부(320)에 전송하게 된다.

이후 상기 표준화 영상인식부(320)에서 갱신된 상기 처리영상데이터로부터 상기 오브젝트 정보를 인식하도록 하게 되고, 상기 AI 알고리즘부(316)에서는 상기 표준화 영상인식부(320)에서 오브젝트 정보를 인식한 인식정보를 상기 메모리부(312)에 미리 저장되어 있는 상기 오브젝트 인식정보와 비교하여 상기 오브젝트 정보에 대한 인식률을 계산하여 상기 인식률이 일정 인식률(대략 80~100%) 이상인지 여부를 판단하게 된다. 이러한 순환과정은 상기 처리영상데이터에 대한 상기 표준화 영상인식부(320)의 상기 오브젝트 정보에 대한 인식률이 일정 인식률 이상이 될 때까지 반복적으로 계속되게 된다.

이후 상기 표준화 영상인식부(320)의 오브젝트 정보에 대한 인식률이 원하는 인식률에 도달하면, 상기 AI 알고리즘부(316)에서는 상기 프로세싱 보정정보의 갱신을 완료하고, 갱신이 완료된 프로세싱 보정정보에 따라 이미지 프로세싱이 최종적으로 수행된 상기 처리영상데이터에 대한 이미지 프로세싱 확정정보를 저장한다.

상기 표준화 영상인식부(320)는 상기 오브젝트 정보 인식과 관련되어 자율주행 차량들 각각의 ECU장치에 공통적으로 포함된 기능을 가지도록 설계되어, 상기 오브젝트 정보의 인식률이 미리 정해진 수준이 될 때까지 갱신되는 상기 처리 영상데이터로부터 반복적으로 상기 오브젝트 정보에 대한 인식을 수행하게 된다. 상기 표준화 영상인식부(320)는 일반적인 자율주행 차량들 각각의 ECU 장치들 중에서 검증용으로 선택된 ECU 장치를 포함하는 것도 가능하고, 별도로 설계되는 것도 가능하다. 또한 상기 표준화 영상인식부(320)는 일반적으로 자동차의 자율주행 성능 검사시 기준으로 선택되는 ECU 장치를 포함할 수 있다.

상기 검증부(330)는 상기 표준화 영상인식부(320)에서 상기 처리 영상데이터에 대한 상기 오브젝트 정보의 인식률이 미리 정해진 수준이 되면, 최종적으로 갱신된 상기 처리 영상데이터(즉, 인식률이 미리 정해진 수준 이상으로 됐을 때에 갱신된 처리영상데이터)를 검증대상인 상기 자율주행 차량의 ECU장치(420)에 제공하여 상기 오브젝트 정보를 인식하도록 한다.

검증대상인 상기 자율주행 차량의 ECU장치(420)에서 상기 최종 갱신된 처리영상 데이터로부터 상기 오브젝트 정보를 인식하게 되면, 상기 자율주행 차량의 ECU장치(420)의 상기 오브젝트 정보의 인식률을 상기 표준화 영상인식부(320)의 인식률과 비교함에 의해 상기 자율주행 차량의 ECU장치(420)의 성능을 검증하는 것이 가능하다. 즉 상기 표준화 영상인식부(320)의 인식률과 비교하여 상기 자율주행 차량의 ECU장치(420)의 상기 오브젝트 정보의 인식률이 어느 정도 수준인지를 검증하게 된다.

다른 검증방법으로, 제1차적으로 상기 메모리부(312)에 저장되어 있는 상기 레퍼런스 영상데이터에 대한 인식률을 비교하고, 제2차적으로 상기 최종적으로 갱신된 상기 처리영상데이터에 대한 인식률을 비교하여 성능검증을 수행하는 방법이 있다. 이 경우, 상기 자율주행 차량의 ECU장치(420)의 성능을 검증하는 것과 동시에 상기 영상처리부(310)를 통한 영상처리 성능이 어느정도 반영되는지, 즉 영상처리를 통하는 경우 인식률이 어느 정도 향상되는지에 대한 성능검증이 가능하다는 장점이 있다.

이를 위해, 상기 검증부(330)는 제1차적으로는 상기 메모리부(312)에 저장되어 있으며, 상기 영상처리부(310)를 통한 영상처리가 수행되지 않은 상태인 상기 레퍼런스 영상데이터를 상기 표준화 영상인식부(320) 및 상기 자율주행 차량의 ECU장치(420)에 제공하여 상기 오브젝트 정보에 대한 인식률을 비교하고, 제2차적으로, 최종적으로 갱신된 상기 처리 영상데이터를 상기 자율주행 차량의 ECU장치(420)에 제공하고, 상기 표준화 영상인식부(320) 및 상기 자율주행 차량의 ECU 장치(420)의 상기 오브젝트 정보에 대한 인식률을 비교하여, 각각의 인식률 개선정도를 비교하는 방식으로 상기 자율주행 차량의 ECU 장치(420)의 성능을 검증하는 것이 가능하다.

또 다른 검증방법으로, 상기 영상처리부(310)는 상기 자율주행 차량의 카메라(410)로부터 실시간 촬영되는 영상데이터에 대하여 상기 이미지 프로세싱 확정정보에 따라 이미지 프로세싱을 수행하여 상기 자율주행 차량의 ECU장치(420) 및 상기 표준화 영상인식부(320)에 제공하고, 상기 검증부(330)에서 상기 자율주행 차량의 ECU장치(420) 및 상기 표준화 영상인식부(330)에서의 오브젝트 정보에 대한 인식률을 비교함에 의해 상기 자율주행 차량의 ECU 장치(420)의 성능을 검증하는 것이 가능하다.

도 5는 도 3의 자율주행차량의 ECU 성능 검증장치(300)의 동작순서도를 나타낸 것이다.

도 5에 도시된 바와 같이, 본 발명에 따른 자율주행차량의 ECU 성능 검증장치(300)는, 우선 성능검증을 위해 상기 영상처리부(310)에서의 레퍼런스 영상데이터에 대한 인식률 향상을 통해 성능 기준을 정하는 동작을 수행한다. 즉 상기 메모리부(312)에 저장되어 있는 레퍼런스 영상데이터가 상기 이미지 프로세싱부(314)에 입력되어(S310), 상기 오브젝트 정보의 인식률 향상을 위한 이미지 프로세싱을 수행하여 처리영상데이터를 생성한다(S312).

이후, 상기 처리영상데이터를 상기 표준화 영상인식부(320)에 전송하여 상기 표준화 영상인식부(320)에서 상기 처리영상데이터로부터 상기 오브젝트 정보를 인식하도록 하도록 한다(S314). 다음으로, 상기 AI알고리즘부(316)는 상기 처리영상데이터에 대한 상기 표준화 영상인식부(320)에서의 상기 오브젝트 정보에 대한 인식률이 일정 인식률(대략 80~100%) 이상인지 판단하게 된다(S316).

상기 표준화 영상인식부(320)의 오브젝트 정보에 대한 인식률이 일정 인식률 미만 인 경우에는(No), 상기 오브젝트 인식정보를 토대로 하여 인식이 부족한 부분(또는 위치)을 판단하고(S324), 상기 오브젝트 정보에 대한 인식이 부족한 부분에 대한 인식률을 향상시키기 위한 프로세싱 보정정보를 생성하게 되고, 이미 생성된 프로세싱 보정정보가 있으면 이를 보강하여 갱신하게 된다(S326).

상기 프로세싱 보정정보는 상기 이미지 프로세싱부(314)로 제공되고, 상기 이미지 프로세싱부(314)에서는 상기 프로세싱 보정정보에 응답하여 상기 처리영상데이터에 대하여 인식률 향상을 위한 추가 이미지 프로세싱을 수행하는 방식으로 상기 처리영상데이터를 갱신하여, 상기 표준화 영상인식부(320)에 다시 전송하게 된다(S312).

이후 상기 표준화 영상인식부(320)에서 갱신된 상기 처리영상데이터로부터 상기 오브젝트 정보를 인식하도록 하게 되고(S314), 상기 AI 알고리즘부(316)에서는 상기 표준화 영상인식부(320)에서 오브젝트 정보를 인식한 인식정보를 상기 메모리부(312)에 미리 저장되어 있는 상기 오브젝트 인식정보와 비교하여 상기 오브젝트 정보에 대한 인식률을 계산하여 상기 인식률이 일정 인식률(대략 80~100%) 이상인지 여부를 판단하게 된다(S316). 이러한 순환과정(S312-S314-S316-S324-S326-S312)은 상기 처리영상데이터에 대한 상기 표준화 영상인식부(320)의 상기 오브젝트 정보에 대한 인식률이 일정 인식률 이상이 될 때까지 반복적으로 계속되게 된다.

이후 상기 표준화 영상인식부(320)의 오브젝트 정보에 대한 인식률이 원하는 인식률에 도달하면(Yes), 상기 AI 알고리즘부(316)에서는 상기 프로세싱 보정정보의 갱신을 완료하고, 갱신이 완료된 프로세싱 보정정보에 따라 이미지 프로세싱이 최종적으로 수행된 상기 처리영상데이터에 대한 이미지 프로세싱 확정정보를 저장한다(S318).

이상과 같이, 성능 기준을 정하는 동작이 수행되면, 검증을 위한 절차가 진행된다.

상기 검증부(330)는 최종적으로 갱신된 상기 처리 영상데이터(즉, 인식률이 미리 정해진 수준 이상으로 됐을 때에 갱신된 처리영상데이터)를 검증대상인 상기 자율주행 차량의 ECU장치(420)에 제공하여 상기 오브젝트 정보를 인식하도록 한다(S320).

검증대상인 상기 자율주행 차량의 ECU장치(420)에서 상기 최종 갱신된 처리영상 데이터로부터 상기 오브젝트 정보를 인식하게 되면, 상기 자율주행 차량의 ECU장치(420)의 상기 오브젝트 정보의 인식률을 상기 표준화 영상인식부(320)의 인식률과 비교함에 의해 상기 자율주행 차량의 ECU장치(420)의 성능을 검증하는 것이 가능하다(S322). 즉 상기 표준화 영상인식부(320)의 인식률과 비교하여 상기 자율주행 차량의 ECU장치(420)의 상기 오브젝트 정보의 인식률이 어느 정도 수준인지를 검증하게 된다.

다른 검증방법으로, 제1차적으로 상기 메모리부(312)에 저장되어 있는 상기 레퍼런스 영상데이터에 대한 인식률을 비교하고, 제2차적으로 상기 최종적으로 갱신된 상기 처리영상데이터에 대한 인식률을 비교하여 성능검증을 수행하는 방법이 있을 수 있고, 또 다른 검증방법으로, 상기 영상처리부(310)는 상기 자율주행 차량의 카메라(410)로부터 실시간 촬영되는 영상데이터에 대하여 상기 이미지 프로세싱 확정정보에 따라 이미지 프로세싱을 수행하여 상기 자율주행 차량의 ECU장치(420) 및 상기 표준화 영상인식부(320)에 제공하고, 상기 검증부(330)에서 상기 자율주행 차량의 ECU장치(420) 및 상기 표준화 영상인식부(330)에서의 오브젝트 정보에 대한 인식률을 비교함에 의해 상기 자율주행 차량의 ECU 장치(420)의 성능을 검증하는 방법이 있을 수 있음은 이미 설명한 바 있다.

상술한 바와 같이, 본 발명에 따르면, 영상처리장치를 구성하여, 상기 영상처리장치를 일반적인 자율주행 차량에 적용하여 인식률 성능향상을 꾀하는 것이 가능하고, 상기 영상처리장치를 자율주행 차량의 ECU 장치 성능 검증을 위한 검증장치에 적용하여 일정 성능기준을 통해 검증이 가능한 검증장치를 구현하는 것이 가능한 장점이 있다.

상기한 실시예의 설명은 본 발명의 더욱 철저한 이해를 위하여 도면을 참조로 예를 든 것에 불과하므로, 본 발명을 한정하는 의미로 해석되어서는 안될 것이다. 또한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기본적 원리를 벗어나지 않는 범위 내에서 다양한 변화와 변경이 가능함은 명백하다 할 것이다.

310 : 영상처리부 320 : 표준화 영상인식부
330 : 검증부 410 : 카메라
420 ; 검증대상 ECU 장치

Claims

자율주행 차량에 적용되기 위한 AI알고리즘을 이용한 영상처리장치에 있어서:
상기 자율주행 차량에서 인식의 대상이 되는 오브젝트 정보가 포함된 레퍼런스 영상데이터와, 상기 레퍼런스 영상데이터로부터 상기 오브젝트 정보를 수동으로 미리 인식한 오브젝트 인식정보가 저장된 메모리부와;
복수의 이미지 프로세싱 블록들을 구비하며, 입력되는 입력영상데이터에 포함된 오브젝트 정보의 인식률 향상을 위한 이미지 프로세싱을 수행하여 처리영상데이터를 생성하고, 상기 처리영상데이터를 상기 자율주행차량의 ECU 장치에 전송하여 상기 ECU 장치에서 상기 처리영상데이터로부터 상기 오브젝트 정보를 인식하도록 하는 이미지 프로세싱부와;
세팅모드에서는 상기 레퍼런스 영상데이터가 상기 입력영상데이터로 하여 상기 이미지 프로세싱부에 제공되도록 하고, 상기 처리영상데이터에 대한 상기 ECU 장치의 상기 오브젝트 정보에 대한 인식률이 일정 인식률 이상이 될 때까지 상기 복수의 이미지 프로세싱 블록들 중 적어도 하나의 이미지 프로세싱 블록을 이용한 이미지 프로세싱이 수행되도록 하기 위한 프로세싱 보정정보를 반복적으로 갱신하여 상기 이미지 프로세싱부에 제공하고, 상기 ECU 장치의 오브젝트 정보에 대한 인식률이 원하는 인식률에 도달하면 상기 프로세싱 보정정보의 갱신을 완료하고, 갱신이 완료된 프로세싱 보정정보에 따라 이미지 프로세싱이 수행된 상기 처리영상데이터에 대한 이미지 프로세싱 확정정보를 저장하고,
정상모드에서는 상기 자율주행 차량의 카메라로부터 실시간 촬영되는 영상데이터를 상기 입력영상데이터로 하여 상기 이미지 프로세싱부에 제공되도록 하는 AI알고리즘부를 구비하고,
상기 이미지 프로세싱부는, 상기 세팅모드에서는 상기 프로세싱 보정정보에 응답하여 상기 처리영상데이터에 대하여 인식률 향상을 위한 추가 이미지 프로세싱을 수행하는 방식으로 상기 처리영상데이터를 갱신하여 상기 ECU 장치에 전송하고, 상기 정상모드에서는 상기 이미지 프로세싱 확정정보에 따라 이미지 프로세싱을 수행한 처리영상데이터를 상기 ECU 장치에 전송함을 특징으로 하는 AI알고리즘을 이용한 영상처리장치.
청구항 1에 있어서,
상기 오브젝트 정보는, 대상 도로정보, 차량정보, 보행자정보, 장애물정보, 신호등 정보, 표지판 정보, 이벤트정보 중 적어도 하나를 포함함을 특징으로 하는 AI알고리즘을 이용한 영상처리장치.
청구항 1에 있어서,
상기 AI 알고리즘부는 머신 러닝 알고리즘 또는 딥 러닝 알고리즘을 이용하여 학습되며, 상기 ECU 장치의 오브젝트 정보에 대한 인식률이 80~100%에 도달할 때까지, 상기 오브젝트 정보의 인식이 부족한 부분에 대한 이미지 프로세싱을 강화하기 위한 상기 프로세싱 보정정보를 반복적으로 갱신함을 특징으로 하는 AI알고리즘을 이용한 영상처리장치.
청구항 1에 있어서,
상기 레퍼런스 영상데이터는 상기 자율주행 차량에 장착된 카메라로부터 미리 촬영된 영상데이터 임을 특징으로 하는 AI알고리즘을 이용한 영상처리장치.
청구항 1에 있어서,
상기 복수의 이미지 프로세싱 블록들은, 블랙 레벨 보정 블록(BLC:Black Level Correction block), 렌즈보정블록(LC:Lens Correction block 또는 LSC:Lens Shading Correction block), 옵티컬 디텍팅 블록(OPD:OPtical Detecting block), 2D 노이즈제거 블록(2DNR:2D Noise Reduction block), 3D 노이즈제거 블록(3DNR:3D Noise Reduction block), 오토 화이트 밸런스 블록(AWB:Auto White Balance block), 와이드 다이나믹 레인지 블록(WDR:Wide Dynamic Range block), 불량 화소 보정 블록(DPC:Defect Pixel Correction block), 컬러 인터폴레이션 블록(CI:Color Interpolation block), 에지 샤프닝 블록(ES:Edge Sharpening block), 색 보정 매트릭스 블록(CCM:Color Correction Matrix block), 명도/대비 조정 블록(BCA:Brightness/Contrast Adjustment block), 명도별 노이즈 제거블록(BNR:Brightness Noise Reduction block), 자동노출조절블록(AE:Auto Exposure block), 에지 매트릭스 블록(EM:Edge Matrix block), 에지필터 블록(EF:Edge Filter block) 에지 강화블록(EE:Edge Enhance block), 디지털 와이드 다이나믹 레인지 블록(DWDR:Digital Wide Dynamic Range block), 컬러 노이즈제거 블록(CS:Chroma Suppression block 또는 CNR:Color Noise Reduction block) 및 감마 보정 블록(GC:Gamma Correction block)을 포함하고, 상기 이미지 프로세싱부는 상기 복수의 이미지 프로세싱 블록들 중 적어도 하나를 이용하여 이미지 프로세싱을 수행함을 특징으로 하는 AI알고리즘을 이용한 영상처리장치.
자율주행차량의 ECU 성능 검증장치에 있어서:
상기 자율주행 차량에서 인식의 대상이 되는 오브젝트 정보가 포함된 레퍼런스 영상데이터와 상기 레퍼런스 영상데이터로부터 상기 오브젝트 정보를 수동으로 미리 인식한 오브젝트 인식정보가 저장된 메모리와, 이미지 프로세싱을 위한 복수의 이미지 프로세싱 블록들을 구비하고, 상기 레퍼런스 영상데이터에 포함된 상기 오브젝트 정보의 인식률 향상을 위한 이미지 프로세싱을 수행하여 처리영상데이터를 생성하되, 상기 처리 영상데이터에 대한 상기 오브젝트 정보의 인식률이 미리 정해진 수준이 될 때 까지 상기 복수의 이미지 프로세싱 블록들 중 적어도 하나의 이미지 프로세싱 블록을 이용한 이미지 프로세싱을 반복적으로 수행하여 상기 처리 영상데이터를 갱신하여 제공하는 영상처리부와;
상기 오브젝트 정보의 인식과 관련되어 자율주행 차량들 각각의 ECU에 공통적으로 포함된 기능을 가지도록 설계되어, 상기 오브젝트 정보의 인식률이 미리 정해진 수준이 될 때까지 갱신되는 상기 처리 영상데이터로부터 반복적으로 상기 오브젝트 정보에 대한 인식을 수행하는 표준화 영상인식부와;
상기 표준화 영상인식부에서 상기 처리 영상데이터에 대한 상기 오브젝트 정보의 인식률이 미리 정해진 수준이 되어 최종적으로 갱신된 상기 처리 영상데이터를 검증대상인 자율주행 차량의 ECU장치에 제공하여 상기 오브젝트 정보를 인식하도록 하고, 상기 자율주행 차량의 ECU장치의 상기 오브젝트 정보 인식률을 상기 표준화 영상인식부의 인식률과 비교함에 의해 상기 자율주행 차량의 ECU장치의 성능을 검증하는 검증부를 구비함을 특징으로 하는 자율주행차량의 ECU 성능 검증장치.
청구항 6에 있어서,
상기 오브젝트 정보는, 대상 도로정보, 차량정보, 보행자정보, 장애물정보, 신호등 정보, 표지판 정보, 이벤트정보 중 적어도 하나를 포함함을 특징으로 하는 자율주행차량의 ECU 성능 검증장치.
청구항 6에 있어서,
상기 영상처리부를 통한 상기 처리 영상데이터의 갱신은, 상기 표준화 영상인식부를 통한 상기 오브젝트 정보에 대한 인식률이 80~100%에 도달할 때까지 수행됨을 특징으로 하는 자율주행차량의 ECU 성능 검증장치.
청구항 6에 있어서,
상기 복수의 이미지 프로세싱 블록들은, 블랙 레벨 보정 블록(BLC:Black Level Correction block), 렌즈보정블록(LC:Lens Correction block 또는 LSC:Lens Shading Correction block), 옵티컬 디텍팅 블록(OPD:OPtical Detecting block), 2D 노이즈제거 블록(2DNR:2D Noise Reduction block), 3D 노이즈제거 블록(3DNR:3D Noise Reduction block), 오토 화이트 밸런스 블록(AWB:Auto White Balance block), 와이드 다이나믹 레인지 블록(WDR:Wide Dynamic Range block), 불량 화소 보정 블록(DPC:Defect Pixel Correction block), 컬러 인터폴레이션 블록(CI:Color Interpolation block), 에지 샤프닝 블록(ES:Edge Sharpening block), 색 보정 매트릭스 블록(CCM:Color Correction Matrix block), 명도/대비 조정 블록(BCA:Brightness/Contrast Adjustment block), 명도별 노이즈 제거블록(BNR:Brightness Noise Reduction block), 자동노출조절블록(AE:Auto Exposure block), 에지 매트릭스 블록(EM:Edge Matrix block), 에지필터 블록(EF:Edge Filter block) 에지 강화블록(EE:Edge Enhance block), 디지털 와이드 다이나믹 레인지 블록(DWDR:Digital Wide Dynamic Range block), 컬러 노이즈제거 블록(CS:Chroma Suppression block 또는 CNR:Color Noise Reduction block) 및 감마 보정 블록(GC:Gamma Correction block)을 포함하고, 상기 이미지 프로세싱부는 상기 복수의 이미지 프로세싱 블록들 중 적어도 하나를 이용하여 이미지 프로세싱을 수행함을 특징으로 하는 자율주행차량의 ECU 성능 검증장치.
청구항 6에 있어서,
상기 레퍼런스 영상데이터는 상기 자율주행 차량에 장착된 카메라로부터 미리 촬영된 영상데이터 임을 특징으로 하는 자율주행차량의 ECU 성능 검증장치.
청구항 6에 있어서, 상기 검증부는,
제1차적으로, 상기 레퍼런스 영상데이터를 상기 표준화 영상인식부 및 상기 자율주행 차량의 ECU장치에 제공하여 상기 오브젝트 정보에 대한 인식률을 비교하고,
제2차적으로, 최종적으로 갱신된 상기 처리 영상데이터를 상기 자율주행 차량의 ECU장치에 제공하고, 상기 표준화 영상인식부 및 상기 자율주행 차량의 ECU장치의 상기 오브젝트 정보에 대한 인식률을 비교하여, 각각의 인식률 개선정도를 비교하는 방식으로 상기 자율주행 차량의 ECU장치의 성능을 검증함을 특징으로 하는 자율주행차량의 ECU 성능 검증장치.
청구항 6에 있어서,
상기 영상처리부는,
상기 메모리를 포함하는 메모리부와;
복수의 이미지 프로세싱 블록들을 구비하며, 입력되는 입력영상데이터에 포함된 상기 오브젝트 정보의 인식률 향상을 위한 이미지 프로세싱을 수행하여 처리영상데이터를 생성하고, 상기 처리영상데이터를 상기 표준화 영상인식부에 전송하여 상기 표준화 영상인식부에서 상기 처리영상데이터로부터 상기 오브젝트 정보를 인식하도록 하는 이미지 프로세싱부와;
상기 레퍼런스 영상데이터가 상기 입력영상데이터로 하여 상기 이미지 프로세싱부에 제공되도록 하고, 상기 처리영상데이터에 대한 상기 표준화 영상인식부의 상기 오브젝트 정보에 대한 인식률이 일정 인식률 이상이 될 때까지 상기 복수의 이미지 프로세싱 블록들 중 적어도 하나의 이미지 프로세싱 블록을 이용한 이미지 프로세싱이 수행되도록 하기 위한 프로세싱 보정정보를 반복적으로 갱신하여 상기 이미지 프로세싱부에 제공하고, 상기 표준화 영상인식부의 오브젝트 정보에 대한 인식률이 원하는 인식률에 도달하면 상기 프로세싱 보정정보의 갱신을 완료하고, 갱신이 완료된 프로세싱 보정정보에 따라 이미지 프로세싱이 수행된 상기 처리영상데이터에 대한 이미지 프로세싱 확정정보를 저장하는 AI알고리즘부를 구비하고,
상기 이미지 프로세싱부는, 상기 프로세싱 보정정보가 전송되면 이에 응답하여 상기 처리영상데이터에 대하여 인식률 향상을 위한 추가 이미지 프로세싱을 수행하는 방식으로 상기 처리영상데이터를 갱신하여 상기 표준화 영상인식부에 제공하고, 상기 이미지 프로세싱 확정정보가 전송되면, 상기 이미지 프로세싱 확정정보에 따라 최종적으로 갱신된 상기 처리 영상데이터를 검증대상인 상기 자율주행 차량의 ECU장치에 제공함을 특징으로 하는 자율주행차량의 ECU 성능 검증장치.
청구항 12에 있어서,
상기 영상처리부는 상기 자율주행 차량의 카메라로부터 실시간 촬영되는 영상데이터에 대하여 상기 이미지 프로세싱 확정정보에 따라 이미지 프로세싱을 수행하여 상기 자율주행 차량의 ECU장치 및 상기 표준화 영상인식부에 제공하고,
상기 검증부는 상기 자율주행 차량의 ECU장치 및 상기 표준화 영상인식부에서의 상기 오브젝트 정보에 대한 인식률을 비교함에 의해 상기 자율주행 차량의 ECU 성능을 검증함을 특징으로 하는 자율주행차량의 ECU 성능 검증장치.