KR102365873B1 - 형상 좌표와 데이터 라벨링 퓨전 시스템 및 그 방법 - Google Patents

Abstract

본 발명은 형상 좌표와 데이터 라벨링의 퓨전 시스템으로서, 상기 시스템은 비전데이터 수신부와, 연산부로 기능하는 MCU부와, 객체이미지데이터 저장부를 포함하는 시스템과 이 시스템을 이용한 형상 좌표와 데이터 라벨링의 퓨전 방법을 개시한다.

Description

형상 좌표와 데이터 라벨링 퓨전 시스템 및 그 방법{Fusion method and fusion system of shape coordinates and data labeling}

본 발명은 형상 좌표와 데이터 라벨링 퓨전 시스템 및 그 방법에 관한 것이다.

첨단센서(비전, 레이더, 라이다 등)와 소프트웨어 발전에 따라 자율주행 기술이 도약하고 있다. 그 중 가장 많이 활용하는 데이터는 카메라로 획득하는 '비전' 데이터이다.

자율주행이 기술과 높은 안전성을 확보하기 위해서 궁극적으로 가장 필요한 인프라는 네트워크(통신)이라 할 수 있다. 자율주행차 통신 기술은 차량과 차량간 직접 통신(V2V: Vehicle to Vehicle), 차량과 인프라간 통신(V2I: Vehicle to Infrastructure), 차량과 보행자간 통신(V2P: Vehicle to pedestrian) 등이 있다.

현재 정책 및 동향에 따르면 자율주행 관련 네트워크는 WAVE(Wireless Access in Vehicular Environment), 무선랜, 블루투스, LTE, 5G 등 많은 종류가 사용 가능하며 다양한 통신 기술을 통합하여 사용할 수도 있지만 데이터 용량, 속도, 안전성까지 확보될 가능성이 높은 5G 통신 기술이 완성되면서 5G 통신 기반으로 자율주행이 가능할 수 있을 것이라는 기대로 완전 자율주행의 시대로 다가가고 있다.

그런데, 현재 자율주행 차량의 데이터는 하루 4TB 데이터가 필요한 실정이다. 이러한 데이터 용량 기준으로 하면 현재 5G 요율로 자율주행차의 데이터 요금은 1일 8,800만원, 1달 27억원이 소요된다. 이 문제를 해결하기 위해 정부는 5G 통신망 확장과 요금을 인하하는 목표도 추진하고 있으나 국내의 경우 통신사의 투자와 구축이 지연되고 있는 것이 현재 실정이다. 또한 민간 기업의 MVNO(이동통신 재판매 사업자) 진입을 통해 자동차용 데이터 산업과 보안, IOT 등 필수적인 B2B 데이터 산업의 실증과 발전을 위해 움직이는 추세도 있으나 아직 도입 단계이다.

자율주행에서 가장 많이 활용되는 비전(카메라) 데이터는 영상 및 이미지 데이터이다. 대부분의 자율주행 개발사는 비전데이터 기반으로 개발, 분석이 진행되었으며 이러한 비전데이터는 용량이 매우 크기 때문에 네트워크 통신으로 요구되는 데이터 용량이 많으며, 비교적 자율주행에 많이 활용되고 있는 레이더 센서의 RAW 데이터는 해상도 및 데이터 검증의 문제가 있기 때문에 현재 기술적 한계가 존재한다.

이러한 근본적인 문제 때문에 자율주행 차량의 대규모 데이터 처리에 대한 근본적인 문제는 아직 해결해야 하는 숙제가 많이 남아 있다.

발명자는 이전 기술특허 '첨단 센서 데이터와 카메라 영상을 GTL 하는 방법 및 시스템'(등록특허 10-2264152)에서, 레이더가 측정한 데이터를 기준으로 카메라가 촬영한 비전데이터를 보정하여 자동으로 오토 라벨링하는 시스템을 기반으로 레이더 데이터와 비전 데이터를 검교정(검증)을 동시에 하는 방안을 제시한 바 있다.

발명자는 위 기술을 개발하면서 대용량 데이터의 처리와 전송의 어려움을 고려하여 이 문제를 해결하기 위해 본 발명을 제시하게 되었다.

그러므로 본 발명은 카메라에 이미지가 기록된 후 이미지의 형상좌표를 자동으로 추출하여 이미지 용량을 획기적으로 감소시키고 추출한 형상좌표에 데이터 라벨링을 자동화 프로세스로 형상좌표와 데이터 라벨링을 퓨전하여 데이터의 신뢰성을 높이고 용량을 획기적으로 감소시키는 퓨전 시스템 및 그 방법을 제공하는 것을 목적으로 한다.

상술한 목적을 달성하기 위하여 본 발명은, 형상 좌표와 데이터 라벨링의 퓨전 시스템으로서, 상기 시스템은 비전데이터 수신부와, 연산부로 기능하는 MCU부와, 객체이미지데이터 저장부를 포함하며, 비전데이터 수신부는 영상 획득 장치가 객체를 촬영한 비전데이터를 전송 받고, MCU부는 비전데이터 수신부가 수신한 비전데이터를 데이터 라벨링과 융합(퓨전)하는 프로세스를 통하여 객체이미지 데이터를 생성하며, 객체 이미지 데이터는 객체이미지데이터 저장부에 저장되는, 퓨전 시스템을 제공한다.

MCU부는 형상좌표 추출부와, 데이터 라벨링 수행부와, 좌표와 라벨링 퓨전부를 포함하며, 형상 좌표 추출부는 비전데이터에서 형상 좌표를 추출하고, 데이터라벨링 수행부는 비전데이터를 토대로 데이터 라벨링을 수행하고, 좌표와 레벨링 퓨전부는 형상 좌표와 데이터 라벨링을 융합하여 객체 이미지 데이터를 생성할 수 있다.

형상 좌표 추출부는 비전데이터에서 관심 영역을 정의하고 영상이진화 기법을 통해 객체의 경계(threshold)를 구분하여 객체를 특정하고, 특정된 객체의 외곽을 토대로 형상 좌표를 추출할 수 있다.

좌표와 라벨링 퓨전부는 다음의 어느 하나 이상의 동작을 통해 형상 좌표와 데이터 라벨링을 융합할 수 있다; (가) 2D 형식의 형상좌표를 데이터 라벨링을 참조로 3D형식의 형상좌표로 변환하는 것 (나) 형상좌표가 규정하는 외부 윤곽과 라벨링이 규정하는 외부 윤곽이 중복된 영역을 토대로 객체의 형상좌표를 보정하는 것 (다) 형상좌표가 규정하는 외부 윤곽을 1차적으로 유지하고 라벨링이 규정하는 외부 윤곽을 토대로 전자를 변경 또는 확장하는 것 (라) 데이터 라벨링이 규정하는 외부 윤곽을 1차적으로 유지하면서 형상좌표가 규정하는 외부 윤곽을 토대로 전자를 변경 또는 확장하는 것.

객체 이미지 데이터의 형상 내부는 단색으로 처리하여 데이터 용량을 줄일 수 있다.

영상 획득 장치가 획득한 비전데이타 이외의 객체의 정보를 나타내는 객체정보데이터를 수신하는 객체정보데이터 수신부를 더 포함할 수 있다.

퓨전시스템은 클라우드 시스템을 더 포함하며, 클라우드 시스템은 객체 이미지 데이터를 수신하고, 가공하여 실 주행 환경을 나타내는 동적 영상을 제공하는 시뮬레이션부를 포함할 수 있다.

본 발명은, 상대 객체의 비전에서 인식하는 사물의 형상을 자동으로 추출하여 상대 객체 또는 사물과의 사고 위험 예측을 비전 데이터와 비슷한 수준으로 분석이 가능하다는 효과를 발휘한다.

본 발명은, 기존 이미지 대비 100배 이상의 네트워크 데이터 비용을 감소할 수 있으며, 개인 정보 누출 우려 없이 이벤트 데이터의 사전 분석과 시뮬레이션이 자유롭다는 효과를 발휘한다.

본 발명은, 실제 영상이 아니더라도 실제 영상과 비슷한 실제 상황으로 재현이 가능하여 인공지능 학습데이터로 활용이 용이하다는 효과를 발휘한다.

도 1은 본 발명의 형상 좌표와 데이터 라벨링 퓨전 시스템의 전체 구성도이다.
도 2는 본 발명의 MCU부의 동작을 나타내는 흐름도이다.
도 3은 본 발명의 형상 좌표를 추출하는 비전데이터의 일례를 보인 도면이다.
도 4는 본 발명의 퓨전시스템이 수행하는 형상 좌표 및 객체 이미지 데이터의 생성 과정의 실례를 도시한 도면이다.
도 5는 본 발명의 제 2실시예에 따른 형상 좌표와 데이터 라벨링 퓨전 시스템의 전체 구성도이다.

본 발명에 따른 각 실시예는 본 발명의 이해를 돕기 위한 하나의 예에 불과하고, 본 발명이 이러한 실시예에 한정되는 것은 아니다. 본 발명은 각 실시예에 포함되는 개별 구성 및 개별 기능 중, 적어도 어느 하나 이상의 조합으로 구성될 수 있다.

본 발명에서 어느 구성을 “포함”한다는 기재는 그 구성은 물론이고 다른 구성도 포함할 수 있다는 개방된 의미로 해석되어야 한다.

도 1은 본 발명의 형상 좌표와 데이터 라벨링 퓨전 시스템(1)의 전체 구성도이다.

본 발명의 퓨전 시스템(1)은 비전데이터 수신부(30)와, 연산부로 기능하는 MCU부(2)와, 객체이미지데이터 저장부(40)를 포함한다.

비전데이터 수신부(30)는 카메라나 CCTV와 같은 영상 획득 장치가 객체를 촬영한 비전데이터(V)를 전송 받는다. 객체는 퓨전 시스템(1)이 차량에 장착될 경우, 상대 차량, 도로, 건물, 보행자 등이다. 또는 퓨전시스템(1)이 건물 모니터링용으로 설치되는 경우는 주로 출입자와 출입 차량이다. 비전데이터 수신부(30)가 수신하는 비전데이터(V)는 이미지 데이터이므로, 일반적으로 대용량이다.

본 발명의 MCU부(2)는 비전데이터 수신부(30)가 수신한 비전데이터(V)를 데이터 라벨링과 융합(퓨전)하는 프로세스를 수행하여 객체 이미지 데이터(O)를 생성한다. 객체 이미지 데이터(O)는 객체이미지데이터 저장부(40)에 저장된다.

본 발명의 퓨전 시스템(1)은 클라우드 시스템(C)과 연결된다. 클라우드 시스템(C)에 대해서는 후술하기로 한다.

MCU부(2)는 형상좌표 추출부(22)와, 데이터 라벨링 수행부(24)와, 좌표와 라벨링 퓨전부(26)를 포함한다. MCU부(2)의 기능과 동작을 도 2 및 도 3을 참조로 설명한다.

먼저, 형상 좌표 추출부(22)는 비전데이터(V)에서 형상 좌표를 추출한다(S10).

도 3은 형상 좌표(Sx,y)를 추출하는 비전데이터(V)의 일례를 도시한다. 비전데이터(V)는 카메라의 감지 범위에 포함된 두 객체(O1', O2')의 실제 이미지를 포함한다. 형상 좌표 추출부(22)는 관심 영역(ROI)을 정의하고 영상이진화(binarization) 기법을 통해 객체(O1', O2')의 경계(threshold)를 구분하여 객체(O1', O2')를 가능한 모든 면에서 특정하여, 특정된 객체(O1', O2)를 토대로 형상 좌표(Sx,y)를 추출한다. 형상 좌표(Sx,y)는 가능한 구체적으로 또 다량 추출되어 객체의 형상을 정확히 규정하는 것이 바람직하다.

데이터라벨링 수행부(24)는 단계(S10)와 동시에 비전데이터(V)를 토대로 데이터 라벨링을 수행한다(S12). 기초적인 데이터 라벨링은 통상 박스로 경계를 정의하고, 폴리곤(polygon) 또는 폴리라인(polyline)으로 객체와 주변 환경의 외관을 규정하고, 필요한 경우 2D데이터를 3D데이터로 변환하는 과정을 거친다. 이러한 기초 작업은 수작업으로도 할 수 있지만, 기초 데이터 라벨링을 이미 학습한 인공지능에 의한 자동 오토 라벨링이 가능하다. 단계(S12)는 단계(S10)와 동시 수행되므로 객체에 대한 형상 좌표(Sx,y)와 라벨링 데이터는 자동으로 타임 매칭된다.

본 발명에서 형상 좌표(Sx,y)만으로는 객체 정보가 부족하기 때문에 데이터 라벨링을 거친 데이터를 퓨전 즉 융합하여 형상 좌표(Sx,y)를 보정하는 점에 특징이 있다. 좌표와 라벨링 퓨전부(26)는 이 작업을 수행한다.

두 데이터의 융합에는 여러 방법이 있다. 예를 들어 객체가 자동차인 경우 2D 형식의 형상좌표(Sx,y)를 데이터 라벨링을 참조로 3D 형식의 형상좌표(Sx,y,z)로 변환할 수 있다. 또, 형상좌표(Sx,y)가 규정하는 외부 윤곽과 라벨링이 규정하는 외부 윤곽이 중복된 영역을 토대로 객체의 형상좌표(Sx,y)를 보정할 수 있다. 또는, 형상좌표(Sx,y)가 규정하는 외부 윤곽을 1차적으로 유지하고 라벨링이 규정하는 외부 윤곽(예: 박스)을 토대로 전자를 변경 또는 확장하거나 반대로 라벨링이 규정하는 외부 윤곽을 1차적으로 유지하면서 형상좌표(Sx,y)가 규정하는 외부 윤곽을 토대로 전자를 변경 또는 확장할 수 있다. 당연하지만 이상에서 하나 이상의수의 융합법을 채택할 수 있다.

본 발명에서는 이와 같이 두 데이터를 통합하기 때문에 형상좌표(Sx,y)의 단점을 보강하도록 데이터 라벨링 수행부(24)의 라벨링 프로세스를 공지의 프로세스와 달리 변경할 수 있는 점에서 유리하며 활용폭이 넓다. 3D라벨링을 필수로 하거나 또는 하나의 객체의 형상을 특징부를 포함하는 몇 개로 분할하여 라벨링하도록 프로세스를 개선하는 것이 그 예이다.

좌표 및 라벨링 퓨전부(26)는 형상 좌표(Sx,y)와 데이터 라벨링을 퓨전하여 최종적으로 객체이미지 데이터(O)를 생성한다(S14). 이는 객체이미지데이터 저장부(40)에 저장된다.

본 발명의 형상 좌표는 처음부터 3D데이터로 추출될 수 있으며 이 경우 데이터 라벨링에 의한 3D전환은 생략할 수 있다.

도 4는 이상 설명한 본 발명의 퓨전시스템(1)이 수행하는 형상 좌표(Sx,y) 및 객체 이미지 데이터(O)의 생성 과정의 실례를 도시한 것이다.

도 4a는 카메라로 기록된 객체인 차량을 포함하는 비전데이터(V)에서 형상 좌표(Sx,y)를 추출한 것을 도시한다. 객체의 형상을 정확히 반영하도록 구체적이고 많은 좌표를 추출한다. 도시한 예에서는 시각으로 객체의 외곽 형상을 인식할 수 있는 최대한 범위에서 연속 곡면 형상을 이루도록 형상좌표(Sx,y)를 추출하였다.

도 4b는 형상좌표(Sx,y)에 데이터 라벨링을 수행하여 도출한 중간 이미지데이터이다. 형상좌표(Sx,y)가 규정하는 외부 윤곽과 라벨링이 규정하는 외부 윤곽이 중복된 영역을 토대로 3D 형식의 형상좌표(Sx,y,z)로 보정하고, 윤곽 내부의 자동차의 실제 이미지(비전데이터)는 라벨링에 의하여 보이지 않도록 중복 처리된다.

도 4c는 최종 생성된 객체 이미지 데이터(O)이다. 자동차와 도로 차선의 윤곽 내부 각각은 단색으로 처리되어 자동차와 차선의 실제 이미지(비전데이터)는 삭제된다.

이와 같이, 본 발명의 객체 이미지 데이터(O)는 기존의 비전데이터 중 용량이 큰 내부의 이미지가 삭제 또는 생략된 것이므로, 데이터 용량으로 인한 부담을 대폭 줄일 수 있고 자율 주행 차량 운행에 있어 데이터의 저장, 처리, 및 전송 작업을 저비용으로 신속하게 수행할 수 있다.

또, 시각으로 인식되는 개인 정보 - 얼굴, 자동차 번호판 - 가 보이지 않으므로 사생활 침해의 우려 없이 객체 이미지 데이터(O)를 주행 시뮬레이션 데이터로 자유로이 활용할 수 있다.

이를 위하여 도 1에서와 같이 클라우드 시스템(C)은 객체이미지데이터DB(52)와, 객체이미지데이터가공부(54)와, 시뮬레이션부(56)를 포함한다.

객체이미지데이터DB(52)는 객체이미지데이터 저장부(40)가 전송한 데이터를 저장한다. 객체이미지데이터(O)는 일정 시간 동안의 데이터일 수 있지만, 객체이미지데이터DB(52)에는 이러한 객체이미지데이터(O)가 갱신되고 누적되어 반영구적으로 저장된다. 이를 위하여 객체이미지데이터DB(52)는 퓨전 시스템(1)마다 고유 코드를 부여하여 별도로 데이터를 저장함으로써, 예를 들어 차종마다 장기간 연속된 객체이미지데이터(O)를 저장할 수 있다.

객체이미지데이터 가공부(54)는 객체이미지데이터(O)를 시뮬레이션에 적합한 시뮬레이션 데이터(S)로 변환한다. 예를 들어 사고가 발생한 경우 또는 위험 구간대로 판단한 경우와 같이 이벤트가 발생하면, 자차의 운전석에서 바라 본 관점에서 주위의 제반 환경 - 타차, 도로, 보도, 보행자 - 을 그래픽으로 보여줄 수 있도록 모델링 데이터로 변환한다.

시뮬레이션부(56)는 이와 같이 전환된 시뮬레이션 데이터(S)를 실주행 동적 영상으로 디스를레이와 같은 표시장치에 표시한다. 시뮬레이션 데이터(S)는 인공지능 학습 자료 또는 주행 연습한 자료로 활용되거나 보험사 또는 경찰서 등으로 전송되어 조회될 수 있다.

도 5는 본 발명의 제 2실시예에 따른 형상 좌표와 데이터 라벨링 퓨전 시스템(1)의 전체 구성도이다.

제2실시예는 제1실시예와 달리 퓨전시스템(1)이 객체정보데이터수신부(60)를 더 포함한다. 객체정보데이터수신부(60)는 객체가 차종인 경우 차량 정보 - 속도, 브레이크 페달 답입 여부 및 레이더 센서가 취득한 주위 정보 - 를 수신한다. 객체정보데이터수신부(60)가 전송 받은 데이터는 적절한 가공을 거쳐 클라우드 시스템(C)으로 전송된다. 그러면 클라우드 시스템(C)은 전술한 동적 영상 이미지에 차량 정보를 더 추가하여 표시함으로써 정확한 시뮬레이션을 제공할 수 있다. 도 5에 도시한 것과 같이 넓은 범위의 본 발명의 퓨전 시스템(1)은 클라우드 시스템(C)을 포함하도록 구축될 수 있다.

이상 몇 가지 실시예를 토대로 본 발명을 설명하였지만, 본 발명은 모듈, SoC, SW 프로그램 적용 방법으로 차량, CCTV 분야는 물론 비전(카메라)을 활용하는 분야에 범용적으로 적용 가능하다.

본 발명의 권리범위는 이하 기술하는 청구범위와 동일 또는 균등한 영역에까지 미침은 자명하다.

Claims (7)

1. 형상 좌표와 데이터 라벨링의 퓨전 시스템으로서, 상기 시스템은 비전데이터 수신부와, 연산부로 기능하는 MCU부와, 객체이미지데이터 저장부를 포함하며,
   비전데이터 수신부는 영상 획득 장치가 객체를 촬영한 비전데이터를 전송 받고, MCU부는 비전데이터 수신부가 수신한 비전데이터를 데이터 라벨링과 융합(퓨전)하는 프로세스를 통하여 객체이미지 데이터를 생성하며, 객체 이미지 데이터는 객체이미지데이터 저장부에 저장되고,
   MCU부는 형상좌표 추출부와, 데이터 라벨링 수행부와, 좌표와 라벨링 퓨전부를 포함하며,
   형상 좌표 추출부는 비전데이터에서 형상 좌표를 추출하고,
   데이터라벨링 수행부는 비전데이터를 토대로 데이터 라벨링을 수행하고,
   좌표와 레벨링 퓨전부는 형상 좌표와 데이터 라벨링을 융합하여 객체 이미지 데이터를 생성하는, 퓨전 시스템.
2. 삭제
3. 제 1항에 있어서,
   형상 좌표 추출부는 비전데이터에서 관심 영역을 정의하고 영상이진화 기법을 통해 객체의 경계(threshold)를 구분하여 객체를 특정하고, 특정된 객체의 외곽을 토대로 형상 좌표를 추출하는, 퓨전 시스템.
4. 제 3항에 있어서,
   좌표와 라벨링 퓨전부는 다음의 어느 하나 이상의 동작을 통해 형상 좌표와 데이터 라벨링을 융합하는 퓨전 시스템
   (가) 2D 형식의 형상좌표를 데이터 라벨링을 참조로 3D형식의 형상좌표로 변환하는 것
   (나) 형상좌표가 규정하는 외부 윤곽과 라벨링이 규정하는 외부 윤곽이 중복된 영역을 토대로 객체의 형상좌표를 보정하는 것
   (다) 형상좌표가 규정하는 외부 윤곽을 1차적으로 유지하고 라벨링이 규정하는 외부 윤곽을 토대로 전자를 변경 또는 확장하는 것
   (라) 데이터 라벨링이 규정하는 외부 윤곽을 1차적으로 유지하면서 형상좌표가 규정하는 외부 윤곽을 토대로 전자를 변경 또는 확장하는 것
5. 제 4항에 있어서,
   객체 이미지 데이터의 형상 내부는 단색으로 처리하여 데이터 용량을 줄인, 퓨전 시스템.
6. 제 1항에 있어서,
   영상 획득 장치가 획득한 비전데이타 이외의 객체의 정보를 나타내는 객체정보데이터를 수신하는 객체정보데이터 수신부를 더 포함하는, 퓨전 시스템
7. 제 1항에 있어서,
   퓨전시스템은 클라우드 시스템을 더 포함하며, 클라우드 시스템은 객체 이미지 데이터를 수신하고, 가공하여 실 주행 환경을 나타내는 동적 영상을 제공하는 시뮬레이션부를 포함하는, 퓨전시스템.

Images