KR102190527B1 - 자동 영상 합성 장치 및 방법 - Google Patents

자동 영상 합성 장치 및 방법 Download PDF

Info

Publication number
KR102190527B1
KR102190527B1 KR1020190023543A KR20190023543A KR102190527B1 KR 102190527 B1 KR102190527 B1 KR 102190527B1 KR 1020190023543 A KR1020190023543 A KR 1020190023543A KR 20190023543 A KR20190023543 A KR 20190023543A KR 102190527 B1 KR102190527 B1 KR 102190527B1
Authority
KR
South Korea
Prior art keywords
image
unit
learning
standard
learned
Prior art date
Application number
KR1020190023543A
Other languages
English (en)
Other versions
KR20200105004A (ko
Inventor
이동열
이진언
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020190023543A priority Critical patent/KR102190527B1/ko
Priority to CN202010120406.9A priority patent/CN111627078B/zh
Priority to US16/802,788 priority patent/US11222224B2/en
Publication of KR20200105004A publication Critical patent/KR20200105004A/ko
Application granted granted Critical
Publication of KR102190527B1 publication Critical patent/KR102190527B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G06T5/77—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/60—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Abstract

본 발명은 자동 영상 합성 장치에 관한 것으로, 차량의 카메라를 통해 입력되는 복수의 프레임 이미지에서 학습 또는 대체할 객체가 있는 프레임 이미지를 탐색하여 추출하는 이미지 탐색부; 상기 추출한 프레임 이미지에서 학습이나 대체할 인스턴스 객체를 검출하는 인스턴스 객체 검출부; 상기 추출한 프레임 이미지내에서 마스크 세그멘테이션된 부분들을 추출하여 자료구조화 하는 이미지 추출 & 객체 클래스 정보 검출부; 상기 마스크 세그멘테이션된 객체의 클래스 값과 매칭되는 표준이미지를 맵핑하는 표준이미지 맵핑부; 및 상기 선택된 표준이미지와 상기 마스크 세그멘테이션 이미지를 입력받아 대체 이미지를 학습하거나 이 학습 결과에 기초하여 대체 이미지를 생산하는 GAN(Generative adversarial networks) 네트워크부;를 포함하는 것을 특징으로 한다.

Description

자동 영상 합성 장치 및 방법{APPARATUS AND METHOD FOR AUTOMATIC SYNTHESIZING IMAGES}
본 발명은 자동 영상 합성 장치 및 방법에 관한 것으로, 보다 상세하게는 이미지내에서 검출된 사물(또는 객체)들의 세그멘테이션 마스크 이미지와 사전에 확보된 표준이미지 데이터베이스를 이용한 이미지 합성을 통하여 정형화된 사물(또는 객체)의 다양한 데이터셋(dataset)을 확보할 수 있도록 하는, 자동 영상 합성 장치 및 방법에 관한 것이다.
일반적으로 영상처리(image processing)는 화소 처리(picture processing)라고도 하는데, 컴퓨터에 의한 디지털 영상 처리(image processing)는 메모리 소자 등의 급속한 진보에 의해 우주 관측, 의료용, 사진 해석, 디자인, 각종 패턴 인식 등 많은 응용 분야에서 실용화되고 있다. TV 카메라, CCD 카메라 등이 영상 입력 장치로, 또 카피를 위한 하드웨어, 소프트웨어의 각종 출력 장치가 사용되며, 디지털화된 영상을 컴퓨터로 처리하기 위한 몇 가지 특별한 수법도 개발되고 있다.
최근 디지털 카메라 및 스마트폰 카메라가 급속도로 발전되면서 스마트폰 사용자들은 영상과 이미지를 편집하고 재구성하여 자신만의 컨텐츠를 다양한 형태로 만들어 내고 있다. 하지만 종래 이미지 편집 프로세스는 단순히 이미지의 명도나 채도를 조정하거나, 이미지에 포함된 객체의 크기를 조정하는 수준으로만 제공되고 있는 실정이다. 현재 사용자에 의해 생성된 이미지를 심층적으로 분석하여 이미지를 새로운 창작물로 재탄생 시키거나 재구성하는 이미지 분석 및 편집 프로세스 기능을 제공하는 시스템은 부재하다.
기존에 영상 처리와 컴퓨터 비전은 이미지나 영상을 컴퓨터 상에서 처리하여 영상이나 이미지를 처리하는데 활용되고 있다. 현재 이미지 변경 소프트웨어나 툴은 이미지를 변경하여 특정 데이터 형태(jpg, png, gif, psd 등)로 저장하여 소프트웨어 상에서만 사용 할 수 있는데, 이 데이터들은 다른 소프트웨어에서 또 다른 형태로 가공되기도 하지만, 원하는 데이터만 추출해서 재 가공 할 수 없는 문제점이 있다.
본 발명의 배경기술은 대한민국 등록특허 10-1581112호(2015.12.22. 등록, 계층적 패턴 구조에 기반한 기술자 생성 방법 및 이를 이용한 객체 인식 방법과 장치)에 개시되어 있다.
본 발명의 일 측면에 따르면, 본 발명은 상기와 같은 문제점을 해결하기 위해 창작된 것으로서, 이미지내에서 검출된 사물(또는 객체)들의 세그멘테이션 마스크 이미지와 사전에 확보된 표준이미지 데이터베이스를 이용한 이미지 합성을 통하여 정형화된 사물(또는 객체)의 다양한 데이터셋(dataset)을 확보할 수 있도록 하는, 자동 영상 합성 장치 및 방법을 제공하는 데 그 목적이 있다.
본 발명의 일 측면에 따른 자동 영상 합성 장치는, 차량의 카메라를 통해 입력되는 복수의 프레임 이미지에서 학습 또는 대체할 객체가 있는 프레임 이미지를 탐색하여 추출하는 이미지 탐색부; 상기 추출한 프레임 이미지에서 학습이나 대체할 인스턴스 객체를 검출하는 인스턴스 객체 검출부; 상기 추출한 프레임 이미지내에서 마스크 세그멘테이션된 부분들을 추출하여 자료구조화 하는 이미지 추출 & 객체 클래스 정보 검출부; 상기 마스크 세그멘테이션된 객체의 클래스 값과 매칭되는 표준이미지를 맵핑하는 표준이미지 맵핑부; 및 상기 선택된 표준이미지와 상기 마스크 세그멘테이션 이미지를 입력받아 대체 이미지를 학습하거나 이 학습 결과에 기초하여 대체 이미지를 생산하는 GAN(Generative adversarial networks) 네트워크부;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 이미지 탐색부는, 탐색된 프레임 이미지에 포함되는 특정 객체 이미지의 대체를 위한 학습 과정; 및 학습된 학습정보를 이용해 대체할 객체 이미지를 생성하는 생산 과정;에서 사용할 프레임 이미지를 탐색하여 추출하는 것을 특징으로 한다.
본 발명에 있어서, 상기 인스턴스 객체 검출부는, 상기 추출한 프레임 이미지내의 객체들을 인스턴스(instance) 단위로 구분하여 픽셀(pixel)별 세그멘테이션(segmentation)과 해당 객체의 클래스(class) 정보를 찾아 마스크 세그멘테이션(mask segmentaion)을 수행하는 것을 특징으로 한다.
본 발명에 있어서, 상기 표준이미지는, 표준이미지 데이터베이스에 저장되는 것을 특징으로 한다.
본 발명에 있어서, 상기 표준이미지 데이터베이스는, 동적 객체인 경우, 객체를 정육면체 각도 측면에서 보아 바닥면을 제외한 5면의 이미지 셋(set)을 포함하고, 표지판 및 교통 신호등을 포함한 고정 객체인 경우, 주행에 필요한 정보만을 가지고 있는 앞면만을 표준이미지로서 저장하는 것을 특징으로 한다.
본 발명에 있어서, 상기 표준이미지 맵핑부는, 학습 과정에서는 학습할 객체의 표준이미지를 맵핑하고, 생산 과정에서는 대체할 객체의 표준이미지를 맵핑하는 것을 특징으로 한다.
본 발명에 있어서, 상기 GAN 네트워크부는, 상기 표준이미지와 상기 마스크 세그멘테이션 이미지가 동일한 이미지라고 인식될 때까지 반복 처리하여 학습하고, 이 학습 결과를 학습부를 통해 저장하는 것을 특징으로 한다.
본 발명의 다른 측면에 따른 자동 영상 합성 방법은, 이미지 탐색부가 차량의 카메라를 통해 입력되는 복수의 프레임 이미지에서 학습 또는 대체할 객체가 있는 프레임 이미지를 탐색하여 추출하는 단계; 인스턴스 객체 검출부가 상기 추출한 프레임 이미지에서 학습이나 대체할 인스턴스 객체를 검출하는 단계; 이미지 추출 & 객체 클래스 정보 검출부가 상기 추출한 프레임 이미지내에서 마스크 세그멘테이션된 부분들을 추출하여 자료구조화 하는 단계; 표준이미지 맵핑부가 상기 마스크 세그멘테이션된 객체의 클래스 값과 매칭되는 표준이미지를 맵핑하는 단계; 및 GAN 네트워크부가 상기 선택된 표준이미지와 상기 마스크 세그멘테이션 이미지를 입력받아 대체 이미지를 학습하거나 이 학습 결과에 기초하여 대체 이미지를 생산하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 학습 또는 대체할 객체가 있는 프레임 이미지를 탐색하여 추출하는 단계에서, 상기 이미지 탐색부는, 탐색된 프레임 이미지에 포함되는 특정 객체 이미지의 대체를 위한 학습 과정; 및 학습된 학습정보를 이용해 대체할 객체 이미지를 생성하는 생산 과정;에서 사용할 프레임 이미지를 탐색하여 추출하는 것을 특징으로 한다.
본 발명에 있어서, 상기 추출한 프레임 이미지에서 학습이나 대체할 인스턴스 객체를 검출하는 단계에서, 상기 인스턴스 객체 검출부는, 상기 추출한 프레임 이미지내의 객체들을 인스턴스(instance) 단위로 구분하여 픽셀(pixel)별 세그멘테이션(segmentation)과 해당 객체의 클래스(class) 정보를 찾아 마스크 세그멘테이션(mask segmentaion)을 수행하는 것을 특징으로 한다.
본 발명에 있어서, 상기 표준이미지를 맵핑하는 단계에서, 상기 표준이미지 맵핑부는, 학습 과정에서는 학습할 객체의 표준이미지를 맵핑하고, 생산 과정에서는 대체할 객체의 표준이미지를 맵핑하는 것을 특징으로 한다.
본 발명에 있어서, 상기 대체 이미지를 학습하거나 이 학습 결과에 기초하여 대체 이미지를 생산하는 단계에서, 상기 GAN 네트워크부는, 상기 표준이미지와 상기 마스크 세그멘테이션 이미지가 동일한 이미지라고 인식될 때까지 반복 처리하여 학습하고, 이 학습 결과를 학습부를 통해 저장하는 것을 특징으로 한다.
본 발명의 일 측면에 따르면, 본 발명은 이미지내에서 검출된 사물(또는 객체)들의 세그멘테이션 마스크 이미지와 사전에 확보된 표준이미지 데이터베이스를 이용한 이미지 합성을 통하여 정형화된 사물(또는 객체)의 다양한 데이터셋(dataset)을 확보할 수 있도록 한다.
도 1은 본 발명의 일 실시예에 따른 자동 영상 합성 장치의 개략적인 구성을 보인 예시도.
도 2는 본 발명의 일 실시예에 따른 자동 영상 합성 방법을 설명하기 위한 흐름도.
도 3은 상기 도 1에 있어서, 객체의 인식 대상 범위를 지정하기 위한 클래스를 분류한 테이블을 보인 예시도.
도 4는 상기 도 1에 있어서, 표준이미지 데이터베이스를 설명하기 위하여 보인 예시도.
도 5는 상기 도 1에 있어서, 인식 대상인 고정 객체 중 표지판을 보인 예시도.
도 6은 상기 도 1에 있어서, 인식 대상인 고정 객체 중 교통 신호등을 보인 예시도.
이하, 첨부된 도면을 참조하여 본 발명에 따른 자동 영상 합성 장치 및 방법의 일 실시예를 설명한다.
이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 자동 영상 합성 장치의 개략적인 구성을 보인 예시도이다.
도 1에 도시된 바와 같이, 본 실시예에 따른 자동 영상 합성 장치는, 이미지 탐색부(110), 인스턴스 객체 검출부(120), 이미지 추출 & 객체 클래스 정보 검출부(130), 표준이미지 맵핑부(140), GAN 네트워크부(150), 학습부(160), 및 대체 이미지 출력부(170)를 포함한다.
상기 이미지 탐색부(110)는 차량의 카메라(예 : 블랙박스, 전방 감시 카메라 등)(미도시)를 통해 입력되는 복수의 이미지(예 : 복수의 프레임 이미지)를 입력받고, 학습(또는 대체)할 객체가 있는 이미지(예 : 프레임 이미지)를 탐색하여 추출한다.
상기 이미지 탐색부(110)는 학습 과정(phase)(즉, 탐색된 프레임 이미지에 포함되는 특정 객체 이미지의 대체를 위한 학습 과정)과 생산 과정(phase)(즉, 학습된 학습정보를 이용해 대체된 객체 이미지를 생성하는 과정)에서 사용할 이미지(즉, 복수의 프레임 이미지에서 선택된 프레임 이미지)를 탐색하여 추출한다.
상기 인스턴스 객체 검출부(120)는 상기 추출한 이미지(예 : 프레임 이미지)에서 인스턴스 객체(예 : 학습하거나 대체할 객체)를 검출한다.
또한 상기 인스턴스 객체 검출부(120)는 미리 지정된 기법(예 : Mask R CNN 기법)을 활용하여, 상기 추출한 이미지(예 : 프레임 이미지)내의 객체들을 인스턴스(instance) 단위로 구분하여 픽셀(pixel)별 세그멘테이션(segmentation)과 해당 객체의 클래스(class) 정보(예 : 객체의 종류를 의미하는 것로서, 버스, 자전거, 트럭 등)를 찾아 마스크 세그멘테이션(mask segmentaion)을 수행한다.
여기서 상기 Mask R CNN 기법은, 2017년에 제안된 기술로서 이미지에서 인스턴스 객체(instance object) 기술을 인식하는데 가장 좋은 알고리즘 중에 하나로서, 이미지내에서 인스턴스 객체에 해당하는 모든 픽셀들이 찾아진다.
여기서 상기 이미지(예 : 프레임 이미지) 내에는 검출해야 하는 다양한 객체들이 존재하는데, 이 중 같은 속성을 가지는 객체를 묶어서 정의하는 것을 클래스(class)라고 한다. 그리고 적용하는 어플리케이션에 따라 클래스의 형태는 가변적이다. 이 때 정의된 클래스의 형태에 따라서, 동일한 객체일 수도 있으며 다른 객체일 수도 있다.
예컨대 하늘(sky) 클래스가 있다고 할 때 이미지(예 : 프레임 이미지)내에 서로 고립된 하늘(sky) 영역이 두 군데 이상에서 나타날 수 있는데, 이 때 이 영역들은 같은 객체(object)가 되는 것이다. 또한 야채와 같이 서로 다른 객체이지만 경계가 애매하여 구분이 어려운 경우에는 객체 구분을 하지 않고 클래스만 정의하고 있다. 그러나 자동차(car), 보행자(pedestrian), 자전거(bicycle)와 같은 클래스를 정의할 때, 이 각각의 객체들은 경계가 명확하고 때에 따라서 구분하여 인식하는 것이 중요한 정보이기에 각 객체를 필수적으로 구분한다(도 3 참조).
이 때 상기와 같이 구분하는 각 객체를 인스턴스 객체(instance object)라고 한다.
참고로 주행에 필요한 주요 사물의 객체는, 도 3에 도시된 바와 같이, 대분류와 해당 객체에 해당하는 모든 세부 종류를 추가로 포함한다. 예컨대 자동차(Car)의 경우 중분류로서, 세단, 해치백, SUV 등으로 구분될 수도 있으며, 또는 대형, 중형, 소형 등으로 구분될 수도 있으며, 또는 A-seg, B-seg, C-seg로 구분될 수도 있고, 또한 하위 분류로서 국가(예 : 한국)에 존재하는 모든 차량(예 : LF/NF SONATA, AD AVANTE 등)으로 구분될 수도 있다.
여기서 상기 마스크 세그멘테이션(Mask segmentation)은 이미지내에서 픽셀단위로 사전에 정의한 클래스로 맵핑하는 것을 세그멘테이션이라고 하며, 이 때 동일한 인스턴스(instance) 또는 클래스(class)끼리 세그멘테이션된 픽셀들을 묶어서 이미지화 한 것을 마스크 세그멘테이션(Mask segmentation)이라고 한다. 보다 정확하게 본 발명은 인스턴스 객체를 인식하는 것으로, 인스턴스 마스크 세그멘테이션을 줄여서 마스크 세그멘테이션이라고 한다.
상기 인스턴스 객체 검출부(120)는 학습 과정(phase)과 생산 과정(phase)에서 모두 동일하게 이용된다.
상기 이미지 추출 & 객체 클래스 정보 검출부(130)는 상기 추출한 이미지(예 : 프레임 이미지)내에서 마스크 세그멘테이션(mask segmentaion)된 부분들을 추출하여 자료구조화 한다.
상기 이미지 추출 & 객체 클래스 정보 검출부(130)는 학습 과정(phase)과 생산 과정(phase)에서 모두 동일하게 이용된다.
상기 표준이미지 맵핑부(140)는 상기 마스크 세그멘테이션된 객체의 클래스 값(또는 ID)와 매칭되는 표준이미지를 맵핑한다. 이 때 상기 표준이미지는 표준이미지 DB(즉, 데이터베이스)에 저장되어 있다(도 4 참조).
즉, 상기 클래스 정보를 바탕으로 사전에 정의된 표준이미지 DB(데이터베이스)에 연결된 이미지를 찾을 수 있다. 상기 표준이미지 맵핑부(140)는 학습 과정(phase)과 생산 과정(phase)에서 모두 동일하게 이용된다. 다만 학습 과정에서는 학습할 객체의 표준이미지를 맵핑하고, 생산 과정에서는 대체할 객체의 표준이미지를 맵핑하는 차이점이 있다.
이 때 본 실시예에서 상기 표준이미지는 도 4에 도시된 바와 같이, 자동차(Vehicle) 및 이륜차(two-wheel vehicle)와 같은 동적(dynamic) 물체의 경우는 물체를 정육면체 각도 측면에서 보아 바닥면을 제외한 5면의 이미지 셋을 가리키며, 표지판(도 5 참조) 및 교통 신호등(traffic sign)(도 6 참조)과 같은 고정(static) 객체의 경우에는 주행에 필요한 정보만을 가지고 있는 앞면만을 표준이미지라고 한다.
상기 GAN 네트워크부(150)는 기 공지된 GAN 네트워크에 상기 선택된 표준이미지와 상기 마스크 세그멘테이션 이미지를 링크(또는 입력)받아 처리한다.
참고로 상기 GAN(Generative adversarial networks) 네트워크는, 이안 굿펠로우(Ian Goodfellow)가 2014년 제안한 기술로서, 생성자(generator : G)와 구분자(discirimiator : D)간의 두 네트워크를 적대적(adversarial)으로 학습시키는 비지도학습 기반 생성모델(unsupervised generative model)로서, 상기 생성자(G)는 Zero-Mean Gaussian으로 생성된 값(z)을 받아서 실제 데이터와 비슷한 데이터를 만들어내도록 학습되며, 상기 구분자(D)는 실제 데이터와 상기 생성자(G)가 생성한 가짜 데이터를 구별한다.
상기 GAN 네트워크부(150)에 상기 표준이미지와 상기 마스크 세그멘테이션 이미지를 둘 다 넣으면 상기 GAN 네트워크부(150)는 두 이미지가 동일한 이미지라고 인식될 때까지 반복 처리(예 : 벡터(즉, 사이즈, 각도 등) 조정)하여 학습한다. 즉, GAN 네트워크의 구분자(Discriminator)가 상기 두 이미지가 동일 이미지라고 할 때까지 반복 처리하여 생성자(Generator)를 학습시킨다.
상기 학습부(160)는 상기 GAN 네트워크부(150)의 학습 결과(즉, 벡터 정보 학습 결과)를 저장한다. 또한 상기 학습부(160)는 상기 이미지 탐색부(110)의 다른 이미지(예 : 프레임 이미지) 및 추출된 특정 이미지(예 : 프레임 이미지)내의 다른 인스턴스 객체에 대해서도 반복해서 학습을 수행할 수 있다.
한편 상기와 같이 GAN 네트워크부(150)를 통해 특정 인스턴스 객체에 대한 학습이 완료되면, 상기 학습된 인스턴스 객체에 대한 학습 결과(즉, 벡터 정보 학습 결과)를 바탕으로 상기 특정 인스턴스 객체(즉, 마스크 세그멘테이션 이미지)를 대체할 표준이미지를 상기 표준이미지 맵핑부(140)로부터 입력받는다.
즉, 상기 GAN 네트워크부(150)는 상기 마스크 세그멘테이션 이미지를 새로 선택된 표준이미지로 대체할 수 있는 대체 이미지를 생성한다.
상기 대체 이미지 출력부(170)는 상기 GAN 네트워크부(150)를 통해 생성된(즉, 마스크 세그멘테이션 이미지가 대체된 대체 이미지를 출력한다.
도 2는 본 발명의 일 실시예에 따른 자동 영상 합성 방법을 설명하기 위한 흐름도이다.
도 2에 도시된 바와 같이, 이미지 탐색부(110)가 차량의 카메라(예 : 블랙박스, 전방 감시 카메라 등)(미도시)를 통해 입력되는 복수의 이미지(예 : 복수의 프레임 이미지)를 입력받고, 학습(또는 대체)할 객체가 있는 이미지(예 : 프레임 이미지)를 탐색하여 추출한다(S101).
그리고 미리 설정된 모드가 학습 모드인 경우(S102의 학습), 인스턴스 객체 검출부(120)가 상기 추출한 이미지(예 : 프레임 이미지)에서 인스턴스 객체(예 : 학습하거나 대체할 객체)를 검출한다(S103).
상기 인스턴스 객체 검출부(120)는 미리 지정된 기법(예 : Mask R CNN 기법)을 활용하여, 상기 추출한 이미지(예 : 프레임 이미지)내의 객체들을 인스턴스(instance) 단위로 구분하여 픽셀(pixel)별 세그멘테이션(segmentation)과 해당 객체의 클래스(class) 정보(예 : 객체의 종류를 의미하는 것로서, 버스, 자전거, 트럭 등)를 찾아 마스크 세그멘테이션(mask segmentaion)을 수행한다.
이미지 추출 & 객체 클래스 정보 검출부(130)가 상기 추출한 이미지(예 : 프레임 이미지)내에서 마스크 세그멘테이션(mask segmentaion)된 부분들을 추출하여 자료구조화 한다.
표준이미지 맵핑부(140)가 상기 마스크 세그멘테이션된 객체의 클래스 값(또는 ID)와 매칭되는 표준이미지를 맵핑한다(S105).
GAN 네트워크부(150)가 기 공지된 GAN 네트워크에 상기 선택된 표준이미지와 상기 마스크 세그멘테이션 이미지를 링크(또는 입력)받아 처리한다(S106).
상기 GAN 네트워크부(150)에 상기 표준이미지와 상기 마스크 세그멘테이션 이미지를 둘 다 넣으면 상기 GAN 네트워크부(150)는 두 이미지가 동일한 이미지라고 인식될 때까지 반복 처리(예 : 벡터(즉, 사이즈, 각도 등) 조정)하여 학습한다(S107).
학습부(160)가 상기 GAN 네트워크부(150)의 학습 결과(즉, 벡터 정보 학습 결과)를 저장하고, 대체 이미지 생산(또는 생성)시 상기 학습 결과(즉, 벡터 정보 학습 결과)를 상기 GAN 네트워크부(150)에 제공한다(S108).
또한 상기 학습 과정(S101 ~ S108)은 상기 이미지 탐색부(110)의 다른 이미지(예 : 프레임 이미지) 및 추출된 특정 이미지(예 : 프레임 이미지)내의 다른 인스턴스 객체에 대해서도 반복해서 학습을 수행할 수 있다.
한편 상기 미리 설정된 모드가 생산(또는 생성) 모드인 경우(S102의 생산), 인스턴스 객체 검출부(120)가 상기 추출한 이미지(예 : 프레임 이미지)에서 인스턴스 객체(예 : 학습하거나 대체할 객체)를 검출한다(S109 = S103).
또한 이미지 추출 & 객체 클래스 정보 검출부(130)가 상기 추출한 이미지(예 : 프레임 이미지)내에서 마스크 세그멘테이션(mask segmentaion)된 부분들을 추출하여 자료구조화 한다.
또한 상기 표준이미지 맵핑부(140)는 상기 마스크 세그멘테이션된 객체의 클래스 값(또는 ID)와 매칭되며 상기 마스크 세그멘테이션된 객체를 대체할 표준이미지를 맵핑한다(S111).
GAN 네트워크부(150)가 기 공지된 GAN 네트워크에 상기 상기 마스크 세그멘테이션된 객체를 대체할 표준이미지와 상기 마스크 세그멘테이션 이미지를 링크(또는 입력)받아 처리한다(S112).
상기 GAN 네트워크부(150)는 상기 마스크 세그멘테이션 이미지의 기 학습된 결과(즉, 벡터 정보 학습 결과)를 이용하여 대체 이미지를 생산(또는 생성)한다(S113).
상기와 같이 본 실시예는 이미지내에서 검출된 사물(또는 객체)들의 세그멘테이션 마스크 이미지와 사전에 확보된 표준이미지 데이터베이스를 이용한 이미지 합성을 통하여 정형화된 사물(또는 객체)의 다양한 데이터셋(dataset)을 확보할 수 있도록 하는 효과가 있다. 또한 본 실시예는 학습 과정(phase)과 생산 과정(phase)의 구분 및 GAN(또는 GAN 네트워크)에서 동일한 이미지(즉, Real)이라고 인식될 때 까지 여러 객체와 이미지 반복 학습을 수행함으로써 보다 정확하고 다양한 인스턴스 객체 데이터를 확보할 수 있도록 한다.
이상으로 본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 기술적 보호범위는 아래의 특허청구범위에 의해서 정하여져야 할 것이다. 또한 본 명세서에서 설명된 구현은, 예컨대, 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림 또는 신호로 구현될 수 있다. 단일 형태의 구현의 맥락에서만 논의(예컨대, 방법으로서만 논의)되었더라도, 논의된 특징의 구현은 또한 다른 형태(예컨대, 장치 또는 프로그램)로도 구현될 수 있다. 장치는 적절한 하드웨어, 소프트웨어 및 펌웨어 등으로 구현될 수 있다. 방법은, 예컨대, 컴퓨터, 마이크로프로세서, 집적 회로 또는 프로그래밍가능한 로직 디바이스 등을 포함하는 프로세싱 디바이스를 일반적으로 지칭하는 프로세서 등과 같은 장치에서 구현될 수 있다. 프로세서는 또한 최종-사용자 사이에 정보의 통신을 용이하게 하는 컴퓨터, 셀 폰, 휴대용/개인용 정보 단말기(personal digital assistant: "PDA") 및 다른 디바이스 등과 같은 통신 디바이스를 포함한다.
110 : 이미지 탐색부 120 : 인스턴스 객체 검출부
130 : 이미지 추출 & 객체 클래스 정보 검출부
140 : 표준이미지 맵핑부 150 : GAN 네트워크부
160 : 학습부 170 : 대체 이미지 출력부

Claims (12)

  1. 차량의 카메라를 통해 입력되는 복수의 프레임 이미지에서 학습 또는 대체할 객체가 있는 프레임 이미지를 탐색하여 추출하는 이미지 탐색부;
    상기 추출한 프레임 이미지에서 학습이나 대체할 인스턴스 객체를 검출하는 인스턴스 객체 검출부;
    상기 추출한 프레임 이미지 내에서 마스크 세그멘테이션된 객체의 이미지들을 추출하여 자료구조화 하는 이미지 추출 & 객체 클래스 정보 검출부;
    상기 마스크 세그멘테이션된 객체의 클래스 값과 매칭되는 표준이미지를 맵핑하는 표준이미지 맵핑부; 및
    상기 표준이미지와 상기 마스크 세그멘테이션된 객체의 이미지를 입력받아 대체 이미지를 학습하거나 이 학습 결과에 기초하여 대체 이미지를 생산하는 GAN(Generative adversarial networks) 네트워크부;를 포함하되,
    상기 표준이미지는,
    동적 객체인 경우, 바닥면을 제외한 이미지를 포함하고, 고정객체인 경우, 주행에 필요한 정보를 가지는 면을 포함하는 것을 특징으로 하는 자동 영상 합성 장치.
  2. 제 1항에 있어서, 상기 이미지 탐색부는,
    탐색된 프레임 이미지에 포함되는 특정 객체 이미지의 대체를 위한 학습 과정; 및 학습된 학습정보를 이용해 대체할 객체 이미지를 생성하는 생산 과정;에서 사용할 프레임 이미지를 탐색하여 추출하는 것을 특징으로 하는 자동 영상 합성 장치.
  3. 제 1항에 있어서, 상기 인스턴스 객체 검출부는,
    상기 추출한 프레임 이미지내의 객체들을 인스턴스(instance) 단위로 구분하여 픽셀(pixel)별 세그멘테이션(segmentation)과 해당 객체의 클래스(class) 정보를 찾아 마스크 세그멘테이션(mask segmentaion)을 수행하는 것을 특징으로 하는 자동 영상 합성 장치.
  4. 제 1항에 있어서, 상기 표준이미지는,
    표준이미지 데이터베이스에 저장되는 것을 특징으로 하는 자동 영상 합성 장치.
  5. 삭제
  6. 제 1항에 있어서, 상기 표준이미지 맵핑부는,
    학습 과정에서는 학습할 객체의 표준이미지를 맵핑하고,
    생산 과정에서는 대체할 객체의 표준이미지를 맵핑하는 것을 특징으로 하는 자동 영상 합성 장치.
  7. 제 1항에 있어서, 상기 GAN 네트워크부는,
    상기 표준이미지와 상기 마스크 세그멘테이션된 객체의 이미지가 동일한 이미지라고 인식될 때까지 반복 처리하여 학습하고, 이 학습 결과를 학습부를 통해 저장하는 것을 특징으로 하는 자동 영상 합성 장치.
  8. 이미지 탐색부가 차량의 카메라를 통해 입력되는 복수의 프레임 이미지에서 학습 또는 대체할 객체가 있는 프레임 이미지를 탐색하여 추출하는 단계;
    인스턴스 객체 검출부가 상기 추출한 프레임 이미지에서 학습이나 대체할 인스턴스 객체를 검출하는 단계;
    이미지 추출 & 객체 클래스 정보 검출부가 상기 추출한 프레임 이미지 내에서 마스크 세그멘테이션된 객체의 이미지들을 추출하여 자료구조화 하는 단계;
    표준이미지 맵핑부가 상기 마스크 세그멘테이션된 객체의 클래스 값과 매칭되는 표준이미지를 맵핑하는 단계; 및
    GAN 네트워크부가 상기 표준이미지와 상기 마스크 세그멘테이션된 객체의 이미지를 입력받아 대체 이미지를 학습하거나 이 학습 결과에 기초하여 대체 이미지를 생산하는 단계;를 포함하되,
    상기 표준이미지는,
    동적 객체인 경우, 바닥면을 제외한 이미지를 포함하고, 고정 객체인 경우, 주행에 필요한 정보를 가지는 면을 포함하는 것을 특징으로 하는 자동 영상 합성 방법.
  9. 제 8항에 있어서, 상기 학습 또는 대체할 객체가 있는 프레임 이미지를 탐색하여 추출하는 단계에서,
    상기 이미지 탐색부는,
    탐색된 프레임 이미지에 포함되는 특정 객체 이미지의 대체를 위한 학습 과정; 및 학습된 학습정보를 이용해 대체할 객체 이미지를 생성하는 생산 과정;에서 사용할 프레임 이미지를 탐색하여 추출하는 것을 특징으로 하는 자동 영상 합성 방법.
  10. 제 8항에 있어서, 상기 추출한 프레임 이미지에서 학습이나 대체할 인스턴스 객체를 검출하는 단계에서,
    상기 인스턴스 객체 검출부는,
    상기 추출한 프레임 이미지내의 객체들을 인스턴스(instance) 단위로 구분하여 픽셀(pixel)별 세그멘테이션(segmentation)과 해당 객체의 클래스(class) 정보를 찾아 마스크 세그멘테이션(mask segmentaion)을 수행하는 것을 특징으로 하는 자동 영상 합성 방법.
  11. 제 8항에 있어서, 상기 표준이미지를 맵핑하는 단계에서,
    상기 표준이미지 맵핑부는,
    학습 과정에서는 학습할 객체의 표준이미지를 맵핑하고,
    생산 과정에서는 대체할 객체의 표준이미지를 맵핑하는 것을 특징으로 하는 자동 영상 합성 방법.
  12. 제 8항에 있어서, 상기 대체 이미지를 학습하거나 이 학습 결과에 기초하여 대체 이미지를 생산하는 단계에서,
    상기 GAN 네트워크부는,
    상기 표준이미지와 상기 마스크 세그멘테이션된 객체의 이미지가 동일한 이미지라고 인식될 때까지 반복 처리하여 학습하고, 이 학습 결과를 학습부를 통해 저장하는 것을 특징으로 하는 자동 영상 합성 방법.
KR1020190023543A 2019-02-28 2019-02-28 자동 영상 합성 장치 및 방법 KR102190527B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020190023543A KR102190527B1 (ko) 2019-02-28 2019-02-28 자동 영상 합성 장치 및 방법
CN202010120406.9A CN111627078B (zh) 2019-02-28 2020-02-26 自动图像合成装置与方法
US16/802,788 US11222224B2 (en) 2019-02-28 2020-02-27 Automatic image synthesizing apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190023543A KR102190527B1 (ko) 2019-02-28 2019-02-28 자동 영상 합성 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20200105004A KR20200105004A (ko) 2020-09-07
KR102190527B1 true KR102190527B1 (ko) 2020-12-14

Family

ID=72236364

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190023543A KR102190527B1 (ko) 2019-02-28 2019-02-28 자동 영상 합성 장치 및 방법

Country Status (3)

Country Link
US (1) US11222224B2 (ko)
KR (1) KR102190527B1 (ko)
CN (1) CN111627078B (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220180490A1 (en) * 2019-03-06 2022-06-09 Electronics And Telecommunications Research Institute Image correction system and image correcting method thereof
US11358063B2 (en) * 2020-03-06 2022-06-14 International Business Machines Corporation Generation of audience appropriate content
US20220108417A1 (en) * 2020-10-01 2022-04-07 Nvidia Corporation Image generation using one or more neural networks
EP4229600A1 (en) * 2020-10-19 2023-08-23 Telefonaktiebolaget LM Ericsson (publ) Synthetic digital image generation
CN113923493B (zh) * 2021-09-29 2023-06-16 北京奇艺世纪科技有限公司 一种视频处理方法、装置、电子设备以及存储介质
CN115359073A (zh) * 2022-10-17 2022-11-18 湖南自兴智慧医疗科技有限公司 基于对抗生成网络的染色体拓扑结构分割方法及装置
CN115601283B (zh) * 2022-12-14 2023-04-14 深圳思谋信息科技有限公司 图像增强方法、装置、计算机设备及计算机可读存储介质
CN116229337B (zh) * 2023-05-10 2023-09-26 瀚博半导体(上海)有限公司 用于视频处理的方法、装置、系统、设备和介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001273505A (ja) 1999-12-14 2001-10-05 Canon Inc ビジュアル言語分類システム
JP2015045908A (ja) 2013-08-27 2015-03-12 大日本印刷株式会社 レイアウト編集処理方法，装置およびプログラム
WO2018108129A1 (zh) 2016-12-16 2018-06-21 北京市商汤科技开发有限公司 用于识别物体类别的方法及装置、电子设备
US20180322366A1 (en) * 2017-05-02 2018-11-08 General Electric Company Neural network training image generation system
US20180374253A1 (en) * 2017-06-27 2018-12-27 The Boeing Company Generative image synthesis for training deep learning machines

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5792091B2 (ja) * 2012-02-16 2015-10-07 富士通テン株式会社 物体検出装置及び物体検出方法
KR101581112B1 (ko) 2014-03-26 2015-12-30 포항공과대학교 산학협력단 계층적 패턴 구조에 기반한 기술자 생성 방법 및 이를 이용한 객체 인식 방법과 장치
KR102230172B1 (ko) * 2014-05-09 2021-03-19 아이플루언스, 인크. 실제 및 가상의 객체와 인터페이싱하기 위한 생체기계학-기반의 안구 신호를 위한 시스템 및 방법
US10713794B1 (en) * 2017-03-16 2020-07-14 Facebook, Inc. Method and system for using machine-learning for object instance segmentation
KR102403494B1 (ko) * 2017-04-27 2022-05-27 에스케이텔레콤 주식회사 생성적 대립 네트워크에 기반한 도메인 간 관계를 학습하는 방법
KR102060662B1 (ko) * 2017-05-16 2019-12-30 삼성전자주식회사 차량의 주행 이벤트를 검출하는 전자 장치 및 방법
US10679351B2 (en) * 2017-08-18 2020-06-09 Samsung Electronics Co., Ltd. System and method for semantic segmentation of images
CN108759667B (zh) * 2018-05-29 2019-11-12 福州大学 车载摄像头下基于单目视觉与图像分割的前车测距方法
CN108898610B (zh) * 2018-07-20 2020-11-20 电子科技大学 一种基于mask-RCNN的物体轮廓提取方法
CN109035147B (zh) * 2018-08-10 2023-12-12 Oppo广东移动通信有限公司 图像处理方法及装置、电子装置、存储介质和计算机设备
US10311335B1 (en) * 2018-09-05 2019-06-04 StradVision, Inc. Method and device for generating image data set to be used for learning CNN capable of detecting obstruction in autonomous driving circumstance, and testing method, and testing device using the same

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001273505A (ja) 1999-12-14 2001-10-05 Canon Inc ビジュアル言語分類システム
JP2015045908A (ja) 2013-08-27 2015-03-12 大日本印刷株式会社 レイアウト編集処理方法，装置およびプログラム
WO2018108129A1 (zh) 2016-12-16 2018-06-21 北京市商汤科技开发有限公司 用于识别物体类别的方法及装置、电子设备
US20180322366A1 (en) * 2017-05-02 2018-11-08 General Electric Company Neural network training image generation system
US20180374253A1 (en) * 2017-06-27 2018-12-27 The Boeing Company Generative image synthesis for training deep learning machines

Also Published As

Publication number Publication date
CN111627078A (zh) 2020-09-04
US20200279122A1 (en) 2020-09-03
CN111627078B (zh) 2023-09-19
US11222224B2 (en) 2022-01-11
KR20200105004A (ko) 2020-09-07

Similar Documents

Publication Publication Date Title
KR102190527B1 (ko) 자동 영상 합성 장치 및 방법
CN107506763B (zh) 一种基于卷积神经网络的多尺度车牌精准定位方法
Zhou et al. Image-based vehicle analysis using deep neural network: A systematic study
CN102968637B (zh) 一种复杂背景图像文字分割方法
JP5775225B2 (ja) マルチレイヤ連結成分をヒストグラムと共に用いるテキスト検出
Nandi et al. Traffic sign detection based on color segmentation of obscure image candidates: a comprehensive study
Alidoost et al. A CNN-based approach for automatic building detection and recognition of roof types using a single aerial image
CN108960115B (zh) 基于角点的多方向文本检测方法
CN108921850B (zh) 一种基于图像分割技术的图像局部特征的提取方法
CN111738036B (zh) 图像处理方法、装置、设备及存储介质
CN113052184B (zh) 一种基于两阶段局部特征对齐的目标检测方法
CN111931859B (zh) 一种多标签图像识别方法和装置
Farag A lightweight vehicle detection and tracking technique for advanced driving assistance systems
Dhanaraj et al. Vehicle detection from multi-modal aerial imagery using YOLOv3 with mid-level fusion
KR20180067909A (ko) 영상 분할 장치 및 방법
Asgarian Dehkordi et al. Vehicle type recognition based on dimension estimation and bag of word classification
Latha et al. Image understanding: semantic segmentation of graphics and text using faster-RCNN
Chen et al. Improved fast r-cnn with fusion of optical and 3d data for robust palm tree detection in high resolution uav images
Huang et al. Nighttime vehicle detection based on direction attention network and bayes corner localization
Abdi et al. In-vehicle augmented reality TSR to improve driving safety and enhance the driver’s experience
JP2017228297A (ja) テキスト検出方法および装置
Ooi et al. Tracking in urban traffic scenes from background subtraction and object detection
Wang et al. Traffic lights detection based on deep learning feature
Vilaplana et al. Object detection and segmentation on a hierarchical region-based image representation
Manoharan et al. Detection of unstructured roads from a single image for autonomous navigation applications

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant