KR20210063024A - 차량용 카메라 영상 학습 장치 및 그 방법 - Google Patents

차량용 카메라 영상 학습 장치 및 그 방법 Download PDF

Info

Publication number
KR20210063024A
KR20210063024A KR1020190151422A KR20190151422A KR20210063024A KR 20210063024 A KR20210063024 A KR 20210063024A KR 1020190151422 A KR1020190151422 A KR 1020190151422A KR 20190151422 A KR20190151422 A KR 20190151422A KR 20210063024 A KR20210063024 A KR 20210063024A
Authority
KR
South Korea
Prior art keywords
image
learning
generating
binary mask
vehicle
Prior art date
Application number
KR1020190151422A
Other languages
English (en)
Inventor
김종모
최진욱
이하연
안준식
손민성
Original Assignee
현대자동차주식회사
기아 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아 주식회사 filed Critical 현대자동차주식회사
Priority to KR1020190151422A priority Critical patent/KR20210063024A/ko
Priority to US16/931,061 priority patent/US11551033B2/en
Priority to DE102020209958.8A priority patent/DE102020209958A1/de
Publication of KR20210063024A publication Critical patent/KR20210063024A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/2163—Partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H04N5/2257—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 차량용 카메라 영상 학습 장치 및 그 방법에 관한 것으로, 차량에 장착된 카메라를 통해 획득한 영상에서 고정영역을 패턴영상으로 마스킹하고, 상기 마스킹된 영상을 서로 다른 뷰(View)를 가지는 복수의 영상으로 변환하며, 상기 마스킹된 영상과 상기 변환된 복수의 영상을 이용하여 심층 학습을 수행함으로써, 상기 차량의 색상과 카메라의 장착 각도(Yaw, Roll, Pitch)에 상관없이 심층 학습의 결과를 모든 차량에 적용할 수 있게 하는 차량용 카메라 영상 학습 장치 및 그 방법을 제공하고자 한다.
이를 위하여, 본 발명은 차량용 카메라 영상 학습 장치에 있어서, 차량에 장착된 카메라에 의해 촬영된 영상을 입력하는 영상 입력부; 및 상기 영상 입력부로부터 입력받은 영상 내 고정영역을 패턴영상으로 마스킹하고, 상기 마스킹된 영상을 서로 다른 뷰(View)를 가지는 복수의 영상으로 변환하며, 상기 마스킹된 영상과 상기 변환된 복수의 영상을 이용하여 심층 학습을 수행하는 제어부를 포함한다.

Description

차량용 카메라 영상 학습 장치 및 그 방법{APPARATUS FOR LEARNING IMAGE OF VEHICLE CAMERA AND METHOD THEREOF}
본 발명은 차량에 장착된 카메라를 통해 획득한 영상을 이용하여 심층 학습을 수행하는 기술에 관한 것이다.
일반적으로, 심층 학습(Deep Learning or Deep Neural Network)은 기계 학습(Machine Learning)의 한 종류로서, 입력과 출력 사이에 여러 층의 인공 신경망(ANN, Artificial Neural Network)이 구성되어 있으며, 이러한 인공 신경망은 구조와 해결할 문제 및 목적 등에 따라 콘볼루션 신경망(CNN, Convolution Neural Network) 또는 순환 신경망(RNN, Recurrent Neural Network) 등을 포함할 수 있다.
심층 학습은 분류(classification), 회기(regression), 위치 인식(localization), 검출(detection), 분할(segmentation) 등 다양한 문제를 해결하기 위해 사용된다. 특히, 자율주행시스템에서는 동적, 정적 장애물의 위치와 종류를 판별할 수 있는 의미론적 분할(Semantic Segmentation)과 객체 검출(Object Detection)이 중요하게 사용된다.
의미론적 분할은 이미지 내에서 객체를 찾기 위해 픽셀 단위의 분류 예측을 수행하여 의미가 같은 픽셀 단위로 분할하는 것을 의미하며, 이를 통해 이미지 내에 어떤 객체가 있는지 확인할 수 있을 뿐만 아니라 동일한 의미(동일 객체)를 갖는 픽셀의 위치까지 정확하게 파악할 수 있다.
객체 검출은 이미지 내 객체의 종류를 분류 및 예측하고, 경계 상자(Bounding Box)를 회귀 예측하여 객체의 위치정보를 찾는 것을 의미하며, 이를 통해 단순 분류와는 다르게 이미지에 있는 객체의 종류가 무엇인지 뿐만 아니라 그 객체의 위치정보까지 파악할 수 있다.
한편, 차량에 장착된 카메라를 통해 획득한 영상을 이용하여 심층 학습을 수행하는 종래의 기술은, 특정 차량에 장착된 카메라를 통해 획득한 영상, 즉 특정 차량의 색상과 카메라의 장착 각도(Yaw, Roll, Pitch)에 종속적인 영상을 이용하여 심층 학습을 수행하기 때문에 심층 학습의 결과(일례로, 의미론적 영상 분할 모델)를 타 차량에 적용하는 경우 정상적인 인식 성능을 발휘하지 못한다. 참고로, 상기 영상에는 상기 특정 차량의 일부가 포함되어 있으므로 상기 특정 차량의 색상이 학습에 영향을 미친다.
결국, 차량마다 색상이 다르고 아울러 카메라의 장착 각도에 따른 뷰(View)가 서로 다르기 때문에, 특정 차량에 장착된 카메라를 통해 획득한 영상에 기초하여 심층 학습을 수행한 결과는 타 차량에 적용되는데 한계가 있다.
이 배경기술 부분에 기재된 사항은 발명의 배경에 대한 이해를 증진하기 위하여 작성된 것으로서, 이 기술이 속하는 분야에서 통상의 지식을 가진 자에게 이미 알려진 종래기술이 아닌 사항을 포함할 수 있다.
본 발명은 차량에 장착된 카메라를 통해 획득한 영상에서 고정영역을 패턴영상으로 마스킹하고, 상기 마스킹된 영상을 서로 다른 뷰(View)를 가지는 복수의 영상으로 변환하며, 상기 마스킹된 영상과 상기 변환된 복수의 영상을 이용하여 심층 학습을 수행함으로써, 상기 차량의 색상과 카메라의 장착 각도(Yaw, Roll, Pitch)에 상관없이 심층 학습의 결과를 모든 차량에 적용할 수 있게 하는 차량용 카메라 영상 학습 장치 및 그 방법을 제공하는데 그 목적이 있다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
상기 목적을 달성하기 위한 본 발명의 장치는, 차량용 카메라 영상 학습 장치에 있어서, 차량에 장착된 카메라에 의해 촬영된 영상을 입력하는 영상 입력부; 및 상기 영상 입력부로부터 입력받은 영상 내 고정영역을 패턴영상으로 마스킹하고, 상기 마스킹된 영상을 서로 다른 뷰(View)를 가지는 복수의 영상으로 변환하며, 상기 마스킹된 영상과 상기 변환된 복수의 영상을 이용하여 심층 학습을 수행하는 제어부를 포함할 수 있다.
여기서, 상기 영상 입력부는 차량의 전방에 장착된 카메라에 의해 촬영된 전방영상, 차량의 후방에 장착된 카메라에 의해 촬영된 후방영상, 차량의 좌측에 장착된 카메라에 의해 촬영된 좌측영상, 차량의 우측에 장착된 카메라에 의해 촬영된 우측영상을 상기 제어부로 입력할 수 있다.
또한, 상기 제어부는 상기 영상 입력부로부터 입력받은 영상 내 고정영역에 마스킹을 수행하여 제1 학습영상을 생성하고, 상기 영상 입력부로부터 입력받은 영상을 기준각도 회전시키고 상기 회전된 영상 내 고정영역에 마스킹을 수행하여 제2 학습영상을 생성하며, 상기 제1 학습영상에 크랍을 수행하여 제3 학습영상을 생성하고, 상기 제2 학습영상에 크랍을 수행하여 제4 학습영상을 생성할 수 있다.
또한, 상기 제어부는 상기 제1 학습영상과 상기 제2 학습영상과 상기 제3 학습영상 및 상기 제4 학습영상 중 적어도 하나 이상에 기초하여 심층 학습을 수행할 수 있다.
또한, 상기 제어부는 상기 영상 입력부로부터 입력받은 영상에 바이너리 마스크 영상을 곱하여 고정영역이 제거된 제1 영상을 생성하고, 상기 바이너리 마스크 영상을 반전시켜 역 바이너리 마스크 영상을 생성하며, 패턴영상에 상기 역 바이너리 마스크 영상을 곱하여 고정영역이 패턴영상으로 이루어진 제2 영상을 생성하고, 상기 제1 영상과 상기 제2 영상을 더하여 상기 영상 입력부로부터 입력받은 영상 내 고정영역이 패턴영상으로 대체된 제1 학습영상을 생성할 수 있다.
또한, 상기 제어부는 상기 영상 입력부로부터 입력받은 영상을 기준각도 회전시키고, 바이너리 마스크 영상을 기준각도 회전시키며, 기준각도 회전된 영상에 기준각도 회전된 바이너리 마스크 영상을 곱하여 고정영역이 제거된 제1 영상을 생성하고, 바이너리 마스크 영상을 반전시켜 역 바이너리 마스크 영상을 생성하며, 패턴영상에 상기 역 바이너리 마스크 영상을 곱하여 고정영역이 패턴영상으로 이루어진 제2 영상을 생성하며, 상기 제1 영상과 상기 제2 영상을 더하여 상기 기준각도 회전된 영상 내 고정영역이 패턴영상으로 대체된 제2 학습영상을 생성할 수 있다.
또한, 상기 제어부는 상기 영상 입력부로부터 입력받은 영상을 시계방향으로 기준각도 회전시키고, 상기 회전된 영상 내 고정영역에 마스킹을 수행하여 제2 학습영상을 생성하며, 상기 생성된 제2 학습영상에 크랍을 수행하여 제4 학습영상을 생성할 수 있다.
또한, 상기 제어부는 상기 영상 입력부로부터 입력받은 영상을 반시계방향으로 기준각도 회전시키고, 상기 회전된 영상 내 고정영역에 마스킹을 수행하여 제2 학습영상을 생성하고, 상기 생성된 제2 학습영상에 크랍을 수행하여 제4 학습영상을 생성할 수 있다.
상기 목적을 달성하기 위한 본 발명의 방법은, 차량용 카메라 영상 학습 방법에 있어서, 영상 입력부가 차량에 장착된 카메라에 의해 촬영된 영상을 입력하는 단계; 제어부가 상기 입력받은 영상 내 고정영역을 패턴영상으로 마스킹하고, 상기 마스킹된 영상을 서로 다른 뷰(View)를 가지는 복수의 영상으로 변환하는 단계; 및 상기 제어부가 상기 마스킹된 영상과 상기 변환된 복수의 영상을 이용하여 심층 학습을 수행하는 단계를 포함할 수 있다.
여기서, 상기 영상을 입력하는 단계는, 차량의 전방에 장착된 카메라에 의해 촬영된 전방영상을 입력하는 단계; 차량의 후방에 장착된 카메라에 의해 촬영된 후방영상을 입력하는 단계; 차량의 좌측에 장착된 카메라에 의해 촬영된 좌측영상을 입력하는 단계; 및 차량의 우측에 장착된 카메라에 의해 촬영된 우측영상을 입력하는 단계를 포함할 수 있다.
또한, 상기 서로 다른 뷰를 가지는 복수의 영상으로 변환하는 단계는, 상기 영상 입력부로부터 입력받은 영상 내 고정영역에 마스킹을 수행하여 제1 학습영상을 생성하는 단계; 상기 영상 입력부로부터 입력받은 영상을 기준각도 회전시키고 상기 회전된 영상 내 고정영역에 마스킹을 수행하여 제2 학습영상을 생성하는 단계; 상기 제1 학습영상에 크랍을 수행하여 제3 학습영상을 생성하는 단계; 및 상기 제2 학습영상에 크랍을 수행하여 제4 학습영상을 생성하는 단계를 포함할 수 있다.
또한, 상기 심층 학습을 수행하는 단계는, 상기 제1 학습영상과 상기 제2 학습영상과 상기 제3 학습영상 및 상기 제4 학습영상 중 적어도 하나 이상에 기초하여 심층 학습을 수행하는 단계를 포함할 수 있다.
또한, 상기 제1 학습영상을 생성하는 단계는, 상기 영상 입력부로부터 입력받은 영상에 바이너리 마스크 영상을 곱하여 고정영역이 제거된 제1 영상을 생성하는 단계; 상기 바이너리 마스크 영상을 반전시켜 역 바이너리 마스크 영상을 생성하는 단계; 패턴영상에 상기 역 바이너리 마스크 영상을 곱하여 고정영역이 패턴영상으로 이루어진 제2 영상을 생성하는 단계; 및 상기 제1 영상과 상기 제2 영상을 더하여 상기 영상 입력부로부터 입력받은 영상 내 고정영역이 패턴영상으로 대체된 제1 학습영상을 생성하는 단계를 포함할 수 있다.
또한, 상기 제2 학습영상을 생성하는 단계는, 상기 영상 입력부로부터 입력받은 영상을 기준각도 회전시키는 단계; 바이너리 마스크 영상을 기준각도 회전시키는 단계; 기준각도 회전된 영상에 기준각도 회전된 바이너리 마스크 영상을 곱하여 고정영역이 제거된 제1 영상을 생성하는 단계; 바이너리 마스크 영상을 반전시켜 역 바이너리 마스크 영상을 생성하는 단계; 패턴영상에 상기 역 바이너리 마스크 영상을 곱하여 고정영역이 패턴영상으로 이루어진 제2 영상을 생성하는 단계; 및 상기 제1 영상과 상기 제2 영상을 더하여 상기 기준각도 회전된 영상 내 고정영역이 패턴영상으로 대체된 제2 학습영상을 생성하는 단계를 포함할 수 있다.
또한, 상기 제4 학습영상을 생성하는 단계는, 상기 영상 입력부로부터 입력받은 영상을 시계방향으로 기준각도 회전시키고, 상기 회전된 영상 내 고정영역에 마스킹을 수행하여 생성된 제2 학습영상에 크랍을 수행하여 제4 학습영상을 생성하는 단계를 포함할 수 있다.
또한, 상기 제4 학습영상을 생성하는 단계는, 상기 영상 입력부로부터 입력받은 영상을 반시계방향으로 기준각도 회전시키고, 상기 회전된 영상 내 고정영역에 마스킹을 수행하여 생성된 제2 학습영상에 크랍을 수행하여 제4 학습영상을 생성하는 단계를 포함할 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 다른 방법은, 차량용 카메라 영상 학습 방법에 있어서, 영상 입력부가 차량에 장착된 카메라에 의해 촬영된 영상을 입력하는 단계; 제어부가 상기 입력받은 영상 내 고정영역에 마스킹을 수행하여 학습영상을 생성하는 제1 과정과, 상기 입력받은 영상을 기준각도 회전시키고 상기 회전된 영상 내 고정영역에 마스킹을 수행하여 학습영상을 생성하는 제2 과정과, 상기 입력받은 영상 내 고정영역에 마스킹을 수행하여 영상을 생성하고 상기 생성된 영상에 크랍을 수행하여 학습영상을 생성하는 제3 과정과, 상기 입력받은 영상을 기준각도 회전시키고 상기 회전된 영상 내 고정영역에 마스킹을 수행하여 영상을 생성하며 상기 생성된 영상에 크랍을 수행하여 학습영상을 생성하는 제4 과정 중 어느 하나의 과정을 랜덤하게 수행하는 단계; 및 상기 제어부가 상기 생성된 학습영상을 이용하여 심층 학습을 수행하는 단계를 포함할 수 있다.
여기서, 상기 제1 과정은 상기 영상 입력부로부터 입력받은 영상에 바이너리 마스크 영상을 곱하여 고정영역이 제거된 제1 영상을 생성하는 단계; 상기 바이너리 마스크 영상을 반전시켜 역 바이너리 마스크 영상을 생성하는 단계; 패턴영상에 상기 역 바이너리 마스크 영상을 곱하여 고정영역이 패턴영상으로 이루어진 제2 영상을 생성하는 단계; 및 상기 제1 영상과 상기 제2 영상을 더하여 상기 영상 입력부로부터 입력받은 영상 내 고정영역이 패턴영상으로 대체된 제1 학습영상을 생성하는 단계를 포함할 수 있다.
또한, 상기 제2 과정은 상기 영상 입력부로부터 입력받은 영상을 기준각도 회전시키는 단계; 바이너리 마스크 영상을 기준각도 회전시키는 단계; 기준각도 회전된 영상에 기준각도 회전된 바이너리 마스크 영상을 곱하여 고정영역이 제거된 제1 영상을 생성하는 단계; 바이너리 마스크 영상을 반전시켜 역 바이너리 마스크 영상을 생성하는 단계; 패턴영상에 상기 역 바이너리 마스크 영상을 곱하여 고정영역이 패턴영상으로 이루어진 제2 영상을 생성하는 단계; 및 상기 제1 영상과 상기 제2 영상을 더하여 상기 기준각도 회전된 영상 내 고정영역이 패턴영상으로 대체된 제2 학습영상을 생성하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 차량용 카메라 영상 학습 장치 및 그 방법은, 차량에 장착된 카메라를 통해 획득한 영상에서 고정영역을 패턴영상으로 마스킹하고, 상기 마스킹된 영상을 서로 다른 뷰(View)를 가지는 복수의 영상으로 변환하며, 상기 마스킹된 영상과 상기 변환된 복수의 영상을 이용하여 심층 학습을 수행함으로써, 상기 차량의 색상과 카메라의 장착 각도(Yaw, Roll, Pitch)에 상관없이 심층 학습의 결과를 모든 차량에 적용할 수 있게 한다.
도 1 은 본 발명의 일 실시예에 따른 차량용 카메라 영상 학습 장치에 대한 구성도,
도 2 는 본 발명의 일 실시예에 따른 차량용 카메라 영상 학습 장치에 구비된 학습영상 변환부의 상세 구성도,
도 3a는 본 발명의 일 실시예에 따른 차량용 카메라 영상 학습 장치에 구비된 영상 입력부로부터 입력받은 영상을 나타내는 도면,
도 3b는 본 발명의 일 실시예에 따른 차량용 카메라 영상 학습 장치에 구비된 바이너리 마스크 영상을 나타내는 도면,
도 3c는 본 발명의 일 실시예에 따른 차량용 카메라 영상 학습 장치에 구비된 제1 생성기에 의해 전처리된 제1 영상을 나타내는 도면,
도 3d는 본 발명의 일 실시예에 따른 차량용 카메라 영상 학습 장치에 구비된 패턴영상을 나타내는 도면,
도 3e는 본 발명의 일 실시예에 따른 차량용 카메라 영상 학습 장치에 구비된 제1 생성기에 의해 전처리된 제2 영상을 나타내는 도면,
도 3f는 본 발명의 일 실시예에 따른 차량용 카메라 영상 학습 장치에 구비된 제1 생성기에 의해 생성된 제1 학습영상을 나타내는 도면,
도 4a는 본 발명의 일 실시예에 따른 차량용 카메라 영상 학습 장치에 구비된 영상 입력부로부터 입력받은 소스영상을 나타내는 도면,
도 4b는 본 발명의 일 실시예에 따른 차량용 카메라 영상 학습 장치에 구비된 제2 생성기에 의해 소정 각도 회전된 소스영상을 나타내는 도면,
도 4c는 본 발명의 일 실시예에 따른 차량용 카메라 영상 학습 장치에 구비된 바이너리 마스크 영상을 나타내는 도면,
도 4d는 본 발명의 일 실시예에 따른 차량용 카메라 영상 학습 장치에 구비된 제2 생성기에 의해 소정 각도 회전된 바이너리 마스크 영상을 나타내는 도면,
도 4e는 본 발명의 일 실시예에 따른 차량용 카메라 영상 학습 장치에 구비된 제2 생성기에 의해 전처리된 제1 영상을 나타내는 도면,
도 4f는 본 발명의 일 실시예에 따른 차량용 카메라 영상 학습 장치에 구비된 패턴영상을 나타내는 도면,
도 4g는 본 발명의 일 실시예에 따른 차량용 카메라 영상 학습 장치에 구비된 제2 생성기에 의해 전처리된 제2 영상을 나타내는 도면,
도 4h는 본 발명의 일 실시예에 따른 차량용 카메라 영상 학습 장치에 구비된 제2 생성기에 의해 생성된 제2 학습영상을 나타내는 도면,
도 5a는 본 발명의 일 실시예에 따른 차량용 카메라 영상 학습 장치에 구비된 제3 생성기에 의해 생성된 제3 학습영상을 나타내는 도면,
도 5b는 본 발명의 일 실시예에 따른 차량용 카메라 영상 학습 장치에 구비된 제3 생성기에 의해 생성된 제4 학습영상을 나타내는 일예시도,
도 5c는 본 발명의 일 실시예에 따른 차량용 카메라 영상 학습 장치에 구비된 제3 생성기에 의해 생성된 제4 학습영상을 나타내는 다른 예시도,
도 6 은 본 발명의 일 실시예에 따른 차량용 카메라 영상 학습 장치의 성능을 나타내는 일예시도이다.
도 6에 도시된 바와 같이, 종래의 기술은 공간을 정상적으로 구분해 내지 못한 반면, 본 발명은 공간을 정상적으로 구분해 낸 것을 알 수 있다.
도 7 은 본 발명의 일 실시예에 따른 차량용 카메라 영상 학습 장치의 성능을 나타내는 다른 예시도,
도 8 은 본 발명의 일 실시예에 따른 차량용 카메라 영상 학습 방법에 대한 흐름도,
도 9 는 본 발명의 일 실시예에 따른 차량용 카메라 영상 학습 방법을 실행하기 위한 컴퓨팅 시스템을 보여주는 블록도이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1 은 본 발명의 일 실시예에 따른 차량용 카메라 영상 학습 장치에 대한 구성도이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 차량용 카메라 영상 학습 장치(100)는, 저장부(10), 영상 입력부(20), 및 제어부(30)를 포함할 수 있다. 이때, 본 발명의 일 실시예에 따른 차량용 카메라 영상 학습 장치(100)를 실시하는 방식에 따라 각 구성요소는 서로 결합되어 하나로 구현될 수도 있고, 일부의 구성요소가 생략될 수도 있다.
상기 각 구성요소들에 대해 살펴보면, 먼저 저장부(10)는 영상 입력부(20)로부터 차량의 전방에 장착된 카메라에 의해 촬영된 전방영상, 차량의 후방에 장착된 카메라에 의해 촬영된 후방영상, 차량의 좌측에 장착된 카메라에 의해 촬영된 좌측영상, 차량의 우측에 장착된 카메라에 의해 촬영된 우측영상을 소스영상으로서 입력받고, 상기 입력받은 소스영상 내 고정영역을 패턴영상으로 마스킹하며, 상기 마스킹된 영상을 서로 다른 뷰(View)를 가지는 복수의 영상으로 변환하고, 상기 마스킹된 영상과 상기 변환된 복수의 영상을 이용하여 심층 학습을 수행하는 과정에서 요구되는 각종 로직과 알고리즘 및 프로그램을 저장할 수 있다. 여기서, 상기 고정영역은 영상에서 픽셀값이 변하지 않는 영역으로서, 카메라의 렌즈를 감싸는 하우징이 촬영된 부분과 자차의 바디가 촬영된 부분을 의미한다. 이러한 고정영역은 사전에 알고 있는 정보이다.
저장부(10)는 패턴영상과 바이너리 마스크 영상을 저장할 수 있다.
저장부(10)는 제어부(30)에 의해 수행된 심층 학습의 결과로서 의미론적 영상 분할 모델을 저장할 수 있다.
저장부(10)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 마이크로 타입(micro type), 및 카드 타입(예컨대, SD 카드(Secure Digital Card) 또는 XD 카드(eXtream Digital Card)) 등의 메모리와, 램(RAM, Random Access Memory), SRAM(Static RAM), 롬(ROM, Read-Only Memory), PROM(Programmable ROM), EEPROM(Electrically Erasable PROM), 자기 메모리(MRAM, Magnetic RAM), 자기 디스크(magnetic disk), 및 광디스크(optical disk) 타입의 메모리 중 적어도 하나의 타입의 기록 매체(storage medium)를 포함할 수 있다.
다음으로, 영상 입력부(20)는 차량의 전방에 장착된 카메라에 의해 촬영된 전방영상, 차량의 후방에 장착된 카메라에 의해 촬영된 후방영상, 차량의 좌측에 장착된 카메라에 의해 촬영된 좌측영상, 차량의 우측에 장착된 카메라에 의해 촬영된 우측영상을 학습영상 변환부(31)로 입력한다.
다음으로, 제어부(30)는 상기 각 구성요소들이 제 기능을 정상적으로 수행할 수 있도록 전반적인 제어를 수행한다. 이러한 제어부(30)는 하드웨어의 형태로 구현되거나, 또는 소프트웨어의 형태로 구현되거나, 또는 하드웨어 및 소프트웨어가 결합된 형태로 구현될 수 있다. 바람직하게는, 제어부(30)는 마이크로프로세서로 구현될 수 있으나 이에 한정되는 것은 아니다.
특히, 제어부(30)는 영상 입력부(20)로부터 입력받은 영상 내 고정영역을 패턴영상으로 마스킹하고, 상기 마스킹된 영상을 서로 다른 뷰(View)를 가지는 복수의 영상으로 변환하며, 상기 마스킹된 영상과 상기 변환된 복수의 영상을 이용하여 심층 학습을 수행할 수 있다.
한편, 제어부(30)는 특정 시점에 마스킹된 영상과 상기 변환된 복수의 영상 중 어느 하나(랜덤)를 생성할 수도 있다.
이러한 제어부(30)는 상세 구성으로서 학습영상 변환부(31)와 학습부(32)를 포함할 수 있다.
학습영상 변환부(31)는 영상 입력부(20)로부터 입력받은 영상 내 고정영역에 마스킹(Masking)을 수행하여 제1 학습영상을 생성할 수 있다. 즉, 학습영상 변환부(31)는 마스킹 과정으로서 영상 입력부(20)로부터 입력받은 영상 내 고정영역을 패턴영상으로 대체할 수 있다. 아울러, 학습영상 변환부(31)는 학습이 아닌 테스트 과정에서도 카메라를 통해 획득한 영상에 마스킹을 수행할 수 있다. 학습부(32)는 마스킹된 영상에 기초하여 심층 학습을 수행했기 때문에 테스트 영상 역시 마스킹되어야 한다.
학습영상 변환부(31)는 영상 입력부(20)로부터 입력받은 영상을 기준 회전각 범위(일례로, -10도 ~ 10도)내에서 회전시키고, 상기 회전된 영상 내 고정영역에 마스킹을 수행하여 제2 학습영상을 생성할 수 있다. 이때, 학습영상 변환부(31)는 일례로 기준 회전각 범위 내에서 1도 단위로 총 20번의 회전을 수행할 수 있다.
학습영상 변환부(31)는 제1 학습영상 또는 제2 학습영상의 상단을 기준치(일례로, 30%) 잘라내는 크랍(crop)을 수행할 수 있다. 즉, 학습영상 변환부(31)는 제1 학습영상에 크랍을 수행하여 제3 학습영상을 생성하고, 제2 학습영상에 크랍을 수행하여 제4 학습영상을 생성할 수 있다. 이때, 학습영상 변환부(31)는 학습주기마다 랜덤으로 제1 학습영상과 제2 학습영상과 제3 학습영상 및 제4 학습영상 중 어느 하나를 생성할 수 있다. 이때, 학습주기는 하나의 영상을 학습하는 주기를 의미한다.
학습부(32)는 인공신경망을 기반으로 딥 러닝을 수행하는 모듈로서, 딥 러닝 방식 자체는 본 발명의 요지가 아닌 바 어떠한 방식을 사용해도 무방하므로 그 상세 설명은 생략하기로 한다.
이러한 학습부(32)는 제1 학습영상과 제2 학습영상과 제3 학습영상 및 제4 학습영상 중 적어도 하나 이상에 기초하여 심층 학습을 수행할 수 있다.
도 2 는 본 발명의 일 실시예에 따른 차량용 카메라 영상 학습 장치에 구비된 학습영상 변환부의 상세 구성도이다.
도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 차량용 카메라 영상 학습 장치(100)에 구비된 학습영상 변환부(31)는, 제1 생성기(310), 제2 생성기(320), 및 제3 생성기(330)를 포함할 수 있다.
제1 생성기(310)는 영상 입력부(20)로부터 입력받은 영상(소스영상) 내 고정영역에 마스킹을 수행하여 제1 학습영상을 생성할 수 있다. 즉, 제1 변환모듈(310)은 마스킹 과정으로서 영상 입력부(20)로부터 입력받은 영상 내 고정영역이 패턴영상으로 대체된 제1 학습영상을 생성할 수 있다.
이하, 도 3a 내지 도 3f를 참조하여 제1 생성기(310)의 상세 동작에 대해 살펴보기로 한다.
도 3a는 본 발명의 일 실시예에 따른 차량용 카메라 영상 학습 장치에 구비된 영상 입력부(20)로부터 입력받은 영상을 나타내고, 도 3b는 본 발명의 일 실시예에 따른 차량용 카메라 영상 학습 장치에 구비된 바이너리 마스크 영상을 나타내고, 도 3c는 본 발명의 일 실시예에 따른 차량용 카메라 영상 학습 장치에 구비된 제1 생성기에 의해 전처리된 제1 영상을 나타내고, 도 3d는 본 발명의 일 실시예에 따른 차량용 카메라 영상 학습 장치에 구비된 패턴영상을 나타내고, 도 3e는 본 발명의 일 실시예에 따른 차량용 카메라 영상 학습 장치에 구비된 제1 생성기에 의해 전처리된 제2 영상을 나타내고, 도 3f는 본 발명의 일 실시예에 따른 차량용 카메라 영상 학습 장치에 구비된 제1 생성기에 의해 생성된 제1 학습영상을 나타낸다.
여기서, 바이너리 마스크 영상은 1값을 가지는 흰색영역과 0값을 가지는 검은색영역(고정영역)으로 구분된다.
제1 생성기(310)는 도 3a에 도시된 바와 같은 소스영상에 도 3b에 도시된 바와 같은 바이너리 마스크 영상을 곱하여 도 3c에 도시된 바와 같은 제1 영상을 생성한다. 이때, 바이너리 마스크 영상의 흰색영역은 1값을 가지므로 흰색영역에 대응되는 소스영상 내 영역은 유지되고, 검은색영역은 0값을 가지므로 검은색영역에 대응되는 소스영상 내 영역은 바이너리 마스크 영상으로 대체된다. 즉, 소스영상 내 고정영역이 삭제(검은색영역으로 표시)된 제1 영상이 생성된다.
제1 생성기(310)는 바이너리 마스크 영상을 반전시켜 역 바이너리 마스크 영상을 생성하고, 도 3d에 도시된 바와 같은 패턴영상에 상기 역 바이너리 마스크 영상을 곱하여 도 3e에 도시된 바와 같은 제2 영상을 생성한다.
제1 생성기(310)는 제1 영상과 제2 영상을 더하여 소스영상의 고정영역이 패턴영상으로 대체된 도 3f에 도시된 바와 같은 제1 학습영상을 생성한다.
이하, 도 4a 내지 도 4h를 참조하여 제2 생성기(320)의 상세 동작에 대해 살펴보기로 한다.
도 4a는 본 발명의 일 실시예에 따른 차량용 카메라 영상 학습 장치에 구비된 영상 입력부(20)로부터 입력받은 소스영상을 나타내고, 도 4b는 본 발명의 일 실시예에 따른 차량용 카메라 영상 학습 장치에 구비된 제2 생성기에 의해 소정 각도 회전된 소스영상을 나타내고, 도 4c는 본 발명의 일 실시예에 따른 차량용 카메라 영상 학습 장치에 구비된 바이너리 마스크 영상을 나타내고, 도 4d는 본 발명의 일 실시예에 따른 차량용 카메라 영상 학습 장치에 구비된 제2 생성기에 의해 소정 각도 회전된 바이너리 마스크 영상을 나타내고, 도 4e는 본 발명의 일 실시예에 따른 차량용 카메라 영상 학습 장치에 구비된 제2 생성기에 의해 전처리된 제1 영상을 나타내고, 도 4f는 본 발명의 일 실시예에 따른 차량용 카메라 영상 학습 장치에 구비된 패턴영상을 나타내고, 도 4g는 본 발명의 일 실시예에 따른 차량용 카메라 영상 학습 장치에 구비된 제2 생성기에 의해 전처리된 제2 영상을 나타내고, 도 4h는 본 발명의 일 실시예에 따른 차량용 카메라 영상 학습 장치에 구비된 제2 생성기에 의해 생성된 제2 학습영상을 나타낸다.
제2 생성기(320)는 도 4a에 도시된 바와 같은 소스영상을 소정 각도 회전시켜 도 4b에 도시된 바와 같은 소정 각도 회전된 소스영상을 생성한다.
제2 생성기(320)는 도 4c에 도시된 바와 같은 바이너리 마스크 영상을 소정 각도 회전시켜 도 4d에 도시된 바와 같은 소정 각도 회전된 바이너리 마스크 영상을 생성한다.
제2 생성기(320)는 소정 각도 회전된 소스영상에 소정 각도 회전된 바이너리 마스크 영상을 곱하여 도 4e에 도시된 바와 같은 제1 영상을 생성한다.
제2 생성기(320)는 도 4c에 도시된 바와 같은 바이너리 마스크 영상을 반전시켜 역 바이너리 마스크 영상을 생성하고, 도 4f에 도시된 바와 같은 패턴영상에 상기 역 바이너리 마스크 영상을 곱하여 도 4g에 도시된 바와 같은 제2 영상을 생성한다.
제2 생성기(320)는 제1 영상과 제2 영상을 더하여 소스영상의 고정영역이 패턴영상으로 대체되고 아울러 소스영상과 뷰가 상이한 도 4h에 도시된 바와 같은 제2 학습영상을 생성한다.
이하, 도 5a 내지 도 5c를 참조하여 제3 생성기(330)의 상세 동작에 대해 살펴보기로 한다.
도 5a는 본 발명의 일 실시예에 따른 차량용 카메라 영상 학습 장치에 구비된 제3 생성기에 의해 생성된 제3 학습영상을 나타내는 도면이다.
도 5a에 도시된 바와 같이, 제3 생성기(330)는 제1 학습영상(510)에 크랍을 수행하여 제3 학습영상(511)을 생성한다.
도 5b는 본 발명의 일 실시예에 따른 차량용 카메라 영상 학습 장치에 구비된 제3 생성기에 의해 생성된 제4 학습영상을 나타내는 일예시도이다.
도 5b에 도시된 바와 같이, 제3 생성기(330)는 제2 학습영상(520)에 크랍을 수행하여 제3 학습영상(521)을 생성한다. 이때, 제2 학습영상(520)은 제2 생성기(320)에 의해 생성된 영상으로서, 제2 생성기(320)는 영상 입력부(20)로부터 입력받은 소스영상을 시계방향으로 소정각도 회전시킨 후 상기 회전된 소스영상 내 고정영역에 마스킹을 수행하여 제2 학습영상(520)을 생성한다.
도 5c는 본 발명의 일 실시예에 따른 차량용 카메라 영상 학습 장치에 구비된 제3 생성기에 의해 생성된 제4 학습영상을 나타내는 다른 예시도이다.
도 5c에 도시된 바와 같이, 제3 생성기(330)는 제2 학습영상(530)에 크랍을 수행하여 제3 학습영상(531)을 생성한다. 이때, 제2 학습영상(530)은 제2 생성기(320)에 의해 생성된 영상으로서, 제2 생성기(320)는 영상 입력부(20)로부터 입력받은 소스영상을 반시계방향으로 소정각도 회전시킨 후 상기 회전된 소스영상 내 고정영역에 마스킹을 수행하여 제2 학습영상(530)을 생성한다.
도 6 은 본 발명의 일 실시예에 따른 차량용 카메라 영상 학습 장치의 성능을 나타내는 일예시도이다.
도 6에 도시된 바와 같이, 종래의 기술은 공간을 정상적으로 구분해 내지 못한 반면, 본 발명은 공간을 정상적으로 구분해 낸 것을 알 수 있다.
도 7 은 본 발명의 일 실시예에 따른 차량용 카메라 영상 학습 장치의 성능을 나타내는 다른 예시도이다.
도 7에 도시된 바와 같이, 종래의 기술은 공간과 실제 존재하지 않는 객체(710)를 구분하여 인식한 반면, 본 발명은 정상적으로 실존하는 공간만을 인식한 것을 알 수 있다.
도 8 은 본 발명의 일 실시예에 따른 차량용 카메라 영상 학습 방법에 대한 흐름도이다.
먼저, 영상 입력부(10)가 차량에 장착된 카메라에 의해 촬영된 영상을 입력한다(801).
이후, 제어부(20)가 영상 입력부(10)로부터 입력받은 영상 내 고정영역을 패턴영상으로 마스킹하고, 상기 마스킹된 영상을 서로 다른 뷰(View)를 가지는 복수의 영상으로 변환한다(802).
이후, 제어부(20)가 상기 마스킹된 영상과 상기 변환된 복수의 영상을 이용하여 심층 학습을 수행한다(803).
도 9 는 본 발명의 일 실시예에 따른 차량용 카메라 영상 학습 방법을 실행하기 위한 컴퓨팅 시스템을 보여주는 블록도이다.
도 9를 참조하면, 상술한 본 발명의 일 실시예에 따른 차량용 카메라 영상 학습 방법은 컴퓨팅 시스템을 통해서도 구현될 수 있다. 컴퓨팅 시스템(1000)은 시스템 버스(1200)를 통해 연결되는 적어도 하나의 프로세서(1100), 메모리(1300), 사용자 인터페이스 입력 장치(1400), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다.
프로세서(1100)는 중앙 처리 장치(CPU) 또는 메모리(1300) 및/또는 스토리지(1600)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 메모리(1300) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 불휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1300)는 ROM(Read Only Memory) 및 RAM(Random Access Memory)을 포함할 수 있다.
따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1100)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, SSD(Solid State Drive), 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1300) 및/또는 스토리지(1600))에 상주할 수도 있다. 예시적인 저장 매체는 프로세서(1100)에 커플링되며, 그 프로세서(1100)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1100)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.
따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
10: 저장부
20: 영상 입력부
30: 제어부
31: 학습영상 변환부
32: 학습부

Claims (19)

  1. 차량에 장착된 카메라에 의해 촬영된 영상을 입력하는 영상 입력부; 및
    상기 영상 입력부로부터 입력받은 영상 내 고정영역을 패턴영상으로 마스킹하고, 상기 마스킹된 영상을 서로 다른 뷰(View)를 가지는 복수의 영상으로 변환하며, 상기 마스킹된 영상과 상기 변환된 복수의 영상을 이용하여 심층 학습을 수행하는 제어부
    를 포함하는 차량용 카메라 영상 학습 장치.
  2. 제 1 항에 있어서,
    상기 영상 입력부는,
    차량의 전방에 장착된 카메라에 의해 촬영된 전방영상, 차량의 후방에 장착된 카메라에 의해 촬영된 후방영상, 차량의 좌측에 장착된 카메라에 의해 촬영된 좌측영상, 차량의 우측에 장착된 카메라에 의해 촬영된 우측영상을 상기 제어부로 입력하는 것을 특징으로 하는 차량용 카메라 영상 학습 장치.
  3. 제 1 항에 있어서,
    상기 제어부는,
    상기 영상 입력부로부터 입력받은 영상 내 고정영역에 마스킹을 수행하여 제1 학습영상을 생성하고, 상기 영상 입력부로부터 입력받은 영상을 기준각도 회전시키고 상기 회전된 영상 내 고정영역에 마스킹을 수행하여 제2 학습영상을 생성하며, 상기 제1 학습영상에 크랍을 수행하여 제3 학습영상을 생성하고, 상기 제2 학습영상에 크랍을 수행하여 제4 학습영상을 생성하는 것을 특징으로 하는 차량용 카메라 영상 학습 장치.
  4. 제 3 항에 있어서,
    상기 제어부는,
    상기 제1 학습영상과 상기 제2 학습영상과 상기 제3 학습영상 및 상기 제4 학습영상 중 적어도 하나 이상에 기초하여 심층 학습을 수행하는 것을 특징으로 하는 차량용 카메라 영상 학습 장치.
  5. 제 3 항에 있어서,
    상기 제어부는,
    상기 영상 입력부로부터 입력받은 영상에 바이너리 마스크 영상을 곱하여 고정영역이 제거된 제1 영상을 생성하고, 상기 바이너리 마스크 영상을 반전시켜 역 바이너리 마스크 영상을 생성하며, 패턴영상에 상기 역 바이너리 마스크 영상을 곱하여 고정영역이 패턴영상으로 이루어진 제2 영상을 생성하고, 상기 제1 영상과 상기 제2 영상을 더하여 상기 영상 입력부로부터 입력받은 영상 내 고정영역이 패턴영상으로 대체된 제1 학습영상을 생성하는 것을 특징으로 하는 차량용 카메라 영상 학습 장치.
  6. 제 3 항에 있어서,
    상기 제어부는,
    상기 영상 입력부로부터 입력받은 영상을 기준각도 회전시키고, 바이너리 마스크 영상을 기준각도 회전시키며, 기준각도 회전된 영상에 기준각도 회전된 바이너리 마스크 영상을 곱하여 고정영역이 제거된 제1 영상을 생성하고, 바이너리 마스크 영상을 반전시켜 역 바이너리 마스크 영상을 생성하며, 패턴영상에 상기 역 바이너리 마스크 영상을 곱하여 고정영역이 패턴영상으로 이루어진 제2 영상을 생성하며, 상기 제1 영상과 상기 제2 영상을 더하여 상기 기준각도 회전된 영상 내 고정영역이 패턴영상으로 대체된 제2 학습영상을 생성하는 것을 특징으로 하는 차량용 카메라 영상 학습 장치.
  7. 제 3 항에 있어서,
    상기 제어부는,
    상기 영상 입력부로부터 입력받은 영상을 시계방향으로 기준각도 회전시키고, 상기 회전된 영상 내 고정영역에 마스킹을 수행하여 제2 학습영상을 생성하며, 상기 생성된 제2 학습영상에 크랍을 수행하여 제4 학습영상을 생성하는 것을 특징으로 하는 차량용 카메라 영상 학습 장치.
  8. 제 3 항에 있어서,
    상기 제어부는,
    상기 영상 입력부로부터 입력받은 영상을 반시계방향으로 기준각도 회전시키고, 상기 회전된 영상 내 고정영역에 마스킹을 수행하여 제2 학습영상을 생성하고, 상기 생성된 제2 학습영상에 크랍을 수행하여 제4 학습영상을 생성하는 것을 특징으로 하는 차량용 카메라 영상 학습 장치.
  9. 영상 입력부가 차량에 장착된 카메라에 의해 촬영된 영상을 입력하는 단계;
    제어부가 상기 입력받은 영상 내 고정영역을 패턴영상으로 마스킹하고, 상기 마스킹된 영상을 서로 다른 뷰(View)를 가지는 복수의 영상으로 변환하는 단계; 및
    상기 제어부가 상기 마스킹된 영상과 상기 변환된 복수의 영상을 이용하여 심층 학습을 수행하는 단계
    를 포함하는 차량용 카메라 영상 학습 방법.
  10. 제 9 항에 있어서,
    상기 영상을 입력하는 단계는,
    차량의 전방에 장착된 카메라에 의해 촬영된 전방영상을 입력하는 단계;
    차량의 후방에 장착된 카메라에 의해 촬영된 후방영상을 입력하는 단계;
    차량의 좌측에 장착된 카메라에 의해 촬영된 좌측영상을 입력하는 단계; 및
    차량의 우측에 장착된 카메라에 의해 촬영된 우측영상을 입력하는 단계
    를 포함하는 차량용 카메라 영상 학습 방법.
  11. 제 9 항에 있어서,
    상기 서로 다른 뷰를 가지는 복수의 영상으로 변환하는 단계는,
    상기 영상 입력부로부터 입력받은 영상 내 고정영역에 마스킹을 수행하여 제1 학습영상을 생성하는 단계;
    상기 영상 입력부로부터 입력받은 영상을 기준각도 회전시키고 상기 회전된 영상 내 고정영역에 마스킹을 수행하여 제2 학습영상을 생성하는 단계;
    상기 제1 학습영상에 크랍을 수행하여 제3 학습영상을 생성하는 단계; 및
    상기 제2 학습영상에 크랍을 수행하여 제4 학습영상을 생성하는 단계
    를 포함하는 차량용 카메라 영상 학습 방법.
  12. 제 11 항에 있어서,
    상기 심층 학습을 수행하는 단계는,
    상기 제1 학습영상과 상기 제2 학습영상과 상기 제3 학습영상 및 상기 제4 학습영상 중 적어도 하나 이상에 기초하여 심층 학습을 수행하는 단계
    를 포함하는 차량용 카메라 영상 학습 방법.
  13. 제 11 항에 있어서,
    상기 제1 학습영상을 생성하는 단계는,
    상기 영상 입력부로부터 입력받은 영상에 바이너리 마스크 영상을 곱하여 고정영역이 제거된 제1 영상을 생성하는 단계;
    상기 바이너리 마스크 영상을 반전시켜 역 바이너리 마스크 영상을 생성하는 단계;
    패턴영상에 상기 역 바이너리 마스크 영상을 곱하여 고정영역이 패턴영상으로 이루어진 제2 영상을 생성하는 단계; 및
    상기 제1 영상과 상기 제2 영상을 더하여 상기 영상 입력부로부터 입력받은 영상 내 고정영역이 패턴영상으로 대체된 제1 학습영상을 생성하는 단계
    를 포함하는 차량용 카메라 영상 학습 방법.
  14. 제 11 항에 있어서,
    상기 제2 학습영상을 생성하는 단계는,
    상기 영상 입력부로부터 입력받은 영상을 기준각도 회전시키는 단계;
    바이너리 마스크 영상을 기준각도 회전시키는 단계;
    기준각도 회전된 영상에 기준각도 회전된 바이너리 마스크 영상을 곱하여 고정영역이 제거된 제1 영상을 생성하는 단계;
    바이너리 마스크 영상을 반전시켜 역 바이너리 마스크 영상을 생성하는 단계;
    패턴영상에 상기 역 바이너리 마스크 영상을 곱하여 고정영역이 패턴영상으로 이루어진 제2 영상을 생성하는 단계; 및
    상기 제1 영상과 상기 제2 영상을 더하여 상기 기준각도 회전된 영상 내 고정영역이 패턴영상으로 대체된 제2 학습영상을 생성하는 단계
    를 포함하는 차량용 카메라 영상 학습 방법.
  15. 제 11 항에 있어서,
    상기 제4 학습영상을 생성하는 단계는,
    상기 영상 입력부로부터 입력받은 영상을 시계방향으로 기준각도 회전시키고, 상기 회전된 영상 내 고정영역에 마스킹을 수행하여 생성된 제2 학습영상에 크랍을 수행하여 제4 학습영상을 생성하는 단계
    를 포함하는 차량용 카메라 영상 학습 방법.
  16. 제 11 항에 있어서,
    상기 제4 학습영상을 생성하는 단계는,
    상기 영상 입력부로부터 입력받은 영상을 반시계방향으로 기준각도 회전시키고, 상기 회전된 영상 내 고정영역에 마스킹을 수행하여 생성된 제2 학습영상에 크랍을 수행하여 제4 학습영상을 생성하는 단계
    를 포함하는 차량용 카메라 영상 학습 방법.
  17. 영상 입력부가 차량에 장착된 카메라에 의해 촬영된 영상을 입력하는 단계;
    제어부가 상기 입력받은 영상 내 고정영역에 마스킹을 수행하여 학습영상을 생성하는 제1 과정과, 상기 입력받은 영상을 기준각도 회전시키고 상기 회전된 영상 내 고정영역에 마스킹을 수행하여 학습영상을 생성하는 제2 과정과, 상기 입력받은 영상 내 고정영역에 마스킹을 수행하여 영상을 생성하고 상기 생성된 영상에 크랍을 수행하여 학습영상을 생성하는 제3 과정과, 상기 입력받은 영상을 기준각도 회전시키고 상기 회전된 영상 내 고정영역에 마스킹을 수행하여 영상을 생성하며 상기 생성된 영상에 크랍을 수행하여 학습영상을 생성하는 제4 과정 중 어느 하나의 과정을 랜덤하게 수행하는 단계; 및
    상기 제어부가 상기 생성된 학습영상을 이용하여 심층 학습을 수행하는 단계
    를 포함하는 차량용 카메라 영상 학습 방법.
  18. 제 17 항에 있어서,
    상기 제1 과정은,
    상기 영상 입력부로부터 입력받은 영상에 바이너리 마스크 영상을 곱하여 고정영역이 제거된 제1 영상을 생성하는 단계;
    상기 바이너리 마스크 영상을 반전시켜 역 바이너리 마스크 영상을 생성하는 단계;
    패턴영상에 상기 역 바이너리 마스크 영상을 곱하여 고정영역이 패턴영상으로 이루어진 제2 영상을 생성하는 단계; 및
    상기 제1 영상과 상기 제2 영상을 더하여 상기 영상 입력부로부터 입력받은 영상 내 고정영역이 패턴영상으로 대체된 제1 학습영상을 생성하는 단계
    를 포함하는 차량용 카메라 영상 학습 방법.
  19. 제 17 항에 있어서,
    상기 제2 과정은,
    상기 영상 입력부로부터 입력받은 영상을 기준각도 회전시키는 단계;
    바이너리 마스크 영상을 기준각도 회전시키는 단계;
    기준각도 회전된 영상에 기준각도 회전된 바이너리 마스크 영상을 곱하여 고정영역이 제거된 제1 영상을 생성하는 단계;
    바이너리 마스크 영상을 반전시켜 역 바이너리 마스크 영상을 생성하는 단계;
    패턴영상에 상기 역 바이너리 마스크 영상을 곱하여 고정영역이 패턴영상으로 이루어진 제2 영상을 생성하는 단계; 및
    상기 제1 영상과 상기 제2 영상을 더하여 상기 기준각도 회전된 영상 내 고정영역이 패턴영상으로 대체된 제2 학습영상을 생성하는 단계
    를 포함하는 차량용 카메라 영상 학습 방법.
KR1020190151422A 2019-11-22 2019-11-22 차량용 카메라 영상 학습 장치 및 그 방법 KR20210063024A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020190151422A KR20210063024A (ko) 2019-11-22 2019-11-22 차량용 카메라 영상 학습 장치 및 그 방법
US16/931,061 US11551033B2 (en) 2019-11-22 2020-07-16 Apparatus for learning image of vehicle camera and method thereof
DE102020209958.8A DE102020209958A1 (de) 2019-11-22 2020-08-06 Vorrichtung zum Erlernen eines Bildes einer Fahrzeugkamera und Verfahren dafür

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190151422A KR20210063024A (ko) 2019-11-22 2019-11-22 차량용 카메라 영상 학습 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR20210063024A true KR20210063024A (ko) 2021-06-01

Family

ID=75784263

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190151422A KR20210063024A (ko) 2019-11-22 2019-11-22 차량용 카메라 영상 학습 장치 및 그 방법

Country Status (3)

Country Link
US (1) US11551033B2 (ko)
KR (1) KR20210063024A (ko)
DE (1) DE102020209958A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019076436A1 (en) * 2017-10-16 2019-04-25 Hp Indigo B.V. APPARATUS FOR PROCESSING IMAGES

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11508049B2 (en) * 2018-09-13 2022-11-22 Nvidia Corporation Deep neural network processing for sensor blindness detection in autonomous machine applications
US11030457B2 (en) * 2018-12-17 2021-06-08 Here Global B.V. Lane feature detection in aerial images based on road geometry

Also Published As

Publication number Publication date
DE102020209958A1 (de) 2021-05-27
US11551033B2 (en) 2023-01-10
US20210158091A1 (en) 2021-05-27

Similar Documents

Publication Publication Date Title
US10846556B2 (en) Vehicle insurance image processing method, apparatus, server, and system
US11645744B2 (en) Inspection device and inspection method
US11393256B2 (en) Method and device for liveness detection, and storage medium
JP2019079505A (ja) 畳み込みニューラルネットワーク計算スループットの加速化
JP6866889B2 (ja) 画像処理装置、画像処理方法およびプログラム
KR20200143960A (ko) 영상을 이용한 객체 인식 장치 및 그 방법
JP2022542949A (ja) 歩行者検出方法及び装置、コンピュータ読み取り可能な記憶媒体並びにチップ
US20220076119A1 (en) Device and method of training a generative neural network
CN108734684A (zh) 动态照明场景的图像背景减除
CN109064392B (zh) 确定单应矩阵的方法及其系统以及图像转换方法及其系统
Stäcker et al. Deployment of deep neural networks for object detection on edge ai devices with runtime optimization
CN114757301A (zh) 车载视觉感知方法和装置、可读存储介质、电子设备
CN112541394A (zh) 黑眼圈及鼻炎识别方法、系统及计算机介质
KR101080375B1 (ko) 객체 학습 방법, 객체 학습 방법을 이용한 객체 추적 방법, 객체 학습 및 추적 시스템
KR20210063024A (ko) 차량용 카메라 영상 학습 장치 및 그 방법
CN113095228B (zh) 图像中的目标检测方法、装置及计算机可读存储介质
JP7233572B2 (ja) エクスプレイナブルセルフフォーカスされたアテンションを利用して行動予測を遂行する方法及び装置
CN109523570B (zh) 运动参数计算方法及装置
Saad et al. Camera vignetting model and its effects on deep neural networks for object detection
Bolten et al. Evaluation of Deep Learning based 3D-Point-Cloud Processing Techniques for Semantic Segmentation of Neuromorphic Vision Sensor Event-streams.
EP3772019A1 (en) Line-based feature generation for vision-based driver assistance systems and methods
US11107197B2 (en) Apparatus for processing image blurring and method thereof
US20220270351A1 (en) Image recognition evaluation program, image recognition evaluation method, evaluation apparatus, and evaluation system
KR20210087494A (ko) 인체 방향 검출 방법, 장치, 전자 기기 및 컴퓨터 저장 매체
JP2021051348A (ja) 物体距離推定装置及び物体距離推定方法