KR20180097966A - 자율 주행을 위한 영상 처리 방법 및 장치 - Google Patents

자율 주행을 위한 영상 처리 방법 및 장치 Download PDF

Info

Publication number
KR20180097966A
KR20180097966A KR1020170024824A KR20170024824A KR20180097966A KR 20180097966 A KR20180097966 A KR 20180097966A KR 1020170024824 A KR1020170024824 A KR 1020170024824A KR 20170024824 A KR20170024824 A KR 20170024824A KR 20180097966 A KR20180097966 A KR 20180097966A
Authority
KR
South Korea
Prior art keywords
frame
target object
vehicle
brightness
exposure
Prior art date
Application number
KR1020170024824A
Other languages
English (en)
Inventor
서영완
전바롬
조백환
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020170024824A priority Critical patent/KR20180097966A/ko
Priority to US15/818,347 priority patent/US10739783B2/en
Priority to JP2018016588A priority patent/JP2018142954A/ja
Priority to EP18158136.4A priority patent/EP3367303B1/en
Priority to CN201810155270.8A priority patent/CN108513059B/zh
Priority to CN202010776945.8A priority patent/CN111741229B/zh
Publication of KR20180097966A publication Critical patent/KR20180097966A/ko
Priority to US16/917,118 priority patent/US11409303B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G01S19/47—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement the supplementary measurement being an inertial measurement, e.g. tightly coupled inertial
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G06K9/00791—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H04N5/2353—
    • H04N5/2354—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computing Systems (AREA)
  • Electromagnetism (AREA)
  • Medical Informatics (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Studio Circuits (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

자율 주행을 위한 영상 처리 방법 및 장치가 개시된다. 일 실시예에 따른 영상 처리 방법은 입력 영상의 제1 프레임에서 대상 객체를 인식하고, 상기 대상 객체의 밝기에 기초하여, 상기 입력 영상의 제2 프레임의 노출을 조절하고, 상기 제1 프레임 및 상기 제2 프레임을 합성하여 합성 영상을 생성하는 단계들을 포함한다.

Description

자율 주행을 위한 영상 처리 방법 및 장치{IMAGE PROCESSING METHOD FOR AUTONOMOUS DRIVING AND APPARATUS THEREOF}
아래 실시예들은 자율 주행을 위한 영상 처리 방법 및 장치에 관한 것이다.
자율 주행(Automatic Driving)은 차량의 주행 중 요구되는 각종 조작을 자동으로 수행하는 것으로, 예를 들어 자율 주행 차량은 운전자가 핸들과 가속 페달, 브레이크 등을 조작하지 않아도 스스로 도로에서 달릴 수 있다. 차량의 자율 주행을 위해서는 차간 거리를 자동으로 유지해 주는 기술, 차선 이탈 및 차선 유지 여부를 알려주는 기술, 후방 및 측방의 감지물을 알려주는 기술 등이 사용될 수 있다. 자율 주행을 위한 다양한 기술들은 차량에서 파악되는 주변 영상 정보를 통해 수행될 수 있다.
일 실시예에 따르면, 영상 처리 방법은 입력 영상의 제1 프레임에서 대상 객체를 인식하는 단계; 상기 대상 객체의 밝기에 기초하여, 상기 입력 영상의 제2 프레임의 노출을 조절하는 단계; 및 상기 제1 프레임 및 상기 제2 프레임을 합성하여 합성 영상을 생성하는 단계를 포함한다.
상기 대상 객체를 인식하는 단계는 상기 제1 프레임에서 도로를 인식하는 단계; 상기 도로 상의 상기 도로 상의 일정 범위를 인식 영역으로 설정하는 단계; 및 상기 인식 영역에서 상기 대상 객체를 인식하는 단계를 포함할 수 있다.
상기 대상 객체를 인식하는 단계는 상기 제1 프레임 및 차량의 위치에 기초하여 상기 대상 객체를 인식하는 단계를 포함할 수 있다.
상기 대상 객체는 터널 입구, 터널 출구 및 차량의 라이트 중 적어도 하나를 포함할 수 있다.
상기 제2 프레임의 노출을 조절하는 단계 및 상기 합성 영상을 생성하는 단계는 상기 대상 객체의 밝기와 상기 제1 프레임에서 상기 대상 객체를 제외한 나머지 영역의 밝기 간의 차이가 미리 정해진 임계치보다 큰 경우에 수행될 수 있다.
상기 제2 프레임의 노출을 조절하는 단계는 상기 대상 객체의 밝기가 상기 제1 프레임에서 상기 대상 객체를 제외한 나머지 영역의 밝기에 비해 큰 경우 상기 제2 프레임의 노출을 감소시키는 단계; 및 상기 대상 객체의 밝기가 상기 제1 프레임에서 상기 대상 객체를 제외한 나머지 영역의 밝기에 비해 작은 경우 상기 제2 프레임의 노출을 증가시키는 단계를 포함할 수 있다.
상기 합성 영상을 생성하는 단계는 상기 제1 프레임에서 상기 대상 객체를 제외한 나머지 영역과 상기 제2 프레임에서 상기 대상 객체에 대응하는 영역을 합성하는 단계를 포함할 수 있다.
상기 합성 영상을 생성하는 단계는 상기 제1 프레임에서 상기 대상 객체를 제외한 나머지 영역과 상기 제2 프레임에서 상기 대상 객체에 대응하는 영역 중에 도로 상의 영역을 합성하는 단계를 포함할 수 있다.
상기 제2 프레임의 노출을 조절하는 단계는 차량이 야간에 밝은 터널에 진입하는 경우, 상기 차량이 주간에 어두운 터널을 빠져 나오는 경우, 또는 상기 차량에 역광이 비추는 경우, 상기 제2 프레임의 노출을 감소시키는 단계를 포함할 수 있다.
상기 제2 프레임의 노출을 조절하는 단계는 차량이 주간에 어두운 터널에 진입하는 경우 또는 상기 차량이 야간에 밝은 터널을 빠져 나오는 경우, 상기 제2 프레임의 노출을 감소시키는 단계를 포함할 수 있다.
일 실시예에 따르면, 영상 처리 장치는 프로세서; 및 컴퓨터에서 읽을 수 있는 명령어를 포함하는 메모리를 포함하고, 상기 명령어가 상기 프로세서에서 실행되면, 상기 프로세서는 입력 영상의 제1 프레임에서 대상 객체를 인식하고, 상기 대상 객체의 밝기에 기초하여 상기 입력 영상의 제2 프레임의 노출을 조절하고, 상기 제1 프레임 및 상기 제2 프레임을 합성하여 합성 영상을 생성한다.
상기 프로세서는 상기 제1 프레임에서 도로를 인식하고, 상기 도로 상에 인식 영역을 설정하고, 상기 인식 영역에서 상기 대상 객체를 인식할 수 있다.
상기 프로세서는 상기 제1 프레임 및 차량의 위치에 기초하여 상기 대상 객체를 인식할 수 있다.
상기 프로세서는 상기 대상 객체의 밝기와 상기 제1 프레임에서 상기 대상 객체를 제외한 나머지 영역의 밝기 간의 차이가 미리 정해진 임계치보다 큰 경우, 상기 제2 프레임의 노출을 조절할 수 있다.
상기 프로세서는 상기 제1 프레임에서 상기 대상 객체를 제외한 나머지 영역과 상기 제2 프레임에서 상기 대상 객체에 대응하는 영역을 합성하여 상기 합성 영상을 생성할 수 있다.
상기 프로세서는 상기 제1 프레임에서 상기 대상 객체를 제외한 나머지 영역과 상기 제2 프레임에서 상기 대상 객체에 대응하는 영역 중에 도로 상의 영역을 합성하여 상기 합성 영상을 생성할 수 있다.
일 실시예에 따르면, 자율 주행 차량은 입력 영상의 제1 프레임에서 대상 객체를 인식하고, 상기 대상 객체의 밝기에 기초하여 상기 입력 영상의 제2 프레임의 노출을 조절하고, 상기 제1 프레임 및 상기 제2 프레임을 합성하여 합성 영상을 생성하는 영상 처리 장치; 및 상기 합성 영상에 기초하여 차량을 제어하는 제어 장치를 포함한다.
상기 영상 처리 장치는 상기 제1 프레임에서 도로를 인식하고, 상기 도로 상에 인식 영역을 설정하고, 상기 인식 영역에서 상기 대상 객체를 인식할 수 있다.
도 1은 일 실시예에 따른 영상 처리 과정을 나타낸 도면.
도 2는 일 실시예에 따른 인식 영역을 설명하는 도면.
도 3은 일 실시예에 따른 위치 정보를 활용한 인식 과정을 나타낸 도면.
도 4는 일 실시예에 따른 터널 입구를 나타낸 도면.
도 5는 일 실시예에 따른 터널 출구를 나타낸 도면.
도 6은 일 실시예에 따른 차량의 라이트를 나타낸 도면.
도 7은 일 실시예에 따른 노출 조절을 기초로 연속된 합성 영상을 생성하는 과정을 나타낸 도면.
도 8은 일 실시예에 따른 영상 처리 장치를 나타낸 블록도.
도 9는 일 실시예에 따른 자율 주행 차량을 나타낸 블록도.
도 10은 일 실시예에 따른 영상 처리 방법을 나타낸 동작 흐름도.
본 명세서에서 개시되어 있는 특정한 구조적 또는 기능적 설명들은 단지 기술적 개념에 따른 실시예들을 설명하기 위한 목적으로 예시된 것으로서, 실시예들은 다양한 다른 형태로 실시될 수 있으며 본 명세서에 설명된 실시예들에 한정되지 않는다.
제1 또는 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 이해되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 일 실시예에 따른 영상 처리 과정을 나타낸 도면이다. 도 1을 참조하면, 영상 처리 장치(100)는 입력 영상에 기초하여 합성 영상을 생성한다. 영상 처리 장치(100)는 하나 또는 그 이상의 소프트웨어 모듈, 하나 또는 그 이상의 하드웨어 모듈, 또는 이들의 다양한 조합으로 구현될 수 있다.
영상 처리 장치(100)는 차량에 탑재될 수 있고, 합성 영상은 차량의 자율 주행을 위해 사용될 수 있다. 자율 주행은 차량의 주행 중 요구되는 각종 조작을 자동으로 수행하는 것이다. 예를 들어, 자율 주행 상태에서 차량은 운전자의 핸들 조작, 가속 조작 및 감속 조작 등이 없어도 스스로 주행할 수 있다. 차량의 자율 주행을 위해 차량간 거리를 자동으로 유지해 주는 기술, 차선 이탈이나 차선 유지 여부를 알려주는 기술, 차량 주변의 장애물을 알려주는 기술 등이 사용될 수 있다.
자율 주행을 위한 다양한 기술들은 차량에서 파악되는 다양한 센싱 정보를 통해 수행될 수 있다. 예를 들어, 차량은 차량에 구비된 카메라를 통해 차량 주변의 영상 정보를 획득하고, 영상 정보를 통해 차량 주변의 지형지물을 파악할 수 있다. 만약 차량이 밝기 대비가 큰 환경에 있는 경우, 차량 주변의 영상 정보에서 차량 주변의 지형지물이 원활하게 파악되기 어려울 수 있다. 예를 들어, 차량이 터널에 진입하는 경우, 터널 입구 주변의 조도는 높고 터널 내부의 조도는 낮은 상황이므로, 차량이 터널 내부의 상태를 파악하기에 어려움이 있을 수 있다.
영상 처리 장치(100)는 입력 영상에서 주변에 비해 밝기 대비가 큰 부분을 인식하고, 해당 부분의 밝기를 조절하여 합성 영상을 생성할 수 있다. 예를 들어, 영상 처리 장치(100)는 HDR(high dynamic range) 기법을 통해 합성 영상을 생성할 수 있다. 일 실시예에 따르면, 주변에 비해 밝기 대비가 클 것으로 예측되는 객체는 미리 정해질 수 있고, 영상 처리 장치(100)는 입력 영상에서 미리 정해진 객체를 인식할 수 있다. 예를 들어, 미리 정해진 객체는 터널 입구, 터널 출구 및 차량의 라이트 중 적어도 하나를 포함할 수 있으며, 이에 한정되는 것은 아니다. 아래에서 미리 정해진 객체는 대상 객체로 지칭될 수 있다. 영상 처리 장치(100)는 입력 영상에서 대상 객체를 인식하고, 대상 객체의 밝기를 조절하여 합성 영상을 생성할 수 있다.
입력 영상은 연속적인 복수의 프레임들을 포함할 수 있다. 예를 들어, 입력 영상은 제1 프레임(110) 및 제2 프레임(121)을 포함할 수 있다. 제2 프레임(121)은 제1 프레임(110)의 다음 프레임일 수 있다. 아래에서는 제1 프레임(110) 및 제2 프레임(121)을 기초로 영상 처리 장치(100)의 동작을 설명하겠으나, 아래의 설명은 입력 영상의 다른 프레임들에도 적용될 수 있다.
영상 처리 장치(100)는 제1 프레임(110)에서 대상 객체(115)를 인식할 수 있다. 대상 객체(115)를 인식한다는 것은 대상 객체(115)에 대응하는 영역을 인식하는 것으로 이해될 수 있다. 일 실시예에 따르면, 영상 처리 장치(100)는 영상 기반의 객체 인식 기법을 이용하여 대상 객체(115)를 인식할 수 있다. 예를 들어, 영상 처리 장치(100)는 입력 영상으로부터 대상 객체(115)를 인식하도록 학습된 인식기를 이용하여 대상 객체(115)를 인식할 수 있다. 해당 인식기는 인공 뉴럴 네트워크를 포함할 수 있다. 인공 뉴럴 네트워크는 딥 러닝을 통해 입력 영상으로부터 대상 객체(115)를 인식하도록 학습될 수 있다.
다른 실시예에 따르면, 영상 처리 장치(100)는 영상 기반의 객체 인식 기법 및 차량의 위치 정보에 기초하여 대상 객체(115)를 인식할 수 있다. 예를 들어, 영상 처리 장치(100)는 GPS 정보 등을 이용하여 차량의 위치를 파악할 수 있다. 영상 처리 장치(100)는 지도 정보 등을 이용하여 차량의 위치 근방에 미리 정해진 대상 객체가 존재하는지 여부를 판단할 수 있다. 지도 정보는 미리 정해진 대상 객체들의 유형, 위치 등이 저장될 수 있다. 영상 처리 장치(100)는 차량의 위치 근방에 미리 정해진 대상 객체가 존재한다는 판단에 따라, 제1 프레임(110)에서 대상 객체(115)를 검출할 수 있다.
실시예에 따라, 영상 처리 장치(100)는 미리 정해진 인식 영역 내에서 대상 객체(115)를 인식할 수 있다. 예를 들어, 인식 영역은 도로 상의 일정 범위로 미리 정해질 수 있다. 이 경우, 영상 처리 장치(100)는 제1 프레임(110)에서 도로를 인식하고, 인식된 도로 상에서 대상 객체(115)를 인식할 수 있다. 이로 인하여, 영상 처리 장치(100)는 자율 주행에 영향을 주지 않는 도로 외의 영역에 불필요한 연산력(computation power)을 소모하지 않을 수 있다.
영상 처리 장치(100)는 제1 프레임(110)에서 대상 객체(115)가 인식됨에 따라, 제2 프레임(121)의 노출을 조절할 수 있다. 제2 프레임(123)은 노출이 조절된 상태를 나타낸다. 노출 조절은 다양한 방식으로 수행될 수 있다. 예를 들어, 영상 처리 장치(100)는 입력 영상을 촬영한 카메라의 노출 시간을 조절하거나, 해당 카메라의 감도를 조절하거나, 입력 영상이 촬영된 이후에 입력 영상의 노출을 소프트웨어적인 방법을 통해 조절할 수 있다.
영상 처리 장치(100)는 대상 객체(115)의 밝기에 기초하여 제2 프레임(121)의 노출을 조절할 수 있다. 예를 들어, 대상 객체(115)가 터널 입구인 경우, 주간에는 입력 영상을 통해 대상 객체(115)의 내부가 인식되지 어려운 상황이므로, 대상 객체(115)의 밝기가 조절될 필요가 있다. 반면, 야간에는 대상 객체(115) 내부뿐만 아니라 대상 객체(115) 외부의 환경도 어둡기 때문에, 대상 객체(115)의 밝기가 조절되지 않을 수 있다.
안전한 주행을 위해 자율 주행을 위한 영상 분석에는 실시간성이 보장되어야 한다. 만약 입력 영상의 모든 프레임에 관해 노출 조절이 수행될 경우, 노출 조절 및 합성에 컴퓨팅 자원이 크게 소모되므로, 합성 영상의 생성이 지연될 수 있다. 영상 처리 장치(100)는, 제1 프레임(110)에서 대상 객체(115)가 인식되더라도, 필요한 경우에만 제2 프레임(121)의 노출을 조절할 수 있다.
일 실시예에 따르면, 영상 처리 장치(100)는 제1 프레임(110)에서 대상 객체(115)의 밝기와 대상 객체(115)를 제외한 나머지 영역의 밝기 간의 차이에 기초하여 제2 프레임(121)의 노출 조절이 필요한지를 결정할 수 있다. 대상 객체(115)를 제외한 나머지 영역의 밝기는 대상 객체(115)의 주변 영역의 밝기 혹은 대상 객체(115)를 제외한 나머지 영역의 평균 밝기를 의미할 수 있다. 예를 들어, 영상 처리 장치(100)는 대상 객체(115)의 밝기와 제1 프레임(110)에서 대상 객체(115)를 제외한 나머지 영역의 밝기 간의 차이가 미리 정해진 임계치보다 큰 경우에 제2 프레임(121)의 노출을 조절할 수 있다. 일례로, 임계치는 2-스텝으로 정해질 수 있다. 여기서, 스텝은 입력 영상을 촬영하는 카메라의 노출계에서 사용되는 노출 보정 단위를 의미할 수 있다.
제2 프레임(121)의 노출 조절이 요구되는 것으로 결정된 경우, 영상 처리 장치(100)는 제1 프레임(110)에서 대상 객체(115)의 밝기와 대상 객체(115)를 제외한 나머지 영역의 밝기 간의 차이에 기초하여 제2 프레임(121)의 노출을 조절할 수 있다. 예를 들어, 제1 프레임(110)에서 대상 객체(115)의 밝기가 대상 객체(115)를 제외한 나머지 영역의 밝기에 비해 큰 경우, 영상 처리 장치(100)는 제2 프레임(121)의 노출을 감소시킬 수 있다. 또한, 제1 프레임(110)에서 대상 객체(115)의 밝기가 대상 객체(115)를 제외한 나머지 영역의 밝기에 비해 작은 경우, 영상 처리 장치(100)는 제2 프레임(121)의 노출을 증가시킬 수 있다. 도 1에서는 대상 객체(115)의 밝기가 대상 객체(115)를 제외한 나머지 영역의 밝기에 비해 작기 때문에, 제2 프레임(121)의 노출은 증가되었다.
제2 프레임(121)의 노출이 조절됨에 따라, 영상 처리 장치(100)는 제1 프레임(110)과 제2 프레임(123)을 합성하여 합성 영상의 제1 프레임(130)을 생성할 수 있다. 예를 들어, 영상 처리 장치(100)는 제1 프레임(110)에서 대상 객체(115)를 제외한 나머지 영역과 제2 프레임(123)에서 대상 객체(115)에 대응하는 영역(125)을 합성할 수 있다. 혹은, 영상 처리 장치(100)는 제1 프레임(110)에서 대상 객체(115)를 제외한 나머지 영역과 영역(125) 중에 도로 상의 영역을 합성할 수 있다.
영상 처리 장치(100)는 입력 영상에 포함된 복수의 프레임들 중에 합성이 필요한 일부의 프레임들에 관해 상술된 동작을 수행할 수 있다. 예를 들어, 영상 처리 장치(100)는 입력 영상에서 대상 객체의 존재를 지속적으로 모니터링할 수 있다. 입력 영상에서 대상 객체가 인식된 경우, 영상 처리 장치(100)는 필요에 따라 입력 영상을 조절하여 합성 영상을 생성할 수 있다. 합성 영상은 차량의 자율 주행에 이용될 수 있다. 합성 영상을 통해 차량 주변의 상황이 보다 정확하게 예측될 수 있다.
도 2는 일 실시예에 따른 인식 영역을 설명하는 도면이다. 영상 처리 장치는 입력 영상에서 대상 객체를 인식함에 있어서, 입력 영상의 전체 영역을 스캔하는 대신에, 미리 정해진 인식 영역을 스캔할 수 있다. 인식 영역은 도로 상의 일정 범위로 설정될 수 있다. 영상 처리 장치는 입력 영상에서 도로를 인식하고, 도로 상의 일정 범위를 인식 영역으로 설정할 수 있다.
도 2를 참조하면, 입력 영상(200)이 도시되어 있다. 영상 처리 장치는 입력 영상(200)에서 도로를 인식하고, 도로 상의 일정 범위를 인식 영역으로 설정할 수 있다. 인식 영역이 설정된 경우, 영상 처리 장치는 입력 영상(200)에서 인식 영역 이외의 부분을 스캔하지 않을 수 있다. 따라서, 영상 처리 장치는 인식 영역 내에서 대상 객체(210)를 빠르고 효율적으로 인식할 수 있다.
인식 영역이 설정됨에 따라 영상 처리 장치가 스캔해야할 범위가 감소하므로, 객체 인식에 소요되는 자원이 절약될 수 있다. 또한, 인식 영역이 설정됨에 따라 다른 객체가 대상 객체로 오인될 가능성이 감소될 수 있다. 예를 들어, 가로등에 해당하는 객체들(220)은 차량의 라이트에 해당하는 대상 객체로 오인될 가능성이 있다. 따라서, 인식 영역이 설정되지 않을 경우, 객체들(220)에 의해 입력 영상의 노출이 조절될 수 있다. 객체들(220)은 차량의 주행과 직접적으로 관련되지 않으므로, 객체들(220)에 의한 영상의 합성에 따라 컴퓨팅 자원이 낭비될 수 있다.
도로 상의 일정 범위가 인식 영역으로 설정될 경우, 객체들(220)은 영상 처리 장치에 의해 스캔되지 않으므로, 대상 객체로 인식되지 않는다. 영상 처리 장치는 인식 영역 내에서만 대상 객체를 스캔함으로써 컴퓨팅 자원의 낭비를 막을 수 있고, 객체 인식의 정확도를 향상시킬 수 있다.
도 3은 일 실시예에 따른 위치 정보를 활용한 인식 과정을 나타낸 도면이다. 도 3을 참조하면, 지도(310) 및 입력 영상(320)이 도시되어 있다.
영상 처리 장치는 대상 객체를 인식함에 있어서 위치 정보를 영상 정보와 함께 이용할 수 있다. 위치 정보는 차량의 위치 및 차량 주변 객체의 위치를 포함할 수 있다. 위치 정보는 영상 처리 장치에 의해 생성되거나, 혹은 차량의 제어 장치에 의해 생성되어 영상 처리 장치에 제공될 수 있다.
위치 정보는 다양한 측위 기술을 통해 생성될 수 있다. 예를 들어, 위치 정보는 GPS(global positioning system) 및 IMU(inertial measurement unit) 등에 기초하여 생성될 수 있으며, 이에 한정되는 것은 아니다. 영상 처리 장치는 위치 정보에 기초하여 차량 및 차량 주변 객체의 위치를 파악할 수 있고, 입력 영상에 나타난 객체를 인식함에 있어서 차량 및 차량 주변 객체의 위치를 활용할 수 있다.
예를 들어, 지도(310)에는 차량(313) 및 대상 객체(311)가 표시되어 있다. 입력 영상(320)에는 대상 객체(325)가 포함되어 있다. 영상 처리 장치는 지도(310)상에서 차량(313)의 전방에 대상 객체(311)가 위치하는 지점에 기초하여, 입력 영상(320)에서 대상 객체(325)를 인식할 수 있다. 실시예에 따르면, 위치 정보와 영상 정보가 함께 고려되므로 객체 인식의 정확도가 향상될 수 있다.
차량의 위치는 상황에 따라 다른 방식으로 결정될 수 있다. 예를 들어, 차량이 터널에 진입하기 전에는 위성으로부터 GPS 신호를 수신할 수 있으므로 차량의 위치는 GPS에 기초하여 결정될 수 있다. 혹은, 차량이 터널 내부에 있으면 위성으로부터 GPS 신호를 수신할 수 없으므로 차량의 위치는 IMU에 기초하여 결정될 수 있다.
도 4는 일 실시예에 따른 터널 입구를 나타낸 도면이다. 도 4를 참조하면, 주간의 어두운 터널 입구가 포함된 입력 영상(410), 주간의 밝은 터널 입구가 포함된 입력 영상(420), 야간의 어두운 터널 입구가 포함된 입력 영상(430) 및 야간의 밝은 터널 입구가 포함된 입력 영상(440)이 도시되어 있다.
영상 처리 장치는 입력 영상에서 대상 객체를 인식하고, 대상 객체의 밝기와 입력 영상에서 대상 객체를 제외한 나머지 영역의 밝기 간의 차이에 기초하여 입력 영상의 노출을 조절할 수 있다. 예를 들어, 대상 객체의 밝기와 입력 영상에서 대상 객체를 제외한 나머지 영역의 밝기 간의 차이가 미리 정해진 임계치보다 큰 경우, 입력 영상의 노출이 조절될 수 있다. 도 4에서 대상 객체는 터널 입구에 해당할 수 있다. 터널 내부의 조명, 터널의 길이 및 터널 외부에서 터널 내부로 입사되는 광량 등에 따라 터널 내부는 밝거나 어두울 수 있으므로, 입력 영상의 노출을 조절함에 있어서 주간 혹은 야간을 지시하는 주행 시간, 및 터널 내부의 밝기가 모두 고려될 수 있다.
입력 영상(410)은 터널 외부에 위치한 차량이 주간에 어두운 터널에 진입하는 경우에 촬영될 수 있다. 입력 영상(410)에서 터널 입구는 어둡고 나머지 부분은 밝다. 이 경우, 터널 입구의 밝기와 나머지 부분의 밝기 간의 차이가 미리 정해진 임계치보다 클 수 있다. 따라서, 입력 영상(410)이 수신될 경우, 영상 처리 장치는 입력 영상(410)의 노출을 높여서 합성 영상을 생성할 수 있다.
입력 영상(420)은 터널 외부에 위치한 차량이 주간에 밝은 터널에 진입하는 경우에 촬영될 수 있다. 입력 영상(420)에서 터널 입구와 나머지 부분이 모두 밝다. 이 경우, 터널 입구의 밝기와 나머지 부분의 밝기 간의 차이가 미리 정해진 임계치보다 작을 수 있다. 따라서, 입력 영상(420)이 수신될 경우, 영상 처리 장치는 합성 영상을 생성하지 않을 수 있다.
입력 영상(430)은 터널 외부에 위치한 차량이 야간에 어두운 터널에 진입하는 경우에 촬영될 수 있다. 입력 영상(430)에서 터널 입구와 나머지 부분이 모두 어둡다. 이 경우, 터널 입구의 밝기와 나머지 부분의 밝기 간의 차이가 미리 정해진 임계치보다 작을 수 있다. 따라서, 입력 영상(430)이 수신될 경우, 영상 처리 장치는 합성 영상을 생성하지 않을 수 있다.
입력 영상(440)은 터널 외부에 위치한 차량이 야간에 밝은 터널에 진입하는 경우에 촬영될 수 있다. 입력 영상(440)에서 터널 입구는 밝고 나머지 부분은 어둡다. 이 경우, 터널 입구의 밝기와 나머지 부분의 밝기 간의 차이가 미리 정해진 임계치보다 클 수 있다. 따라서, 입력 영상(440)이 수신될 경우, 영상 처리 장치는 입력 영상(440)의 노출을 낮춰서 합성 영상을 생성할 수 있다.
도 5는 일 실시예에 따른 터널 출구를 나타낸 도면이다. 도 5를 참조하면, 어두운 터널의 밝은 출구가 포함된 입력 영상(510), 어두운 터널의 어두운 출구가 포함된 입력 영상(520), 밝은 터널의 밝은 출구가 포함된 입력 영상(530) 및 밝은 터널의 어두운 출구가 포함된 입력 영상(540)이 도시되어 있다. 도 5에서 대상 객체는 터널 출구에 해당할 수 있다. 그 밖에, 도 4를 통해 설명된 사항은 도 5에 적용될 수 있다.
입력 영상(510)은 차량이 주간에 어두운 터널을 빠져 나가는 경우에 촬영될 수 있다. 입력 영상(510)에서 터널 출구는 밝고 나머지 부분은 어둡다. 이 경우, 터널 출구의 밝기와 나머지 부분의 밝기 간의 차이가 미리 정해진 임계치보다 클 수 있다. 따라서, 입력 영상(510)이 수신될 경우, 영상 처리 장치는 입력 영상(510)의 노출을 낮춰서 합성 영상을 생성할 수 있다.
입력 영상(520)은 차량이 야간에 어두운 터널을 빠져 나가는 경우에 촬영될 수 있다. 입력 영상(520)에서 터널 출구와 나머지 부분이 모두 어둡다. 이 경우, 터널 출구의 밝기와 나머지 부분의 밝기 간의 차이가 미리 정해진 임계치보다 작을 수 있다. 따라서, 입력 영상(520)이 수신될 경우, 영상 처리 장치는 합성 영상을 생성하지 않을 수 있다.
입력 영상(530)은 차량이 주간에 밝은 터널을 빠져 나가는 경우에 촬영될 수 있다. 입력 영상(530)에서 터널 출구와 나머지 부분이 모두 밝다. 이 경우, 터널 출구의 밝기와 나머지 부분의 밝기 간의 차이가 미리 정해진 임계치보다 작을 수 있다. 따라서, 입력 영상(530)이 수신될 경우, 영상 처리 장치는 합성 영상을 생성하지 않을 수 있다.
입력 영상(540)은 차량이 야간에 밝은 터널을 빠져 나가는 경우에 촬영될 수 있다. 입력 영상(540)에서 터널 출구는 어둡고 나머지 부분은 밝다. 이 경우, 터널 출구의 밝기와 나머지 부분의 밝기 간의 차이가 미리 정해진 임계치보다 클 수 있다. 따라서, 입력 영상(540)이 수신될 경우, 영상 처리 장치는 입력 영상(540)의 노출을 높여서 합성 영상을 생성할 수 있다.
도 6은 일 실시예에 따른 차량의 라이트를 나타낸 도면이다. 어두운 환경에서 카메라에 밝은 빛이 조사되는 경우, 혹은 밝은 환경에서 카메라에 주변 조도보다 훨씬 밝은 빛이 조사되는 경우, 입력 영상에서 객체를 인식하기 어려울 수 있다. 예를 들어, 이러한 상황은 야간에 차량의 주행 방향과 반대 방향에서 다가오는 대향 차량의 라이트가 카메라로 조사되는 경우, 주간에 가로수 사이로 역광이 비추는 경우, 주간에 인접 차량 또는 빌딩에 반사된 빛이 카메라에 조사되는 경우, 주간에 어두운 터널을 빠져나가는 경우 등을 포함할 수 있다. 이러한 상황에서, 영상 처리 장치는 빛이 강한 부분을 대상 객체로 보고 입력 영상의 노출을 조절하여 합성 영상을 생성할 수 있다. 아래에서는 야간에 대향 차량의 라이트가 카메라로 조사되는 경우를 예시로 설명하겠지만, 아래의 설명은 상술된 나머지 상황에도 유사하게 적용될 수 있다.
입력 영상(600)은 야간에 촬영된 것으로, 입력 영상(600)에는 반대 방향 차선에서 주행 중인 대향 차량의 라이트(610)가 포함되어 있다. 영상 처리 장치는 입력 영상(600)에서 차량의 라이트(610)를 대상 객체로 인식할 수 있다. 차량의 라이트(610)는 도로 상에 위치하므로, 인식 영역이 도로 상의 일정 범위로 설정된 경우에도 차량의 라이트(610)는 대상 객체로 인식될 수 있다.
영상 처리 장치는 차량의 라이트(610)를 인식한 이후에, 입력 영상(600)에서 차량의 라이트(610)의 밝기와 차량의 라이트(610)를 제외한 나머지 영역의 밝기를 비교할 수 있다. 차량의 라이트(610)의 밝기가 나머지 영역의 밝기보다 미리 정해진 임계치 이상 큰 경우, 영상 처리 장치는 입력 영상(600)의 노출을 조절하여 합성 영상을 생성할 수 있다. 따라서, 야간에 반대 방향 차선에 대향 차량이 주행 중인 경우에도, 합성 영상을 통해 자율 주행이 원활하게 수행될 수 있다.
도 7은 일 실시예에 따른 노출 조절을 기초로 연속된 합성 영상을 생성하는 과정을 나타낸 도면이다. 도 7에 도시된 합성 영상의 생성 과정은 차량이 야간에 밝은 터널에 진입하는 경우, 차량이 주간에 어두운 터널을 빠져 나오는 경우 및 차량에 역광이 비추는 경우 등 노출 감소 시나리오나 차량이 주간에 어두운 터널에 진입하는 경우 및 차량이 야간에 밝은 터널을 빠져 나오는 경우 등 노출 증가 시나리오에 적용될 수 있다.
도 7을 참조하면, 입력 영상의 제1 프레임(710), 입력 영상의 제2 프레임(720), 입력 영상의 제3 프레임(730), 입력 영상의 제4 프레임(740), 입력 영상의 제5 프레임(750) 및 입력 영상의 제6 프레임(760)이 도시되어 있다. 제1 프레임(710), 제3 프레임(730) 및 제5 프레임(750)은 원본 영상이고, 제2 프레임(720), 제4 프레임(740) 및 제6 프레임(760)은 노출이 조절된 영상이다.
영상 처리 장치는 제1 프레임(710)에서 대상 객체를 인식할 수 있고, 제1 프레임(710)에서 인식된 대상 객체의 밝기에 기초하여 제2 프레임(720)의 노출을 조절시킬 수 있다. 예를 들어, 영상 처리 장치는 제2 프레임(720)의 노출을 2-스텝 조절시킬 수 있다. 영상 처리 장치는 제1 프레임(720) 및 제2 프레임(720)을 합성하여 합성 영상(770)의 제1 프레임(771)을 생성할 수 있다. 유사하게, 영상 처리 장치는 제3 프레임(730) 및 제4 프레임(740)을 합성하여 합성 영상(770)의 제2 프레임(773)을 생성할 수 있고, 제5 프레임(750) 및 제6 프레임(760)을 합성하여 합성 영상(770)의 제3 프레임(775)을 생성할 수 있다.
도 8은 일 실시예에 따른 영상 처리 장치를 나타낸 블록도이다. 도 8을 참조하면, 영상 처리 장치(800)는 프로세서(810) 및 메모리(820)를 포함한다.
프로세서(810)는 도 1 내지 도 7을 통하여 전술한 적어도 하나의 장치들을 포함하거나, 도 1 내지 도 7을 통하여 전술한 적어도 하나의 방법을 수행할 수 있다. 예를 들어, 프로세서(810)는 상술된 영상 처리에 관한 동작을 처리할 수 있다. 보다 구체적으로, 프로세서(810)는 입력 영상의 제1 프레임에서 대상 객체를 인식하고, 대상 객체의 밝기에 기초하여 입력 영상의 제2 프레임의 노출을 조절하고, 제1 프레임 및 제2 프레임을 합성하여 합성 영상을 생성할 수 있다.
메모리(820)는 컴퓨터에서 읽을 수 있는 명령어들을 저장할 수 있다. 메모리(820)에 저장된 명령어들이 프로세서(810)에서 실행되면, 프로세서(810)는 상술된 뉴럴 네트워크에 관한 동작을 처리할 수 있다. 또한, 메모리(820)는 상술된 영상 처리에 관한 데이터들을 저장할 수 있다. 예를 들어, 메모리(820)는 입력 영상, 합성 영상 및 각종 임계치들을 저장할 수 있다. 메모리(820)는 휘발성 메모리 또는 비휘발성 메모리일 수 있다.
프로세서(810)는 프로그램을 실행하고, 영상 처리 장치를 제어할 수 있다. 영상 처리 장치는 입출력 장치(도면 미 표시)를 통하여 외부 장치(예를 들어, 카메라 또는 자율 주행 차량의 제어 장치)에 연결되고, 데이터를 교환할 수 있다. 영상 처리 장치는 자율 주행 차량의 일부로 구현될 수 있다. 그 밖에, 영상 처리 장치에 관해서는 상술된 내용이 적용될 수 있으며, 보다 상세한 설명은 생략한다.
도 9는 일 실시예에 따른 자율 주행 차량을 나타낸 블록도이다. 도 9를 참조하면, 자율 주행 차량(900)은 영상 처리 장치(910), 제어 장치(920) 및 카메라(930)를 포함한다. 영상 처리 장치(910)는 입력 영상의 제1 프레임에서 대상 객체를 인식하고, 대상 객체의 밝기에 기초하여 입력 영상의 제2 프레임의 노출을 조절하고, 제1 프레임 및 상기 제2 프레임을 합성하여 합성 영상을 생성한다. 카메라(930)는 자율 주행 차량(900) 주변의 영상을 촬영하고, 영상 처리 장치(910)에 자율 주행 차량(900) 주변의 영상을 제공할 수 있다.
제어 장치(920)는 합성 영상에 기초하여 차량을 제어할 수 있다. 제어 장치(920)는 합성 영상을 통해 자율 주행 차량(900) 주변의 지형지물을 파악할 수 있고, 자율 주행 상태에서 운전자의 핸들 조작, 가속 조작 및 감속 조작 등 없이 자율 주행 차량(900)이 주행할 수 있도록 자율 주행 차량(900)을 제어할 수 있다. 예를 들어, 제어 장치(920)는 합성 영상에 기초하여 차량간 거리를 자동으로 유지하거나, 차선 이탈이나 차선 유지 여부를 알려주거나, 자율 주행 차량(900) 주변의 장애물을 알려줄 수 있다.
도 10은 일 실시예에 따른 영상 처리 방법을 나타낸 동작 흐름도이다. 도 10을 참조하면, 단계(1010)에서, 영상 처리 장치는 입력 영상의 제1 프레임에서 대상 객체를 인식한다. 단계(1020)에서, 영상 처리 장치는 상기 대상 객체의 밝기에 기초하여, 상기 입력 영상의 제2 프레임의 노출을 조절한다. 단계(1030)에서, 영상 처리 장치는 제1 프레임 및 제2 프레임을 합성하여 합성 영상을 생성한다. 그 밖에, 영상 처리 방법에 관해서는 상술된 내용이 적용될 수 있으며, 보다 상세한 설명은 생략한다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(Arithmetic Logic Unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(Field Programmable Gate Array), PLU(Programmable Logic Unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

Claims (20)

  1. 입력 영상의 제1 프레임에서 대상 객체를 인식하는 단계;
    상기 대상 객체의 밝기에 기초하여, 상기 입력 영상의 제2 프레임의 노출을 조절하는 단계; 및
    상기 제1 프레임 및 상기 제2 프레임을 합성하여 합성 영상을 생성하는 단계
    를 포함하는, 영상 처리 방법.
  2. 제1항에 있어서,
    상기 대상 객체를 인식하는 단계는
    상기 제1 프레임에서 도로를 인식하는 단계;
    상기 도로 상의 일정 범위를 인식 영역으로 설정하는 단계; 및
    상기 인식 영역에서 상기 대상 객체를 인식하는 단계
    를 포함하는, 영상 처리 방법.
  3. 제1항에 있어서,
    상기 대상 객체를 인식하는 단계는
    상기 제1 프레임 및 차량의 위치에 기초하여 상기 대상 객체를 인식하는 단계를 포함하는, 영상 처리 방법.
  4. 제1항에 있어서,
    상기 대상 객체는 터널 입구, 터널 출구 및 차량의 라이트 중 적어도 하나를 포함하는, 영상 처리 방법.
  5. 제1항에 있어서,
    상기 제2 프레임의 노출을 조절하는 단계 및 상기 합성 영상을 생성하는 단계는 상기 대상 객체의 밝기와 상기 제1 프레임에서 상기 대상 객체를 제외한 나머지 영역의 밝기 간의 차이가 미리 정해진 임계치보다 큰 경우에 수행되는, 영상 처리 방법.
  6. 제1항에 있어서,
    상기 제2 프레임의 노출을 조절하는 단계는
    상기 대상 객체의 밝기가 상기 제1 프레임에서 상기 대상 객체를 제외한 나머지 영역의 밝기에 비해 큰 경우 상기 제2 프레임의 노출을 감소시키는 단계; 및
    상기 대상 객체의 밝기가 상기 제1 프레임에서 상기 대상 객체를 제외한 나머지 영역의 밝기에 비해 작은 경우 상기 제2 프레임의 노출을 증가시키는 단계
    를 포함하는, 영상 처리 방법.
  7. 제1항에 있어서,
    상기 합성 영상을 생성하는 단계는
    상기 제1 프레임에서 상기 대상 객체를 제외한 나머지 영역과 상기 제2 프레임에서 상기 대상 객체에 대응하는 영역을 합성하는 단계를 포함하는, 영상 처리 방법.
  8. 제1항에 있어서,
    상기 합성 영상을 생성하는 단계는
    상기 제1 프레임에서 상기 대상 객체를 제외한 나머지 영역과 상기 제2 프레임에서 상기 대상 객체에 대응하는 영역 중에 도로 상의 영역을 합성하는 단계를 포함하는, 영상 처리 방법.
  9. 제1항에 있어서,
    상기 제2 프레임의 노출을 조절하는 단계는
    차량이 야간에 밝은 터널에 진입하는 경우, 상기 차량이 주간에 어두운 터널을 빠져 나오는 경우, 또는 상기 차량에 역광이 비추는 경우, 상기 제2 프레임의 노출을 감소시키는 단계를 포함하는, 영상 처리 방법.
  10. 제1항에 있어서,
    상기 제2 프레임의 노출을 조절하는 단계는
    차량이 주간에 어두운 터널에 진입하는 경우 또는 상기 차량이 야간에 밝은 터널을 빠져 나오는 경우, 상기 제2 프레임의 노출을 감소시키는 단계를 포함하는, 영상 처리 방법.
  11. 하드웨어와 결합되어 제1항 내지 제10항 중 어느 하나의 항의 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램.
  12. 프로세서; 및
    컴퓨터에서 읽을 수 있는 명령어를 포함하는 메모리
    를 포함하고,
    상기 명령어가 상기 프로세서에서 실행되면, 상기 프로세서는 입력 영상의 제1 프레임에서 대상 객체를 인식하고, 상기 대상 객체의 밝기에 기초하여 상기 입력 영상의 제2 프레임의 노출을 조절하고, 상기 제1 프레임 및 상기 제2 프레임을 합성하여 합성 영상을 생성하는, 영상 처리 장치.
  13. 제12항에 있어서,
    상기 프로세서는
    상기 제1 프레임에서 도로를 인식하고, 상기 도로 상에 인식 영역을 설정하고, 상기 인식 영역에서 상기 대상 객체를 인식하는, 영상 처리 장치.
  14. 제12항에 있어서,
    상기 프로세서는
    상기 제1 프레임 및 차량의 위치에 기초하여 상기 대상 객체를 인식하는, 영상 처리 장치.
  15. 제12항에 있어서,
    상기 대상 객체는 터널 입구, 터널 출구 및 차량의 라이트 중 적어도 하나를 포함하는, 영상 처리 장치.
  16. 제12항에 있어서,
    상기 프로세서는
    상기 대상 객체의 밝기와 상기 제1 프레임에서 상기 대상 객체를 제외한 나머지 영역의 밝기 간의 차이가 미리 정해진 임계치보다 큰 경우, 상기 제2 프레임의 노출을 조절하는, 영상 처리 장치.
  17. 제12항에 있어서,
    상기 프로세서는
    상기 제1 프레임에서 상기 대상 객체를 제외한 나머지 영역과 상기 제2 프레임에서 상기 대상 객체에 대응하는 영역을 합성하여 상기 합성 영상을 생성하는, 영상 처리 장치.
  18. 제12항에 있어서,
    상기 프로세서는
    상기 제1 프레임에서 상기 대상 객체를 제외한 나머지 영역과 상기 제2 프레임에서 상기 대상 객체에 대응하는 영역 중에 도로 상의 영역을 합성하여 상기 합성 영상을 생성하는, 영상 처리 장치.
  19. 입력 영상의 제1 프레임에서 대상 객체를 인식하고, 상기 대상 객체의 밝기에 기초하여 상기 입력 영상의 제2 프레임의 노출을 조절하고, 상기 제1 프레임 및 상기 제2 프레임을 합성하여 합성 영상을 생성하는 영상 처리 장치; 및
    상기 합성 영상에 기초하여 차량을 제어하는 제어 장치
    를 포함하는, 자율 주행 차량.
  20. 제19항에 있어서,
    상기 영상 처리 장치는
    상기 제1 프레임에서 도로를 인식하고, 상기 도로 상에 인식 영역을 설정하고, 상기 인식 영역에서 상기 대상 객체를 인식하는, 자율 주행 차량.
KR1020170024824A 2017-02-24 2017-02-24 자율 주행을 위한 영상 처리 방법 및 장치 KR20180097966A (ko)

Priority Applications (7)

Application Number Priority Date Filing Date Title
KR1020170024824A KR20180097966A (ko) 2017-02-24 2017-02-24 자율 주행을 위한 영상 처리 방법 및 장치
US15/818,347 US10739783B2 (en) 2017-02-24 2017-11-20 Image processing method for autonomous driving and apparatus thereof
JP2018016588A JP2018142954A (ja) 2017-02-24 2018-02-01 自律走行のための映像処理方法、映像処理装置及び自律走行車両
EP18158136.4A EP3367303B1 (en) 2017-02-24 2018-02-22 Autonomous driving image processing method and apparatus thereof
CN201810155270.8A CN108513059B (zh) 2017-02-24 2018-02-23 图像处理方法、设备以及自动驾驶车辆
CN202010776945.8A CN111741229B (zh) 2017-02-24 2018-02-23 图像处理方法和设备
US16/917,118 US11409303B2 (en) 2017-02-24 2020-06-30 Image processing method for autonomous driving and apparatus thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170024824A KR20180097966A (ko) 2017-02-24 2017-02-24 자율 주행을 위한 영상 처리 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20180097966A true KR20180097966A (ko) 2018-09-03

Family

ID=61526545

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170024824A KR20180097966A (ko) 2017-02-24 2017-02-24 자율 주행을 위한 영상 처리 방법 및 장치

Country Status (5)

Country Link
US (2) US10739783B2 (ko)
EP (1) EP3367303B1 (ko)
JP (1) JP2018142954A (ko)
KR (1) KR20180097966A (ko)
CN (2) CN108513059B (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102109841B1 (ko) * 2018-11-30 2020-05-28 아주대학교 산학협력단 주행 영상으로부터 차량을 검출하는 방법 및 장치
KR20210064735A (ko) * 2019-11-26 2021-06-03 (주)비트리 영상 처리 장치 및 그 방법
KR20210121453A (ko) * 2020-03-30 2021-10-08 (주)코러싱 저조도 환경에서 차량 인식이 가능한 교통관제 시스템
KR20210146458A (ko) * 2019-04-26 2021-12-06 엘지전자 주식회사 자율주행 차량의 영상 처리 방법
KR20220025434A (ko) * 2020-08-24 2022-03-03 주식회사 테스트웍스 저사양 디바이스에서 다중 모델의 실시간 객체 인식 장치 및 방법
US11386674B2 (en) 2019-03-08 2022-07-12 Hyundai Mobis Co., Ltd. Class labeling system for autonomous driving
KR20240049713A (ko) 2022-10-07 2024-04-17 주식회사 에이스웍스코리아 자율주행용 데이터 구축 시스템 및 방법

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10706512B2 (en) * 2017-03-07 2020-07-07 Adobe Inc. Preserving color in image brightness adjustment for exposure fusion
US10592786B2 (en) * 2017-08-14 2020-03-17 Huawei Technologies Co., Ltd. Generating labeled data for deep object tracking
US20200097019A1 (en) * 2018-09-26 2020-03-26 GM Global Technology Operations LLC Vision system for an automotive vehicle
CN109167929B (zh) * 2018-09-30 2021-02-19 深圳市商汤科技有限公司 车载相机参数的调节方法、装置与电子设备
KR102584501B1 (ko) * 2018-10-05 2023-10-04 삼성전자주식회사 자율 주행 장치의 객체 인식 방법 및 자율 주행 장치
US11260872B2 (en) * 2018-10-12 2022-03-01 Honda Motor Co., Ltd. System and method for utilizing a temporal recurrent network for online action detection
KR102569375B1 (ko) 2018-10-24 2023-08-22 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
CN109246364B (zh) * 2018-10-26 2021-10-01 华为技术有限公司 摄像装置调整方法及相关设备
TWI668141B (zh) * 2018-11-07 2019-08-11 國家中山科學研究院 Virtual thermal image driving data generation system
KR20200053125A (ko) 2018-11-08 2020-05-18 삼성전자주식회사 전자 장치 및 그 제어 방법
WO2020101127A1 (en) * 2018-11-13 2020-05-22 Samsung Electro-Mechanics Co., Ltd. Driving support system and method
CN109587902B (zh) * 2018-11-20 2020-03-06 北京新能源汽车股份有限公司 一种车内光源调节方法、装置、存储介质及光源调节设备
US20200169671A1 (en) * 2018-11-27 2020-05-28 GM Global Technology Operations LLC Method and apparatus for object detection in camera blind zones
CN114679531B (zh) * 2019-10-24 2024-03-05 趣眼有限公司 生成图像的系统、生成图像信息的方法及计算机可读介质
CN111510626B (zh) * 2020-04-21 2022-01-04 Oppo广东移动通信有限公司 图像合成方法及相关装置
US20230171510A1 (en) * 2020-07-15 2023-06-01 Arriver Software Ab Vision system for a motor vehicle
CN112397017A (zh) * 2020-11-27 2021-02-23 卡莱特（深圳）云科技有限公司 一种车载led显示屏的亮度调节方法及装置
CN113222869B (zh) * 2021-05-06 2024-03-01 杭州海康威视数字技术股份有限公司 一种图像处理方法
US11722789B1 (en) 2022-02-01 2023-08-08 Ford Global Technologies, Llc Multi-camera imaging system selecting between visible and infrared views in a vehicle
WO2023157489A1 (ja) * 2022-02-21 2023-08-24 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09205645A (ja) 1996-01-29 1997-08-05 Fujitsu Ten Ltd 前方環境認識装置
US6874420B2 (en) * 1999-10-22 2005-04-05 Cc1, Inc. System and method for register mark recognition
KR100810310B1 (ko) * 2003-08-29 2008-03-07 삼성전자주식회사 조도차가 다른 영상의 재구성 장치 및 방법
KR100677332B1 (ko) * 2004-07-06 2007-02-02 엘지전자 주식회사 휴대단말기의 저조도 화질 개선장치 및 방법
KR20070081629A (ko) 2006-02-13 2007-08-17 주식회사 팬택앤큐리텔 촬영 피사체의 밝기분포를 고려한 이미지 보정 방법 및 그방법이 실행 가능한 촬영 장치
JP2008126905A (ja) 2006-11-22 2008-06-05 Toyota Motor Corp 車窓透過率制御装置
KR101424717B1 (ko) * 2007-09-13 2014-08-01 삼성전자주식회사 노출 시간 설정 장치 및 방법
JP4556995B2 (ja) * 2007-12-10 2010-10-06 カシオ計算機株式会社 撮像装置及びその露出制御方法、露出制御プログラム
JP4389999B2 (ja) * 2007-12-26 2009-12-24 株式会社デンソー 露出制御装置及び露出制御プログラム
JP4433045B2 (ja) * 2007-12-26 2010-03-17 株式会社デンソー 露出制御装置及び露出制御プログラム
JP4433046B2 (ja) * 2007-12-26 2010-03-17 株式会社デンソー 露出制御装置及び露出制御プログラム
JP4525812B2 (ja) 2008-08-08 2010-08-18 株式会社デンソー 露出設定装置、露出設定プログラム、および画像処理装置
WO2010088465A1 (en) * 2009-02-02 2010-08-05 Gentex Corporation Improved digital image processing and systems incorporating the same
US20120019686A1 (en) * 2010-07-23 2012-01-26 Casio Computer Co., Ltd. Image synthesizing device, image synthesizing method and computer readable medium
JP5375814B2 (ja) * 2010-12-22 2013-12-25 株式会社デンソー 露出制御装置
DE102011077038A1 (de) * 2011-06-07 2012-12-13 Robert Bosch Gmbh Verfahren und Vorrichtung zur Erkennung von Objekten in einem Umfeld eines Fahrzeugs
US9402034B2 (en) * 2011-07-29 2016-07-26 Apple Inc. Adaptive auto exposure adjustment
JP5817927B2 (ja) * 2012-05-18 2015-11-18 日産自動車株式会社 車両用表示装置、車両用表示方法及び車両用表示プログラム
KR101353052B1 (ko) * 2013-07-31 2014-01-20 주식회사 피엘케이 테크놀로지 교통표지판 인식을 위한 차량용 영상인식시스템
TWI552907B (zh) * 2013-10-30 2016-10-11 緯創資通股份有限公司 行車安全輔助系統和方法
KR101631439B1 (ko) * 2014-05-29 2016-06-17 엘지전자 주식회사 카메라, 및 이를 구비한 차량
US20160005313A1 (en) * 2014-07-01 2016-01-07 Perfect Squares Inc. Method and apparatus for smart stop sign
TWI498848B (zh) * 2014-10-13 2015-09-01 Quanta Comp Inc 多重曝光成像系統及其白平衡方法
US9819873B2 (en) * 2015-06-25 2017-11-14 Canon Kabushiki Kaisha Image-processing apparatus and image-processing method
CN105578068B (zh) * 2015-12-21 2018-09-04 广东欧珀移动通信有限公司 一种高动态范围图像的生成方法、装置及移动终端

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102109841B1 (ko) * 2018-11-30 2020-05-28 아주대학교 산학협력단 주행 영상으로부터 차량을 검출하는 방법 및 장치
US11386674B2 (en) 2019-03-08 2022-07-12 Hyundai Mobis Co., Ltd. Class labeling system for autonomous driving
KR20210146458A (ko) * 2019-04-26 2021-12-06 엘지전자 주식회사 자율주행 차량의 영상 처리 방법
KR20210064735A (ko) * 2019-11-26 2021-06-03 (주)비트리 영상 처리 장치 및 그 방법
KR20210121453A (ko) * 2020-03-30 2021-10-08 (주)코러싱 저조도 환경에서 차량 인식이 가능한 교통관제 시스템
KR20220025434A (ko) * 2020-08-24 2022-03-03 주식회사 테스트웍스 저사양 디바이스에서 다중 모델의 실시간 객체 인식 장치 및 방법
KR20240049713A (ko) 2022-10-07 2024-04-17 주식회사 에이스웍스코리아 자율주행용 데이터 구축 시스템 및 방법

Also Published As

Publication number Publication date
CN108513059B (zh) 2022-01-25
US20180246521A1 (en) 2018-08-30
US10739783B2 (en) 2020-08-11
CN111741229A (zh) 2020-10-02
JP2018142954A (ja) 2018-09-13
EP3367303B1 (en) 2022-09-21
US11409303B2 (en) 2022-08-09
EP3367303A1 (en) 2018-08-29
US20200333796A1 (en) 2020-10-22
CN108513059A (zh) 2018-09-07
CN111741229B (zh) 2022-08-16

Similar Documents

Publication Publication Date Title
KR20180097966A (ko) 자율 주행을 위한 영상 처리 방법 및 장치
KR20180025591A (ko) 자율 주행 차량을 위한 비전 센서의 제어 방법 및 장치
US11758120B2 (en) Evaluating detection capabilities of cameras
US11908104B2 (en) Weighted normalized automatic white balancing
CN112312031A (zh) 增强的高动态范围成像和色调映射
JP2019099138A (ja) 車線維持補助方法及び装置
KR102541560B1 (ko) 객체 인식 방법 및 장치
JP7243714B2 (ja) 露光制御装置、露光制御方法、プログラム、撮影装置、及び、移動体
US11902670B2 (en) Auto exposure using multiple cameras and map prior information
CN111862226B (zh) 用于车辆中的摄像机校准和图像预处理的硬件设计
KR101875517B1 (ko) 영상 처리 방법 및 장치
CN116419072A (zh) 车辆摄像头动态
KR20200128464A (ko) 자율 주행 차량의 카메라 시스템의 작동 방법
KR20200128461A (ko) 자율 주행 차량의 카메라 시스템 및 그의 작동 방법
KR20200128457A (ko) 자율 주행 차량의 카메라 시스템 및 그의 작동 방법
US11818470B2 (en) Image generation device, image generation method, and vehicle control system
US20220318952A1 (en) Remote support system and remote support method
CN117584853A (zh) 车辆及其控制方法
KR20230048429A (ko) 해질녘 및 야간의 야생 동물 횡단으로 인한 사고를 방지하기 위한 시스템
KR20200128463A (ko) 자율 주행 차량의 카메라 시스템
KR20200128465A (ko) 자율 주행 차량에 채용 가능한 카메라 시스템 제공을 위한 프로그램
KR20200128462A (ko) 기록매체
KR20200128460A (ko) 자율 주행 차량의 카메라 시스템 및 그의 작동 방법
KR20200128458A (ko) 자율 주행 차량의 카메라 시스템 및 그의 작동 방법
KR20200128459A (ko) 자율 주행 차량의 카메라 시스템 및 그의 작동 방법