KR20200128464A - 자율 주행 차량의 카메라 시스템의 작동 방법 - Google Patents

자율 주행 차량의 카메라 시스템의 작동 방법 Download PDF

Info

Publication number
KR20200128464A
KR20200128464A KR1020190045840A KR20190045840A KR20200128464A KR 20200128464 A KR20200128464 A KR 20200128464A KR 1020190045840 A KR1020190045840 A KR 1020190045840A KR 20190045840 A KR20190045840 A KR 20190045840A KR 20200128464 A KR20200128464 A KR 20200128464A
Authority
KR
South Korea
Prior art keywords
liquid crystal
camera module
crystal panel
transmittance
image
Prior art date
Application number
KR1020190045840A
Other languages
English (en)
Inventor
정태권
빈죤 키라칼
최은재
박건희
Original Assignee
주식회사 스프링클라우드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 스프링클라우드 filed Critical 주식회사 스프링클라우드
Priority to KR1020190045840A priority Critical patent/KR20200128464A/ko
Publication of KR20200128464A publication Critical patent/KR20200128464A/ko

Links

Images

Classifications

    • H04N5/238—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133—Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/1333—Constructional arrangements; Manufacturing methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H04N5/2351—
    • H04N5/243—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/42—Image sensing, e.g. optical camera
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F2203/00—Function characteristic
    • G02F2203/09—Function characteristic transflective

Abstract

고조도의 상황에서도 영상 화질을 보장해 줄 수 있도록 하는 자율 주행 차량의 카메라 시스템의 작동 방법을 제시한다. 제시된 시스템의 작동 방법은 조도 센서가, 주변 조도를 센싱하는 단계; 액정 구동부가, 카메라 모듈의 전방에 설치된 액정 판넬의 전체 영역에 대한 투과율을 상기 조도 센서에서 센싱된 조도값에 따라 조절하는 단계; 및 상기 카메라 모듈이, 상기 투과율이 조절된 액정 판넬을 매개로 전방의 피사체에 대한 영상을 획득하는 단계;를 포함하되, 상기 조절하는 단계는, 상기 조도값이 클수록 상기 액정 판넬의 전체 영역에 대한 투과율을 낮춘다.

Description

자율 주행 차량의 카메라 시스템의 작동 방법{Method of operation thereof camera system of autonomous vehicle}
본 발명은 카메라 작동 방법에 관한 것으로, 보다 상세하게는 자율 주행 차량에 채용가능한 카메라 시스템의 작동 방법에 관한 것이다.
일반적으로, 자율 주행 차량은 운전자가 차량을 조작하지 않아도 스스로 주행하는 차량으로서, 운전자가 브레이크, 핸들, 가속 페달 등을 제어하지 않아도 도로의 상황을 파악하여 자동으로 주행하는 차량을 의미한다.
스마트 카 구현을 위한 핵심 기술로, 자율 주행 차량을 위해서는 고속도로 주행 지원 시스템(HDA, 자동차 간 거리를 자동으로 유지해 주는 기술)을 비롯하여 후측방 경보 시스템(BSD, 후진 중 주변 차량을 감지, 경보를 울리는 기술), 자동 긴급 제동 시스템(AEB, 앞차를 인식하지 못할 시 제동 장치를 가동하는 기술), 차선 이탈 경보 시스템(LDWS), 차선 유지 지원 시스템(LKAS, 방향 지시등 없이 차선을 벗어나는 것을 보완하는 기술), 어드밴스드 스마트 크루즈 컨트롤(ASCC, 설정된 속도로 차 간 거리를 유지하며 정속 주행하는 기술), 혼잡 구간 주행 지원 시스템(TJA) 등이 구현되어야 한다.
이러한 다양한 시스템을 지원하기 위해 레이다 센서, 라이다 센서, 카메라 등이 사용될 수 있다.
카메라의 경우, 태양이나 강한 광원이 앞쪽에 있으면 카메라의 이미지 센서의 포화(saturation) 현상이 일어나서 영상이 제대로 구분되지 않게 된다.
또한, 터널 입구나 출구에서와 같이 갑자기 조도가 변화는 환경에서 카메라 영상이 제대로 보이지 않는 현상이 발생한다.
이와 같이 고조도의 상황에서는 영상 화질을 제대로 보장하지 못하는 문제가 발생된다.
선행기술 1 : 대한민국 등록특허 제10-1749900호(영상밝기조절장치 및 그 동작 방법) 선행기술 2 : 대한민국 등록특허 제10-1594258호(컬러/조도 센서를 이용한 카메라 영상 보정/제어 장치 및 방법)
본 발명은 상기한 종래의 문제점을 해결하기 위해 제안된 것으로, 고조도의 상황에서도 영상 화질을 보장해 줄 수 있도록 하는 자율 주행 차량의 카메라 시스템의 작동방법을 제공함에 그 목적이 있다.
상기와 같은 목적을 달성하기 위하여 본 발명의 바람직한 실시양태에 따른 자율 주행 차량의 카메라 시스템의 작동 방법은, 조도 센서가, 주변 조도를 센싱하는 단계; 액정 구동부가, 카메라 모듈의 전방에 설치된 액정 판넬의 전체 영역에 대한 투과율을 상기 조도 센서에서 센싱된 조도값에 따라 조절하는 단계; 및 상기 카메라 모듈이, 상기 투과율이 조절된 액정 판넬을 매개로 전방의 피사체에 대한 영상을 획득하는 단계;를 포함한다.
본 발명의 바람직한 다른 실시양태에 따른 자율 주행 차량의 카메라 시스템의 작동 방법은, 조도 센서가, 주변 조도를 센싱하는 단계; 액정 구동부가, 상기 조도 센서에서 센싱된 조도값이 기설정된 임계치 이상이면 카메라 모듈의 전방에 설치된 액정 판넬의 전체 영역에 대한 투과율을 상기 조도 센서에서 센싱된 조도값에 따라 조절하는 단계; 및 상기 카메라 모듈이, 상기 투과율이 조절된 액정 판넬을 매개로 전방의 피사체에 대한 영상을 획득하는 단계;를 포함한다.
본 발명의 바람직한 또다른 실시양태에 따른 자율 주행 차량의 카메라 시스템의 작동 방법은, 영상 처리부가, 제 1 카메라 모듈에서 획득한 영상의 화소별 밝기값을 측정하는 단계; 액정 구동부가, 상기 화소별 밝기값을 근거로 상기 영상의 밝은 부분에 대응되는 액정 판넬의 해당 부분만의 투과율을 조절하는 단계; 및 제 2 카메라 모듈이, 상기 투과율이 조절된 상기 액정 판넬을 매개로 전방의 피사체에 대한 영상을 획득하는 단계;를 포함하고, 상기 액정 판넬은 상기 제 2 카메라 모듈의 전방에 설치된다.
본 발명의 바람직한 또다른 실시양태에 따른 자율 주행 차량의 카메라 시스템의 작동 방법은, 영상 처리부가, 제 1 카메라 모듈에서 획득한 영상의 화소별 밝기값을 측정하는 단계; 액정 구동부가, 상기 화소별 밝기값을 근거로 상기 영상의 밝은 부분중에서 특정 밝기 이상의 위치에 대응되는 액정 판넬의 해당 부위만의 투과율을 조절하는 단계; 및 제 2 카메라 모듈이, 상기 투과율이 조절된 상기 액정 판넬을 매개로 전방의 피사체에 대한 영상을 획득하는 단계;를 포함하고, 상기 액정 판넬은 상기 제 2 카메라 모듈의 전방에 설치된다.
이러한 구성의 본 발명에 따르면, 고조도의 상황에서도 영상 화질을 보장해 줄 수 있다.
도 1은 본 발명의 제 1 실시예에 따른 자율 주행 차량의 카메라 시스템의 구성도이다.
도 2는 본 발명의 제 1 실시예에 따른 자율 주행 차량의 카메라 시스템의 동작의 일 예를 설명하기 위한 플로우차트이다.
도 3은 본 발명의 제 1 실시예에 따른 자율 주행 차량의 카메라 시스템의 동작의 다른 예를 설명하기 위한 플로우차트이다.
도 4는 본 발명의 제 2 실시예에 따른 자율 주행 차량의 카메라 시스템의 구성도이다.
도 5 및 도 6은 도 4의 설명에 채용되는 도면이다.
도 7은 본 발명의 제 2 실시예에 따른 자율 주행 차량의 카메라 시스템의 동작의 일 예를 설명하기 위한 플로우차트이다.
도 8은 본 발명의 제 2 실시예에 따른 자율 주행 차량의 카메라 시스템의 동작의 다른 예를 설명하기 위한 플로우차트이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다.
도 1은 본 발명의 제 1 실시예에 따른 자율 주행 차량의 카메라 시스템의 구성도이다.
본 발명의 제 1 실시예에 따른 자율 주행 차량의 카메라 시스템은, 조도 센서(10), 액정 구동부(12), 액정 판넬(14), 카메라 모듈(16), 및 영상 처리부(18)를 포함한다.
조도 센서(10)는 본 발명의 제 1 실시예에 따른 자율 주행 차량의 카메라 시스템의 주변 조도를 센싱할 수 있다.
액정 구동부(12)는 조도 센서(10)로부터의 주변 조도값(즉, 주변의 빛의 양을 나타내는 값)에 따라 액정 판넬(14)의 전체 영역에 대한 투과율을 조절할 수 있다. 액정 구동부(12)는 액정 판넬(14)의 양단에 가해지는 전압을 변화시켜 액정 판넬(14)의 전체 영역에 대한 투과율을 제어할 수 있다.
다시 말해서, 액정 구동부(12)는 카메라 모듈(16)의 이미지 센서(도시 생략)에 적정한 수준의 빛이 입사될 수 있도록 하기 위해 액정 판넬(14)의 전체 영역에 대한 투과율을 결정하고, 결정된 투과율에 상응하는 전압의 크기를 미리 정의된 그래프 또는 수식 등을 이용하여 산출하거나 룩업테이블로부터 검색하여 액정 판넬(14)의 양단의 전압을 변화시킬 수 있다.
예를 들어, 액정 구동부(12)는 조도값 또는 조도 범위별로 미리 설정된 빛 투과율 값들을 각각 대응시킨 정보를 테이블 형태로 저장할 수 있다. 이때, 조도값 또는 조도 범위별로 설정되는 빛 투과율 값들은 조도값 또는 조도 범위의 평균 조도 값이 클수록 빛 투과율 값이 작게 설정된 값들을 의미한다.
액정 판넬(14)은 카메라 모듈(16)의 전방에 위치할 수 있다. 액정 판넬(14)은 투명판을 포함한다.
액정 판넬(14)은 양단에 인가되는 전압의 크기에 따라 투과율이 변화된다. 액정 판넬(14)의 투과율 변화에 따라 빛의 입사광량이 조절될 수 있다.
카메라 모듈(16)은 렌즈부(도시 생략)와 이미지 센서(도시 생략)를 포함할 수 있다. 통상적으로 렌즈부를 통해 집광된 광 및 사용자가 찍은 피사체의 영상이 이미지 센서에 형성된다. 이미지 센서는 렌즈부를 통하여 입력된 외부의 영상을 영상 데이터로 변환하는 역할을 한다. 여기서, 이미지 센서는 입력 영상을 전자 신호로 변환시키는 CCD(Charge Coupled Device) 센서 또는 CMOS(Complementary Metal-Oxide Semiconductor)일 수 있으나 본 발명은 이에 한정되지 않는다.
특히, 카메라 모듈(16)의 전방에는 액정 판넬(14)이 설치되어 있으므로, 투과율이 조절된 액정 판넬(14) 및 렌즈부를 통해 집광된 광 및 사용자가 찍은 피사체의 영상이 카메라 모듈(16)의 이미지 센서(도시 생략)에 형성될 것이다.
영상 처리부(18)는 카메라 모듈(16)로부터의 영상 데이터를 신호처리할 수 있다.
예를 들어, 영상 처리부(18)는 ISP(이미지 신호처리 프로세서)를 포함할 수 있다.
상술한 제 1 실시예 설명에서는 액정 구동부(12)가 조도 센서(10)로부터의 주변 조도값에 따라 액정 판넬(14)의 전체 영역에 대한 투과율을 조절하는 것으로 하였는데, 필요에 따라서는 주변 조도값이 기설정된 임계치 이상인 경우에만 주변 조도값에 따라 액정 판넬(14)의 전체 영역에 대한 투과율을 조절하는 것으로 하여도 된다.
도 2는 본 발명의 제 1 실시예에 따른 자율 주행 차량의 카메라 시스템의 동작의 일 예를 설명하기 위한 플로우차트이다.
먼저, 조도 센서(10)가 주변 조도를 센싱한다(S10). 센싱된 주변 조도값은 액정 구동부(12)에게로 전달된다.
그에 따라, 액정 구동부(12)는 조도 센서(10)로부터의 주변 조도값(즉, 주변의 빛의 양을 나타내는 값)에 따라 액정 판넬(14)의 전체 영역에 대한 투과율을 조절한다(S12). 예를 들어, 주변 조도값이 클수록 액정 판넬(14)의 전체 영역에 대한 투과율을 낮게 한다. 마치 카메라 모듈(16)의 전방에 썬팅지가 배치된 것으로 생각해 볼 수 있다. 다시 말해서, 액정 구동부(12)는 카메라 모듈(16)의 이미지 센서(도시 생략)에 적정한 수준의 빛이 입사될 수 있도록 하기 위해 액정 판넬(14)의 투과율을 결정하고, 결정된 투과율에 상응하는 전압의 크기를 미리 정의된 그래프 또는 수식 등을 이용하여 산출하거나 룩업테이블로부터 검색하여 액정 판넬(14)의 양단의 전압을 변화시킬 수 있다. 예를 들어, 액정 구동부(12)는 조도값 또는 조도 범위별로 미리 설정된 빛 투과율 값들을 각각 대응시킨 정보를 테이블 형태로 저장할 수 있다.
이어, 투과율이 조절된 액정 판넬(14) 및 렌즈부를 통해 집광된 광 및 사용자가 찍은 피사체의 영상이 카메라 모듈(16)의 이미지 센서(도시 생략)에 형성된다(S14).
이후, 영상 처리부(18)는 카메라 모듈(16)로부터의 영상 데이터를 신호처리한다.
도 3은 본 발명의 제 1 실시예에 따른 자율 주행 차량의 카메라 시스템의 동작의 다른 예를 설명하기 위한 플로우차트이다.
먼저, 조도 센서(10)가 주변 조도를 센싱한다(S30). 센싱된 주변 조도값은 액정 구동부(12)에게로 전달된다.
이어, 액정 구동부(12)는 전달받은 주변 조도값이 기설정된 임계치 이상인지를 판단한다.
판단 결과, 전달받은 주변 조도값이 기설정된 임계치 이상이면(S32에서 "Yes") 액정 구동부(12)는 조도 센서(10)로부터의 주변 조도값(즉, 주변의 빛의 양을 나타내는 값)에 따라 액정 판넬(14)의 전체 영역에 대한 투과율을 조절한다(S34). 즉, 주변 조도값이 기설정된 임계치 이상일 경우에만 액정 판넬(14)의 전체 영역에 대한 투과율을 낮추어 주게 된다. 이때, 주변 조도값에 따라 액정 판넬(14)의 투과율이 제어된다. 다시 말해서, 주변 조도값이 기설정된 임계치 이상일 경우에만 액정 구동부(12)는 카메라 모듈(16)의 이미지 센서(도시 생략)에 적정한 수준의 빛이 입사될 수 있도록 하기 위해 액정 판넬(14)의 투과율을 결정하고, 결정된 투과율에 상응하는 전압의 크기를 미리 정의된 그래프 또는 수식 등을 이용하여 산출하거나 룩업테이블로부터 검색하여 액정 판넬(14)의 양단의 전압을 변화시킬 수 있다. 예를 들어, 액정 구동부(12)는 조도값 또는 조도 범위별로 미리 설정된 빛 투과율 값들을 각각 대응시킨 정보를 테이블 형태로 저장할 수 있다.
예를 들어, 카메라 모듈(16)이 태양을 포함하는 피사체를 향하고 있을 경우 자동으로 카메라 모듈(16)에 입사되는 빛의 양을 작게 조절되므로, 카메라 모듈(16)은 제대로된 영상을 촬영할 수 있다.
이와 같이 투과율이 조절된 액정 판넬(14) 및 렌즈부를 통해 집광된 광 및 사용자가 찍은 피사체의 영상이 카메라 모듈(16)의 이미지 센서(도시 생략)에 형성된다(S36).
이후, 영상 처리부(18)는 카메라 모듈(16)로부터의 영상 데이터를 신호처리한다.
도 4는 본 발명의 제 2 실시예에 따른 자율 주행 차량의 카메라 시스템의 구성도이고, 도 5 및 도 6은 도 4의 설명에 채용되는 도면이다.
본 발명의 제 2 실시예에 따른 자율 주행 차량의 카메라 시스템은, 제 1 카메라 모듈(30), 제 1 영상 처리부(32), 액정 판넬(34), 액정 구동부(36), 제 2 카메라 모듈(38), 및 제 2 영상 처리부(40)를 포함한다.
제 1 카메라 모듈(30)은 전방의 피사체를 촬영하여 소정 영상(예컨대, 컬러 이미지; 도 5의 좌측 그림 참조)를 획득할 수 있다.
예를 들어, 제 1 카메라 모듈(30)은 렌즈부(도시 생략)와 이미지 센서(도시 생략)를 포함할 수 있다. 통상적으로 렌즈부를 통해 집광된 광 및 사용자가 찍은 피사체의 영상이 이미지 센서에 형성된다. 이미지 센서는 렌즈부를 통하여 입력된 외부의 영상을 영상 데이터로 변환하는 역할을 한다. 여기서, 이미지 센서는 입력 영상을 전자 신호로 변환시키는 CCD(Charge Coupled Device) 센서 또는 CMOS(Complementary Metal-Oxide Semiconductor)일 수 있으나 본 발명은 이에 한정되지 않는다.
본 발명의 제 2 실시예에서는 제 1 카메라 모듈(30)은 피사체를 촬영할 수만 있으면 되므로 굳이 고해상도의 카메라 모듈일 필요가 없다. 따라서, 제 1 카메라 모듈(30)은 저해상도의 카메라 모듈로 구성됨이 바람직하다.
제 1 영상 처리부(32)는 제 1 카메라 모듈(30)로부터의 컬러 영상을 반전시켜 흑백 반전 영상(도 5의 우측 그림 참조)을 생성할 수 있다. 이때, 제 1 영상 처리부(32)는 컬러 영상의 화소별로 밝기값을 측정하고 각각의 화소별로 그에 상응하는 반전값을 부여함으로써 흑백 반전 영상을 생성할 수 있다. 예를 들어, 제 1 영상 처리부(32)는 화소의 밝기값이 크면 클수록 큰 반전값을 부여할 수 있다. 그에 따라, 태양과 같이 밝기값이 굉장히 큰 경우에는 흑색과 같은 반전 색상을 가지도록 하는 반전값을 부여할 수 있다.
그리고, 제 1 영상 처리부(32)는 컬러 영상의 각 화소별 밝기값을 액정 구동부(36)에게로 제공할 수 있다.
예를 들어, 제 1 영상 처리부(32)는 ISP(이미지 신호처리 프로세서)를 포함할 수 있다.
액정 판넬(34)은 제 2 카메라 모듈(38)의 전방에 위치할 수 있다. 액정 판넬(34)은 투명판을 포함한다.
액정 판넬(34)은 양단에 인가되는 전압의 크기에 따라 투과율이 변화된다. 액정 판넬(34)의 투과율 변화에 따라 빛의 입사광량이 조절될 수 있다.
액정 구동부(36)는 제 1 영상 처리부(32)로부터의 각 화소별 밝기값을 근거로 액정 판넬(14)의 전체 영역중에서 영상의 밝은 부분에 해당하는 부분만의 투과율을 조절할 수 있다. 여기서, 영상의 밝은 부분은 소정의 임계치 이상의 밝기값을 갖는 부분을 의미한다. 다시 말해서, 액정 구동부(36)는 제 2 카메라 모듈(38)의 이미지 센서(도시 생략)에 적정한 수준의 빛이 입사될 수 있도록 하기 위해 액정 판넬(34)의 전체 영역중에서 영상의 밝은 부분에 해당하는 부분만의 투과율을 결정하고, 결정된 투과율에 상응하는 전압의 크기를 미리 정의된 그래프 또는 수식 등을 이용하여 산출하거나 룩업테이블로부터 검색하여 액정 판넬(34)의 양단의 전압을 변화시킬 수 있다. 예를 들어, 액정 구동부(36)는 각 화소별 밝기값에 대응시킨 정보를 테이블 형태로 저장할 수 있다. 그에 따라, 액정 구동부(36)는 화소의 밝기값이 클수록 해당 화소에 상응하는 액정 판넬(34)의 해당 부위의 투과율을 더욱 낮추게 된다.
필요에 따라, 액정 구동부(36)는 액정 판넬(34)을 쉬프팅시킬 수 있다.
제 2 카메라 모듈(38)은 렌즈부(도시 생략)와 이미지 센서(도시 생략)를 포함할 수 있다. 통상적으로 렌즈부를 통해 집광된 광 및 사용자가 찍은 피사체의 영상이 이미지 센서에 형성된다. 이미지 센서는 렌즈부를 통하여 입력된 외부의 영상을 영상 데이터로 변환하는 역할을 한다. 여기서, 이미지 센서는 입력 영상을 전자 신호로 변환시키는 CCD(Charge Coupled Device) 센서 또는 CMOS(Complementary Metal-Oxide Semiconductor)일 수 있으나 본 발명은 이에 한정되지 않는다.
특히, 제 2 카메라 모듈(38)은 제 1 카메라 모듈(30)의 근처에 설치되어 제 1 카메라 모듈(30)과 동일 방향을 바라본다. 그에 따라, 제 2 카메라 모듈(38)은 제 1 카메라 모듈(30)에서와 동일한 피사체에 대한 영상을 획득할 수 있다. 이때, 제 2 카메라 모듈(38)의 전방에는 액정 판넬(34)이 설치되어 있으므로, 투과율이 조절된 액정 판넬(34)에는 도 6과 같은 영상이 투영될 수 있다. 투과율이 조절된 액정 판넬(34) 및 렌즈부를 통해 집광된 광 및 사용자가 찍은 피사체의 영상이 이미지 센서에 형성될 것이다.
본 발명의 제 2 실시예에서는 제 2 카메라 모듈(38)은 고해상도의 카메라 모듈로 구성됨이 바람직하다.
제 2 영상 처리부(40)는 제 2 카메라 모듈(38)로부터의 영상 데이터를 신호처리할 수 있다.
예를 들어, 제 2 영상 처리부(40)는 ISP(이미지 신호처리 프로세서)를 포함할 수 있다.
한편, 상술한 설명과는 좀 다르게, 제 1 영상 처리부(32)가 컬러 영상의 화소별로 밝기값을 측정하여 특정 밝기 이상의 영역을 검출하면 검출된 해당 영역에 상응하는 액정 판넬(34)의 영역만의 투과율을 액정 구동부(36)가 낮추어 주도록 하여도 된다.
도 7은 본 발명의 제 2 실시예에 따른 자율 주행 차량의 카메라 시스템의 동작의 일 예를 설명하기 위한 플로우차트이다.
먼저, 제 1 카메라 모듈(30)이 전방의 피사체를 촬영하여 소정 영상(예컨대, 컬러 이미지; 도 5의 좌측 그림 참조)를 획득한다(S50).
이어, 제 1 영상 처리부(32)는 제 1 카메라 모듈(30)로부터의 컬러 영상을 반전시켜 흑백 반전 영상(도 5의 우측 그림 참조)을 생성한다(S52). 이때, 제 1 영상 처리부(32)는 컬러 영상의 화소별로 밝기값을 측정하고 각각의 화소별로 그에 상응하는 반전값을 부여함으로써 흑백 반전 영상을 생성할 수 있다. 예를 들어, 제 1 영상 처리부(32)는 화소의 밝기값이 크면 클수록 큰 반전값을 부여할 수 있다. 그에 따라, 태양과 같이 밝기값이 굉장히 큰 경우에는 흑색과 같은 반전 색상을 가지도록 하는 반전값을 부여할 수 있다.
그리고, 제 1 영상 처리부(32)는 컬러 영상의 각 화소별 밝기값을 액정 구동부(36)에게로 제공한다.
그에 따라, 액정 구동부(36)는 제 1 영상 처리부(32)로부터의 컬러 영상의 각 화소별 밝기값에 따라 액정 판넬(34)의 전체 영역중에서 영상의 밝은 부분에 해당하는 부분만의 투과율을 조절한다(S54). 이는 제 2 카메라 모듈(38)의 이미지 센서(도시 생략)에 적정한 수준의 빛이 입사될 수 있도록 하기 위해 액정 판넬(34)의 투과율을 조절해 주는 것으로서, 액정 구동부(36)는 컬러 영상의 화소의 밝기값이 클수록 해당 화소에 상응하는 액정 판넬(34)의 해당 부위의 투과율을 더욱 낮추게 된다. 즉, 컬러 영상의 밝은 부분에 대해서는 액정 판넬(34)의 해당 부위의 투과율을 낮추어 주고, 컬러 영상의 어두운 부분에 대해서는 액정 판넬(34)의 해당 부위의 투과율을 높여준다. 그리고, 액정 판넬(34)의 투과율은 테이블 형태로 미리 저장된 각 화소별 밝기값에 대응시킨 정보를 근거로 조절할 수 있다.
이와 같이 액정 판넬(34)의 밝은 부분에 대한 투과율이 조절됨에 따라, 제 2 카메라 모듈(38)의 이미지 센서에는 투과율이 조절된 액정 판넬(34) 및 렌즈부를 통해 집광된 광 및 사용자가 찍은 피사체의 영상이 형성된다(S56).
그에 따라, 제 2 영상 처리부(40)는 제 2 카메라 모듈(38)로부터의 영상 데이터를 신호처리한다.
도 8은 본 발명의 제 2 실시예에 따른 자율 주행 차량의 카메라 시스템의 동작의 다른 예를 설명하기 위한 플로우차트이다.
먼저, 제 1 카메라 모듈(30)이 전방의 피사체를 촬영하여 소정 영상(예컨대, 컬러 이미지; 도 5의 좌측 그림 참조)를 획득한다(S70).
이어, 제 1 영상 처리부(32)는 제 1 카메라 모듈(30)로부터의 컬러 영상을 반전시켜 흑백 반전 영상(도 5의 우측 그림 참조)을 생성한다(S72). 이때, 제 1 영상 처리부(32)는 컬러 영상의 화소별로 밝기값을 측정하고 각각의 화소별로 그에 상응하는 반전값을 부여함으로써 흑백 반전 영상을 생성할 수 있다. 예를 들어, 제 1 영상 처리부(32)는 화소의 밝기값이 크면 클수록 큰 반전값을 부여할 수 있다. 그에 따라, 태양과 같이 밝기값이 굉장히 큰 경우에는 흑색과 같은 반전 색상을 가지도록 하는 반전값을 부여할 수 있다.
그리고, 제 1 영상 처리부(32)는 컬러 영상의 각 화소별 밝기값을 액정 구동부(36)에게로 제공한다.
그에 따라, 액정 구동부(36)는 전달받은 컬러 영상의 각 화소별 밝기값을 근거로 영상의 밝은 부분중에서도 특정 밝기 이상의 영역이 검출되는지를 판단한다. 여기서, 밝은 부분은 제 1 임계치의 밝기값을 가지고, 특정 밝기 이상의 영역은 제 1 임계치의 밝기값보다 큰 값인 제 2 임계치를 갖는다고 볼 수 있다.
판단 결과, 특정 밝기 이상의 영역이 검출되면(S74에서 "Yes") 액정 구동부(36)는 특정 밝기 이상의 영역에 상응하는 액정 판넬(34)의 영역에 대한 투과율만을 조절한다(S76). 이는 제 2 카메라 모듈(38)의 이미지 센서(도시 생략)에 적정한 수준의 빛이 입사될 수 있도록 하기 위해 액정 판넬(34)의 투과율을 조절해 주는 것으로서, 밝은 부분중에서도 특정 밝기 이상의 영역에 대해서는 액정 판넬(34)의 해당 영역의 투과율을 낮추어 줄 것이다. 이때, 특정 밝기 이상의 영역의 밝기값에 따라 액정 판넬(34)의 해당 영역의 투과율이 제어될 것이다. 그리고, 액정 판넬(34)의 투과율은 테이블 형태로 미리 저장된 각 화소별 밝기값에 대응시킨 정보를 근거로 조절할 수 있다.
이와 같이 액정 판넬(34)의 밝은 부분중에서도 특정 밝기 이상의 영역에 대한 투과율이 조절됨에 따라, 제 2 카메라 모듈(38)의 이미지 센서에는 투과율이 조절된 액정 판넬(34) 및 렌즈부를 통해 집광된 광 및 사용자가 찍은 피사체의 영상이 형성된다(S78).
그에 따라, 제 2 영상 처리부(40)는 제 2 카메라 모듈(38)로부터의 영상 데이터를 신호처리한다.
이상에서와 같이 도면과 명세서에서 최적의 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로, 본 기술 분야의 통상의 지식을 가진자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.
10 : 조도 센서 12 : 액정 구동부
14 : 액정 판넬 16 : 카메라 모듈
18 : 제 2 영상 처리부 30 : 제 1 카메라 모듈
32 : 제 1 영상 처리부 34 ; 액정 판넬
36 : 액정 구동부 38 : 제 2 카메라 모듈
40 : 제 2 영상 처리부

Claims (6)

  1. 조도 센서가, 주변 조도를 센싱하는 단계;
    액정 구동부가, 카메라 모듈의 전방에 설치된 액정 판넬의 전체 영역에 대한 투과율을 상기 조도 센서에서 센싱된 조도값에 따라 조절하는 단계; 및
    상기 카메라 모듈이, 상기 투과율이 조절된 액정 판넬을 매개로 전방의 피사체에 대한 영상을 획득하는 단계;를 포함하되,
    상기 조절하는 단계는,
    상기 조도값이 클수록 상기 액정 판넬의 전체 영역에 대한 투과율을 낮추는 것을 특징으로 하는 자율 주행 차량의 카메라 시스템의 작동 방법.
  2. 조도 센서가, 주변 조도를 센싱하는 단계;
    액정 구동부가, 상기 조도 센서에서 센싱된 조도값이 기설정된 임계치 이상이면 카메라 모듈의 전방에 설치된 액정 판넬의 전체 영역에 대한 투과율을 상기 조도 센서에서 센싱된 조도값에 따라 조절하는 단계; 및
    상기 카메라 모듈이, 상기 투과율이 조절된 액정 판넬을 매개로 전방의 피사체에 대한 영상을 획득하는 단계;를 포함하되,
    상기 조절하는 단계는,
    상기 조도값이 클수록 상기 액정 판넬의 전체 영역에 대한 투과율을 낮추는 것을 특징으로 하는 자율 주행 차량의 카메라 시스템의 작동 방법.
  3. 영상 처리부가, 제 1 카메라 모듈에서 획득한 영상의 화소별 밝기값을 측정하는 단계;
    액정 구동부가, 상기 화소별 밝기값을 근거로 상기 영상의 밝은 부분에 대응되는 액정 판넬의 해당 부분만의 투과율을 조절하는 단계; 및
    제 2 카메라 모듈이, 상기 투과율이 조절된 상기 액정 판넬을 매개로 전방의 피사체에 대한 영상을 획득하는 단계;를 포함하고,
    상기 액정 판넬은 상기 제 2 카메라 모듈의 전방에 설치되되,
    상기 조절하는 단계는,
    화소의 밝기값이 클수록 해당 화소에 상응하는 액정 판넬의 해당 부위의 투과율을 낮추는 것을 특징으로 하는 자율 주행 차량의 카메라 시스템의 작동 방법.
  4. 청구항 3에 있어서,
    상기 제 1 카메라 모듈은 저해상도의 카메라 모듈이고, 상기 제 2 카메라 모듈은 고해상도의 카메라 모듈인 것을 특징으로 하는 자율 주행 차량의 카메라 시스템의 작동 방법.
  5. 영상 처리부가, 제 1 카메라 모듈에서 획득한 영상의 화소별 밝기값을 측정하는 단계;
    액정 구동부가, 상기 화소별 밝기값을 근거로 상기 영상의 밝은 부분중에서 특정 밝기 이상의 위치에 대응되는 액정 판넬의 해당 부위만의 투과율을 조절하는 단계; 및
    제 2 카메라 모듈이, 상기 투과율이 조절된 상기 액정 판넬을 매개로 전방의 피사체에 대한 영상을 획득하는 단계;를 포함하고,
    상기 액정 판넬은 상기 제 2 카메라 모듈의 전방에 설치되되,
    상기 조절하는 단계는,
    화소의 밝기값이 클수록 해당 화소에 상응하는 액정 판넬의 해당 부위의 투과율을 낮추는 것을 특징으로 하는 자율 주행 차량의 카메라 시스템의 작동 방법.
  6. 청구항 5에 있어서,
    상기 제 1 카메라 모듈은 저해상도의 카메라 모듈이고, 상기 제 2 카메라 모듈은 고해상도의 카메라 모듈인 것을 특징으로 하는 자율 주행 차량의 카메라 시스템의 작동 방법.


KR1020190045840A 2019-04-19 2019-04-19 자율 주행 차량의 카메라 시스템의 작동 방법 KR20200128464A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190045840A KR20200128464A (ko) 2019-04-19 2019-04-19 자율 주행 차량의 카메라 시스템의 작동 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190045840A KR20200128464A (ko) 2019-04-19 2019-04-19 자율 주행 차량의 카메라 시스템의 작동 방법

Publications (1)

Publication Number Publication Date
KR20200128464A true KR20200128464A (ko) 2020-11-13

Family

ID=73399000

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190045840A KR20200128464A (ko) 2019-04-19 2019-04-19 자율 주행 차량의 카메라 시스템의 작동 방법

Country Status (1)

Country Link
KR (1) KR20200128464A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114390181A (zh) * 2022-02-08 2022-04-22 维沃移动通信有限公司 拍摄方法、装置及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101594258B1 (ko) 2014-09-24 2016-02-16 주식회사 넥서스칩스 컬러/조도 센서를 이용한 카메라 영상 보정/제어 장치 및 방법
KR101749900B1 (ko) 2016-10-13 2017-06-26 (주)한국알파시스템 영상밝기조절장치 및 그 동작 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101594258B1 (ko) 2014-09-24 2016-02-16 주식회사 넥서스칩스 컬러/조도 센서를 이용한 카메라 영상 보정/제어 장치 및 방법
KR101749900B1 (ko) 2016-10-13 2017-06-26 (주)한국알파시스템 영상밝기조절장치 및 그 동작 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114390181A (zh) * 2022-02-08 2022-04-22 维沃移动通信有限公司 拍摄方法、装置及电子设备

Similar Documents

Publication Publication Date Title
JP6176028B2 (ja) 車両制御システム、画像センサ
JP4706466B2 (ja) 撮像装置
KR20180097966A (ko) 자율 주행을 위한 영상 처리 방법 및 장치
US20070073484A1 (en) Front image taking device
US11082626B2 (en) Image processing device, imaging device, and image processing method
JP2009171122A (ja) 光源色温度推定方法、ホワイトバランス調整装置、及び画像認識装置
CN109792492B (zh) 摄像控制装置及方法、记录有程序的记录介质
JP4556133B2 (ja) 車両
JP2008135856A (ja) 物体認識装置
WO2017175492A1 (ja) 画像処理装置、画像処理方法、コンピュータプログラム及び電子機器
US11172173B2 (en) Image processing device, image processing method, program, and imaging device
JP2016196233A (ja) 車両用道路標識認識装置
KR20200128464A (ko) 자율 주행 차량의 카메라 시스템의 작동 방법
KR20200128461A (ko) 자율 주행 차량의 카메라 시스템 및 그의 작동 방법
JP4247547B2 (ja) カメラ用露光量制御方法および装置
US10063827B2 (en) Image processing apparatus, imaging apparatus, image processing program, and image processing method
JP5716944B2 (ja) 車載カメラ装置
KR20200128460A (ko) 자율 주행 차량의 카메라 시스템 및 그의 작동 방법
KR20200128457A (ko) 자율 주행 차량의 카메라 시스템 및 그의 작동 방법
KR20200128459A (ko) 자율 주행 차량의 카메라 시스템 및 그의 작동 방법
KR20200128458A (ko) 자율 주행 차량의 카메라 시스템 및 그의 작동 방법
KR20200128463A (ko) 자율 주행 차량의 카메라 시스템
KR20200128465A (ko) 자율 주행 차량에 채용 가능한 카메라 시스템 제공을 위한 프로그램
JP4539400B2 (ja) ステレオカメラの補正方法、ステレオカメラ補正装置
KR20200128462A (ko) 기록매체