KR102321110B1 - 촬영 장치 및 촬영 장치의 제어 방법 - Google Patents

촬영 장치 및 촬영 장치의 제어 방법 Download PDF

Info

Publication number
KR102321110B1
KR102321110B1 KR1020150054223A KR20150054223A KR102321110B1 KR 102321110 B1 KR102321110 B1 KR 102321110B1 KR 1020150054223 A KR1020150054223 A KR 1020150054223A KR 20150054223 A KR20150054223 A KR 20150054223A KR 102321110 B1 KR102321110 B1 KR 102321110B1
Authority
KR
South Korea
Prior art keywords
image data
image sensor
image
malfunction
exposure value
Prior art date
Application number
KR1020150054223A
Other languages
English (en)
Other versions
KR20160123717A (ko
Inventor
김관형
권영만
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020150054223A priority Critical patent/KR102321110B1/ko
Priority to EP16780222.2A priority patent/EP3285475B1/en
Priority to PCT/KR2016/003412 priority patent/WO2016167499A1/ko
Priority to US15/567,072 priority patent/US10110828B2/en
Publication of KR20160123717A publication Critical patent/KR20160123717A/ko
Application granted granted Critical
Publication of KR102321110B1 publication Critical patent/KR102321110B1/ko

Links

Images

Classifications

    • H04N5/2258—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N5/2251—
    • H04N5/2253—

Abstract

촬영 장치 및 촬영 장치의 제어 방법이 개시된다. 본 발명은, 렌즈, 빔 스플리터, 제1 영상 데이터를 출력하는 제1 이미지 센서, 제2 영상 데이터를 출력하는 제2 이미지 센서, 제1 영상 데이터를 표시하는 디스플레이부 및 제2 영상 데이터로부터 획득되는 밝기 정보에 기초하여 디스플레이부에 표시된 제1 영상 데이터의 적어도 일 부분의 화소 값을 보정하고, 제1 이미지 센서의 오동작이 검출되면 제2 이미지 센서의 노출 값을 제1 이미지 센서의 노출 값으로 조정하여 제2 영상 데이터를 디스플레이부에 표시하는 제어부를 포함한다. 본 발명에 의하면, 촬영되는 영상을 개선하고 촬영 장치 내의 이미지 센서가 오동작하는 경우에도 안정적으로 영상을 출력할 수 있다.

Description

촬영 장치 및 촬영 장치의 제어 방법{PHOTOGRAPHING DEVICE AND METHOD FOR CONTROLLING THE SAME}
본 발명은 촬영 장치의 제어 방법에 관한 것으로서, 보다 구체적으로는 촬영 장치의 동작 안정성을 확보할 수 있는 촬영 장치 및 그 제어 방법에 관한 것이다.
최근 카메라를 이용한 영상의 획득 기술은 다양한 분야에 걸쳐 폭넓게 적용되고 있다. 일 예로서, 운전자의 편의를 위하여 차량에 다양한 용도로 카메라가 장착되고 있으며 이에 관한 기술 개발이 폭발적으로 증가하고 있다. 하지만 일부 기능에 있어서는 카메라가 정상적으로 동작하지 않을 경우 안전에 심각한 영향을 줄 수 있기 때문에, 이와 관련된 해결 방안이 없이는 카메라를 사용하기 어렵다.
예를 들어, AVM(Around View Monitoring), 사이드 미러(side mirror) 대용 카메라 등과 같은 경우 카메라 기능 고장 시 차량의 운전자 또는 보행자의 생명과 직접 연관될 수 있어 동작의 안정성을 확보해야 한다.
또한, 차량용 카메라의 특성상, 태양광이나 헤드라이트와 같은 매우 밝은 조명에 노출되는 상황이 자주 발생할 수 있다. 이와 같은 상황이 발생하였을 경우 종래 기술에서는 센서의 감도를 낮춰 조명 이외의 다른 부분은 식별이 불가능할 정도로 어두운 이미지를 얻게 된다. 따라서, 이러한 상황에서도 이미지를 개선할 수 있는 기술을 필요로 하게 된다.
본 발명은 전술한 문제 및 다른 문제를 해결하는 것을 목적으로 한다. 또 다른 목적은 촬영되는 영상을 개선하고 촬영 장치 내의 이미지 센서가 오동작하는 경우에도 안정적으로 영상을 출력할 수 있도록 하는 촬영 장치 및 그 제어 방법을 제공하는 것을 그 목적으로 한다.
상기 또는 다른 목적을 달성하기 위해 본 발명의 일 측면에 따르면, 렌즈, 상기 렌즈를 통과한 광을 제1 방향과 제2 방향으로 분리하는 빔 스플리터(beam splitter), 상기 제1 방향으로 진행되는 광을 감지하여 제1 영상 데이터를 출력하는 제1 이미지 센서, 상기 제1 이미지 센서와 다른 노출 값을 가지고, 상기 제2 방향으로 진행되는 광을 감지하여 제2 영상 데이터를 출력하는 제2 이미지 센서, 상기 제1 영상 데이터를 표시하는 디스플레이부 및 상기 제2 영상 데이터로부터 획득되는 밝기 정보에 기초하여 상기 디스플레이부에 표시된 제1 영상 데이터의 적어도 일 부분의 화소 값을 보정하고, 상기 제1 이미지 센서의 오동작이 검출되면 상기 제2 이미지 센서의 노출 값을 상기 제1 이미지 센서의 노출 값으로 조정하여 상기 제2 영상 데이터를 상기 디스플레이부에 표시하는 제어부를 포함하는 촬영 장치를 제공한다.
상기 제어부는 상기 제1 영상 데이터가 수신되는지 여부로 상기 제1 이미지 센서의 오동작을 검출할 수 있다.
상기 제어부는 상기 제1 이미지 센서로부터 동작 신호가 수신되는지 여부로 상기 제1 이미지 센서의 오동작을 검출할 수 있다.
상기 제어부는 상기 제1 영상 데이터와 상기 제2 영상 데이터의 차이가 미리 설정된 기준 이상인 경우 상기 제1 이미지 센서의 오동작으로 검출할 수 있다.
상기 제어부는 상기 제1 영상 데이터와 상기 제2 영상 데이터에 포함된 피사체의 테두리 검출 또는 특이점을 비교하여 상기 차이를 구할 수 있다.
상기 제어부는 상기 제1 영상 데이터가 미리 정해진 기준보다 많은 수의 색상으로 표시되는지 여부로, 상기 제1 이미지 센서의 오동작을 검출할 수 있다.
상기 제어부는 상기 제1 이미지 센서의 오동작을 검출하면 오동작 알림 신호를 상기 디스플레이부를 통하여 출력할 수 있다.
상기 제어부는 상기 제2 영상 데이터로부터 획득되는 밝기 정보에 기초하여 제1 이미지 센서의 노출 값을 조절할 수 있다.
상기 제어부는 상기 제1 이미지 센서의 노출 값과 상기 제2 이미지 센서의 노출 값을 서로 대비되도록 조절하고, 상기 제1 영상 데이터와 상기 제2 영상 데이터를 합성하여 상기 디스플레이부에 표시하도록 할 수 있다.
또한, 본 발명의 다른 측면에 따르면, 렌즈를 통과한 광을 제1 방향과 제2 방향으로 분리하는 단계, 제1 이미지 센서를 이용하여 상기 제1 방향으로 진행되는 광을 감지하여 제1 영상 데이터를 출력하는 단계, 상기 제1 이미지 센서와 다른 노출 값을 가지는 제2 이미지 센서를 이용하여 상기 제2 방향으로 진행되는 광을 감지하여 제2 영상 데이터를 출력하는 단계, 상기 제1 영상 데이터를 디스플레이부에 표시하는 단계, 상기 제2 영상 데이터로부터 획득되는 밝기 정보에 기초하여 상기 디스플레이부에 표시된 제1 영상 데이터의 적어도 일부 영역의 화소 값을 보정하는 단계 및 상기 제1 이미지 센서의 오동작이 검출되면, 상기 제2 이미지 센서의 노출 값을 조정하여 상기 제2 영상 데이터를 상기 디스플레이부에 표시하는 단계를 포함하는 촬영 장치의 제어 방법을 제공한다.
본 발명에 따른 촬영 장치 및 그 제어 방법의 효과에 대해 설명하면 다음과 같다.
본 발명의 실시 예들 중 적어도 하나에 의하면, 촬영되는 영상을 개선하고 촬영 장치 내의 이미지 센서가 오동작하는 경우에도 안정적으로 영상을 출력할 수 있다는 장점이 있다.
또한, 본 발명의 실시 예들 중 적어도 하나에 의하면, 이미지 센서의 오동작을 다양한 방법에 의하여 검출할 수 있어 촬영 장치의 동작 안정성이 확보될 수 있다는 장점이 있다.
또한, 본 발명의 실시 예들 중 적어도 하나에 의하면, 제1 이미지 센서의 오동작을 검출하는 경우, 제2 이미지 센서의 노출 값을 조절하여 제2 이미지 센서로부터의 영상을 표시함으로써, 촬영 장치의 동작 안정성을 확보할 수 있다는 장점이 있다.
또한, 본 발명의 실시 예들 중 적어도 하나에 의하면, 제2 영상 데이터로부터 획득되는 밝기 정보에 기초하여 제1 이미지 센서의 노출 값을 조절할 수 있다는 장점이 있다.
또한, 본 발명의 실시 예들 중 적어도 하나에 의하면, 제1 이미지 센서와 제2 이미지 센서의 노출 값이 서로 대비되도록 조절하여, 표시되는 영상 전체에서 적절한 노출 값을 갖도록 할 수 있다는 장점이 있다.
본 발명의 적용 가능성의 추가적인 범위는 이하의 상세한 설명으로부터 명백해질 것이다. 그러나 본 발명의 사상 및 범위 내에서 다양한 변경 및 수정은 당업자에게 명확하게 이해될 수 있으므로, 상세한 설명 및 본 발명의 바람직한 실시 예와 같은 특정 실시 예는 단지 예시로 주어진 것으로 이해되어야 한다.
도 1은 본 발명과 관련된 촬영 장치를 설명하기 위한 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 영상 획득부를 설명하기 위한 블록도이다.
도 3은 본 발명의 일 실시 예에 따른 촬영 장치의 제어 방법의 흐름도이다.
도 4는 본 발명의 일 실시 예에 따른 촬영 장치의 활용을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시 예에 따른 제1 이미지 센서 및 제2 이미지 센서의 노출 값의 차이를 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시 예에 따른 제1 영상 데이터의 수신 여부로 오동작을 검출하는 방법의 흐름도이다.
도 7 및 도 8은 본 발명의 일 실시 예에 따른 제1 영상 데이터의 수신 여부로 오동작을 검출하는 것을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시 예에 따른 제1 이미지 센서의 동작 신호의 수신 여부로 오동작을 검출하는 방법의 흐름도이다.
도 10은 본 발명의 일 실시 예에 따른 제1 영상 데이터와 제2 영상 데이터의 차이로 오동작을 검출하는 방법의 흐름도이다.
도 11 및 도 12는 본 발명의 일 실시 예에 따른 제1 영상 데이터와 제2 영상 데이터의 차이로 오동작을 검출하는 것을 설명하기 위한 도면이다.
도 13은 본 발명의 일 실시 예에 따른 제1 영상 데이터의 색상에 기초하여 오동작을 검출하는 방법의 흐름도이다.
도 14는 본 발명의 일 실시 예에 따른 제1 영상 데이터의 색상에 기초하여 오동작을 검출하는 것을 설명하기 위한 도면이다.
도 15는 본 발명의 일 실시 예에 따른 제2 영상 데이터의 밝기 정보에 기초하여 제1 이미지 센서의 노출 값을 조절하는 방법의 흐름도이다.
도 16 및 도 17은 본 발명의 일 실시 예에 따른 제2 영상 데이터의 밝기 정보에 기초하여 제1 이미지 센서의 노출 값을 조절하는 것을 설명하기 위한 도면이다.
도 18 내지 도 21은 본 발명의 일 실시 예에 따른 노출 값이 서로 대비되도록 조절된 경우, 제1 영상 데이터와 제2 영상 데이터를 합성한 영상 데이터를 표시하는 것을 설명하기 위한 도면이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
도 1을 참조하면, 도 1은 본 발명과 관련된 촬영 장치를 설명하기 위한 블록도이다. 또한, 도 2는 본 발명의 일 실시 예에 따른 영상 획득부를 설명하기 위한 블록도이다.
상기 촬영 장치(100)는 영상 획득부(110), 제어부(130) 및 디스플레이부(150)를 포함할 수 있다. 도 1에 도시된 구성요소들은 촬영 장치를 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서상에서 설명되는 촬영 장치는 위에서 열거된 구성요소들보다 많거나, 또는 적은 구성요소들을 가질 수 있다.
보다 구체적으로, 상기 구성요소들 중 영상 획득부(110)는, 이미지 센서(예를 들어, CCD, CMOS 등)를 통하여 획득되는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 도 2를 참조하면, 영상 획득부(110)는 렌즈(111), 빔 스플리터(beam splitter, 113), 제1 이미지 센서(115) 및 제2 이미지 센서(117)를 포함할 수 있다.
렌즈(111)는 외부에서 유입되는 광을 집광할 수 있다. 렌즈(111)를 통과한 광은 빔 스플리터(113)에서 제1 방향과 제2 방향으로 분리될 수 있다. 빔 스플리터(113)는 유입되는 광의 일부는 반사하고, 다른 부분은 투과하는 반사경 또는 기타의 광학 장치를 의미하며, 명칭이나 종류에 상관없이 유입되는 광을 서로 다른 경로로 분리할 수 있으면 어떠한 것이라도 적용될 수 있다.
제1 이미지 센서(115)는 제1 방향으로 진행되는 광을 감지하여 제1 영상 데이터를 출력할 수 있다. 제2 이미지 센서(117)는 제2 방향으로 진행되는 광을 감지하여 제2 영상 데이터를 출력할 수 있다. 광을 감지하여 영상 데이터로 변환하는 것은 공지의 방법을 따르며 여기서는 더 이상의 구체적인 설명은 생략하기로 한다.
도 2를 참조하면, 제1 이미지 센서(115)가 구비되는 방향인 제1 방향이 빔 스플리터(113)에서 반사된 광의 진행 경로로 도시되어 있다. 또한, 제2 이미지 센서(117)가 구비되는 방향인 제2 방향이 빔 스플리터(113)에서 투과되어 진행하는 광의 경로로 도시되어 있다.
다만, 이는 일 예로서, 이에 한정되는 것은 아니다. 도 2에 도시된 것과 반대로, 제1 방향은 빔 스플리터(113)에서 투과된 광이 진행하는 방향으로, 제2 방향은 빔 스플리터(113)에서 반사된 광이 진행하는 방향으로 설정될 수 있다.
촬영 장치(100)에는 영상 획득부(110)에서 획득된 영상 데이터를 처리하여 제어부(130)로 출력하기 위한 구성이 더 포함될 수 있다. 다만, 영상 데이터 형식 변환 등의 처리는 공지의 방법에 따르므로, 여기서는 더 이상의 구체적인 설명은 생략하기로 한다.
다시 도 1을 참조하면, 디스플레이부(150)는 제1 영상 데이터 또는 제2 영상 데이터를 표시할 수 있다. 또는, 디스플레이부(150)는 제1 영상 데이터와 제2 영상 데이터를 이용하여 생성되는 영상 데이터를 표시할 수 있다.
이하에서는 이와 같이 구성된 촬영 장치에서 구현될 수 있는 제어 방법과 관련된 실시 예들에 대해 첨부된 도면을 참조하여 살펴보겠다. 본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 당업자에게 자명하다.
도 3은 본 발명의 일 실시 예에 따른 촬영 장치의 제어 방법의 흐름도이다. 도 4는 본 발명의 일 실시 예에 따른 촬영 장치의 활용을 설명하기 위한 도면이다. 도 5는 본 발명의 일 실시 예에 따른 제1 이미지 센서 및 제2 이미지 센서의 노출 값의 차이를 설명하기 위한 도면이다.
본 발명의 일 실시 예에 따른 촬영 장치의 제어 방법은, 도 1 및 도 2를 참조하여 설명한 촬영 장치(100)에서 구현될 수 있다. 이하 필요한 도면들을 참조하여, 본 발명의 일 실시 예에 따른 촬영 장치의 제어 방법과, 이를 구현하기 위한 촬영 장치(100)의 동작을 상세히 설명하기로 한다.
도 3을 참조하면, 빔 스플리터(113)에서는 렌즈(111)를 통과한 광을 제1 방향과 제2 방향으로 분리하고[S100], 제1 이미지 센서(115)는 상기 제1 방향으로 진행되는 광을 감지하여 제1 영상 데이터를 출력할 수 있다[S110].
또한, 제2 이미지 센서(117)는 상기 제2 방향으로 진행되는 광을 감지하여 제2 영상 데이터를 출력할 수 있다[S120]. 영상 데이터의 출력과 관련하여서는 도 1 및 도 2의 설명에서 전술하였으므로, 여기서는 더 이상의 구체적인 설명은 생략하기로 한다.
도 4를 참조하면, 일 예에 따라, 영상 획득부(110)가 차량의 사이드 미러 대신 구비된 것이 도시되어 있다. 다만, 이는 일 예로서, 본 발명은 이에 한정되는 것은 아니며, 차량에 구비되는 이외에 다른 다양한 장치에 구비되거나 또는 촬영 장치 자체에 대해서도 적용될 수 있다.
일 예에 따라, 제1 이미지 센서(115)와 제2 이미지 센서(117)는 서로 다른 노출 값을 갖도록 설정될 수 있다. 예를 들어, 제1 이미지 센서(115)의 노출 값은 영상 촬영 시의 적정 노출 값으로 설정할 수 있다. 영상 촬영 시의 적정 노출 값은, 촬영된 영상 데이터가 디스플레이부(150)에 표시될 때, 표시되는 객체들의 실제 고유색과 가장 유사하게 표시될 수 있는 노출 값일 수 있다. 일 예에 따라, 제1 이미지 센서(115)는 자동 노출로 설정될 수 있다.
도 5의 (a)를 참조하면, 상기 제1 영상 데이터의 일 예가 도시되어 있다. 도 5의 (a)에 도시된 바와 같이, 제1 이미지 센서(115)로 일정 임계치 이상의 광량이 유입되거나 또는 역광인 경우 등 특별한 경우를 제외하고는, 제1 영상 데이터 내의 각 객체들은 고유색으로 나타날 수 있다.
이 경우, 제2 이미지 센서(117)의 노출 값은 영상 데이터의 밝기 정보를 획득하기에 가장 적절한 노출 값으로 설정될 수 있다. 영상 데이터의 밝기 정보는 이미지 센서에서 획득되는 영상의 각 픽셀에 대한 광량의 정보일 수 있다. 일 예에 따라, 제2 이미지 센서(117)는 미리 정해진 노출 값을 갖도록 고정 노출로 설정될 수 있다.
도 5의 (b)를 참조하면, 상기 제2 영상 데이터의 일 예가 도시되어 있다. 전술한 바와 같이, 제2 이미지 센서(117)가 고정 노출 값으로 설정된 경우, 제2 이미지 센서(117)는 영상 촬영의 적정 노출 값과 관계없이 제2 영상 데이터를 획득할 수 있다. 따라서, 흐린 날씨처럼 제2 이미지 센서(117)로 유입되는 광량이 적은 경우, 도 5의 (b)에 도시된 바와 같이, 전체적으로 어두운 제2 영상 데이터가 획득될 수 있다. 도 5의 (b)의 빗금은 도 5의 (a)보다 어두운 영상임을 표시한 것이다. 다만, 이는 일 예로서, 반대로 제2 이미지 센서(117)로 유입되는 광량이 많은 경우, 전체적으로 밝은 제2 영상 데이터가 획득될 수 있다.
다시 도 3을 참조하면, 제어부(130)는 상기 제1 영상 데이터를 디스플레이부(150)에 표시할 수 있다[S130].
제어부(130)는 영상 촬영 시 적정 노출 값으로 설정된 제1 이미지 센서(115)에서 획득된 제1 영상 데이터를 디스플레이부(150)에 표시할 수 있다. 예를 들어, 도 4와 같이 사이드 미러에 영상 획득부(110)가 구비된 경우, 운전자는 우측 사이드 미러 대신 차량 내부에 구비된 디스플레이부(150)에 표시되는 제1 영상 데이터를 보면서 운전할 수 있다.
다시 도 3을 참조하면, 제어부(130)는 제1 이미지 센서(115)의 오동작을 검출할 수 있다[S140].
제1 이미지 센서(115)의 오동작은 제1 이미지 센서(115)의 고장 등으로 인하여, 디스플레이부(150)에 제1 영상 데이터가 정상적으로 표시되지 못하는 경우를 의미할 수 있다. 예를 들어, 디스플레이부(150)에 노이즈만 표시되거나, 또는 제1 영상 데이터의 색상이 흑백으로 나타나는 등의 경우가 상기 오동작에 해당할 수 있다.
다만, 이에 한정되는 것은 아니며, 제1 영상 데이터가 디스플레이부(150)에 정상적으로 표시되지 않는 모든 경우를 의미할 수 있다. 일 예에 따라, 제어부(130)는 제1 이미지 센서(115)의 오동작을 검출하면서, 제2 이미지 센서(117)의 오동작도 같이 검출할 수 있다. 이미지 센서의 오동작 검출과 관련하여서는, 도 6 이하에서 구체적으로 기재하기로 하며, 여기서는 더 이상의 구체적인 설명은 생략하기로 한다.
다시 도 3을 참조하면, 제어부(130)는 상기 제2 영상 데이터로부터 획득되는 밝기 정보에 기초하여 디스플레이부(150)에 표시된 제1 영상 데이터의 적어도 일 부 영역의 화소 값을 보정할 수 있다[S150].
제1, 제2 이미지 센서(115, 117)의 오동작이 검출되지 않는 경우, 디스플레이부(150)에는 제1 영상 데이터가 표시될 수 있다. 이 경우, 제어부(130)는 제2 영상 데이터에서 밝기 정보를 획득할 수 있다. 상기 밝기 정보는 제2 이미지 센서(117)의 픽셀 별로 감지된 제2 영상 데이터의 광량 정보일 수 있다.
제어부(130)는 상기 제2 영상 데이터의 광량 정보에 기초하여, 각 화소별로 색에 대한 명도, 색상, 채도 등의 값을 보정할 수 있다. 제1 이미지 센서(115)와 제2 이미지 센서(117)의 노출 값은 서로 다르게 설정되므로, 각 영상 데이터는 동일 대상에 대하여 서로 다른 화소 값을 가질 수 있다. 제어부(130)는 제2 영상 데이터를 이용하여, 제1 영상 데이터의 적어도 일부의 화소 값을 보정함으로써, 적정의 명도, 색상, 채도 등으로 제1 영상 데이터를 표시할 수 있다.
상기 제1 영상 데이터의 보정과 관련하여, 각 화소별 색에 대한 정보를 보정한다고 하였으나, 이에 한정되는 것은 아니다. 상기한 제1 영상 데이터의 보정에는 별도의 광량 정보를 이용하여 이미지를 개선할 수 있는 방법이라면, 그 명칭 등에 상관없이 포함될 수 있다. 이미지 개선과 관련하여서는 도 15 이하에서 설명하기로 하고, 여기서는 더 이상 구체적인 설명은 생략하기로 한다.
다시 도 3을 참조하면, 제어부(130)는 제1 이미지 센서(115)의 오동작이 검출되면, 제2 이미지 센서(117)의 노출 값을 조정하여 상기 제2 영상 데이터를 디스플레이부(150)에 표시할 수 있다[S160].
제어부(130)는 제1 이미지 센서(115)의 오동작이 검출되면, 상기 제2 영상 데이터를 디스플레이부(150)에 표시할 수 있다. 이 경우, 제2 이미지 센서(117)의 노출 값은 영상 데이터의 밝기 정보를 획득하기에 가장 적절한 노출 값으로 설정되어 있어 그대로 표시하면 식별이 어려운 문제를 초래할 수 있다.
따라서, 제어부(130)는 제2 이미지 센서(117)의 노출 값을 영상 촬영 시의 적정 노출 값으로 조정할 수 있다. 이 경우, 제어부(130)는 제1 이미지 센서(115)의 노출 값으로 제2 이미지 센서(117)의 노출 값을 조정할 수 있다. 이에 따라, 디스플레이부(150)에는 제1 영상 데이터와 동일한 노출 값으로 촬영되는 제2 영상 데이터가 표시될 수 있다.
이를 통하여, 사용자는 제1 이미지 센서의 오동작이 발생한 경우에도 동일한 영상 특성을 갖는 제2 이미지 센서로부터의 영상을 안정적으로 디스플레이부(150)를 통하여 제공받을 수 있다. 또한, 제1 이미지 센서가 정상적으로 동작하는 경우, 제2 영상 데이터를 이용하여 개선된 제1 영상 데이터를 제공받을 수 있다.
도 6은 본 발명의 일 실시 예에 따른 제1 영상 데이터의 수신 여부로 오동작을 검출하는 방법의 흐름도이다. 도 7 및 도 8은 본 발명의 일 실시 예에 따른 제1 영상 데이터의 수신 여부로 오동작을 검출하는 것을 설명하기 위한 도면이다.
도 6을 참조하면, 제1 이미지 센서(115)에서는 제1 영상 데이터를 출력[S200]하고, 제어부(130)에서 상기 제1 영상 데이터를 수신할 수 있다. 제어부(130)는 상기 제1 영상 데이터가 수신되는지 여부로 제1 이미지 센서(115)의 오동작을 검출할 수 있다[S210].
도 7에는 디스플레이부(150)에 노이즈 신호가 출력되는 것이 도시되어 있다. 제어부(130)에 제1 영상 데이터가 수신되지 않은 경우, 도 7과 같이, 디스플레이부(150)에는 제1 영상 데이터가 정상적으로 표시될 수 없다. 도 7은 노이즈 신호가 출력되는 일 예로서, 그 형태에 한정되는 것은 아니다.
제어부(130)는 제1 영상 데이터가 수신되는지 여부를 확인하여, 제1 영상 데이터가 수신되지 않는 경우, 제1 이미지 센서(115)가 오동작하는 것으로 판단할 수 있다. 제어부(130)는 제1 이미지 센서(115)의 오동작을 검출하면 도 8에 도시된 바와 같이, 오동작 알림 신호(10)를 디스플레이부(150)를 통하여 출력할 수 있다[S220].
다만, 이에 한정되는 것은 아니며, 오동작 알림 신호(10)는 디스플레이부(150)에 다른 형태로 표시될 수 있다. 또한, 일 예에 따라, 촬영 장치(100)에 음향 출력부(미도시)나 햅틱 모듈(미도시) 등이 더 구비되어, 오동작 알림 신호가 특정 음향이나 진동 등으로 출력될 수 있다.
사용자는 오동작 알림 신호(10)에서 이미지 센서의 변경을 선택할 수 있다. 이 경우, 제어부(150)는 제2 이미지 센서(117)의 노출 값을 조정하여 제2 영상 데이터를 디스플레이부(150)에 표시할 수 있다. 다만, 이에 한정되는 것은 아니며, 일 예에 따라, 제어부(150)는 사용자의 선택과 상관없이 먼저 제2 영상 데이터를 디스플레이부(150)에 표시할 수 있다. 이후, 제어부(150)는 제1 이미지 센서의 고장 여부를 알리기 위하여 오동작 알림 신호(10)를 출력할 수 있다.
이상에서는 제1 이미지 센서(115)의 오동작에 대하여 설명하였으나, 제2 이미지 센서(117)의 경우에도 실질적으로 동일하게 적용될 수 있다. 제어부(130)는 제2 영상 데이터의 수신 여부를 확인하여, 제2 이미지 센서(117)의 오동작 여부를 검출할 수 있다.
또한, 제어부(130)는 제2 이미지 센서(117)의 오동작이 검출되면, 디스플레이부(150)에 오동작 알림 신호를 출력할 수 있다. 이 경우에도 촬영 장치(100)에 구비된 음향 출력부(미도시)나 햅틱 모듈(미도시) 등을 통하여, 오동작 알림 신호가 특정 음향이나 진동 등으로 출력될 수 있다.
이를 통하여, 사용자는 이미지 센서의 오동작 여부를 직관적으로 알 수 있고, 신속하게 정상적인 영상을 제공받을 수 있다. 또한, 제2 이미지 센서가 고장인 경우에도 이를 바로 확인할 수 있어 쉽게 교체할 수 있다.
도 9는 본 발명의 일 실시 예에 따른 제1 이미지 센서의 동작 신호의 수신 여부로 오동작을 검출하는 방법의 흐름도이다.
도 9를 참조하면, 제1 이미지 센서(115)에서는 특정 동작 신호를 생성하여 제어부(130)로 전송할 수 있다[S300]. 일 예에 따라, 상기 동작 신호는 미리 정해진 시간 간격으로 반복하여 전송될 수 있다. 상기 동작 신호는 제어부(130)가 수신하여 제1 이미지 센서(115)의 정상 동작 여부를 확인할 수 있다면, 어떠한 형식의 신호라도 적용될 수 있다.
제어부(130)는 제1 이미지 센서(115)로부터 동작 신호가 수신되는지 여부로 상기 제1 이미지 센서의 오동작을 검출할 수 있다[S310].
제어부(130)는 상기 동작 신호가 수신되는지 여부를 미리 정해진 시간 간격으로 확인할 수 있다. 제어부(130)는 상기 동작 신호가 정해진 시간에 수신되지 않으면, 제1 이미지 센서(115)의 상태를 오동작 중으로 검출할 수 있다.
제어부(130)는 제1 이미지 센서(115)의 오동작을 검출하면 도 8에 도시된 바와 같이, 오동작 알림 신호(10)를 디스플레이부(150)를 통하여 출력할 수 있다[S320]. 오동작 알림 신호(10)의 출력 및 제2 영상 데이터의 표시에 관하여는 도 8에서 설명한 내용과 실질적으로 동일하게 적용되며, 여기서는 더 이상 구체적인 설명은 생략하기로 한다.
이상에서는 제1 이미지 센서(115)에 대해서 설명하였으나, 이는 제2 이미지 센서(117)에서도 실질적으로 동일하게 적용될 수 있다.
이를 통하여, 사용자는 이미지 센서의 오동작 여부를 신속하게 파악할 수 있고, 대체 영상의 제공을 통하여 촬영 장치의 동작 안정성을 확보할 수 있다.
도 10은 본 발명의 일 실시 예에 따른 제1 영상 데이터와 제2 영상 데이터의 차이로 오동작을 검출하는 방법의 흐름도이다. 도 11 및 도 12는 본 발명의 일 실시 예에 따른 제1 영상 데이터와 제2 영상 데이터의 차이로 오동작을 검출하는 것을 설명하기 위한 도면이다.
제어부(130)는 제1 영상 데이터와 제2 영상 데이터를 수신하여 두 영상 데이터의 차이를 획득할 수 있다[S400].
일 예에 따라, 제어부(130)는 제1 영상 데이터와 제2 영상 데이터에 포함된 피사체의 테두리 검출을 통하여 제1 영상 데이터와 제2 영상 데이터의 차이를 획득할 수 있다.
도 11의 (a)는 제1 영상 데이터가 디스플레이부(150)에 표시되는 경우를 도시하고 있다. 도 11의 (b)에 도시된 것과 같이, 제어부(130)는 제1 영상 데이터에 포함된 피사체의 테두리를 검출할 수 있다. 피사체의 테두리 검출 방법은 특정 방법으로 한정되지 아니하며, 피사체의 테두리를 검출할 수 있는 방법이라면 어느 것이나 적용될 수 있다.
마찬가지로, 도 12의 (a)는 제2 영상 데이터가 디스플레이부(150)에 표시되는 경우를 도시하고 있다. 도 12의 (b)에 도시된 것과 같이, 제어부(130)는 제2 영상 데이터에 포함된 피사체의 테두리를 검출할 수 있다.
제1 영상 데이터와 제2 영상 데이터는 각 이미지 센서의 노출 값이 서로 달라, 영상 데이터의 밝기 정보 등이 서로 다르나 동일한 피사체를 포함할 수 있다. 따라서, 도 11의 (b)와 도 12의 (b)의 경우와 같이, 피사체의 테두리는 거의 유사한 형태로 검출될 수 있다. 이와 같이 제1 이미지 센서(115)와 제2 이미지 센서(117)이 정상적으로 동작하는 경우, 제1 영상 데이터와 제2 영상 데이터의 차이는 매우 작은 값으로 산출될 수 있다.
이와 달리, 제1 이미지 센서(115)가 정상적으로 동작하지 못하는 경우, 즉 도 7과 같이 제1 영상 데이터가 전송되지 않은 경우를 가정한다. 이 경우, 제어부(130)는 도 11의 (b)와 같은 테두리를 검출할 수 없다. 따라서, 제2 영상 데이터에서 도 12의 (b)와 같은 테두리를 검출한 경우, 제1 영상 데이터와 제2 영상 데이터의 차이는 매우 큰 값으로 산출될 수 있다.
제어부(130)는 제1 영상 데이터와 제2 영상 데이터의 차이가 미리 설정된 기준 이상인 경우 제1 이미지 센서(115)의 오동작으로 검출할 수 있다[S410].
제어부(130)가 제1 영상 데이터와 제2 영상 데이터로부터 검출한 테두리의 차이가 미리 설정된 기준 이상인 경우, 두 영상 데이터 중 어느 하나는 오동작하는 것을 의미할 수 있다. 제어부(130)는 이미지 센서의 오동작을 검출하면 도 8에 도시된 바와 같이, 오동작 알림 신호를 디스플레이부(150)를 통하여 출력할 수 있다[S420].
다만, 이 경우 제1 이미지 센서(115)와 제2 이미지 센서(117) 중 어느 것이 오동작하는 것인지 판단이 어려울 수 있다. 영상 데이터의 차이만을 이용하는 경우, 제2 이미지 센서(117)가 오동작하는 경우에도, 검출된 테두리 간의 차이는 상기 미리 설정된 기준 이상으로 산출될 수 있기 때문이다.
따라서, 일 예에 따라, 제어부(180)는 이미지 센서의 특정 없이 오동작 알림 신호를 출력할 수 있다. 이 경우, 제어부(130)는 디스플레이부(150)에 표시되는 제1 영상 데이터를 제2 영상 데이터로 전환할 수 있는 인디케이터를 같이 표시할 수 있다. 사용자는 디스플레이부(150)에 표시되는 제1 영상 데이터가 정상인 경우, 상기 오동작 알림 신호를 삭제할 수 있다. 또는, 사용자는 디스플레이부(150)에 표시되는 제1 영상 데이터가 비정상인 경우, 제2 영상 데이터로의 전환을 선택할 수 있다.
또는, 다른 일 예에 따라, 제어부(130)는 본 명세서에서 설명하는 다른 검출 방식을 혼용하여 이미지 센서의 특정이 가능할 수 있다.
이상에서는, 제1 영상 데이터와 제2 영상 데이터에 포함된 피사체의 테두리 검출을 이용하여 두 영상 간의 차이를 산출하는 것을 전제로 설명하였으나, 이에 한정되는 것은 아니다. 제1 영상 데이터와 제2 영상 데이터의 차이는 두 영상에서 추출되는 특이점을 비교하여 산출될 수 있다. 또한, 두 영상 데이터 간의 차이를 산출할 수 있다면 공지의 다른 알고리즘도 적용될 수 있다.
이상에서는 제1 이미지 센서(115)에 대해서 설명하였으나, 이는 제2 이미지 센서(117)에서도 실질적으로 동일하게 적용될 수 있다.
이를 통하여, 사용자는 이미지 센서의 오동작 여부를 신속하게 파악할 수 있고, 대체 영상의 제공을 통하여 촬영 장치의 동작 안정성을 확보할 수 있다.
도 13은 본 발명의 일 실시 예에 따른 제1 영상 데이터의 색상에 기초하여 오동작을 검출하는 방법의 흐름도이다. 도 14는 본 발명의 일 실시 예에 따른 제1 영상 데이터의 색상에 기초하여 오동작을 검출하는 것을 설명하기 위한 도면이다.
도 13을 참조하면, 제어부(130)는 제1 이미지 센서(115)로부터 제1 영상 데이터를 수신할 수 있다[S500]. 제어부(130)는 수신한 제1 영상 데이터의 색상이 미리 정해진 기준 이상의 종류를 포함하는지 여부로 상기 제1 이미지 센서의 오동작을 검출할 수 있다[S510].
제1 이미지 센서(115)가 정상적으로 동작하는 경우, 제1 영상 데이터는 각 화소별로 다양한 색상으로 표시될 수 있다. 도 14에는 제1 영상 데이터가 디스플레이부(150)에 표시된 것이 점선으로 도시되어 있다. 이는 제1 영상 데이터가 1개의 색으로 표시되는 것을 도시한 것이다.
일 예에 따라, 상기 색상 종류의 미리 정해진 기준은 두 종류일 수 있다. 이 경우, 제1 이미지 센서(115)의 오동작으로 인하여, 디스플레이부(150)에 제1 영상 데이터가 하나의 색으로만 나타나면, 제어부(130)는 제1 이미지 센서(115)의 오동작으로 판단할 수 있다.
다만, 이는 일 예로서, 이에 한정되지는 않으며, 상기 색상 종류의 미리 정해진 기준은 다르게 적용될 수 있다. 상기 미리 정해진 기준은 제1 영상 데이터의 색상 정보에 대한 오류를 검출할 수 있으면, 필요에 따라 다르게 설정될 수 있다.
제어부(130)는 제1 이미지 센서(115)의 오동작을 검출하면 도 8에 도시된 바와 같이, 오동작 알림 신호(10)를 디스플레이부(150)를 통하여 출력할 수 있다[S520]. 오동작 알림 신호(10)의 출력 및 제2 영상 데이터의 표시에 관하여는 도 8에서 설명한 내용과 실질적으로 동일하게 적용되며, 여기서는 더 이상 구체적인 설명은 생략하기로 한다.
이상에서는 제1 이미지 센서(115)에 대해서 설명하였으나, 이는 제2 이미지 센서(117)에서도 실질적으로 동일하게 적용될 수 있다.
이를 통하여, 사용자는 이미지 센서의 오동작에 따른 영상 데이터의 색상 오류에 대하여 신속한 대체 영상을 제공받을 수 있다.
이상에서는 이미지 센서의 오동작을 검출하는 여러 실시 예에 대하여 기재하였다. 상기 오동작 검출의 실시 예들은 단독적으로 적용되거나 또는 적어도 두 개 이상의 실시 예가 같이 적용될 수 있다.
도 15는 본 발명의 일 실시 예에 따른 제2 영상 데이터의 밝기 정보에 기초하여 제1 이미지 센서의 노출 값을 조절하는 방법의 흐름도이다. 도 16 및 도 17은 본 발명의 일 실시 예에 따른 제2 영상 데이터의 밝기 정보에 기초하여 제1 이미지 센서의 노출 값을 조절하는 것을 설명하기 위한 도면이다.
도 15를 참조하면, 제2 이미지 센서(117)는 고정 노출로 설정될 수 있다[S600]. 제2 이미지 센서(117)는 제2 방향으로 진행되는 광을 감지하여 제2 영상 데이터로 출력할 수 있다[S610]. 이와 관련하여, 도 3의 [S120] 단계에서 설명한 내용과 실질적으로 동일하므로, 여기서는 더 이상의 구체적인 설명은 생략하기로 한다.
다시 도 15를 참조하면, 제어부(130)는 제2 이미지 센서(117)로부터 수신한 제2 영상 데이터로부터 밝기 정보를 획득할 수 있다[S620]. 일 예에 따라, 상기 밝기 정보는 제2 영상 데이터에서 적어도 일 영역에서 감지되는 광량이 포화 상태(saturation)에 이르렀는지 여부일 수 있다.
도 16을 참조하면, 제1 영상 데이터에 포함된 피사체인 차량의 헤드라이트에 의해 일 영역(A)이 포화된 것이 도시되어 있다. 이와 같이, 제1 영상 데이터의 일 영역(A)에 차량의 헤드라이트나 태양광 등이 감지되는 경우, 광량이 포화 상태에 이르러 상기 영역(A)은 피사체가 표시되지 못할 수 있다.
또한, 이 경우 제1 이미지 센서(115)는 자동 노출로 설정되어 있어, 제1 영상 데이터의 전체 영역을 기준으로 노출 값이 설정된다. 따라서, 제어부(130)는 상기 포화 상태에 이른 영역(A)의 밝기 정보를 반영하여 전체 영역의 밝기가 적정 노출에 의한 경우보다 밝은 것으로 판단할 수 있다.
상기 판단 결과에 따라, 제어부(130)는 제1 이미지 센서(115)의 노출 값을 낮출 수 있다. 이에 따라, 제1 이미지 센서(115)의 포화되지 않은 다른 영역(B)은 도 16에 도시된 것처럼, 적정 노출에 의한 경우보다 어둡게 표시될 수 있다.
이 경우, 제1 영상 데이터와 제2 영상 데이터에 포함되는 피사체는 동일하기 때문에 상기 일 영역(A)은 제2 영상 데이터에서도 제1 영상 데이터와 동일하게 포화 상태처럼 표시된다. 일 예에 따라, 제2 영상 데이터는 고정 노출로 설정될 수 있다.
전술한 바와 같이, 전체 영역의 평균적인 밝기에 따른 적정 노출 값으로 설정되는 자동 노출과 달리 고정 노출의 경우 노출 값이 전체 영역에서 동일하게 설정된다. 따라서, 제어부(130)는 제2 영상 데이터에서 상기 포화 상태인 영역(A)에 독립적으로 포화 상태가 아닌 영역(B)에 대한 밝기 정보를 산출할 수 있다.
다시 도 15를 참조하면, 제어부(130)는 제2 이미지 센서의 일 영역이 포화 상태인 경우, 포화 상태가 아닌 영역의 밝기 정보에 따라 적정 노출 값을 산출할 수 있다[S630].
제어부(130)는 제2 영상 데이터에서 포화 상태가 아닌 영역(B)만을 고려하여 적정 노출 값을 산출할 수 있다. 상기 적정 노출 값은, 전술한 영상 촬영 시의 적정 노출 값을 의미할 수 있다.
제2 영상 데이터는 고정 노출 값에 의해 획득된 것으로, 제어부(130)는 제2 영상 데이터로부터 일부 특정 영역에 대한 적정 노출 값을 다른 영역에 의해 영향을 받지 않고 산출할 수 있다. 일부 특정 영역에 대한 노출 값을 산출할 수 있으면 족하고, 상기 적정 노출 값 산출은 특정 방법에 한정되지 않는다. 도 16을 참조하면, 제어부(130)는 포화 상태가 아닌 영역(B)에 대한 적정 노출 값을 산출할 수 있다.
다시 도 15를 참조하면, 제어부(130)는 상기 산출된 적정 노출 값으로 제1 이미지 센서의 노출 값을 조절할 수 있다[S640].
제어부(130)는 산출한 적정 노출 값을 디스플레이부(150)에 표시되는 제1 영상 데이터의 보정을 위하여 제1 이미지 센서(115)에 적용할 수 있다. 전술한 바와 같이, 도 16의 포화되지 않은 영역(B)는 제1 영상 데이터에서 적정 노출 값에 의한 경우보다 어둡게 표시될 수 있다.
이를 보정하기 위하여, 제어부(130)는 상기 영역(B)에 대응되는 제1 이미지 센서(115)의 영역의 노출 값을 조절할 수 있다. 따라서, 제1 영상 데이터의 포화 영역(A)과 무관하게, 상기 영역(B)의 노출 값은 적정 노출 값으로 설정될 수 있다. 이에 따라, 상기 영역(B)은 도 17과 같이, 제1 이미지 센서(115)에서 적정 노출 값으로 획득되어 디스플레이부(150)에 표시(D)될 수 있다.
일 예에 따라, 제어부(130)는 포화 상태인 영역(A)에 대해서 제2 영상 데이터의 밝기 정보에 기초하여 제1 이미지 센서(115)의 대응되는 영역에 대한 감도를 조절할 수 있다. 즉, 제어부(130)는 포화 상태인 영역(A)에 대응되는 제1 이미지 센서(115) 영역의 감도를 낮출 수 있다. 이에 따라, 포화 상태인 영역(A)는 도 17에 도시된 바와 같이, 피사체가 표시(C)될 수 있다.
이상에서는 이미지 센서가 포화 상태가 되어 나타나는 현상에 대해서 기재하였으나, 이에 한정되는 것은 아니다. 예를 들어, 역광인 경우와 같이, 디스플레이부(150)에 표시되는 영상 데이터에서 밝기 정보가 문제될 수 있는 경우라면, 전술한 내용이 실질적으로 동일하게 적용될 수 있다.
이를 통하여, 제2 영상 데이터로부터 획득되는 밝기 정보에 기초하여 산출된 적정 노출 값으로 제1 이미지 센서의 노출 값이 조절되므로, 사용자는 더욱 개선된 영상 데이터를 제공받을 수 있다.
이상에서는 산출된 적정 노출 값에 따라 제1 이미지 센서(115)의 노출 값을 조절하는 것으로 설명하였으나, 이에 한정되는 것은 아니다. 일 예에 따라, 제1, 제2 이미지 센서에는 LCD와 같은 밝기 조절 소자를 더 구비될 수 있다. 제어부(180)는 제2 영상 데이터의 밝기 정보에 기초하여, 상기 밝기 조절 소자를 조절하여 제1 영상 데이터의 밝기 등을 조절할 수 있다.
도 18 내지 도 21은 본 발명의 일 실시 예에 따른 노출 값이 서로 대비되도록 조절된 경우, 제1 영상 데이터와 제2 영상 데이터를 합성한 영상 데이터를 표시하는 것을 설명하기 위한 도면이다.
도 18에는 두 개의 이미지 센서에서 구분될 수 있는 명암의 범위가 도시되어 있다. 일 예에 따라, 제1 이미지 센서(115)에서 구분될 수 있는 명암의 범위가 20과 같이 설정될 수 있다. 제2 이미지 센서(117)에서 구분될 수 있는 명암의 범위가 21과 같이 설정될 수 있다. 다만, 이는 일 예로서, 이에 한정되는 것은 아니며, 제1 이미지 센서(115)와 제2 이미지 센서(117)에서 구분될 수 있는 명암의 범위는 필요에 따라 다르게 설정될 수 있다.
제어부(130)는 제1 이미지 센서(115)의 노출 값과 제2 이미지 센서(117)의 노출 값을 서로 대비되도록 조절할 수 있다. 일 예에 따라, 제어부(130)는 제1 이미지 센서(115)와 제2 이미지 센서(117)의 대비가 가장 크게 설정한 상태에서 제1 영상 데이터와 제2 영상 데이터를 합성할 수 있다.
도 19를 참조하면, 제1 이미지 센서(115)에서 획득된 제1 영상 데이터가 도시되어 있다. 이 경우, 가까운 거리의 건물 부분(30a, 30b)에는 노출 부족으로 어둡게 표시되는 반면, 먼 거리의 하늘 등(32a)은 적정 노출 값에 따라 선명히 표시될 수 있다.
도 20을 참조하면, 제2 이미지 센서(117)에서 획득된 제2 영상 데이터가 도시되어 있다. 이 경우, 가까운 거리의 건물 부분(30a, 30b)에는 적정 노출 값에 따라 선명히 표시되는 반면, 먼 거리의 하늘 등(32a)은 노출 과다에 따라 밝게 표시될 수 있다.
제어부(130)는 도 19의 제1 영상 데이터와 도 20의 제2 영상 데이터를 합성하여 각각 적정 노출 값에 따라 선명하게 표시되는 영역만을 포함하는 도 21의 영상 데이터를 생성할 수 있다. 이후, 제어부(130)는 합성한 영상 데이터를 디스플레이부(150)에 표시하도록 할 수 있다.
이와 같이, 제1 이미지 센서와 제2 이미지 센서의 노출 값이 서로 대비되도록 조절함으로써, 사용자는 표시되는 영상 전체에서 적절한 노출 값에 따른 영상을 제공받을 수 있다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 컴퓨터는 단말기의 제어부(180)를 포함할 수도 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
100: 촬영 장치 110: 영상 획득부
111: 렌즈 113: 빔 스플리터
115: 제1 이미지 센서 117: 제2 이미지 센서
130: 제어부 150: 디스플레이부

Claims (10)

  1. 렌즈;
    상기 렌즈를 통과한 광을 제1 방향과 제2 방향으로 분리하는 빔 스플리터(beam splitter);
    상기 제1 방향으로 진행되는 광을 감지하여 제1 영상 데이터를 출력하는 제1 이미지 센서;
    상기 제1 이미지 센서와 다른 노출 값을 가지고, 상기 제2 방향으로 진행되는 광을 감지하여 제2 영상 데이터를 출력하는 제2 이미지 센서;
    상기 제1 영상 데이터를 표시하는 디스플레이부; 및
    상기 제2 영상 데이터로부터 획득되는 밝기 정보에 기초하여 상기 디스플레이부에 표시된 제1 영상 데이터의 적어도 일부 영역의 화소 값을 보정하고, 노출 값이 서로 다르게 설정된 상태에서 획득되는 상기 제1 영상 데이터와 상기 제2 영상 데이터를 서로 합성하여 표시하는 제어부;를 포함하고,
    상기 제어부는,
    상기 제1 이미지 센서의 오동작이 검출되면, 상기 제2 이미지 센서의 노출 값을 상기 제1 이미지 센서의 노출 값에 기초하여 조정하고 조정된 노출값에 의해 보정되는 상기 제2 영상 데이터를 상기 디스플레이부에 표시하고,
    상기 제1 이미지 센서의 오작동이 검출되지 않으면, 상기 제2 이미지 센서에 의해 획득되는 상기 제2 영상 데이터의 밝기 정보에 기초하여 상기 제1 영상 데이터의 일부 영역의 화소 값을 보정하여 표시하는 촬영 장치.
  2. 제 1 항에 있어서,
    상기 제어부는 상기 제1 영상 데이터가 수신되는지 여부로 상기 제1 이미지 센서의 오동작을 검출하는 것을 특징으로 하는 촬영 장치.
  3. 제 1 항에 있어서,
    상기 제어부는 상기 제1 이미지 센서로부터 동작 신호가 수신되는지 여부로 상기 제1 이미지 센서의 오동작을 검출하는 것을 특징으로 하는 촬영 장치.
  4. 제 1 항에 있어서,
    상기 제어부는 상기 제1 영상 데이터와 상기 제2 영상 데이터의 차이가 미리 설정된 기준 이상인 경우 상기 제1 이미지 센서의 오동작으로 검출하는 것을 특징으로 하는 촬영 장치.
  5. 제 4 항에 있어서,
    상기 제어부는 상기 제1 영상 데이터와 상기 제2 영상 데이터에 포함된 피사체의 테두리 검출 또는 특이점을 비교하여 상기 차이를 구하는 것을 특징으로 하는 촬영 장치.
  6. 제 1 항에 있어서,
    상기 제어부는 상기 제1 영상 데이터의 색상이 미리 정해진 기준 이상의 종류를 포함하는지 여부로 상기 제1 이미지 센서의 오동작을 검출하는 것을 특징으로 하는 촬영 장치.
  7. 제 1 항에 있어서,
    상기 제어부는 상기 제1 이미지 센서의 오동작을 검출하면 오동작 알림 신호를 상기 디스플레이부를 통하여 출력하도록 하는 것을 특징으로 하는 촬영 장치.
  8. 삭제
  9. 삭제
  10. 렌즈를 통과한 광을 제1 방향과 제2 방향으로 분리하는 단계;
    제1 이미지 센서를 이용하여 상기 제1 방향으로 진행되는 광을 감지하여 제1 영상 데이터를 출력하는 단계;
    상기 제1 이미지 센서와 다른 노출 값을 가지는 제2 이미지 센서를 이용하여 상기 제2 방향으로 진행되는 광을 감지하여 제2 영상 데이터를 출력하는 단계;
    상기 제1 영상 데이터를 디스플레이부에 표시하는 단계;
    상기 제2 영상 데이터로부터 획득되는 밝기 정보에 기초하여 상기 디스플레이부에 표시된 제1 영상 데이터의 적어도 일부 영역의 화소 값을 보정하는 단계; 및
    상기 제1 이미지 센서의 오동작이 검출되면, 상기 제2 이미지 센서의 노출 값을 조정하여 상기 제2 영상 데이터를 상기 디스플레이부에 표시하는 단계;를 포함하고,
    상기 제2 영상 데이터를 상기 디스플레이부에 표시하는 단계는,
    노출 값이 서로 다르게 설정된 상태에서 획득되는 상기 제1 영상 데이터와 상기 제2 영상 데이터를 서로 합성하여 표시하고,
    상기 제1 이미지 센서의 오동작이 검출되면, 상기 제2 이미지 센서의 노출 값을 상기 제1 이미지 센서의 노출 값에 기초하여 조정하고, 조정된 노출 값에 의해 보정되는 상기 제2 영상 데이터를 상기 디스플레이부에 표시하고,
    상기 제1 이미지 센서의 오작동이 검출되지 않으면, 상기 제2 이미지 센서에 의해 획득되는 상기 제2 영상 데이터의 밝기 정보에 기초하여 상기 제1 영상 데이터의 일부 영역의 화소 값을 보정하여 표시하는 촬영 장치의 제어 방법.
KR1020150054223A 2015-04-17 2015-04-17 촬영 장치 및 촬영 장치의 제어 방법 KR102321110B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020150054223A KR102321110B1 (ko) 2015-04-17 2015-04-17 촬영 장치 및 촬영 장치의 제어 방법
EP16780222.2A EP3285475B1 (en) 2015-04-17 2016-04-01 Photographing apparatus and method for controlling photographing apparatus
PCT/KR2016/003412 WO2016167499A1 (ko) 2015-04-17 2016-04-01 촬영 장치 및 촬영 장치의 제어 방법
US15/567,072 US10110828B2 (en) 2015-04-17 2016-04-01 Photographing apparatus and method for controlling photographing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150054223A KR102321110B1 (ko) 2015-04-17 2015-04-17 촬영 장치 및 촬영 장치의 제어 방법

Publications (2)

Publication Number Publication Date
KR20160123717A KR20160123717A (ko) 2016-10-26
KR102321110B1 true KR102321110B1 (ko) 2021-11-03

Family

ID=57126816

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150054223A KR102321110B1 (ko) 2015-04-17 2015-04-17 촬영 장치 및 촬영 장치의 제어 방법

Country Status (4)

Country Link
US (1) US10110828B2 (ko)
EP (1) EP3285475B1 (ko)
KR (1) KR102321110B1 (ko)
WO (1) WO2016167499A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101795180B1 (ko) * 2015-12-11 2017-12-01 현대자동차주식회사 페일 세이프 기능을 갖는 차량 측후방 모니터링 장치 및 방법
US11214269B2 (en) * 2016-05-24 2022-01-04 Sony Corporation In-vehicle information processing device, in-vehicle information processing system, and information processing method
JP2020060531A (ja) * 2018-10-12 2020-04-16 株式会社デンソーテン 異常検出装置、異常検出システム、および、異常検出方法
CN109348133B (zh) * 2018-11-20 2021-05-11 山东汇瑞智能科技有限公司 一种安防监控图像处理装置和方法
KR20220043611A (ko) * 2020-09-29 2022-04-05 엘지전자 주식회사 식기 세척기 및 식기 세척기의 카메라 고장 검출 방법
CN112689100B (zh) 2020-12-25 2022-08-02 北京灵汐科技有限公司 图像检测方法、装置、设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005204196A (ja) * 2004-01-19 2005-07-28 Sony Corp 撮像装置および方法、記録媒体、並びにプログラム
JP2006174316A (ja) * 2004-12-20 2006-06-29 Canon Inc 画像表示装及び画像表示システム
JP2011223264A (ja) * 2010-04-08 2011-11-04 Nikon Corp 撮像デバイスおよび撮像装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2001243285A1 (en) 2000-03-02 2001-09-12 Donnelly Corporation Video mirror systems incorporating an accessory module
JP3636046B2 (ja) * 2000-07-31 2005-04-06 株式会社日立国際電気 固体撮像素子の画素欠陥検出方法およびその方法を用いた撮像装置
JP2003078821A (ja) * 2001-08-31 2003-03-14 Hitachi Kokusai Electric Inc 撮像装置
US20030048493A1 (en) * 2001-09-10 2003-03-13 Pontifex Brian Decoursey Two sensor quantitative low-light color camera
DE10302671A1 (de) * 2003-01-24 2004-08-26 Robert Bosch Gmbh Verfahren und Vorrichtung zur Einstellung eines Bildsensorsystems
US7423674B2 (en) * 2003-12-08 2008-09-09 Nikon Corporation Electronic camera having color adjustment function and program therefor
JP2008048104A (ja) * 2006-08-14 2008-02-28 Sony Corp 撮像装置と欠陥補正回路および欠陥補正方法
KR20080022694A (ko) * 2006-09-07 2008-03-12 전홍석 역광 방지 촬영장치
DE102007026337B4 (de) * 2007-06-06 2016-11-03 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Digitale Kamera
US7925150B2 (en) * 2008-03-27 2011-04-12 Nikon Corporation Camera system, camera body, flash device, and illumination method
WO2012033005A1 (ja) * 2010-09-08 2012-03-15 日本電気株式会社 撮影装置および撮影方法
KR101880635B1 (ko) * 2011-10-21 2018-07-23 삼성전자주식회사 촬상장치 및 촬상방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005204196A (ja) * 2004-01-19 2005-07-28 Sony Corp 撮像装置および方法、記録媒体、並びにプログラム
JP2006174316A (ja) * 2004-12-20 2006-06-29 Canon Inc 画像表示装及び画像表示システム
JP2011223264A (ja) * 2010-04-08 2011-11-04 Nikon Corp 撮像デバイスおよび撮像装置

Also Published As

Publication number Publication date
EP3285475A4 (en) 2018-09-26
WO2016167499A1 (ko) 2016-10-20
EP3285475A1 (en) 2018-02-21
US20180103185A1 (en) 2018-04-12
KR20160123717A (ko) 2016-10-26
US10110828B2 (en) 2018-10-23
EP3285475B1 (en) 2023-09-06

Similar Documents

Publication Publication Date Title
KR102321110B1 (ko) 촬영 장치 및 촬영 장치의 제어 방법
KR101093383B1 (ko) 영상 포착 장치를 위한 시스템 및 방법
EP2624538B1 (en) Image signal processing apparatus and image signal processing method
US20090009604A1 (en) Image processing system and method
KR101327032B1 (ko) 카메라 영상의 반사광 제거 장치 및 방법
US9172863B2 (en) Video signal processing apparatus
JP2009171122A (ja) 光源色温度推定方法、ホワイトバランス調整装置、及び画像認識装置
JP5996970B2 (ja) 車載撮像装置
US20060034487A1 (en) Method and device for adjusting an image sensor system
KR20150079004A (ko) 차량용 표시 장치 및 그 제어 방법
US20190095761A1 (en) Vicinity supervising device and method for supervising vicinity of vehicle
US10432854B2 (en) Image processing apparatus to determine whether there is fog or mist in a captured image
JP2010139563A5 (ko)
KR102089106B1 (ko) 안개 발생 여부 판단 방법 및 이를 위한 장치
US11490060B2 (en) Image processing device, image processing method, and imaging device
US20170364765A1 (en) Image processing apparatus, image processing system, vehicle, imaging apparatus and image processing method
JP6317914B2 (ja) 車載画像処理装置
JP2012090152A (ja) 撮像装置および撮像方法
KR101639685B1 (ko) 카메라용 액티브 필터 장치 및 그 액티브 필터링 방법
JP2012073821A (ja) 車線検知装置
KR101428229B1 (ko) 차영상 취득 장치 및 방법
JPWO2020129146A1 (ja) 表示制御装置及び表示制御方法
CN112770021A (zh) 摄影机与滤片切换方法
KR20180095251A (ko) 카메라 모니터링 시스템 및 이의 영상 보정 방법
KR101592764B1 (ko) 헤드업 디스플레이 제어장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant