KR20150109177A - 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 기록매체 - Google Patents

촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 기록매체 Download PDF

Info

Publication number
KR20150109177A
KR20150109177A KR1020140032297A KR20140032297A KR20150109177A KR 20150109177 A KR20150109177 A KR 20150109177A KR 1020140032297 A KR1020140032297 A KR 1020140032297A KR 20140032297 A KR20140032297 A KR 20140032297A KR 20150109177 A KR20150109177 A KR 20150109177A
Authority
KR
South Korea
Prior art keywords
image
flicker
pixel
capturing
correction
Prior art date
Application number
KR1020140032297A
Other languages
English (en)
Inventor
진병재
유상준
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140032297A priority Critical patent/KR20150109177A/ko
Priority to EP14885993.7A priority patent/EP3120539A4/en
Priority to PCT/KR2014/011064 priority patent/WO2015141925A1/en
Priority to CN201480076694.5A priority patent/CN106063249A/zh
Priority to US15/127,413 priority patent/US20170134634A1/en
Publication of KR20150109177A publication Critical patent/KR20150109177A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

본 발명의 일 실시예의 일 측면에 따르면, 촬영 장치에서 설정된 제1 노출 시간에 따라 제1 영상을 캡쳐하고, 조명의 플리커 주파수에 따라 결정된 제2 노출 시간에 따라 제2 영상을 캡쳐하는 촬영부; 및 상기 제1 영상 및 상기 제2 영상을 이용하여, 플리커를 제거하는 영상 처리부를 포함하는 촬영 장치가 제공된다.

Description

촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 기록매체 {Photographing apparatus, method for controlling the same, and computer-readable recording medium}
본 발명의 실시예들은 촬영 장치, 촬영 장치 제어 방법, 및 상기 촬영 장치 제어 방법을 수행하는 컴퓨터 프로그램 코드들을 저장하는 컴퓨터 판독가능 기록매체에 관한 것이다.
촬영 장치는 촬상 소자를 노출 시간동안 노광시켜, 촬상 신호를 생성한다. 촬상 소자는 셔터에 의해 노출 시간동안만 노광될 수 있다. 촬영 장치에서 이용되는 셔터는 글로벌 셔터(global shutter) 방식과 롤링 셔터(rolling shutter) 방식이 있다.
글로벌 셔터 방식은 화면 전체를 동일한 시점에 리셋하고, 노광을 시작하는 방식이다. 글로벌 셔터 방식은 플리커가 발생하지 않는 장점이 있지만, 센서에 별도의 저장 공간이 필요해, 효율이 떨어지고 비용이 늘어나는 단점이 있다.
롤링 셔터 방식은 라인단위로 노광을 제어하는 방식이다. 롤링 셔터 방식은 센서에 별도의 저장 공간을 요구하지 않지만, 화면의 상하의 시차가 발생하는 Jello Effect가 발생되는 단점이 있다.
한편, 촬영 장치에서 피사체를 촬영할 때, 교류 전원을 사용하는 조명 하에서 촬영하는 경우, 시간에 따라 조명의 밝기에 변화가 나타난다. 이 때, 조명의 밝기의 주파수는는, 교류 전원의 주파수에 비례한다. 예를 들면, 한국의 교류 전원의 주파수는 1/60초이며, 이러한 교류 전원을 이용하는 조명 하에서 촬영하는 경우, 1/60초에 비례하는 주파수로 조명의 밝기 변화가 나타난다. 화면 전체를 노광하는 글로벌 셔터의 경우, 상기 조명의 밝기 변화에 의해 화면 전체의 밝기가 변화한다. 따라서 글로벌 셔터를 이용하는 경우, 화면 내에서 플리커 현상이 발견되지 않는다. 반면에 롤링 셔터의 경우, 조명의 밝기의 변화가 화면에서 균일하게 나타나지 않는다. 예를 들면, 조명의 밝기 변화에 따라, 촬영 영상에서 줄무늬가 생길 수 있다. 이러한 조명의 밝기 변화에 따라 화면의 밝기가 균일하게 나타나지 않는 현상을 플리커라고 한다.
플리커 현상이 발생하는 경우, 촬영된 영상에서 영역에 따라 밝기 달라져, 촬영된 영상의 화질이 저하되는 문제점이 있다.
본 발명의 실시예들은 롤링 셔터 방식을 이용하는 촬영 장치에서, 노출 시간을 자유롭게 변경하면서 촬영 영상에서 플리커를 제거하기 위한 것이다.
또한, 본 발명의 실시예들은 롤링 셔터 방식의 전자 셔터를 이용하는 촬영 장치에서, 노출 시간을 자유롭게 변경하면서 촬영 영상에서 플리커를 제거하기 위한 것이다.
또한, 본 발명의 실시예들은 촬영부가 소형으로 장착되는 촬영 장치에서, 노출 시간을 자유롭게 변경할 수 있도록 하고, 수동 모드에서 촬영이 가능하도록 하기 위한 것이다.
본 발명의 일 실시예의 일 측면에 따르면,
촬영 장치에서 설정된 제1 노출 시간에 따라 제1 영상을 캡쳐하고, 조명의 플리커 주파수에 따라 결정된 제2 노출 시간에 따라 제2 영상을 캡쳐하는 촬영부;
상기 제1 영상 및 상기 제2 영상을 이용하여, 플리커를 제거하는 영상 처리부를 포함하는 촬영 장치가 제공된다.
상기 제2 노출 시간은, N/2f이고, N은 자연수, f는 상기 조명에 대한 교류 전원의 주파수일 수 있다.
상기 촬영부는, 프리뷰 영상으로부터 상기 제2 영상을 캡쳐할 수 있다.
상기 제2 영상은, 상기 제1 영상을 캡쳐하기 전의 상기 프리뷰 영상의 마지막 프레임에 해당하는 영상일 수 있다.
상기 프리뷰 영상의 프레임 레이트는, 상기 조명의 플리커 주파수에 따라 결정될 수 있다.
상기 촬영부는, 셔터 릴리즈 신호가 입력되었을 때 상기 제1 영상과 상기 제2 영상을 연속 촬영할 수 있다.
상기 촬영부는, 라인 단위로 노광을 제어하는 전자 셔터 방식으로 동작할 수 있다.
상기 영상 처리부는, 상기 제1 영상과 상기 제2 영상의 픽셀 값의 비율을 산출함에 의해 보정 게인을 결정하고, 상기 보정 게인을 상기 제1 영상의 픽셀 값에 적용하여, 플리커를 제거할 수 있다.
상기 영상 처리부는, 상기 보정 게인을 결정하기 전에, 상기 제1 영상과 상기 제2 영상의 픽셀 값을 비교하여, 상기 제1 영상에서 플리커가 발생하지 않은 제1 영역을 결정하고, 상기 제1 영상과 상기 제2 영상의 상기 제1 영역의 픽셀 값의 차를 산출하고, 상기 제1 영역의 픽셀 값의 차를 상기 제1 영상 및 상기 제2 영상 중 적어도 하나에 적용하여, 상기 제1 영상과 상기 제2 영상의 픽셀 값의 차이의 오프셋을 제거할 수 있다.
상기 영상 처리부는, 색상 성분별로 상기 픽셀 값의 비율을 산출하여 상기 보정 게인을 결정하고, 색상 성분별로 상기 보정 게인을 상기 제1 영상의 픽셀 값에 적용할 수 있다.
상기 영상 처리부는, 상기 제1 영상 및 상기 제2 영상의 블록별로 상기 플리커를 제거하고, 상기 블록은 복수의 픽셀 라인을 포함하는 블록일 수 있다.
상기 영상 처리부는, 상기 제1 영상 및 상기 제2 영상의 픽셀 별로 상기 플리커를 제거할 수 있다.
상기 영상 처리부는, 렌즈 쉐이딩(shading) 현상을 보정하는 처리와 함께 상기 플리커를 제거하는 처리를 수행할 수 있다.
상기 제2 영상은 상기 제1 영상보다 해상도가 낮을 수 있다.
상기 촬영부는, 수동 모드에서 상기 제1 영상을 캡쳐하고, 상기 제1 노출 시간은 사용자에 의해 설정된 노출 시간일 수 있다.
상기 촬영부는, 복수의 제1 영상들을 연속 촬영하고, 상기 영상 처리부는, 상기 복수의 제1 영상들에 대해 한 개의 상기 제2 영상을 이용하여 플리커를 제거할 수 있다.
상기 영상 처리부는, 상기 제1 영상 및 상기 제2 영상을 비교하여, 플리커 발생 여부를 판단하고, 플리커가 발생한 경우, 상기 플리커를 제거하는 동작을 수행할 수 있다.
본 발명의 일 실시예의 다른 측면에 따르면,
촬영 장치에서 설정된 제1 노출 시간에 따라 제1 영상을 캡쳐하는 단계;
조명의 플리커 주파수에 따라 결정된 제2 노출 시간에 따라 제2 영상을 캡쳐하는 단계; 및
상기 제1 영상 및 상기 제2 영상을 이용하여, 플리커를 제거하는 단계를 포함하는, 촬영 장치 제어 방법이 제공된다.
상기 제2 노출 시간은, N/2f이고, N은 자연수, f는 상기 조명에 대한 교류 전원의 주파수일 수 있다.
상기 제2 영상을 캡쳐하는 단계는, 프리뷰 영상으로부터 상기 제2 영상을 캡쳐하는 단계를 포함할 수 있다.
상기 제2 영상은, 상기 제1 영상을 캡쳐하기 전의 상기 프리뷰 영상의 마지막 프레임에 해당하는 영상일 수 있다.
상기 프리뷰 영상의 프레임 레이트는, 상기 조명의 플리커 주파수에 따라 결정될 수 있다.
상기 제1 영상을 캡쳐하는 단계와 상기 제2 영상을 캡쳐하는 단계는, 셔터 릴리즈 신호가 입력되었을 때 연속 촬영을 함에 의해 수행될 수 있다.
상기 촬영 장치는, 라인 단위로 노광을 제어하는 전자 셔터 방식으로 동작할 수 있다.
상기 플리커를 제거하는 단계는, 상기 제1 영상과 상기 제2 영상의 픽셀 값의 비율을 산출함에 의해 보정 게인을 결정하는 단계; 및 상기 보정 게인을 상기 제1 영상의 픽셀 값에 적용하여, 플리커를 제거하는 단계를 포함할 수 있다.
상기 플리커를 제거하는 단계는, 상기 보정 게인을 결정하는 단계 전에, 상기 제1 영상과 상기 제2 영상의 픽셀 값을 비교하여, 상기 제1 영상에서 플리커가 발생하지 않은 제1 영역을 결정하는 단계; 상기 제1 영상과 상기 제2 영상의 상기 제1 영역의 픽셀 값의 차를 산출하는 단계; 및 상기 제1 영역의 픽셀 값의 차를 상기 제1 영상 및 상기 제2 영상 중 적어도 하나에 적용하여, 상기 제1 영상과 상기 제2 영상의 픽셀 값의 차이의 오프셋을 제거하는 단계를 더 포함할 수 있다.
상기 보정 게인을 결정하는 단계는, 색상 성분별로 상기 픽셀 값의 비율을 산출하여 상기 보정 게인을 결정하고, 상기 플리커를 제거하는 단계는, 색상 성분별로 상기 보정 게인을 상기 제1 영상의 픽셀 값에 적용할 수 있다.
상기 플리커를 제거하는 단계는, 상기 제1 영상 및 상기 제2 영상의 블록별로 수행되고, 상기 블록은 복수의 픽셀 라인을 포함하는 블록일 수 있다.
상기 플리커를 제거하는 단계는 상기 제1 영상 및 상기 제2 영상의 픽셀 별로 수행될 수 있다.
상기 플리커를 제거하는 단계는, 렌즈 쉐이딩(shading) 현상을 보정하는 처리와 함께 수행될 수 있다.
상기 제2 영상은 상기 제1 영상보다 해상도가 낮을 수 있다.
상기 제1 영상을 캡쳐하는 단계는, 수동 모드에서 수행되고, 상기 제1 노출 시간은 사용자에 의해 설정된 노출 시간일 수 있다.
상기 제1 영상을 캡쳐하는 단계는, 복수의 제1 영상들을 연속 촬영하는 단계를 포함하고, 상기 플리커 발생 여부를 판단하는 단계 및 상기 플리커를 제거하는 단계는 상기 복수의 제1 영상들에 대해 한 개의 상기 제2 영상을 이용하여 수행될 수 있다.
상기 촬영 장치 제어 방법은, 상기 제1 영상 및 상기 제2 영상을 비교하여, 플리커 발생 여부를 판단하는 단계를 더 포함하고, 상기 플리커를 제거하는 단계는, 플리커가 발생한 경우에 수행될 수 있다.
본 발명의 일 실시예의 또 다른 측면에 따르면, 프로세서에 의해 독출되어 수행되었을 때, 상기 촬영 장치 제어 방법을 수행하는 컴퓨터 프로그램 코드들을 저장하는 컴퓨터 판독가능 기록매체가 제공된다.
본 발명의 실시예들에 따르면, 롤링 셔터 방식을 이용하는 촬영 장치에서, 노출 시간을 자유롭게 변경하면서 촬영 영상에서 플리커를 제거할 수 있는 효과가 있다.
또한, 본 발명의 실시예들에 따르면, 롤링 셔터 방식의 전자 셔터를 이용하는 촬영 장치에서, 노출 시간을 자유롭게 변경하면서 촬영 영상에서 플리커를 제거할 수 있는 효과가 있다.
또한, 본 발명의 실시예들에 따르면, 촬영부가 소형으로 장착되는 촬영 장치에서, 노출 시간을 자유롭게 변경할 수 있도록 하고, 수동 모드에서 촬영이 가능하도록 하는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 촬영 장치(100)를 나타낸 도면이다.
도 2는 플리커가 발생한 영상을 나타낸 도면이다.
도 3 및 도 4는 플리커가 발생하는 원리를 설명하기 위한 도면이다.
도 5는 일 실시예에 따른 영상 처리부(120)에서 플리커를 제거하는 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 촬영 장치 제어 방법을 나타낸 흐름도이다.
도 7은 일 실시예에 따라 제1 영상 및 제2 영상을 캡쳐하는 방법을 나타낸 도면이다.
도 8은 본 발명의 다른 실시예에 따라 제1 영상 및 제2 영상을 캡쳐하는 방법을 설명한 도면이다.
도 9는 일 실시예에 따라 플리커를 제거하는 방법을 설명하기 위한 도면이다.
도 10은 일 실시예에 따라 라인 별로 제1 영상과 제2 영상의 픽셀 값 및 보정 게인을 나타낸 도면이다.
도 11은 일 실시예에 따라 제1 영상과 제2 영상의 보정 오프셋을 제거하는 과정을 설명하기 위한 도면이다.
도 12는 일 실시예에 따른 촬영 장치 제어 방법을 나타낸 흐름도이다.
도 13은 다른 실시예에 따른 영상 처리부(120a)의 구조를 나타낸 도면이다.
도 14는 일 실시예에 따른 촬영 장치 제어 방법은 나타낸 흐름도이다.
도 15는 일 실시예에 따른 촬영 장치(100a)의 구조를 설명하기 위한 블록도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에서 사용되는 "부"라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부"는 어떤 역할들을 수행한다. 그렇지만 "부"는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부"는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부"는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부"들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부"들로 결합되거나 추가적인 구성요소들과 "부"들로 더 분리될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략한다.
도 1은 본 발명의 일 실시예에 따른 촬영 장치(100)를 나타낸 도면이다.
본 실시예에 따른 촬영 장치(100)는 촬영부(110) 및 영상 처리부(120)를 포함한다.
촬영 장치(100)는 카메라, 휴대폰, 스마트폰, 태블릿 PC, 노트북, 캠코더 등 다양한 형태로 구현될 수 있다.
촬영부(110)는 렌즈, 조리개, 촬상 소자 등을 포함하고, 입사광을 집광하고 광전 변환하여, 촬상 신호를 생성한다. 일 실시예에 따른 촬영부(110)는 촬영 장치에서 설정된 제1 노출 시간에 따라 제1 영상을 캡쳐하고, 조명의 플리커 주파수에 따라 결정된 제2 노출 시간에 따라 제2 영상을 캡쳐한다. 제1 영상과 제2 영상을 캡쳐하는 순서는 실시예에 따라 다양하게 결정될 수 있다.
영상 처리부(120)는 상기 제1 영상 및 상기 제2 영상을 이용하여, 플리커를 제거한다. 영상 처리부(120)는 제1 영상으로부터 플리커를 제거할 수 있다. 영상 처리부(120)는 추가적으로 제1 영상에 노이즈 제거, 보간, 렌즈 쉐이딩 보정, 왜곡 보정 등의 영상 처리를 수행한 후, 처리된 제1 영상을 저장하는 영상 파일을 생성하고, 저장부(미도시)에 상기 영상 파일을 저장할 수 있다.
본 발명의 일 실시예에 따른 촬영부(110)는 롤링 셔터 방식을 이용한다.
일 실시예에 따르면, 촬영부(110)는 전막과 후막을 이용하는 포컬 플레인 셔터(focal-plane shutter)를 구비할 수 있다. 포컬 플레인 셔터는 전막과 후막의 주행을 시작하는 시점 사이의 시간차를 조절하여, 노광 시간을 조절할 수 있다. 본 발명의 일 실시예에 따르면, 촬영부(110)는 전막과 후막의 시간차를 조절하여, 제1 노출 시간의 제1 영상과 제2 노출 시간의 제2 영상을 캡쳐할 수 있다.
다른 실시예에 따르면, 촬영부(110)는 롤링 셔터 방식의 전자 셔터를 이용한다. 본 실시예에 따른 롤링 셔터 방식의 전자 셔터는 라인별로 리셋, 노광, 및 리드아웃 동작을 반복할 수 있다.
도 2는 플리커가 발생한 영상을 나타낸 도면이다.
일 실시예와 같이, 촬영부(110)에서 롤링 셔터 방식을 이용하는 경우, 촬영된 영상에서는 도 2에 도시된 바와 같이 플리커 현상이 나타날 수 있다. 플리커가 발생하면, 도 2에 도시된 바와 같이 촬영된 영상에서 띠 모양이 나타날 수 있다.
도 3 및 도 4는 플리커가 발생하는 원리를 설명하기 위한 도면이다.
도 3에 도시된 바와 같이, 교류 전원은 소정의 주파수를 갖는 사인파 형태의 파형을 가질 수 있다. 예를 들면, 한국의 교류 전원은 약 60Hz의 주파수를 갖고, 일본의 교류 전원은 약 50Hz의 주파수를 갖는다.
이러한 교류 전원을 이용하여 동작하는 조명은, 상기 교류 전원의 주파수의 2배의 주파수를 갖는다. 조명 장치는 교류 전원을 정류해서 이용하는데, 교류 전원을 전파 정류하는 경우, 도 3에 도시된 바와 같은 조명 파형이 나오고, 이러한 파형이 조명에서 출력되는 빛에서는 밝기의 변화로 반영되어, 플리커로 나타난다.
이러한 조명 하에서, 노출 시간을 N/2f로 설정하는 경우(여기서 N은 자연수, f는 교류 전원의 주파수), 촬영 영상에서 플리커가 발생하지 않는다. 도 4에 도시된 바와 같이, 노출 시간 T1을 1/2f로 설정하면, 촬상 소자의 각 라인이 조명 플리커의 한 주기 동안 노광되기 때문에, 각 라인에서 조명의 빛의 세기의 적분 값이 같아져서, 플리커가 발생되지 않는다. 도 4에 도시된 바와 같이, 각 라인의 노광 구간 사이에 리드 아웃 구간(TR)이 개입되더라도, 각 라인의 노광 시간은 항상 1/2f가 되어, 플리커가 발생하지 않는다.
그러나 노출 시간을 N/2f가 아닌 값으로 설정하는 경우, 촬영 영상에서 플리커가 발생할 수 있다. 예를 들면, 도 4에 도시된 바와 같이 노출 시간 T2를 1/2f보다 짧은 시간으로 설정하는 경우, 각 라인이 노광되는 동안 조명에서 출력되는 빛의 적분값이 각 라인마다 다르기 때문에, 촬영된 영상에서 플리커가 발생한다. 특히 이러한 형상은 롤링 셔터 방식의 전자 셔터에서 빈번하게 발생한다. 본 발명의 실시예들에 따르면, 임의의 노출 시간인 제1 노출 시간으로 촬영된 제1 영상에서 발생한 플리커를 N/2f의 제2 노출 시간으로 촬영된 제2 영상을 이용하여 제거한다.
제1 노출 시간은 사용자에 의해 설정되거나, 촬영 장치(100)에 의해 자동으로 설정된 노출 시간이다. 수동 모드에서 촬영을 수행하는 경우, 사용자는 제1 노출 시간을 직접 설정하거나, 조리개 값, 밝기 값 등을 조절하여 간접적을 제1 노출 시간을 설정할 수 있다. 자동 모드에서 촬영을 수행하는 경우, 촬영 장치(100)는 제어부(미도시) 등의 구성요소에서, 주변 밝기, 사용자에 의해 설정된 촬영 모드, 사용자에 의해 설정된 촬영 설정 값 등에 따라, 제1 노출 시간을 설정할 수 있다. 제1 노출 시간은 교류 전원의 주파수에 따라 결정되는 조명의 플리커 주파수와 무관하게 결정될 수 있다.
제2 노출 시간은 조명의 플리커 주파수에 따라 결정된다. 일 실시예에 따른 제2 노출 시간은 N/2f로 결정된다.
도 5는 일 실시예에 따른 영상 처리부(120)에서 플리커를 제거하는 과정을 설명하기 위한 도면이다.
영상 처리부(120)는 제1 영상과 제2 영상이 입력되면, 상기 제1 영상 및 상기 제2 영상으로부터 플리커를 보정하기 위한 보정 게인을 산출한다(S502).
일 실시예에 따르면, 영상 처리부(120)는 제1 영상과 제2 영상의 밝기 값의 비율을 산출하여 보정 게인을 산출할 수 있다. 이러한 경우, 제1 영상 및 제2 영상은 예를 들면 YCbCr 형식으로 표현될 수 있고, 밝기 값은 Y 값을 의미한다. 일 실시예에 따르면, 제1 영상과 제2 영상의 밝기 값의 비율 및 보정 게인은, 각 픽셀별로 산출될 수 있다. 다른 실시예에 따르면, 제1 영상과 제2 영상의 밝기 값의 비율 및 보정 게인은, 블록별로 산출될 수 있다.
다른 실시예에 따르면, 영상 처리부(120)는 제1 영상과 제2 영상의 R, G, B 값을 비교하여, R, G, B 각각에 대한 보정 게인을 산출할 수 있다. 영상의 각 픽셀은 레드 성분, 그린 성분, 블루 성분의 값을 각각 정의하여 그 픽셀값이 정의될 수 있는데, 여기서 레드 성분의 값을 R, 그린 성분의 값을 G, 블루 성분의 값을 B라고 지칭한다. 또한 상기 R, G, B 값의 비교 및 보정 게인의 산출은, 실시예에 따라 각 픽셀별로 산출되거나, 블록별로 산출될 수 있다.
다음으로, 영상 처리부(120)는, 상기 보정 게인을 이용하여 플리커를 제거한다(S504). 일 실시예에 따르면, 영상 처리부(120)는 보정 게인을 제1 영상의 각 픽셀 또는 각 블록에 곱하여 플리커를 제거할 수 있다.
일 실시예에 따르면, 상기 보정 게인은 제1 영상의 각 픽셀의 밝기 값(예를 들면, YCbCr 영상의 Y값)에 곱해질 수 있다.
다른 실시예에 따르면, 상기 보정 게인은 제1 영상의 각 픽셀의 R, G, B 값에 각각 곱해질 수 있다.
도 6은 본 발명의 일 실시예에 따른 촬영 장치 제어 방법을 나타낸 흐름도이다.
촬영 장치는 제1 노출 시간을 갖는 제1 영상 및 제2 노출 시간을 갖는 제2 영상을 캡쳐한다(S602, S604). 제1 영상과 제2 영상을 촬영하는 순서는 도 6에 도시된 것으로 한정되지 않고, 실시예에 따라 다양하게 결정될 수 있다. 제1 노출 시간은 촬영 장치에 설정된 노출 시간으로 사용자에 의해 직간접적으로 설정되거나, 촬영 장치에 의해 자동으로 설정될 수 있다. 제2 노출 시간은 N/2f일 수 있다.
다음으로, 촬영 장치는 제1 영상 및 제2 영상을 이용하여 플리커를 제거할 수 있다(S606). 예를 들면, 제1 영상 및 제2 영상을 이용하여, 플리커를 제거하기 위한 보정 게인을 산출하고, 상기 보정 게인을 상기 제1 영상에 픽셀별로 곱하여, 제1 영상으로부터 플리커를 제거할 수 있다.
도 7은 일 실시예에 따라 제1 영상 및 제2 영상을 캡쳐하는 방법을 나타낸 도면이다.
일 실시예에 따르면, 프리뷰 모드에서 셔터 릴리즈 신호(S2)가 입력되어 영상 캡쳐가 수행되는 경우, 상기 제2 영상은 프리뷰 모드의 연속적인 프레임들 중 제1 영상의 캡쳐가 수행되기 전의 마지막 프레임에 해당하는 영상일 수 있다. 또한 프리뷰 모드의 프레임 레이트는 상기 조명의 플리커 주파수에 따라 결정될 수 있다. 일 실시예에 따르면, 상기 프레임 레이트는 2f/N일 수 있다. 프리뷰 영상의 마지막 프레임은 촬영 장치의 메인 메모리에 임시 저장되어 있을 수 있고, 영상 처리부(120)는 상기 메인 메모리에 임시 저장된 프리뷰 영상의 마지막 프레임을 제2 영상으로 이용할 수 있다.
따라서 영상 처리부(120)는 셔터 릴리즈 신호(S2)가 입력되면, 프리뷰 영상의 마지막 프레임을 제2 영상으로 캡쳐하고, 제2 영상 캡쳐 이후에 바로 제1 영상을 캡쳐할 수 있다.
영상 처리부(120)는 제1 영상의 캡쳐가 완료되면, 제1 영상으로부터 플리커를 제거하고, 처리된 제2 영상을 저장하는 영상 파일을 생성할 수 있다.
도 8은 본 발명의 다른 실시예에 따라 제1 영상 및 제2 영상을 캡쳐하는 방법을 설명한 도면이다.
본 발명의 다른 실시예에 따르면, 제1 영상 및 제2 영상은, 셔터 릴리즈 신호(S2)가 입력되면, 제1 영상 및 제2 영상을 연속 촬영할 수 있다. 제1 영상은 촬영 장치에 현재 설정된 제1 노출 시간으로 촬영되고, 제2 영상은 조명의 플리커 주파수에 의해 결정된 제2 노출 시간으로 촬영된다. 제1 영상 및 제2 영상이 촬영되는 순서는 실시예에 따라 달라질 수 있다.
도 9는 일 실시예에 따라 플리커를 제거하는 방법을 설명하기 위한 도면이다.
일 실시예에 따르면, 보정 게인을 산출하고, 플리커를 제거하는 처리가 블록별로 수행될 수 있다. 블록은 도 9에 도시된 바와 같이 적어도 하나의 라인을 포함할 수 있다. 여기서 라인은 도 9에 도시된 바와 같이, 롤링 셔터가 진행하는 셔터 진행 방향에 수직인 방향의 라인(L1, L2, L3, ..., Ln)이다. 예를 들면, 도 9에 도시된 바와 같이, 각 블록(BLOCK1, BLOCK2, BLOCK3,...)은 2개의 라인을 포함할 수 있다. 각 블록이 몇 개의 라인을 포함하는지는 실시예에 따라 달라질 수 있다.
본 실시예에 따르면, 영상 처리부(120)는 제1 영상과 제2 영상을 블록 별로 비교한다. 일 실시예에 따르면, 영상 처리부(120)각 블록의 픽셀 값의 평균값을 이용하여 제1 영상과 제2 영상을 블록 별로 비교할 수 있다.
롤링 셔터의 경우, 플리커는 라인 형태로 나타나고, 동일 라인에서는 플리커 현상이 거의 유사하게 나타난다. 따라서, 적어도 하나의 라인을 포함하는 블록 별로 플리커를 제거를 수행하는 본 실시예에 따르면, 플리커 제거를 위한 처리량은 감소시키면서, 우수한 플리커 제거 성능을 얻을 수 있는 효과가 있다.
도 10은 일 실시예에 따라 라인 별로 제1 영상과 제2 영상의 픽셀 값 및 보정 게인을 나타낸 도면이다.
일 실시예에 따라 라인 별로 제1 영상과 제2 영상의 픽셀 값을 비교하면, 도 10에 도시된 바와 같이 제1 영상에서 플리커에 의한 파형이 나타날 수 있다. 도 10의 그래프를 참조하면, 제1 영상의 픽셀 값이 제2 영상의 픽셀 값을 기준으로 소정의 주파수를 가지고 상승하고 하강하는 것이 관찰된다. 이에 대해, 제2 영상의 픽셀 값을 제1 영상의 픽셀 값으로 나누면, 도 10에 도시된 바와 같이, 소정 주파수의 사인 파형을 갖는 보정 게인이 산출된다. 상기 보정 게인을 다시 제1 영상의 픽셀 값에 곱하면, 제1 영상으로부터 플리커를 제거할 수 있다.
일 실시예에 따르면, 상기 보정 게인을 구하는 처리는 블록 별로 수행하고, 보정 게인을 제1 영상에 곱할 때는 픽셀 별로 수행할 수 있다.
다른 실시예에 따르면, 상기 제2 영상은 상기 제1 영상보다 낮은 해상도를 갖는다. 이러한 경우, 일 실시예에 따르면, 상기 제2 영상의 해상도를 증가시킨 후, 상기 제1 영상과 상기 제2 영상을 비교할 수 있다. 다른 실시예에 따르면, 상기 제2 영상에서 상기 제1 영상의 각 픽셀에 대응되는 픽셀을 찾아, 상기 제1 영상과 상기 제2 영상을 비교할 수 있다.
도 11은 일 실시예에 따라 제1 영상과 제2 영상의 보정 오프셋을 제거하는 과정을 설명하기 위한 도면이다.
일 실시예에 따르면, 영상 처리부(120)는 제1 영상에서 플리커가 발생하지 않은 영역을 검출하고, 플리커가 발생하지 않은 영역으로부터 제1 영상과 제2 영상 사이의 보정 오프셋을 산출하여, 상기 보정 오프셋의 영향을 제거한 후, 상기 보정 게인을 산출할 수 있다. 예를 들면, 도 11에 도시된 바와 같이, L1, L2 라인에 플리커가 발생하고, L3, L4 라인에 플리커가 발생하지 않고, L5, L6 라인에 플리커가 발생한 경우, 플리커가 발생하지 않은 L3, L4 라인의 픽셀 값을 이용하여 보정 오프셋을 산출할 수 있다.
영상 처리부(120)는 제1 영상과 제2 영상의 픽셀 값을 비교하여, 플리커가 발생하지 않은 영역을 추출할 수 있다. 예를 들면, 영상 처리부(120)는 제1 영상과 제2 영상의 밝기 값의 차이가 기준 값 이하인 경우, 플리커가 발생하지 않은 영역이라고 판단할 수 있다.
영상 처리부(120)는 상기 제1 영역에서 상기 제1 영상과 상기 제2 영상의 픽셀 값의 차이를 산출하여, 상기 보정 오프셋을 산출한다.
일 실시예에 따르면, 상기 보정 오프셋은 영상 전체에 대해 산출될 수 있다. 즉, 상기 보정 오프셋은 제1 영상 전체에 대해 하나의 값이 산출될 수 있다. 예를 들면, 상기 보정 오프셋은, 상기 제1 영역의 각 픽셀에서의 픽셀 값의 차이의 평균값으로 결정될 수 있다.
다른 실시예에 따르면, 상기 보정 오프셋은 블록 별로 산출될 수 있다. 예를 들면, 영상 처리부(120)는 상기 제1 영역에서는, 각 블록에서 산출된 보정 오프셋 값을 이용하고, 상기 제1 영역 이외의 영역에서는, 보간 등의 방법으로 상기 보정 오프셋 값을 추정할 수 있다.
또 다른 실시예에 따르면, 상기 보정 오프셋은 픽셀 별로 산출될 수 있다. 예를 들면, 영상 처리부(120)는, 상기 제1 영역에서는, 각 블록에서 산출된 보정 오프셋 값으로 정의하고, 상기 제1 영역 이외의 영역에서는, 보간 등의 방법으로 상기 보정 오프셋 값을 추정할 수 있다.
일 실시예에 따르면, 상기 보정 오프셋은 상기 제1 영역에서, 상기 제2 영상의 픽셀 값으로부터 상기 제1 영상의 픽셀 값을 빼서 산출할 수 있다.
다음으로, 영상 처리부(120)는 상기 보정 오프셋을 제1 영상의 각 픽셀 또는 제2 영상의 각 픽셀에 적용한 후, 제1 영상의 각 픽셀의 픽셀 값과 제2 영상의 각 픽셀의 픽셀 값의 비율을 산출하여, 보정 게인을 구할 수 있다. 예를 들면, 영상 처리부(120)는 제2 영상의 각 픽셀의 픽셀 값을 제1 영상의 각 픽셀의 픽셀 값으로 나누어 상기 보정 게인을 구할 수 있다. 일 실시예에 따르면, 상기 보정 게인은 픽셀 별로 산출될 수 있다.
다른 실시예에 따르면, 상기 보정 게인은 블록 별로 산출될 수 있다. 상기 블록은 적어도 하나의 라인을 포함할 수 있다. 보정 게인을 블록 별로 산출하는 경우, 영상 처리부(120)는 제1 영상과 제2 영상에서 각 블록에 속하는 픽셀들의 픽셀 값의 평균 값을 이용하여 블록 별로 보정 게인을 산출할 수 있다.
일 실시예에 따르면, 상기 보정 오프셋 및 보정 게인은 R, G, B 별로 산출될 수 있다. 또한, 상기 보정 오프셋 및 보정 게인은 픽셀 별로 산출될 수 있다. 이러한 경우, 플리커가 보정된 R, G, B 값은 아래 수학식 1, 수학식 2, 수학식 3과 같이 산출될 수 있다.
Figure pat00001
Figure pat00002
Figure pat00003
R(x, y), G(x, y), 및 B(x, y)는 각각 픽셀 (x, y)의 플리커 보정 전의 R, G, B 값을 의미하고, R'(x, y), G'(x, y), 및 B'(x, y)는 각각 픽셀 (x, y)의 플리커 보정 후의 R, G, B 값을 의미한다. K1(x, y)는 각 픽셀의 R에 대한 보정 게인, K2(x, y)는 각 픽셀의 G에 대한 보정 게인, K3(x, y)는 각 픽셀의 B에 대한 보정 게인, C1(x, y)는 각 픽셀의 R에 대한 보정 오프셋, C2(x, y)는 각 픽셀의 G에 대한 보정 오프셋, C3(x, y)는 각 픽셀의 B에 대한 보정 오프셋을 의미한다.
일 실시예에 따르면, 상기 보정 오프셋 및 보정 게인은 밝기 값에 대해 산출될 수 있다. 또한, 상기 보정 오프셋 및 보정 게인은 픽셀 별로 산출될 수 있다. 만약 제1 영상 및 제2 영상이 YCbCr 형식으로 표현된 경우, 보정 오프셋 및 보정 게인은 Y값에 대해 산출될 수 있다. 플리커가 보정된 Y값은 아래 수학식 4와 같이 산출될 수 있다.
Figure pat00004
Y(x, y)는 픽셀 (x, y)의 플리커 보정 전의 Y 값이고, Y'(x, y)는 픽셀 (x, y)의 플리커 보정 후의 Y 값을 의미한다. K4(x, y)는 각 픽셀의 Y값에 대한 보정 게인, C4(x, y)는 Y값에 대한 보정 오프셋을 의미한다.
일 실시예에 따르면, 상기 보정 오프셋 및 보정 게인은 R, G, B 별로 산출될 수 있다. 또한, 상기 보정 오프셋 및 보정 게인은 라인 별로, 또는 복수의 라인을 포함하는 블록 별로 산출될 수 있다. 예를 들면, 각 라인 또는 각 블록의 R 값의 평균 값을 이용하여 R에 대한 각 라인 또는 각 블록의 상기 보정 게인 및 보정 오프셋을 산출할 수 있다. G, B에 대해서도 R과 유사한 방식으로 각 라인 또는 각 블록의 평균 값을 이용하여 보정 게인 및 보정 오프셋이 산출될 수 있다. 본 실시예에 따르면, 라인별로 산출되거나 블록 별로 산출된 보정 게인 및 보정 오프셋 값을 이용하여, 각 픽셀에서 보정된 R, G, B 값을 산출한다. 이러한 경우, 플리커가 보정된 R, G, B 값은 아래 수학식 5, 수학식 6, 수학식 7과 같이 산출될 수 있다.
Figure pat00005
Figure pat00006
Figure pat00007
R(x, y), G(x, y), 및 B(x, y)는 각각 픽셀 (x, y)의 플리커 보정 전의 R, G, B 값을 의미하고, R'(x, y), G'(x, y), 및 B'(x, y)는 각각 픽셀 (x, y)의 플리커 보정 후의 R, G, B 값을 의미한다. K1(y)는 각 라인 또는 각 블록의 R에 대한 보정 게인, K2(y)는 각 라인 또는 각 블록의 G에 대한 보정 게인, K3(x, y)는 각 라인 또는 각 블록의 B에 대한 보정 게인, C1(y)는 각 라인 또는 각 블록의 R에 대한 보정 오프셋, C2(y)는 각 라인 또는 각 블록의 G에 대한 보정 오프셋, C3(y)는 각 라인 또는 각 블록의 B에 대한 보정 오프셋을 의미한다.
일 실시예에 따르면, 상기 보정 오프셋 및 보정 게인은 밝기 값에 대해 산출될 수 있다. 또한, 상기 보정 오프셋 및 보정 게인은 라인 별로, 또는 복수의 라인을 포함하는 블록 별로 산출될 수 있다. 예를 들면, 각 라인 또는 각 블록의 밝기 값의 평균 값을 이용하여 각 라인 또는 각 블록의 상기 보정 게인 및 보정 오프셋을 산출할 수 있다. 만약 제1 영상 및 제2 영상이 YCbCr 형식으로 표현된 경우, 보정 오프셋 및 보정 게인은 Y값에 대해 산출될 수 있다. 플리커가 보정된 Y값은 아래 수학식 8와 같이 산출될 수 있다.
Figure pat00008
Y(x, y)는 픽셀 (x, y)의 플리커 보정 전의 Y 값이고, Y'(x, y)는 픽셀 (x, y)의 플리커 보정 후의 Y 값을 의미한다. K4(y)는 각 픽셀의 Y값에 대한 보정 게인, C4(y)는 Y값에 대한 보정 오프셋을 의미한다.
본 실시예에 따르면, 제1 영상과 제2 영상의 캡쳐 시간의 시간차로 인해 발생하는 영상에서의 픽셀 값의 차이를 상기 보정 오프셋으로 보상한 후, 상기 보정 게인을 산출하여, 상기 제1 영상과 상기 제2 영상의 시간차로 인한 변수까지 제거할 수 있다. 따라서 본 실시예에 따르면, 상기 플리커 보정 과정에서, 상기 제1 영상의 데이터가 왜곡되는 것을 방지할 수 있다.
일 실시예에 따르면, 영상 처리부(120)가 플리커가 발생하지 않은 영역을 검출할 때, 교류 전원의 주파수 및 리드아웃 프레임 레이트를 이용하여, 한 프레임에서의 플리커로 인해 발생하는 얼룩의 개수를 추정한 후, 상기 얼룩의 개수를 이용하여 플리커가 발생하지 않은 영역을 검출하는데 이용할 수 있다. 예를 들면, 소정의 영역에서 플리커 발생 여부가 불명확한 경우, 상기 추정된 얼룩의 개수에 기초하여 해당 영역에서 플리커가 발생하였는지 여부를 판단할 수 있다. 만약 상기 추정된 얼룩의 개수가 5~6개이고, 현재 플리커로 인해 검출된 얼룩의 개수가 4개인 경우, 플리커가 발생하였는지 여부가 불명확한 영역에서 플리커가 발생하였다고 판단할 수 있다. 상기 얼룩의 개수는 다음의 수학식 9, 수학식 10, 수학식 11을 이용하여 산출될 수 있다.
Figure pat00009
Figure pat00010
Figure pat00011
여기서 N은 자연수, f는 교류 전원의 주파수, S는 초당 리드아웃 프레임 수를 의미한다.
도 12는 일 실시예에 따른 촬영 장치 제어 방법을 나타낸 흐름도이다.
상기 촬영 장치 제어 방법은, 제1 영상에서 플리커가 발생하지 않은 제1 영역을 결정한다(S1202). 플리커가 발생하지 않은 제1 영역은, 제1 영상과 제2 영상의 밝기 값을 비교하여 결정될 수 있다. 예를 들면, 제1 영상과 제2 영상의 밝기 값의 차이가 기준 값 이하인 경우, 플리커가 발생하지 않은 영역이라고 판단될 수 있다.
다음으로, 상기 촬영 장치 제어 방법은, 상기 제1 영역의 밝기 값의 차이를 산출하여, 보정 오프셋을 산출한다(S1204).
다음으로, 상기 촬영 장치 제어 방법은, 상기 제1 영상과 상기 제2 영상에서 상기 보정 오프셋을 제거한다(S1206). 예를 들면, 상기 제1 영상의 각 픽셀의 픽셀 값과 상기 제2 영상의 각 픽셀의 픽셀 값으로부터 상기 보정 오프셋을 빼서, 상기 보정 오프셋을 제거할 수 있다.
상기 보정 오프셋이 제거된 상기 제1 영상과 상기 제2 영상에 대해, 상기 촬영 장치 제어 방법은, 상기 제1 영상의 픽셀 값과 상기 제2 영상의 픽셀 값의 비율을 구하여 보정 게인을 산출한다(S1208). 상기 보정 게인은 예를 들면, 상기 보정 오프셋이 제거된 상기 제2 영상의 픽셀 값을, 상기 보정 오프셋이 제거된 상기 제1 영상의 픽셀 값으로 나누어서, 구할 수 있다.
상기 보정 오프셋과 상기 보정 게인은 앞서 설명한 바와 같이, 픽셀 별로 산출되거나, 블록 별로 산출될 수 있다. 또한 상기 보정 오프셋과 상기 보정 게인은 앞서 설명한 바와 같이, YCbCr 형식에서 Y값에 대해 산출되거나, RGB 형식에서 R, G, B 값 각각에 대해 산출될 수 있다.
다음으로, 상기 촬영 장치 제어 방법은, 상기 보정 오프셋과 상기 보정 게인을 이용하여 상기 제1 영상으로부터 플리커를 제거한다(S1210). 상기 플리커를 제거하는 과정은 실시예에 따라 앞서 설명한 수학식 1 내지 수학식을 이용하여 수행될 수 있다.
도 13은 다른 실시예에 따른 영상 처리부(120a)의 구조를 나타낸 도면이다.
본 실시예에 따른 영상 처리부(120a)는 렌즈 쉐이딩 보정부(1310) 및 왜곡 보정부(1320)를 포함한다.
렌즈 쉐이딩 보정부(1310)는 렌즈에 의해 발생하는 렌즈 쉐이딩 현상을 보정한다. 렌즈 쉐이딩 현상은 촬영된 영상에서 원형의 밝기 변화가 나타나는 현상이다. 렌즈 쉐이딩 현상은 이미지의 가장자리 부분의 밝기가 중앙부 밝기보다 감소하는 형태로 나타난다. 이러한 현상은, 카메라 모듈이 소형화되면서, 렌즈의 직경이 감소하고, 렌즈의 주광선 입사각(Chief Ray Angle)이 증가하면 심화되는 경향이 있다. 또한 렌즈 쉐이딩 현상은 고해상도 센서일수록 심화되며, 조리개값(f number)이 커질수록 심화되는 경향이 있다. 렌즈 쉐이딩 보정부(1310)는 이와 같은 렌즈 쉐이딩 현상을 보정하기 위해, 제1 영상 및 제2 영상의 각 픽셀의 픽셀 값을 보정한다. 예를 들면, 렌즈 쉐이딩 보정부(1310)는 YCbCr로 표현된 제1 영상 및 제2 영상에서 밝기 값(Y 값)을 보정한다.
왜곡 보정부(1320)는 렌즈에 의해 발생하는 영상 왜곡을 보정한다. 촬영 영상에서 렌즈의 색수차 현상 등에 의해 왜곡이 발생할 수 있다. 왜곡 보정부(1320)는 촬영 영상에서 각 픽셀을 쉬프트하거나, 각 픽셀의 픽셀 값을 조정하여 촬영 영상에서 나타나는 렌즈 왜곡을 보정할 수 있다.
일 실시예에 따르면, 상기 렌즈 쉐이딩 보정부(1310)는 렌즈 쉐이딩 현상의 보정과 함께, 플리커 보정을 수행한다. 렌즈 쉐이딩 보정부(1310)는 렌즈 쉐이딩 현상의 보정을 위해, 룩업 테이블, 행렬 등의 형태의 보정 함수를 이용할 수 있는데, 상기 보정 함수에 플리커 보정을 위한 처리를 함께 반영하여, 렌즈 쉐이딩 현상의 보정과, 플리커 보정을 동시에 수행할 수 있다. 예를 들면, 렌즈 쉐이딩 보정부(1310)는 렌즈 쉐이딩 보정을 위한 행렬의 각 변수에, 상기 보정 오프셋 및 상기 보정 게인을 함께 반영한 후, 상기 행렬과 상기 제1 영상의 각 픽셀의 픽셀 값의 행렬 곱을 구할 수 있다.
다른 실시예에 따르면, 왜곡 보정부(1320)는 렌즈 왜곡 보정과 함께 플리커 보정을 수행한다. 왜곡 보정부가 픽셀을 쉬프트하는 처리와, 각 픽셀의 픽셀 값을 조정하는 처리를 수행하는 경우, 왜곡 보정부(1320)에서 상기 픽셀의 픽셀 값을 조절하는 처리와 함께 상기 플리커 보정을 위한 처리를 수행할 수 있다. 예를 들면, 각 픽셀의 픽셀 값을 조정하는 처리가 룩업 테이블, 행렬 등의 형태의 보정 함수를 이용하여 수행되는 경우, 상기 보정 함수에 플리커 보정을 위한 처리를 함께 반영할 수 있다. 예를 들면, 왜곡 보정부(1320)는 왜곡 보정을 위해 픽셀 값을 조정하는 행렬의 각 변수에, 상기 보정 오프셋 및 상기 보정 게인을 함께 반영한 후, 상기 행렬과 상기 제1 영상의 각 픽셀의 픽셀 값의 행렬 곱을 구할 수 있다.
도 14는 일 실시예에 따른 촬영 장치 제어 방법은 나타낸 흐름도이다.
본 실시예에 따른 촬영 장치 제어 방법은, 상기 제1 영상과 상기 제2 영상을 캡쳐한 후(S1402, S1404), 상기 제1 영상과 상기 제2 영상을 비교하여(S1406), 플리커가 발생하였는지 여부를 판단한다(S1408). 상기 제1 영상과 상기 제2 영상의 비교는 YCbCr 형식에서 Y값을 기준으로 차영상을 구하거나, RGB 형식에서 R, G, B 각각에 대한 차영상을 구하여 수행될 수 있다. 만약 상기 차영상에서 규칙적이 밝기 값의 변화, 예를 들면 영상 전체에 걸쳐서 도 2에 도시된 바와 같은 규칙적인 줄무늬가 나타나면, 상기 촬영 장치 제어 방법은, 플리커가 발생했다고 판단한다.
상기 촬영 장치 제어 방법은, 플리커가 발생했다고 판단되는 경우, 상기 제1 영상으로부터 플리커를 제거하는 처리를 수행한다(S1410). 만약 플리커가 발생하지 않았다고 판단된 경우, 플리커를 제거하기 위한 처리가 수행되지 않는다.
다른 실시예에 따르면, 플리커를 제거하는 처리는, 촬영 장치의 촬영 모드에 따라 수행되거나 수행되지 않을 수 있다. 예를 들면, 촬영 장치의 촬영 모드가 야외 촬영 모드, 풍경 촬영 모드, 야경 촬영 모드 등인 경우, 플리커를 제거하는 처리가 수행되지 않을 수 있다.
일 실시예에 따르면, 촬영 장치의 촬영 모드가 수동 모드인 경우, 플리커를 제거하는 처리가 수행될 수 있다. 다른 실시예로서, 촬영 모드가 수동 모드인 경우, 플리커가 발생하였는지 여부를 판단하고, 플리커를 제거하는 처리가 수행될 수 있다.
다른 실시예에 따르면, 플리커를 제거하는 처리는, 촬영 장치의 화이트 밸런스 설정에 따라 수행되거나 수행되지 않을 수 있다. 예를 들면, 촬영 장치의 화이트 밸런스가 형광등으로 설정된 경우, 플리커를 제거하는 처리가 수행되고, 화이트 밸런스가 백열등, 태양광 등으로 설정된 경우, 플리커를 제거하는 처리가 수행되지 않을 수 있다.
일 실시예에 따르면, 연속 촬영 모드에서 촬영하는 경우, 복수의 제1 영상들이 연속 촬영되고, 한 개의 제2 영상이 촬영될 수 있다. 이러한 경우, 상기 한 개의 제2 영상을 이용하여, 상기 복수의 제1 영상들의 플리커 제거 처리가 수행될 수 있다.
일 실시예에 따르면, 상기 제1 영상과 상기 제2 영상 사이에 발생한 글로벌 모션을 보정하는 처리가 수행될 수 있다. 이러한 경우, 영상 처리부(110)는 제1 영상과 제2 영상이 촬영된 후, 플리커 제거를 위한 처리를 수행하기 전에, 글로벌 모션을 보정하는 처리를 수행할 수 있다. 제1 영상과 제2 영상의 촬영 시점 사이에 촬영 장치에 움직임이 발생하여, 제1 영상과 제2 영상의 픽셀들이 어긋나는 현상을 글로벌 모션이라고 한다. 본 실시예에 따르면, 상기 글로벌 모션을 보정한 후, 플리커를 제거하는 처리를 수행하여, 플리커 제거 처리로 인해 발생할 수 있는 영상의 왜곡을 최소화하고, 보다 정확하게 플리커를 제거할 수 있는 효과가 있다.
본 명세서에서, 제1 영상과 제2 영상이 R, G, B 값으로 정의되고, R, G, B 값에 대해 플리커 보정을 수행하는 실시예들을 설명하였는데, 제1 영상과 제2 영상의 각 픽셀 값이 R, G, B의 색상 성분 조합 이외의 색상 성분 조합으로 정의되는 것도 가능하다. 이러한 경우, 플리커 보정도 제1 영상과 제2 영상의 각 픽셀을 정의하는 색상 성분 조합에 대해 이루어진다. 예를 들면, 상기 보정 오프셋 및 상기 보정 게인이 R, G, B와는 다른 색상 성분 조합에 대해 산출될 수 있다.
도 15는 일 실시예에 따른 촬영 장치(100a)의 구조를 설명하기 위한 블록도이다.
본 발명의 일 실시예에 따른 촬영 장치(100a)는 촬영부(1510), 아날로그 신호 처리부(1520), 메모리(1530), 저장/판독 제어부(1540), 데이터 저장부(1542), 프로그램 저장부(1550), 표시 구동부(1562), 표시부(1564), CPU/DSP(1570), 및 조작부(1580)를 포함할 수 있다.
촬영 장치(100a)의 전체 동작은 CPU/DSP(1570)에 의해 통괄된다. CPU/DSP(1570)는 렌즈 구동부(1512), 조리개 구동부(1515), 촬상 소자 제어부(1519) 등에 각 구성 요소의 동작을 위한 제어 신호를 제공한다.
촬영부(1510)는 입사광으로부터 전기적인 신호의 영상을 생성하는 구성요소로서, 렌즈(1511), 렌즈 구동부(1512), 조리개(1513), 조리개 구동부(1515), 촬상 소자(1518), 및 촬상 소자 제어부(1519)를 포함한다.
렌즈(1511)는 복수 군, 복수 매의 렌즈들을 구비할 수 있다. 렌즈(1511)는 렌즈 구동부(1512)에 의해 그 위치가 조절된다. 렌즈 구동부(1512)는 CPU/DSP(1570)에서 제공된 제어 신호에 따라 렌즈(1511)의 위치를 조절한다.
조리개(1513)는 조리개 구동부(1515)에 의해 그 개폐 정도가 조절되며, 촬상 소자(1518)로 입사되는 광량을 조절한다.
렌즈(1511) 및 조리개(1513)를 투과한 광학 신호는 촬상 소자(1518)의 수광면에 이르러 피사체의 상을 결상한다. 상기 촬상 소자(1518)는 광학 신호를 전기 신호로 변환하는 CCD(Charge Coupled Device) 이미지센서 또는 CIS(Complementary Metal Oxide Semiconductor Image Sensor)일 수 있다. 이와 같은 촬상 소자(1518)는 촬상 소자 제어부(1519)에 의해 감도 등이 조절될 수 있다. 촬상 소자 제어부(1519)는 실시간으로 입력되는 영상 신호에 의해 자동으로 생성되는 제어 신호 또는 사용자의 조작에 의해 수동으로 입력되는 제어 신호에 따라 촬상 소자(1518)를 제어할 수 있다.
촬상 소자(1518)의 노광 시간은 셔터(미도시)로 조절된다. 셔터(미도시)는 가리개를 이동시켜 빛의 입사를 조절하는 기계식 셔터와, 촬상 소자(1518)에 전기 신호를 공급하여 노광을 제어하는 전자식 셔터가 있다.
아날로그 신호 처리부(1520)는 촬상 소자(1518)로부터 공급된 아날로그 신호에 대하여, 노이즈 저감 처리, 게인 조정, 파형 정형화, 아날로그-디지털 변환 처리 등을 수행한다.
아날로그 신호 처리부(1520)에 의해 처리된 신호는 메모리(1530)를 거쳐 CPU/DSP(1570)에 입력될 수도 있고, 메모리(1530)를 거치지 않고 CPU/DSP(1570)에 입력될 수도 있다. 여기서 메모리(1530)는 촬영 장치(100a)의 메인 메모리로서 동작하고, CPU/DSP(1570)가 동작 중에 필요한 정보를 임시로 저장한다. 프로그램 저장부(1530)는 촬영 장치(100a)를 구동하는 운영 시스템, 응용 시스템 등의 프로그램을 저장한다.
아울러, 촬영 장치(100a)는 이의 동작 상태 또는 촬영 장치(100a)에서 촬영한 영상 정보를 표시하도록 표시부(1564)를 포함한다. 표시부(1564)는 시각적인 정보 및/또는 청각적인 정보를 사용자에게 제공할 수 있다. 시각적인 정보를 제공하기 위해 표시부(1564)는 예를 들면, 액정 디스플레이 패널(LCD), 유기 발광 디스플레이 패널 등으로 이루어질 수 있다. 또한, 표시부(1564)는 터치 입력을 인식할 수 있는 터치스크린일 수 있다.
표시 구동부(1562)는 표시부(1564)에 구동 신호를 제공한다.
CPU/DSP(1570)는 입력되는 영상 신호를 처리하고, 이에 따라 또는 외부 입력 신호에 따라 각 구성부들을 제어한다. CPU/DSP(1570)는 입력된 영상 데이터에 대해 노이즈를 저감하고, 감마 보정(Gamma Correction), 색필터 배열보간(color filter array interpolation), 색 매트릭스(color matrix), 색보정(color correction), 색 향상(color enhancement) 등의 화질 개선을 위한 영상 신호 처리를 수행할 수 있다. 또한, 화질 개선을 위한 영상 신호 처리를 하여 생성한 영상 데이터를 압축 처리하여 영상 파일을 생성할 수 있으며, 또는 상기 영상 파일로부터 영상 데이터를 복원할 수 있다. 영상의 압축형식은 가역 형식 또는 비가역 형식이어도 된다. 적절한 형식의 예로서, 정지 영상에 경우, JPEG(Joint Photographic Experts Group)형식이나 JPEG 2000 형식 등으로 변환도 가능하다. 또한, 동영상을 기록하는 경우, MPEG(Moving Picture Experts Group) 표준에 따라 복수의 프레임들을 압축하여 동영상 파일을 생성할 수 있다. 영상 파일은 예를 들면 Exif(Exchangeable image file format) 표준에 따라 생성될 수 있다.
CPU/DSP(1570)로부터 출력된 이미지 데이터는 메모리(1530)를 통하여 또는 직접 저장/판독 제어부(1540)에 입력되는데, 저장/판독 제어부(1540)는 사용자로부터의 신호에 따라 또는 자동으로 영상 데이터를 데이터 저장부(1542)에 저장한다. 또한 저장/판독 제어부(1540)는 데이터 저장부(1542)에 저장된 영상 파일로부터 영상에 관한 데이터를 판독하고, 이를 메모리(1530)를 통해 또는 다른 경로를 통해 표시 구동부에 입력하여 표시부(1564)에 이미지가 표시되도록 할 수도 있다. 데이터 저장부(1542)는 탈착 가능한 것일 수도 있고 촬영 장치(100a)에 영구 장착된 것일 수 있다.
또한, CPU/DSP(1570)에서는 불선명 처리, 색채 처리, 블러 처리, 에지 강조 처리, 영상 해석 처리, 영상 인식 처리, 영상 이펙트 처리 등도 행할 수 있다. 영상 인식 처리로 얼굴 인식, 장면 인식 처리 등을 행할 수 있다. 아울러, CPU/DSP(1570)에서는 표시부(1564)에 디스플레이하기 위한 표시 영상 신호 처리를 행할 수 있다. 예를 들어, 휘도 레벨 조정, 색 보정, 콘트라스트 조정, 윤곽 강조 조정, 화면 분할 처리, 캐릭터 영상 등 생성 및 영상의 합성 처리 등을 행할 수 있다. 상기 CPU/DSP(1570)는 외부 모니터와 연결되어, 외부 모니터에 디스플레이 되도록 소정의 영상 신호 처리를 행할 수 있으며, 이렇게 처리된 영상 데이터를 전송하여 상기 외부 모니터에서 해당 영상이 디스플레이 되도록 할 수 있다.
또한 CPU/DSP(1570)는 프로그램 저장부(1530)에 저장된 프로그램을 실행하거나, 별도의 모듈을 구비하여, 오토 포커싱, 줌 변경, 초점 변경, 자동 노출 보정 등을 제어하기 위한 제어 신호를 생성하여, 조리개 구동부(1515), 렌즈 구동부(1512), 및 촬상 소자 제어부(1519)에 제공하고, 셔터, 스트로보 등 촬영 장치(100a)에 구비된 구성 요소들의 동작을 총괄적으로 제어할 수 있다.
조작부(1580)는 사용자가 제어 신호를 입력할 수 있는 곳이다. 조작부(1580)는 정해진 시간 동안 촬상 소자(1518)를 빛에 노출하여 사진을 촬영하도록 하는 셔터-릴리즈 신호를 입력하는 셔터-릴리즈 버튼, 전원의 온-오프를 제어하기 위한 제어 신호를 입력하는 전원 버튼, 입력에 따라 화각을 넓어지게 하거나 화각을 좁아지게 줌 버튼, 모드 선택 버튼, 기타 촬영 설정값 조절 버튼 등 다양한 기능 버튼들을 포함할 수 있다. 조작부(1580)는 버튼, 키보드, 터치 패드, 터치스크린, 원격 제어기 등과 같이 사용자가 제어 신호를 입력할 수 있는 어떠한 형태로 구현되어도 무방하다.
도 1의 촬영부(110)는 도 15의 촬영부(1510)에 대응될 수 있다. 도 1의 영상 처리부(120)는 도 15의 CPU/SDP(1570)에 대응될 수 있다.
도 15에 도시된 촬영 장치(100a)는 본 발명의 일 실시예이며, 본 발명의 실시예들에 따른 촬영 장치(100a)는 도 15에 도시된 촬영 장치(100a)에 한정되지 않음은 물론이다.
한편, 본 발명은 컴퓨터 판독가능 저장매체에 컴퓨터가 판독 가능한 코드를 저장하여 구현하는 것이 가능하다. 상기 컴퓨터 판독가능 저장매체는 컴퓨터 시스템에 의하여 판독될 수 있는 데이터가 저장되는 모든 종류의 저장 장치를 포함한다.
상기 컴퓨터가 판독 가능한 코드는, 상기 컴퓨터 판독가능 저장매체로부터 프로세서에 의하여 독출되어 실행될 때, 본 발명에 따른 촬영 장치 제어 방법을 구현하는 단계들을 수행하도록 구성된다. 상기 컴퓨터가 판독 가능한 코드는 다양한 프로그래밍 언어들로 구현될 수 있다. 그리고 본 발명의 실시예들을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 통상의 기술자들에 의하여 용이하게 프로그래밍될 수 있다.
컴퓨터 판독가능 저장매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다. 또한, 컴퓨터 판독가능 저장매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행되는 것도 가능하다.
이상과 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
100, 100a: 촬영 장치
110: 촬영부
120, 120a: 영상 처리부
1310: 렌즈 쉐이딩 보정부
1320: 왜곡 보정부

Claims (35)

  1. 촬영 장치에서 설정된 제1 노출 시간에 따라 제1 영상을 캡쳐하고, 조명의 플리커 주파수에 따라 결정된 제2 노출 시간에 따라 제2 영상을 캡쳐하는 촬영부; 및
    상기 제1 영상 및 상기 제2 영상을 이용하여, 플리커를 제거하는 영상 처리부를 포함하는 촬영 장치.
  2. 제1항에 있어서,
    상기 제2 노출 시간은, N/2f이고, N은 자연수, f는 상기 조명에 대한 교류 전원의 주파수인, 촬영 장치.
  3. 제1항에 있어서,
    상기 촬영부는, 프리뷰 영상으로부터 상기 제2 영상을 캡쳐하는, 촬영 장치.
  4. 제3항에 있어서,
    상기 제2 영상은, 상기 제1 영상을 캡쳐하기 전의 상기 프리뷰 영상의 마지막 프레임에 해당하는 영상인, 촬영 장치.
  5. 제3항에 있어서,
    상기 프리뷰 영상의 프레임 레이트는, 상기 조명의 플리커 주파수에 따라 결정되는, 촬영 장치.
  6. 제1항에 있어서,
    상기 촬영부는, 셔터 릴리즈 신호가 입력되었을 때 상기 제1 영상과 상기 제2 영상을 연속 촬영하는, 촬영 장치.
  7. 제1항에 있어서,
    상기 촬영부는, 라인 단위로 노광을 제어하는 전자 셔터 방식으로 동작하는, 촬영 장치.
  8. 제1항에 있어서,
    상기 영상 처리부는, 상기 제1 영상과 상기 제2 영상의 픽셀 값의 비율을 산출함에 의해 보정 게인을 결정하고, 상기 보정 게인을 상기 제1 영상의 픽셀 값에 적용하여, 플리커를 제거하는, 촬영 장치.
  9. 제8항에 있어서,
    상기 영상 처리부는, 상기 보정 게인을 결정하기 전에,
    상기 제1 영상과 상기 제2 영상의 픽셀 값을 비교하여, 상기 제1 영상에서 플리커가 발생하지 않은 제1 영역을 결정하고,
    상기 제1 영상과 상기 제2 영상의 상기 제1 영역의 픽셀 값의 차를 산출하고,
    상기 제1 영역의 픽셀 값의 차를 상기 제1 영상 및 상기 제2 영상 중 적어도 하나에 적용하여, 상기 제1 영상과 상기 제2 영상의 픽셀 값의 차이의 오프셋을 제거하는, 촬영 장치.
  10. 제8항에 있어서, 상기 영상 처리부는,
    색상 성분별로 상기 픽셀 값의 비율을 산출하여 상기 보정 게인을 결정하고,
    색상 성분별로 상기 보정 게인을 상기 제1 영상의 픽셀 값에 적용하는, 촬영 장치.
  11. 제1항에 있어서,
    상기 영상 처리부는, 상기 제1 영상 및 상기 제2 영상의 블록별로 상기 플리커를 제거하고,
    상기 블록은 복수의 픽셀 라인을 포함하는 블록인, 촬영 장치.
  12. 제1항에 있어서,
    상기 영상 처리부는, 상기 제1 영상 및 상기 제2 영상의 픽셀 별로 상기 플리커를 제거하는, 촬영 장치.
  13. 제1항에 있어서,
    상기 영상 처리부는, 렌즈 쉐이딩(shading) 현상을 보정하는 처리와 함께 상기 플리커를 제거하는 처리를 수행하는, 촬영 장치.
  14. 제1항에 있어서,
    상기 제2 영상은 상기 제1 영상보다 해상도가 낮은, 촬영 장치.
  15. 제1항에 있어서,
    상기 촬영부는, 수동 모드에서 상기 제1 영상을 캡쳐하고,
    상기 제1 노출 시간은 사용자에 의해 설정된 노출 시간인, 촬영 장치.
  16. 제1항에 있어서,
    상기 촬영부는, 복수의 제1 영상들을 연속 촬영하고,
    상기 영상 처리부는, 상기 복수의 제1 영상들에 대해 한 개의 상기 제2 영상을 이용하여 플리커를 제거하는, 촬영 장치.
  17. 제1항에 있어서,
    상기 영상 처리부는, 상기 제1 영상 및 상기 제2 영상을 비교하여, 플리커 발생 여부를 판단하고, 플리커가 발생한 경우, 상기 플리커를 제거하는 동작을 수행하는, 촬영 장치.
  18. 촬영 장치에서 설정된 제1 노출 시간에 따라 제1 영상을 캡쳐하는 단계;
    조명의 플리커 주파수에 따라 결정된 제2 노출 시간에 따라 제2 영상을 캡쳐하는 단계; 및
    상기 제1 영상 및 상기 제2 영상을 이용하여, 플리커를 제거하는 단계를 포함하는, 촬영 장치 제어 방법.
  19. 제18항에 있어서,
    상기 제2 노출 시간은, N/2f이고, N은 자연수, f는 상기 조명에 대한 교류 전원의 주파수인, 촬영 장치 제어 방법.
  20. 제18항에 있어서,
    상기 제2 영상을 캡쳐하는 단계는, 프리뷰 영상으로부터 상기 제2 영상을 캡쳐하는 단계를 포함하는, 촬영 장치 제어 방법.
  21. 제20항에 있어서,
    상기 제2 영상은, 상기 제1 영상을 캡쳐하기 전의 상기 프리뷰 영상의 마지막 프레임에 해당하는 영상인, 촬영 장치 제어 방법.
  22. 제20항에 있어서,
    상기 프리뷰 영상의 프레임 레이트는, 상기 조명의 플리커 주파수에 따라 결정되는, 촬영 장치 제어 방법.
  23. 제18항에 있어서,
    상기 제1 영상을 캡쳐하는 단계와 상기 제2 영상을 캡쳐하는 단계는, 셔터 릴리즈 신호가 입력되었을 때 연속 촬영을 함에 의해 수행되는, 촬영 장치 제어 방법.
  24. 제18항에 있어서,
    상기 촬영 장치는, 라인 단위로 노광을 제어하는 전자 셔터 방식으로 동작하는, 촬영 장치 제어 방법.
  25. 제18항에 있어서, 상기 플리커를 제거하는 단계는,
    상기 제1 영상과 상기 제2 영상의 픽셀 값의 비율을 산출함에 의해 보정 게인을 결정하는 단계; 및
    상기 보정 게인을 상기 제1 영상의 픽셀 값에 적용하여, 플리커를 제거하는 단계를 포함하는, 촬영 장치 제어 방법.
  26. 제25항에 있어서, 상기 플리커를 제거하는 단계는, 상기 보정 게인을 결정하는 단계 전에,
    상기 제1 영상과 상기 제2 영상의 픽셀 값을 비교하여, 상기 제1 영상에서 플리커가 발생하지 않은 제1 영역을 결정하는 단계;
    상기 제1 영상과 상기 제2 영상의 상기 제1 영역의 픽셀 값의 차를 산출하는 단계; 및
    상기 제1 영역의 픽셀 값의 차를 상기 제1 영상 및 상기 제2 영상 중 적어도 하나에 적용하여, 상기 제1 영상과 상기 제2 영상의 픽셀 값의 차이의 오프셋을 제거하는 단계를 더 포함하는, 촬영 장치 제어 방법.
  27. 제25항에 있어서,
    상기 보정 게인을 결정하는 단계는, 색상 성분별로 상기 픽셀 값의 비율을 산출하여 상기 보정 게인을 결정하고,
    상기 플리커를 제거하는 단계는, 색상 성분별로 상기 보정 게인을 상기 제1 영상의 픽셀 값에 적용하는, 촬영 장치 제어 방법.
  28. 제18항에 있어서,
    상기 플리커를 제거하는 단계는, 상기 제1 영상 및 상기 제2 영상의 블록별로 수행되고, 상기 블록은 복수의 픽셀 라인을 포함하는 블록인, 촬영 장치 제어 방법.
  29. 제18항에 있어서,
    상기 플리커를 제거하는 단계는 상기 제1 영상 및 상기 제2 영상의 픽셀 별로 수행되는, 촬영 장치 제어 방법.
  30. 제18항에 있어서,
    상기 플리커를 제거하는 단계는, 렌즈 쉐이딩(shading) 현상을 보정하는 처리와 함께 수행되는, 촬영 장치 제어 방법.
  31. 제18항에 있어서,
    상기 제2 영상은 상기 제1 영상보다 해상도가 낮은, 촬영 장치 제어 방법.
  32. 제18항에 있어서,
    상기 제1 영상을 캡쳐하는 단계는, 수동 모드에서 수행되고,
    상기 제1 노출 시간은 사용자에 의해 설정된 노출 시간인, 촬영 장치 제어 방법.
  33. 제18항에 있어서,
    상기 제1 영상을 캡쳐하는 단계는, 복수의 제1 영상들을 연속 촬영하는 단계를 포함하고,
    상기 플리커 발생 여부를 판단하는 단계 및 상기 플리커를 제거하는 단계는 상기 복수의 제1 영상들에 대해 한 개의 상기 제2 영상을 이용하여 수행되는, 촬영 장치 제어 방법.
  34. 제18항에 있어서,
    상기 촬영 장치 제어 방법은, 상기 제1 영상 및 상기 제2 영상을 비교하여, 플리커 발생 여부를 판단하는 단계를 더 포함하고,
    상기 플리커를 제거하는 단계는, 플리커가 발생한 경우에 수행되는, 촬영 장치 제어 방법.
  35. 프로세서에 의해 독출되어 수행되었을 때, 제18항 내지 제34항 중 어느 한 항에 기재된 촬영 장치 제어 방법을 수행하는 컴퓨터 프로그램 코드들을 저장하는 컴퓨터 판독가능 기록매체.
KR1020140032297A 2014-03-19 2014-03-19 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 기록매체 KR20150109177A (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020140032297A KR20150109177A (ko) 2014-03-19 2014-03-19 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 기록매체
EP14885993.7A EP3120539A4 (en) 2014-03-19 2014-11-18 Photographing apparatus, method of controlling the same, and computer-readable recording medium
PCT/KR2014/011064 WO2015141925A1 (en) 2014-03-19 2014-11-18 Photographing apparatus, method of controlling the same, and computer-readable recording medium
CN201480076694.5A CN106063249A (zh) 2014-03-19 2014-11-18 摄像装置及其控制方法以及计算机可读记录介质
US15/127,413 US20170134634A1 (en) 2014-03-19 2014-11-18 Photographing apparatus, method of controlling the same, and computer-readable recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140032297A KR20150109177A (ko) 2014-03-19 2014-03-19 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 기록매체

Publications (1)

Publication Number Publication Date
KR20150109177A true KR20150109177A (ko) 2015-10-01

Family

ID=54144855

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140032297A KR20150109177A (ko) 2014-03-19 2014-03-19 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 기록매체

Country Status (5)

Country Link
US (1) US20170134634A1 (ko)
EP (1) EP3120539A4 (ko)
KR (1) KR20150109177A (ko)
CN (1) CN106063249A (ko)
WO (1) WO2015141925A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180090695A (ko) * 2017-02-03 2018-08-13 삼성전자주식회사 복수의 이미지들간의 변화에 기반하여 동영상을 촬영하는 전자 장치 및 그 제어 방법
US10122937B2 (en) 2016-03-28 2018-11-06 Samsung Electronics Co., Ltd. Method and apparatus for processing image obtained by camera

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6566737B2 (ja) * 2015-06-18 2019-08-28 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
JP6727933B2 (ja) * 2016-06-01 2020-07-22 キヤノン株式会社 撮像装置及び制御方法
US10244182B2 (en) 2016-06-23 2019-03-26 Semiconductor Components Industries, Llc Methods and apparatus for reducing spatial flicker artifacts
DE102016122934A1 (de) * 2016-11-28 2018-06-14 SMR Patents S.à.r.l. Bildgebungssystem für ein Fahrzeug und Verfahren zum Erhalten eines superaufgelösten Antiflimmer-Bildes
JP7074136B2 (ja) * 2017-06-30 2022-05-24 ソニーグループ株式会社 撮像装置とフリッカー補正方法およびプログラム
GB2565590B (en) * 2017-08-18 2021-06-02 Apical Ltd Method of flicker reduction
US11108970B2 (en) * 2019-07-08 2021-08-31 Samsung Electronics Co., Ltd. Flicker mitigation via image signal processing
US11043015B2 (en) * 2019-08-12 2021-06-22 Adobe Inc. Generating reflections within images
WO2021046715A1 (zh) * 2019-09-10 2021-03-18 深圳市汇顶科技股份有限公司 曝光时间计算方法、装置及存储介质
CN110855901B (zh) * 2019-11-28 2021-06-18 维沃移动通信有限公司 摄像头的曝光时间控制方法及电子设备
CN112367459B (zh) * 2020-10-23 2022-05-13 深圳市锐尔觅移动通信有限公司 图像处理方法、电子装置及非易失性计算机可读存储介质
CN112738414B (zh) * 2021-04-06 2021-06-29 荣耀终端有限公司 一种拍照方法、电子设备及存储介质
CN115529419B (zh) * 2021-06-24 2024-04-16 荣耀终端有限公司 一种多人工光源下的拍摄方法及相关装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7920175B2 (en) * 2005-01-13 2011-04-05 Canon Kabushiki Kaisha Electronic still camera performing composition of images and image capturing method therefor
KR100639111B1 (ko) * 2005-03-14 2006-10-30 주식회사 코아로직 이미지 센서의 노출 조절 장치 및 그의 조절 방법
US8068148B2 (en) * 2006-01-05 2011-11-29 Qualcomm Incorporated Automatic flicker correction in an image capture device
TW200740210A (en) * 2006-04-06 2007-10-16 Winbond Electronics Corp A method of image blurring reduction and a camera
JP2009004845A (ja) * 2007-06-19 2009-01-08 Panasonic Corp 撮像装置、撮像方法、プログラム、および集積回路
JP2009010836A (ja) * 2007-06-29 2009-01-15 Panasonic Corp 撮像装置、撮像方法、プログラム、および集積回路
TWI351219B (en) * 2007-09-28 2011-10-21 Altek Corp Image capturing apparatus with image-compensating function and method for compensating image thereof
JP4907611B2 (ja) * 2008-07-29 2012-04-04 京セラ株式会社 撮像装置、フリッカー抑制方法、及びフリッカー抑制プログラム
US20110255786A1 (en) * 2010-04-20 2011-10-20 Andrew Hunter Method and apparatus for determining flicker in the illumination of a subject
JP2012010105A (ja) * 2010-06-24 2012-01-12 Sony Corp 画像処理装置、撮像装置、画像処理方法、およびプログラム
ES2726775T3 (es) * 2010-09-09 2019-10-09 Red Com Llc Aparato y método para reducir o evitar el aliasing temporal en cámaras cinematográficas
JP2013165439A (ja) * 2012-02-13 2013-08-22 Sony Corp フラッシュバンド補正装置、フラッシュバンド補正方法及び撮像装置
JP2013219708A (ja) * 2012-04-12 2013-10-24 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP6041593B2 (ja) * 2012-09-14 2016-12-14 キヤノン株式会社 固体撮像装置
US9979896B2 (en) * 2013-12-04 2018-05-22 Sony Semiconductor Solutions Corporation Image processing apparatus, image processing method, electronic equipment and program

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10122937B2 (en) 2016-03-28 2018-11-06 Samsung Electronics Co., Ltd. Method and apparatus for processing image obtained by camera
KR20180090695A (ko) * 2017-02-03 2018-08-13 삼성전자주식회사 복수의 이미지들간의 변화에 기반하여 동영상을 촬영하는 전자 장치 및 그 제어 방법

Also Published As

Publication number Publication date
US20170134634A1 (en) 2017-05-11
EP3120539A4 (en) 2017-10-18
EP3120539A1 (en) 2017-01-25
CN106063249A (zh) 2016-10-26
WO2015141925A1 (en) 2015-09-24

Similar Documents

Publication Publication Date Title
KR20150109177A (ko) 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 기록매체
TWI508555B (zh) 用於進行影像合成的影像處理設備和影像處理方法
US8311362B2 (en) Image processing apparatus, imaging apparatus, image processing method and recording medium
KR101303410B1 (ko) 촬상장치 및 촬상방법
US20040041919A1 (en) Digital camera
US20120127336A1 (en) Imaging apparatus, imaging method and computer program
US9071766B2 (en) Image capturing apparatus and control method thereof
US8982230B2 (en) Image pickup apparatus including image adjustment processing for improving an appearance of an image, the image adjustment processing to be applied when it is determined that an imaging scene is finalized
TWI408955B (zh) 修正在攝影時之光源影響的影像修正裝置及其影像修正方法
JP5681589B2 (ja) 撮像装置及び画像処理方法
JP6108680B2 (ja) 撮像装置及びその制御方法、プログラム、並びに記憶媒体
US10762600B2 (en) Image processing apparatus, image processing method, and non-transitory computer-readable recording medium
JP5048599B2 (ja) 撮像装置
JP5387341B2 (ja) 撮像装置
US8982244B2 (en) Image capturing apparatus for luminance correction, a control method therefor, and a recording medium
JP2000069488A (ja) デジタルカメラおよび画像信号処理用記憶媒体
JP2015177510A (ja) カメラシステム、画像処理方法及びプログラム
JP2010213105A (ja) 撮像装置
JP2015050733A (ja) 露出制御装置、その制御方法、および制御プログラム、並びに撮像装置
JP2008228185A (ja) 撮像装置
JP6157274B2 (ja) 撮像装置、情報処理方法及びプログラム
CN114697483B (zh) 基于压缩感知白平衡算法的屏下摄像装置及方法
US11470258B2 (en) Image processing apparatus and image processing method to perform image processing on divided areas
JP2011125051A (ja) 画像データ生成装置、画像データ生成方法
JP2010286577A (ja) 電子カメラ

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application