KR101916355B1 - 듀얼-렌즈 장치의 촬영 방법, 및 듀얼-렌즈 장치 - Google Patents

듀얼-렌즈 장치의 촬영 방법, 및 듀얼-렌즈 장치 Download PDF

Info

Publication number
KR101916355B1
KR101916355B1 KR1020167017019A KR20167017019A KR101916355B1 KR 101916355 B1 KR101916355 B1 KR 101916355B1 KR 1020167017019 A KR1020167017019 A KR 1020167017019A KR 20167017019 A KR20167017019 A KR 20167017019A KR 101916355 B1 KR101916355 B1 KR 101916355B1
Authority
KR
South Korea
Prior art keywords
image
lens
imaging
algorithm
environment
Prior art date
Application number
KR1020167017019A
Other languages
English (en)
Other versions
KR20160090379A (ko
Inventor
청 두
빈 덩
웨이 루오
Original Assignee
후아웨이 디바이스 (둥관) 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후아웨이 디바이스 (둥관) 컴퍼니 리미티드 filed Critical 후아웨이 디바이스 (둥관) 컴퍼니 리미티드
Publication of KR20160090379A publication Critical patent/KR20160090379A/ko
Application granted granted Critical
Publication of KR101916355B1 publication Critical patent/KR101916355B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B19/00—Cameras
    • G03B19/02—Still-picture cameras
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H04N5/232—

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Cameras In General (AREA)
  • Exposure Control For Cameras (AREA)

Abstract

본 발명의 실시예는 듀얼-렌즈 장치(dual-lens device)의 촬영 방법, 및 듀얼-렌즈 장치을 제공한다. 상기 듀얼-렌즈 장치는 상기 듀얼-렌즈 장치의 동일한 면에 배열된 제1 렌즈 및 제2 렌즈를 포함한다. 상기 촬영 방법은, 상기 제1 렌즈에 대응하는 제1 이미지 센서에 의해 수집되는 제1 이미지를 획득하는 단계; 상기 제1 이미지의 시나리오를 식별하여 촬영 환경을 결정하는 단계; 상기 촬영 환경에 따라 상기 제2 렌즈에 대응하는 제2 ISP 파라미터를 결정하는 단계; 상기 제2 ISP 파라미터를 이용하여 상기 제2 렌즈에 대응하는 제2 이미지 센서에 의해 수집되는 제2 이미지를 획득하는 단계; 및 상기 제2 이미지에 따라 미리보기 이미지를 생성하는 단계를 포함한다. 본 발명의 실시예에 따르면, 촬영 환경이 상기 듀얼-렌즈 장치의 하나의 렌즈에 의해 수집된 이미지를 이용하여 결정되고, 다른 렌즈에 대응하는 ISP 파라미터가 결정된 촬영 환경에 따라 결정되며, 그 다음에 미리보기 이미지가 상기 다른 렌즈에 의해 수집된 이미지를 이용하여 생성된다. 2개의 렌즈를 이용하여 각각 촬영 환경을 결정하고 미리보기 이미지를 획득하는 방식으로, 미리보기 이미지 상의 픽처 플리커를 방지할 수 있다.

Description

듀얼-렌즈 장치의 촬영 방법, 및 듀얼-렌즈 장치{PHOTOGRAPHING METHOD OF DUAL-LENS DEVICE, AND DUAL-LENS DEVICE}
본 발명의 실시예는 이미지 프로세싱 분야에 관한 것으로, 보다 상세하게는 듀얼-렌즈 장치의 촬영 방법, 및 듀얼-렌즈 장치에 관한 것이다.
스마트 기기가 대중화됨에 따라, 카메라 기능이 탑재된 장치의 수가 증가하고 있다. 일반적으로, 단일-렌즈 카메라가 장치의 후면에 배치되거나, 또는 또 다른 단일-렌즈 카메라가 장치의 전면에도 배치된다.
일반적인 카메라 기능은 이미지 미리보기(preview image function) 기능, 즉, 렌즈에 의해 현재 획득되는 이미지가 장치의 내장된 디스플레이 또는 외부 디스플레이에 동적으로 표시되는 기능을 포함한다. 예를 들어, 사용자가 현재 미리보기 이미지에 비교적 만족하는 경우, 사용자는 특정 버튼, 예컨대, 장치 상에 배치된 하드웨어 버튼 또는 카메라 애플리케이션 상에 시뮬레이션된 버튼을 눌러서 장치에게 촬영 동작 명령을 제공할 수 있다. 촬영 동작 명령이 수신되는 경우, 장치는 현재 미리보기 이미지에 대한 프로세싱을 수행하여 픽처(picture)를 생성한다.
촬영 품질을 개선하기 위하여, 기존의 단일-렌즈 카메라는 시나리오를 식별할 수 있다. 예를 들어, 시나리오 식별 알고리즘을 이용하여 야경(night scene) 또는 역광(backlit scene)이 검출되는 경우, 단일-렌즈 카메라는, 촬영 효과를 개선하기 위하여 노출 시간을 늘리거나 감광 속도를 높여서 밝기의 증가를 구현할 수 있다. 하지만, 야경이나 역광에서의 밝기가 단일-렌즈 카메라에 의해 증가된 후, 미리보기 이미지 상의 픽처 플리커가 발생하기 쉽다. 구체적으로, 밝기가 증가된 후 획득되는 파라미터에 따라 단일-렌즈 카메라가 새로운 미리보기 이미지를 획득한 후에, 단일-렌즈 카메라는 현재 촬영 환경이 여전히 야경 또는 역광인지 여부를 새로운 미리보기 이미지에 따라 판정한다. 이때, 미리보기 이미지의 밝기가 이미 증가되었고 단일-렌즈 카메라가 현재 촬영 환경이 더 이상 야경이나 역광이 아니라고 결정할 수 있기 때문에, 촬영 파라미터는 정상 값으로 복원되고(즉, 밝기가 감소됨), 이에 따라 다음-프레임의 미리보기 이미지는 다시 어두워진다. 밝기의 반복적인 증가 및 감소는 미리보기 픽처 상의 픽처 플리커를 유발한다.
본 발명의 실시예는 단일-렌즈 카메라의 미리보기 이미지 상의 픽처 플리커의 문제를 해결할 수 있는 듀얼-렌즈 장치의 촬영 방법, 및 듀얼-렌즈 장치를 제공한다.
제1 양태에 따라, 듀얼-렌즈 장치의 촬영 방법이 제공된다. 상기 듀얼-렌즈 장치는 듀얼-렌즈 장치의 동일한 면에 배열된 제1 렌즈 및 제2 렌즈를 포함하고, 상기 촬영 방법은 상기 제1 렌즈에 대응하는 제1 이미지 센서에 의해 수집되는 제1 이미지를 획득하는 단계; 상기 제1 이미지의 시나리오를 식별하여 촬영 환경을 결정하는 단계; 상기 촬영 환경에 따라 상기 제2 렌즈에 대응하는 제2 이미지 신호 프로세서(Image Signal Processor, ISP) 파라미터를 결정하는 단계; 상기 제2 ISP 파라미터를 이용하여 상기 제2 렌즈에 대응하는 제2 이미지 센서에 의해 수집되는 제2 이미지를 획득하는 단계; 및 상기 제2 이미지에 따라 미리보기 이미지를 생성하는 단계를 포함한다.
제1 양태를 참조하여, 제1 가능한 구현 방식에서, 상기 촬영 방법은, 상기 촬영 환경에 따라 촬영 알고리즘을 결정하는 단계, 및 촬영 동작 명령이 수신되는 때 상기 촬영 알고리즘을 이용하여 상기 미리보기 이미지에 대한 프로세싱을 수행하고 픽처(picture)를 생성하는 단계를 더 포함한다.
제1 양태 또는 제1 양태의 제1 가능한 구현 방식을 참조하여, 제2 가능한 구현 방식에서, 상기 제1 이미지의 시나리오를 식별하여 촬영 환경을 결정하는 단계는, 상기 제1 이미지 상의 중심의 밝기의 평균값과 상기 제1 이미지의 주변의 밝기의 평균값 간의 차이가 제1 임계값보다 큰 경우, 상기 제1 렌즈에 대응하는 제1 ISP 파라미터를 조절하는 단계 - 상기 제1 렌즈에 대응하는 제1 ISP 파라미터를 조절하는 단계는 상기 제1 렌즈의 노출 시간(exposure time)을 늘리는 것(prolonging)을 포함함 -; 상기 제1 ISP 파라미터를 이용하여 상기 제1 이미지 센서에 의해 수집되는 제3 이미지를 획득하는 단계 - 상기 제3 이미지는 상기 제1 ISP 파라미터가 조절된 후 상기 제1 이미지의 다음-프레임 이미지(next-frame image)임 -; 및 상기 제1 이미지 및 상기 제3 이미지에 따라 상기 촬영 환경이 역광(backlit scene)인지 여부를 판정하는 단계를 포함한다.
제1 양태의 제2 가능한 구현 방식을 참조하여, 제3 가능한 구현 방식에서, 상기 제1 이미지 및 상기 제3 이미지에 따라 상기 촬영 환경이 역광인지 여부를 판정하는 단계는, 상기 제3 이미지 상의 중심의 밝기의 평균값과 상기 제1 이미지 상의 중심의 밝기의 평균값 간의 차이가 제2 임계값보다 큰 경우, 또는 상기 제3 이미지 상의 중심의 색포화도(color saturation)의 평균값과 상기 제1 이미지 상의 중심의 색포화도의 평균값 간의 차이가 제3 임계값보다 큰 경우, 상기 촬영 환경이 역광이라고 결정하는 단계를 포함한다.
제1 양태 또는 전술한 가능한 구현 방식 중 어느 하나를 참조하여, 제4 가능한 구현 방식에서, 상기 촬영 환경에 따라 상기 제2 렌즈에 대응하는 제2 ISP 파라미터를 결정하는 단계는, 상기 촬영 환경이 역광인 때 상기 제2 렌즈의 노출 시간을 늘리는 것 및/또는 상기 제2 렌즈의 감광 속도를 높이는 것(improving)를 포함한다.
제1 양태의 제1 가능한 구현 방식 내지 제1 양태의 제4 가능한 구현 방식 중 어느 하나를 참조하여, 제5 가능한 구현 방식에서, 상기 촬영 환경에 따라 촬영 알고리즘을 결정하는 단계는, 상기 촬영 환경이 역광인 때 상기 촬영 알고리즘을 부분적인 명암비 알고리즘(partial contrast ratio algorithm)으로서 결정하는 단계를 포함하고, 촬영 동작 명령이 수신되는 때 상기 촬영 알고리즘을 이용하여 상기 미리보기 이미지에 대한 프로세싱을 수행하고 픽처를 생성하는 단계는, 상기 촬영 동작 명령이 수신되는 때 상기 부분적인 명암비 알고리즘을 이용하여 상기 미리보기 이미지에 대한 프로세싱을 수행하고, 상기 부분적인 명암비 알고리즘의 파라미터를 조절하며, 픽처를 생성하는 단계를 포함한다.
제1 양태 또는 제1 양태의 제1 가능한 구현 방식을 참조하여, 제6 가능한 구현 방식에서, 상기 촬영 환경에 따라 상기 제2 렌즈에 대응하는 제2 ISP 파라미터를 결정하는 단계는, 상기 촬영 환경이 야경(night scene)인 때 상기 제2 렌즈의 노출 시간을 늘리는 것 및/또는 상기 제2 렌즈의 감광 속도를 높이는 것을 포함한다.
제1 양태의 제1 가능한 구현 방식 또는 제1 양태의 제6 가능한 구현 방식을 참조하여, 제7 가능한 구현 방식에서, 상기 촬영 환경에 따라 촬영 알고리즘을 결정하는 단계는, 상기 촬영 환경이 야경인 때 상기 촬영 알고리즘을 멀티프레임 잡음 제거 알고리즘(multiframe denoising algorithm)으로서 결정하는 단계를 포함하고, 촬영 동작 명령이 수신되는 때 상기 촬영 알고리즘을 이용하여 상기 미리보기 이미지에 대한 프로세싱을 수행하고 픽처를 생성하는 단계는, 상기 촬영 동작 명령이 수신되는 때 상기 멀티프레임 잡음 제거 알고리즘을 이용하여 상기 미리보기 이미지에 대한 프로세싱을 수행하고 픽처를 생성하는 단계를 포함한다.
제1 양태를 참조하여, 제8 가능한 구현 방식에서, 상기 촬영 방법은, 상기 촬영 환경이 네가티브 피드백 시나리오(negative feedback scenario)가 아닌 때 상기 제2 이미지 센서에 의해 수집되는 제2 이미지를 획득하고 상기 제2 이미지를 상기 미리보기 이미지로서 이용하는 단계, 및 촬영 동작 명령이 수신되는 때 상기 미리보기 이미지에 따라 픽처를 생성하는 단계를 더 포함한다.
제2 양태에 따라, 촬영 장치가 제공된다. 상기 촬영 장치는 제1 렌즈에 대응하는 제1 이미지 센서에 의해 수집되는 제1 이미지를 획득하도록 구성된 제1 획득부; 상기 제1 획득부에 의해 획득된 상기 제1 이미지의 시나리오를 식별하여 촬영 환경을 결정하도록 구성된 제1 결정부; 상기 제1 결정부에 의해 결정된 상기 촬영 환경에 따라 제2 렌즈에 대응하는 제2 ISP 파라미터를 결정하도록 구성된 제2 결정부; 상기 제2 결정부에 의해 결정된 상기 제2 ISP 파라미터를 이용하여 상기 제2 렌즈에 대응하는 제2 이미지 센서에 의해 수집되는 제2 이미지를 획득하도록 구성된 제2 획득부; 및 상기 제2 획득부에 의해 획득된 상기 제2 이미지에 따라 미리보기 이미지를 생성하도록 구성된 생성부를 포함한다. 여기서, 상기 제1 렌즈 및 상기 제2 렌즈는 동일한 면에 배열된다.
제2 양태를 참조하여, 제1 가능한 구현 방식에서, 상기 촬영 장치는, 상기 제1 결정부에 의해 결정된 상기 촬영 환경에 따라 촬영 알고리즘을 결정하도록 구성된 제3 결정부; 촬영 동작 명령을 수신하도록 구성된 수신부; 및 상기 수신부가 상기 촬영 동작 명령을 수신하는 때 상기 제3 결정부에 의해 결정된 상기 촬영 알고리즘을 이용하여 상기 미리보기 이미지에 대한 프로세싱을 수행하고 픽처를 생성하도록 구성된 제1 실행부를 더 포함한다.
제2 양태 또는 제2 양태의 제1 가능한 구현 방식을 참조하여, 제2 가능한 구현 방식에서, 상기 제1 결정부는, 상기 제1 이미지 상의 중심의 밝기의 평균값과 상기 제1 이미지의 주변의 밝기의 평균값 간의 차이가 제1 임계값보다 큰 경우, 상기 제1 렌즈에 대응하는 제1 ISP 파라미터를 조절하도록 구성된 조절 서브유닛(adjusting subunit) - 상기 제1 렌즈에 대응하는 제1 ISP 파라미터를 조절하는 것은 상기 제1 렌즈의 노출 시간을 늘리는 것을 포함함 -; 상기 제1 ISP 파라미터를 이용하여 상기 제1 이미지 센서에 의해 수집되는 제3 이미지를 획득하도록 구성된 획득 서브유닛(acquiring subunit) - 상기 제3 이미지는 상기 제1 ISP 파라미터가 조절된 후 상기 제1 이미지의 다음-프레임 이미지임 -; 및 상기 제1 획득부에 의해 획득된 상기 제1 이미지 및 상기 획득 서브유닛에 의해 획득된 상기 제3 이미지에 따라 상기 촬영 환경이 역광인지 여부를 판정하도록 구성된 판정 서브유닛(determining subunit)을 포함한다.
제2 양태의 제2 가능한 구현 방식을 참조하여, 제3 가능한 구현 방식에서, 상기 판정 서브유닛은 구체적으로, 상기 제3 이미지 상의 중심의 밝기의 평균값과 상기 제1 이미지 상의 중심의 밝기의 평균값 간의 차이가 제2 임계값보다 큰 경우, 또는 상기 제3 이미지 상의 중심의 색포화도의 평균값과 상기 제1 이미지 상의 중심의 색포화도의 평균값 간의 차이가 제3 임계값보다 큰 경우, 상기 촬영 환경이 역광이라고 결정하도록 구성된다.
제2 양태 또는 제2 양태의 전술한 가능한 구현 방식 중 어느 하나를 참조하여, 제4 가능한 구현 방식에서, 상기 제2 결정부는, 상기 제1 결정부에 의해 결정된 상기 촬영 환경이 역광인 때 상기 제2 렌즈의 노출 시간을 늘리거나 및/또는 상기 제2 렌즈의 감광 속도를 높이도록 구성된다.
제2 양태의 제1 가능한 구현 방식 내지 제2 양태의 제4 가능한 구현 방식 중 어느 하나를 참조하여, 제5 가능한 구현 방식에서, 상기 제3 결정부는, 상기 제1 결정부에 의해 결정된 상기 촬영 환경이 역광인 때 상기 촬영 알고리즘을 부분적인 명암비 알고리즘으로서 결정하도록 구성되고, 상기 수신부는 상기 촬영 동작 명령을 수신하도록 구성되며, 상기 제1 실행부는, 상기 수신부가 상기 촬영 동작 명령을 수신하는 때 상기 제3 결정부에 의해 결정된 상기 부분적인 명암비 알고리즘을 이용하여 상기 미리보기 이미지에 대한 프로세싱을 수행하고, 상기 부분적인 명암비 알고리즘의 파라미터를 조절하며, 픽처를 생성하도록 구성된다.
제2 양태 또는 제2 양태의 제1 가능한 구현 방식을 참조하여, 제6 가능한 구현 방식에서, 상기 제2 결정부는, 상기 제1 결정부에 의해 결정된 상기 촬영 환경이 야경인 때 상기 제2 렌즈의 노출 시간을 늘리거나 및/또는 상기 제2 렌즈의 감광 속도를 높이도록 구성된다.
제2 양태의 제1 가능한 구현 방식 또는 제2 양태의 제6 가능한 구현 방식을 참조하여, 제7 가능한 구현 방식에서, 상기 제3 결정부는, 상기 제1 결정부에 의해 결정된 상기 촬영 환경이 야경인 때 상기 촬영 알고리즘을 멀티프레임 잡음 제거 알고리즘으로서 결정하도록 구성되고, 상기 수신부는 상기 촬영 동작 명령을 수신하도록 구성되며, 제1 실행부는, 상기 수신부가 상기 촬영 동작 명령을 수신하는 때 상기 제3 결정부에 의해 결정된 상기 멀티프레임 잡음 제거 알고리즘을 이용하여 상기 미리보기 이미지에 대한 프로세싱을 수행하고 픽처를 생성하도록 구성된다.
제2 양태를 참조하여, 제8 가능한 구현 방식에서, 상기 촬영 장치는, 상기 제1 결정부에 의해 결정된 상기 촬영 환경이 네가티브 피드백 시나리오가 아닌 때 상기 제2 이미지 센서에 의해 수집되는 제2 이미지를 획득하고, 상기 제2 이미지를 상기 미리보기 이미지로서 이용하며, 촬영 동작 명령이 수신되는 때 상기 미리보기 이미지에 따라 픽처를 추가적으로 생성하도록 구성되는 제2 실행부를 더 포함한다.
제3 양태에 따라, 듀얼-렌즈 장치가 제공된다. 상기 듀얼-렌즈 장치는 프로세서, 디스플레이, 상기 듀얼-렌즈 장치의 동일한 면에 배열된 제1 렌즈 및 제2 렌즈, 상기 제1 렌즈에 대응하는 제1 이미지 센서, 및 상기 제2 렌즈에 대응하는 제2 이미지 센서를 포함한다. 여기서, 상기 제1 이미지 센서는 상기 제1 렌즈를 이용하여 제1 이미지를 수집하도록 구성되고, 상기 제2 이미지 센서는 상기 제2 렌즈를 이용하여 제2 이미지를 수집하도록 구성되며, 상기 프로세서는, 상기 제1 이미지 센서에 의해 수집되는 상기 제1 이미지를 획득하고, 상기 제1 이미지의 시나리오를 식별하여 촬영 환경을 결정하며, 상기 촬영 환경에 따라 상기 제2 렌즈에 대응하는 제2 ISP 파라미터를 결정하고, 상기 제2 ISP 파라미터를 이용하여 상기 제2 렌즈에 대응하는 제2 이미지 센서에 의해 수집되는 제2 이미지를 추가적으로 획득하며, 상기 제2 이미지에 따라 미리보기 이미지를 생성하도록 구성되고, 상기 디스플레이는 상기 프로세서에 의해 생성된 상기 미리보기 이미지를 표시하도록 구성된다.
제3 양태를 참조하여, 제1 가능한 구현 방식에서, 상기 프로세서는 추가적으로, 상기 촬영 환경에 따라 촬영 알고리즘을 결정하고, 촬영 동작 명령이 수신되는 때 상기 촬영 알고리즘을 이용하여 상기 미리보기 이미지에 대한 프로세싱을 수행하고 픽처를 생성하도록 구성된다.
제3 양태 또는 제2 양태의 제1 가능한 구현 방식을 참조하여, 제2 가능한 구현 방식에서, 상기 프로세서는, 상기 제1 이미지 상의 중심의 밝기의 평균값과 상기 제1 이미지의 주변의 밝기의 평균값 간의 차이가 제1 임계값보다 큰 경우, 상기 제1 렌즈에 대응하는 제1 ISP 파라미터를 조절하고 - 여기서, 상기 제1 렌즈에 대응하는 제1 ISP 파라미터를 조절하는 것은 상기 제1 렌즈의 노출 시간을 늘리는 것을 포함함 -; 상기 제1 ISP 파라미터를 이용하여 상기 제1 이미지 센서에 의해 수집되는 제3 이미지를 획득하며 - 여기서, 상기 제3 이미지는 상기 제1 ISP 파라미터가 조절된 후 상기 제1 이미지의 다음-프레임 이미지임 -; 상기 제1 이미지 및 상기 제3 이미지에 따라 상기 촬영 환경이 역광인지 여부를 판정하도록 구성된다.
제3 양태의 제2 가능한 구현 방식을 참조하여, 제3 가능한 구현 방식에서, 상기 프로세서는, 상기 제3 이미지 상의 중심의 밝기의 평균값과 상기 제1 이미지 상의 중심의 밝기의 평균값 간의 차이가 제2 임계값보다 큰 경우, 또는 상기 제3 이미지 상의 중심의 색포화도의 평균값과 상기 제1 이미지 상의 중심의 색포화도의 평균값 간의 차이가 제3 임계값보다 큰 경우, 상기 촬영 환경이 역광이라고 결정하도록 구성된다.
제3 양태 또는 전술한 가능한 구현 방식 중 어느 하나를 참조하여, 제4 가능한 구현 방식에서, 상기 프로세서는, 상기 촬영 환경이 역광인 때 상기 제2 렌즈의 노출 시간을 늘리거나 및/또는 상기 제2 렌즈의 감광 속도를 높이도록 구성된다.
제3 양태의 제4 가능한 구현 방식 내지 제3 양태의 제1 가능한 구현 방식 중 어느 하나를 참조하여, 제5 가능한 구현 방식에서, 상기 프로세서는 추가적으로, 상기 촬영 환경이 역광인 때 상기 촬영 알고리즘을 부분적인 명암비 알고리즘으로서 결정하고, 상기 촬영 동작 명령이 수신되는 때 상기 부분적인 명암비 알고리즘을 이용하여 상기 미리보기 이미지에 대한 프로세싱을 수행하고, 상기 부분적인 명암비 알고리즘의 파라미터를 조절하며, 픽처를 생성하도록 구성된다.
제3 양태 또는 제3 양태의 제1 가능한 구현 방식을 참조하여, 제6 가능한 구현 방식에서, 상기 프로세서는, 상기 프로세서는, 상기 촬영 환경이 야경인 때 상기 제2 렌즈의 노출 시간을 늘리거나 및/또는 상기 제2 렌즈의 감광 속도를 높이도록 구성된다.
제3 양태의 제1 가능한 구현 방식 또는 제3 양태의 제6 가능한 구현 방식를 참조하여, 제7 가능한 구현 방식에서, 상기 프로세서는 추가적으로, 상기 촬영 환경이 야경인 때 상기 촬영 알고리즘을 멀티프레임 잡음 제거 알고리즘으로서 결정하고, 상기 촬영 동작 명령이 수신되는 때 상기 멀티프레임 잡음 제거 알고리즘을 이용하여 상기 미리보기 이미지에 대한 프로세싱을 수행하고 픽처를 생성하도록 구성된다.
제3 양태를 참조하여, 제8 가능한 구현 방식에서, 상기 프로세서는 추가적으로, 상기 촬영 환경이 네가티브 피드백 시나리오가 아닌 때 상기 제2 이미지 센서에 의해 수집되는 제2 이미지를 획득하고 상기 제2 이미지를 상기 미리보기 이미지로서 이용하고, 촬영 동작 명령이 수신되는 때 상기 미리보기 이미지에 따라 픽처를 생성하도록 구성된다.
제3 양태 또는 전술한 가능한 구현 방식 중 어느 하나를 참조하여, 제9 가능한 구현 방식에서, 상기 프로세서는 제1 중앙처리장치(Central Processing Unit, CPU)이거나, 또는 상기 프로세서는 제1 이미지 신호 프로세서(image signal processor, ISP)이다.
제3 양태를 참조하여, 제10 가능한 구현 방식에서, 상기 프로세서는 제2 CPU 및 제2 ISP를 포함한다.
본 발명의 실시예에 따르면, 촬영 환경이 듀얼-렌즈 장치의 하나의 렌즈에 의해 수집된 이미지를 이용하여 결정되고, 다른 렌즈에 대응하는 ISP 파라미터가 결정된 촬영 환경에 따라 결정되며, 그 다음에 미리보기 이미지가 다른 렌즈에 의해 수집된 이미지를 이용하여 생성된다. 2개의 렌즈를 이용하여 각각 촬영 환경을 결정하고 미리보기 이미지를 획득하는 방식으로, 미리보기 이미지 상의 픽처 플리커를 방지할 수 있다.
본 발명의 실시예에서의 기술적 해결방안을 더욱 명확하게 설명하기 위해, 이하에서는 실시예 또는 종래기술의 설명에 필요한 첨부도면을 간략하게 소개한다. 명백히, 이하의 설명에서의 첨부 도면은 단지 본 발명의 일부 실시예를 나타낼 뿐이며, 당업자라면 창작적인 노력 없이도 이러한 첨부 도면으로부터 다른 도면을 도출해낼 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 듀얼-렌즈 장치의 촬영 방법의 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 촬영 장치의 블록도이다.
도 3은 본 발명의 일 실시예에 따른 듀얼-렌즈 장치의 블록도이다.
이하, 본 발명의 실시예의 첨부 도면을 참조하여 본 발명의 실시예의 과제 해결수단에 대해 명확하고 완전하게 설명한다. 명백히, 이하의 실시예는 본 발명의 실시예의 전부가 아니라 단지 일부일 뿐이다. 당업자가 창조적 노력 없이 본 발명의 실시예에 기초하여 획득하는 모든 다른 실시예는 본 출원의 보호 범위에 속할 것이다.
현재, 야경(night scene)이나 역광(backlit scene)의 밝기가 단일-렌즈 카메라에 의해 증가된 후, 픽처 플리커가 발생하기 쉽다. 또한, 단일-렌즈 카메라가 백라이트에 의해 생성된 역광과 시나리오 상의 중심이 본질적으로 대면적의 검은 물체인 비-역광(non-backlit scene)을 구별하기는 쉽지 않다. 이렇게, 전술한 비-역광이 역광으로 잘못 검출될 가능성이 있다. 이러한 경우, 자동 노출(Auto-Exposure, AE) 파라미터가 조절되거나, 노출 시간(exposure time)이 늘어나거나, 또는 감광 속도(film speed)의 수치 값이 증가되더라도(이는 반대로 배경의 노출 과다를 야기함), 검은 물체의 이미지 품질은 향상될 수 없다.
다음의 설명에서, 2개의 컴포넌트가 "연결"되어 있다고 할 때, 2개의 컴포넌트는 직접적으로 연결되어 있거나, 또는 하나 이상의 중간의 컴포넌트를 통해 간접적으로 연결되어 있을 수 있다는 것을 유의해야 한다. 2개의 컴포넌트를 연결하는 방식은 접촉 방식 또는 비-접촉(non-contact) 방식일 수 있다. 당업자라면 다음에 설명하는 예시적인 연결 방식에 대해 등가의 대체 또는 변경을 수행할 수 있고, 이러한 대체 또는 변경은 본 발명의 보호범위에 속한다.
도 1은 본 발명의 일 실시예에 따른 듀얼-렌즈 장치의 촬영 방법의 흐름도이다. 듀얼-렌즈 장치는 듀얼-렌즈 장치의 동일한 면에 배열된 제1 렌즈 및 제2 렌즈를 포함한다. 도 1에 도시된 촬영 방법은 다음의 단계를 포함한다:
101. 제1 렌즈에 대응하는 제1 이미지 센서(Image Sensor)에 의해 수집되는 제1 이미지를 획득한다.
102. 제1 이미지의 시나리오를 식별하여 촬영 환경을 결정한다.
103. 제2 렌즈에 대응하는 제2 ISP 파라미터를 촬영 환경에 따라 결정한다.
104. 제2 ISP 파라미터를 이용하여 제2 렌즈에 대응하는 제2 이미지 센서에 의해 수집되는 제2 이미지를 획득한다.
105. 제2 이미지에 따라 미리보기 이미지를 생성한다.
본 발명의 이 실시예에 따르면, 촬영 환경이 듀얼-렌즈 장치의 하나의 렌즈에 의해 수집된 이미지를 이용하여 결정되고, 다른 렌즈에 대응하는 ISP 파라미터가 결정된 촬영 환경에 따라 결정되며, 그 다음에 미리보기 이미지가 다른 렌즈에 의해 수집된 이미지를 이용하여 생성된다. 2개의 렌즈를 이용하여 각각 촬영 환경을 결정하고 미리보기 이미지를 획득하는 방식으로, 미리보기 이미지 상의 픽처 플리커를 방지할 수 있다.
본 발명의 이 실시예에서, 듀얼-렌즈 장치는 휴대폰 또는 휴대용 컴퓨터 등의 모바일 단말기 상에 설치된 듀얼-렌즈 카메라이거나, 다른 고정된 장치 상의 듀얼-렌즈 비디오 카메라이거나, 또는 다른 형태의 듀얼-렌즈 장치일 수 있고, 이는 본 발명에서 제한되지 않는다.
본 발명의 이 실시예에서의 듀얼-렌즈 장치에 사용된 2개의 렌즈는 동일한 면, 예를 들어, 장치의 후면이나 장치의 전면 상에 배열되거나, 또는 2개의 렌즈는 전면과 후면 상에 각각 배열될 수 있다. 2개의 렌즈는 하나의 렌즈를 회전시킴으로써 동일한 면에 위치될 수도 있다. 이러한 방식으로, 2개의 렌즈가 지향되는 시나리오 또는 환경이 근본적으로 유사하고, 따라서 촬영 환경이 하나의 렌즈를 이용하여 식별되어 다른 렌즈에 대응하는 ISP 파라미터를 조절할 수 있다.
본 발명의 이 실시예에서, ISP 파라미터는 노출 시간 및 감광 속도를 포함한다.
본 발명의 이 실시예에서, 듀얼-렌즈 장치의 제1 렌즈 및 제2 렌즈는 동일한 파라미터를 사용할 수 있거나, 또는 서로 다른 파라미터를 사용할 수 있다. 이러한 파라미터는 초점 길이(focal length) 파라미터, 개구부(aperture) 파라미터, 및 이미지 안정성(image stability) 파라미터를 포함할 수 있지만, 이에 제한되지 않는다. 또한, 본 발명의 이 실시예에서의 듀얼-렌즈 장치는 제2 렌즈를 주 렌즈로서 사용할 수 있고, 즉 미리보기 이미지는 제2 렌즈에 의해서만 수집되고 제1 렌즈는 내부의 프로세싱을 위해서만 존재하고, 이는 본 발명에서 제한되지 않는다.
본 발명의 이 실시예에서, 제2 ISP 파라미터는 제2 렌즈에 대응하는 ISP의 ISP 파라미터일 수 있다. 여기서, 제2 렌즈에 대응하는 ISP는 별도의 장치로서 사용되거나 프로세서에 집적될 수 있다. 제2 렌즈에 대응하는 제2 이미지 센서에 의해 수집되는 이미지의 품질은, 제2 ISP 파라미터를 조절함으로써 조절될 수 있다. 또한, 본 발명의 이 실시예에서 언급된 제2 렌즈의 감광 속도 및 제2 렌즈의 노출 시간은, 제2 렌즈에 대응하는 ISP의 감광 속도 및 제2 렌즈에 대응하는 ISP의 노출 시간을 지칭한다.
선택적으로, 일 실시예에서, 촬영 알고리즘이 촬영 환경에 따라 추가적으로 결정될 수 있고, 촬영 동작 명령이 수신되는 때 촬영 알고리즘을 이용하여 미리보기 이미지에 대한 프로세싱이 수행되고 픽처가 생성된다.
예를 들어, 단계 105에서의 미리보기 이미지는 듀얼-렌즈 장치의 표시 화면 상에 표시될 수 있으며, 이로써 사용자가 미리보기 이미지에 따라 촬영 동작을 수행할 수 있게 한다. 본 발명의 이 실시예에서의 촬영 동작은 사용자에 의해 수행되는 촬영 동작, 예컨대, 특정 버튼을 누르는 것일 수 있거나, 듀얼-렌즈 장치에 의해 미리 구성된 촬영 동작, 예컨대, 자동 촬영이 설정된 경우 각각의 촬영 동작일 수 있거나, 또는 본 발명에서 제한되지 않는 다른 형태의 촬영 동작일 수 있다는 것을 유의해야 한다.
선택적으로, 또 다른 실시예에서, 단계 102에서, 제1 이미지 상의 중심의 밝기의 평균값과 제1 이미지의 주변의 밝기의 평균값 간의 차이가 제1 임계값보다 큰 경우, 제1 렌즈에 대응하는 제1 ISP 파라미터가 조절될 수 있고, 제1 ISP 파라미터를 이용하여 제1 렌즈에 대응하는 제1 이미지 센서에 의해 수집된 제3 이미지가 획득된다. 여기서, 제1 렌즈에 대응하는 제1 ISP 파라미터를 조절하는 단계는 제1 렌즈의 노출 시간을 늘리는 것을 포함하고, 제3 이미지는 제1 SP 파라미터 조절된 후 제1 이미지의 다음-프레임 이미지이다. 그 다음에, 제1 이미지 및 제3 이미지에 따라 촬영 환경이 역광인지 여부가 추가적으로 판정될 수 있다.
구체적으로, 예를 들어, 제3 이미지 상의 중심의 밝기의 평균값과 제1 이미지 상의 중심의 밝기의 평균값 간의 차이가 제2 임계값보다 큰 경우, 또는 제3 이미지 상의 중심의 색포화도(color saturation)의 평균값과 제1 이미지 상의 중심의 색포화도의 평균값 간의 차이가 제3 임계값보다 큰 경우, 촬영 환경이 역광이라고 결정될 수 있다.
구체적으로, 제1 이미지 상의 중심의 밝기의 평균값과 제1 이미지의 주변의 밝기의 평균값 간의 차이가 제1 임계값보다 크다는 것이, 아래의 식 (1)로 표현될 수 있다:
Figure 112016061222363-pct00001
(1),
여기서,
Figure 112016061222363-pct00002
은 밝기의 평균값을 나타내고,
Figure 112016061222363-pct00003
은 제1 이미지 상의 중심을 나타내며,
Figure 112016061222363-pct00004
은 제1 이미지의 주변을 나타내고,
Figure 112016061222363-pct00005
은 제1 임계값이다.
식 (1)이 만족하는 경우, 촬영 환경은 역광인 것으로 추정된다. 이때, 제1 이미지가 먼저 저장되고, 그 다음에 제1 렌즈의 노출 시간이 적절하게 늘려진 후에, 다음-프레임 이미지, 즉, 제1 이미지 센서에 의해 수집되는 제3 이미지가 획득된다. 그 다음에, 촬영 환경이 역광인지 여부를 판정하기 위하여, 제1 이미지 및 제3 이미지에 따라 시나리오가 추가적으로 식별될 수 있다.
구체적으로, 제3 이미지 상의 중심의 밝기의 평균값과 제1 이미지 상의 중심의 밝기의 평균값 간의 차이가 제2 임계치보다 크다는 것이 아래의 식 (2)로 표현될 수 있다:
Figure 112016061222363-pct00006
(2),
여기서,
Figure 112016061222363-pct00007
는 제3 이미지 상의 중심을 나타내고,
Figure 112016061222363-pct00008
는 제2 임계치이다. 제3 이미지 상의 중심의 색포화도의 평균값과 제1 이미지 상의 중심의 색포화도의 평균값 간의 차이가 제3 임계치보다 크다는 것이 아래의 식 (3)으로 표현될 수 있다:
Figure 112016061222363-pct00009
(3),
Figure 112016061222363-pct00010
은 색포화도의 평균값을 나타내고,
Figure 112016061222363-pct00011
는 제3 임계치이다. 그 다음에, 식 (1) 및 식 (2) 양자 모두가 만족되는 경우 또는 식 (1) 및 식 (3) 양자 모두가 만족되는 경우, 촬영 환경이 역광이라고 결정될 수 있다. 일반적으로, 역광이란 촬영 중 타겟 물체의 밝기가 배경의 밝기보다 작은 것, 즉, 전경의 밝기가 배경의 밝기보다 작다는 것을 지칭한다.
본 발명의 이 실시예에서, 중심 및 주변의 위치는 구체적으로 제한되지 않는다는 것을 유의해야 한다. 선택적으로, 중심은 이미지의 기하학적 중심일 수 있다. 예를 들어, 이미지는 스도쿠(Sudoku)라고도 할 수 있는 3×3인 9개의 블록으로 나뉠 수 있다. 이러한 경우, 중심에서의 블록은 중심이라고 하고, 따라서 다른 8개의 주변 블록은 주변이라고 한다. 선택적으로, 중심은 사용자가 촬영중인 경우 물체이거나 전경일 수도 있고, 이미지의 기하학적 중심이 아닐 수도 있다. 예를 들어, 사용자가 인물 사진을 촬영하는 경우, 사람 얼굴은 사람 얼굴 검출에 의해 중심으로서 정의될 수 있고, 따라서 사람 얼굴을 둘러싸는 다른 영역은 주변으로서 정의된다.
선택적으로, 다른 실시예에서, 촬영 환경이 역광인 경우, 제2 렌즈의 노출 시간을 늘리거나, 및/또는 제2 렌즈의 감광 속도를 높일 수 있다. 또한, 제2 이미지 센서에 의해 수집되는 제2 이미지가 획득될 수 있고, 제2 이미지는 미리보기 이미지로서 이용된다. 여기서, 제2 이미지는, 제2 렌즈의 노출 시간을 늘리거나 및/또는 제2 렌즈의 감광 속도를 높인 후 제2 이미지 센서에 의해 수집되는 이미지이다.
선택적으로, 다른 실시예에서, 촬영 환경이 역광인 경우, 촬영 알고리즘은 부분적인 명암비 알고리즘(partial contrast ratio algorithm)으로서 결정될 수 있다. 촬영 동작 명령이 수신되는 때 부분적인 명암비 알고리즘을 이용하여 미리보기 이미지에 대한 프로세싱이 수행되고, 부분적인 명암비 알고리즘의 파라미터가 조절되며, 픽처가 생성될 수 있다. 이러한 방식으로, 배경이 유지되면서 전경의 세부사항의 밝기가 증가될 수 있다.
이러한 방식으로, 본 발명의 이 실시예에서, 제1 렌즈에 대응하는 제1 이미지 센서에 의해 수집되는 이미지는, 시나리오를 식별하기 위해 주로 사용된다. 추정되는 역광이 검출된 때, 제1 렌즈의 노출 시간을 적절하게 늘리고 노출 시간이 조절되기 전 및 조절된 후 제1 이미지 센서에 의해 수집되는 2개의 이미지를 비교함으로써, 역광이 추가적으로 결정된다. 이러한 방식으로, 역광을 잘못 검출하는 것, 예컨대, 중심의 검은 물체가 역광으로 오인되는 것을 방지할 수 있다. 또한, 제2 이미지 렌즈에 대응하는 제2 ISP 파라미터가 제1 이미지를 이용하여 결정된 촬영 환경에 따라 결정된 후, 결정된 제2 ISP 파라미터를 이용하여 제2 이미지 센서에 의해 수집되는 제2 이미지가 미리보기 이미지로서 이용되고, 제2 이미지 센서는 제2 이미지 센서에 의해 수집되는 제2 이미지에 대한 시나리오를 식별하지 않는다. 이러한 방식으로, 픽처 플리커를 방지할 수 있다.
선택적으로, 다른 실시예에서, 제1 이미지의 시나리오가 식별될 수 있고, 촬영 환경이 야경으로서 결정된다. 촬영 환경이 야경인 때, 제2 렌즈의 노출 시간을 늘리거나 및/또는 제2 렌즈의 감광 속도를 높일 수 있다. 이러한 방식으로, 제2 이미지 센서에 의해 수집되는 이미지의 전반적인 밝기가 증가될 수 있다. 또한, 제2 이미지 센서에 의해 수집되는 제2 이미지가 획득될 수 있고, 이러한 제2 이미지는 미리보기 이미지로서 이용된다. 여기서, 제2 이미지는 제2 렌즈의 노출 시간을 늘리거나 및/또는 제2 렌즈의 감광 속도를 높인 후 제2 이미지 센서에 의해 수집되는 이미지이다.
선택적으로, 다른 실시예에서, 촬영 환경이 야경인 때 촬영 알고리즘은 멀티프레임 잡음 제거 알고리즘(multiframe denoising algorithm)으로서 결정될 수 있고, 촬영 동작 명령이 수신되는 때 멀티프레임 잡음 제거 알고리즘을 이용하여 미리보기 이미지에 대한 프로세싱이 수행될 수 있고, 픽처가 생성된다. 이러한 방식으로, 밝기는 유지되면서 장시간 노출이나 높은 감광 속도 때문에 생성되는 노이즈가 감소될 수 있다.
이러한 방식으로, 본 발명의 이 실시예에서, 제1 이미지 센서에 의해 수집되는 이미지는 시나리오를 식별하기 위해 주로 사용되고, 촬영 환경이 야경이라고 검출된 때 제2 렌즈에 대응하는 제2 ISP 파라미터가 촬영 환경에 따라 결정되며, 결정된 제2 ISP 파라미터를 이용하여 제2 이미지 센서에 의해 수집되는 이미지는 미리보기 이미지로서 이용되며, 이로써 픽처 플리커를 방지할 수 있다.
본 발명의 이 실시예에 따른 방법은 야경 및 역광에 적용될 뿐만 아니라 다른 네가티브 피드백 시나리오에도 적용되며, 이는 본 발명에서 제한되지 않는다는 것을 유의해야 한다.
선택적으로, 다른 실시예에서, 촬영 환경이 네가티브 피드백 시나리오가 아닌 경우, 제2 이미지 센서에 의해 수집되는 제2 이미지가 획득될 수 있고, 제2 이미지는 미리보기 이미지로서 이용된다. 또한, 촬영 동작 명령이 수신되는 때, 픽처가 미리보기 이미지에 따라 생성될 수 있다.
도 2는 본 발명의 일 실시예에 따른 촬영 장치의 블록도이다. 도 2에 도시된 촬영 장치(200)는 제1 획득부(201), 제1 결정부(202), 제2 결정부(203), 제2 획득부(204), 및 생성부(205)를 포함한다.
제1 획득부(201)는, 제1 렌즈에 대응하는 제1 이미지 센서에 의해 수집되는 제1 이미지를 획득하도록 구성된다. 제1 결정부(202)는, 제1 획득부(201)에 의해 획득되는 제1 이미지의 시나리오를 식별하여 촬영 환경을 결정하도록 구성된다. 제2 결정부(203)는, 제1 결정부(202)에 의해 결정된 촬영 환경에 따라 제2 렌즈에 대응하는 제2 ISP 파라미터를 결정하도록 구성된다. 제2 획득부(204)는, 제2 결정부(203)에 의해 결정된 제2 ISP 파라미터를 이용하여 제2 렌즈에 대응하는 제2 이미지 센서에 의해 수집되는 제2 이미지를 획득하도록 구성된다. 생성부(205)는, 제2 획득부(204)에 의해 획득된 제2 이미지에 따라 미리보기 이미지를 생성하도록 구성된다. 여기서, 제1 렌즈 및 제2 렌즈는 동일한 면에 배열된다.
본 발명의 이 실시예에 따르면, 촬영 환경이 듀얼-렌즈 장치의 하나의 렌즈에 의해 수집되는 이미지를 이용하여 결정되고, 다른 렌즈에 대응하는 ISP 파라미터가 결정된 촬영 환경에 따라 결정되며, 그 다음에 미리보기 이미지가 다른 렌즈에 의해 수집되는 이미지를 이용하여 생성된다. 2개의 렌즈를 이용하여 각각 촬영 환경을 결정하고 미리보기 이미지를 획득하는 방식으로, 미리보기 이미지 상의 픽처 플리커를 방지할 수 있다.
선택적으로, 일 실시예에서, 도 2에 도시된 촬영 장치(200)는 제3 결정부(206), 수신부(207), 및 제1 실행부(208)를 더 포함할 수 있다. 제3 결정부(206)는, 제1 결정부(202)에 의해 결정되는 촬영 환경에 따라 촬영 알고리즘을 결정하도록 구성된다. 수신부(207)는 촬영 동작 명령을 수신하도록 구성된다. 제1 실행부(208)는, 수신부(207)가 촬영 동작 명령을 수신하는 때 제3 결정부(206)에 의해 결정된 촬영 알고리즘을 이용하여 미리보기 이미지에 대한 프로세싱을 수행하고, 픽처를 생성하도록 구성된다.
선택적으로, 다른 실시예에서, 제1 결정부(202)는 조절 서브유닛(209), 획득 서브유닛(210), 및 판정 서브유닛(211)를 포함할 수 있다. 조절 서브유닛(209)은, 제1 이미지 상의 중심의 밝기의 평균값과 제1 이미지의 주변의 밝기의 평균값 간의 차이가 제1 임계값보다 큰 경우, 제1 렌즈에 대응하는 제1 ISP 파라미터를 조절하도록 구성될 수 있다. 여기서, 제1 렌즈에 대응하는 제1 ISP 파라미터를 조절하는 단계는 제1 렌즈의 노출 시간을 늘리는 것을 포함한다. 획득 서브유닛(210)은, 조절 서브유닛(209)에 의해 조절된 후에 획득된 제1 ISP 파라미터를 이용하여 제1 이미지 센서에 의해 수집되는 제3 이미지를 획득하도록 구성될 수 있다. 여기서, 제3 이미지는 제1 ISP 파라미터가 조절된 후 제1 이미지의 다음-프레임 이미지이다. 판정 서브유닛(211)은, 제1 획득부(201)에 의해 획득된 제1 이미지 및 획득 서브유닛에 의해 획득된 제3 이미지(210)에 따라 촬영 환경이 역광인지 여부를 판정하도록 구성될 수 있다.
판정 서브유닛(211) 구체적으로, 제3 이미지 상의 중심의 밝기의 평균값과 제1 이미지 상의 중심의 밝기의 평균값 간의 차이가 제2 임계값보다 큰 경우, 또는 제3 이미지 상의 중심의 색포화도의 평균값과 제1 이미지 상의 중심의 색포화도의 평균값 간의 차이가 제3 임계값보다 큰 경우, 촬영 환경이 역광이라고 결정하도록 구성될 수 있다.
선택적으로, 또 다른 실시예에서, 제2 결정부(203)는, 제1 결정부(202)에 의해 결정된 촬영 환경이 역광인 때, 제2 렌즈의 노출 시간을 늘리거나 및/또는 제2 렌즈의 감광 속도를 높이도록 구성될 수 있다.
선택적으로, 또 다른 실시예에서, 제3 결정부(206)는, 제1 결정부(202)에 의해 결정된 촬영 환경이 역광인 때 촬영 알고리즘을 부분적인 명암비 알고리즘으로서 결정하도록 구성될 수 있다. 수신부(207)는 촬영 동작 명령을 수신하도록 구성된다. 제1 실행부(208)는, 수신부(207)가 촬영 동작 명령을 수신하는 때 제3 결정부(206)에 의해 결정되는 부분적인 명암비 알고리즘을 이용하여 미리보기 이미지에 대한 프로세싱을 수행하고, 부분적인 명암비 알고리즘의 파라미터를 조절하며, 픽처를 생성하도록 구성될 수 있다.
선택적으로, 또 다른 실시예에서, 제2 결정부(203)는, 제1 결정부(202)에 의해 결정된 촬영 환경이 야경인 때 제2 렌즈의 노출 시간을 늘리거나 및/또는 제2 렌즈의 감광 속도를 높이도록 구성될 수 있다.
선택적으로, 또 다른 실시예에서, 제3 결정부(206)는, 제1 결정부(202)에 의해 결정된 촬영 환경이 야경인 때 촬영 알고리즘을 멀티프레임 잡음 제거 알고리즘으로서 결정하도록 구성될 수 있다. 수신부(207)는 촬영 동작 명령을 수신하도록 구성된다. 제1 실행부(208)는, 수신부(207)가 촬영 동작 명령을 수신하는 때, 제3 결정부(206)에 의해 결정되는 멀티프레임 잡음 제거 알고리즘을 이용하여 미리보기 이미지에 대한 프로세싱을 수행하고 픽처를 생성하도록 구성될 수 있다.
선택적으로, 또 다른 실시예에서, 촬영 장치(200)는 제2 실행부를 더 포함할 수 있다. 제2 실행부는, 제1 결정부에 의해 결정된 촬영 환경이 네가티브 피드백 시나리오가 아닌 때 제2 이미지 센서에 의해 수집되는 제2 이미지를 획득하고, 제2 이미지를 미리보기 이미지로서 이용하며, 촬영 동작 명령이 수신되는 때 미리보기 이미지에 따라 픽처를 추가적으로 생성하도록 구성된다.
촬영 장치(200)는 도 1에 도시된 실시예에서 듀얼-렌즈 장치에 의해 구현된 프로세스를 구현할 수 있고, 세부사항에 대해서는 중복되는 설명을 피하기 위해 본 명세서에서는 다시 설명하지 않는다.
도 3은 본 발명의 일 실시예에 따른 듀얼-렌즈 장치의 블록도이다. 도 3에 도시된 듀얼-렌즈 장치(300)는 프로세서(301), 디스플레이(302), 듀얼-렌즈 장치의 동일한 면에 배열된 제1 렌즈(303) 및 제2 렌즈(304), 제1 렌즈(303)에 대응하는 제1 이미지 센서(305), 및 제2 렌즈(304)에 대응하는 제2 이미지 센서(306)를 포함한다.
제1 이미지 센서(305)는 제1 렌즈(303)를 이용하여 제1 이미지를 수집하도록 구성된다. 제2 이미지 센서(306)는 제2 렌즈(304)를 이용하여 제2 이미지를 수집하도록 구성된다. 프로세서(301)는, 제1 이미지 센서(305)에 의해 수집된 제1 이미지를 획득하고; 제1 이미지의 시나리오를 식별하여 촬영 환경을 결정하며; 제2 렌즈(304)에 대응하는 제2 ISP 파라미터를 촬영 환경에 따라 결정하고; 제2 ISP 파라미터를 이용하여 제2 이미지 센서(306)에 의해 수집되는 제2 이미지를 획득하며; 제2 이미지에 따라 미리보기 이미지를 생성하도록 구성된다. 디스플레이(302)는 프로세서(301)에 의해 생성되는 미리보기 이미지를 표시하도록 구성된다.
본 발명의 이 실시예에 따르면, 촬영 환경이 듀얼-렌즈 장치의 하나의 렌즈에 의해 수집되는 이미지를 이용하여 결정되고, 다른 렌즈에 대응하는 ISP 파라미터가 결정된 촬영 환경에 따라 결정되며, 그 다음에 미리보기 이미지가 다른 렌즈에 의해 수집되는 이미지를 이용하여 생성된다. 2개의 렌즈를 이용하여 각각 촬영 환경을 결정하고 미리보기 이미지를 획득하는 방식으로, 미리보기 이미지 상의 픽처 플리커를 방지할 수 있다.
듀얼-렌즈 장치(300) 내의 컴포넌트들은 버스 시스템(310)을 이용하여 함께 연결된다. 여기서, 버스 시스템(310)은 데이터 버스 외에도, 전력 버스, 제어 버스, 및 상태 신호 버스를 포함한다. 하지만, 설명의 명확화를 위해 다양한 버스를 도 3에서의 버스 시스템(310)으로서 나타내었다.
선택적으로, 일 실시예에서, 프로세서(301)는 추가적으로, 촬영 환경에 따라 촬영 알고리즘을 결정하고, 촬영 동작 명령이 수신되는 때 촬영 알고리즘을 이용하여 미리보기 이미지에 대한 프로세싱을 수행하고, 픽처를 생성하도록 구성될 수 있다.
선택적으로, 다른 실시예에서, 프로세서(301)는, 제1 이미지 상의 중심의 밝기의 평균값과 제1 이미지의 주변의 밝기의 평균값 간의 차이가 제1 임계값보다 큰 경우, 제1 렌즈(303)에 대응하는 제1 ISP 파라미터를 조절하고 - 여기서, 제1 렌즈(303)에 대응하는 제1 ISP 파라미터를 조절하는 단계는 제1 렌즈의 노출 시간을 늘리는 것을 포함함 -; 제1 이미지 센서(305)에 의해 수집되는 제3 이미지를 획득하며 - 여기서, 제3 이미지는 제1 ISP 파라미터가 조절된 후 제1 이미지의 다음-프레임 이미지임 -; 제1 이미지 및 제3 이미지에 따라 촬영 환경이 역광인지 여부를 판정하도록 구성될 수 있다.
구체적으로, 제3 이미지 상의 중심의 밝기의 평균값과 제1 이미지 상의 중심의 밝기의 평균값 간의 차이가 제2 임계값보다 큰 경우, 또는 제3 이미지 상의 중심의 색포화도의 평균값과 제1 이미지 상의 중심의 색포화도의 평균값 간의 차이가 제3 임계값보다 큰 경우, 촬영 환경이 역광이라고 결정될 수 있다.
이러한 방식으로, 제1 이미지 및 제3 이미지를 비교함으로써 역광을 잘못 검출하는 것이 방지될 수 있다.
선택적으로, 또 다른 실시예에서, 프로세서(301)는, 촬영 환경이 역광인 때 제2 렌즈(304)의 노출 시간을 늘리거나 및/또는 제2 렌즈(304)의 감광 속도를 높이도록 구성될 수 있다.
선택적으로, 또 다른 실시예에서, 프로세서(301)는 추가적으로, 촬영 환경이 역광인 때 촬영 알고리즘을 부분적인 명암비 알고리즘으로서 결정하고, 촬영 동작 명령이 수신되는 때 부분적인 명암비 알고리즘을 이용하여 미리보기 이미지에 대한 프로세싱을 수행하고, 부분적인 명암비 알고리즘의 파라미터를 조절하며, 픽처를 생성하도록 구성될 수 있다.
선택적으로, 또 다른 실시예에서, 프로세서(301)는 촬영 환경이 야경인 때 제2 렌즈(304)의 노출 시간을 늘리거나 및/또는 제2 렌즈(304)의 감광 속도를 높이도록 구성될 수 있다.
선택적으로, 또 다른 실시예에서, 프로세서(301)는 추가적으로, 촬영 환경이 야경인 때 촬영 알고리즘을 멀티프레임 잡음 제거 알고리즘으로서 결정하고, 촬영 동작 명령이 수신되는 때 멀티프레임 잡음 제거 알고리즘을 이용하여 미리보기 이미지에 대한 프로세싱을 수행하고, 픽처를 생성하도록 구성될 수 있다.
선택적으로, 또 다른 실시예에서, 프로세서(301)는 추가적으로, 촬영 환경이 네가티브 피드백 시나리오가 아닌 경우, 제2 이미지 센서(306)에 의해 수집되는 제2 이미지를 획득하고, 제2 이미지를 미리보기 이미지로서 이용하며, 촬영 동작 명령이 수신되는 때 미리보기 이미지에 따라 픽처를 생성하도록 구성될 수 있다.
본 발명의 이 실시예에서, 프로세서(301)는 중앙처리장치(Central Processing Unit, CPU)일 수 있거나, 또는 프로세서(301)는 이미지 신호 프로세서(Image Signal Processor, ISP)일 수 있다.
본 발명의 다른 실시예에서, 프로세서(301)는 CPU 및 ISP를 포함할 수 있다. ISP는 제1 ISP 및 제2 ISP를 포함할 수 있다. 여기서, 제1 ISP는 제1 렌즈에 대응하고, 제2 ISP는 제2 렌즈에 대응한다. 따라서, 제1 렌즈에 대응하는 제1 ISP 파라미터는 제1 ISP의 ISP 파라미터일 수 있고, 제2 렌즈에 대응하는 제2 ISP 파라미터는 제2 ISP의 ISP 파라미터일 수 있다. 또는, ISP는 2개의 유닛을 가지고 있을 수 있고, 각각의 유닛은 제1 렌즈 및 제2 렌즈에 대응한다.
구체적으로, CPU가 제1 렌즈에 대응하는 제1 ISP 파라미터를 결정한 후, 제1 ISP는 제1 ISP 파라미터가 될 제1 ISP의 파라미터를 조절하거나, 또는 ISP는 제1 ISP 파라미터가 될, 제1 렌즈에 대응하는 유닛의 파라미터를 조절할 수 있다. 이러한 방식으로, 제1 렌즈에 의해 수집되는 이미지의 품질이 제1 ISP의 파라미터 또는 제1 렌즈에 대응하는 유닛의 파라미터를 조절함으로써 조절될 수 있다.
CPU가 제2 렌즈에 대응하는 제2 ISP 파라미터를 결정한 후에, 제2 ISP는 제2 ISP 파라미터가 될 제2 ISP의 파라미터를 조절하거나, 또는 ISP는 제2 ISP 파라미터가 될, 제2 렌즈에 대응하는 유닛의 파라미터를 조절할 수 있다. 이러한 방식으로, 제2 렌즈에 의해 수집되는 이미지의 품질이 제2 ISP의 파라미터 또는 제2 렌즈에 대응하는 유닛의 파라미터를 조절함으로써 조절될 수 있다.
본 발명의 이 실시예에서, 프로세서(301)는 도 2에 도시된 촬영 장치(200)에 대응할 수 있다.
본 발명의 실시예에서 개시된 방법은 프로세서(301)에 적용될 수 있거나, 또는 프로세서(301)에 의해 구현된다. 프로세서(301)는 신호 처리 능력을 가지는 집적회로 칩일 수 있다. 구현 프로세스 중에, 전술한 방법에서의 단계가 프로세서(301) 내의 하드웨어의 통합 로직 회로 또는 소프트웨어 형태의 명령을 사용하여 완료될 수 있다. 전술한 프로세서(301)는 범용 프로세서, 디지털 신호 프로세서(Digital Signal Processor, DSP), 주문형 집적 회로(Application Specific Integrated Circuit, ASIC), 필드 프로그래머블 게이트 어레이(Field Programmable Gate Array, FPGA) 또는 다른 프로그램 가능한 로직 장치, 디스크리트 게이트(discrete gate) 또는 트랜지스터 로직 장치, 또는 개시된 방법, 단계, 및 본 발명의 실시예에서 개시된 방법, 단계, 및 논리적인 블록도를 구현하거나 수행할 수 있는 별개의 하드웨어 컴포넌트일 수 있다. 범용 프로세서는 마이크로프로세서일 수 있거나 또는 프로세서는 임의의 기존 프로세서, 또는 이와 유사한 것일 수 있다. 본 발명의 실시예에서 개시된 방법의 단계는 하드웨어 복호화 프로세서에 의해 직접 실행되거나, 또는 복호화 프로세서에서의 하드웨어 모듈과 소프트웨어 모듈의 조합에 의해 실행될 수 있다. 소프트웨어 모듈은 당해 분야에서 성숙한 저장 매체, 예컨대, 램(Random Access Memory, RAM), 플래쉬 메모리, 롬(Read-Only Memory, ROM), 피롬(programmable read-only memory), 전기적으로 삭제가능한 프로그램 가능 메모리(electrically erasable programmable memory), 레지스터에 위치할 수 있다. 저장 매체는 메모리(309)에 위치한다. 프로세서(301)는 메모리(309)로부터 정보를 판독하고, 프로세서(301)의 하드웨어와 함께 전술한 방법의 단계를 완료한다.
도 3에서 디스플레이(302)가 듀얼-렌즈 장치(300)의 일부로서 설명하였지만, 본 발명의 실시예는 디스플레이(302)의 위치에 대해 어떠한 제한도 부과하지 않는다. 예를 들어, 디스플레이(302)는, 이미지 인터페이스를 통해 듀얼-렌즈 장치(300)에 연결되는 외부의 디스플레이일 수 있으며, 듀얼-렌즈 장치(300)에 의해 획득되는 이미지를 표시한다. 또한, 디스플레이(302)는 액정 어레이(liquid crystal array), 플라즈마 유닛(plasma unit), 및 음극선관(cathode-ray tube) 등의 다양한 기술을 이용하여 이미지를 사용자에게 제시할 수 있고, 본 발명의 실시예 디스플레이(302)의 구현 방식에 대해 어떠한 제한도 부과하지 않는다.
디스플레이(302)가 사용자의 입력 동작을 수신할 수 있는 터치 스크린일 수도 있음을 유의해야 한다. 프로세서(301)에 의해 수신된 촬영 동작 명령은, 듀얼-렌즈 장치(300)의 다른 하드웨어로부터 전달되거나, 또는 프로세서(301)의 내부의 소프트웨어에 의해 미리 정해질 수 있으며, 이는 본 발명에서 제한되지 않는다. 전술한 듀얼-렌즈 장치(300)의 다른 하드웨어는 특정 버튼이거나, 또는 터치 기능을 가지는 전술한 디스플레이(302)일 수 있다. 예를 들어, 촬영 동작은 사용자가 특정 버튼을 누르는 것, 또는 사용자가 디스플레이(302) 상의 특정 위치를 탭핑하는 것(tapping)일 수 있다. 사용자에 의해 수행되는 촬영 동작은 압력 센서를 통해 프로세서(301)로 전송될 수 있고, 이로써 프로세서(301)가 촬영 동작 명령을 수신한다.
듀얼-렌즈 장치(300)에서의 프로세서(301)는 도 1에 도시된 실시예에서 듀얼-렌즈 장치에 의해 구현된 프로세스를 구현할 수 있고, 세부사항에 대해서는 중복되는 설명을 피하기 위해 본 명세서에서 다시 설명하지 않는다.
당업자라면 본 명세서에서 공개된 실시 형태에서 설명된 예와 함께, 유닛 및 알고리즘 단계가 전자 하드웨어 또는 컴퓨터 소프트웨어와 전자 하드웨어의 조합으로 구현될 수 있음을 알 수 있을 것이다. 기능이 하드웨어로 구현되는지 또는 소프트웨어로 구현되는지 여부는 기술적 해결방안의 구체적인 애플리케이션 및 설계 제약 조건에 따라 달라진다. 당업자는 각각의 특정한 적용에 대해 설명한 기능을 구현하는 서로 다른 방법을 사용할 수 있으나, 이러한 구현이 본 발명의 보호 범위를 넘어서는 것으로 간주되어서는 안된다.
설명을 용이하고 단순하게 하기 위해, 전술한 시스템, 장치, 및 유닛의 상세한 작동 프로세스에 대해 전술한 방법 실시예에서의 대응하는 프로세스를 참조할 수 있고, 세부사항에 대해 본 명세서에서 다시 설명하지 않는다는 것을 당업자라면 분명하게 이해할 수 있을 것이다.
본 출원에서 제공되는 몇몇 실시예에 있어서, 공개된 시스템, 장치, 및 방법은 다른 방식으로 구현될 수 있다고 이해되어야 한다. 예를 들어, 설명된 장치 실시예는 단지 예시일 뿐이다. 예를 들어, 유닛 구분은 단지 논리적인 기능 구분일 뿐이고 실제 구현에서는 다르게 구분될 수도 있다. 예를 들어, 복수의 유닛 또는 컴포넌트가 결합되거나 또는 다른 시스템으로 통합될 수 있거나, 또는 일부 특징이 무시되거나 수행되지 않을 수도 있다. 또한, 표시되거나 논의된 상호 연결 또는 직접 연결 또는 통신 연결은 인터페이스를 통해 구현될 수 있다. 장치들 또는 유닛들 간의 간접 연결 또는 통신 연결은 전자적 형태, 기계적 형태, 또는 다른 형태로 구현될 수도 있다
별도의 부분으로서 설명된 유닛들은 물리적으로 분리되어 있거나 또는 분리되어 있지 않을 수 있고, 유닛으로서 표시되는 부분은 물리적 유닛이거나 또는 물리적 유닛이 아닐 수도 있거나, 단일 위치에 놓이거나, 또는 복수의 네트워크 유닛 상에 분산되어 있을 수 있다. 유닛의 일부 또는 전부가 실시 형태의 해결수단의 목적을 달성하기 위한 실제 필요에 따라 선택될 수 있다.
또한, 본 발명의 실시 형태에서의 기능 유닛은 하나의 프로세싱 유닛에 통합되거나, 또는 유닛은 각각 물리적으로 단독으로 존재하거나, 또는 2개 이상의 유닛이 하나의 유닛에 통합될 수도 있다.
이러한 기능이 소프트웨어 기능 유닛의 형태로 구현되어 독립적인 제품으로 판매되거나 사용되는 경우, 이러한 기능은 컴퓨터로 판독가능한 저장 매체에 저장될 수 있다. 이러한 이해를 바탕으로, 본 발명의 과제 해결수단은 본질적으로, 또는 종래 기술에 기여하는 부분은, 또는 과제 해결수단의 일부는 소프트웨어 제품의 형태로 구현될 수 있다. 소프트웨어 제품은 저장 매체에 저장되고, 컴퓨터 장치(개인용 컴퓨터, 서버, 또는 네트워크 장치일 수 있음)에게 본 발명의 실시예에서 설명된 방법의 단계 중 전부 또는 일부를 수행하도록 지시하기 위한 몇몇 명령들을 포함한다. 전술한 저장 매체는 USB 플래쉬 드라이브, 착탈식 하드 디스크, ROM, RAM, 자기 디스크, 또는 광 디스크 등의 프로그램 코드를 저장할 수 있는 임의의 매체를 포함한다.
전술한 설명은 단지 본 발명의 특정한 구현 방식일 뿐이며, 본 발명의 보호 범위를 제한하고자 하는 것은 아니다. 본 발명에서 개시된 기술적인 보호범위 내에서 당업자가 즉시 파악할 수 있는 임의의 변형 또는 대체는 본 발명의 보호 범위에 속할 것이다. 따라서, 본 발명의 보호 범위는 특허 청구 범위의 보호 범위에 따른다.

Claims (29)

  1. 듀얼-렌즈 장치(dual-lens device)의 촬영 방법으로서,
    상기 듀얼-렌즈 장치는 상기 듀얼-렌즈 장치의 동일한 면에 배열되는 제1 렌즈 및 제2 렌즈를 포함하고,
    상기 촬영 방법은,
    상기 제1 렌즈에 대응하는 제1 이미지 센서에 의해 수집되는 제1 이미지를 획득하는 단계;
    상기 제1 이미지의 시나리오를 식별하여 촬영 환경을 결정하는 단계;
    상기 촬영 환경에 따라 상기 제2 렌즈에 대응하는 제2 ISP 파라미터를 결정하는 단계 - 여기서 상기 제2 ISP 파라미터는 노출 시간과 감광 속도를 포함함 - ;
    상기 제2 ISP 파라미터를 이용하여 상기 제2 렌즈에 대응하는 제2 이미지 센서에 의해 수집되는 제2 이미지를 획득하는 단계; 및
    상기 제2 이미지에 따라 미리보기 이미지를 생성하는 단계
    를 포함하고,
    상기 촬영 환경에 따라 상기 제2 렌즈에 대응하는 제2 ISP 파라미터를 결정하는 단계는,
    상기 촬영 환경이 역광 또는 야경일 때, 상기 제2 렌즈의 노출 시간을 늘리는 것 및/또는 상기 제2 렌즈의 감광 속도를 높이는 것(improving)을 포함하며,
    상기 제1 이미지의 시나리오를 식별하여 촬영 환경을 결정하는 단계는,
    상기 제1 이미지 상의 중심의 밝기의 평균값과 상기 제1 이미지의 주변의 밝기의 평균값 간의 차이가 제1 임계값보다 큰 경우, 상기 제1 렌즈에 대응하는 제1 ISP 파라미터를 조절하는 단계 - 상기 제1 렌즈에 대응하는 제1 ISP 파라미터를 조절하는 단계는 상기 제1 렌즈의 노출 시간(exposure time)을 늘리는 것(prolonging)을 포함함 -;
    상기 제1 ISP 파라미터를 이용하여 상기 제1 이미지 센서에 의해 수집되는 제3 이미지를 획득하는 단계 - 상기 제3 이미지는 상기 제1 ISP 파라미터가 조절된 후 상기 제1 이미지의 다음-프레임 이미지(next-frame image)임 -; 및
    상기 제1 이미지 및 상기 제3 이미지에 따라 상기 촬영 환경이 역광(backlit scene)인지 여부를 판정하는 단계를 포함하는, 듀얼-렌즈 장치의 촬영 방법.
  2. 제1항에 있어서,
    상기 촬영 방법은,
    상기 촬영 환경에 따라 촬영 알고리즘을 결정하는 단계, 및
    촬영 동작 명령이 수신되는 때 상기 촬영 알고리즘을 이용하여 상기 미리보기 이미지에 대한 프로세싱을 수행하고 픽처(picture)를 생성하는 단계를 더 포함하는, 듀얼-렌즈 장치의 촬영 방법.
  3. 제1항에 있어서,
    상기 제1 이미지 및 상기 제3 이미지에 따라 상기 촬영 환경이 역광인지 여부를 판정하는 단계는,
    상기 제3 이미지 상의 중심의 밝기의 평균값과 상기 제1 이미지 상의 중심의 밝기의 평균값 간의 차이가 제2 임계값보다 큰 경우, 또는 상기 제3 이미지 상의 중심의 색포화도(color saturation)의 평균값과 상기 제1 이미지 상의 중심의 색포화도의 평균값 간의 차이가 제3 임계값보다 큰 경우, 상기 촬영 환경이 역광이라고 결정하는 단계를 포함하는, 듀얼-렌즈 장치의 촬영 방법.
  4. 제2항에 있어서,
    상기 촬영 환경에 따라 촬영 알고리즘을 결정하는 단계는,
    상기 촬영 환경이 역광인 때 상기 촬영 알고리즘을 부분적인 명암비 알고리즘(partial contrast ratio algorithm)으로서 결정하는 단계를 포함하고,
    촬영 동작 명령이 수신되는 때 상기 촬영 알고리즘을 이용하여 상기 미리보기 이미지에 대한 프로세싱을 수행하고 픽처를 생성하는 단계는,
    상기 촬영 동작 명령이 수신되는 때 상기 부분적인 명암비 알고리즘을 이용하여 상기 미리보기 이미지에 대한 프로세싱을 수행하고, 상기 부분적인 명암비 알고리즘의 파라미터를 조절하며, 픽처를 생성하는 단계를 포함하는, 듀얼-렌즈 장치의 촬영 방법.
  5. 제2항에 있어서,
    상기 촬영 환경에 따라 촬영 알고리즘을 결정하는 단계는,
    상기 촬영 환경이 야경인 때 상기 촬영 알고리즘을 멀티프레임 잡음 제거 알고리즘(multiframe denoising algorithm)으로서 결정하는 단계를 포함하고,
    촬영 동작 명령이 수신되는 때 상기 촬영 알고리즘을 이용하여 상기 미리보기 이미지에 대한 프로세싱을 수행하고 픽처를 생성하는 단계는,
    상기 촬영 동작 명령이 수신되는 때 상기 멀티프레임 잡음 제거 알고리즘을 이용하여 상기 미리보기 이미지에 대한 프로세싱을 수행하고 픽처를 생성하는 단계를 포함하는, 듀얼-렌즈 장치의 촬영 방법.
  6. 듀얼-렌즈 장치로서,
    프로세서, 디스플레이, 상기 듀얼-렌즈 장치의 동일한 면에 배열된 제1 렌즈 및 제2 렌즈, 상기 제1 렌즈에 대응하는 제1 이미지 센서, 및 상기 제2 렌즈에 대응하는 제2 이미지 센서를 포함하고,
    상기 제1 이미지 센서는 상기 제1 렌즈를 이용하여 제1 이미지를 수집하도록 구성되며,
    상기 제2 이미지 센서는 상기 제2 렌즈를 이용하여 제2 이미지를 수집하도록 구성되고,
    상기 프로세서는, 상기 제1 이미지 센서에 의해 수집되는 상기 제1 이미지를 획득하고, 상기 제1 이미지의 시나리오를 식별하여 촬영 환경을 결정하며, 상기 촬영 환경에 따라 상기 제2 렌즈에 대응하는 제2 ISP 파라미터를 결정하고 - 여기서 상기 제2 ISP 파라미터는 노출 시간과 감광 속도를 포함함 - , 상기 제2 ISP 파라미터를 이용하여 상기 제2 렌즈에 대응하는 제2 이미지 센서에 의해 수집되는 제2 이미지를 추가적으로 획득하며, 상기 제2 이미지에 따라 미리보기 이미지를 생성하도록 구성되고,
    상기 디스플레이는 상기 프로세서에 의해 생성된 상기 미리보기 이미지를 표시하도록 구성되며,
    상기 프로세서는, 상기 촬영 환경이 역광 또는 야경일 때, 상기 제2 렌즈의 노출 시간을 늘리는 것 및/또는 상기 제2 렌즈의 감광 속도를 높이도록 추가로 구성되고,
    상기 프로세서는,
    상기 제1 이미지 상의 중심의 밝기의 평균값과 상기 제1 이미지의 주변의 밝기의 평균값 간의 차이가 제1 임계값보다 큰 경우, 상기 제1 렌즈에 대응하는 제1 ISP 파라미터를 조절하고 - 여기서, 상기 제1 렌즈에 대응하는 제1 ISP 파라미터를 조절하는 것은 상기 제1 렌즈의 노출 시간을 늘리는 것을 포함함 -;
    상기 제1 ISP 파라미터를 이용하여 상기 제1 이미지 센서에 의해 수집되는 제3 이미지를 획득하며 - 여기서, 상기 제3 이미지는 상기 제1 ISP 파라미터가 조절된 후 상기 제1 이미지의 다음-프레임 이미지임 -;
    상기 제1 이미지 및 상기 제3 이미지에 따라 상기 촬영 환경이 역광인지 여부를 판정하도록 구성되는, 듀얼-렌즈 장치.
  7. 제6항에 있어서,
    상기 프로세서는 추가적으로,
    상기 촬영 환경에 따라 촬영 알고리즘을 결정하고,
    촬영 동작 명령이 수신되는 때 상기 촬영 알고리즘을 이용하여 상기 미리보기 이미지에 대한 프로세싱을 수행하고 픽처를 생성하도록 구성되는, 듀얼-렌즈 장치.
  8. 제6항에 있어서,
    상기 프로세서는,
    상기 제3 이미지 상의 중심의 밝기의 평균값과 상기 제1 이미지 상의 중심의 밝기의 평균값 간의 차이가 제2 임계값보다 큰 경우, 또는 상기 제3 이미지 상의 중심의 색포화도의 평균값과 상기 제1 이미지 상의 중심의 색포화도의 평균값 간의 차이가 제3 임계값보다 큰 경우, 상기 촬영 환경이 역광이라고 결정하도록 구성되는, 듀얼-렌즈 장치.
  9. 제7항에 있어서,
    상기 프로세서는 추가적으로,
    상기 촬영 환경이 역광인 때 상기 촬영 알고리즘을 부분적인 명암비 알고리즘으로서 결정하고,
    상기 촬영 동작 명령이 수신되는 때 상기 부분적인 명암비 알고리즘을 이용하여 상기 미리보기 이미지에 대한 프로세싱을 수행하고, 상기 부분적인 명암비 알고리즘의 파라미터를 조절하며, 픽처를 생성하도록 구성되는, 듀얼-렌즈 장치.
  10. 제7항에 있어서,
    상기 프로세서는 추가적으로,
    상기 촬영 환경이 야경인 때 상기 촬영 알고리즘을 멀티프레임 잡음 제거 알고리즘으로서 결정하고,
    상기 촬영 동작 명령이 수신되는 때 상기 멀티프레임 잡음 제거 알고리즘을 이용하여 상기 미리보기 이미지에 대한 프로세싱을 수행하고 픽처를 생성하도록 구성되는, 듀얼-렌즈 장치.
  11. 제6항 또는 제7항에 있어서,
    상기 프로세서는 제1 중앙처리장치(CPU)이거나, 또는 상기 프로세서는 제1 이미지 신호 프로세서(ISP)인, 듀얼-렌즈 장치.
  12. 제6항에 있어서,
    상기 프로세서는 제2 CPU 및 제2 ISP를 포함하는, 듀얼-렌즈 장치.
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
  29. 삭제
KR1020167017019A 2013-12-06 2013-12-06 듀얼-렌즈 장치의 촬영 방법, 및 듀얼-렌즈 장치 KR101916355B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2013/088758 WO2015081556A1 (zh) 2013-12-06 2013-12-06 双镜头设备的拍照方法及双镜头设备

Publications (2)

Publication Number Publication Date
KR20160090379A KR20160090379A (ko) 2016-07-29
KR101916355B1 true KR101916355B1 (ko) 2018-11-07

Family

ID=53272776

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167017019A KR101916355B1 (ko) 2013-12-06 2013-12-06 듀얼-렌즈 장치의 촬영 방법, 및 듀얼-렌즈 장치

Country Status (5)

Country Link
US (1) US9736391B2 (ko)
EP (1) EP3079010B1 (ko)
KR (1) KR101916355B1 (ko)
CN (1) CN105339840B (ko)
WO (1) WO2015081556A1 (ko)

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113472989A (zh) 2012-11-28 2021-10-01 核心光电有限公司 多孔径成像系统以及通过多孔径成像系统获取图像的方法
CN109040553B (zh) 2013-06-13 2021-04-13 核心光电有限公司 双孔径变焦数字摄影机
CN108388005A (zh) 2013-07-04 2018-08-10 核心光电有限公司 小型长焦透镜套件
CN109120823B (zh) 2013-08-01 2020-07-14 核心光电有限公司 具有自动聚焦的纤薄多孔径成像系统及其使用方法
US9392188B2 (en) 2014-08-10 2016-07-12 Corephotonics Ltd. Zoom dual-aperture camera with folded lens
CN112327463B (zh) 2015-01-03 2022-10-14 核心光电有限公司 微型长焦镜头模块和使用该镜头模块的相机
WO2016156996A1 (en) 2015-04-02 2016-10-06 Corephotonics Ltd. Dual voice coil motor structure in a dual-optical module camera
ES2907810T3 (es) 2015-04-16 2022-04-26 Corephotonics Ltd Enfoque automático y estabilización de imagen óptica en una cámara compacta de plegado
EP3304161B1 (en) 2015-05-28 2021-02-17 Corephotonics Ltd. Bi-directional stiffness for optical image stabilization in a digital camera
KR102263924B1 (ko) 2015-08-13 2021-06-11 코어포토닉스 리미티드 비디오 지원 및 스위칭/비스위칭 동적 제어 기능이 있는 듀얼-애퍼처 줌 카메라
EP3335077B1 (en) 2015-09-06 2019-08-14 Corephotonics Ltd. Auto focus and optical image stabilization with roll compensation in a compact folded camera
KR102187146B1 (ko) 2015-12-29 2020-12-07 코어포토닉스 리미티드 자동 조정가능 텔레 시야(fov)를 갖는 듀얼-애퍼처 줌 디지털 카메라
TWM559422U (zh) * 2016-03-15 2018-05-01 Sunny Optical Tech Group Company Limited 陣列攝像模組及其模塑感光組件、線路板組件以及電子設備
CN111965919B (zh) 2016-05-30 2022-02-08 核心光电有限公司 旋转滚珠引导音圈电动机
KR102521406B1 (ko) 2016-06-19 2023-04-12 코어포토닉스 리미티드 듀얼 애퍼처 카메라 시스템에서의 프레임 동기화
US10706518B2 (en) 2016-07-07 2020-07-07 Corephotonics Ltd. Dual camera system with improved video smooth transition by image blending
WO2018007981A1 (en) 2016-07-07 2018-01-11 Corephotonics Ltd. Linear ball guided voice coil motor for folded optic
CN107872613A (zh) * 2016-09-23 2018-04-03 中兴通讯股份有限公司 一种利用双摄像头进行人脸识别的方法、装置及移动终端
TWI626620B (zh) * 2016-12-20 2018-06-11 廣東歐珀移動通訊有限公司 圖像處理方法與裝置、電子裝置及計算機可讀儲存介質
US11531209B2 (en) 2016-12-28 2022-12-20 Corephotonics Ltd. Folded camera structure with an extended light-folding-element scanning range
KR102164655B1 (ko) 2017-01-12 2020-10-13 코어포토닉스 리미티드 컴팩트 폴디드 카메라
IL290630B2 (en) 2017-02-23 2023-10-01 Corephotonics Ltd Lens designs for a folded camera
CN114137790A (zh) 2017-03-15 2022-03-04 核心光电有限公司 具有全景扫瞄范围的系统、移动电子装置及其方法
CN107087107B (zh) * 2017-05-05 2019-11-29 中国科学院计算技术研究所 基于双摄像头的图像处理装置及方法
CN107343158A (zh) * 2017-07-25 2017-11-10 广东欧珀移动通信有限公司 加快aec收敛的方法及装置、终端设备
US10904512B2 (en) 2017-09-06 2021-01-26 Corephotonics Ltd. Combined stereoscopic and phase detection depth mapping in a dual aperture camera
US10951834B2 (en) 2017-10-03 2021-03-16 Corephotonics Ltd. Synthetically enlarged camera aperture
KR102261024B1 (ko) 2017-11-23 2021-06-04 코어포토닉스 리미티드 컴팩트 폴디드 카메라 구조
KR102475912B1 (ko) * 2017-12-01 2022-12-09 삼성전자 주식회사 전자 장치 및 그의 이미지 획득 방법
KR102091369B1 (ko) 2018-02-05 2020-05-18 코어포토닉스 리미티드 폴디드 카메라에 대한 감소된 높이 페널티
CN113467031B (zh) 2018-02-12 2023-07-14 核心光电有限公司 具有光学图像稳定化的折叠摄像机、数字摄像机及方法
US10694168B2 (en) 2018-04-22 2020-06-23 Corephotonics Ltd. System and method for mitigating or preventing eye damage from structured light IR/NIR projector systems
CN111936908B (zh) 2018-04-23 2021-12-21 核心光电有限公司 具有扩展的两个自由度旋转范围的光路折叠元件
CN108495043B (zh) * 2018-04-28 2020-08-07 Oppo广东移动通信有限公司 图像数据处理方法及相关装置
WO2020031005A1 (en) 2018-08-04 2020-02-13 Corephotonics Ltd. Switchable continuous display information system above camera
WO2020039302A1 (en) 2018-08-22 2020-02-27 Corephotonics Ltd. Two-state zoom folded camera
CN111103922B (zh) * 2018-10-26 2023-08-25 华为技术有限公司 摄像头、电子设备和身份验证方法
CN111919057B (zh) 2019-01-07 2021-08-31 核心光电有限公司 具有滑动接头的旋转机构
WO2020183312A1 (en) 2019-03-09 2020-09-17 Corephotonics Ltd. System and method for dynamic stereoscopic calibration
KR102365748B1 (ko) 2019-07-31 2022-02-23 코어포토닉스 리미티드 카메라 패닝 또는 모션에서 배경 블러링을 생성하는 시스템 및 방법
CN110533611A (zh) * 2019-08-26 2019-12-03 维沃移动通信有限公司 图片处理方法及终端设备
US11659135B2 (en) 2019-10-30 2023-05-23 Corephotonics Ltd. Slow or fast motion video using depth information
US11949976B2 (en) 2019-12-09 2024-04-02 Corephotonics Ltd. Systems and methods for obtaining a smart panoramic image
CN114641983A (zh) 2019-12-09 2022-06-17 核心光电有限公司 用于获得智能全景图像的系统及方法
WO2021165764A1 (en) 2020-02-22 2021-08-26 Corephotonics Ltd. Split screen feature for macro photography
WO2021220080A1 (en) 2020-04-26 2021-11-04 Corephotonics Ltd. Temperature control for hall bar sensor correction
KR102495627B1 (ko) 2020-05-17 2023-02-06 코어포토닉스 리미티드 전체 시야 레퍼런스 이미지 존재 하의 이미지 스티칭
CN113747145B (zh) * 2020-05-29 2024-02-27 Oppo广东移动通信有限公司 图像处理电路、电子设备和图像处理方法
KR20240001277A (ko) 2020-05-30 2024-01-03 코어포토닉스 리미티드 슈퍼 매크로 이미지를 얻기 위한 시스템 및 방법
US11637977B2 (en) 2020-07-15 2023-04-25 Corephotonics Ltd. Image sensors and sensing methods to obtain time-of-flight and phase detection information
EP4202521A1 (en) 2020-07-15 2023-06-28 Corephotonics Ltd. Point of view aberrations correction in a scanning folded camera
EP4065934A4 (en) 2020-07-31 2023-07-26 Corephotonics Ltd. LARGE STROKE LINEAR POSITION DETECTION HALL EFFECT SENSOR MAGNET GEOMETRY
KR102480820B1 (ko) 2020-08-12 2022-12-22 코어포토닉스 리미티드 스캐닝 폴디드 카메라의 광학 이미지 안정화
WO2022259154A2 (en) 2021-06-08 2022-12-15 Corephotonics Ltd. Systems and cameras for tilting a focal plane of a super-macro image
KR20230020846A (ko) 2021-08-04 2023-02-13 현대자동차주식회사 로봇의 카메라 역광 개선 장치 및 그 방법
CN113992850B (zh) * 2021-10-20 2023-06-20 上海闻泰电子科技有限公司 基于isp的图像处理方法及装置、存储介质和摄像设备
CN115953333A (zh) * 2023-03-15 2023-04-11 杭州魔点科技有限公司 一种动态背光补偿方法和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004235956A (ja) * 2003-01-30 2004-08-19 Sony Corp 撮像装置
JP2008124994A (ja) * 2006-11-15 2008-05-29 Fujifilm Corp 撮像装置及び露出制御方法
JP2009017457A (ja) * 2007-07-09 2009-01-22 Fujifilm Corp 複眼撮影装置及びその調節方法
JP2010251855A (ja) * 2009-04-10 2010-11-04 Nikon Corp 撮像装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6101333A (en) 1997-08-14 2000-08-08 Polaroid Corporation Method and apparatus for acquiring electronic and/or photographic images
US7555165B2 (en) 2003-11-13 2009-06-30 Eastman Kodak Company Method for semantic scene classification using camera metadata and content-based cues
US7683962B2 (en) 2007-03-09 2010-03-23 Eastman Kodak Company Camera using multiple lenses and image sensors in a rangefinder configuration to provide a range map
US7729602B2 (en) * 2007-03-09 2010-06-01 Eastman Kodak Company Camera using multiple lenses and image sensors operable in a default imaging mode
US7676146B2 (en) 2007-03-09 2010-03-09 Eastman Kodak Company Camera using multiple lenses and image sensors to provide improved focusing capability
US20080231726A1 (en) 2007-03-23 2008-09-25 Motorola, Inc. Apparatus and method for image color correction in a portable device
CN101489115A (zh) * 2008-01-15 2009-07-22 欧普罗科技股份有限公司 日夜辨识用双镜头摄影机
CN101639891B (zh) 2008-07-28 2012-05-02 汉王科技股份有限公司 一种双摄像头人脸识别装置和方法
US8553106B2 (en) 2009-05-04 2013-10-08 Digitaloptics Corporation Dual lens digital zoom
US8244402B2 (en) 2009-09-22 2012-08-14 GM Global Technology Operations LLC Visual perception system and method for a humanoid robot
CN101958976A (zh) * 2010-09-29 2011-01-26 华为终端有限公司 一种图像处理方法及无线终端设备
CN103843317A (zh) * 2011-10-18 2014-06-04 惠普发展公司，有限责任合伙企业 成像设备
CN202395858U (zh) 2011-12-14 2012-08-22 深圳市中控生物识别技术有限公司 一种双目摄像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004235956A (ja) * 2003-01-30 2004-08-19 Sony Corp 撮像装置
JP2008124994A (ja) * 2006-11-15 2008-05-29 Fujifilm Corp 撮像装置及び露出制御方法
JP2009017457A (ja) * 2007-07-09 2009-01-22 Fujifilm Corp 複眼撮影装置及びその調節方法
JP2010251855A (ja) * 2009-04-10 2010-11-04 Nikon Corp 撮像装置

Also Published As

Publication number Publication date
EP3079010A1 (en) 2016-10-12
US20170006208A1 (en) 2017-01-05
KR20160090379A (ko) 2016-07-29
EP3079010A4 (en) 2016-10-19
CN105339840A (zh) 2016-02-17
WO2015081556A1 (zh) 2015-06-11
CN105339840B (zh) 2019-06-14
US9736391B2 (en) 2017-08-15
EP3079010B1 (en) 2018-09-12

Similar Documents

Publication Publication Date Title
KR101916355B1 (ko) 듀얼-렌즈 장치의 촬영 방법, 및 듀얼-렌즈 장치
CN111028189B (zh) 图像处理方法、装置、存储介质及电子设备
EP3599760B1 (en) Image processing method and apparatus
CN108335279B (zh) 图像融合和hdr成像
US9451173B2 (en) Electronic device and control method of the same
US11558553B2 (en) Electronic device for stabilizing image and method for operating same
WO2020034924A1 (en) Imaging control method and apparatus, electronic device, and computer readable storage medium
CN107077725B (zh) 数据处理装置、成像装置和数据处理方法
JP4957850B2 (ja) 撮像装置、警告方法、および、プログラム
KR20190021138A (ko) 이미지를 이용하여 획득된 깊이 정보의 속성에 따라 이미지와 연관하여 깊이 정보를 저장하는 전자 장치 및 전자 장치 제어 방법
KR20190032061A (ko) 이미지 보정을 수행하는 전자 장치 및 그 동작 방법
CN111028190A (zh) 图像处理方法、装置、存储介质及电子设备
KR20200031169A (ko) 이미지 처리 방법 및 장치
KR20190051594A (ko) 복수의 카메라들을 이용하여 영상을 촬영하는 전자 장치와 이의 동작 방법
US10972676B2 (en) Image processing method and electronic device capable of optimizing hdr image by using depth information
US20220253993A1 (en) Image processing apparatus and image processing method
KR20170011876A (ko) 영상 처리 장치 및 그 동작 방법
CN110213462B (zh) 图像处理方法、装置、电子设备、图像处理电路及存储介质
WO2021145913A1 (en) Estimating depth based on iris size
EP3429202B1 (en) Mobile terminal and adjusting method thereof, and computer readable storage medium
KR20200101226A (ko) 촬영된 이미지를 처리하기 위한 방법 및 그 전자 장치
JP6245802B2 (ja) 画像処理装置、その制御方法、および制御プログラム
CN116438568A (zh) 位置差异图生成方法及装置、电子设备、芯片及介质
KR20210016984A (ko) 얼굴이 포함된 영상의 노출 값을 조절하는 전자 장치
JP2019106215A (ja) データ処理装置、撮像装置、およびデータ処理方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant