KR20170045314A - 이미지 처리 방법 및 장치, 그리고 전자 기기 - Google Patents

이미지 처리 방법 및 장치, 그리고 전자 기기 Download PDF

Info

Publication number
KR20170045314A
KR20170045314A KR1020177008184A KR20177008184A KR20170045314A KR 20170045314 A KR20170045314 A KR 20170045314A KR 1020177008184 A KR1020177008184 A KR 1020177008184A KR 20177008184 A KR20177008184 A KR 20177008184A KR 20170045314 A KR20170045314 A KR 20170045314A
Authority
KR
South Korea
Prior art keywords
image
unit
imaging unit
normal
offset
Prior art date
Application number
KR1020177008184A
Other languages
English (en)
Other versions
KR101991754B1 (ko
Inventor
청 두
웨이 루오
빈 덩
Original Assignee
후아웨이 테크놀러지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후아웨이 테크놀러지 컴퍼니 리미티드 filed Critical 후아웨이 테크놀러지 컴퍼니 리미티드
Publication of KR20170045314A publication Critical patent/KR20170045314A/ko
Application granted granted Critical
Publication of KR101991754B1 publication Critical patent/KR101991754B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G06T5/007—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H04N5/2258—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Cameras In General (AREA)

Abstract

본 출원은 이미지 처리 방법 및 전자 기기를 제공한다. 상기 이미지 처리 방법은, 동일한 획득 시각에 획득되는 제1 이미지 및 제2 이미지를 취득하는 단계 - 상기 제1 이미지는 제1 획득 구역에서의 이미지를 획득하기 위해 제1 촬영 유닛을 사용하여 취득되고, 상기 제2 이미지는 제2 획득 구역에서의 이미지를 획득하기 위해 제2 촬영 유닛을 사용하여 취득되며, 상기 제1 촬영 유닛의 파라미터와 상기 제2 촬영 유닛의 파라미터는 동일하고, 상기 제1 획득 구역과 상기 제2 획득 구역 사이에는 중첩하는 획득 구역이 있음 -; 및 상기 제1 이미지 및 상기 제2 이미지에 따라, 상기 제1 촬영 유닛과 상기 제2 촬영 유닛의 정상 여부를 결정하는 단계를 포함한다.

Description

이미지 처리 방법 및 장치, 그리고 전자 기기 {IMAGE PROCESSING METHOD AND APPARATUS AND ELECTRONIC DEVICE}
본 발명의 전자 기술 분야에 관한 것으로, 특히, 이미지 처리 방법 및 장치, 그리고 전자 기기에 관한 것이다.
전자 기술의 발달에 따라, 스마트폰, 피처폰, 태블릿 컴퓨터 등의 전자 기기는 촬영 기능을 제공하고 있다. 일부 전자 기기는 하나의 촬영 유닛을 구비하고, 일부 전자 기기는 두 개의 촬영 유닛을 구비한다. 예를 들어, 이동 전화는 전면 카메라(front-facing camera)와 후면 카메라(rear-facing camera)를 구비한다.
그러나 사용자가 전자 기기를 사용하는 과정 중에, 촬영 유닛은 여러 가지 이유로 비정상적인 상태가 될 수 있다. 예를 들어, 렌즈에 흐린 영역이 있거나, 촬영 과정 중에 렌즈가 부분적으로 차단된다. 전술한 모든 이상(abnormality)은 촬영 효과의 저하를 초래한다. 그러나 종래 기술에는, 촬영 유닛의 정상 여부를 결정할 방안이 없다.
본 발명의 실시예는, 촬영 유닛의 정상 여부를 결정할 방안이 없는 종래기술의 기술적 문제를 해결하기 위해, 이미지 처리 방법 및 장치, 그리고 전자 기기를 제공한다.
본 출원의 제1 측면은 이미지 처리 방법을 제공하며, 상기 이미지 처리 방법은,
동일한 획득 시각에 획득되는 제1 이미지 및 제2 이미지를 취득하는 단계 - 상기 제1 이미지는 제1 획득 구역에서의 이미지를 획득하기 위해 제1 촬영 유닛을 사용하여 취득되고, 상기 제2 이미지는 제2 획득 구역에서의 이미지를 획득하기 위해 제2 촬영 유닛을 사용하여 취득되며, 상기 제1 촬영 유닛의 파라미터와 상기 제2 촬영 유닛의 파라미터는 동일하고, 상기 제1 획득 구역과 상기 제2 획득 구역 사이에 중첩하는 획득 구역이 있음 -; 및
상기 제1 이미지 및 상기 제2 이미지에 따라, 상기 제1 촬영 유닛과 상기 제2 촬영 유닛의 정상 여부를 결정하는 단계를 포함한다.
제1 측면을 참조하여, 제1 측면의 제1 가능한 구현 방식에서, 상기 제1 촬영 유닛 및 상기 제2 촬영 유닛이 정상인 것으로 결정되는 경우, 상기 제1 촬영 유닛 및 상기 제2 촬영 유닛에 의해 동일한 획득 시각에 획득되는, 중첩하는 획득 구역이 있는 상기 두 획득 구역에서의 두 프레임의 이미지를 합성하여 높은 동적 범위(high dynamic range, HDR) 이미지를 형성한다.
제1 측면 또는 제1 측면의 제1 가능한 구현 방식을 참조하여, 제1 측면의 제2 가능한 구현 방식에서, 상기 제1 이미지 및 상기 제2 이미지에 따라, 상기 제1 촬영 유닛과 상기 제2 촬영 유닛의 정상 여부를 결정하는 단계는, 상기 제1 이미지와 상기 제2 이미지 사이의 오프셋(offset)을 취득하는 단계; 상기 오프셋에 따라 상기 제1 이미지를 시프트시키는 단계; 상기 시프트된 제1 이미지와 상기 제2 이미지를 n*m개의 블록 구역으로 개별적으로 분할하는 단계 - n과 m은 모두 1보다 큰 양의 정수임 -; 상기 시프트된 제1 이미지와 상기 제2 이미지상의 대응하는 위치상의 블록 구역이 상호 매치되지 않는 경우를 결정하는 단계; 및 상기 상호 매치되지 않는 경우에 기초하여, 상기 제1 촬영 유닛 및 상기 제2 촬영 유닛의 정상 여부를 결정하는 단계를 포함한다.
제1 측면의 제2 가능한 구현 방식을 참조하여, 제1 측면의 제3 가능한 구현 방식에서, 상기 이미지 처리 방법은,
상기 제1 이미지와 상기 제2 이미지 사이의 유사도(similarity)를 취득하는 단계를 더 포함하고;
상기 상호 매치되지 않는 경우에 기초하여, 상기 제1 촬영 유닛 및 상기 제2 촬영 유닛의 정상 여부를 결정하는 단계는,
상기 상호 매치되지 않는 경우 및 상기 유사도에 기초하여, 상기 제1 촬영 유닛 및 상기 제2 촬영 유닛의 정상 여부를 결정하는 단계를 포함한다.
제1 측면의 제3 가능한 구현 방식을 참조하여, 제1 측면의 제4 가능한 구현 방식에서, 상기 제1 이미지와 상기 제2 이미지 사이의 유사도를 취득하는 단계는,
상기 제1 이미지와 상기 제2 이미지 사이의 이미지 평균 차(image mean difference) 및/또는 상기 제1 이미지와 상기 제2 이미지 사이의 이미지 분산 차(image variance difference)를 취득하고, 상기 이미지 평균 차 및/또는 상기 이미지 분산 차를 상기 유사도로 사용하는 단계를 포함하고;
상기 상호 매치되지 않는 경우 및 상기 유사도에 기초하여, 상기 제1 촬영 유닛 및 상기 제2 촬영 유닛의 정상 여부를 결정하는 단계는,
상기 이미지 평균차가 제1 임계치보다 큰 경우 및/또는 상기 이미지 분산 차가 제2 임계치보다 큰 경우, 그리고 상호 매치되지 않는, 상기 대응하는 위치상의, 상기 블록 구역의 비율이 상기 제1 임계치보다 큰 경우, 상기 제1 촬영 유닛 또는 상기 제2 촬영 유닛 중 적어도 하나의 렌즈가 차단된 것으로 결정하는 단계를 포함한다.
제1 측면의 제2 가능한 구현 방식을 참조하여, 제1 측면의 제5 가능한 구현 방식에서, 상기 상호 매치되지 않는 경우에 기초하여, 상기 제1 촬영 유닛 및 상기 제2 촬영 유닛의 정상 여부를 결정하는 단계는,
상기 상호 매치되지 않는 경우 및 상기 오프셋에 기초하여, 상기 제1 촬영 유닛 및 상기 제2 촬영 유닛의 정상 여부를 결정하는 단계를 포함한다.
제1 측면의 제5 가능한 구현 방식을 참조하여, 제1 측면의 제6 가능한 구현 방식에서,
상기 상호 매치되지 않는 경우 및 상기 오프셋에 기초하여, 상기 제1 촬영 유닛 및 상기 제2 촬영 유닛의 정상 여부를 결정하는 단계는,
상기 오프셋이 제2 임계치보다 크고, 상기 상호 매치되지 않는 블록 구역의 비율이 제3 임계치보다 작은 경우, 상기 제1 촬영 유닛과 상기 제2 촬영 유닛의 상대 위치 사이의 관계가 비정상인 것으로 결정하는 단계를 포함한다.
제1 측면의 제2 가능한 구현 방식을 참조하여, 제1 측면의 제7 가능한 구현 방식에서, 상기 이미지 처리 방법은,
상기 제1 이미지와 상기 제2 이미지 사이의 유사도를 계산하는 단계를 더 포함하고;
상기 상호 매치되지 않는 경우에 기초하여, 상기 제1 촬영 유닛 및 상기 제2 촬영 유닛의 정상 여부를 결정하는 단계는,
상기 유사도, 상기 오프셋, 및 상기 미스매치의 경우에 기초하여, 상기 제1 촬영 유닛 및 상기 제2 촬영 유닛의 정상 여부를 결정하는 단계를 포함한다.
제1 측면의 제2 가능한 구현 방식을 참조하여, 제1 측면의 제8 가능한 구현 방식에서,
상기 상호 매치되지 않는 경우에 기초하여, 상기 제1 촬영 유닛 및 상기 제2 촬영 유닛의 정상 여부를 결정하는 단계는,
연속적으로 매치되지 않는 블록 구역의 위치가 동일한 경우, 상기 제1 촬영 유닛 또는 상기 제2 촬영 유닛 중 적어도 하나의 렌즈에 흐린 영역(blurry area)이 있는 것으로 결정하는 단계를 포함한다.
제1 측면 또는 제1 측면의 제1가능한 구현 방식을 참조하여, 제1 측면의 제9 가능한 구현 방식에서,
상기 제1 이미지 및 상기 제2 이미지에 따라, 상기 제1 촬영 유닛과 상기 제2 촬영 유닛의 정상 여부를 결정하는 단계는,
상기 제1 이미지와 상기 제2 이미지 사이의 오프셋 및/또는 상기 제1 이미지와 상기 제2 이미지 사이의 유사도에 따라, 상기 제1 촬영 유닛 및 상기 제2 촬영 유닛의 정상 여부를 결정하는 단계를 포함한다.
제1 측면 또는 제1 측면의 제1 내지 제9 가능한 구현 방식 중 어느 하나를 참조하여, 제1 측면의 제10 가능한 구현 방식에서, 상기 제1 이미지 및 상기 제2 이미지에 따라, 상기 제1 촬영 유닛과 상기 제2 촬영 유닛의 정상 여부를 결정하는 단계 이전에, 상기 이미지 처리 방법은,
상기 제1 촬영 유닛 및 상기 제2 촬영 유닛이 처해 있는 현재의 시나리오가 HDR 시나리오인 것으로 결정하는 단계를 더 포함한다.
제1 측면의 제1 가능한 구현 방식을 참조하여, 제1 측면의 제11 가능한 구현 방식에서, 상기 제1 촬영 유닛 및 상기 제2 촬영 유닛이 정상인 것으로 결정되는 경우, 상기 이미지 처리 방법은,
상기 제1 이미지 및 상기 제2 이미지 중의 각각의 물체의 깊이 정보를 개별적으로 계산하는 단계; 및
깊이 정보가 임계치보다 큰 물체의 수량이 미리 설정된 값을 초과하는 것으로 결정하는 단계를 더 포함한다.
본 출원의 제2 측면은 이미지 처리 장치를 제공하며, 상기 이미지 처리 장치는,
동일한 획득 시각에 획득되는 제1 이미지 및 제2 이미지를 취득하도록 구성된 취득 유닛 - 상기 제1 이미지는 제1 획득 구역에서의 이미지를 획득하기 위해 제1 촬영 유닛을 사용하여 취득되고, 상기 제2 이미지는 제2 획득 구역에서의 이미지를 획득하기 위해 제2 촬영 유닛을 사용하여 취득되며, 상기 제1 촬영 유닛의 파라미터와 상기 제2 촬영 유닛의 파라미터는 동일하고, 상기 제1 획득 구역과 상기 제2 획득 구역 사이에 중첩하는 획득 구역이 있음 -; 및
상기 제1 이미지 및 상기 제2 이미지에 따라, 상기 제1 촬영 유닛과 상기 제2 촬영 유닛의 정상 여부를 결정하도록 구성된 결정 유닛을 포함한다.
제2 측면을 참조하여, 제2 측면의 제1 가능한 구현 방식에서, 상기 이미지 처리 장치는, 상기 제1 촬영 유닛 및 상기 제2 촬영 유닛이 정상인 것으로 결정되는 경우, 상기 제1 촬영 유닛 및 상기 제2 촬영 유닛에 의해 동일한 획득 시각에 획득되는, 중첩하는 획득 구역이 있는 상기 두 획득 구역에서의 두 프레임의 이미지를 합성하여 높은 동적 범위(HDR) 이미지를 형성하도록 구성된 처리 유닛을 더 포함한다.
제2 측면 또는 제2 측면의 제1 가능한 구현 방식을 참조하여, 제2 측면의 제2 가능한 구현 방식에서, 상기 결정 유닛은 구체적으로, 상기 제1 이미지와 상기 제2 이미지 사이의 오프셋을 취득하고; 상기 오프셋에 따라 상기 제1 이미지를 시프트시키고; 상기 시프트된 제1 이미지와 상기 제2 이미지를 n*m개의 블록 구역으로 개별적으로 분할하고 - n과 m은 모두 1보다 큰 양의 정수임 -; 상기 시프트된 제1 이미지와 상기 제2 이미지상의 대응하는 위치 상의 블록 영역이 상호 매치되지 않는 경우를 결정하고; 상호 매치되지 않는 경우에 기초하여, 상기 제1 촬영 유닛 및 상기 제2 촬영 유닛의 정상 여부를 결정하도록 구성된다.
제2 측면의 제2 가능한 구현 방식을 참조하여, 제2 측면의 제3 가능한 구현 방식에서, 상기 결정 유닛은 추가로, 상기 제1 이미지와 상기 제2 이미지 사이의 유사도를 취득하고; 상기 상호 매치되지 않는 경우 및 상기 유사도에 기초하여, 상기 제1 촬영 유닛 및 상기 제2 촬영 유닛의 정상 여부를 결정하도록 구성된다.
제2 측면의 제3 가능한 구현 방식을 참조하여, 제2 측면의 제4 가능한 구현 방식에서, 상기 결정 유닛은 구체적으로, 상기 제1 이미지와 상기 제2 이미지 사이의 이미지 평균 차 및/또는 상기 제1 이미지와 상기 제2 이미지 사이의 이미지 분산 차를 취득하고, 상기 이미지 평균 차 및/또는 상기 이미지 분산 차를 상기 유사도로 사용하고;
상기 이미지 평균차가 제1 임계치보다 큰 경우 및/또는 상기 이미지 분산 차가 제2 임계치보다 큰 경우, 그리고 상호 매치되지 않는, 상기 대응하는 위치상의, 상기 블록 구역의 비율이 상기 제1 임계치보다 큰 경우, 상기 제1 촬영 유닛과 상기 제2 촬영 유닛 중 적어도 하나의 렌즈가 차단된 것으로 결정하도록 구성된다.
제2 측면의 제2 가능한 구현 방식을 참조하여, 제2 측면의 제5 가능한 구현 방식에서, 상기 결정 유닛은 구체적으로, 상기 상호 매치되지 않는 경우 및 상기 오프셋에 기초하여, 상기 제1 촬영 유닛 및 상기 제2 촬영 유닛의 정상 여부를 결정하도록 구성된다.
제2 측면의 제5 가능한 구현 방식을 참조하여, 제2 측면의 제6 가능한 구현 방식에서, 상기 결정 유닛은 구체적으로, 상기 오프셋이 제2 임계치보다 크고, 상호 매치되지 않는 블록 구역의 비율이 제3 임계치보다 작은 경우, 상기 제1 촬영 유닛과 상기 제2 촬영 유닛의 상대 위치 사이의 관계가 비정상인 것으로 결정하도록 구성된다.
제2 측면의 제2 가능한 구현 방식을 참조하여, 제2 측면의 제7 가능한 구현 방식에서, 상기 결정 유닛은 추가로, 상기 제1 이미지와 상기 제2 이미지 사이의 유사도를 계산하고; 상기 유사도, 상기 오프셋, 및 상기 매치되지 않는 경우에 기초하여, 상기 제1 촬영 유닛 및 상기 제2 촬영 유닛의 정상 여부를 결정하도록 구성된다.
제2 측면의 제2 가능한 구현 방식을 참조하여, 제2 측면의 제8 가능한 구현 방식에서, 상기 결정 유닛은 구체적으로, 연속적으로 매치되지 않는 블록 구역의 위치가 동일한 경우, 상기 제1 촬영 유닛과 상기 제2 촬영 유닛 중 적어도 하나의 렌즈에 흐린 영역이 있는 것으로 결정하도록 구성된다.
제2 측면 또는 제2 측면의 제1 가능한 구현 방식을 참조하여, 제2 측면의 제9 가능한 구현 방식에서, 상기 결정 유닛은 구체적으로, 상기 제1 이미지와 상기 제2 이미지 사이의 오프셋 및/또는 상기 제1 이미지와 상기 제2 이미지 사이의 유사도에 따라, 상기 제1 촬영 유닛 및 상기 제2 촬영 유닛의 정상 여부를 결정하도록 구성된다.
제2 측면 또는 제2 측면의 제1 가능한 구현 방식 내지 제2 측면의 제9 가능한 구현 방식 중 어느 하나를 참조하여, 제2 측면의 제10 가능한 구현 방식에서, 상기 결정 유닛은 추가로, 상기 제1 이미지 및 상기 제2 이미지에 따라, 상기 제1 촬영 유닛과 상기 제2 촬영 유닛의 정상 여부를 결정하기 전에, 상기 제1 촬영 유닛 및 상기 제2 촬영 유닛이 처해 있는 현재의 시나리오가 HDR 시나리오인 것으로 결정하도록 구성된다.
제2 측면의 제1 가능한 구현 방식을 참조하여, 제2 측면의 제11 가능한 구현 방식에서, 상기 결정 유닛은 추가로, 상기 제1 촬영 유닛 및 상기 제2 촬영 유닛이 정상인 것으로 결정되는 경우, 상기 제1 이미지 및 상기 제2 이미지 중의 각각의 물체의 깊이 정보를 개별적으로 계산하고; 깊이 정보가 임계치보다 큰 물체의 수량이 미리 설정된 값을 초과하는 것으로 결정하도록 구성된다.
본 출원의 제3 측면은 전자 기기를 제공하며, 상기 전자 기기는,
제1 이미지를 취득하기 위해 제1 획득 구역에서의 이미지를 획득하도록 구성된 제1 촬영 유닛;
상기 제1 이미지가 획득되는 시각과 동일한 획득 시각에, 제2 이미지를 취득하기 위해 제2 획득 구역에서 이미지를 획득하도록 구성된 제2 촬영 유닛 - 상기 제1 촬영 유닛의 파라미터와 상기 제2 촬영 유닛의 파라미터는 동일하고, 상기 제1 획득 구역과 상기 제2 획득 구역 사이에 중첩하는 획득 구역이 있음 -; 및
상기 제1 이미지 및 상기 제2 이미지에 따라, 상기 제1 촬영 유닛과 상기 제2 촬영 유닛의 정상 여부를 결정하도록 구성된 프로세서를 포함한다.
제3 측면을 참조하여, 제3 측면의 제1 가능한 구현 방식에서, 상기 프로세서는 추가로, 상기 제1 촬영 유닛 및 상기 제2 촬영 유닛이 정상인 것으로 결정되는 경우, 상기 제1 촬영 유닛 및 상기 제2 촬영 유닛에 의해 동일한 획득 시각에 획득되는, 중첩하는 획득 구역이 있는 상기 두 획득 구역에서의 두 프레임의 이미지를 합성하여 높은 동적 범위(HDR) 이미지를 형성하도록 구성된다.
제3 측면 또는 제3 측면의 제1 가능한 구현 방식을 참조하여, 제3 측면의 제2 가능한 구현 방식에서, 상기 프로세서는 구체적으로, 상기 제1 이미지와 상기 제2 이미지 사이의 오프셋을 취득하고; 상기 오프셋에 따라 상기 제1 이미지를 시프트시키고; 상기 시프트된 제1 이미지와 상기 제2 이미지를 n*m개의 블록 구역으로 개별적으로 분할하고 - n과 m은 모두 1보다 큰 양의 정수임 -; 상기 시프트된 제1 이미지와 상기 제2 이미지상의 대응하는 위치상의 블록 구역이 매치되지 않는 경우를 결정하고; 및 상기 상호 매치되지 않는 경우에 기초하여, 상기 제1 촬영 유닛 및 상기 제2 촬영 유닛의 정상 여부를 결정하도록 구성된다.
제3 측면의 제2 가능한 구현 방식을 참조하여, 제3 측면의 제3 가능한 구현 방식에서, 상기 프로세서는 추가로, 상기 제1 이미지와 상기 제2 이미지 사이의 유사도를 취득하고; 상기 상호 매치되지 않는 경우 및 상기 유사도에 기초하여, 상기 제1 촬영 유닛 및 상기 제2 촬영 유닛의 정상 여부를 결정하도록 구성된다.
제3 측면의 제3 가능한 구현 방식을 참조하여, 제3 측면의 제4 가능한 구현 방식에서, 상기 프로세서는 구체적으로, 상기 제1 이미지와 상기 제2 이미지 사이의 이미지 평균 차 및/또는 상기 제1 이미지와 상기 제2 이미지 사이의 이미지 분산 차를 취득하고, 상기 이미지 평균 차 및/또는 상기 이미지 분산 차를 상기 유사도로 사용하고;
상기 이미지 평균차가 제1 임계치보다 큰 경우 및/또는 상기 이미지 분산 차가 제2 임계치보다 큰 경우, 그리고 상호 매치되지 않는, 상기 대응하는 위치상의, 상기 블록 구역의 비율이 상기 제1 임계치보다 큰 경우, 상기 제1 촬영 유닛과 상기 제2 촬영 유닛 중 적어도 하나의 렌즈가 차단된 것으로 결정하도록 구성된다.
제3 측면의 제2 가능한 구현 방식을 참조하여, 제3 측면의 제5 가능한 구현 방식에서, 상기 프로세서는 구체적으로, 상기 상호 매치되지 않는 경우 및 상기 오프셋에 기초하여, 상기 제1 촬영 유닛 및 상기 제2 촬영 유닛의 정상 여부를 결정하도록 구성된다.
제3 측면의 제5 가능한 구현 방식을 참조하여, 제3 측면의 제6 가능한 구현 방식에서, 상기 프로세서는 구체적으로, 상기 오프셋이 제2 임계치보다 크고, 상호 매치되지 않는 블록 구역의 비율이 제3 임계치보다 작은 경우, 상기 제1 촬영 유닛과 상기 제2 촬영 유닛의 상대 위치 사이의 관계가 비정상인 것으로 결정하도록 구성된다.
제3 측면의 제2 가능한 구현 방식을 참조하여, 제3 측면의 제7 가능한 구현 방식에서, 상기 프로세서는 추가로, 상기 제1 이미지와 상기 제2 이미지 사이의 유사도를 계산하고; 상기 유사도, 상기 오프셋, 및 상기 매치되지 않는 경우에 기초하여, 상기 제1 촬영 유닛 및 상기 제2 촬영 유닛의 정상 여부를 결정하도록 구성된다.
제3 측면의 제2 가능한 구현 방식을 참조하여, 제3 측면의 제8 가능한 구현 방식에서, 상기 프로세서는 구체적으로, 연속적으로 매치되지 않는 블록 구역의 위치가 동일한 경우, 상기 제1 촬영 유닛과 상기 제2 촬영 유닛 중 적어도 하나의 렌즈에 흐린 영역이 있는 것으로 결정하도록 구성된다.
제3 측면 또는 제3 측면의 제1 가능한 구현 방식을 참조하여, 제3 측면의 제9 가능한 구현 방식에서, 상기 프로세서는 구체적으로, 상기 제1 이미지와 상기 제2 이미지 사이의 오프셋 및/또는 상기 제1 이미지와 상기 제2 이미지 사이의 유사도에 따라, 상기 제1 촬영 유닛 및 상기 제2 촬영 유닛의 정상 여부를 결정하도록 구성된다.
제3 측면 또는 제3 측면의 제1 가능한 구현 방식 내지 제3 측면의 제9 가능한 구현 방식을 참조하여, 제3 측면의 제10 가능한 구현 방식에서, 및 제3 측면의 제3 가능한 구현 방식에서, 상기 프로세서는 추가로, 상기 제1 이미지 및 상기 제2 이미지에 따라, 상기 제1 촬영 유닛과 상기 제2 촬영 유닛의 정상 여부를 결정하기 전에, 상기 제1 촬영 유닛 및 상기 제2 촬영 유닛이 처해 있는 현재의 시나리오가 HDR 시나리오인 것으로 결정하도록 구성된다.
제3 측면의 제1 가능한 구현 방식을 참조하여, 제3 측면의 제11 가능한 구현 방식에서, 상기 프로세서는 추가로, 상기 제1 촬영 유닛 및 상기 제2 촬영 유닛이 정상인 것으로 결정되는 경우, 상기 제1 이미지 및 상기 제2 이미지 중의 각각의 물체의 깊이 정보를 개별적으로 계산하고; 깊이 정보가 임계치보다 큰 물체의 수량이 미리 설정된 값을 초과하는 것으로 결정하도록 구성된다.
본 출원의 실시예에서 제공되는 하나 이상의 기술적 방안은 적어도 이하의 기술적 효과 및 이점이 있다:
본 출원의 실시예에서는, 제1 촬영 유닛 및 제2 촬영 유닛의 정상 여부를 제1 이미지 및 제2 이미지에 따라 결정하며, 제1 이미지는 제1 획득 구역에서의 이미지를 획득하기 위해 제1 촬영 유닛을 사용하여 취득되고, 제2 이미지는 제2 획득 구역에서의 이미지를 획득하기 위해 제2 촬영 유닛을 사용하여 취득되며; 제1 획득 구역과 제2 획득 구역 사이에 중첩하는 획득 구역이 있다. 본 출원의 실시예에서, 전자 기기는, 두 촬영 유닛에 의해 촬영된 이미지에 따라, 두 촬영 유닛의 정상 여부를 결정할 수 있음을 알 수 있다. 즉, 본 출원의 실시예는 촬영 유닛의 정상 여부를 결정하는 방법을 제공하여, 두 촬영 유닛 모두가 정상인 환경에서 이미지를 촬영하고, 촬영 효과를 보장할 수 있도록 한다.
도 1은 본 출원의 실시예에 따른 이미지 처리 방법의 흐름도이다.
도 2는 본 출원의 실시예에 따른 촬영 유닛의 렌즈 배치의 개략도이다.
도 3은 본 출원의 실시예에 따른 투영 히스토그램(projective histogram)의 개략도이다.
도 4는 본 출원의 실시예에 따른 이미지 처리 방법의 예를 나타낸 도면이다.
도 5는 종래기술의 "고스팅(ghosting)"의 개략도이다.
도 6은 본 출원의 실시예에 따른 이미지 처리 장치의 기능 블록도이다.
도 7은 본 출원의 실시예에 따른 전자 기기의 시스템의 블록도이다.
본 출원의 실시예는, 촬영 유닛의 정상 여부를 결정하는 방안이 없는 종래기술의 기술적 문제를 해결하기 위한, 이미지 처리 방법 및 장치, 그리고 전자 기기를 제공한다.
본 출원의 실시예의 목적, 기술적 방안, 및 이점을 더 명확하게 하기 위해, 이하에 본 출원의 실시예에서의 첨부도면을 참조하여 본 출원의 실시예에서의 기술적 방안을 명확하고 완전하게 설명한다. 명백히, 설명되는 실시예는 본 출원의 실시예의 전부가 아니라 일부일 뿐이다. 당업자가 본 출원의 실시예에 기초하여 창의적인 노력 없이 얻은 모든 다른 실시예는 본 발명의 보호 범위에 속한다.
먼저, 본 출원의 이미지 처리 방법의 구현 프로세스를 설명한다. 도 1을 참조하면, 도 1은 본 실시예에서의 이미지 처리 방법의 흐름도이다. 이 이미지 처리 방법은 다음과 같은 내용을 포함한다:
도면부호 101로 표시된 단계는, 동일한 획득 시각에 획득되는 제1 이미지 및 제2 이미지를 취득하는 단계이며, 제1 이미지는 제1 획득 구역에서의 이미지를 획득하기 위해 제1 촬영 유닛을 사용하여 취득되고, 제2 이미지는 제2 획득 구역에서의 이미지를 획득하기 위해 제2 촬영 유닛을 사용하여 취득되며, 제1 촬영 유닛의 파라미터와 제2 촬영 유닛의 파라미터는 동일하고, 제1 획득 구역과 제2 획득 구역 사이에 중첩하는 획득 구역이 있다.
제1 촬영 유닛과 제2 촬영 유닛은 하나의 전자 기기 상에 배치된다. 예를 들어, 전자 기기는 이동 전화, 태블릿 컴퓨터, 또는 카메라이다.
선택적으로, 제1 촬영 유닛의 제1 렌즈와 제2 촬영 유닛의 제2 렌즈는 전자 기기의 같은 쪽에 배치된다. 바람직하게는, 제1 렌즈와 제2 렌즈는 전자 기기의 동일 평면 상에 배치되며, 예를 들어, 둘 다 이동 전화의 후면 하우징(rear housing) 상에 배치된다.
선택적으로, 제1 렌즈는 전면 렌즈(front-facing lens)일 수 있고, 제2 렌즈는 후면 렌즈(rear-facing lens)일 수 있다. 사용시에는 두 렌즈 중 하나의 렌즈를, 다른 렌즈가 배치된 다른 면으로 뒤집을 수 있다.
바람직하게는, 영상 취득을 취득하고 있을 때, 제1 촬영 유닛의 광축과 제2 촬영 유닛의 광축은 평행하여, 제1 이미지와 제2 이미지 사이의 움직임이 병진 운동(translational motion)이라는 것을 보장하므로, 제거를 위한 계산량이 적다.
또한, 제1 촬영 유닛과 제2 촬영 유닛의 파라미터는 동일하고, 예를 들어 제1 촬영 유닛과 제2 촬영 유닛은 초점 거리가 동일하다. 이해해야 할 것은, 제1 촬영 유닛과 제2 촬영 유닛은 동일한 초점 거리와 동일한 이미지 센서를 가질 수 있고; 물론, 제1 촬영 유닛과 제2 촬영 유닛은 동일한 렌즈와 다른 동일한 하드웨어 파라미터를 가질 수 있다는 것이다.
유의해야 할 것은 다음과 같다: 제1 촬영 유닛과 제2 촬영 유닛이 하나의 동일한 파라미터를 갖는다는 것은 제1 촬영 유닛의 파라미터와 제2 촬영 유닛의 파라미터가 동일하다는 것으로 이해될 수 있고; 물론, 제1 촬영 유닛과 제2 촬영 유닛이 다수의 동일한 파라미터(예: 2개의 파라미터 또는 3개의 파라미터가 동일함)를 갖는다는 것도 또한, 제1 촬영 유닛의 파라미터 및 제2 촬영 유닛의 파라미터가 동일할 수 있다는 것으로 이해될 수 있다. 바람직하게는, 제1 촬영 유닛과 제2 촬영 유닛의 모든 파라미터는 동일하다. 즉, 제1 촬영 유닛과 제2 촬영 유닛은 두 개의 동일한 촬영 유닛이다.
도 2를 참조하면, 도 2는 제1 촬영 유닛(201)과 제2 촬영 유닛(202)을 전자 기기(20)에 배치하는 가능한 개략도이다. 제1 촬영 유닛(201)과 제2 촬영 유닛(202)는 전자 기기의 같은 쪽에 배치된다. 예를 들어, 제1 촬영 유닛(201)과 제2 촬영 유닛(202)은 전자 기기의 후면 하우징 쪽에 배치된다.
사진을 찍을 때, 헨드헬드형의 전자 기기(20)는 제1 촬영 유닛(201)을 사용하여 제1 이미지를 촬영하고, 동시에, 제2 촬영 유닛(202)을 사용하여 제2 이미지를 촬영한다. 비록 제1 촬영 유닛(201)과 제2 촬영 유닛(202)이 동일한 획득 구역에 대해 촬영을 수행하지만, 제1 촬영 유닛(201)의 광축과 제2 촬영 유닛(202)의 광축 사이에 수평 방향으로 일정한 거리가 있으므로, 제1 촬영 유닛(201)의 제1 획득 구역과 제2 촬영 유닛(202)의 제2 획득 구역은 완전 동일한 것이 아니라, 제1 획득 구역과 제2 획득 구역 사이에는 중첩하는 획득 구역이 있다.
선택적으로, 제1 이미지 및 제2 이미지를 촬영하는 데 사용되는 전자 기기와, 도면부호 102로 나타낸 단계를 실행하는 데 사용되는 전자 기기는 동일한 전자 기기일 수 있다. 구체적으로는, 전자 기기는 제1 촬영 유닛 및 제2 촬영 유닛 내의 전하 결합 소자(Charge Coupled Device, 약칭하여 CCD) 또는 상보형 금속 산화물 반도체(Complementary Metal Oxide Semiconductor, 약칭하여 CMOS)와 같은 이미지 센서를 사용하여 이미지 신호를 취득하고, 제1 이미지 및 제2 이미지를 취득하기 위해, 이를 이미지 신호를 처리하는 이미지 신호 프로세서(Image Signal Processor, 약칭하여 ISP)에 전송한다.
선택적으로, 제1 이미지 및 제2 이미지를 촬영하는 데 사용되는 전자 기기 및 도면부호 102로 표시된 단계를 수행하는 데 사용되는 전자 기기는 상이한 전자 기기일 수 있다. 예를 들어, 제1 이미지 및 제2 이미지를 촬영하는 데 사용되는 전자 기기는 이동 전화, 태블릿 컴퓨터 또는 일안 리플렉스 카메라(single lens reflex camera)이며, 촬영 프로세스는 전술한 바와 동일하다. 도면부호 102로 표시된 단계를 실행하는 전자 기기는 랩톱 컴퓨터, 다른 이동 전화 또는 다른 태블릿 컴퓨터이다. 촬영에 의해 획득된 후, 제1 이미지 및 제2 이미지는 랩톱 컴퓨터, 다른 이동 전화 또는 다른 태블릿 컴퓨터로 전송된다. 따라서 랩톱 컴퓨터, 다른 이동 전화 또는 다른 태블릿 컴퓨터의 경우, 제1 이미지 및 제2 이미지를 취득할 수 있다.
다음에, 도면부호 102로 표시된 단계를 소개한다: 제1 이미지 및 제2 이미지에 따라, 제1 촬영 유닛 및 제2 촬영 유닛의 정상 여부를 결정한다.
제1 가능한 구현 방식에서, 도면부호 102로 표시된 단계는 구체적으로, 제1 이미지와 제2 이미지 사이의 오프셋 및/또는 제1 이미지와 제2 이미지 사이의 유사도에 따라, 제1 촬영 유닛 및 제2 촬영 유닛의 정상 여부를 결정한다.
구체적으로, 제1 이미지와 제2 이미지 사이의 유사도는 다음 단계: 제1 이미지와 제2 이미지 사이의 이미지 평균 차 및/또는 제1 이미지와 제2 이미지 사이의 이미지 분산 차를 취득하고, 이미지 평균 차 및/또는 이미지 분산 차를 유사도로 사용하는 단계를 수행함으로써 취득될 수 있다.
예를 들어, 각각의 이미지의 이미지 평균은 식:
Figure pct00001
을 사용하여 계산될 수 있으며, 이 식에서 mean은 이미지 평균을 나타내고, Ii. j 는 이미지상의 화소의 좌표 값을 나타내고; imageWidth는 이미지의 폭을 나타내고, imageHeight는 이미지의 높이를 나타낸다. 전술한 식을 사용함으로써, 제1 이미지의 제1 이미지 평균 및 제2 이미지의 제2 이미지 평균이 취득된다.
선택적으로, 각각의 이미지의 이미지 분산은 식:
Figure pct00002
을 사용하여 계산될 수 있으며, 이 식에서 contrast는 이미지 분산을 나타낸다. 전술한 식을 사용함으로써, 제1 이미지의 분산 및 제2 이미지의 분산이 취득된다.
제1 이미지와 제2 이미지 사이의 차, 즉 제1 이미지와 제2 이미지의 이미지 평균 차가 제1 임계치보다 큰 경우, 제1 촬영 유닛 및 제2 촬영 유닛이 비정상인 것으로 결정된다. 제1 이미지 분산과 제2 이미지 분산 사이의 차, 즉 제1 이미지와 제2 이미지 사이의 이미지 분산 차가 제2 임계치보다 큰 경우, 제1 촬영 유닛 및 제2 촬영 유닛이 비정상인 것으로 결정된다. 또는, 이미지 평균 차가 제1 임계치보다 크고, 이미지 분산 차가 제2 임계치보다 큰 경우, 제1 촬영 유닛 및 제2 촬영 유닛이 비정상인 것으로 결정된다.
구체적으로, 제1 이미지와 제2 이미지 사이의 오프셋은, 수직 방향으로 제1 이미지의 제1 투영 히스토그램 및 수평 방향으로 제1 이미지의 제2 투영 히스토그램을 취득하고; 수직 방향으로 제2 이미지의 제3 투영 히스토그램 및 수평 방향으로 제2 이미지의 제4 투영 히스토그램을 취득하고; 제1 오프셋 및 제2 오프셋이 오프셋으로서 사용되는 것으로 결정하는 단계에 의해 취득될 수 있다. 제1 투영 히스토그램이 제1 오프셋만큼 수직 방향으로 시프트되는 경우, 제1 투영 히스토그램과 제3 투영 히스토그램이 잘 매치되고; 제2 투영 히스토그램이 제2 오프셋만큼 수평 방향으로 시프트되는 경우, 제2 투영 히스토그램과 제4 투영 히스토그램이 잘 매치된다. 투영 히스토그램을 획득하는 내용은 당업자에게 잘 알려져 있으므로, 여기서는 세부사항을 설명하지 않는다.
선택적으로, 제1 오프셋은 아래 식을 사용하여 결정될 수 있다:
Figure pct00003
선택적으로, 제2 오프셋은 아래 식을 사용하여 결정될 수 있다:
Figure pct00004
위의 두 식에서, verHistoDiff[offset]는 제1 오프셋을 나타낸다. 두 식의 등호 오른쪽에서, 오프셋은 실험적인 오프셋을 나타내고; leftVerHisto는 제1 투영 히스토그램을 나타내고; rightVerHisto는 제3 투영 히스토그램을 나타내고; j는 히스토그램의 빈(bin)의 수량을 나타내고, 히스토그램의 bin의 수량이 N이면, j의 값은 1에서 N까지의 범위이며, N은 양의 정수이다. 첫 번째 식에서 overlapping bin number는, 제1 투영 히스토그램이 offset의 수량만큼 bin에서 시프트된 후의 제1 투영 히스토그램과 제3 투영 히스토그램 사이의 중첩하는 빈의 수량을 나타낸다. horHistoDiff [offset]은 제2 오프셋을 나타내고, leftHorHisto는 제2 투영 히스토그램을 나타내고, rightHorHisto는 제4 투영 히스토그램을 나타낸다. 위의 두 식에서의 overlapping bin number는 제2 투영 히스토그램이 offset의 양만큼 bin에서 시프트 후의 제2 투영 히스토그램과 제4 투영 히스토그램 사이의 중첩하는 빈의 수량을 나타낸다. 전술한 두 식은, 상이한 실험적인 offset이 방정식의 오른쪽에 있는 분수에 대입하는 데 사용되어 분수의 값을 계산한다는 것을 나타낸다. 여러 번의 실험을 하는 중에, 분수의 최소 값에 해당하는 실험적인 offset은 제1 오프셋 또는 방정식의 왼쪽에 필요한 제2 오프셋이다. 두 개의 투영 히스토그램 중 하나가 분수의 최소 값에 해당하는 실험적인 offset만큼 시프트된 후에, 다른 실험 offset과 비교하는 것이 두 개의 투영 히스토그램의 매칭 효과가 가장 좋다.
제1 오프셋이 제3 임계치보다 큰 경우, 제1 촬영 유닛 및 제2 촬영 유닛이 비정상인 것으로 결정된다. 제2 오프셋이 제4 임계치보다 큰 경우, 제1 촬영 유닛 및 제2 촬영 유닛이 비정상인 것으로 결정된다. 또는 제1 오프셋이 제3 임계치보다 크고, 제2 오프셋이 제4 임계치보다 큰 경우, 제1 촬영 유닛 및 제2 촬영 유닛이 비정상적인 것으로 결정된다.
실제 사용 시에, 제1 촬영 유닛 및 제2 촬영 유닛의 정상 여부는 유사도만을 사용하여 결정될 수 있거나; 제1 촬영 유닛 및 제2 촬영 유닛의 정상 여부는 오프셋만을 사용하여 결정될 수 있거나; 제1 촬영 유닛 및 제2 촬영 유닛이 정상 여부는 유사도 및 오프셋을 모두 사용하여 결정될 수 있다. 즉, 유사도 및 오프셋 모두가 조건을 충족하는 경우에 제1 촬영 유닛 및 제2 촬영 유닛이 정상인 것으로 결정될 수 있거나; 제1 촬영 유닛 및 제2 촬영 유닛의 정상 여부는 먼저 유사도를 결정하고, 유사도가 조건을 충족하지 않는 경우, 예를 들어, 제1 이미지와 제2 이미지 사이의 이미지 평균 차가 제1 임계치보다 작은 경우, 제1 촬영 유닛 및 제2 촬영 유닛의 정상 여부는 오프셋만을 사용하여 결정될 수 있다
제2 가능한 구현 방식에서, 도면 부호 102로 표시된 단계는, 제1 이미지와 제2 이미지 사이의 오프셋을 취득하는 단계; 오프셋에 따라 제1 이미지를 시프트시키는 단계; 시프트된 제1 이미지와 제2 이미지를 n*m개의 블록 구역으로 개별적으로 분할하는 단계 - n과 m은 모두 1보다 큰 양의 정수임 -; 시프트된 제1 이미지와 제2 이미지상의 대응하는 위치상의 블록 구역이 상호 매치되지 않는 경우를 결정하는 단계; 및 상호 매치되지 않는 경우에 기초하여, 제1 촬영 유닛 및 제2 촬영 유닛의 정상 여부를 결정하는 단계를 포함한다.
제1 이미지와 제2 이미지 사이의 오프셋을 취득하는 구체적인 구현 방식에 대해서는, 예를 들어 제1 오프셋 및 제2 오프셋을 취득하는, 전술한 설명을 참조할 수 있다.
제1 이미지는 오프셋에 따라 시프트된다. 예를 들어, 제1 이미지는 제1 오프셋에 따라 수직 방향으로 시프트되고, 제1 이미지는 제2 오프셋에 따라 수평 방향으로 시프트된다.
다음에, 시프트된 제1 이미지와 제2 이미지는 n*m개의 블록 구역으로 개별적으로 분할된다. 예를 들어, 도 3을 참조하면, 제1 이미지(301) 및 제2 이미지(302)는 모두 10*12개의 블록 구역(303)으로 분할된다.
그 후, 시프트된 제1 이미지와 제2 이미지상의 대응하는 위치상의 블록 구역이 상호 매치되지 않는 경우를 결정한다. 구체적으로, 대응하는 위치상의 블록 구역들의 매치 여부는 대응하는 위치상의 블록구역들의 평균 휘도 차(average luminance difference )에 따라 결정될 수 있다. 예를 들어, 대응하는 구역상의 블록 구역들의 평균 휘도 차가 소정의 임계치보다 큰 경우, 대응하는 위치상의 두 블록 구역은 매치하지 않는 것으로 결정될 수 있다. 예를 들어, 도 3을 여전히 참조하면, 제1 이미지(301) 상의 제1 블록 구역(3031)의 평균 휘도 차가 계산된다. 제2 이미지(302) 상의 제2 블록 구역(3032)의 평균 휘도 차가 계산되며, 제1 블록 구역(3031)의 위치는 제2 블록 구역(3032)의 위치에 대응한다. 그 후, 제1 블록 구역(3031)과 제2 블록 구역(3032) 사이의 평균 휘도 차가 결정된다. 그 후, 평균 휘도 차가 소정의 임계치보다 큰지가 결정된다. 그 평균 휘도 차가 소정의 임계치보다 크면, 제1 블록 구역(3031)과 제2 블록 구역(3032)이 매치되지 않는 것으로 결정하거나; 그 평균 휘도 차가 소정의 임계치보다 크지 않으면, 제1 블록 구역(3031)과 제2 블록 구역(3032)이 상호 매치되지 것으로 결정한다.
실제 사용 시에, 상호 매치되지 않는 경우는, 상호 매치된 블록 구역의 위치일 수 있거나, 상호 매치되지 않는 블록 구역의 비율일 수 있다. 세부사항에 대해서는, 이하의 구체적인 구현 방식을 참조하기 바라다.
제1 촬영 유닛 및 제2 촬영 유닛의 정상 여부는 상호 매치되지 않는 경우에 기초하여 결정된다. 구체적으로, 상호 매치되지 않는 블록 구역의 비율이 제1 임계치보다 큰 경우, 제1 촬영 유닛 및 제2 촬영 유닛이 비정상인 것으로 결정될 수 있거나; 상호 매치되지 않는 블록 구역의 비율이 제1 임계치보다 크지 않으면, 제1 촬영 유닛 및 제2 촬영 유닛이 정상인 것으로 결정될 수 있다.
또한, 제1 촬영 유닛 및 제2 촬영 유닛의 정상 여부는 상호 매치되지 않는 경우 및 오프셋에 기초하여 결정될 수 있다. 구체적으로, 오프셋이 제3 임계치보다 작은 경우, 제1 촬영 유닛과 제2 촬영 유닛의 상대 위치 사이의 관계가 비정상인 것으로 결정된다. 제3 임계치는 근경 촬영(close photographing) 도는 원경 촬영(distant photographing)의 시나리오에 따라 상이한 값으로 설정될 수 있다. 두 촬영 유닛의 초점 거리가 미리 설정된 값보다 크면, 시나리오는 원경 촬영으로 간주된다. 그 초점 거리가 미리 설정된 값보다 작으면, 시나리오는 근경 촬영으로 간주된다. 근경 촬영이 수행되는 경우, 두 촬영 유닛 사이의 시차(parallax)가 커지고 미스매치의 비율이 더 커지기 때문에, 이 경우에는 제3 임계치는 더 큰 값으로 설정될 수 있다. 그러나 원경 촬영이 수행되는 경우, 매치되지 않는 블록 영역의 비율이 낮아, 이 경우에는 제3 임계치를 더 작은 값으로 설정될 수 있다. 오프셋이 제3 임계치보다 크다. 구체적으로, 예를 들어, 제1 오프셋은 제3 임계치보다 크고, 이 경우 제1 오프셋이 오프셋이고, 제3 임계치가 제2 임계치이다. 다른 예를 들어, 제2 오프셋이 제4 임계치보다 크면, 이 경우 제2 오프셋이, 즉 오프셋이고, 제4 임계치가, 즉 제2 임계치이다. 다른 예를 들어, 제1 오프셋 및 제2 오프셋 모두를 고려하면, 제2 임계치는 제3 임계치 및 제4 임계치를 포함한다.
즉, 본 실시예의 방법을 사용함으로써, 또한 촬영 유닛들의 상대 위치 사이의 관계가 비정상인 것으로 결정될 수 있으므로, 사용자는 신속하게 이상의 원인을 알 수 있게 되어 조정을 수행 할 수 있다.
선택적으로, 제1 촬영 유닛과 제2 촬영 유닛의 상대 위치의 관계가 비정상인 것으로 결정되는 경우, 교정(calibration)이 수행될 수 있다. 예를 들면, 두 촬영 유닛의 내부 파라미터 및 외부 파라미터가 교정되며, 내부 파라미터는 구체적으로, 예를 들면 촬영 유닛의 렌즈의 파라미터이며, 외부 파라미터는 구체적으로, 광축의 편향각(deviation angle)이다. 이 부분의 내용은 당업자에게 잘 알려져 있으므로, 여기서는 세부사항을 설명하지 않는다.
또한, 연속적으로 매치되지 않는 블록 구역의 위치가 동일하면, 제1 촬영 유닛 및 제2 촬영 유닛 중 적어도 하나의 렌즈에 흐린 영역이 있는 것으로 결정될 수 있다. 예를 들어, 도 4를 여전히 참조한다. 도면부호 101 및 도면 부호 102로 표시된 단계가 여러 번 연속적으로 실행되고, 도면부호 102로 표시된 단계에 의해 나타낸 매칭 결과는 모두 제1 블록 영역(3031)과 제2 블록 영역(3032)이 매치되지 않는다는 것을 나타낸다. 이는 제1 블록 영역(3031)에 대응하는, 제1 렌즈의 위치상에 또는 제2 블록 영역 (3032)에 대응하는, 제2 렌즈의 위치상에, 흐린 영역이 있다는 것을 나타낸다. 또한, 사용자는 렌즈상에 흐린 영역이 있다는 것을 알 수 있으므로, 사용자는 신속하게 이상을 제거할 수 있다.
또한, 제1 촬영 유닛 및 제2 촬영 유닛의 정상 여부는 상호 매치되지 않는 경우 및 유사도에 기초하여 결정될 수 있다. 유사도를 취득하는 방법에 대해서는, 위의 설명을 참조하하기 바란다. 예를 들어, 유사도가 소정의 임계치보다 크고, 상호 매치되지 않는 블록 구역의 비율이 제1 임계치보다 큰 경우, 제1 촬영 유닛 및 제2 촬영 유닛이 비정상인 것으로 결정된다. 다른 예를 들어, 이미지 평균 차가 제1 임계치보다 큰 경우 및/또는 이미지 분산 차가 제2 임계 값보다 큰 경우, 그리고 상호 매치되지 않는, 대응하는 위치상의, 블록 영역의 비율이 제1 임계치보다 큰 경우, 제1 촬영 유닛 및 제2 촬영 유닛 중 적어도 하나의 렌즈가 차단된 것으로 결정된다. 이 경우, 사용자는 렌즈가 차단되었다는 것을 알 수 있으므로, 사용자는 신속하게 이상을 제거할 수 있다. 다른 예들 들어, 유사도가 조건을 충족하지 않는 경우, 상호 매치되지 않는 경우에 따라 제1 촬영 유닛 및 제2 촬영 유닛의 정상 여부가 결정된다.
또한, 제1 촬영 유닛 및 제2 촬영 유닛의 정상 여부는 유사도, 오프셋 및 미스매치의 경우에 기초하여 결정될 수 있다. 구체적으로, 예를 들어, 유사도, 오프셋 및 매치되지 않는 경우가 모두 조건을 충족하면, 제1 촬영 유닛 및 제2 촬영 유닛이 정상인 것으로 결정된다.
제3 가능한 구현 방식: 도면부호 102로 표시된 단계는, 유사도, 오프셋 및 미스매치의 경우에 기초하여, 제1 촬영 유닛 및 제2 촬영 유닛의 정상 여부를 결정하는 단계를 포함한다. 예를 들어, 도 4를 참조하면, 제1 이미지와 제2 이미지 사이의 유사도가 계산되고; 유사도가 소정의 임계치보다 큰지가 결정되고; 유사도가 소정의 임계치보다 크면, 제1 촬영 유닛과 제2 촬영 유닛이 비정상인 것으로 결정되거나; 유사도가 소정의 임계치보다 크지 않으면, 제1 이미지와 제2 이미지 사이의 오프셋이 결정되고; 오프셋이 소정의 임계치보다 큰지가 결정되고; 오프셋이 소정의 임계치보다 크면, 제1 촬영 유닛과 제2 촬영 유닛이 비정상인 것으로 결정되거나; 또는 오프셋이 소정의 임계치보다 크지 않으면, 제1 이미지가 오프셋에 따라 시프트되고, 시프트된 제1 이미지 및 제2 이미지는 n*m개의 블록 구역으로 개별적으로 분할되고; 상호 매치되지 않는, 시프트된 제1 이미지와 제2 이미지상의 대응하는 위치상의, 블록 구역의 비율이 결정되고; 상호 매치되지 않는 블록 구역의 비율이 제1 임계치보다 큰지가 결정되고; 상호 매치되지 않는 블록 구역의 비율이 제1 임계치보다 크면, 제1 촬영 유닛과 제2 촬영 유닛이 비정상인 것으로 결정되거나; 상호 매치되지 않는 블록 구역의 비율이 제1 임계치보다 크지 않으면, 제1 촬영 유닛과 제2 촬영 유닛이 정상인 것으로 결정된다.
이하에 촬영 유닛이 정상인 것이 결정되어야 하는 구체적인 애플리케이션 시나리오의 예를 제공한다.
더 나은 촬영 효과를 얻기 위해, 촬영 효과를 최적화하기 위해 종래기술에서는 멀티프레임(multi-frame) 촬영 알고리즘이 사용된다. 예를 들어, 고속 동적 범위(high dynamic range, 약칭하여 HDR) 알고리즘은, 상이한 노출을 설정함으로써 여러 프레임의 이미지를 획득하고, 알고리즘을 사용하여 여러 프레임의 이미지를 처리하고, 더 큰 동적 범위를 갖는 이미지를 생성하는 것이다. HDR 이미지는 더 넓은 동적 범위와 더 많은 이미지 세부정보를 제공하여, 실제환경에서의 시각 효과를 더 잘 반영할 수 있다.
HDR 기술은 상이한 시각에 하나의 촬영 유닛을 사용하여 동일한 시나리오에서 여러 프레임의 이미지가 획득되는 것을 요구하므로, 여러 프레임의 이미지 사이에는 일정한 시간 간격이 존재할 수 있도록 한다. 그 시간 간격으로, 예를 들어 손이 떨리거나, 바람에 나뭇가지가 흔들리거나, 사람이 돌아다니거나 하는 시나리오에서 전자 기기의 움직임 또는 물체의 움직임에 영향을 받는, 여러 프레임의 이미지상의 동일 물체의 위치가 변경될 수 있으며, 예를 들어, 사람 1이 빠르게 움직일 때, 사람 1의 위치는 노출이 상이한 여러 프레임의 이미지상에서 상이할 수 있고 사람 1의 움직임 궤적으로 따라 분포되며, 그 여러 프레임의 이미지의 이미지 융합이 수행되어 HDR 이미지를 생성한다. 도 5에 도시된 바와 같이, 점선으로 표시된 것은 사람 1의 "고스팅(ghosting)"이라고 하며, 이는 촬영 효과에 영향을 미친다.
전술한 "고스팅" 문제를 해결하기 위해, 본 출원의 본 실시예는 다음과 같은 방법을 제공한다: 중첩하는 획득 구역이 있는 두 개의 획득 구역에서의 두 프레임의 이미지가 동일한 획득 시각에 제1 촬영 유닛과 제2 촬영 유닛에 의해 획득된 다음, 그 두 프레임의 이미지가 합성되어 HDR 이미지를 형성한다. 이 방법에서는, 두 프레임의 이미지가 동일한 시각에 두 개의 촬영 유닛을 사용하여 개별적으로 취득되기 때문에, 상이한 시각에 하나의 촬영 장치로 두 프레임의 이미지를 획득함으로써 야기되는 종래기술의 "코스팅" 문제를 제거할 수 있다. 제1 촬영 유닛과 제2 촬영 유닛은 전자 기기의 동일한 쪽에 위치할 수 있다.
그러나 이 방법에서는, 두 개의 촬영 유닛이 동시에 이미지를 취득하도록 구성되어 있다. 두 촬영 유닛이 비정상이면, 예를 들어 두 촬열 유닛 중 하나의 렌즈가 차단되거나, 렌즈에 흐린 영역이 있거나, 두 촬영 유닛의 광축이 일치하지 않으면, 합성된 HDR 이미지의 효과는 비교적 열등하다.
따라서, 본 출원의 본 실시예에서 설명한 방법을 사용하여 두 촬영 유닛의 정상 여부를 결정할 수 있다.
제1 촬영 유닛 및 제2 촬영 유닛이 정상인 것으로 결정되는 경우, 다음 단계를 수행한다: 제1 촬영 유닛 및 제2 촬영 유닛에 의해 동일한 획득 시각에 획득되는, 중첩하는 획득 구역이 있는 두 획득 구역에서의 두 프레임의 이미지를 합성하여 HDR 이미지를 형성하여, 더 우수한 촬영 효과를 얻을 수 있도록 한다.
선택적으로, 전술한 바와 같이, 제1 촬영 유닛 및 제2 촬영 유닛이 비정상인 것으로 결정되는 경우, 하나의 촬영 유닛에 의해 상이한 시각에 촬영되는 여러 프레임의 이미지가 합성되어 HDR 이미지를 형성한다. 선택적으로, 하나의 촬영 유닛은 구체적으로 전자 기기의 모니터상에 미리보기 이미지를 표시할 수 있는 촬영 유닛일 수 있다.
전술한 설명으로부터, 본 출원원 본 실시예에서, 제1 촬영 유닛 및 제2 촬영 유닛에 의해 동일한 획득 시각에 획득되는. 중첩하는 획득 구역이 있는 두 획득 구역에서의 두 프레임의 이미지를 합성하여 HDR 이미지를 형성하기 전에, 먼저 두 촬영 유닛이 정상인지를 결정한다. 따라서, 합성된 HDR 이미지의 효과가 저하되고 두 촬영 유닛의 이상으로 인해 야기되는 문제를 피할 수 있다.
선택적으로, 도면부호 102로 표시된 단계 이전에, 상기 이미지 처리 방법은 현재 시나리오가 HDR 시나리오인 것으로 결정하는 단계를 더 포함한다. HDR 시나리오에서는, HDR 이미지를 형성하기 위해 여러 프레임의 이미지가 필요하기 때문에, 제1 촬영 유닛과 제2 촬영 유닛의 정상 여부를 결정할 필요가 있다.
구체적으로, 현재 시나리오가 HDR 시나리오인지의 여부는 여러 방식으로 결정될 수 있다. 예를 들어, 사용자가 현재 시나리오를 설정한 후에, 전자 기기는 설정된 값을 질의하여 현재 시나리오를 결정할 수 있다. 다른 예를 들어, 전자 기기가 야간 시나리오 또는 저 휘도 시나리오를 검출한 경우, 현재 환경에서 HDR 시나리오가 입력될 필요가 있는 것으로 결정된다.
선택적으로, 제1 촬영 유닛 및 제2 촬영 유닛이 정상인 것으로 결정되는 경우, 상기 이미지 처리 방법은, 제1 이미지 및 제2 이미지 중의 각각의 물체의 깊이 정보를 개별적으로 계산하는 단계; 및 깊이 정보가 임계치보다 큰 물체의 수량이 미리 설정된 값을 초과하는 것으로 결정하는 단계를 더 포함한다. 예를 들어, 대부분의 물체가 촬영 유닛으로부터 멀리 있는 경우, 촬영 구간이 중복되어 동일한 촬영 시점에 제1 촬영 유닛 및 제2 촬영 유닛에 의해 동일한 획득 시각에 획득되는, 중접하는 획득 구역이 있는 두 획득 구역에서의 두 프레임의 이미지가 합성되어 HDR 이미지를 형성하거나; 또는 대부분의 물체가 촬영 유닛으로부터 멀리 있지 않는 경우, 하나의 촬영 유닛에 의해 상이한 시각에 획득되는 여러 프레임의 이미지가 합성되어 HDR 이미지를 형성한다. 근경 촬영이 수행되면, 두 촬영 유닛에 의해 획득되는 이미지 사이에는 더 큰 차가 존재하기 때문에, 이 경우에, 합성된 HDR 이미지의 효과는 비교적 열등하다. 이 환경에서는, 하나의 촬영 유닛에 의해 상이한 시각에 회득되는 여러 프레임의 이미지를 합성하여 형성되는 HDR 이미지의 효과가 더 우수하다. 따라서, 현재의 시나리오가 원경 촬영 시나리오인지의 여부가 본 실시예에서 제공되는 이미지 처리 방법을 사용하여 결정될 수 있고; 현재의 시나리오가 원경 촬영인 경우, 두 제1 촬영 유닛 및 제2 촬영 유닛에 의해 동일한 획득 시각에 획득되는, 중첩하는 획득 구역이 있는 두 획득 구역에서의 두 프레임의 이미지를 합성하여 HDR 이미지를 형성할 수 있으므로, 더 우수한 촬영 효과를 얻을 수 있다.
동일한 발명 개념에 기초하여, 본 출원의 실시예는 이미지 처리 장치를 더 제공한다. 도 6을 참조하면, 도 6은 이미지 처리 장치의 기능 블록도이다. 이 이미지 처리 장치는, 동일한 획득 시각에 획득되는 제1 이미지 및 제2 이미지를 취득하도록 구성된 취득 유닛(401) - 제1 이미지는 제1 획득 구역에서의 이미지를 획득하기 위해 제1 촬영 유닛을 사용하여 취득되고, 제2 이미지는 제2 획득 구역에서의 이미지를 획득하기 위해 제2 촬영 유닛을 사용하여 취득되며, 제1 촬영 유닛의 파라미터와 제2 촬영 유닛의 파라미터는 동일하고, 제1 획득 구역과 제2 획득 구역 사이에 중첩하는 획득 구역이 있음 -; 및 제1 이미지 및 제2 이미지에 따라, 제1 촬영 유닛과 제2 촬영 유닛의 정상 여부를 결정하도록 구성된 결정 유닛(402)을 포함한다. 파라미터들은 동일하며; 구체적으로, 예를 들어, 두 촬영 유닛은 초검 거리가 동일하다. 이해할 수 있는 것은, 제1 촬영 유닛과 제2 촬영 유닛이 동일한 초점 거리 및 동일한 이미지 센서를 가질 수 있으며; 물론, 제1 촬영 유닛과 제2 촬영 유닛이 동일한 렌즈와 다른 동일한 하드웨어 파라미터를 가질 수 있다는 것이다.
유의해야 할 것은 다음과 같다: 제1 촬영 유닛과 제2 촬영 유닛이 하나의 동일한 파라미터를 갖는다는 것은 제1 촬영 유닛의 파라미터와 제2 촬영 유닛의 파라미터가 동일하다는 것으로 이해될 수 있다. 물론, 제1 촬영 유닛과 제2 촬영 유닛이 다수의 동일한 파라미터(예: 2개의 파라미터 또는 3개의 파라미터가 동일함)를 갖는다는 것도 또한, 제1 촬영 유닛의 파라미터 와 제2 촬영 유닛의 파라미터들이 동일하다는 것으로 이해될 수 있다. 바람직하게는, 제1 촬영 유닛과 제2 촬영 유닛의 모든 파라미터는 동일하다. 즉, 제1 촬영 유닛과 제2 촬영 유닛은 두 개의 동일한 촬영 유닛이다.
선택적으로, 상기 이미지 처리 장치는, 제1 촬영 유닛 및 제2 촬영 유닛이 정상인 것으로 결정되는 경우, 제1 촬영 유닛 및 제2 촬영 유닛에 의해 동일한 획득 시각에 획득되는, 중첩하는 획득 구역이 있는 두 획득 구역에서의 두 프레임의 이미지를 합성하여 높은 동적 범위(HDR) 이미지를 형성도록 구성된 처리 유닛(403)을 더 포함한다.
선택적으로, 결정 유닛(402)은 구체적으로, 제1 이미지와 제2 이미지 사이의 오프셋을 취득하고; 오프셋에 따라 제1 이미지를 시프트시키고; 시프트된 제1 이미지와 제2 이미지를 n*m개의 블록 구역으로 개별적으로 분할하고 - n과 m은 모두 1보다 큰 양의 정수임 -; 시프트된 제1 이미지와 제2 이미지상의 대응하는 위치상의 블록 영역이 상호 매치되지 않는 경우를 결정하고; 상호 매치되지 않는 경우에 기초하여, 제1 촬영 유닛 및 제2 촬영 유닛의 정상 여부를 결정하도록 구성된다.
또한, 결정 유닛(402)은 추가로, 제1 이미지와 제2 이미지 사이의 유사도를 취득하고; 상호 매치되지 않는 경우 및 유사도에 기초하여, 제1 촬영 유닛 및 제2 촬영 유닛의 정상 여부를 결정하도록 구성된다.
결정 유닛(402)은 구체적으로, 제1 이미지와 제2 이미지 사이의 이미지 평균 차 및/또는 제1 이미지와 제2 이미지 사이의 이미지 분산 차를 취득하고, 이미지 평균 차 및/또는 이미지 분산 차를 유사도로 사용하고;
이미지 평균차가 제1 임계치보다 큰 경우 및/또는 이미지 분산 차가 제2 임계치보다 큰 경우, 그리고 상호 매치되지 않는, 대응하는 위치상의, 블록 구역의 비율이 제1 임계치보다 큰 경우, 제1 촬영 유닛과 제2 촬영 유닛 중 적어도 하나의 렌즈가 차단된 것으로 결정하도록 구성된다.
선택적으로, 결정 유닛(402)은 추가로, 상호 매치되지 않는 경우 및 오프셋에 기초하여, 제1 촬영 유닛 및 제2 촬영 유닛의 정상 여부를 결정하도록 구성된다.
결정 유닛(402)은 구체적으로, 오프셋이 제2 임계치보다 크고, 상호 매치되지 않는 블록 구역의 비율이 제3 임계치보다 작은 경우, 제1 촬영 유닛과 제2 촬영 유닛의 상대 위치 사이의 관계가 비정상인 것으로 결정하도록 구성된다.
선택적으로, 결정 유닛(402)은 추가로, 제1 이미지와 제2 이미지 사이의 유사도를 계산하고; 유사도, 오프셋, 및 매치되지 않는 경우에 기초하여, 제1 촬영 유닛 및 제2 촬영 유닛의 정상 여부를 결정하도록 구성된다.
선택적으로, 결정 유닛(402)은 구체적으로, 연속적으로 매치되지 않는 블록 구역의 위치가 동일한 경우, 제1 촬영 유닛과 제2 촬영 유닛 중 적어도 하나의 렌즈에 흐린 영역이 있는 것으로 결정하도록 구성된다.
선택적으로, 결정 유닛(402)은 구체적으로, 제1 이미지와 제2 이미지 사이의 오프셋 및/또는 제1 이미지와 제2 이미지 사이의 유사도에 따라, 제1 촬영 유닛 및 제2 촬영 유닛의 정상 여부를 결정하도록 구성된다.
전술한 실시예들을 참조하여, 결정 유닛(402)은 추가로, 제1 이미지 및 제2 이미지에 따라, 제1 촬영 유닛과 제2 촬영 유닛의 정상 여부를 결정하기 전에, 제1 촬영 유닛 및 제2 촬영 유닛이 처해 있는 현재의 시나리오가 HDR 시나리오인 것으로 결정하도록 구성된다.
전술한 실시예들을 참조하여, 결정 유닛(402)은 추가로, 제1 촬영 유닛 및 제2 촬영 유닛이 정상인 것으로 결정되는 경우, 제1 이미지 및 제2 이미지 중의 각각의 물체의 깊이 정보를 개별적으로 계산하고; 깊이 정보가 임계치보다 큰 물체의 수량이 미리 설정된 값을 초과하는 것으로 결정하도록 구성된다.
도 1 내지 도 4에서의 전술한 실시예에서의 이미지 처리 방법의 변형 및 구체적인 예도 또한 본 실시예의 이미지 처리 장치에 적용할 수 있다. 이미지 처리 방법의 전술한 상세한 설명으로, 당업자는 본 실시예에서의 이미지 처리 장치의 구현 방식을 명확하게 이해할 수 있다. 따라서, 명세서가 간결하도록, 여기서는 세부사항을 설명하지 않는다.
동일한 발명의 개념에 기초하여, 본 발명의 실시예는 전자 기기를 더 제공한다. 도 7을 참조하면, 도 7은 본 실시에에 따른 전자 기기의 시스템의 블록도이다. 전자 기기는, 제1 이미지를 취득하기 위해 제1 획득 구역에서의 이미지를 획득하도록 구성된 제1 촬영 유닛(501); 제1 이미지가 획득되는 시각과 동일한 획득 시각에, 제2 이미지를 취득하기 위해 제2 획득 구역에서 이미지를 획득하도록 구성된 제2 촬영 유닛 (502) - 제1 촬영 유닛(501)의 파라미터와 제2 촬영 유닛의 파라미터는 동일하고, 제1 획득 구역과 제2 획득 구역 사이에 중첩하는 획득 구역이 있음 -; 및 제1 이미지 및 제2 이미지에 따라, 제1 촬영 유닛(501)과 제2 촬영 유닛(502)의 정상 여부를 결정하도록 구성된 프로세서(503)를 포함한다.
구체적으로, 제1 촬영 유닛(501)은 제1 렌즈 및 제1 이미지 센서를 포함한다. 예를 들어, 제1 이미지 센서는 전하 결합 소자(Charge-coupled Device, 약칭하여 CCD) 또는 상보형 금속 산화물 반도체(Complementary Metal Oxide Semiconductor, 약칭하여 CMOS)이다. 제2 촬영 유닛(502)은 제2 렌즈 및 제2 이미지 센서를 포함한다.
선택적으로, 프로세서(503)는 추가로, 제1 촬영 유닛(501) 및 제2 촬영 유닛(502)이 정상인 것으로 결정되는 경우, 제1 촬영 유닛(501) 및 제2 촬영 유닛(502)에 의해 동일한 획득 시각에 획득되는, 중첩하는 획득 구역이 있는 두 획득 구역에서의 두 프레임의 이미지를 합성하여 높은 동적 범위(HDR) 이미지를 형성하도록 구성된다.
선택적으로, 프로세서(503)는 구체적으로, 제1 이미지와 제2 이미지 사이의 오프셋을 취득하고; 오프셋에 따라 제1 이미지를 시프트시키고; 시프트된 제1 이미지와 제2 이미지를 n*m개의 블록 구역으로 개별적으로 분할하고 - n과 m은 모두 1보다 큰 양의 정수임 -; 시프트된 제1 이미지와 제2 이미지상의 대응하는 위치상의 블록 구역이 매치되지 않는 경우를 결정하고; 및 상호 매치되지 않는 경우에 기초하여, 제1 촬영 유닛(501) 및 제2 촬영 유닛(502)의 정상 여부를 결정하도록 구성된다.
선택적으로, 프로세서(503)는 추가로, 제1 이미지와 제2 이미지 사이의 유사도를 취득하고; 상호 매치되지 않는 경우 및 유사도에 기초하여, 제1 촬영 유닛(501) 및 제2 촬영 유닛(502)의 정상 여부를 결정하도록 구성된다.
또한, 프로세서(503)는 구체적으로, 제1 이미지와 제2 이미지 사이의 이미지 평균 차 및/또는 제1 이미지와 제2 이미지 사이의 이미지 분산 차를 취득하고, 이미지 평균 차 및/또는 이미지 분산 차를 유사도로 사용하고;
이미지 평균차가 제1 임계치보다 큰 경우 및/또는 이미지 분산 차가 제2 임계치보다 큰 경우, 그리고 상호 매치되지 않는, 대응하는 위치상의, 블록 구역의 비율이 제1 임계치보다 큰 경우, 제1 촬영 유닛(501)과 제2 촬영 유닛(502) 중 적어도 하나의 렌즈가 차단된 것으로 결정하도록 구성된다.
선택적으로, 프로세서(503)는 구체적으로, 상호 매치되지 않는 경우 및 오프셋에 기초하여, 제1 촬영 유닛(501) 및 제2 촬영 유닛 (502)의 정상 여부를 결정하도록 구성된다.
또한, 프로세서(503)는 구체적으로, 오프셋이 제2 임계치보다 크고, 상호 매치되지 않는 블록 구역의 비율이 제3 임계치보다 작은 경우, 제1 촬영 유닛(501)과 제2 촬영 유닛(502)의 상대 위치 사이의 관계가 비정상인 것으로 결정하도록 구성된다.
선택적으로, 프로세서(503)는 추가로, 제1 이미지와 제2 이미지 사이의 유사도를 계산하고; 유사도, 오프셋, 및 미스매치의 경우에 기초하여, 제1 촬영 유닛(501) 및 제2 촬영 유닛(502)의 정상 여부를 결정하도록 구성된다.
선택적으로, 프로세서(503)는 구체적으로, 연속적으로 매치되지 않는 블록 구역의 위치가 동일한 경우, 제1 촬영 유닛(501)과 제2 촬영 유닛(502) 중 적어도 하나의 렌즈에 흐린 영역이 있는 것으로 결정하도록 구성된다.
선택적으로, 프로세서(503)는 구체적으로, 제1 이미지와 제2 이미지 사이의 오프셋 및/또는 제1 이미지와 제2 이미지 사이의 유사도에 따라, 제1 촬영 유닛(501) 및 제2 촬영 유닛(502)의 정상 여부를 결정하도록 구성된다.
전술한 실시예들을 참조하여, 프로세서(503)는 추가로, 제1 이미지 및 제2 이미지에 따라, 제1 촬영 유닛(501)과 제2 촬영 유닛(502)의 정상 여부를 결정하기 전에, 제1 촬영 유닛(501) 및 제2 촬영 유닛(502)이 처해 있는 현재의 시나리오가 HDR 시나리오인 것으로 결정하도록 구성된다.
전술한 실시예들을 참조하여, 프로세서(503)는 추가로, 제1 촬영 유닛(501) 및 제2 촬영 유닛 (502)이 정상인 것으로 결정되는 경우, 제1 이미지 및 제2 이미지 중의 각각의 물체의 깊이 정보를 개별적으로 계산하고; 깊이 정보가 임계치보다 큰 물체의 수량이 미리 설정된 값을 초과하는 것으로 결정하도록 구성된다.
도 7을 여전히 참조하면, 전자 기기는 제1 촬영 유닛 및/또는 제2 촬영 유닛 또는 프로세서(503)에 의해 취득되는 이미지를 표시하도록 구성된 모니터(504)를 더 포함한다.
선택적으로, 전자 기기는 조작이 실행될 때 프로세서(503)에 의해 사용되는 데이터를 저장하거나; 또는 제1 촬영 유닛(501) 및/또는 제2 촬영 유닛(502)에 의해 획득되는 이미지 데이터를 일시적으로 저장하도록 구성된 메모리(505)를 더 포함한다.
선택적으로, 프로세서(503)는 구체적으로 중앙 처리 유닛(central processing unit, CPU) 및 IPS를 포함할 수 있다.
선택적으로, 프로세서(503)는 CPU이고, 프로세서(503)와 IPS는 상호 물리적으로 독립된 칩이다.
선택적으로, 전자 기기는 전자 기기를 충전하도록 구성된 배터리를 더 포함한다.
도 1 내지 도 4에서의 전술한 실시예의 이미지 처리 방법의 변형 및 구체적인 예도 또한 본 실시예의 이미지 처리 장치에 적용할 수 있다. 이미지 처리 방법의 전술한 상세한 설명으로, 당업자는 본 실시예에서의 이미지 처리 장치의 구현 방식을 명확하게 이해할 수 있다. 따라서, 명세서의 간결함을 위해, 여기서는 세부사항을 설명하지 않는다.
본 출원의 실시예에서 제공되는 하나 이상의 기술적 방안은 적어도 이하의 기술적 효과 또는 이점이 있다:
본 출원의 실시예에서는, 제1 촬영 유닛 및 제2 촬영 유닛의 정상 여부를 제1 이미지 및 제2 이미지에 따라 결정하며, 제1 이미지는 제1 획득 구역에서의 이미지를 획득하기 위해 제1 촬영 유닛을 사용하여 취득되고, 제2 이미지는 제2 획득 구역에서의 이미지를 획득하기 위해 제2 촬영 유닛을 사용하여 취득되며; 제1 획득 구역과 제2 획득 구역 사이에 중첩하는 획득 구역이 있다. 본 출원의 실시예에서, 전자 기기는, 두 촬영 유닛에 의해 촬영된 이미지에 따라, 두 촬영 유닛의 정상 여부를 결정할 수 있음을 알 수 있다. 즉, 본 출원의 실시예는 촬영 유닛의 정상 여부를 결정하는 방법을 제공하여, 두 촬영 유닛 모두가 정상인 환경에서 이미지를 촬영하고, 촬영 효과를 보장할 수 있도록 한다.
당업자는 본 출원의 실시예에서 제공되는 이미지 처리 방법 및 이미지 처리 장치가 하드웨어 또는 소프트웨어와 하드웨어의 조합을 사용하여 구현될 수 있음을 이해해야 한다.
본 출원은 본 출원의 실시예에 따른 방법, 기기(시스템), 및 컴퓨터 프로그램 제품의 흐름도 또는 블록도를 참조하여 설명되었다. 컴퓨터 프로그램 명령어가 흐름도나 블록도 중의 각각의 프로세스 또는 각각의 블록, 그리고 흐름도나 블록도 중의 프로세스 또는 블록의 조합을 구현하는 데 사용될 수 있다는 것을 이해해야 한다. 이들 컴퓨터 프로그램 명령어들은 범용 컴퓨터, 전용 컴퓨터, 내장형 프로세서, 또는 임의의 다른 프로그램 가능한 데이터 처리 기기의 프로세서에 제공될 수 있으므로, 컴퓨터 또는 임의의 다른 프로그램 가능한 데이터 처리 기기의 프로세서에 의해 실행되는 명령어들이 흐름도 중의 하나 이상의 프로세스 또는 블록도 중의 하나 이상의 블록에서의 특정한 기능을 구현하기 위한 장치를 생성할 수 있도록 한다.
이들 컴퓨터 프로그램 명령어는 컴퓨터 또는 임의의 다른 프로그램 가능한 데이터 처리 기기에 명령할 수 있는, 판독할 수 있는 메모리에 저장될 수 있으므로, 컴퓨터로 판독할 수 있는 메모리에 저장된 명령어가 명령 장치(instruction apparatus)를 포함하는 가공물(artifact)을 생성할 수 있도록 한다. 명령 장치는 흐름도 중의 하나 이상의 프로세스 또는 블록 중의 하나 이상의 블록에서의 특정 기능을 구현한다.
이들 컴퓨터 프로그램 명령어는 컴퓨터 또는 다른 프로그램 가능한 데이터 처리 기기로 로드되어, 일련의 오퍼레이션 및 단계가 컴퓨터 또는 다른 프로그램 가능한 기기에서 수행될 수 있도록 함으로써, 컴퓨터로 구현된 처리(computer-implemented processing)를 생성한다. 따라서, 컴퓨터 또는 다른 프로그램 가능한 기기상에서 실행되는 명령어는 흐름도 중의 하나 이상의 프로세스 또는 블록도 중의 하나 이상의 블록에서의 특정 기능을 구현하기 위한 단계를 제공한다.
명백하게, 당업자는 본 출원의 취지 및 범위를 벗어나지 않으면서 본 출원에 대해 다양한 수정 및 변형을 가할 수 있다. 본 출원은 이하의 청구범위 및 그와 동등한 기술에 의해 정의되는 보호 범위 내에 있는 한, 이러한 수정 및 변형을 포함하도록 의도된다.

Claims (36)

  1. 동일한 획득 시각에 획득되는 제1 이미지 및 제2 이미지를 취득하는 단계 - 상기 제1 이미지는 제1 획득 구역에서의 이미지를 획득하기 위해 제1 촬영 유닛을 사용하여 취득되고, 상기 제2 이미지는 제2 획득 구역에서의 이미지를 획득하기 위해 제2 촬영 유닛을 사용하여 취득되며, 상기 제1 촬영 유닛의 파라미터와 상기 제2 촬영 유닛의 파라미터는 동일하고, 상기 제1 획득 구역과 상기 제2 획득 구역 사이에 중첩하는 획득 구역이 있음 -; 및
    상기 제1 이미지 및 상기 제2 이미지에 따라, 상기 제1 촬영 유닛과 상기 제2 촬영 유닛의 정상 여부를 결정하는 단계
    를 포함하는 이미지 처리 방법.
  2. 제1항에 있어서,
    상기 제1 촬영 유닛 및 상기 제2 촬영 유닛이 정상인 것으로 결정되는 경우, 상기 제1 촬영 유닛 및 상기 제2 촬영 유닛에 의해 동일한 획득 시각에 획득되는, 중첩하는 획득 구역이 있는 상기 두 획득 구역에서의 두 프레임의 이미지를 합성하여 높은 동적 범위(high dynamic range, HDR) 이미지를 형성하는, 이미지 처리 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 제1 이미지 및 상기 제2 이미지에 따라, 상기 제1 촬영 유닛과 상기 제2 촬영 유닛의 정상 여부를 결정하는 단계는,
    상기 제1 이미지와 상기 제2 이미지 사이의 오프셋을 취득하는 단계;
    상기 오프셋에 따라 상기 제1 이미지를 시프트시키는 단계;
    상기 시프트된 제1 이미지와 상기 제2 이미지를 n*m개의 블록 구역으로 개별적으로 분할하는 단계 - n과 m은 모두 1보다 큰 양의 정수임 -;
    상기 시프트된 제1 이미지와 상기 제2 이미지상의 대응하는 위치상의 블록 구역을 결정하는 단계 - 상기 블록 구역은 상호 매치되지 않음 -; 및
    상기 상호 매치되지 않는 경우에 따라 상기 제1 촬영 유닛 및 상기 제2 촬영 유닛의 정상 여부를 결정하는 단계를 포함하는, 이미지 처리 방법.
  4. 제3항에 있어서,
    상기 이미지 처리 방법은,
    상기 제1 이미지와 상기 제2 이미지 사이의 유사도(similarity)를 취득하는 단계를 더 포함하고;
    상기 상호 매치되지 않는 경우에 따라 상기 제1 촬영 유닛 및 상기 제2 촬영 유닛의 정상 여부를 결정하는 단계는,
    상기 유사도 및 상기 상호 매치되지 않는 경우에 따라 상기 제1 촬영 유닛 및 상기 제2 촬영 유닛의 정상 여부를 결정하는 단계를 포함하는, 이미지 처리 방법.
  5. 제4항에 있어서,
    상기 제1 이미지와 상기 제2 이미지 사이의 유사도를 취득하는 단계는,
    상기 제1 이미지와 상기 제2 이미지 사이의 이미지 평균 차 또는 상기 제1 이미지와 상기 제2 이미지 사이의 이미지 분산 차 중 적어도 하나를 취득하고, 상기 이미지 평균 차 또는 상기 이미지 분산 차 중 적어도 하나를 상기 유사도로 사용하는 단계를 포함하고;
    상기 유사도 및 상기 상호 매치되지 않는 경우에 따라 상기 제1 촬영 유닛 및 상기 제2 촬영 유닛의 정상 여부를 결정하는 단계는,
    상기 이미지 평균차가 제1 임계치보다 큰 경우 또는 상기 이미지 분산 차가 제2 임계치보다 큰 경우 중 적어도 하나이고, 또 상호 매치되지 않는, 상기 대응하는 위치상의, 상기 블록 구역의 비율이 상기 제1 임계치보다 큰 경우, 상기 제1 촬영 유닛 또는 상기 제2 촬영 유닛 중 적어도 하나의 렌즈가 차단된 것으로 결정하는 단계를 포함하는, 이미지 처리 방법.
  6. 제3항에 있어서,
    상기 블록 구역이 상호 매치되지 않는 경우, 상기 제1 촬영 유닛 및 상기 제2 촬영 유닛의 정상 여부를 결정하는 단계는,
    상기 오프셋 및 상기 상호 매치되지 않는 경우에 따라 상기 제1 촬영 유닛 및 상기 제2 촬영 유닛의 정상 여부를 결정하는 단계를 포함하는, 이미지 처리 방법.
  7. 제6항에 있어서,
    상기 오프셋 및 상기 상호 매치되지 않는 경우에 따라 상기 제1 촬영 유닛 및 상기 제2 촬영 유닛의 정상 여부를 결정하는 단계는,
    상기 오프셋이 제2 임계치보다 크고, 상호 매치되지 않는 블록 구역의 비율이 제3 임계치보다 작은 경우, 상기 제1 촬영 유닛과 상기 제2 촬영 유닛의 상대 위치 사이의 관계가 비정상인 것으로 결정하는 단계를 포함하는, 이미지 처리 방법.
  8. 제3항에 있어서,
    상기 이미지 처리 방법은,
    상기 제1 이미지와 상기 제2 이미지 사이의 유사도를 계산하는 단계를 더 포함하고;
    상기 상호 매치되지 않는 경우에 따라 상기 제1 촬영 유닛 및 상기 제2 촬영 유닛의 정상 여부를 결정하는 단계는,
    상기 유사도, 상기 오프셋, 및 상기 상호 매치되지 않는 경우에 따라
    상기 제1 촬영 유닛 및 상기 제2 촬영 유닛의 정상 여부를 결정하는 단계를 포함하는, 이미지 처리 방법.
  9. 제3항에 있어서,
    상기 상호 매치되지 않는 경우에 따라 상기 제1 촬영 유닛 및 상기 제2 촬영 유닛의 정상 여부를 결정하는 단계는,
    연속적으로 매치되지 않는 블록 구역의 위치가 동일한 경우, 상기 제1 촬영 유닛 또는 상기 제2 촬영 유닛 중 적어도 하나의 렌즈에 흐린 영역(blurry area)이 있는 것으로 결정하는 단계를 포함하는, 이미지 처리 방법.
  10. 제1항 또는 제2항에 있어서,
    상기 제1 이미지 및 상기 제2 이미지에 따라, 상기 제1 촬영 유닛과 상기 제2 촬영 유닛의 정상 여부를 결정하는 단계는,
    상기 제1 이미지와 상기 제2 이미지 사이의 오프셋 또는 상기 제1 이미지와 상기 제2 이미지 사이의 유사도에 따라, 상기 제1 촬영 유닛 및 상기 제2 촬영 유닛의 정상 여부를 결정하는 단계를 포함하는, 이미지 처리 방법.
  11. 제1항 내지 제10항 중 어느 한 항에 있어서,
    상기 제1 이미지 및 상기 제2 이미지에 따라, 상기 제1 촬영 유닛과 상기 제2 촬영 유닛의 정상 여부를 결정하는 단계 이전에,
    상기 제1 촬영 유닛 및 상기 제2 촬영 유닛이 처해 있는 현재의 시나리오가 HDR 시나리오인 것으로 결정하는 단계를 더 포함하는 이미지 처리 방법.
  12. 제2항에 있어서,
    상기 제1 촬영 유닛 및 상기 제2 촬영 유닛이 정상인 것으로 결정되는 경우,
    상기 제1 이미지 및 상기 제2 이미지 중의 각각의 물체의 깊이 정보를 개별적으로 계산하는 단계; 및
    깊이 정보가 임계치보다 큰 물체의 수량이 미리 설정된 값을 초과하는 것으로 결정하는 단계를 더 포함하는 이미지 처리 방법.
  13. 동일한 획득 시각에 획득되는 제1 이미지 및 제2 이미지를 취득하도록 구성된 취득 유닛 - 상기 제1 이미지는 제1 획득 구역에서의 이미지를 획득하기 위해 제1 촬영 유닛을 사용하여 취득되고, 상기 제2 이미지는 제2 획득 구역에서의 이미지를 획득하기 위해 제2 촬영 유닛을 사용하여 취득되며, 상기 제1 촬영 유닛의 파라미터와 상기 제2 촬영 유닛의 파라미터는 동일하고, 상기 제1 획득 구역과 상기 제2 획득 구역 사이에 중첩하는 획득 구역이 있음 -; 및
    상기 제1 이미지 및 상기 제2 이미지에 따라, 상기 제1 촬영 유닛과 상기 제2 촬영 유닛의 정상 여부를 결정하도록 구성된 결정 유닛
    을 포함하는 이미지 처리 장치.
  14. 제13항에 있어서,
    상기 제1 촬영 유닛 및 상기 제2 촬영 유닛이 정상인 것으로 결정되는 경우, 상기 제1 촬영 유닛 및 상기 제2 촬영 유닛에 의해 동일한 획득 시각에 획득되는, 중첩하는 획득 구역이 있는 상기 두 획득 구역에서의 두 프레임의 이미지를 합성하여 높은 동적 범위(HDR) 이미지를 형성하도록 구성된 처리 유닛을 더 포함하는 이미지 처리 장치.
  15. 제13항 또는 제14항에 있어서,
    상기 결정 유닛은 구체적으로,
    상기 제1 이미지와 상기 제2 이미지 사이의 오프셋을 취득하고; 상기 오프셋에 따라 상기 제1 이미지를 시프트시키고; 상기 시프트된 제1 이미지와 상기 제2 이미지를 n*m개의 블록 구역으로 개별적으로 분할하고 - n과 m은 모두 1보다 큰 양의 정수임 -; 상기 시프트된 제1 이미지와 상기 제2 이미지상의 대응하는 위치상의 블록 구역을 결정하고 - 상기 블록 구역은 상호 매치되지 않음 -; 상기 상호 매치되지 않는 경우에 따라, 상기 제1 촬영 유닛 및 상기 제2 촬영 유닛의 정상 여부를 결정하도록 구성되는, 이미지 처리 장치.
  16. 제15항에 있어서,
    상기 결정 유닛은 추가로, 상기 제1 이미지와 상기 제2 이미지 사이의 유사도를 취득하고; 상기 유사도 및 상기 상호 매치되지 않는 경우에 따라 상기 제1 촬영 유닛 및 상기 제2 촬영 유닛의 정상 여부를 결정하도록 구성되는, 이미지 처리 장치.
  17. 제16항에 있어서,
    상기 결정 유닛은 구체적으로,
    상기 제1 이미지와 상기 제2 이미지 사이의 이미지 평균 차 또는 상기 제1 이미지와 상기 제2 이미지 사이의 이미지 분산 차 중 적어도 하나를 취득하고, 상기 이미지 평균 차 또는 상기 이미지 분산 차 중 적어도 하나를 상기 유사도로 사용하고;
    상기 이미지 평균차가 제1 임계치보다 큰 경우 또는 상기 이미지 분산 차가 제2 임계치보다 큰 경우 중 적어도 하나이고, 또 상호 매치되지 않는, 상기 대응하는 위치상의, 상기 블록 구역의 비율이 상기 제1 임계치보다 큰 경우, 상기 제1 촬영 유닛 또는 상기 제2 촬영 유닛 중 적어도 하나의 렌즈가 차단된 것으로 결정하도록 구성되는, 이미지 처리 장치.
  18. 제15항에 있어서,
    상기 결정 유닛은 구체적으로, 상기 오프셋 및 상기 상호 매치되지 않는 경우에 따라 상기 제1 촬영 유닛 및 상기 제2 촬영 유닛의 정상 여부를 결정하도록 구성되는, 이미지 처리 장치.
  19. 제18항에 있어서,
    상기 결정 유닛은 구체적으로, 상기 오프셋이 제2 임계치보다 크고, 상호 매치되지 않는 블록 구역의 비율이 제3 임계치보다 작은 경우, 상기 제1 촬영 유닛과 상기 제2 촬영 유닛의 상대 위치 사이의 관계가 비정상인 것으로 결정하도록 구성되는, 이미지 처리 장치.
  20. 제15항에 있어서,
    상기 결정 유닛은 추가로, 상기 제1 이미지와 상기 제2 이미지 사이의 유사도를 계산하고; 상기 유사도, 상기 오프셋, 및 상기 상호 매치되지 않는 경우에 따라, 상기 제1 촬영 유닛 및 상기 제2 촬영 유닛의 정상 여부를 결정하도록 구성되는, 이미지 처리 장치.
  21. 제15항에 있어서,
    상기 결정 유닛은 구체적으로, 연속적으로 매치되지 않는 블록 구역의 위치가 동일한 경우, 상기 제1 촬영 유닛 또는 상기 제2 촬영 유닛 중 적어도 하나의 렌즈에 흐린 영역이 있는 것으로 결정하도록 구성되는, 이미지 처리 장치.
  22. 제13항 또는 제14항에 있어서,
    상기 결정 유닛은 구체적으로, 상기 제1 이미지와 상기 제2 이미지 사이의 오프셋 또는 상기 제1 이미지와 상기 제2 이미지 사이의 유사도에 따라, 상기 제1 촬영 유닛 및 상기 제2 촬영 유닛의 정상 여부를 결정하도록 구성되는, 이미지 처리 장치.
  23. 제13항 내지 제22항 중 어느 한 항에 있어서,
    상기 결정 유닛은 추가로, 상기 제1 이미지 및 상기 제2 이미지에 따라, 상기 제1 촬영 유닛과 상기 제2 촬영 유닛의 정상 여부를 결정하기 전에, 상기 제1 촬영 유닛 및 상기 제2 촬영 유닛이 처해 있는 현재의 시나리오가 HDR 시나리오인 것으로 결정하도록 구성되는, 이미지 처리 장치.
  24. 제14항에 있어서,
    상기 결정 유닛은 추가로, 상기 제1 촬영 유닛 및 상기 제2 촬영 유닛이 정상인 것으로 결정되는 경우, 상기 제1 이미지 및 상기 제2 이미지 중의 각각의 물체의 깊이 정보를 개별적으로 계산하고; 깊이 정보가 임계치보다 큰 물체의 수량이 미리 설정된 값을 초과하는 것으로 결정하도록 구성되는, 이미지 처리 장치.
  25. 제1 이미지를 취득하기 위해 제1 획득 구역에서 이미지를 획득하도록 구성된 제1 촬영 유닛;
    상기 제1 이미지가 획득되는 시각과 동일한 획득 시각에, 제2 이미지를 취득하기 위해 제2 획득 구역에서 이미지를 획득하도록 구성된 제2 촬영 유닛 - 상기 제1 촬영 유닛의 파라미터와 상기 제2 촬영 유닛의 파라미터는 동일하고, 상기 제1 획득 구역과 상기 제2 획득 구역 사이에 중첩하는 획득 구역이 있음 -; 및
    상기 제1 이미지 및 상기 제2 이미지에 따라, 상기 제1 촬영 유닛과 상기 제2 촬영 유닛의 정상 여부를 결정하도록 구성된 프로세서
    를 포함하는 전자 기기.
  26. 제25항에 있어서,
    상기 프로세서는 추가로, 상기 제1 촬영 유닛 및 상기 제2 촬영 유닛이 정상인 것으로 결정되는 경우, 상기 제1 촬영 유닛 및 상기 제2 촬영 유닛에 의해 동일한 획득 시각에 획득되는, 중첩하는 획득 구역이 있는 상기 두 획득 구역에서의 두 프레임의 이미지를 합성하여 높은 동적 범위(HDR) 이미지를 형성하도록 구성되는, 전자 기기.
  27. 제25항 또는 제26항에 있어서,
    상기 프로세서는 구체적으로, 상기 제1 이미지와 상기 제2 이미지 사이의 오프셋을 취득하고; 상기 오프셋에 따라 상기 제1 이미지를 시프트시키고; 상기 시프트된 제1 이미지와 상기 제2 이미지를 n*m개의 블록 구역으로 개별적으로 분할하고 - n과 m은 모두 1보다 큰 양의 정수임 -; 상기 시프트된 제1 이미지와 상기 제2 이미지상의 대응하는 위치상의 블록 구역을 결정하고 - 상기 블록 구역은 상호 매치되지 않음 -; 및 상기 상호 매치되지 않는 경우에 따라, 상기 제1 촬영 유닛 및 상기 제2 촬영 유닛의 정상 여부를 결정하도록 구성되는, 전자 기기.
  28. 제27항에 있어서,
    상기 프로세서는 추가로, 상기 제1 이미지와 상기 제2 이미지 사이의 유사도를 취득하고; 상기 유사도 및 상기 상호 매치되지 않는 경우에 따라 상기 제1 촬영 유닛 및 상기 제2 촬영 유닛의 정상 여부를 결정하도록 구성되는, 전자 기기.
  29. 제28항에 있어서,
    상기 프로세서는 구체적으로, 상기 제1 이미지와 상기 제2 이미지 사이의 이미지 평균 차 또는 상기 제1 이미지와 상기 제2 이미지 사이의 이미지 분산 차 중 적어도 하나를 취득하고, 상기 이미지 평균 차 또는 상기 이미지 분산 차 중 적어도 하나를 상기 유사도로 사용하고;
    상기 이미지 평균차가 제1 임계치보다 큰 경우 또는 상기 이미지 분산 차가 제2 임계치보다 큰 경우 중 적어도 하나이고, 또 상호 매치되지 않는, 상기 대응하는 위치상의, 상기 블록 구역의 비율이 상기 제1 임계치보다 큰 경우, 상기 제1 촬영 유닛 또는 상기 제2 촬영 유닛 중 적어도 하나의 렌즈가 차단된 것으로 결정하도록 구성되는, 전자 기기.
  30. 제27항에 있어서,
    상기 프로세서는 구체적으로, 상기 오프셋 및 상기 상호 매치되지 않는 경우에 따라 상기 제1 촬영 유닛 및 상기 제2 촬영 유닛의 정상 여부를 결정하도록 구성되는, 전자 기기.
  31. 제30항에 있어서,
    상기 프로세서는 구체적으로, 상기 오프셋이 제2 임계치보다 크고, 상호 매치되지 않는 블록 구역의 비율이 제3 임계치보다 작은 경우, 상기 제1 촬영 유닛과 상기 제2 촬영 유닛의 상대 위치 사이의 관계가 비정상인 것으로 결정하도록 구성되는, 전자 기기.
  32. 제27항에 있어서,
    상기 프로세서는 추가로, 상기 제1 이미지와 상기 제2 이미지 사이의 유사도를 계산하고; 상기 유사도, 상기 오프셋, 및 상기 매치되지 않는 경우에 따라, 상기 제1 촬영 유닛 및 상기 제2 촬영 유닛의 정상 여부를 결정하도록 구성되는, 전자 기기.
  33. 제27항에 있어서,
    상기 프로세서는 구체적으로, 연속적으로 매치되지 않는 블록 구역의 위치가 동일한 경우, 상기 제1 촬영 유닛 또는 상기 제2 촬영 유닛 중 적어도 하나의 렌즈에 흐린 영역이 있는 것으로 결정하도록 구성되는, 전자 기기.
  34. 제25항 또는 제26항에 있어서,
    상기 프로세서는 구체적으로, 상기 제1 이미지와 상기 제2 이미지 사이의 오프셋 또는 상기 제1 이미지와 상기 제2 이미지 사이의 유사도 중 적어도 하나에 따라, 상기 제1 촬영 유닛 및 상기 제2 촬영 유닛의 정상 여부를 결정하도록 구성되는, 전자 기기.
  35. 제25항 내지 제34항 중 어느 한 항에 있어서,
    상기 프로세서는 추가로, 상기 제1 이미지 및 상기 제2 이미지에 따라, 상기 제1 촬영 유닛과 상기 제2 촬영 유닛의 정상 여부를 결정하기 전에, 상기 제1 촬영 유닛 및 상기 제2 촬영 유닛이 처해 있는 현재의 시나리오가 HDR 시나리오인 것으로 결정하도록 구성되는, 전자 기기.
  36. 제26항에 있어서,
    상기 프로세서는 추가로, 상기 제1 촬영 유닛 및 상기 제2 촬영 유닛이 정상인 것으로 결정되는 경우, 상기 제1 이미지 및 상기 제2 이미지 중의 각각의 물체의 깊이 정보를 개별적으로 계산하고; 깊이 정보가 임계치보다 큰 물체의 수량이 미리 설정된 값을 초과하는 것으로 결정하도록 구성되는, 전자 기기.
KR1020177008184A 2014-08-29 2014-08-29 이미지 처리 방법 및 장치, 그리고 전자 기기 KR101991754B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2014/085608 WO2016029465A1 (zh) 2014-08-29 2014-08-29 一种图像处理方法、装置及电子设备

Publications (2)

Publication Number Publication Date
KR20170045314A true KR20170045314A (ko) 2017-04-26
KR101991754B1 KR101991754B1 (ko) 2019-09-30

Family

ID=55398671

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177008184A KR101991754B1 (ko) 2014-08-29 2014-08-29 이미지 처리 방법 및 장치, 그리고 전자 기기

Country Status (5)

Country Link
US (1) US10908492B2 (ko)
EP (1) EP3188468B1 (ko)
KR (1) KR101991754B1 (ko)
CN (1) CN105637852B (ko)
WO (1) WO2016029465A1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190013224A (ko) * 2017-08-01 2019-02-11 엘지전자 주식회사 이동 단말기
KR102338576B1 (ko) * 2017-08-22 2021-12-14 삼성전자주식회사 이미지를 이용하여 획득된 깊이 정보의 속성에 따라 이미지와 연관하여 깊이 정보를 저장하는 전자 장치 및 전자 장치 제어 방법
CN109151336B (zh) * 2018-10-15 2020-11-13 长沙智能驾驶研究院有限公司 摄像头的同步方法、装置、系统、存储介质及计算机设备
CN109934262B (zh) * 2019-01-31 2023-08-22 平安科技（深圳）有限公司 图片差异性判断方法、装置、计算机设备和存储介质
CN111080571B (zh) * 2019-11-15 2023-10-20 北京迈格威科技有限公司 摄像头遮挡状态检测方法、装置、终端和存储介质
CN111757097B (zh) * 2020-06-29 2022-03-25 歌尔光学科技有限公司 检测方法、检测装置及计算机可读存储介质
CN112351271A (zh) * 2020-09-22 2021-02-09 北京迈格威科技有限公司 一种摄像头的遮挡检测方法、装置、存储介质和电子设备
CN113542587B (zh) * 2021-05-25 2023-04-18 浙江大华技术股份有限公司 图像抓拍方法、装置、电子设备、计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110080494A1 (en) * 2009-10-02 2011-04-07 Sanyo Electric Co., Ltd. Imaging apparatus detecting foreign object adhering to lens
US20120162366A1 (en) * 2010-12-27 2012-06-28 Dolby Laboratories Licensing Corporation 3D Cameras for HDR
US20130128072A1 (en) * 2010-09-08 2013-05-23 Nec Corporation Photographing device and photographing method
KR101428635B1 (ko) * 2011-07-20 2014-08-08 브로드콤 코포레이션 듀얼 이미지 캡쳐 프로세싱

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5027817A (en) * 1989-06-22 1991-07-02 New York University Statistical based display for positron emission tomography scans
CA2236268A1 (en) * 1995-11-30 1997-06-05 Chromavision Medical Systems, Inc. Method and apparatus for automated image analysis of biological specimens
JP2004040712A (ja) * 2002-07-08 2004-02-05 Minolta Co Ltd 撮像装置
JP2010114760A (ja) * 2008-11-07 2010-05-20 Fujifilm Corp 撮影装置、指がかり通知方法およびプログラム
JP2010154311A (ja) * 2008-12-25 2010-07-08 Fujifilm Corp 複眼撮像装置及び立体画像取得方法
JP4957850B2 (ja) * 2010-02-04 2012-06-20 カシオ計算機株式会社 撮像装置、警告方法、および、プログラム
JP2012023546A (ja) 2010-07-14 2012-02-02 Jvc Kenwood Corp 制御装置、立体映像撮像装置、および制御方法
CN101997981B (zh) 2010-11-01 2013-08-14 惠州Tcl移动通信有限公司 一种基于手机摄像头的宽容度实现方法及手机
KR101824439B1 (ko) * 2011-02-16 2018-02-02 주식회사 스테레오피아 모바일 스테레오 카메라 장치 및 그 촬영방법
EP2667354B1 (en) * 2012-05-24 2015-07-08 Thomson Licensing Method and apparatus for analyzing stereoscopic or multi-view images
US10091419B2 (en) * 2013-06-14 2018-10-02 Qualcomm Incorporated Computer vision application processing
CN103685951A (zh) 2013-12-06 2014-03-26 华为终端有限公司 一种图像处理方法、装置及终端
KR102356448B1 (ko) * 2014-05-05 2022-01-27 삼성전자주식회사 이미지 합성 방법 및 그 전자 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110080494A1 (en) * 2009-10-02 2011-04-07 Sanyo Electric Co., Ltd. Imaging apparatus detecting foreign object adhering to lens
US20130128072A1 (en) * 2010-09-08 2013-05-23 Nec Corporation Photographing device and photographing method
US20120162366A1 (en) * 2010-12-27 2012-06-28 Dolby Laboratories Licensing Corporation 3D Cameras for HDR
KR101428635B1 (ko) * 2011-07-20 2014-08-08 브로드콤 코포레이션 듀얼 이미지 캡쳐 프로세싱

Also Published As

Publication number Publication date
EP3188468A1 (en) 2017-07-05
WO2016029465A1 (zh) 2016-03-03
EP3188468A4 (en) 2017-08-16
CN105637852B (zh) 2019-03-01
KR101991754B1 (ko) 2019-09-30
US20180231885A1 (en) 2018-08-16
US10908492B2 (en) 2021-02-02
CN105637852A (zh) 2016-06-01
EP3188468B1 (en) 2019-05-22

Similar Documents

Publication Publication Date Title
KR101991754B1 (ko) 이미지 처리 방법 및 장치, 그리고 전자 기기
US10609282B2 (en) Wide-area image acquiring method and apparatus
US10306165B2 (en) Image generating method and dual-lens device
EP3190781B1 (en) Autofocus method, device and electronic apparatus
US9946955B2 (en) Image registration method
US9558543B2 (en) Image fusion method and image processing apparatus
CN110536057B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
JP5843454B2 (ja) 画像処理装置、画像処理方法およびプログラム
US9667864B2 (en) Image conversion apparatus, camera, image conversion method, and storage medium with program stored therein
CN105282421B (zh) 一种去雾图像获取方法、装置及终端
US9838614B1 (en) Multi-camera image data generation
CN111246089A (zh) 抖动补偿方法和装置、电子设备、计算机可读存储介质
JP2013062626A (ja) 撮像装置、画像処理方法およびプログラム
US9613404B2 (en) Image processing method, image processing apparatus and electronic device
US20180268521A1 (en) System and method for stitching images
CN207766424U (zh) 一种拍摄装置及成像设备
US10142541B2 (en) Image processing apparatus, imaging apparatus, and control method of image processing apparatus
CN109785390B (zh) 一种用于图像矫正的方法和装置
TWI554108B (zh) 電子裝置及影像處理方法
CN112930677B (zh) 用于在第一镜头和第二镜头之间切换的方法和电子设备
JP3990271B2 (ja) 簡易ステレオ画像入力装置、方法、プログラム、および記録媒体
CN109661815A (zh) 存在相机阵列的显著强度变化的情况下的鲁棒视差估计
CN109443305A (zh) 一种测距方法及装置
CN106231204A (zh) 基于双摄像头的防抖拍照方法及装置、终端
US20140092222A1 (en) Stereoscopic image processing device, stereoscopic image processing method, and recording medium

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant