KR102489279B1 - 이미지 처리장치 및 방법 - Google Patents

이미지 처리장치 및 방법 Download PDF

Info

Publication number
KR102489279B1
KR102489279B1 KR1020160013861A KR20160013861A KR102489279B1 KR 102489279 B1 KR102489279 B1 KR 102489279B1 KR 1020160013861 A KR1020160013861 A KR 1020160013861A KR 20160013861 A KR20160013861 A KR 20160013861A KR 102489279 B1 KR102489279 B1 KR 102489279B1
Authority
KR
South Korea
Prior art keywords
image
black
color
white
sensor
Prior art date
Application number
KR1020160013861A
Other languages
English (en)
Other versions
KR20170092772A (ko
Inventor
김성오
오승원
김재문
박현희
이용만
장슬기
전형주
최종범
김광태
김수형
염동현
이기혁
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020160013861A priority Critical patent/KR102489279B1/ko
Priority to PCT/KR2017/001079 priority patent/WO2017135675A1/ko
Priority to US16/073,682 priority patent/US11195304B2/en
Publication of KR20170092772A publication Critical patent/KR20170092772A/ko
Application granted granted Critical
Publication of KR102489279B1 publication Critical patent/KR102489279B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Abstract

본 개시의 다양한 실시 예에서는 프레임 레이트 (frame rate)를 변환하기 위한 이미지 처리장치 및 방법을 제안한다. 이를 위해, 흑백 센서를 통해 획득한 흑백 이미지 프레임들을 기반으로 프레임 레이트를 변환하고, 컬러 센서를 통해 획득한 다운 샘플링된 컬러 이미지 프레임을 사용하여 상기 프레임 레이트 변환된 흑백 이미지 프레임과의 영상 합성을 수행하는 이미지 처리장치 및 방법을 제공할 수 있다.

Description

이미지 처리장치 및 방법{APPARATUS AND METHOD FOR PROCESSING AN IMAGE}
본 개시의 다양한 실시 예들은 다수의 이미지 센서들에 의해 획득한 이미지를 변환하는 이미지 처리장치 및 방법에 관한 것이다.
최근 방송 서비스는 통신 서비스와의 융합에 의한 영상 통신 서비스가 일반화되었다. 상기 영상 통신 서비스는 빠른 정보 처리가 가능한 단말뿐만 아니라 고속의 정보 전달을 제공하는 광대역 네트워크를 기반으로 하고 있다.
상기 영상 통신 서비스를 지원하는 단말은 이미지 처리로 인한 많은 전력 소모가 발생한다. 특히 처리할 이미지의 해상도는 디스플레이 시에 단말의 소비 전력을 결정하는 주요한 요인이 될 수 있다. 예컨대 휴대할 수 있는 단말 (이하 '휴대 단말'이라 칭함)에서 디스플레이 시의 소비 전력은 처리할 이미지의 해상도에 비례하여 증가할 수 있다.
상기 이미지 해상도의 증가는 처리할 이미지에 관한 정보를 전달할 링크 상에서의 대역폭을 증가시킨다. 일 예로 하나의 디바이스 내에서 애플리케이션 프로세서 (AP: Application Processor)가 디스플레이 디바이스로 프레임을 전송하기 위한 대역폭은 디스플레이 해상도에 비례하여 증가한다. 다른 예로 하나의 디바이스가 무선 네트워크상에서 다른 디바이스로 멀티미디어 데이터를 전달하는 경우, 상기 전달할 멀티미디어 데이터의 크기에 비례하여 상기 무선 네트워크에서 사용할 대역폭이 증가할 수 있다.
출력장치 (예: 디스플레이)의 발전 및 개선된 화질의 영상에 대한 사용자의 요구에 따라, 출력장치를 통하여 표시되는 영상의 해상도가 높아지고, 영상의 크기가 증가할 수 있다. 이에 따라, 전자장치에서 크고 복잡한 영상의 화질을 개선하기 위한 다양한 영상 처리 방법들이 개발되고 있다. 상기 화질을 개선하기 위한 영상 처리 기술 중 하나로 HDR (high dynamic range) 기술이 있다. 상기 HDR 기술은 밝기가 다른 사진을 연속하여 촬영한 후, 적어도 두 장의 사진을 하나의 사진으로 합성하는 기술이다.
고화질 또는 대용량의 영상을 처리하는 데에 전자장치는 많은 양의 자원을 사용할 수 있다. 예를 들면, 고화질의 영상의 변환 또는 보정과 관련된 많은 양의 데이터 연산을 수행하기 위해, 전자장치는 상대적으로 많은 양의 메모리 또는 처리 자원 (processing resource)을 사용할 수 있다. 또한, 다른 전자장치로 대용량의 영상을 전송하기 위해, 데이터 전송량 또는 전송 속도를 증가시킬 수 있도록, 전자장치는, 상대적으로 많은 양의 네트워킹 자원을 사용할 수 있다.
전자장치는, 고화질의 영상을 처리하고 대용량의 영상을 전송하기 위하여, 영상을 특정 영상 포맷으로 변환할 수 있다. 예를 들면, 전자장치는 RGB (red-green-blue) 색 모델에 기반을 둔 영상의 적색 성분, 녹색 성분, 및 청색 성분을, 영상의 밝기 (luminance) 성분, 청색 색차 성분 (blue difference chroma component), 및 적색 색차 성분 (red difference chroma component)으로 이루어진 YCbCr 영상 포맷으로 변환하여 영상을 처리할 수 있다. 예를 들면, 전자장치는 영상의 YCbCr 영상 포맷에 포함된 밝기 성분을 조절 (예: 증가)하여 영상의 밝기를 조절 (예: 증가)할 수 있다.
전자장치에서의 영상 품질은, 구비된 렌즈, 이미지 센서 등의 성능에 비례할 수 있다. 하지만, 고화질의 영상을 얻기 위해, 전자장치에 높은 성능의 렌즈, 이미지 센서 등을 구비하도록 하는 것은, 상기 전자장치를 생산하는 비용을 증가시키는 원인으로 작용할 수 있다.
따라서, 전자장치에 구비된 렌즈, 이미지 센서 등의 하드웨어 성능을 유지하면서 촬영 조건의 변화, 효율적인 이미지 처리 등을 기반으로 고 해상도의 이미지를 얻을 수 있는 방안을 마련하는 것이 필요하다.
본 개시의 다양한 실시 예에 따르면, 서로 다른 특성이 있는 두 개의 센서를 사용하여 프레임 레이트를 변환하는 이미지 처리장치 및 방법을 제공할 수 있다.
본 개시의 다양한 실시 예에 따르면, 서로 다른 특성이 있는 두 개의 센서를 사용하여 획득한 서로 다른 특성의 이미지를 합성하여 새로운 이미지를 생성하는 이미지 처리장치 및 방법을 제공할 수 있다.
본 개시의 다양한 실시 예에 따르면, 촬영을 위한 조건을 서로 다르게 설정한 적어도 두 개의 센서를 통해 획득한 다수의 이미지를 기반으로 새로운 이미지를 생성하는 이미지 처리장치 및 방법을 제공할 수 있다.
본 개시의 다양한 실시 예에 따르면, 흑백 센서를 통해 획득한 흑백 이미지 프레임들을 기반으로 프레임 레이트를 변환하고, 컬러 센서를 통해 획득한 컬러 이미지 프레임을 사용하여 상기 프레임 레이트 변환된 흑백 이미지 프레임과의 영상 정합을 수행하는 이미지 처리장치 및 방법을 제공할 수 있다.
본 개시의 다양한 실시 예에 따른 전자 장치는, 메모리와, 제 1 흑백 (BW) 이미지 센서와, 제 2 이미지 센서 및 프로세서를 포함하되,
상기 프로세서는, 상기 제 1 BW 이미지 센서를 이용하여, 피사체에 대한 제 1 시간에 대응하는 제 1 흑백 이미지, 및 상기 피사체에 대한 제 2 시간에 대응하는 제 2 흑백 이미지를 획득하고, 상기 제 2 이미지 센서를 이용하여, 상기 피사체에 대한 컬러 이미지를 획득하고, 상기 제 1 흑백 이미지에 상기 컬러 이미지의 색상 정보 중 적어도 일부를 기반으로 하여 결정된 제 1 색상이 합성된 제 1 컬러 이미지를 생성하고, 상기 제 2 흑백 이미지에 상기 색상 정보 중 적어도 일부를 기반으로 하여 결정된 제 2 색상이 합성된 제 2 컬러 이미지를 생성하고, 상기 제 1 컬러 이미지와 상기 제 2 컬러 이미지를 상기 메모리에 비디오 데이터로 저장하도록 설정될 수 있다.
본 개시의 다양한 실시 예에 따른 제 1 흑백 (BW) 이미지 센서 및 제 2 이미지 센서를 포함하는 전자 장치에서의 동작 방법은, 상기 제 1 BW 이미지 센서를 이용하여, 피사체에 대한 제 1 시간에 대응하는 제 1 흑백 이미지, 및 상기 피사체에 대한 제 2 시간에 대응하는 제 2 흑백 이미지를 획득하는 동작과, 상기 제 2 이미지 센서를 이용하여, 상기 피사체에 대한 컬러 이미지를 획득하는 동작과, 상기 제 1 흑백 이미지에 상기 컬러 이미지의 색상 정보 중 적어도 일부를 기반으로 하여 결정된 제 1 색상이 합성된 제 1 컬러 이미지를 생성하고, 상기 제 2 흑백 이미지에 상기 색상 정보 중 적어도 일부를 기반으로 하여 결정된 제 2 색상이 합성된 제 2 컬러 이미지를 생성하는 동작 및 상기 제 1 컬러 이미지 및 상기 제 2 컬러 이미지를 상기 메모리에 비디오 데이터로 저장하는 동작을 포함할 수 있다.
본 개시의 다양한 실시 예에 따른 제 1 흑백 (BW) 이미지 센서 및 제 2 이미지 센서를 포함하는 전자 장치의 컴퓨터 판독 가능한 기록 매체는, 상기 제 1 BW 이미지 센서를 이용하여, 피사체에 대한 제 1 시간에 대응하는 제 1 흑백 이미지, 및 상기 피사체에 대한 제 2 시간에 대응하는 제 2 흑백 이미지를 획득하는 동작과, 상기 제 2 이미지 센서를 이용하여, 상기 제 1 시간 및 상기 제 2 시간 사이에 속하는 제 3 시간에 대응하는, 상기 피사체에 대한 컬러 이미지를 획득하는 동작과, 상기 제 1 흑백 이미지에 상기 컬러 이미지의 색상 정보 중 적어도 일부를 기반으로 하여 결정된 제 1 색상이 합성된 제 1 컬러 이미지를 생성하고, 상기 제 2 흑백 이미지에 상기 색상 정보 중 적어도 일부를 기반으로 하여 결정된 제 2 색상이 합성된 제 2 컬러 이미지를 생성하는 동작 및 상기 제 1 컬러 이미지 및 상기 제 2 컬러 이미지를 상기 메모리에 비디오 데이터로 저장하는 동작을 실행시키기 위한 프로그램을 기록할 수 있다.
본 개시의 다양한 실시 예에 따라 이미지를 처리하는 장치 및 방법은, 높은 프레임 레이트를 가지는 이미지의 획득을 저해하는 수광량과 연산량의 문제를 해결할 수 있다.
도 1은 제안된 다양한 실시 예에 따른, 무선 터미널을 포함하는 네트워크 환경을 도시한 도면이다.
도 2는 제안된 다양한 실시 예에 따른, 무선 터미널에 대한 블록 구성을 도시한 도면이다.
도 3은 제안된 다양한 실시 예에 따른, 프로그램 모듈에 대한 블록 구성을 도시한 도면이다.
도 4는 제안된 다양한 실시 예에 따른, 이미지 처리장치의 구성에 대한 일 예를 도시한 도면이다.
도 5는 제안된 다양한 실시 예에 따른, 이미지 처리장치의 구성에 대한 다른 일 예를 도시한 도면이다.
도 6은 제안된 다양한 실시 예에 따른, 이미지 처리를 위한 블록 구성을 도시한 도면이다.
도 7은 제안된 다양한 실시 예에 따른, 이미지 처리 절차에 대해 제어 흐름을 도시한 도면이다.
도 8은 제안된 다양한 실시 예에 따른, 전자장치에서의 두 개의 이미지 센서를 사용한 촬영 예를 도시한 도면이다.
도 9는 제안된 다양한 실시 예에 따른, 전자장치에서 이미지 합성 예를 도시한 도면이다.
도 10은 제안된 다양한 실시 예에 따른, 전자장치에서 이미지 합성 절차를 도시한 도면이다.
도 11은 제안된 다양한 실시 예에 따른, 이미지 처리 결과에 대한 예를 도시한 도면이다.
도 12는 제안된 다양한 실시 예에 따른, 전자장치에서의 이미지 처리를 위한 제어 흐름을 도시한 도면이다.
이하, 본 문서의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 이는 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 문서의 실시예의 다양한 변경 (modifications), 균등물 (equivalents), 및/또는 대체물 (alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
본 문서에서, "가진다", "가질 수 있다", "포함한다", 또는 "포함할 수 있다" 등의 표현은 해당 특징 (예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 문서에서, "A 또는 B", "A 또는/및 B 중 적어도 하나", 또는 "A 또는/및 B 중 하나 또는 그 이상" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B", "A 및 B 중 적어도 하나", 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 문서에서 사용된 "제 1", "제 2", "첫 째", 또는 "둘 째" 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제 1 사용자 기기와 제 2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 문서에 기재된 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 바꾸어 명명될 수 있다.
어떤 구성요소 (예: 제 1 구성요소)가 다른 구성요소 (예: 제 2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어 ((operatively or communicatively) coupled with/to)" 있다거나 "접속되어 (connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 또 다른 구성요소 (예: 제 3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소 (예: 제 1 구성요소)가 다른 구성요소 (예: 제 2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 또 다른 구성요소 (예: 제 3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 문서에서 사용된 표현 "~하도록 구성된 (또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한 (suitable for)", "~하는 능력을 가지는 (having the capacity to)", "~하도록 설계된 (designed to)", "~하도록 변경된 (adapted to)", "~하도록 만들어진 (made to)", 또는 "~를 할 수 있는 (capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된 (또는 설정된)"은 하드웨어적으로 "특별히 설계된 (specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된 (또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서 (예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서 (generic-purpose processor) (예: CPU 또는 application processor)를 의미할 수 있다.
본 문서에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시 예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 문서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 문서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 문서의 실시 예들을 배제하도록 해석될 수 없다.
본 문서의 다양한 실시 예들에 따른 전자 장치는, 예를 들면, 스마트폰 (smartphone), 태블릿 PC (tablet personal computer), 이동 전화기 (mobile phone), 영상 전화기, 전자책 리더기 (e-book reader), 데스크탑 PC (desktop personal computer), 랩탑 PC (laptop personal computer), 넷북 컴퓨터 (netbook computer), 워크스테이션 (workstation), 서버, PDA (personal digital assistant), PMP (portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라 (camera), 또는 웨어러블 장치 (wearable device) 중 적어도 하나를 포함할 수 있다. 다양한 실시 예에 따르면, 웨어러블 장치는 액세서리형 (예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트렌즈, 또는 머리 착용형 장치 (head-mounted-device(HMD)), 직물 또는 의류 일체형 (예: 전자 의복), 신체 부착형 (예: 스킨 패드(skin pad) 또는 문신), 또는 생체 이식형 (예: implantable circuit) 중 적어도 하나를 포함할 수 있다.
어떤 실시 예들에서, 전자 장치는 가전 제품(home appliance)일 수 있다. 가전 제품은, 예를 들면, 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스 (set-top box), 홈 오토매이션 컨트롤 패널 (home automation control panel), 보안 컨트롤 패널 (security control panel), TV 박스 (예: 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 게임 콘솔 (예: XboxTM, PlayStationTM), 전자 사전, 전자 키, 캠코더 (camcorder), 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
다른 실시 예에서, 전자 장치는, 각종 의료기기 (예: 각종 휴대용 의료측정기기 (혈당 측정기, 심박 측정기, 혈압 측정기, 또는 체온 측정기 등), MRA (magnetic resonance angiography), MRI (magnetic resonance imaging), CT (computed tomography), 촬영기, 또는 초음파기 등), 내비게이션 (navigation) 장치, GPS 수신기 (global positioning system receiver), EDR (event data recorder), FDR (flight data recorder), 자동차 인포테인먼트 (infotainment) 장치, 선박용 전자 장비 (예: 선박용 항법 장치, 자이로 콤파스 등), 항공 전자기기 (avionics), 보안 기기, 차량용 헤드 유닛 (head unit), 산업용 또는 가정용 로봇, 금융 기관의 ATM (automatic teller's machine), 상점의 POS (point of sales), 또는 사물 인터넷 장치 (internet of things) (예: 전구, 각종 센서, 전기 또는 가스 미터기, 스프링클러 장치, 화재경보기, 온도조절기 (thermostat), 가로등, 토스터 (toaster), 운동기구, 온수탱크, 히터, 보일러 등) 중 적어도 하나를 포함할 수 있다.
어떤 실시 예에 따르면, 전자 장치는 가구 (furniture) 또는 건물/구조물의 일부, 전자 보드 (electronic board), 전자 사인 수신 장치 (electronic signature receiving device), 프로젝터 (projector), 또는 각종 계측 기기 (예: 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다. 다양한 실시 예에서, 전자 장치는 전술한 다양한 장치들 중 하나 또는 그 이상의 조합일 수 있다. 어떤 실시 예에 따른 전자 장치는 플렉서블 전자 장치일 수 있다. 또한, 본 문서의 실시 예에 따른 전자 장치는 전술한 기기들에 한정되지 않으며, 기술 발전에 따른 새로운 전자 장치를 포함할 수 있다.
본 개시에서 제안된 다양한 실시 예에서는 높은 프레임 레이트를 가지는 컬러 이미지를 획득하기 위한 방안으로써, 하기의 세 가지 방안에 대해 설명할 것이다. 즉, 상대적으로 낮은 프레임 레이트 (저 화질)의 컬러 영상에서 얻을 수 있는 색상 정보를 사용하여 높은 프레임 레이트 (고 화질)의 흑백 영상에 컬러를 확산 (컬러 디퓨징 (color diffusing))시킴으로써, 높은 프레임 레이트 (고 화질)의 컬러 영상을 생성할 수 있도록 한다.
그 첫 번째로, 흑백 (BW) 이미지 센서의 높은 수광량을 이용하는 방안이다. 해당 방안은 흑백 이미지 센서와 컬러 이미지 센서의 조합을 통해 다수의 흑백 이미지를 획득하고, 상기 획득한 다수의 흑백 이미지를 컬러 이미지와 합성함으로써, 높은 프레임 레이트를 가지는 컬러 이미지 (고 해상도의 컬러 이미지, 컬러의 슬로우 비디오)를 얻을 수 있다. 이 경우, 흑백 이미지 센서와 컬러 이미지 센서의 해상도에는 제한이 없을 수 있다.
그 두 번째로, 프레임 레이트 변환 (FRC: frame rate conversion) 연산을 이용하는 방안이다. 해당 방안은 (상대적으로) 저 해상도인 컬러 이미지로 모션 벡터 (motion vector)를 검색 (search)하고, 이 값을 기반으로 (상대적으로) 고 해상도인 흑백 이미지에서 지역 밀집 매칭 (local dense matching) 및 FRC 연산을 수행할 수 있다. 이때, 컬러 이미지 센서의 해상도가 흑백 이미지 센서의 해상도보다 낮을 수 있다. 그렇지 않고, 해상도와 무관하게 컬러 이미지 센서로부터 획득한 컬러 이미지를 다운 샘플링하여 저 해상도로 변경한 후 모션 벡터 검색 (motion vector search)을 수행할 수도 있다.
그 세 번째로, 에지 블록 스케일링 (EBS: edged block scaling) 영상 포맷을 이용하는 방안이다. 해당 방안은 EBS 영상 포맷이 다운 샘플링된 컬러 정보 (S), 엣지 정보 (E), 영상 관련 부가정보 (B)로 구성된 영상 포맷이므로, 컬러 정보 (S)와 엣지 정보 (E)를 이용하여 FRC 연산을 수행하는 것이다.
이하, 첨부 도면을 참조하여, 다양한 실시 예에 따른 전자 장치가 설명된다. 본 문서에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치 (예: 인공지능 전자 장치)를 지칭할 수 있다.
도 1에서는, 다양한 실시 예를 위한 네트워크 환경(100) 내의 전자 장치(101)를 도시한다. 전자 장치(101)는 버스(110), 프로세서(120), 메모리(130), 입출력 인터페이스(150), 디스플레이(160), 통신 인터페이스(170), 및 영상 처리 모듈(140)을 포함할 수 있다. 어떤 실시 예에서는, 전자 장치(101)는, 구성요소들 중 적어도 하나를 생략하거나 다른 구성요소를 추가로 구비할 수 있다.
버스(110)는, 예를 들면, 구성요소들(120-170)을 서로 연결하고, 구성요소들(120-170) 간의 통신 (예: 제어 메시지 및/또는 데이터)을 전달하는 회로를 포함할 수 있다.
프로세서(120)는, 중앙처리장치 (central processing unit (CPU)), 어플리케이션 프로세서 (application processor (AP)), 또는 커뮤니케이션 프로세서 (communication processor (CP)) 중 하나 또는 그 이상을 포함할 수 있다. 프로세서(120)는, 예를 들면, 전자 장치(101)의 적어도 하나의 다른 구성요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 실행할 수 있다.
메모리(130)는, 휘발성 및/또는 비휘발성 메모리를 포함할 수 있다. 메모리(130)는, 예를 들면, 전자 장치(101)의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 저장할 수 있다. 한 실시 예에 따르면, 메모리(130)는 소프트웨어 및/또는 프로그램(180)을 저장할 수 있다. 프로그램(180)은, 예를 들면, 커널(181), 미들웨어(183), 어플리케이션 프로그래밍 인터페이스 (application programming interface (API))(185), 및/또는 어플리케이션 프로그램(또는 "어플리케이션")(187) 등을 포함할 수 있다. 커널(181), 미들웨어(183), 또는 API(185)의 적어도 일부는, 운영 시스템 (operating system (OS))으로 지칭될 수 있다.
커널(181)은, 예를 들면, 다른 프로그램들 (예: 미들웨어(183), API(185), 또는 어플리케이션 프로그램(187))에 구현된 동작 또는 기능을 실행하는 데 사용되는 시스템 리소스들 (예: 버스(110), 프로세서(120), 또는 메모리(130) 등)을 제어 또는 관리할 수 있다. 또한, 커널(181)은 미들웨어(183), API(185), 또는 어플리케이션 프로그램(187)에서 전자 장치(101)의 개별 구성요소에 접근함으로써, 시스템 리소스들을 제어 또는 관리할 수 있는 인터페이스를 제공할 수 있다.
미들웨어(183)는, 예를 들면, API(185) 또는 어플리케이션 프로그램(187)이 커널(181)과 통신하여 데이터를 주고받을 수 있도록 중개 역할을 수행할 수 있다.
또한, 미들웨어(183)는 어플리케이션 프로그램(187)으로부터 수신된 하나 이상의 작업 요청을 우선순위에 따라 처리할 수 있다. 예를 들면, 미들웨어(183)는 어플리케이션 프로그램(187) 중 적어도 하나에 전자 장치(101)의 시스템 리소스 (예: 버스(110), 프로세서(120), 또는 메모리(130) 등)를 사용할 수 있는 우선순위를 부여할 수 있다. 예컨대, 미들웨어(183)는 적어도 하나의 어플리케이션 프로그램에 부여된 우선순위에 따라 하나 이상의 작업 요청을 처리함으로써, 상기 하나 이상의 작업 요청에 대해 스케줄링 또는 로드 밸런싱 등을 수행할 수 있다.
API(185)는, 예를 들면, 어플리케이션 프로그램(187)이 커널(181) 또는 미들웨어(183)에서 제공되는 기능을 제어하기 위한 인터페이스로, 예를 들면, 파일 제어, 창 제어, 영상 처리, 또는 문자 제어 등을 위한 적어도 하나의 인터페이스 또는 함수(예: 명령어)를 포함할 수 있다.
입출력 인터페이스(150)는, 예를 들면, 사용자 또는 다른 외부 기기로부터 입력된 명령 또는 데이터를 전자 장치(101)의 다른 구성요소(들)에 전달할 수 있는 인터페이스의 역할을 할 수 있다. 또한, 입출력 인터페이스(150)은 전자 장치(101)의 다른 구성요소(들)로부터 수신된 명령 또는 데이터를 사용자 또는 다른 외부 기기로 출력할 수 있다. 예컨대, 입출력 인터페이스(150)은 서로 다른 특성이 있는 다수의 이미지 센서를 포함할 수 있다. 상기 입출력 인터페이스(150)은 다수의 이미지 센서에 의해 촬영된 이미지들을 버스(110)을 통해 영상 처리 모듈(140), 메모리(130), 디스플레이(160), 통신 인터페이스(170) 등으로 전달할 수 있다. 상기 촬영된 이미지들은 서로 다른 이미지 특성이 있을 수 있다. 이는 이미지 센서의 특성, 촬영을 위해 설정된 조건 등의 차이에 따른 것일 수 있다.
디스플레이(160)는, 예를 들면, 액정 디스플레이 (liquid crystal display(LCD)), 발광 다이오드 (light-emitting diode(LED)) 디스플레이, 유기 발광 다이오드 (organic light-emitting diode (OLED)) 디스플레이, 또는 마이크로 전자기계 시스템 (microelectromechanical systems (MEMS)) 디스플레이, 또는 전자종이 (electronic paper) 디스플레이를 포함할 수 있다. 디스플레이(160)는, 예를 들면, 각종 콘텐츠 (예: 텍스트, 이미지, 비디오, 아이콘, 또는 심볼 등)를 표시할 수 있다. 디스플레이(160)는, 터치 스크린을 포함할 수 있으며, 예를 들면, 전자 펜 또는 사용자의 신체의 일부를 이용한 터치, 제스쳐, 근접, 또는 호버링 입력을 수신할 수 있다.
통신 인터페이스(170)는, 예를 들면, 전자 장치(101)와 외부 장치 (예: 제 1 외부 전자 장치(102), 제 2 외부 전자 장치(104), 또는 서버(106)) 간의 통신을 설정할 수 있다. 예를 들면, 통신 인터페이스(170)는 무선 통신 또는 유선 통신을 통해서 네트워크(162)에 연결되어 외부 장치 (예: 제 2 외부 전자 장치(104) 또는 서버(106))와 통신할 수 있다.
무선 통신은, 예를 들면, 셀룰러 통신 프로토콜로서, 예를 들면, LTE (long-term evolution), LTE-A (LTE Advance), CDMA (code division multiple access), WCDMA (wideband CDMA), UMTS (universal mobile telecommunications system), WiBro (wireless broadband), 또는 GSM (global system for mobile communications) 등 중 적어도 하나를 사용할 수 있다. 또한, 무선 통신은, 예를 들면, 근거리 통신(164)을 포함할 수 있다. 근거리 통신(164)은, 예를 들면, WiFi (wireless fidelity), 블루투스 (bluetooth), NFC (near field communication), MST (magnetic stripe transmission), 또는 지그비 (Zigbe) 등에서 적어도 하나를 포함할 수 있다. 무선 통신은 예들 들면, GPS (global positioning system), 또는 GNSS (global navigation satellite system)를 이용할 수 있다. 유선 통신은, 예를 들면, USB (universal serial bus), HDMI (high definition multimedia interface), RS-232 (recommended standard232), 또는 POTS (plain old telephone service) 등에서 적어도 하나를 포함할 수 있다. 네트워크(162)는 통신 네트워크 (telecommunications network), 예를 들면, 컴퓨터 네트워크 (computer network)(예: LAN 또는 WAN), 인터넷, 또는 전화망 (telephone network) 중 적어도 하나를 포함할 수 있다.
영상 처리 모듈(140)은, 예를 들면, 입력 영상과 관련된 엣지 정보 (예: 고주파 성분 정보)의 일부 또는 스케일 정보 (예: 다운스케일된 영상)의 일부에 기반하여 생성된 부가 정보 (예: 엣지 정보 또는 스케일 정보의 이진화 데이터, 고주파 성분 정보, 색상 정보, 밝기 정보, 패턴 정보, 모션 정보, 또는 블랙 레벨 값 등)를 획득하고, 상기 획득한 부가 정보에 기반하여 입력 영상의 적어도 일부에 대응하는 출력 영상을 생성할 수 있다. 영상 처리 모듈(140)은, 예를 들면, 스케일 정보에 포함된 다운-스케일된 입력 영상을 업-스케일하고, 상기 업-스케일된 입력 영상 및 엣지 정보를 이용하여 출력 영상을 생성할 수 있다.
영상 처리 모듈(140)은 입출력 인터페이스(150)에 구비된 서로 다른 특성이 있는 다수의 이미지 센서로부터 제공되는 다수의 이미지를 기반으로 새로운 이미지를 생성할 수 있다. 즉, 영상 처리 모듈(140)은 다수의 이미지 센서가 가지는 특성이 반영된 이미지로부터 그 특성에 관한 정보를 추출하고, 상기 추출한 정보를 사용하여 다른 특성이 있는 이미지를 가공함으로써, 새로운 특성이 있는 이미지를 생성할 수 있다.
도 1에서는 영상 처리 모듈(140)을 프로세서(120) 및 메모리(130)와 독립된 구성으로 나타내고 있지만, 다양한 실시 예들은 이에 한정되지 않는다. 영상 처리 모듈(140)은, 예를 들면, 프로세서(120)와 통합되어 (integrated with) 구현될 수 있고, 메모리(130)에 소프트웨어 형태로 저장되어 프로세서(120)에서 실행될 수 있는 형태로 구현될 수 있다. 또한, 영상 처리 모듈(140)은, 예를 들면, 프로세서(120) 및 메모리(130)에 분산되어 구현될 수 있다.
제 1 및 제 2 외부 전자 장치(102, 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 한 실시 예에 따르면, 서버(106)는 하나 또는 그 이상의 서버들의 그룹을 포함할 수 있다. 다양한 실시 예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 다른 하나 또는 복수의 전자 장치(예: 전자 장치(102,104), 또는 서버(106))에서 실행될 수 있다. 한 실시 예에 따르면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로 또는 요청에 의하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 추가로, 그와 연관된 적어도 일부 기능을 다른 장치(예: 전자 장치(102, 104), 또는 서버(106))에게 요청할 수 있다. 다른 전자 장치(예: 전자 장치(102, 104), 또는 서버(106))는 요청된 기능 또는 추가 기능을 실행하고, 그 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 수신된 결과를 그대로 또는 추가로 처리하여 요청된 기능이나 서비스를 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
도 2는 다양한 실시 예에 따른 전자 장치(201)의 블록도이다.
도 2를 참조하면, 전자 장치(201)는, 예를 들면, 도 1에 도시된 전자 장치(101)의 전체 또는 일부를 포함할 수 있다. 전자 장치(201)는 하나 이상의 프로세서 (예: AP (application processor))(210), 통신 모듈(220), 가입자 식별 모듈(224), 메모리(230), 센서 모듈(240), 입력 장치(250), 디스플레이(260), 인터페이스(270), 오디오 모듈(280), 카메라 모듈(291), 전력 관리 모듈(295), 배터리(296), 인디케이터(297), 및 모터(298) 를 포함할 수 있다.
프로세서(210)는, 예를 들면, 운영 체제 또는 응용 프로그램을 구동하여 프로세서(210)에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 프로세서(210)는, 예를 들면, SoC (system on chip) 로 구현될 수 있다. 한 실시 예에 따르면, 프로세서(210)는 GPU (graphic processing unit) 및/또는 이미지 신호 프로세서 (image signal processor)를 더 포함할 수 있다. 프로세서(210)는 도 2에 도시된 구성요소들 중 적어도 일부 (예: 셀룰러 모듈(221))를 포함할 수도 있다. 프로세서(210) 는 다른 구성요소들 (예: 비휘발성 메모리) 중 적어도 하나로부터 수신된 명령 또는 데이터를 휘발성 메모리에 로드하여 처리하고, 다양한 데이터를 비휘발성 메모리에 저장할 수 있다.
통신 모듈(220)은, 도 1의 통신 인터페이스(170)와 동일 또는 유사한 구성을 가질 수 있다. 통신 모듈(220)은, 예를 들면, 셀룰러 모듈(221), WiFi 모듈(223), 블루투스 모듈(225), GPS 모듈(227), NFC 모듈(228) 및 RF (radio frequency) 모듈(229)을 포함할 수 있다.
셀룰러 모듈(221)은, 예를 들면, 통신망을 통해서 음성 통화, 영상 통화, 문자 서비스, 또는 인터넷 서비스 등을 제공할 수 있다. 한 실시 예에 따르면, 셀룰러 모듈(221)은 가입자 식별 모듈 (예: SIM 카드)(224)을 이용하여 통신 네트워크 내에서 전자 장치(201)의 구별 및 인증을 수행할 수 있다. 한 실시 예에 따르면, 셀룰러 모듈(221)은 프로세서(210)가 제공할 수 있는 기능 중 적어도 일부 기능을 수행할 수 있다. 한 실시 예에 따르면, 셀룰러 모듈(221)은 CP를 포함할 수 있다.
WiFi 모듈(223), 블루투스 모듈(225), GPS 모듈(227) 또는 NFC 모듈(228) 각각은, 예를 들면, 해당하는 모듈을 통해서 송수신되는 데이터를 처리하기 위한 프로세서를 포함할 수 있다. 어떤 실시 예에 따르면, 셀룰러 모듈(221), WiFi 모듈(223), 블루투스 모듈(225), GPS 모듈(227) 또는 NFC 모듈(228) 중 적어도 일부 (예: 두 개 이상)는 하나의 integrated chip(IC) 또는 IC 패키지 내에 포함될 수 있다.
RF 모듈(229)은, 예를 들면, 통신 신호 (예: RF 신호)를 송수신할 수 있다. RF 모듈(229)은, 예를 들면, 트랜시버 (transceiver), PAM (power amp module), 주파수 필터 (frequency filter), LNA (low noise amplifier), 또는 안테나 등을 포함할 수 있다. 다른 실시 예에 따르면, 셀룰러 모듈(221), WiFi 모듈(223), 블루투스 모듈(225), GPS 모듈(227) 또는 NFC 모듈(228) 중 적어도 하나는 별개의 RF 모듈을 통하여 RF 신호를 송수신할 수 있다.
가입자 식별 모듈(224)은, 예를 들면, 가입자 식별 모듈을 포함하는 카드 및/또는 내장 SIM (embedded SIM)을 포함할 수 있으며, 고유한 식별 정보 (예: ICCID (integrated circuit card identifier)) 또는 가입자 정보 (예: IMSI (international mobile subscriber identity))를 포함할 수 있다.
메모리(230) (예: 메모리(130))는, 예를 들면, 내장 메모리(232) 또는 외장 메모리(234)를 포함할 수 있다. 내장 메모리(232)는, 예를 들면, 휘발성 메모리 (예: DRAM (dynamic RAM), SRAM (static RAM), 또는 SDRAM (synchronous dynamic RAM) 등), 비휘발성 메모리 (non-volatile Memory) (예: OTPROM(one time programmable ROM), PROM (programmable ROM), EPROM (erasable and programmable ROM), EEPROM (electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리 (예: NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브 (solid state drive(SSD)) 중 적어도 하나를 포함할 수 있다.
외장 메모리(234)는 플래시 드라이브 (flash drive), 예를 들면, CF (compact flash), SD (secure digital), Micro-SD (micro secure digital), Mini-SD (mini secure digital), xD (extreme digital), MMC (multi-media card) 또는 메모리 스틱 (memory stick) 등을 더 포함할 수 있다. 외장 메모리(234)는 다양한 인터페이스를 통하여 전자 장치(201)와 기능적 및/또는 물리적으로 연결될 수 있다.
센서 모듈(240)은, 예를 들면, 물리량을 계측하거나 전자 장치(201)의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 센서 모듈(240)은, 예를 들면, 제스처 센서(240A), 자이로 센서(240B), 기압 센서(240C), 마그네틱 센서(240D), 가속도 센서(240E), 그립 센서(240F), 근접 센서(240G), 컬러 센서(240H) (예: RGB (red, green, blue) 센서), 생체 센서(240I), 온/습도 센서(240J), 조도 센서(240K), 또는 UV (ultra violet) 센서(240M) 중에서 적어도 하나를 포함할 수 있다. 추가로 또는 대체로 (additionally or alternatively), 센서 모듈(240)은, 예를 들면, 후각 센서 (E-nose sensor), EMG 센서 (electromyography sensor), EEG 센서 (electroencephalogram sensor), ECG 센서 (electrocardiogram sensor), IR (infrared) 센서, 홍채 센서 및/또는 지문 센서를 포함할 수 있다. 센서 모듈(240)은 그 안에 속한 적어도 하나 이상의 센서를 제어하기 위한 제어 회로를 더 포함할 수 있다. 어떤 실시 예에서, 전자 장치(201)는 프로세서(210)의 일부 또는 별도로, 센서 모듈(240)을 제어하도록 구성된 프로세서를 더 포함하여, 프로세서(210)가 슬립(sleep) 상태에 있는 동안, 센서 모듈(240)을 제어할 수 있다.
입력 장치(250)는, 예를 들면, 터치 패널 (touch panel)(252), (디지털) 펜 센서 (pen sensor)(254), 키(256), 또는 초음파 (ultrasonic) 입력 장치(258)를 포함할 수 있다. 터치 패널(252)은, 예를 들면, 정전식, 감압식, 적외선 방식, 또는 초음파 방식 중 적어도 하나의 방식을 사용할 수 있다. 또한, 터치 패널(252)은 제어 회로를 더 포함할 수도 있다. 터치 패널(252)은 택타일 레이어 (tactile layer)를 더 포함하여, 사용자에게 촉각 반응을 제공할 수 있다.
(디지털) 펜 센서(254)는, 예를 들면, 터치 패널의 일부이거나, 별도의 인식용 쉬트 (sheet)를 포함할 수 있다. 키(256)는, 예를 들면, 물리적인 버튼, 광학식 키, 또는 키 패드를 포함할 수 있다. 초음파 입력 장치(258)는 마이크(288)를 통해, 입력 도구에서 발생한 초음파를 감지하여, 상기 감지된 초음파에 대응하는 데이터를 확인할 수 있다.
디스플레이(260)는 패널(262), 홀로그램 장치(264), 또는 프로젝터(266)를 포함할 수 있다.
패널(262)은, 도 1의 디스플레이(160)와 동일 또는 유사한 구성을 포함할 수 있다. 패널(262)은, 예를 들면, 유연하게 (flexible), 투명하게 (transparent), 또는 착용할 수 있게 (wearable) 구현될 수 있다. 패널(262)은 터치 패널(252)과 하나의 모듈로 구성될 수도 있다.
한 실시 예에 따르면, 패널(262)은 적어도 하나의 센서를 포함할 수 있다. 예컨대, 패널(262)은 압력 센서 (또는 포스 센서 (interchangeably used hereinafter))를 포함할 수 있다. 상기 압력 센서는 사용자의 터치에 대한 압력의 세기를 측정할 수 있는 센서일 수 있다. 상기 압력 센서는 상기 터치 패널(252)와 일체형으로 구현되거나, 또는 상기 터치 패널(252)과 별도로 하나 이상의 센서로 구현될 수도 있다.
홀로그램 장치(264)는 빛의 간섭을 이용하여 입체 영상을 허공에 보여줄 수 있다. 프로젝터(266)는 스크린에 빛을 투사하여 영상을 표시할 수 있다. 스크린은, 예를 들면, 전자 장치(201)의 내부 또는 외부에 위치할 수 있다. 한 실시 예에 따르면, 디스플레이(260)는 패널(262), 홀로그램 장치(264), 또는 프로젝터(266)를 제어하기 위한 제어 회로를 더 포함할 수 있다.
인터페이스(270)는, 예를 들면, HDMI (high-definition multimedia interface)(272), USB (universal serial bus)(274), 광 인터페이스 (optical interface)(276), 또는 D-sub (D-subminiature)(278)를 포함할 수 있다. 인터페이스(270)는, 예를 들면, 도 1에 도시된 통신 인터페이스(170)에 포함될 수 있다. 추가로 또는 대체로, 인터페이스(270)는, 예를 들면, MHL (mobile high-definition link) 인터페이스, SD (secure digital) 카드/MMC (multi-media card) 인터페이스, 또는 IrDA (infrared data association) 규격 인터페이스를 포함할 수 있다.
오디오 모듈(280)은, 예를 들면, 소리와 전기 신호를 쌍방향으로 변환시킬 수 있다. 오디오 모듈(280)의 적어도 일부 구성요소는, 예를 들면, 도 1 에 도시된 입출력 인터페이스(150)에 포함될 수 있다. 오디오 모듈(280)은, 예를 들면, 스피커(282), 리시버(284), 이어폰(286), 또는 마이크(288) 등을 통해 입력 또는 출력되는 소리 정보를 처리할 수 있다.
카메라 모듈(291)은, 예를 들면, 정지 영상 및 동영상을 촬영할 수 있는 장치로서, 한 실시 예에 따르면, 하나 이상의 이미지 센서 (예: 전면 센서 또는 후면 센서), 렌즈, ISP (image signal processor), 또는 플래시 (flash) (예: LED 또는 xenon lamp 등) 등을 포함할 수 있다. 즉, 카메라 모듈(291)은 서로 다른 특성이 있는 다수의 이미지 센서들을 포함할 수 있다. 상기 서로 다른 특성은 촬영된 이미지의 특성을 결정하는 요건으로써, 이미지의 종류 (흑백, 컬러 등), 해상도, 화각 등에 관한 특성이 될 수 있다.
예컨대, 카메라 모듈(291)은 서로 다른 해상도를 지원하는 이미지 센서들의 조합에 의해 구성될 수 있다. 즉, 카메라 모듈(291)에 포함된 이미지 센서들의 조합을 높은 해상도 (고 해상도)를 가지는 이미지 센서와 낮은 해상도 (저 해상도)를 가지는 이미지 센서로 구성하거나 또는 흑백 이미지를 얻기 위한 이미지 센서와 컬러 이미지를 얻기 위한 이미지 센서로 구성하거나 또는 넓은 화각을 가지는 이미지 센서와 좁은 화각을 가지는 이미지 센서로 구성할 수도 있다. 그뿐만 아니라 다수의 특성을 고려하여 이미지 센서의 조합을 구성할 수도 있다. 즉, 상대적으로 높은 해상도를 가지는 흑백 이미지를 얻을 수 있는 흑백 (BW) 이미지 센서와, 상대적으로 낮은 해상도를 가지는 컬러 이미지를 얻을 수 있는 컬러 이미지 센서의 조합에 의해 구성할 수 있다.
카메라 모듈(291)은 다수의 이미지 센서별로 촬영을 위한 조건을 달리 설정할 수 있다. 예컨대, 촬영을 위한 조건은 노출 값, 셔터 스피드, 조리개 값, 화이트 밸런스, 감도 등이 될 수 있다. 다수의 이미지 센서들은 설정된 촬영 조건에 따라 다른 결과물의 이미지를 생성할 수 있다.
전력 관리 모듈(295)은, 예를 들면, 전자 장치(201)의 전력을 관리할 수 있다. 한 실시 예에 따르면, 전력 관리 모듈(295)은 PMIC (power management integrated circuit), 충전 IC (charger integrated circuit), 또는 배터리(296) 또는 연료 게이지 (battery or fuel gauge) 등을 포함할 수 있다. PMIC는, 유선 및/또는 무선 충전 방식을 가질 수 있다. 무선 충전 방식은, 예를 들면, 자기공명 방식, 자기유도 방식 또는 전자기파 방식 등을 포함하며, 무선 충전을 위한 부가적인 회로, 예를 들면, 코일 루프, 공진 회로, 또는 정류기 등을 더 포함할 수 있다. 배터리 게이지는, 예를 들면, 배터리(296)의 잔량, 충전 중 전압, 전류, 또는 온도를 측정할 수 있다. 배터리(296)는, 예를 들면, 충전식 전지 (rechargeable battery) 및/또는 태양 전지 (solar battery)를 포함할 수 있다.
인디케이터(297)는 전자 장치(201) 또는 그 일부 (예: 프로세서(210))의 특정 상태, 예를 들면, 부팅 상태, 메시지 상태 또는 충전 상태 등을 표시할 수 있다. 모터(298)는 전기적 신호를 기계적 진동으로 변환할 수 있고, 진동 (vibration), 또는 햅틱 (haptic) 효과 등을 발생시킬 수 있다. 도시되지는 않았으나, 전자 장치(201)는 모바일 TV 지원을 위한 처리 장치 (예: GPU)를 포함할 수 있다. 모바일 TV 지원을 위한 처리 장치는, 예를 들면, DMB (digital multimedia broadcasting), DVB (digital video broadcasting), 또는 미디어플로 (mediaFloTM) 등의 규격에 따른 미디어 데이터를 처리할 수 있다.
본 문서에서 기술된 구성요소들 각각은 하나 또는 그 이상의 부품 (component)으로 구성될 수 있으며, 해당 구성요소의 명칭은 전자 장치의 종류에 따라서 달라질 수 있다. 다양한 실시 예에서, 전자 장치는 본 문서에서 기술된 구성요소 중 적어도 하나를 포함하여 구성될 수 있으며, 일부 구성요소가 생략되거나 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 또한, 다양한 실시 예에 따른 전자 장치의 구성요소들 중 일부가 결합하여 하나의 개체 (entity)로 구성됨으로써, 결합되기 이전의 해당 구성요소들의 기능을 동일하게 수행할 수 있다.
도 3은 다양한 실시 예에 따른 프로그램 모듈의 블록도이다.
도 3을 참조하면, 프로그램 모듈(310) (예: 프로그램(180))은 전자 장치에 관련된 자원을 제어하는 운영 체제 (operating system(OS)) 및/또는 운영 체제상에서 구동되는 다양한 어플리케이션 (예: 어플리케이션 프로그램(187))을 포함할 수 있다. 운영 체제는, 예를 들면, 안드로이드 (android), iOS, 윈도우 (windows), 심비안 (symbian), 타이젠 (tizen), 또는 바다 (bada) 등이 될 수 있다.
프로그램 모듈(310)은 커널(320), 미들웨어(330), 어플리케이션 프로그래밍 인터페이스 (application programming interface (API))(360), 및/또는 어플리케이션(370)을 포함할 수 있다. 프로그램 모듈(310)의 적어도 일부는 전자 장치 상에 프리로드 (preload) 되거나, 외부 전자 장치 (예: 전자 장치(102, 104), 서버(106) 등)로부터 다운로드 가능하다.
상기 프로그램 모듈(310)에 포함된 커널(320), 미들웨어(330), API(360) 및 어플리케이션 (370) 각각의 예로써, 도 1의 프로그램(180)에 포함된 커널(181), 미들웨어(183), API(185) 및 어플리케이션(187)이 될 수 있다.
커널(320)은, 예를 들면, 시스템 리소스 매니저(321) 및/또는 디바이스 드라이버(323)를 포함할 수 있다. 시스템 리소스 매니저(321)는 시스템 리소스의 제어, 할당, 또는 회수 등을 수행할 수 있다. 한 실시 예에 따르면, 시스템 리소스 매니저(321)는 프로세스 관리부, 메모리 관리부, 또는 파일 시스템 관리부 등을 포함할 수 있다. 디바이스 드라이버(323)는, 예를 들면, 디스플레이 드라이버, 카메라 드라이버, 블루투스 드라이버, 공유 메모리 드라이버, USB 드라이버, 키패드 드라이버, WiFi 드라이버, 오디오 드라이버, 또는 IPC (inter-process communication) 드라이버 등을 포함할 수 있다.
미들웨어(330)는, 예를 들면, 어플리케이션(370)이 공통으로 필요로 하는 기능을 제공하거나, 어플리케이션(370)이 전자 장치 내부의 제한된 시스템 자원을 효율적으로 사용할 수 있도록 API(360)를 통해 다양한 기능들을 어플리케이션(370)으로 제공할 수 있다. 한 실시 예에 따르면, 미들웨어(330)는 런타임 라이브러리(335), 어플리케이션 매니저 (application manager)(341), 윈도우 매니저 (window manager)(342), 멀티미디어 매니저 (multimedia manager)(343), 리소스 매니저 (resource manager)(344), 파워 매니저 (power manager)(345), 데이터베이스 매니저 (database manager)(346), 패키지 매니저 (package manager)(347), 연결 매니저 (connectivity manager)(348), 통지 매니저 (notification manager)(349), 위치 매니저 (location manager)(350), 그래픽 매니저 (graphic manager)(351), 또는 보안 매니저 (security manager)(352) 중 적어도 하나를 포함할 수 있다.
런타임 라이브러리(335)는, 예를 들면, 어플리케이션(370)이 실행되는 동안에 프로그래밍 언어를 통해 새로운 기능을 추가하기 위해 컴파일러가 사용하는 라이브러리 모듈을 포함할 수 있다. 런타임 라이브러리(335)는 입출력 관리, 메모리 관리, 또는 산술 함수에 대한 기능 등을 수행할 수 있다.
어플리케이션 매니저(341)는, 예를 들면, 어플리케이션(370) 중 적어도 하나의 어플리케이션의 생명 주기를 관리할 수 있다. 윈도우 매니저(342)는 화면에서 사용하는 GUI 자원을 관리할 수 있다. 멀티미디어 매니저(343)는 다양한 미디어 파일들의 재생에 필요한 포맷을 파악하고, 해당 포맷에 맞는 코덱을 이용하여 미디어 파일의 인코딩 또는 디코딩을 수행할 수 있다. 리소스 매니저(344)는 어플리케이션(370) 중 적어도 어느 하나의 어플리케이션의 소스 코드, 메모리 또는 저장 공간 등의 자원을 관리할 수 있다.
파워 매니저(345)는, 예를 들면, 바이오스 (BIOS: basic input/output system) 등과 함께 동작하여 배터리 또는 전원을 관리하고, 전자 장치의 동작에 필요한 전력 정보 등을 제공할 수 있다. 데이터베이스 매니저(346)는 어플리케이션(370) 중 적어도 하나의 어플리케이션에서 사용할 데이터베이스를 생성, 검색, 또는 변경할 수 있다. 패키지 매니저(347)는 패키지 파일의 형태로 배포되는 어플리케이션의 설치 또는 업데이트를 관리할 수 있다.
연결 매니저(348)는, 예를 들면, WiFi 또는 블루투스 등의 무선 연결을 관리할 수 있다. 통지 매니저(349)는 도착 메시지, 약속, 근접성 알림 등의 사건 (event)을 사용자에게 방해되지 않는 방식으로 표시 또는 통지할 수 있다. 위치 매니저(350)는 전자 장치의 위치 정보를 관리할 수 있다. 그래픽 매니저(351)는 사용자에게 제공될 그래픽 효과 또는 이와 관련된 사용자 인터페이스를 관리할 수 있다. 보안 매니저(352)는 시스템 보안 또는 사용자 인증 등에 필요한 제반 보안 기능을 제공할 수 있다. 한 실시 예에 따르면, 전자 장치가 전화 기능을 포함한 경우, 미들웨어(330)는 전자 장치의 음성 또는 영상 통화 기능을 관리하기 위한 통화 매니저 (telephony manager)를 더 포함할 수 있다.
미들웨어(330)는 전술한 구성요소들의 다양한 기능의 조합을 형성하는 미들웨어 모듈을 포함할 수 있다. 미들웨어(330)는 차별화된 기능을 제공하기 위해 운영 체제의 종류별로 특화된 모듈을 제공할 수 있다. 또한, 미들웨어(330)는 동적으로 기존의 구성요소를 일부 삭제하거나 새로운 구성요소들을 추가할 수 있다.
API(360)는, 예를 들면, API 프로그래밍 함수들의 집합으로, 운영 체제에 따라 다른 구성으로 제공될 수 있다. 예를 들면, 안드로이드 또는 iOS의 경우, 플랫폼 별로 하나의 API 셋을 제공할 수 있으며, 타이젠의 경우, 플랫폼별로 두 개 이상의 API 셋을 제공할 수 있다.
어플리케이션(370)은, 예를 들면, 홈(371), 다이얼러(372), SMS/MMS(373), IM(instant message)(374), 브라우저(375), 카메라(376), 알람(377), 컨택트(378), 음성 다이얼(379), 이메일(380), 달력(381), 미디어 플레이어(382), 앨범(383), 또는 시계(384) 등의 기능을 수행할 수 있는 하나 이상의 어플리케이션을 포함할 수 있다. 상기 어플리케이션(370)은 건강관리 (health care) (예: 운동량 또는 혈당 등을 측정), 또는 환경 정보 제공 (예: 기압, 습도, 또는 온도 정보 등을 제공) 등의 기능을 수행할 수 있는 어플리케이션을 포함할 수도 있다.
한 실시 예에 따르면, 어플리케이션(370)은 전자 장치 (예: 전자 장치(101))와 외부 전자 장치 사이의 정보 교환을 지원하는 어플리케이션 (이하, 설명의 편의 상, "정보 교환 어플리케이션"이라 칭함)을 포함할 수 있다. 정보 교환 어플리케이션은, 예를 들면, 외부 전자 장치에 특정 정보를 전달하기 위한 알림 전달 (notification relay) 어플리케이션, 또는 외부 전자 장치를 관리하기 위한 장치 관리 (device management) 어플리케이션을 포함할 수 있다.
예를 들면, 알림 전달 어플리케이션은 전자 장치의 다른 어플리케이션 (예: SMS/MMS 어플리케이션, 이메일 어플리케이션, 건강관리 어플리케이션, 또는 환경 정보 어플리케이션 등)에서 발생된 알림 정보를 외부 전자 장치로 전달하는 기능을 포함할 수 있다. 또한, 알림 전달 어플리케이션은, 예를 들면, 외부 전자 장치로부터 알림 정보를 수신하여 사용자에게 제공할 수 있다.
장치 관리 어플리케이션은, 예를 들면, 전자 장치와 통신하는 외부 전자 장치의 적어도 하나의 기능 (예: 외부 전자 장치 자체 (또는, 일부 구성 부품)의 턴-온/턴-오프 또는 디스플레이의 밝기 (또는, 해상도) 조절), 외부 전자 장치에서 동작하는 어플리케이션 또는 외부 전자 장치에서 제공되는 서비스 (예: 통화 서비스 또는 메시지 서비스 등)를 관리 (예: 설치, 삭제, 또는 업데이트)할 수 있다.
한 실시 예에 따르면, 어플리케이션(370)은 외부 전자 장치의 속성에 따라 지정된 어플리케이션 (예: 모바일 의료 기기의 건강관리 어플리케이션 등)을 포함할 수 있다. 한 실시 예에 따르면, 어플리케이션(370)은 외부 전자 장치로부터 수신된 어플리케이션을 포함할 수 있다. 한 실시 예에 따르면, 어플리케이션(370)은 프리로드 어플리케이션 (preloaded application) 또는 서버로부터 다운로드 가능한 제3자 어플리케이션 (third party application)을 포함할 수 있다. 도시된 실시 예에 따른 프로그램 모듈(310)의 구성요소들의 명칭은 운영 체제의 종류에 따라서 달라질 수 있다.
다양한 실시 예에 따르면, 프로그램 모듈(310)의 적어도 일부는 소프트웨어, 펌웨어, 하드웨어, 또는 이들 중 적어도 둘 이상의 조합으로 구현될 수 있다. 프로그램 모듈(310)의 적어도 일부는, 예를 들면, 프로세서 (예: 프로세서(210))에 의해 구현 (implement)(예: 실행)될 수 있다. 프로그램 모듈(310)의 적어도 일부는 하나 이상의 기능을 수행하기 위한, 예를 들면, 모듈, 프로그램, 루틴, 명령어 세트 (sets of instructions) 또는 프로세스 등을 포함할 수 있다.
본 문서에서 사용된 용어 "모듈"은, 예를 들면, 하드웨어, 소프트웨어 또는 펌웨어 (firmware) 중 하나 또는 둘 이상의 조합을 포함하는 단위를 의미할 수 있다. "모듈"은, 예를 들면, 유닛, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 바꾸어 사용 (interchangeably use)될 수 있다. "모듈"은, 일체로 구성된 부품의 최소 단위 또는 그 일부가 될 수 있다. "모듈"은 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수도 있다. "모듈"은 기계적으로 또는 전자적으로 구현될 수 있다. 예를 들면, "모듈"은, 알려졌거나 앞으로 개발될, 어떤 동작들을 수행하는 ASIC (application-specific integrated circuit) 칩, FPGAs (field-programmable gate arrays) 또는 프로그램 가능 논리 장치 (programmable-logic device) 중 적어도 하나를 포함할 수 있다.
다양한 실시 예에 따른 장치 (예: 모듈들 또는 그 기능들) 또는 방법 (예: 동작들)의 적어도 일부는, 예컨대, 프로그램 모듈의 형태로 컴퓨터로 읽을 수 있는 저장매체 (computer-readable storage media)에 저장된 명령어로 구현될 수 있다. 상기 명령어가 프로세서 (예: 프로세서(120))에 의해 실행될 경우, 상기 하나 이상의 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 읽을 수 있는 저장매체는, 예를 들면, 메모리(130)가 될 수 있다.
컴퓨터로 판독 가능한 기록 매체는, 하드디스크, 플로피디스크, 마그네틱 매체 (magnetic media)(예: 자기테이프), 광기록 매체 (optical media)(예: CD-ROM(compact disc read only memory), DVD (digital versatile disc), 자기-광 매체 (magneto-optical media)(예: 플롭티컬 디스크 (floptical disk)), 하드웨어 장치 (예: ROM(read only memory), RAM (random access memory), 또는 플래시 메모리 등) 등을 포함할 수 있다. 또한, 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 다양한 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지다.
다양한 실시 예에 따른 모듈 또는 프로그램 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 다양한 실시 예에 따른 모듈, 프로그램 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱 (heuristic)한 방법으로 실행될 수 있다. 또한, 일부 동작은 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다. 그리고 본 문서에 개시된 실시 예는 기술 내용의 설명 및 이해를 위해 제시된 것이며, 본 문서에서 기재된 기술의 범위를 한정하는 것은 아니다. 따라서, 본 문서의 범위는, 본 문서의 기술적 사상에 근거한 모든 변경 또는 다양한 다른 실시 예를 포함하는 것으로 해석되어야 한다.
도 4는 제안된 다양한 실시 예에 따른, 이미지 처리장치의 구성에 대한 일 예를 도시한 도면이다.
도 4를 참조하면, 이미지 처리장치는 하나의 렌즈(410), 분배부(420), 제1 및 제2 센서(430, 440) 및 프로세서(450)를 포함할 수 있다. 상기 프로세서(450)는 이미지 처리부(452)와 센서 구동부(454)를 포함할 수 있다. 도면에서는 이미지 처리부(452)와 센서 구동부(454)가 프로세서(450)에 포함되는 구성으로 도시되고 있으나, 프로세서(450)와 별도의 독립적인 구성이 될 수도 있다. 그리고 도면에서는 두 개의 센서를 구비한 예를 도시하고 있으나 그 이상의 센서들에 의한 구현도 가능할 수 있다. 그리고 하나의 렌즈를 추가하고, 상기 추가된 렌즈에 대응하여서도 다수의 센서들을 배치할 수 있다.
상기 렌즈(410)는 피사체로부터 반사된 빛을 굴절시켜 투명 유리체로서, 텔레비전 카메라나 필름 카메라, 사진 카메라 등 그 종류를 막론하고 카메라 몸체 앞 부분에 원통 모양으로 부착될 수 있다. 상기 렌즈(410)는 모양과 크기가 달라도 카메라의 눈으로서 피사체 모습을 재현하는 동일한 기능을 수행하는 것이 일반적이다.
상기 렌즈(410)는 그 기능에 따라 여러 종류로 구분될 수 있다. 예컨대, 초점 거리에 따라 광각 렌즈와 표준 렌즈, 망원렌즈 및 줌 렌즈 등으로 구분될 수 있다. 또한, 상기 렌즈(410)는 밝기 또는 속도 등의 특성에 따라 구분될 수도 있다. 예컨대, 상기 렌즈의 밝기 또는 속도는 최소 조리개 값 (f)과 관련된 렌즈(410)의 특성이 될 수 있다. 상기 렌즈(410)의 밝기는 최소 조리개 값 (f) (최대 조리개 개방)을 의미한다.
상기 렌즈(410)의 최대 조리개 개방 값이 클수록 (최소 조리개 f 값이 작을수록), 단위 시간당 더 많은 빛을 통과시킬 수 있다 (렌즈가 밝다). 상기 렌즈(410)가 밝을수록 빠른 셔터 속도를 확보할 수 있어, 어두운 촬영 환경 (수광량이 적은 환경)에서도 좀더 밝은 이미지를 얻을 수 있다.
상기 분배부(420)는 상기 렌즈(410)를 통해 굴절된 빛을 소정 개수의 경로로 분배할 수 있다. 예컨대, 거울 등의 매체를 이용하여 상기 렌즈(410)를 통해 굴절된 빛을 두 개의 경로들 각각으로 반사함으로써, 원하는 곳으로 동일한 빛을 전달할 수 있다.
제1 센서(430)와 제2 센서(440)는 상기 분배부(420)를 통해 공급되는 빛을 검지하고, 상기 검지한 빛을 기반으로 전기적인 이미지 신호 (이미지 프레임)를 생성할 수 있다. 상기 제1 센서(430)와 상기 제2 센서(440)를 구성하는 소자는, 금속산화물반도체 (MOS), 전하결합소자 (CCD), 또는 상보성 금속산화물반도체 (CMOS) 등을 포함할 수 있다. 그리고 상기 제1 센서(430)와 제2 센서(440)는 전기적 이미지 신호에 의해 표현되는 이미지의 종류에 따라, 흑백 이미지 센서와 컬러 이미지 센서로 구분할 수 있다. 일반적으로 센서에서 데이터 프레임을 높일 수 없는 대표적인 이유는, 센서의 수광량이 제한적이기 때문이다. 그 외에, 아날로그-디지털 변환 소자의 개수, MIPI (mobile industry processor interface)의 대역폭 (bandwidth) 등의 제한으로 인한 것은 추후 이미지 센서를 제작 시에 해결 가능한 이슈가 될 수 있다.
상기 제1 센서(430)와 상기 제2 센서(440)는 구성하는 소자 등에 의해 서로 다른 특성이 있을 수 있다. 상기 특성은 촬영된 이미지의 성질 등을 결정하는 요건으로써, 이미지의 종류 (흑백, 컬러 등), 해상도, 화각 등에 관한 특성이 될 수 있다.
예컨대, 상기 제1 센서(430)와 상기 제2 센서(440)는 서로 다른 해상도를 지원할 수 있다. 즉, 상기 제1 센서(430)는 높은 해상도 (고 해상도)를 지원하고, 상기 제2 센서(440)는 낮은 해상도 (저 해상도)를 지원할 수 있다. 또한, 상기 제1 센서(430)는 검지한 빛을 기반으로 흑백 이미지를 생성하고, 상기 제2 센서(440)는 검지한 빛을 기반으로 컬러 이미지를 생성할 수 있다. 상기 제1 센서(430)와 상기 제2 센서(440)는 서로 다른 화각에 의한 이미지를 생성할 수도 있다. 그뿐만 아니라 상기 제1 센서(430) 및/또는 상기 제2 센서(440)는 다수의 특성에서 차이가 있을 수 있다. 즉, 제1 센서(430)는 상대적으로 높은 해상도를 가지는 흑백 이미지를 얻을 수 있는 흑백 (BW) 이미지 센서일 수 있고, 상기 제2 센서(440)은 상대적으로 낮은 해상도를 가지는 컬러 이미지를 얻을 수 있는 컬러 이미지 센서일 수 있다.
예컨대, 동일한 촬영 환경 (동일한 수광량 공급)을 가정할 때, 흑백 이미지 센서는 컬러 이미지 센서에 비해 상대적으로 높은 프레임 레이트 (fps; frame per second)를 제공할 수 있다. 즉, 동일한 촬영 환경에서 동일한 시간에 획득되는 이미지 프레임은 컬러 이미지 센서보다 흑백 이미지 센서에 의해 더 많이 획득할 수 있다. 이에 반해, 흑백 이미지 센서에 의해 획득된 흑백 이미지는 컬러 이미지 센서에 의해 획득된 컬러 이미지에 비해 상대적으로 작은 데이터 양을 가진다.
상기 제1 센서(430)와 상기 제2 센서(440)에 대해서는 독립적인 촬영 조건이 설정될 수 있다. 예컨대, 상기 제1 센서(430)와 상기 제2 센서(440)에 대한 노출 값, 셔터 속도 (exposure time), 센서 감도 (ISO 특성 값), 조리개 값 등을 다르게 설정할 수 있다. 이런 경우, 제1 센서(430)로부터 얻게 되는 이미지와 제2 센서(440)로부터 얻게 되는 이미지의 특성은 다를 수 있다.
이를 활용하면, 서로 다른 촬영 조건이 설정된 제1 센서(430)와 제2 센서(440)에 의해 동일 시간 동안 낮은 해상도를 가지는 다수의 컬러 이미지와 높은 해상도를 가지는 흑백 이미지를 획득할 수 있다. 즉, 하나의 흑백 이미지의 리드 타임 (read time) 동안 다수의 촬영 조건에 의한 다수의 컬러 이미지를 촬영할 수 있다.
일 예로 극 저조도 환경에서 촬영하는 경우, 컬러 이미지 센서 (예컨대, 제2 이미지 센서(440))를 오프하고, 흑백 이미지 센서 (예컨대, 제1 이미지 센서(430))만으로 촬영을 시도할 수 있다. 이 경우, 흑백 이미지 센서 (예컨대, 제1 이미지 센서(430))에 의해 출력되는 다수의 흑백 이미지들을 합성하여 하나의 흑백 이미지가 생성될 수 있다.
상기 프로세서(450)는 수광량으로 인해 높은 프레임 레이트를 얻지 못하는 문제를 해결하기 위한 방안과, 이를 처리하기 위한 많은 연산량을 해결하기 위한 방안을 마련하고 있다.
상기 프로세서(450)는 상기 제1 센서(430)와 상기 제2 센서(440) 각각에 대해 독립적인 촬영 조건을 설정하고, 상기 제1 센서(430)와 상기 제2 센서(440)로부터 제공되는 이미지 프레임들을 이용한 컬러 합성, 영상 합성 등을 포함한 영상 정합을 수행할 수 있다.
상기 프로세서(450)를 구성하는 센서 구동부(454)는 상기 제1 센서(430)와 상기 제2 센서(440) 각각의 구동을 제어할 수 있다. 즉, 상기 센서 구동부(454)는 제1 센서(430)와 상기 제2 센서(440) 모두를 온 또는 오프 시키거나 제1 센서(430)와 상기 제2 센서(440) 중 하나만을 온 시킬 수도 있다. 상기 센서 구동부(454)는 상기 제2 센서(430)와 상기 제2 센서(440) 각각에 대한 독립적인 촬영 조건을 설정하기 위해, 상기 제2 센서(430)와 상기 제2 센서(440) 별로 노출 값, 셔터 속도, 센서 감도 (ISO 특성 값), 조리개 값 등을 설정할 수 있다.
예컨대, 상기 센서 구동부(454)는 저조도 환경에서 제1 센서(430)와 제2 센서(450)에 대한 카메라 설정 값 (노출 등의 촬영 조건)을 다르게 설정할 수 있다. 이를 기반으로 상기 이미지 처리부(452)는 다른 특성이 있는 이미지들을 얻을 수 있으며, 상기 얻어진 다른 특성이 있는 이미지들을 합성함으로써, 저조도 환경에서도 밝고 깨끗한 이미지를 획득할 수 있다. 이 경우, 상기 이미지 처리부(452)는 이미지 합성 시, 흑백 이미지가 가지는 넓은 동작 범위 (dynamic range, DR)와 컬러 이미지가 가지는 DR 및 색 재현 특성을 이용할 수 있다.
상기 센서 구동부(454)는 극 저조도 환경에서 컬러 이미지 센서인 제2 센서(440)를 오프 시키고, 흑백 이미지 센서인 제1 센서(430)를 온 시킬 수 있다. 이런 경우, 상기 이미지 처리부(452)는 제1 센서(430)에 의해 촬영된 흑백 이미지들을 합성하여 새로운 이미지를 생성할 수도 있다. 상기 제1 센서(430)는 흑백 이미지들 각각을 서로 다른 설정에 의해 촬영할 수 있다. 이를 위해, 상기 센서 구동부(454)는 센서별로 다수의 촬영 조건을 설정할 수도 있다.
상기 프로세서(450)를 구성하는 이미지 처리부(454)는 상기 제1 센서(430)로부터 제공되는 제1 이미지 프레임들과, 상기 제2 센서(440)로부터 제공되는 제2 이미지 프레임들을 사용하여 FRC 연산을 수행할 수 있다. 예컨대, 상기 FRC 연산은 복제 프레임 (duplicating frame)에 의한 방안과, 움직임 보상 (motion compensation)에 의한 방안 등이 있을 수 있다.
예컨대, 상기 이미지 처리부(452)는 제1 센서(430)로부터 상대적으로 높은 데이터 레이트를 가지는 흑백 이미지 프레임들 (소스 흑백 이미지 프레임들)을 획득하고, 제2 센서(440)로부터 상대적으로 낮은 데이터 레이트를 가지는 컬러 이미지 프레임들을 획득할 수 있다. 상기 이미지 처리부(452)는 흑백 이미지 프레임들로부터 복제 흑백 이미지 프레임들 (또는 확장 흑백 이미지 프레임들)을 구성할 수 있다. 상기 이미지 처리부(452)는 소스 흑백 이미지 프레임들, 확장 흑백 이미지 프레임들 및 컬러 이미지 프레임들을 기반으로 영상 정합을 수행할 수 있다. 상기 영상 정합은 컬러 합성, 영상 합성 등을 포함할 수 있다.
예컨대, 상기 컬러 합성은 컬러 이미지 프레임들로부터 획득한 컬러 정보를 사용하여 소스 흑백 이미지 프레임들과 확장 흑백 이미지 프레임들을 대상으로 컬러 디퓨징을 수행할 수 있다. 상기 컬러 디퓨징은 소스 흑백 이미지 프레임들과 확장 흑백 이미지 프레임들에 획득한 컬러 정보를 확산시키는 것에 의해 이루어질 수 있다.
예컨대, 상기 영상 합성은 소스 흑백 이미지 프레임들과 확장 흑백 이미지 프레임들로부터 획득한 휘도 정보를 컬러 이미지 프레임들에 적용하는 것에 의해 수행될 수 있다.
상기 컬러 합성 또는 상기 영상 합성에 의해서는 데이터 레이트를 변환한 컬러 이미지 프레임들, 즉 해상도가 향상된 컬러 이미지 프레임들을 출력 이미지로 얻을 수 있다.
상기 흑백 이미지 프레임들 (소스 흑백 이미지 프레임들)을 사용하여 복제 이미지 프레임들 (또는 확장 이미지 프레임들)을 획득하는 FRC는, 복제 프레임에 의한 방안과, 움직임 보상에 의한 방안 등이 있을 수 있다. 예컨대, 상기 FRC는 에지 블록 스케일링 (EBS: edged block scaling) 영상 포맷을 기반으로 수행될 수 있다. 상기 EBS 영상 포맷은 이미지로부터 추출된 에지 (edged), 블록 (block), 스케일링 (scaling) 각각에 대응한 정보를 기반으로 영상 압축 및 전송을 위해 정의된 영상 포맷이다. 여기서, 블록 (block, B)에 대응한 정보 (부가정보)는 컬러 이미지 프레임으로부터 획득할 수 있는 모션 벡터 (motion vector)에 관한 정보가 될 수 있다.
예컨대, 컬러 이미지에서 글로벌 모션 (global motion) 검색을 수행하고, 흑백 이미지의 에지를 추출하며, 상기 추출한 에지에 대하여 FRC를 수행함으로써, 더 정확한 모션 벡터의 추출이 가능할 수 있다.
이런 경우, 상기 이미지 처리부(450)는 FRC로 인한 연산량의 문제를 해결할 수 있어야 한다. 일 예로, 상기 이미지 처리부(450)는 컬러 이미지 프레임에 대한 다운 스케일링을 수행하고, 상기 다운 스케일링된 저 해상도의 컬러 이미지 프레임으로부터 모션 벡터를 획득하며, 상기 획득한 모션 벡터를 이용하여 글로벌 모션을 검색할 수 있다. 그리고 상기 이미지 처리부(450)는 흑백 이미지 프레임들로부터 상기 글로벌 모션 벡터를 기반으로 단순하면서 쉽게 실제 움직임 (real motion)을 검색할 수 있다. 여기에서 실제 움직임은 실제 움직임 벡터를 의미한다. 상술한 바에 의해 실제 움직임을 검색할 경우, 연산 오류 (local minima 등)로 인한 잘못된 모션 (wrong motion)을 얻게 되는 것을 방지할 수 있다.
여기서, 상기 모션 벡터는 시간의 흐름에 따른 동영상 프레임들에서의 움직임을 정의하는 방향과 크기에 상응한 값을 정의하는 것이다. 상기 모션 벡터는 글로벌 모션 벡터 (global motion vector)와 로컬 모션 벡터(local motion vector)로 구분될 수 있다. 상기 글로벌 모션 벡터는 영상 센서가 흔들리거나 이동하는 경우 또는 영상 센서가 팬 또는 틸트 기동하는 경우 두 영상 사이에 발생하는 모션 벡터를 정의한다. 상기 로컬 모션 벡터는 영상 내 물체 및 일부 영역 (예를 들면, 영상 블록)이 이동하는 경우 두 영상 사이에 발생하는 모션 벡터를 정의한다.
상술한 바에 따르면, 낮은 해상도의 컬러 이미지 프레임으로부터 글로벌 모션을 검색함으로써, 연산량을 줄일 수 있을 뿐만 아니라, 글로벌 모션이 존재하는 부분에 대해서 지역 밀집 매칭 (local dense matching)을 수행할 수 있다. 이 또한 연산 량을 줄일 수 있는 이유가 된다. 상기 지역 밀집 매칭은 연속하는 이미지 프레임들 간에 움직임의 변화량이 없는 영역을 정의함으로써, 압축 데이터 양을 줄이기 위해 사용될 수 있다.
일 실시 예에 따르면, 제1 센서(430)를 흑백 이미지 센서로 구성하고, 제2 센서(440)를 컬러 이미지 센서로 구성할 수 있다. 상기 흑백 이미지 센서는 상기 컬러 이미지 센서에 비해 대략 3배의 수광량을 제공하는 특성이 있다. 예컨대, 고해상도 (HD급)를 기준으로 흑백 이미지 센서는 480 fps를 처리할 수 있으나, 컬러 이미지 센서는 240 fps를 처리할 수 있다. 통상적으로 흑백 이미지 센서는 720fps까지 처리가 가능하나, AP 코덱 성능, ADC 개수, MIPI 대역폭에 따라 fps를 조절하는 것이 가능할 수 있다.
이 경우, 제1 센서(430)는 제2 센서(450)에 비해 상대적으로 높은 프레임 레이트에 의한 흑백 이미지 프레임들을 출력할 수 있다. 그리고 상기 제2 센서(440)는 상기 제1 센서(430)에 비해 상대적으로 낮은 프레임 레이트의 컬러 이미지 프레임들을 출력할 수 있다.
하나의 예로써, 제1 센서(430)에 상응한 흑백 이미지 센서는 제1 시간에서 피사체에 대한 제1 흑백 이미지를 출력하고, 제2 시간에서 상기 피사체에 대한 제2 흑백 이미지를 출력할 수 있다. 상기 제1 센서(430)는 제1 및 제2 흑백 이미지 외에 더 많은 흑백 이미지를 출력할 수도 있다. 상기 제1 센서(430)는 더 많은 흑백 이미지를 제1 시간 간격으로 출력할 수 있다.
제2 센서(440)에 상응한 컬러 이미지 센서는 상기 피사체에 대한 컬러 이미지를 출력할 수 있다. 상기 제2 센서(440)에 상응한 컬러 이미지는 제1 시간과 제2 시간 사이에 존재하는 제3 사간에서 상기 컬러 이미지를 출력할 수 있다. 상기 제2 센서(440)는 제2 시간 간격으로 더 많은 컬러 이미지를 출력할 수도 있다.
상기 제1 흑백 이미지와 상기 제2 흑백 이미지의 해상도는 상기 컬러 이미지의 해상도보다 상대적으로 높을 수 있다. 그렇지 않고, 상기 컬러 이미지의 해상도는 상기 제1 흑백 이미지와 상기 제2 흑백 이미지의 해상도보다 상대적으로 높을 수도 있다.
상기 프로세서(450)는 제1 흑백 이미지와 제2 흑백 이미지 및 컬러 이미지를 획득할 수 있다. 상기 프로세서(450)는 상기 제1 흑백 이미지의 적어도 일부 정보와 상기 제2 흑백 이미지의 적어도 일부 정보를 이용하여, 상기 제1 시간과 상기 제2 시간 사이에 존재하는 제3 시간에 대응한 제3 흑백 이미지를 생성할 수 있다. 상기 제1 흑백 이미지의 적어도 일부 정보는 상기 제1 흑백 이미지에 대응한 제1 엣지 정보에 의해 획득할 수 있고, 상기 제2 흑백 이미지의 적어도 일부 정보는 상기 제2 흑백 이미지에 대응한 제2 엣지 정보에 의해 획득할 수 있다.
상기 프로세서(450)는 상기 제2 센서(440)를 통해, 다른 (another) 컬러 이미지를 획득하고, 앞서 획득한 컬러 이미지와 추가로 획득한 다른 컬러 이미지를 이용하여 해당 피사체에 대응하는 모션 벡터를 획득할 수 있다. 이런 경우, 상기 프로세서(450)는 상기 모션 벡터의 적어도 일부를 이용하여, 상기 제1 시간 및 상기 제2 시간 사이에서의 제3 흑백 이미지를 생성할 수도 있다.
상기 프로세서(450)는 상기 획득한 컬러 이미지로부터 색상 정보 또는 상기 색상 정보의 일부를 획득할 수 있다. 상기 프로세서(450)는 상기 컬러 이미지로부터 획득한 색상 정보 중 적어도 일부를 기반으로 하여 제1 색상과 제2 색상을 결정할 수 있다. 상기 프로세서(450)는 제1 흑백 이미지에 상기 결정한 제1 색상을 합성하여 제1 합성 컬러 이미지를 생성할 수 있다. 상기 프로세서(450)는 제2 흑백 이미지에 상기 결정한 제2 색상을 합성하여 제2 합성 컬러 이미지를 생성할 수 있다. 상기 프로세서(450)는 생성한 제1 및 제2 합성 컬러 이미지를 메모리에 비디오 데이터로 저장할 수 있다. 상기 프로세서(450)는 생성한 제1 및 제2 합성 컬러 이미지를 화면을 통해 순차적으로 표시할 수도 있다.
상기 제3 흑백 이미지를 생성하는 경우, 상기 프로세서(450)는 색상 정보, 또는 제1 컬러 이미지 또는 제2 컬러 이미지와 연관된 다른 색상 정보에 기반하여 결정된 제3 색상을 상기 제3 흑백 이미지에 합성하여 제3 컬러 이미지를 생성할 수도 있다. 그뿐만 아니라, 상기 프로세서(450)는 제1 컬러 이미지의 적어도 일부 정보와 제2 컬러 이미지의 적어도 일부 정보를 이용하여, 제1 시간과 제2 시간 사이에 존재하는 제3 시간에서의 제3 컬러 이미지를 생성할 수도 있다.
도 5는 제안된 다양한 실시 예에 따른, 이미지 처리장치의 구성에 대한 다른 일 예를 도시한 도면이다.
도 5에서 도시하고 있는 이미지 처리장치는 도 4에서 도시한 이미지 처리장치를 구성하는 분배부(420)를 대신하여 센서별로 독립된 렌즈를 구비하는 구조를 가진다.
일 실시 예에 따르면, 제1 센서(530)와 제2 센서(540) 각각에 대응하여 제1 렌즈(510)와 제2 렌즈(520)를 독립적으로 구성할 수 있다. 상기 제1 렌즈(510)와 상기 제2 렌즈(520)는 모양과 크기가 다를 수 있으며, 그 기능에 따라 여러 종류로 구분될 수 있다. 예컨대, 초점 거리에 따라 광각 렌즈와 표준 렌즈, 망원렌즈 및 줌 렌즈 등으로 구분될 수 있다. 또한, 상기 제1 및 제2 렌즈들(510, 520)은 밝기 또는 속도 등의 특성에 따라 구분될 수도 있다. 예컨대, 상기 렌즈의 밝기 또는 속도는 최소 조리개 값 (f)과 관련된 렌즈의 특성이 될 수 있다. 상기 제1 및 제2 렌즈들(510, 520)의 밝기는 최소 조리개 값 (f) (최대 조리개 개방)을 의미한다.
상기 제1 및 제2 렌즈들(510, 520)의 최대 조리개 개방 값이 클수록 (최소 조리개 f 값이 작을수록), 단위 시간당 더 많은 빛을 통과시킬 수 있다 (렌즈가 밝다). 상기 제1 및 제2 렌즈들(510, 520)이 밝을수록 빠른 셔터 속도를 확보할 수 있어, 어두운 촬영 환경 (수광량이 적은 환경)에서도 좀더 밝은 이미지를 얻을 수 있다..
제안된 다양한 실시 예에 따르면, 제1 렌즈(510)와 제2 렌즈(520)는 동일한 특성을 가질 수도 있지만, 그렇지 않을 수도 있다. 예컨대, 제1 렌즈(510)는 광각 렌즈이고, 제2 렌즈(520)는 망원렌즈일 수 있다. 상기 제1 렌즈(510)와 상기 제2 렌즈(520)는 그 종류에 따라 피사체로부터 반사된 빛을 굴절시키는 정도, 빛의 량 등이 상이할 수 있다.
그 외의 구성들, 즉 제1 및 제2 센서(530, 540)와 이미지 처리부(552)와 센서 구동부(554)를 포함하는 프로세서(550)의 기능 및 그에 따른 동작은 도 4에서 대응하는 구성들과 동일할 수 있다.
한편, 도시하고 있지는 않지만, 도 1 및 도 2에서 렌즈의 개수 및 센서의 개수는 제안된 다양한 실시 예들을 위해 한정되지는 않는다. 즉, 제안된 다양한 실시 예들은 특정 개수의 렌즈 또는 특정 개수의 센서에 대해서만 제한적으로 적용될 수 있는 것은 아니다. 또한, 도 1에서 제안된 구조와 도 2에서 제안된 구조가 결합한 구조에 의해 구현하는 것도 가능할 수 있다. 즉, 세 개 이상의 렌즈들 중 하나의 렌즈와 분배부를 사용하여 복수의 센서들로 빛을 공급하고, 나머지 두 개 이상의 렌즈들 각각이 대응하는 센서로 빛을 공급하는 구조로 이미지 처리장치를 구성하는 것도 가능할 수 있다.
도 6은 제안된 다양한 실시 예에 따른, 이미지 처리를 위한 블록 구성을 도시한 도면이다.
도 6을 참조하면, 이미지 처리부(450, 550)는 프레임 레이트 변환 모듈(610)과, 영상 정합 모듈(620)을 포함할 수 있다.
상기 프레임 레이트 변환 모듈(610)은 상대적으로 높은 데이터 레이트를 가지는 흑백 이미지 프레임들 (소스 흑백 이미지 프레임들)을 사용하여 복제 이미지 프레임들 (또는 확장 이미지 프레임들)을 획득할 수 있다.
상기 영상 정합 모듈(620)은 상대적으로 낮은 데이터 레이트를 가지는 컬러 이미지 프레임들을 사용하여 영상 정합 후, 상기 소스 흑백 이미지 프레임들과 상기 확장 이미지 프레임들을 대상으로 영상 정합을 수행할 수 있다. 상기 영상 정합은 예를 들면, 컬러 이미지 프레임으로부터 획득한 컬러 정보를 사용하여 소스 흑백 이미지 프레임들과 확장 이미지 프레임들에 컬러를 추가하는 컬러 디퓨징 (color diffusing)을 수행하는 컬러 합성을 포함할 수 있다. 또한, 상기 영상 정합은 예들 들면, 소스 흑백 이미지 프레임들과 확장 이미지 프레임들로부터 획득한 휘도 정보를 사용하여 컬러 이미지 프레임의 해상도를 높이는 영상 합성을 포함할 수도 있다.
상기 이미지 처리부(450, 550)는 영상 정합의 결과로 데이터 레이트를 변환한 컬러 이미지 프레임들을 출력 이미지로 얻을 수 있다.
일 실시 예에 따르면, 상기 프레임 레이트 변환 모듈(610)은 흑백 이미지 프레임들 (소스 흑백 이미지 프레임들)을 사용하여 복제 이미지 프레임들 (또는 확장 이미지 프레임들)을 획득하는 FRC를 수행할 수 있다. 상기 프레임 레이트 변환 모듈(610)은 복제 프레임에 의한 방안과, 움직임 보상에 의한 방안 등에 의해, ERC를 수행할 수 있다.
예컨대, 상기 프레임 레이트 변환 모듈(610)은 EBS를 기반으로 FRC를 수행할 수 있다. 상기 EBS는 컬러 이미지에서 글로벌 모션 검색을 수행하고, 흑백 이미지의 에지를 추출하며, 상기 추출한 에지에 대하여 FRC를 수행함으로써, 더 정확한 모션 벡터를 추출하는 것이 가능할 수 있다.
상기 영상 정합 모듈(620)은 컬러 이미지 프레임에 대한 다운 스케일링을 수행하고, 상기 다운 스케일링된 저 해상도의 컬러 이미지 프레임으로부터 모션 벡터를 획득하며, 상기 획득한 모션 벡터를 이용하여 클로벌 모션을 검색할 수 있다. 그리고 상기 영상 정합 모듈(620)은 흑백 이미지 프레임들로부터 상기 글로벌 모션을 기준으로 심플 리얼 모션을 검색할 수 있다.
상술한 바에 따르면, 낮은 해상도의 컬러 이미지 프레임으로부터 글로벌 모션을 검색함으로써, 연산량을 줄일 수 있을 뿐만 아니라, 글로벌 모션이 존재하는 부분에 대해서 지역 밀집 매칭을 수행할 수 있다. 이 또한 연산량을 줄일 수 있는 이유가 된다.
도 7은 제안된 다양한 실시 예에 따른, 이미지 처리 절차에 대해 제어 흐름을 도시한 도면이다.
도 7을 참조하면, 이미지 처리장치 (예로써 제1 센서(430, 530) 또는 제2 센서(440, 540)는 710단계에서 촬영 이미지를 입력받을 수 있다. 상기 촬영 이미지는 하나 또는 다수의 렌즈에 의해 굴절된 빛이 다수의 센서에 의해 검지됨을 의미할 수 있다. 상기 검지된 빛은 상기 다수의 센서 각각에 의해 전기적 이미지 신호 (이미지 프레임들)로 출력될 수 있다.
상기 이미지 처리장치는 712단계에서 상기 다수의 센서 중 하나의 센서를 사용하여 흑백 이미지 프레임을 추출할 수 있다. 상기 이미지 처리장치는 714단계에서 추출한 흑백 이미지 프레임들을 사용하여 프레임 레이트 변환을 수행할 수 있다.
일 실시 예에 따르면, 상대적으로 높은 데이터 레이트를 가지는 흑백 이미지 프레임들 (소스 흑백 이미지 프레임들)을 사용하여 복제 이미지 프레임들 (또는 확장 이미지 프레임들)을 획득할 수 있다. 즉, 흑백 이미지 프레임들 (소스 흑백 이미지 프레임들)을 사용하여 복제 이미지 프레임들 (또는 확장 이미지 프레임들)을 획득하는 FRC를 수행할 수 있다. 상기 FRC는 복제 프레임에 의한 방안과, 움직임 보상에 의한 방안 등에 의해 수행할 수 있다.
예컨대, FRC는 EBS를 기반으로 수행할 수 있다. 상기 EBS는 컬러 이미지에서 글로벌 모션 검색을 수행하고, 흑백 이미지의 에지를 추출하며, 상기 추출한 에지에 대하여 FRC를 수행함으로써, 더 정확한 모션 벡터를 추출하는 것이 가능할 수 있다.
상기 이미지 처리장치는 716단계에서 상기 다수의 센서 중 하나의 센서를 사용하여 컬러 이미지 프레임을 추출할 수 있다. 상기 이미지 처리장치는 718단계에서 추출한 컬러 이미지 프레임들을 사용하여 모션 백터를 검색할 수 있다.
예컨대, 상기 이미지 처리장치는 상대적으로 낮은 데이터 레이트를 가지는 컬러 이미지 프레임들을 사용하여 영상 정합 후, 상기 소스 흑백 이미지 프레임들과 상기 확장 이미지 프레임들을 대상으로 컬러 디퓨징을 수행할 수 있다.
일 실시 예에 따르면, 컬러 이미지 프레임에 대한 다운 스케일링을 수행하고, 상기 다운 스케일링된 저 해상도의 컬러 이미지 프레임으로부터 모션 벡터를 획득할 수 있다. 그리고 상기 획득한 모션 벡터를 이용하여 글로벌 모션 벡터를 검색할 수 있다. 이때, 심플 리얼 모션은 흑백 이미지 프레임들로부터 글로벌 모션 벡터를 기준으로 검색할 수 있다.
상기 이미지 처리장치는 720단계에서 상기 프레임 레이트의 변환이 이루어진 흑백 이미지 프레임들에 대해 채색을 상기 검색이 이루어진 모션 벡터를 기반으로 수행할 수 있다. 이로써, 상기 이미지 처리장치는 데이터 레이트를 변환한 컬러 이미지 프레임들을 출력 이미지로 얻을 수 있다.
도 8은 제안된 다양한 실시 예에 따른, 전자장치에서의 두 개의 이미지 센서를 사용한 촬영 예를 도시한 도면이다.
도 8을 참조하면, 위쪽 두 개의 컬러 이미지 (a, b)는 노출 조건을 다르게 하여 컬러 이미지 센서에 의해 촬영된 것이며, 아래쪽 한 개의 흑백 이미지 (c)는 흑백 이미지 센서에 의해 촬영된 것이다. 이와 같이, 동일한 시간에 하나의 흑백 이미지 (c)에 대응하여 두 개의 컬러 이미지들 (a, b)을 촬영할 수 있는 것은, 흑백 이미지와 컬러 이미지의 해상도 차이로 인한 것이다. 즉, 흑백 이미지는 컬러 이미지에 비해 상대적으로 높은 해상도를 가질 수 있다. 이 경우, 해상도가 높은 흑백 이미지에 대한 리드 타임은 해상도가 낮은 컬러 이미지에 대한 리드 타임에 비해 상대적으로 길 수 있다. 따라서, 한 개의 흑백 이미지 (c)에 대한 리드 타임 동안 두 개의 컬러 이미지들 (a, b)을 촬영하는 것이 가능할 수 있는 것이다.
상기 두 개의 컬러 이미지들을 살펴보면, 첫 번째 컬러 이미지 a에 비해 두 번째 컬러 이미지 b의 촬영을 위한 노출 시간이 길게 설정되었음을 확인할 수 있다.
도 9는 제안된 다양한 실시 예에 따른, 전자장치에서 이미지 합성 예를 도시한 도면이다.
도 9를 참조하면, 하나의 합성 이미지 d는 하나의 흑백 이미지 c에 두 개의 컬러 이미지 a 및 b를 합성하여 생성할 수 있다. 상기 하나의 흑백 이미지 c의 동작 범위 (DR)가 두 개의 컬러 이미지 a와 b의 동작 범위 (DR)에 비해 상대적으로 넓음을 알 수 있다. 그리고 두 개의 컬러 이미지 a와 b 중 컬러 이미지 b의 동작 범위가 컬러 이미지 a의 동작 범위에 비해 넓음을 알 수 있다.
예컨대, 상기 하나의 합성 이미지 d는 하나의 흑백 이미지 c로부터 밝기 정보를 획득하고, 두 개의 컬러 이미지 a와 b로부터 색차 정보를 획득하며, 상기 획득한 밝기 정보 및 색차 정보를 사용하여 생성할 수 있다.
도 10은 제안된 다양한 실시 예에 따른, 전자장치에서 이미지 합성 절차를 도시한 도면이다.
도 10을 참조하면, 저조도 상황에서의 이미지 합성 절차는 정보 추출 단계 (1010)와 이미지 결합 단계 (1020)로 이루어질 수 있다.
상기 정보 추출 단계 (1010)는 짧은 노출 시간에 의해 촬영된 흑백 이미지로부터 밝기 정보를 추출 (1012)하고, 긴 노출 시간에 의해 촬영된 다수의 컬러 이미지로부터 색차 정보를 추출 (1016)하는 동작을 수행할 수 있다. 이를 위해, 흑백 이미지를 촬영할 이미지 센서에 대해서는 짧은 노출 시간을 위한 설정 (노출 및 셔터 속도 등)이 이루어지고, 다수의 컬러 이미지를 촬영할 이미지 센서에 대해서는 긴 노출 시간을 위한 설정 (노출 및 셔터 속도 등)이 이루어질 수 있다. 그리고, 상기 흑백 이미지의 촬영과 상기 다수의 컬러 이미지의 촬영은 거의 유사한 시간 동안에 이루어질 수 있어야 할 것이다.
만약 조도가 매우 낮다면, 여러 장의 이미지를 촬영하고, 상기 촬영된 여러 장의 이미지를 사용하여 밝기를 향상시키는 절차를 수행할 수 있다 (1014). 이는 흑백 이미지에만 적용되는 것이 아니라 컬러 이미지의 촬영 시에도 동일하게 적용될 수 있다. 그리고 조도가 낮을 경우, 컬러 이미지 센서에 대해서는 긴 노출이 이루어지도록 촬영 조건을 설정할 수 있다. 그뿐만 아니라, 컬러 이미지 센서에 대해 다수의 촬영 조건을 설정하고, 각 촬영 조건에 의한 컬러 이미지를 촬영하도록 할 수 있다. 이런 경우, 다른 촬영 조건에 의해 얻어진 다수의 컬러 이미지를 활용하여 향상된 품질의 컬러 이미지를 획득할 수도 있다.
하지만, 긴 노출을 요구하는 컬러 이미지 센서의 경우, 극 저조도 환경에서는 그 동작이 차단될 수도 있다. 이 경우, 흑백 이미지 센서만을 사용하여 서로 다른 조건에 의해 촬영된 다수의 흑백 이미지를 획득하도록 하고, 상기 다수의 흑백 이미지를 기반으로 향상된 품질의 흑백 이미지를 생성할 수도 있다.
도 11은 제안된 다양한 실시 예에 따른, 이미지 처리 결과에 대한 예를 도시한 도면이다.
도 11을 참조하면, 좌측 두 개의 이미지는 저조도 환경에서 컬러 이미지 센서와 흑백 이미지 센서에 의해 획득된 컬러 이미지와 흑백 이미지의 예이고, 우 측 두 개의 이미지는 제안된 실시 예에 따른 이미지 처리 후에 얻은 결과 이미지의 예이다. 상기 이미지 처리 이전의 이미지에 비해 이미지 처리 후의 결과 이미지가 좀 더 밝고 깨끗함을 확인할 수 있다.
도 12는 제안된 다양한 실시 예에 따른, 전자장치에서의 이미지 처리를 위한 제어 흐름을 도시한 도면이다.
도 12를 참조하면, 전자장치(예: 프로세서(120))는 제1 이미지 센서를 이용하여 다수의 흑백 이미지를 획득한다 (1210단계). 예컨대, 상기 전자장치는 제1 시간에서 피사체에 대한 제1 흑백 이미지를 획득하고, 제2 시간에서 상기 피사체에 대한 제2 흑백 이미지를 획득할 수 있다. 상기 전자장치는 제1 이미지 센서를 통해 제1 및 제2 흑백 이미지 외에 더 많은 흑백 이미지를 출력할 수도 있다. 즉, 상기 전자장치는 제1 이미지 센서를 이용하여 제1 시간 간격으로 더 많은 흑백 이미지를 획득할 수 있다.
상기 전자장치는 상기 제1 흑백 이미지의 적어도 일부 정보와 상기 제2 흑백 이미지의 적어도 일부 정보를 이용하여, 상기 제1 시간과 상기 제2 시간 사이에 존재하는 임의의 시간에서의 제3 흑백 이미지를 생성할 수 있다. 상기 전자장치는 제1 흑백 이미지의 적어도 일부 정보를 상기 제1 흑백 이미지에 대응한 제1 엣지 정보에 의해 획득할 수 있다. 상기 전자장치는 제2 흑백 이미지의 적어도 일부 정보를 상기 제2 흑백 이미지에 대응한 제2 엣지 정보에 의해 획득할 수 있다.
상기 전자장치는 제2 이미지 센서를 이용하여 상기 피사체에 대한 컬러 이미지를 획득한다 (1212단계). 상기 전자장치는 상기 컬러 이미지를 제1 및 제2 흑백 이미지를 획득한 제1 시간과 제2 시간 사이의 임의의 시간에서 획득할 수 있다. 상기 전자장치는 제2 시간 간격으로 더 많은 컬러 이미지를 획득할 수도 있다.
상기 전자장치는 상기 제2 이미지 센서를 통해, 다른 (another) 컬러 이미지를 획득할 수 있다. 이런 경우, 상기 전자장치는 앞서 획득한 컬러 이미지와 추가로 획득한 다른 컬러 이미지를 이용하여 해당 피사체에 대응하는 모션 벡터를 획득할 수 있다. 상기 전자장치는 상기 모션 벡터의 적어도 일부를 이용하여, 제1 시간과 제2 시간 사이에서의 제3 흑백 이미지를 생성할 수도 있다.
상기 제1 이미지 센서 (흑백 이미지 센서)는 상기 제2 이미지 센서 (컬러 이미지 센서)에 비해 대략 3배의 수광 량을 제공하는 특성을 가진다. 예컨대, 고해상도 (HD급)를 기준으로 흑백 이미지 센서는 480 fps를 처리할 수 있으나, 컬러 이미지 센서는 240 fps를 처리할 수 있다. 통상적으로 흑백 이미지 센서는 720 fps까지 처리할 수 있으나, AP 코덱 성능, ADC 개수, MIPI 대역폭에 따라 fps를 조절하는 것이 가능할 수 있다.
이 경우, 제1 이미지 센서는 제2 이미지 센서에 비해 상대적으로 높은 프레임 레이트에 의한 흑백 이미지 프레임들을 출력할 수 있다. 그리고 상기 제2 이미지 센서는 상기 제1 이미지 센서에 비해 상대적으로 낮은 프레임 레이트의 컬러 이미지 프레임들을 출력할 수 있다.
상기 전자장치는 제1 흑백 이미지와 제2 흑백 이미지 및 컬러 이미지를 획득할 수 있다. 상기 제1 흑백 이미지와 상기 제2 흑백 이미지의 해상도는 상기 컬러 이미지의 해상도보다 상대적으로 높을 수 있다. 그렇지 않고, 상기 컬러 이미지의 해상도는 상기 제1 흑백 이미지와 상기 제2 흑백 이미지의 해상도보다 상대적으로 높을 수도 있다.
상기 전자장치는 획득한 컬러 이미지로부터 색상 정보 또는 상기 색상 정보의 일부를 획득할 수 있다 (1214단계). 상기 전자장치는 상기 획득한 색상 정보 또는 상기 색상 정보의 일부를 이용한 영상 정합을 통해, 다수의 합성 컬러 이미지를 생성할 수 있다 (1216단계).
예컨대, 상기 전자장치는 획득한 색상 정보 중 적어도 일부를 기반으로 제1 색상과 제2 색상을 결정할 수 있다. 상기 전자장치는 제1 흑백 이미지에 상기 결정한 제1 색상을 합성하여 제1 합성 컬러 이미지를 생성할 수 있다. 상기 전자장치는 제2 흑백 이미지에 상기 결정한 제2 색상을 합성하여 제2 합성 컬러 이미지를 생성할 수 있다.
상기 전자장치는 상기 생성한 제1 및 제2 합성 컬러 이미지를 메모리에 비디오 데이터로 저장할 수 있다 (1218단계). 상기 전자장치는 상기 생성한 제1 및 제2 합성 컬러 이미지를 화면을 통해 순차적으로 표시할 수도 있다.
상기 제3 흑백 이미지를 생성하는 경우, 상기 전자장치는 색상 정보, 또는 제1 컬러 이미지 또는 제2 컬러 이미지와 연관된 다른 색상 정보에 기반하여 결정된 제3 색상을 상기 제3 흑백 이미지에 합성하여 제3 컬러 이미지를 생성할 수도 있다. 그뿐만 아니라, 상기 전자장치는 제1 컬러 이미지의 적어도 일부 정보와 제2 컬러 이미지의 적어도 일부 정보를 이용하여, 제1 시간과 제2 시간 사이에 존재하는 제3 시간에서의 제3 컬러 이미지를 생성할 수도 있다.
한편, 본 개시의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 개시에서 제안한 다양한 실시 예에 따른 범위에서 벗어나지 않는 한도 내에서 당해 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 여러 가지 변형에 의한 실시할 수 있음은 물론이다. 그러므로 본 개시에 따른 범위는 설명된 실시 예에 국한되어 정해져서는 안 되며, 후술하는 특허 청구의 범위뿐만 아니라, 이 특허 청구의 범위와 균등한 것들에 의해 정해져야 한다. 그뿐만 아니라, 이러한 변형 실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.

Claims (20)

  1. 전자장치에 있어서,
    메모리;
    제 1 흑백 (black and white: BW) 이미지 센서;
    제 2 이미지 센서; 및
    프로세서를 포함하되,
    상기 프로세서는,
    상기 제 1 BW 이미지 센서를 이용하여, 지정된 시간 동안 피사체에 대한 제 1 흑백 이미지의 제 1 해상도를 획득하고,
    상기 제 1 흑백 이미지를 획득하면서, 상기 제 2 이미지 센서를 사용하여 제 1 노출 시간에 기초하여 상기 피사체의 제 2 해상도를 가지는 제 1 컬러 이미지 및 제 2 노출 시간에 기초하여 상기 피사체의 상기 제 2 해상도를 가지는 제 2 컬러 이미지를 획득하고 - 상기 제 1 해상도는 상기 제 2 해상도보다 높은 값을 가짐-,
    상기 제 1 컬러 이미지 및 상기 제 2 컬러 이미지를 기반으로, 상기 제 1 흑백 이미지에 상응하는 컬러 정보를 획득하고,
    상기 컬러 정보를 기반으로 결정된 색상 및 상기 제 1 흑백 이미지를 합성하여 제 3 컬러 이미지를 획득하고,
    상기 제 3 컬러 이미지를 상기 메모리에 비디오 데이터로 저장하도록 설정된 전자 장치.
  2. 삭제
  3. 제 1 항에 있어서, 상기 프로세서는,
    상기 제 1 BW 이미지 센서를 통하여, 제 1 시간에서 제 2 흑백 이미지 및 제 2 시간에서 제 3 흑백 이미지를 포함하는 복수의 흑백 이미지들을 획득하고, 및
    상기 복수의 흑백 이미지들을 기초로 제 4 흑백 이미지를 획득하도록 더 설정되는 전자 장치.
  4. 삭제
  5. 제 1 항에 있어서, 상기 프로세서는,
    상기 프로세서와 기능적으로 연결된 디스플레이를 통하여, 상기 제 3 컬러 이미지를 표시하도록 더 설정된 전자 장치.
  6. 제 3 항에 있어서, 상기 프로세서는,
    상기 제 2 흑백 이미지의 적어도 일부 정보 및 상기 제 3 흑백 이미지의 적어도 일부 정보를 이용하여, 상기 제 1 시간 및 상기 제 2 시간 사이의 제 3 시간에 대응하는 상기 제 4 흑백 이미지를 획득하도록 더 설정된 전자 장치.
  7. 제 6 항에 있어서, 상기 프로세서는,
    상기 제 2 흑백 이미지에 대응하는 제 1 엣지 (edge) 정보를 상기 제 2 흑백 이미지의 상기 적어도 일부 정보로 획득하고, 상기 제 3 흑백 이미지에 대응하는 제 2 엣지 정보를 상기 제 3 흑백 이미지의 상기 적어도 일부 정보로 획득하도록 더 설정된 전자 장치.
  8. 삭제
  9. ◈청구항 9은(는) 설정등록료 납부시 포기되었습니다.◈
    제 3 항에 있어서, 상기 프로세서는,
    상기 제 1 컬러 이미지 및 상기 제 2 컬러 이미지를 이용하여 상기 피사체에 대응하는 모션 벡터 (motion vector)를 획득하고, 및
    상기 모션 벡터의 적어도 일부를 이용하여, 상기 제 1 시간 및 상기 제 2 시간 사이의 제 3 시간에 대응하는 제 5 흑백 이미지를 획득하도록 더 설정된 전자 장치.
  10. 제 3 항에 있어서, 상기 프로세서는,
    상기 제 1 컬러 이미지의 적어도 일부 정보 및 상기 제 2 컬러 이미지의 적어도 일부 정보를 이용하여, 상기 제 1 시간 및 상기 제 2 시간 사이의 제 3 시간에 대응하는 제 4 컬러 이미지를 획득하도록 설정된 전자 장치.
  11. 제 1 흑백 (black and white: BW) 이미지 센서 및 제 2 이미지 센서를 포함하는 전자 장치에서의 동작 방법에 있어서,
    상기 제 1 BW 이미지 센서를 이용하여, 지정된 시간 동안 피사체에 대한 제 1 해상도를 가지는 제 1 흑백 이미지를 획득하는 동작;
    상기 제 1 흑백 이미지를 획득하면서, 상기 제 2 이미지 센서를 사용하여 제 1 노출 시간에 기초하여 상기 피사체의 제 2 해상도를 가지는 제 1 컬러 이미지 및 제 2 노출 시간에 기초하여 상기 피사체의 상기 제 2 해상도를 가지는 제 2 컬러 이미지를 획득하는 동작 - 상기 제 1 해상도는 상기 제 2 해상도보다 높은 값을 가짐-;
    상기 제 1 컬러 이미지 및 상기 제 2 컬러 이미지를 기반으로, 상기 제 1 흑백 이미지에 상응하는 컬러 정보를 획득하는 동작;
    상기 컬러 정보를 기반으로 결정된 색상 및 상기 제 1 흑백 이미지를 합성하여 제 3 컬러 이미지를 획득하는 동작; 및
    상기 제 3 컬러 이미지를 메모리에 비디오 데이터로 저장하는 동작을 포함하는 방법.
  12. 삭제
  13. ◈청구항 13은(는) 설정등록료 납부시 포기되었습니다.◈
    제 11 항에 있어서,
    상기 제 1 BW 이미지 센서를 통하여, 제 1 시간에서 제 2 흑백 이미지 및 제 2 시간에서 제 3 흑백 이미지를 포함하는 복수의 흑백 이미지들을 획득하는 동작; 및
    상기 복수의 흑백 이미지들을 기초로 제 4 흑백 이미지를 획득하는 동작을 더 포함하는 방법.
  14. 삭제
  15. ◈청구항 15은(는) 설정등록료 납부시 포기되었습니다.◈
    제 11 항에 있어서,
    상기 전자 장치와 기능적으로 연결된 디스플레이를 통하여, 상기 제 3 컬러 이미지를 표시하는 동작을 더 포함하는 방법.
  16. ◈청구항 16은(는) 설정등록료 납부시 포기되었습니다.◈
    제 13 항에 있어서, 상기 제 4 흑백 이미지를 획득하는 동작은
    상기 제 2 흑백 이미지의 적어도 일부 정보 및 상기 제 3 흑백 이미지의 적어도 일부 정보를 이용하여, 상기 제 1 시간 및 상기 제 2 시간 사이의 제 3 시간에 대응하는 상기 제 4 흑백 이미지를 획득하는 동작을 포함하는 방법.
  17. 제 11 항에 있어서,
    상기 제 1 컬러 이미지 및 상기 제 2 컬러 이미지를 이용하여 상기 피사체에 대응하는 모션 벡터 (motion vector)를 획득하는 동작; 및
    상기 모션 벡터의 적어도 일부를 이용하여, 제 5 흑백 이미지를 획득하는 동작을 더 포함하는 방법.
  18. 제 17항에 있어서,
    상기 피사체는 하나 이상의 객체들을 포함하고,
    상기 제 5 흑백 이미지를 상기 획득하는 동작은, 상기 모션 벡터의 상기 적어도 일부를 이용하여, 상기 제 5 흑백 이미지에서 상기 하나 이상의 객체들 중 선택된 객체에 대응하는 영역을 결정하는 동작을 포함하는 방법.
  19. ◈청구항 19은(는) 설정등록료 납부시 포기되었습니다.◈
    제 13 항에 있어서,
    상기 제 1 컬러 이미지 및 상기 제 2 컬러 이미지를 적어도 일부 이용하여, 상기 제 1 시간 및 상기 제 2 시간 사이의 제 3 시간에 대응하는 제 4 컬러 이미지를 획득하는 동작을 더 포함하는 방법.
  20. 제 1 흑백 (black and white: BW) 이미지 센서 및 제 2 이미지 센서를 포함하는 전자 장치에 포함되는 동작을 실행시키기 위한 프로그램을 기록한 비-일시적 컴퓨터 판독 가능한 기록 매체에 있어서,
    상기 제 1 BW 이미지 센서를 이용하여, 지정된 시간 동안 피사체에 대한 제 1 해상도를 가지는 제 1 흑백 이미지를 획득하는 동작;
    상기 제 1 흑백 이미지를 획득하면서, 상기 제 2 이미지 센서를 사용하여 제 1 노출 시간에 기초하여 상기 피사체의 제 2 해상도를 가지는 제 1 컬러 이미지 및 제 2 노출 시간에 기초하여 상기 피사체의 상기 제 2 해상도를 가지는 제 2 컬러 이미지를 획득하는 동작 - 상기 제 1 해상도는 상기 제 2 해상도보다 높은 값을 가짐-;
    상기 제 1 컬러 이미지 및 상기 제 2 컬러 이미지를 기반으로, 상기 제 1 흑백 이미지에 상응하는 컬러 정보를 획득하는 동작;
    상기 컬러 정보를 기반으로 결정된 색상 및 상기 제 1 흑백 이미지를 합성하여 제 3 컬러 이미지를 획득하는 동작;
    상기 제 3 컬러 이미지를 메모리에 비디오 데이터로 저장하는 동작을 실행시키기 위한 프로그램을 기록한 비-일시적 컴퓨터 판독 가능한 기록 매체.
KR1020160013861A 2016-02-04 2016-02-04 이미지 처리장치 및 방법 KR102489279B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020160013861A KR102489279B1 (ko) 2016-02-04 2016-02-04 이미지 처리장치 및 방법
PCT/KR2017/001079 WO2017135675A1 (ko) 2016-02-04 2017-02-01 이미지 처리장치 및 방법
US16/073,682 US11195304B2 (en) 2016-02-04 2017-02-01 Image processing apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160013861A KR102489279B1 (ko) 2016-02-04 2016-02-04 이미지 처리장치 및 방법

Publications (2)

Publication Number Publication Date
KR20170092772A KR20170092772A (ko) 2017-08-14
KR102489279B1 true KR102489279B1 (ko) 2023-01-18

Family

ID=59500960

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160013861A KR102489279B1 (ko) 2016-02-04 2016-02-04 이미지 처리장치 및 방법

Country Status (3)

Country Link
US (1) US11195304B2 (ko)
KR (1) KR102489279B1 (ko)
WO (1) WO2017135675A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102632901B1 (ko) * 2019-01-11 2024-02-06 삼성전자주식회사 이미지 센서의 프레임 레이트를 제어하기 위한 전자 장치 및 그에 관한 방법
CN112991188B (zh) * 2019-12-02 2023-06-27 RealMe重庆移动通信有限公司 图像处理方法及装置、存储介质、电子设备
KR102654700B1 (ko) * 2020-01-09 2024-04-03 한화비전 주식회사 적어도 하나의 이미지 센서를 포함하는 카메라
US11689820B2 (en) * 2021-01-06 2023-06-27 GM Global Technology Operations LLC Combining grayscale scanned images with color image to create high-resolution overlay images in vehicles
CN115460386A (zh) * 2022-08-31 2022-12-09 武汉精立电子技术有限公司 一种利用黑白相机获取彩色图像的方法及系统
CN116528040B (zh) * 2023-07-03 2023-09-05 清华大学 基于复眼智能相机的图像超分辨率重建方法、装置及相机

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090285476A1 (en) * 2008-05-19 2009-11-19 Won-Hee Choe Apparatus and method for combining images
US20130335599A1 (en) * 2010-10-22 2013-12-19 University Of New Brunswick Camera Imaging Systems and Methods
US20150172539A1 (en) * 2013-12-17 2015-06-18 Amazon Technologies, Inc. Distributing processing for imaging processing
WO2015118370A1 (en) * 2014-02-04 2015-08-13 Intel Corporation Techniques for frame repetition control in frame rate up-conversion

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8130278B2 (en) 2008-08-01 2012-03-06 Omnivision Technologies, Inc. Method for forming an improved image using images with different resolutions
CN102959941B (zh) 2010-07-02 2015-11-25 索尼电脑娱乐公司 信息处理系统、信息处理装置及信息处理方法
US8761507B1 (en) * 2012-08-02 2014-06-24 Google Inc. Bilateral filter optimization
JP2015115922A (ja) 2013-12-16 2015-06-22 オリンパス株式会社 撮像装置および撮像方法
US11122180B2 (en) 2014-05-02 2021-09-14 Dentsply Sirona Inc. Systems, methods, apparatuses, and computer-readable storage media for collecting color information about an object undergoing a 3D scan
US20170186223A1 (en) * 2015-12-23 2017-06-29 Intel Corporation Detection of shadow regions in image depth data caused by multiple image sensors

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090285476A1 (en) * 2008-05-19 2009-11-19 Won-Hee Choe Apparatus and method for combining images
US20130335599A1 (en) * 2010-10-22 2013-12-19 University Of New Brunswick Camera Imaging Systems and Methods
US20150172539A1 (en) * 2013-12-17 2015-06-18 Amazon Technologies, Inc. Distributing processing for imaging processing
WO2015118370A1 (en) * 2014-02-04 2015-08-13 Intel Corporation Techniques for frame repetition control in frame rate up-conversion

Also Published As

Publication number Publication date
KR20170092772A (ko) 2017-08-14
US20210209801A1 (en) 2021-07-08
WO2017135675A1 (ko) 2017-08-10
US11195304B2 (en) 2021-12-07

Similar Documents

Publication Publication Date Title
US11604574B2 (en) Electronic device and method for electronic device displaying image
KR102603426B1 (ko) 이미지 처리장치 및 방법
CN108289161B (zh) 电子设备及其图像捕捉方法
EP3869790B1 (en) Electronic device and image capturing method thereof
KR102565847B1 (ko) 전자 장치 및 전자 장치에서의 디스플레이 제어 방법
KR102489279B1 (ko) 이미지 처리장치 및 방법
KR102399764B1 (ko) 전자 장치 및 촬영 방법
KR20180011539A (ko) 영상의 처리를 위한 전자 장치
KR102547104B1 (ko) 전자 장치 및 복수의 영상을 처리하는 방법
KR20170097860A (ko) 디스플레이를 이용하여 이미지를 촬영하는 전자 장치 및 이미지 촬영 방법
KR102469426B1 (ko) 이미지 처리 장치 및 이의 동작 방법
KR102425895B1 (ko) 전자장치의 데이터 동기 장치 및 방법
US10200705B2 (en) Electronic device and operating method thereof
KR102433293B1 (ko) 전자 장치 및 전자 장치의 제어 방법
US20190364186A1 (en) Image processing method and electronic device supporting same
KR102423364B1 (ko) 영상을 제공하는 방법 및 이를 지원하는 전자 장치
KR102407624B1 (ko) 전자 장치의 영상 처리 방법 및 그 전자 장치
KR102623989B1 (ko) 영상 처리 방법 및 이를 지원하는 전자 장치
KR102305909B1 (ko) 이미지 처리 방법과 이를 지원하는 전자 장치
KR102317624B1 (ko) 전자 장치 및 그의 이미지 처리 방법
US11210828B2 (en) Method and electronic device for outputting guide
KR102519803B1 (ko) 촬영 장치 및 그 제어 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right