KR20180132299A - 프로세서, 이를 포함하는 이미지 프로세싱 장치 및 이미지 프로세싱 방법 - Google Patents

프로세서, 이를 포함하는 이미지 프로세싱 장치 및 이미지 프로세싱 방법 Download PDF

Info

Publication number
KR20180132299A
KR20180132299A KR1020170069040A KR20170069040A KR20180132299A KR 20180132299 A KR20180132299 A KR 20180132299A KR 1020170069040 A KR1020170069040 A KR 1020170069040A KR 20170069040 A KR20170069040 A KR 20170069040A KR 20180132299 A KR20180132299 A KR 20180132299A
Authority
KR
South Korea
Prior art keywords
image
signal
processor
lens
image signal
Prior art date
Application number
KR1020170069040A
Other languages
English (en)
Other versions
KR102204596B1 (ko
Inventor
이서훈
이춘승
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020170069040A priority Critical patent/KR102204596B1/ko
Priority to US15/844,205 priority patent/US10348978B2/en
Priority to TW108121401A priority patent/TWI811386B/zh
Priority to TW108121399A priority patent/TWI720516B/zh
Priority to TW107107370A priority patent/TWI796323B/zh
Priority to CN201910487817.9A priority patent/CN110225232B/zh
Priority to CN202010581303.2A priority patent/CN111787220B/zh
Priority to CN201910488444.7A priority patent/CN110113519A/zh
Priority to CN201810523612.7A priority patent/CN108989655B/zh
Priority to CN201910487816.4A priority patent/CN110149467B/zh
Priority to CN201910488440.9A priority patent/CN110149468A/zh
Publication of KR20180132299A publication Critical patent/KR20180132299A/ko
Priority to US16/427,122 priority patent/US10666876B2/en
Priority to US16/427,121 priority patent/US10798312B2/en
Priority to US16/427,116 priority patent/US10805555B2/en
Priority to US16/427,127 priority patent/US10708517B2/en
Priority to US16/888,673 priority patent/US11153506B2/en
Application granted granted Critical
Publication of KR102204596B1 publication Critical patent/KR102204596B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N5/23229—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H04N5/2257—
    • H04N5/2258—

Abstract

프로세서, 이를 포함하는 이미지 프로세싱 장치 및 이미지 프로세싱 방법이 제공된다. 이미지 프로세싱 장치는, 제1 렌즈, 제1 렌즈의 일측에 배치되는 제2 렌즈, 제1 렌즈의 타측에 배치되는 제3 렌즈, 제1 렌즈로부터 얻어진 제1 이미지를 입력 받아, 제1 이미지 신호를 생성하는 제1 이미지 센서, 제2 렌즈로부터 얻어진 제2 이미지를 입력 받아, 제2 이미지 신호를 생성하는 제2 이미지 센서, 제3 렌즈로부터 얻어진 제3 이미지를 입력 받아, 제3 이미지 신호를 생성하는 제3 이미지 센서, 제2 이미지 신호와 제3 이미지 신호를 입력 받아, 제1 조건에서 제2 이미지 신호를 출력하고, 제1 조건과 상이한 제2 조건에서 제3 이미지 신호를 출력하는 셀렉터(selector) 및 제1 이미지 신호와, 셀렉터의 출력 신호를 이용하여 이미지 프로세싱을 수행하는 이미지 프로세서를 포함한다.

Description

프로세서, 이를 포함하는 이미지 프로세싱 장치 및 이미지 프로세싱 방법 {Processor, image processing device comprising the same, and method for image processing}
본 발명은 프로세서, 프로세서를 포함하는 이미지 프로세싱 장치 및 이미지 프로세싱 장치를 이용한 이미지 프로세싱 방법에 관한 것이다.
이미지 프로세싱 장치는 복수의 카메라 모듈을 포함할 수 있다. 복수의 카메라 모듈을 포함하는 이미지 프로세싱 장치는, 복수의 카메라 모듈로부터 획득한 이미지들을 처리하여 하나의 이미지를 생성할 수 있다. 고품질의 영상을 획득하기 위해, 듀얼 센서를 포함하는 카메라 모듈이 사용될 수 있다.
듀얼 센서를 포함하는 카메라 모듈은, 예를 들어, 광각 렌즈(wide angle lens)와 망원 렌즈(telephoto lens)를 포함할 수 있다. 광각 렌즈와 망원 렌즈를 포함하는 카메라 모듈은, 조도가 높은 환경에서, 줌(zoom) 동작 구현에 이점이 있을 수 있다. 반면, 조도가 낮은 저조도 환경에서는 광량이 부족하기 때문에, 망원 렌즈는 사용이 불가할 수 있다.
본 발명이 해결하고자 하는 기술적 과제는, 조도가 높은 경우 줌(zoom) 동작의 성능을 향상시킬 수 있는 프로세서, 이를 포함하는 이미지 프로세싱 장치 및 이미지 프로세싱 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 기술적 과제는, 조도가 낮은 경우라도 이미지의 품질을 향상시킬 수 있는 프로세서, 이를 포함하는 이미지 프로세싱 장치 및 이미지 프로세싱 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 기술적 과제는, 각 렌즈에서 얻어진 이미지들에 대한 교정(rectification) 에러를 감소시킬 수 있는 프로세서, 이를 포함하는 이미지 프로세싱 장치 및 이미지 프로세싱 방법을 제공하는 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 기술적 과제들을 달성하기 위한 본 발명의 몇몇 실시예들에 따른 이미지 프로세싱 장치는, 제1 렌즈, 제1 렌즈의 일측에 배치되는 제2 렌즈, 제1 렌즈의 타측에 배치되는 제3 렌즈, 제1 렌즈로부터 얻어진 제1 이미지를 입력 받아, 제1 이미지 신호를 생성하는 제1 이미지 센서, 제2 렌즈로부터 얻어진 제2 이미지를 입력 받아, 제2 이미지 신호를 생성하는 제2 이미지 센서, 제3 렌즈로부터 얻어진 제3 이미지를 입력 받아, 제3 이미지 신호를 생성하는 제3 이미지 센서, 제2 이미지 신호와 제3 이미지 신호를 입력 받아, 제1 조건에서 제2 이미지 신호를 출력하고, 제1 조건과 상이한 제2 조건에서 제3 이미지 신호를 출력하는 셀렉터(selector) 및 제1 이미지 신호와, 셀렉터의 출력 신호를 이용하여 이미지 프로세싱을 수행하는 이미지 프로세서를 포함한다.
상기 기술적 과제들을 달성하기 위한 본 발명의 몇몇 실시예들에 따른 프로세서는, 제1 카메라 모듈로부터 제1 이미지 신호를 제공 받는 이미지 프로세서 및 제2 카메라 모듈로부터 제2 이미지 신호를 제공 받고, 제3 카메라 모듈로부터 제3 이미지 신호를 제공 받아, 제1 조건에서 상기 제2 이미지 신호를 출력하고, 상기 제1 조건과 상이한 제2 조건에서 상기 제3 이미지 신호를 출력하는 제1 셀렉터를 포함하고, 상기 이미지 프로세서는, 상기 제1 이미지 신호와, 상기 제1 셀렉터의 출력 신호를 이용하여 이미지 프로세싱을 수행할 수 있다.
상기 기술적 과제들을 달성하기 위한 본 발명의 몇몇 실시예들에 따른 이미지 프로세싱 방법은, 제1 신호 프로세서가, 제1 카메라 모듈로부터 제1 이미지 신호를 제공 받아, 제1 이미지 신호 프로세싱을 수행하고, 셀렉터가, 제2 카메라 모듈로부터 제2 이미지 신호를 제공 받고, 제3 카메라 모듈로부터 제3 이미지 신호를 제공 받아, 제1 조건에서 상기 제2 이미지 신호를 출력하고, 상기 제1 조건과 상이한 제2 조건에서 상기 제3 이미지 신호를 출력하고, 이미지 프로세서가, 상기 제1 신호 프로세서의 출력 신호와 상기 셀렉터의 출력 신호를 이용하여 출력 이미지를 생성하는 것을 포함할 수 있다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
도 1은 본 발명의 몇몇 실시예들에 따른 이미지 프로세싱 장치의 예시적인 블록도이다.
도 2a 및 도 2b는 도 1의 제1 내지 제3 렌즈의 배치에 관한 몇몇 실시예를 설명하기 위한 도면이다.
도 3은 도 1의 제1 신호 프로세서에 관한 몇몇 실시예를 설명하기 위한 예시적인 블록도이다.
도 4는 도 1의 제2 신호 프로세서에 관한 몇몇 실시예를 설명하기 위한 예시적인 블록도이다.
도 5는 도 1의 제1 이미지 생성부에 관한 몇몇 실시예를 설명하기 위한 예시적인 블록도이다.
도 6은 도 5의 제1 이미지 생성부의 깊이 정보 생성 유닛에 관한 몇몇 실시예를 설명하기 위한 예시적인 블록도이다.
도 7은 도 5의 제1 이미지 생성부의 제1 출력 이미지 생성 유닛에 관한 몇몇 실시예를 설명하기 위한 예시적인 블록도이다.
도 8은 도 5의 제1 이미지 생성부의 제2 출력 이미지 생성 유닛에 관한 몇몇 실시예를 설명하기 위한 예시적인 블록도이다.
도 9는 본 발명의 몇몇 실시예들에 따른 이미지 프로세싱 장치의 예시적인 블록도이다.
도 10은 도 9의 제3 신호 프로세서에 관한 몇몇 실시예를 설명하기 위한 예시적인 블록도이다.
도 11은 본 발명의 몇몇 실시예들에 따른 이미지 프로세싱 장치의 예시적인 블록도이다.
도 12는 본 발명의 몇몇 실시예들에 따른 이미지 프로세싱 장치의 예시적인 블록도이다.
도 13은 도 12의 제2 이미지 생성부에 관한 몇몇 실시예를 설명하기 위한 예시적인 블록도이다.
도 14는 본 발명의 몇몇 실시예들에 따른 제1 셀렉터, 제6 셀렉터, 제9 셀렉터 및 제10 셀렉터의 동작을 설명하기 위한 순서도이다.
도 15는 본 발명의 몇몇 실시예들에 따른 이미지 프로세싱 장치를 포함하는 이미지 시스템의 예시적인 블록도이다.
도 16은 본 발명의 몇몇 실시예들에 따른 이미지 프로세싱 장치를 포함하는 이미지 시스템의 일부분을 도시한 예시적인 블록도이다.
이하에서, 도 1 내지 도 8을 참조하여 본 발명의 몇몇 실시예들에 따른 이미지 프로세싱 장치에 대해 설명한다.
도 1은 본 발명의 몇몇 실시예들에 따른 이미지 프로세싱 장치의 예시적인 블록도이다.
도 1을 참조하면, 이미지 프로세싱 장치는 카메라 모듈(1110) 및 프로세서(1120)를 포함할 수 있다.
카메라 모듈(1110)에서 생성된 이미지 신호들(예를 들어, is1, is2, is3)은, 프로세서(1120)로 입력될 수 있다. 프로세서(1120)는, 카메라 모듈(1110)로부터 입력받은 이미지 신호들(예를 들어, is1, is2, is3)을 처리하여, 출력 이미지(io)를 생성할 수 있다. 도면에서, 카메라 모듈(1110)과 프로세서(1120) 사이에 구성 요소를 도시하지 않았으나, 이에 제한되는 것은 아니다. 예를 들어, 카메라 모듈(1110)에서 생성된 이미지 신호들(예를 들어, is1, is2, is3)은, 카메라 모듈(1110)과 프로세서(1120) 사이에 배치될 수 있는 다른 구성 요소(예를 들어, 인터페이스 등)를 거쳐 프로세서(1120)로 입력될 수 있음은 물론이다.
카메라 모듈(1110)은, 제1 카메라 모듈(1111), 제2 카메라 모듈(1112), 및 제3 카메라 모듈(1113)을 포함할 수 있다. 제1 카메라 모듈(1111)은, 제1 렌즈(L1) 및 제1 이미지 신호 출력부(1010)를 포함할 수 있다. 제2 카메라 모듈(1112)은, 제2 렌즈(L2) 및 제2 이미지 신호 출력부(1020)를 포함할 수 있다. 제3 카메라 모듈(1113)은, 제3 렌즈(L3) 및 제3 이미지 신호 출력부(1030)를 포함할 수 있다.
제1 렌즈(L1) 및 제3 렌즈(L3)는, 제2 렌즈(L2)와 다른 종류의 렌즈일 수 있다. 제1 렌즈(L1) 및 제3 렌즈(L3)는, 광각 렌즈(wide angle lens)일 수 있고, 제2 렌즈(L2)는, 망원 렌즈(telephoto lens)일 수 있다.
도 2a 및 도 2b는 도 1의 제1 내지 제3 렌즈(L1 내지 L3)의 배치에 관한 몇몇 실시예를 설명하기 위한 도면이다.
도 2a를 참조하면, 제1 렌즈(L1), 제2 렌즈(L2) 및 제3 렌즈(L3)는, 전자 장치(1000)에 배치될 수 있다. 몇몇 실시예에서, 전자 장치(1000)는, 모바일 폰일 수 있다. 제1 렌즈(L1), 제2 렌즈(L2) 및 제3 렌즈(L3)는, 전자 장치(1000)의 일측면(예를 들어, 전자 장치(1000)의 앞면 또는 뒷면)으로부터 노출되도록 배치될 수 있다.
몇몇 실시예에서, 제2 렌즈(L2)는, 제1 렌즈(L1)의 일측에 배치될 수 있다. 제3 렌즈(L3)는, 제1 렌즈(L1)의 타측에 배치될 수 있다. 제2 렌즈(L2)와 제3 렌즈(L3)는, 예를 들어, 제1 렌즈(L1)를 중심으로 대칭되도록 배치될 수 있다.
몇몇 실시예에서, 제2 렌즈(L2)는 제1 렌즈(L1)로부터 제1 거리(d1)만큼 이격되어 배치될 수 있다. 제3 렌즈(L3)는 제1 렌즈(L1)로부터 제2 거리(d2)만큼 이격되어 배치될 수 있다.
몇몇 실시예에서, 제1 거리(d1)와 제2 거리(d2)는 실질적으로 동일할 수 있다.
몇몇 실시예에서, 제1 내지 렌즈(L1 내지 L3)의 중심은, 예를 들어, 실직적으로 동일한 수평선 상에 배치될 수 있다. 그러나, 본 발명의 기술적 사상이 이에 제한되는 것은 아니다. 예를 들어, 도 2b를 참조하면, 제1 내지 렌즈(L1 내지 L3)의 중심은, 예를 들어, 실직적으로 동일한 수직선 상에 배치될 수 있다.
도 2a 및 도 2b를 참조하면, 피사체가 제1 렌즈(L1)와 서로 마주보도록 배치되고, 피사체와 제1 렌즈(L1)가 서로 정렬되어 위치하고, 제1 거리(d1)와 제2 거리(d2)가 서로 상이한 경우, 피사체로부터 제공된 광이 제1 렌즈(L1), 제2 렌즈(L2) 및 제3 렌즈(L3) 각각에 입사되는 각도는, 서로 상이할 수 있다.
따라서, 제1 렌즈(L1), 제2 렌즈(L2) 및 제3 렌즈(L3) 각각으로부터 얻어진 이미지들(예를 들어, id1, id2, id3)에는, 피사체를 정확히 표현하는데 왜곡(distortion)이 있을 수 있다. 즉, 이 경우, 제1 거리(d1)와 제2 거리(d2)가 상이하기 때문에, 이미지들(예를 들어, id1, id2, id3)간의 왜곡의 정도가 심할 수 있다.
한편, 각 이미지의 왜곡을 보정하기 위해, 제1 렌즈(L1), 제2 렌즈(L2) 및 제3 렌즈(L3) 각각으로부터 얻어진 이미지들(예를 들어, id1, id2, id3) 각각에 대한 교정(rectification) 작업이 수행될 수 있다. 이 때, 이미지들(예를 들어, id1, id2, id3)간의 왜곡의 정도가 심하기 때문에, 교정 작업에서 에러가 클 수 있다. 교정 작업에서 에러가 크면, 출력 이미지(예를 들어, io)의 잡음(artifact)이 크게 될 수 있다.
본 발명의 몇몇 실시예들에 따른 이미지 프로세싱 장치의 제2 렌즈(L2)와 제3 렌즈(L3)는, 제1 렌즈(L1)를 중심으로 실질적으로 동일 간격(제1 거리(d1) 및 제2 거리(d2))만큼 이격되도록 배치될 수 있다. 제1 거리(d1)와 제2 거리(d2)가 실질적으로 동일하기 때문에, 이미지들(예를 들어, id1, id2, id3)간의 왜곡의 정도는, 제1 거리(d1)와 제2 거리(d2)가 상이한 경우에 비해 현저히 작을 수 있다. 따라서, 각 이미지들(예를 들어, id1, id2, id3)에 대한 교정 작업에 있어서, 교정 에러가 감소될 수 있다.
다시 도 1을 참조하면, 제1 이미지 신호 출력부(1010)는, 예를 들어, 제1 이미지 센서(1011), 제1 기억 장치(1012) 및 제1 아날로그 디지털 컨버터(1013)를 포함할 수 있다. 제2 이미지 신호 출력부(1020)는, 예를 들어, 제2 이미지 센서(1021), 제2 기억 장치(1022) 및 제2 아날로그 디지털 컨버터(1023)를 포함할 수 있다. 제3 이미지 신호 출력부(1030)는, 예를 들어, 제3 이미지 센서(1031), 제3 기억 장치(1032) 및 제3 아날로그 디지털 컨버터(1033)를 포함할 수 있다.
제1 이미지(id1), 제2 이미지(id2), 및 제3 이미지(id3) 각각은, 제1 렌즈(L1), 제2 렌즈(L2) 및 제3 렌즈(L3) 각각으로부터 얻어질 수 있다. 제1 내지 제3 이미지(id1, id2, id3) 각각은, 제1 내지 제3 이미지 신호 출력부(1010, 1020, 1030) 각각으로 입력될 수 있다.
제1 내지 제3 이미지 센서(1011, 1021, 1031) 각각은, 제1 내지 제3 이미지(id1, id2, id3) 각각을 센싱할 수 있다.
제1 이미지 센서(1011)는, 제1 이미지(id1)를 입력 받아, 제1 이미지 신호(is1)를 생성할 수 있다. 제1 이미지 센서(1011)는, 예를 들어, 컬러 이미지 센서일 수 있다.
제2 이미지 센서(1021)는, 제2 이미지(id2)를 입력 받아, 제2 이미지 신호(is2)를 생성할 수 있다. 제2 이미지 센서(1021)는, 예를 들어, 컬러 이미지 센서일 수 있다.
제3 이미지 센서(1031)는, 제3 이미지(id3)를 입력 받아, 제3 이미지 신호(is3)를 생성할 수 있다. 제3 이미지 센서(1031)는, 예를 들어, 흑백(monochrome) 이미지 센서일 수 있다.
제1 내지 제3 기억 장치(1012, 1022, 1032) 각각에는, 제1 내지 제3 카메라 모듈(1111, 1112, 1113) 각각에 대한 캘리브레이션 데이터가 저장될 수 있다. 캘리브레이션 데이터는, 예를 들어, 상응하는 카메라 모듈의 회전(rotation) 정도, 초점 거리, 및/또는 광축에 대한 정보 등을 포함할 수 있다.
제1 내지 제3 아날로그 디지털 컨버터(1013, 1023, 1033) 각각은, 제1 내지 제3 이미지(id1, id2, id3) 각각의 포맷(format)을 변환할 수 있다. 예를 들어, 아날로그 형식의 제1 내지 제3 이미지(id1, id2, id3)를, 디지털 신호(즉, 제1 내지 제3 이미지 신호(is1, is2, is3))로 변환할 수 있다.
제1 내지 제3 카메라 모듈(1111 내지 1113) 각각의 출력인, 제1 내지 제3 이미지 신호(is1, is2, is3)는, 프로세서(1120)로 입력될 수 있다. 프로세서(1120)는, 제1 내지 제3 인터페이스(110, 120, 130), 제1 셀렉터(selector)(210), 제1 신호 프로세서(310), 제2 신호 프로세서(320), 및 제1 이미지 생성부(400)를 포함할 수 있다. 그러나, 본 발명의 기술적 사상이 이에 제한되는 것은 아니고, 프로세서(1120)는 필요에 따라 도 1에 도시된 유닛들과 동일하거나 상이한 기능을 수행하는 다른 유닛들을 더 포함할 수 있음은 물론이다.
제1 내지 제3 인터페이스(110, 120, 130)는, 예를 들어, 제1 내지 제3 이미지 센서(1011 내지 1031)의 인터페이스를 프로세서(1120)의 인터페이스로 변경시킬 수 있다. 제1 내지 제3 인터페이스(110, 120, 130)는, 예를 들어, CSI(Camera Serial Interface)일 수 있다. 제1 이미지 신호(is1)는, 제1 인터페이스(110)를 통해 제1 신호 프로세서(310)에 제공될 수 있다. 제2 이미지 신호(is2)는, 제2 인터페이스(120)를 통해 제1 셀렉터(210)에 제공될 수 있다. 제3 이미지 신호(is3)는, 제3 인터페이스(130)를 통해 제1 셀렉터(210)에 제공될 수 있다.
제1 셀렉터(210)는, 제2 이미지 신호(is2)와 제3 이미지 신호(is3)를 입력 받을 수 있다. 제1 셀렉터(210)는, 선택 신호(SS)에 기초하여, 제2 이미지 신호(is2)와 제3 이미지 신호(is3) 중 어느 하나를 출력 신호(isa)로 출력하여, 이미지 프로세서(1121)에 제공할 수 있다. 몇몇 실시예에서, 제1 셀렉터(210)는, 이미지 프로세서(1121)의 제2 신호 프로세서(320)와 분리되어 배치될 수 있다.
예를 들어, 선택 신호(SS)가 제1 조건(C1)에 상응하는 정보를 포함하는 경우, 제1 셀렉터(210)의 출력 신호(isa)는 제2 이미지 신호(is2)일 수 있다. 반면, 선택 신호(SS)가 제2 조건(C2)에 상응하는 정보를 포함하는 경우, 제1 셀렉터(210)의 출력 신호(isa)는 제3 이미지 신호(is3)일 수 있다.
여기서, 선택 신호(SS)가 제1 조건(C1)에 상응하는 정보를 포함하는 경우는, 예를 들어, 선택 신호(SS)가 로직 로우(logic low)(예를 들어, 로직 0)인 경우일 수 있다. 또한, 선택 신호(SS)가 제2 조건(C2)에 상응하는 정보를 포함하는 경우는, 예를 들어, 선택 신호(SS)가 로직 하이(logic high)(예를 들어, 로직 1)인 경우일 수 있다. 즉, 제1 셀렉터(210)는, 제1 조건(C1)에서 제2 이미지 신호(is2)를 출력할 수 있고, 제2 조건(C2)에서 제3 이미지 신호(is3)를 출력할 수 있다.
제1 조건(C1)과 제2 조건(C2)은, 서로 상이한 조건일 수 있다. 예를 들어, 제1 조건(C1)은, 조도가 기결정된 값보다 크거나 동일한 경우이고, 제2 조건(C2)은, 조도가 기결정된 값보다 작은 경우일 수 있다. 여기서 조도는, 예를 들어, 제1 카메라 모듈(1111)의 제1 렌즈(L1)를 통해 얻어질 수 있는, 피사체가 위치한 장소의 밝기일 수 있다.
몇몇 실시예에서, 제1 신호 프로세서(310)는 조도를 감지하여, 조도에 대한 정보를 선택 신호 생성부(310_SS)에 전달할 수 있다. 선택 신호 생성부(310_SS)는, 조도에 대한 정보를 이용하여, 선택 신호(SS)를 생성할 수 있다. 도면에서, 선택 신호 생성부(310_SS)가 프로세서(1120) 내에 배치되는 것으로 도시하였으나, 이에 제한되는 것은 아니다. 예를 들어, 선택 신호 생성부(310_SS)는, 프로세서(1120)의 외부에 배치되는 하드웨어 구성요소일 수 있다.
한편, 몇몇 실시예에서, 선택 신호 생성부(310_SS)는 소프트웨어로 구현될 수도 있다.
이미지 프로세서(1121)는, 제1 이미지 신호(is1), 제1 셀렉터(210)의 출력 신호(isa) 및 선택 신호(SS)를 입력 받아, 출력 이미지(io)를 생성할 수 있다. 이미지 프로세서(1121)는, 제1 신호 프로세서(310), 제2 신호 프로세서(320) 및 제1 이미지 생성부(image generator)(400)를 포함할 수 있다.
제1 신호 프로세서(310)는, 제1 이미지 신호(is1)를 입력 받아, 제1 이미지 신호 프로세싱을 수행하여, 제1 이미지 생성부(400)에 제공할 수 있다. 제1 신호 프로세서(310)의 출력 신호(is1a)는, 제1 신호 프로세서(310)에 의해 제1 이미지 신호 프로세싱이 수행된 제1 이미지 신호(is1)일 수 있다.
도 3은 도 1의 제1 신호 프로세서(310)에 관한 몇몇 실시예를 설명하기 위한 예시적인 블록도이다.
도 3을 참조하면, 제1 신호 프로세서(310)는, 제1 포맷 컨버터(311), 제1 노이즈 제거부(313), 제1 이미지 인핸서(315), 및 제2 포맷 컨버터(317)를 포함할 수 있다. 제1 신호 프로세서(310)에 의해 수행되는 제1 이미지 프로세싱은, 제1 이미지 신호(is1)를 제1 포맷 컨버터(311), 제1 노이즈 제거부(313), 제1 이미지 인핸서(315), 및 제2 포맷 컨버터(317)에 통과시켜, 포맷이 변환된 출력 신호(is1a)를 생성하는 것을 포함할 수 있다.
제1 포맷 컨버터(311)는, 제1 이미지 신호(is1)를 입력 받고, 제1 이미지 신호(is1)의 포맷을 변경하여, 제1 노이즈 제거부(313)에 제공할 수 있다. 제1 이미지 신호(is1)는, 제1 카메라 모듈(1111)의 특정 형태의 컬러 필터 배열에 의해 만들어진 포멧을 가질 수 있다. 이 경우, 제1 포맷 컨버터(311)는, 제1 이미지 신호(is1)의 포맷을, RGB 형태로 변환할 수 있다. 예를 들어, 제1 카메라 모듈(1111)의 제1 이미지 센서(1011)는, 베이어(bayer) 컬러 배열을 가질 수 있다. 이 경우, 제1 포맷 컨버터(311)는, 제1 이미지 신호(is1)의 포맷을 RGB 형태로 변환할 수 있다. 제1 포맷 컨버터(311)는, 예를 들어, 디모자이크(demosaic) 동작을 수행할 수 있다. 한편, 제1 카메라 모듈(1111)의 제1 이미지 센서(1011)의 컬러 필터 종류에 따라, 제1 포맷 컨버터(311)가 생략될 수 있음은 물론이다.
제1 노이즈 제거부(313)는, 제1 포맷 컨버터(311)로부터 제1 포맷 컨버터(311)의 출력 신호를 입력 받을 수 있다. 제1 노이즈 제거부(313)는, 제1 포맷 컨버터(311)의 출력 신호에 포함된 노이즈를 제거하여, 제1 이미지 인핸서(315)에 제공할 수 있다.
제1 이미지 인핸서(315)는, 제1 노이즈 제거부(313)로부터 제1 노이즈 제거부(313)의 출력 신호를 입력 받을 수 있다. 제1 이미지 인핸서(315)는, 제1 노이즈 제거부(313)의 출력 신호의 품질을 향상시키기 위한 작업을 수행하여, 제2 포맷 컨버터(317)에 제공할 수 있다. 예를 들어, 제1 이미지 인핸서(315)는, 제1 노이즈 제거부(313)의 출력 신호를 입력 받고, 제1 노이즈 제거부(313)의 출력 신호의 가색상(false color)을 제거하고, 선명화(sharpening) 동작 등을 수행할 수 있다.
제2 포맷 컨버터(317)는, 제1 이미지 인핸서(315)로부터 제1 이미지 인핸서(315)의 출력 신호를 입력 받을 수 있다. 제2 포맷 컨버터(317)는, 제1 이미지 인핸서(315)의 출력 신호의 포맷을 변환하여, 제1 이미지 생성부(400)에 제공할 수 있다. 예를 들어, RGB 포맷의 제1 이미지 인핸서(315)의 출력 신호는, 제2 포맷 컨버터(317)를 통해 휘도 정보와 컬러 정보를 포함하는 포맷(예를 들어, YUV)으로 변환될 수 있다.
다시 도 1을 참조하면, 제2 신호 프로세서(320)는, 제1 셀렉터(210)의 출력 신호(isa)를 입력 받아, 제2 이미지 신호 프로세싱을 수행하여 제1 이미지 생성부(400)에 제공할 수 있다.
도 4는 도 1의 제2 신호 프로세서(320)에 관한 몇몇 실시예를 설명하기 위한 예시적인 블록도이다.
도 4를 참조하면, 제2 신호 프로세서(320)는, 제2 셀렉터(220), 제3 포맷 컨버터(321), 제3 셀렉터(230), 제2 노이즈 제거부(323), 제2 이미지 인핸서(325), 제4 셀렉터(240), 제4 포맷 컨버터(327), 및 제5 셀렉터(250)를 포함할 수 있다. 제2 신호 프로세서(320)가 수행하는 제2 이미지 신호 프로세싱은, 제1 셀렉터(210)의 출력 신호(isa)의 포맷이 변환된 출력 신호(isb)를 생성하는 것을 포함할 수 있다. 제1 셀렉터(210)에 제공되는 선택 신호(SS)는, 제2 내지 제5 셀렉터(220, 230, 240, 250)에도 입력될 수 있다.
선택 신호(SS)가 제1 조건(C1)에 상응하는 정보를 포함하는 경우, 제1 셀렉터(210)의 출력 신호(isa)는 제2 이미지 신호(is2)일 수 있다. 이 경우, 제2 셀렉터(220)는, 선택 신호(SS)에 기초하여, 제2 이미지 신호(is2)를 제3 포맷 컨버터(321)에 제공할 수 있다.
제3 포맷 컨버터(321)는, 제2 이미지 신호(is2)를 입력 받고, 제2 이미지 신호(is2)의 포맷을 변환하여 제3 셀렉터(230)에 제공할 수 있다. 제3 포맷 컨버터(321)는, 제1 신호 프로세서(310)의 제1 포맷 컨버터(311)(도 3 참조)와 실질적으로 동일한 것일 수 있다.
제1 조건(C1) 하에서, 제3 셀렉터(230)는, 선택 신호(SS)에 기초하여, 제3 포맷 컨버터(321)의 출력 신호를 제2 노이즈 제거부(323)에 제공할 수 있다.
제2 노이즈 제거부(323)는, 제3 셀렉터(230)의 출력 신호를 입력 받고, 제3 셀렉터(230)의 출력 신호의 노이즈를 제거하여, 제2 이미지 인핸서(325)에 제공할 수 있다. 제2 노이즈 제거부(323)는 제1 신호 프로세서(310)의 제1 노이즈 제거부(313)(도 3 참조)와 실질적으로 동일한 것일 수 있다.
제2 이미지 인핸서(325)는, 제2 노이즈 제거부(323)의 출력 신호를 입력 받고, 제2 이미지 신호(is2)의 품질을 향상시키기 위한 작업을 수행하여, 제4 셀렉터(240)에 제공할 수 있다. 제2 이미지 인핸서(325)는, 제1 신호 프로세서(310)의 제1 이미지 인핸서(315)(도 3 참조)와 실질적으로 동일한 것일 수 있다.
제1 조건(C1) 하에서, 제4 셀렉터(240)는, 선택 신호(SS)에 기초하여, 제2 이미지 인핸서(325)의 출력 신호를 제4 포맷 컨버터(327)에 제공할 수 있다.
제4 포맷 컨버터(327)는, 제2 이미지 인핸서(325)의 출력 신호의 포맷을 변환하여, 제1 이미지 생성부(400)에 제공할 수 있다. 제4 포맷 컨버터(327)는, 제1 신호 프로세서(310)의 제2 포맷 컨버터(317)(도 3 참조)와 실질적으로 동일한 것일 수 있다.
선택 신호(SS)가 제2 조건(C2)에 상응하는 정보를 포함하는 경우, 제1 셀렉터(210)의 출력 신호(isa)는 제3 이미지 신호(is3)일 수 있다. 이 경우, 제2 셀렉터(220)와 제3 셀렉터(230)는, 선택 신호(SS)에 기초하여, 제3 이미지 신호(is3)를 제2 노이즈 제거부(323)에 제공할 수 있다. 제3 카메라 모듈(1113)의 제3 이미지 센서(1031)는 흑백 이미지 센서일 수 있다. 따라서, 제3 이미지 신호(is3)는, 제3 포맷 컨버터(321)에 의한 포맷 변환 작업이 불필요할 수 있다.
제2 노이즈 제거부(323)는, 제3 이미지 신호(is3)를 입력 받고, 제3 이미지 신호(is3)의 노이즈를 제거하여 제2 이미지 인핸서(325)에 제공할 수 있다. 제2 이미지 인핸서(325)는, 제2 노이즈 제거부(323)의 출력 신호를 입력 받고, 제2 노이즈 제거부(323)의 출력 신호의 품질을 향상시키기 위한 작업을 수행하여, 제4 셀렉터(240)에 제공할 수 있다.
제2 조건(C2) 하에서, 제4 셀렉터(240)는, 선택 신호(SS)에 기초하여, 제2 이미지 인핸서(325)의 출력 신호를 제5 셀렉터(250)에 제공할 수 있다. 제2 조건(C2) 하에서, 제5 셀렉터(250)는, 선택 신호(SS)에 기초하여, 제2 이미지 인핸서(325)의 출력 신호를 출력 신호(isb)로 출력할 수 있다. 즉, 제3 이미지 신호(is3)는, 제4 포맷 컨버터(327)에 의한 포맷 변환 작업이 불필요할 수 있다.
다시 도 1을 참조하면, 제1 이미지 생성부(400)는, 제1 신호 프로세서(310)의 출력 신호(is1a)와 제2 신호 프로세서(320)의 출력 신호(isb)를 이용하여, 이미지 프로세싱을 수행하고, 출력 이미지(io)를 생성할 수 있다.
도 5는 도 1의 제1 이미지 생성부(400)에 관한 몇몇 실시예를 설명하기 위한 예시적인 블록도이다.
도 5를 참조하면, 제1 이미지 생성부(400)는, 깊이 정보 생성 유닛(410), 제1 출력 이미지 생성 유닛(420), 제2 출력 이미지 생성 유닛(430) 및 제3 출력 이미지 생성 유닛(440)을 포함할 수 있다. 몇몇 실시예에서, 제1 이미지 생성부(400)가 수행하는 이미지 프로세싱은, 깊이 정보 생성 유닛(410), 제1 출력 이미지 생성 유닛(420), 제2 출력 이미지 생성 유닛(430) 및 제3 출력 이미지 생성 유닛(440)을 이용하여, 두 개의 이미지 신호(isb, is1a)를 하나의 이미지(예를 들어, io1 또는 io2)로 생성하는 것을 포함할 수 있다.
깊이 정보 생성 유닛(410)은, 두 개의 이미지 신호(isb, is1a)를 입력 받고, 깊이 정보(is_410a)와 대응 거리(disparity) 정보(is_410b)를 출력할 수 있다.
도 6은 도 5의 제1 이미지 생성부(400)의 깊이 정보 생성 유닛(410)에 관한 몇몇 실시예를 설명하기 위한 예시적인 블록도이다.
도 6을 참조하면, 깊이 정보 생성 유닛(410)은, 조정 유닛(411), 대응 거리 정보 생성부(413), 및 깊이 정보 생성부(415)를 포함할 수 있다.
두 개의 이미지 신호(isb, is1a) 각각은, 조정 유닛(411)으로 입력될 수 있다. 두 개의 이미지 신호(isb, is1a)에 대응하여, 조정 유닛(411)은 두 개가 배치될 수 있다. 조정 유닛(411)은, 두 개의 이미지 신호(isb, is1a) 각각의 뒤틀림을 보정하는, 교정(rectification) 작업을 수행할 수 있다. 즉, 조정 유닛(411)은, 두 개의 이미지 신호(isb, is1a)가, 행-정렬(row-aligned)되도록 교정할 수 있다. 조정 유닛(411)은, 교정 작업 과정에서, 예를 들어, 제1 내지 제3 카메라 모듈(1111, 1112, 1113)의 제1 내지 제3 기억 장치(1012, 1022, 1032)에 저장된 캘리브레이션 데이터 등을 이용할 수 있다.
조정 유닛(411) 각각의 출력은, 대응 거리 정보 생성부(413)로 입력될 수 있다. 대응 거리 정보 생성부(413)는, 조정 유닛(411)의 출력 신호 각각에서 대응점들을 찾아, 두 개의 이미지 신호(isb, is1a)가 교정된 조정 유닛(411)의 출력 신호의 대응 거리(disparity)를 계산할 수 있다. 대응 거리 정보 생성부(413)는, 대응 거리 정보(is_410b)를 출력할 수 있다. 대응 거리 정보(is_410b)는 예를 들어, 대응 거리 맵(disparity map)일 수 있다.
대응 거리 정보(is_410b)는, 깊이(depth) 정보 생성부(415)로 제공될 수 있다. 깊이 정보 생성부(415)는, 대응 거리 정보(is_410b)를 거리로 환산하여, 깊이 정보(is_410a)를 생성할 수 있다. 깊이 정보(is_410a)는, 예를 들어, 뎁스 맵(depth map)일 수 있다.
다시 도 5를 참조하면, 제1 출력 이미지 생성 유닛(420)은, 제1 신호 프로세서(310)의 출력 신호(is1a)와 깊이 정보(is_410a)를 입력 받고, 제1 출력 이미지(io1)를 생성할 수 있다.
도 7은 도 5의 제1 이미지 생성부(400)의 제1 출력 이미지 생성 유닛(420)에 관한 몇몇 실시예를 설명하기 위한 예시적인 블록도이다.
도 7을 참조하면, 제1 출력 이미지 생성 유닛(420)은, 아웃 포커스(out focus) 유닛(421)을 포함할 수 있다. 아웃 포커스 유닛(421)은, 깊이 정보(is_410a)를 이용하여, 제1 신호 프로세서(310)의 출력 신호(is1a)를 제1 출력 이미지(io1)로 변환할 수 있다. 아웃 포커스 유닛(421)은, 예를 들어, 제1 신호 프로세서(310)의 출력 신호(is1a)에 대해, 아웃 포커싱(out focusing) 효과를 줄 수 있다.
다시 도 5를 참조하면, 제2 출력 이미지 생성 유닛(430)은, 두 개의 이미지 신호(isb, is1a)와 대응 거리 정보(is_410b)를 입력 받고, 제2 출력 이미지(io2)를 생성할 수 있다.
도 8은 도 5의 제1 이미지 생성부(400)의 제2 출력 이미지 생성 유닛(430)에 관한 몇몇 실시예를 설명하기 위한 예시적인 블록도이다.
도 8을 참조하면, 제2 출력 이미지 생성 유닛(430)은, 픽셀 맵핑부(pixel mapping unit)(431) 및 믹싱부(mixing unit)(433)를 포함할 수 있다. 픽셀 맵핑부(431)는, 대응 거리 정보(is_410b)를 이용하여, 두 개의 이미지 신호(isb, is1a)의 픽셀 맵(pixel map)을 생성할 수 있다. 믹싱부(433)는, 두 개의 이미지 신호(isb, is1a)를 입력 받고, 픽셀 맵핑부(431)의 출력을 이용해 두 개의 이미지 신호(isb, is1a)를 혼합(mixing)하여, 하나의 제2 출력 이미지(io2)를 생성할 수 있다.
다시 도 5를 참조하면, 제3 출력 이미지 생성 유닛(440)은, 선택 신호(SS)가 제1 조건(C1)에 상응하는 정보를 포함하는 경우, 제1 신호 프로세서(310)의 출력 신호(is1a)와 제2 신호 프로세서(320)의 출력 신호(isb) 중 어느 하나를 스케일링(scaling)하여 제3 출력 이미지(io3)를 생성할 수 있다. 예를 들어, 프로세서(도 1의 1120)가 모바일 폰에 내장된 어플리케이션 프로세서(AP)이고 선택 신호(도 1의 SS)가 제1 조건(도 1의 C1)에 상응하는 정보를 포함하는 경우, 사용자에게 줌(zoom) 모드가 지원될 수 있다.
배율(scale ratio)이 낮으면(즉, 제3 조건(C3)에서), 줌 셀렉터(zoom selector)(441)에 의해 제1 신호 프로세서(310)의 출력 신호(is1a)는 제3 출력 이미지 생성 유닛(440)으로 제공될 수 있다. 제3 출력 이미지 생성 유닛(440)은, 제1 신호 프로세서(310)의 출력 신호(is1a)를 스케일링하여, 제3 출력 이미지(io3)를 생성할 수 있다. 즉, 줌 선택 신호(SS_ZOOM)가 제3 조건(C3)에 상응하는 정보를 포함하는 경우, 줌 셀렉터(441)는 제1 신호 프로세서(310)의 출력 신호(is1a)를 제3 출력 이미지 생성 유닛(440)으로 제공할 수 있다. 이 때, 제3 조건(C3)은, 예를 들어, 제3 출력 이미지 생성 유닛(440)에 의해 생성된 제3 출력 이미지(io3)의 화각(angle of view)이 제2 이미지(도 1의 id2)의 화각 보다 작은 경우일 수 있다.
배율이 증가하여, 제3 출력 이미지 생성 유닛(440)에 의해 생성된 제3 출력 이미지(io3)의 화각(angle of view)이 제2 이미지(도 1의 id2)의 화각과 같거나 큰 경우(즉, 제4 조건(C4)에서), 줌 셀렉터(441)는 제2 신호 프로세서(320)의 출력 신호(isb)를 제3 출력 이미지 생성 유닛(440)으로 제공할 수 있다. 제3 출력 이미지 생성 유닛(440)은, 제2 신호 프로세서(320)의 출력 신호(isb)를 스케일링하여, 제3 출력 이미지(io3)를 생성할 수 있다. 즉, 줌 선택 신호(SS_ZOOM)가 제4 조건(C4)에 상응하는 정보를 포함하는 경우, 줌 셀렉터(441)는 제2 신호 프로세서(320)의 출력 신호(isb)를 제3 출력 이미지 생성 유닛(440)으로 제공할 수 있다. 이 때, 제4 조건(C4)은, 예를 들어, 제3 출력 이미지 생성 유닛(440)에 의해 생성된 제3 출력 이미지(io3)의 화각(angle of view)이 제2 이미지(도 1의 id2)의 화각과 같거나 큰 경우일 수 있다.
줌 선택 신호(SS_ZOOM)는, 예를 들어, 프로세서(도 1의 1120)가 모바일 폰에 내장된 어플리케이션 프로세서(AP)인 경우, 배율을 선택하는 사용자에 의해 결정되는 것일 수 있다. 예를 들어, 줌 선택 신호(SS_ZOOM)는, 줌 선택 신호 생성부에서 생성될 수 있다. 줌 선택 신호 생성부는, 사용자가 선택한 배율에 대한 정보를 이용하여, 줌 선택 신호(SS_ZOOM)를 생성할 수 있다. 줌 선택 신호 생성부는, 몇몇 실시예에서, 소프트웨어로 구현될 수 있다.
다시 도 1을 참조하면, 제1 이미지 생성부(400)의 출력인 출력 이미지(io)는, 제1 출력 이미지(io1)와 제2 출력 이미지(io2) 중 어느 하나일 수 있다. 예를 들어, 기설정된 이미지 시스템의 모드에 따라, 제1 출력 이미지(io1), 제2 출력 이미지(io2) 및 제3 출력 이미지(io3) 중 어느 하나가, 출력 이미지(io)로 출력될 수 있다. 예를 들어, 프로세서(1120)가 모바일 폰에 내장된 어플리케이션 프로세서(AP)인 경우, 사용자에 의해 선택된 모드에 따라, 제1 출력 이미지(io1), 제2 출력 이미지(io2) 및 제3 출력 이미지(io3) 중 어느 하나는, 모바일 폰의 액정 화면으로 출력될 수 있다.
이하에서, 도 9 및 도 10을 참조하여, 본 발명의 몇몇 실시예들에 따른 이미지 프로세싱 장치에 대해 설명한다. 설명의 명확성을 위해, 앞서 설명한 것과 중복되는 설명은 생략한다.
도 9는 본 발명의 몇몇 실시예들에 따른 이미지 프로세싱 장치의 예시적인 블록도이다. 도 10은 도 9의 제3 신호 프로세서(330)에 관한 몇몇 실시예를 설명하기 위한 예시적인 블록도이다.
도 9 및 도 10을 참조하면, 제3 신호 프로세서(330)는, 제2 이미지 신호(is2)와 제3 이미지 신호(is3) 중 어느 하나를 출력하는 제6 셀렉터(260)를 포함할 수 있다. 또한, 제3 신호 프로세서(330)는, 제3 포맷 컨버터(321), 제2 노이즈 제거부(323), 제2 이미지 인핸서(325), 제7 셀렉터(270), 제4 포맷 컨버터(327), 및 제8 셀렉터(280)를 포함할 수 있다. 제3 신호 프로세서(330)에는, 제6 내지 제8 셀렉터(260, 270, 280)에 입력되는 선택 신호(SS)가 입력될 수 있다.
제3 신호 프로세서(330)는, 제2 이미지 신호(is2)와 제3 이미지 신호(is3)를 입력 받을 수 있다. 제2 이미지 신호(is2)는, 제3 포맷 컨버터(321)를 통해 제6 셀렉터(260)에 입력될 수 있다. 제3 이미지 신호(is3)는, 제6 셀렉터(260)에 입력될 수 있다.
제6 셀렉터(260)는, 제1 조건(C1) 하에서, 선택 신호(SS)에 기초하여, 제3 포맷 컨버터(321)의 출력 신호를 출력할 수 있다. 또한, 제6 셀렉터(260)는, 제2 조건(C2) 하에서, 선택 신호(SS)에 기초하여, 제3 이미지 신호(is3)를 출력할 수 있다. 다시 말해서, 제6 셀렉터(260)는, 앞서 도 1을 참조하여 설명한 제1 셀렉터(도 1의 210)와 동일한 기능을 수행할 수 있다.
제6 셀렉터(260)의 출력 신호(isa)는, 제2 노이즈 제거부(323)와 제2 이미지 인핸서(325)를 거쳐, 제7 셀렉터(270)에 입력될 수 있다.
제7 셀렉터(270)는, 제1 조건(C1) 하에서, 선택 신호(SS)에 기초하여, 제4 포맷 컨버터(327)의 입력단과 제2 이미지 인핸서(325)의 출력단을 연결할 수 있다. 반면, 제7 셀렉터(270)는, 제2 조건(C2) 하에서, 선택 신호(SS)에 기초하여, 제2 이미지 인핸서(325)의 출력 신호를 제3 신호 프로세서(330)의 출력 신호(isb)로 출력할 수 있다.
이하에서, 도 11을 참조하여, 본 발명의 몇몇 실시예들에 따른 이미지 프로세싱 장치에 대해 설명한다. 설명의 명확성을 위해, 앞서 설명한 것과 중복되는 설명은 생략한다.
도 11은 본 발명의 몇몇 실시예들에 따른 이미지 프로세싱 장치의 예시적인 블록도이다.
도 11을 참조하면, 카메라 모듈(1110)은 제9 셀렉터(290)를 포함할 수 있다. 제9 셀렉터(290)는, 제2 이미지 신호(is2)와 제3 이미지 신호(is3) 중 어느 하나를 선택하여 출력 신호(isa)로 출력할 수 있다. 제9 셀렉터(290)는, 도 1을 참조하여 설명한 제1 셀렉터(도 1의 210)와 실질적으로 동일한 기능을 수행할 수 있다.
카메라 모듈(1110)은, 제1 이미지 신호(is1)와, 제9 셀렉터(290)의 출력 신호(isa)를 프로세서(1120)에 제공할 수 있다. 프로세서(1120)는, 제1 인터페이스(110), 제2 인터페이스(120), 및 이미지 프로세서(1121)를 포함할 수 있다. 이미지 프로세서(1121)는, 제1 신호 프로세서(310), 제2 신호 프로세서(320) 및 제1 이미지 생성부(400)를 포함할 수 있다.
이하에서, 도 12 및 도 13을 참조하여, 본 발명의 몇몇 실시예들에 따른 이미지 프로세싱 장치에 대해 설명한다. 설명의 명확성을 위해, 앞서 설명한 것과 중복되는 설명은 생략한다.
도 12는 본 발명의 몇몇 실시예들에 따른 이미지 프로세싱 장치의 예시적인 블록도이다. 도 13은 도 12의 제2 이미지 생성부(500)에 관한 몇몇 실시예를 설명하기 위한 예시적인 블록도이다.
도 12 및 도 13을 참조하면, 이미지 프로세서(1121)는, 제1 내지 제3 이미지 신호(is1 내지 is3)를 입력 받을 수 있다. 이미지 프로세서(1121)는, 제1 신호 프로세서(310), 제4 신호 프로세서(340), 제5 신호 프로세서(350), 및 제2 이미지 생성부(500)를 포함할 수 있다. 제2 이미지 생성부(500)는, 제4 신호 프로세서(340)의 출력 신호(is2a)와 제5 신호 프로세서(350)의 출력 신호(is3a)를 입력 받아, 선택 신호(SS)에 기초하여, 제4 신호 프로세서(340)의 출력 신호(is2a)와 제5 신호 프로세서(350)의 출력 신호(is3a) 중 어느 하나를 출력하는 제10 셀렉터(299)를 포함할 수 있다.
제4 신호 프로세서(340)는, 제2 인터페이스(120)를 통과한 제2 이미지 신호(is2)를 입력 받고, 제1 이미지 신호 프로세싱을 수행하여, 출력 신호(isa)를 출력할 수 있다. 제5 신호 프로세서(350)는, 제3 인터페이스(130)를 통과한 제3 이미지 신호(is3)를 입력 받고, 제1 이미지 신호 프로세싱을 수행하여, 출력 신호(is3a)를 출력할 수 있다. 제4 신호 프로세서(340)와 제5 신호 프로세서(350)는, 도 1 및 도 3을 참조하여 설명한 제1 신호 프로세서(도 1의 310)와 실질적으로 동일한 것일 수 있다.
제1 신호 프로세서(310)의 출력 신호(is1a), 제4 신호 프로세서(340)의 출력 신호(is2a) 및 제5 신호 프로세서(350)의 출력 신호(is3a)는, 제2 이미지 생성부(500)에 제공될 수 있다.
제2 이미지 생성부(500)에 포함된 제10 셀렉터(299)는, 도 1을 참조하여 설명한 제1 셀렉터(210)와 실질적으로 동일한 기능을 수행할 수 있다. 따라서, 제1 조건(C1) 하에서 출력 신호(isa)는 제4 신호 프로세서(340)의 출력 신호(is2a)일 수 있고, 제2 조건(C2) 하에서 출력 신호(isa)는 제5 신호 프로세서(350)의 출력 신호(is3a)일 수 있다.
깊이 정보 생성 유닛(410)은, 제10 셀렉터(299)의 출력 신호(isa)와 제1 신호 프로세서(310)의 출력 신호(is1a)를 입력 받고, 깊이 정보(is_410a) 및 대응 거리 정보(is_410b)를 생성할 수 있다. 제1 출력 이미지 생성 유닛(420)은, 제1 신호 프로세서(310)의 출력 신호(is1a)와 깊이 정보(is_410a)를 입력 받고, 제1 출력 이미지(io1)를 생성할 수 있다. 제2 출력 이미지 생성 유닛(430)은, 제1 신호 프로세서(310)의 출력 신호(is1a), 제10 셀렉터(299)의 출력 신호(isa) 및 대응 거리 정보(is_410b)를 입력 받고, 제2 출력 이미지(io2)를 생성할 수 있다. 제3 출력 이미지 생성 유닛(440)은, 줌 셀렉터(441)의 출력 신호를 이용하여, 제3 출력 이미지(io3)를 생성할 수 있다.
이하에서, 도 14를 참조하여, 본 발명의 몇몇 실시예들에 따른 이미지 프로세싱 방법에 대해 설명한다. 설명의 명확성을 위해, 앞서 설명한 것과 중복되는 설명은 생략한다.
도 14는 본 발명의 몇몇 실시예들에 따른 제1 셀렉터(도 1의 210), 제6 셀렉터(도 10의 260), 제9 셀렉터(도 11의 290) 및 제10 셀렉터(도 13의 299)의 동작을 설명하기 위한 순서도이다.
도 14를 참조하면, 제2 이미지 신호와 제3 이미지 신호를 제공받을 수 있다(S100).
구체적으로, 예를 들어, 셀렉터(도 1의 210, 도 10의 260, 도 11의 290, 도 13의 299)는 제2 카메라 모듈(도 1, 도 9, 도 11 및 도 12의 1112)로부터 생성된 제2 이미지 신호(is2)와, 제3 카메라 모듈(도 1, 도 9, 도 11 및 도 12의 1113)로부터 생성된 제3 이미지 신호(is3)를 제공 받을 수 있다.
단계(S200)에서, 조도와 기결정된 값의 비교가 수행될 수 있다. 조도가 기결정된 값보다 크거나 같으면 (즉, 제1 조건(C1)인 경우), 단계(S300)에서, 셀렉터(도 1의 210, 도 10의 260, 도 11의 290, 도 13의 299)은 제2 이미지 신호(is2)를 출력할 수 있다. 조도가 기결정된 값보다 작으면 (즉, 제2 조건(C2)인 경우), 단계(S400)에서, 셀렉터(도 1의 210, 도 10의 260, 도 11의 290, 도 13의 299)은 제3 이미지 신호(is3)를 출력할 수 있다.
이미지 프로세서(1121)는 제1 이미지 신호(is1)와 셀렉터(도 1의 210, 도 10의 260, 도 11의 290, 도 13의 299)의 출력 신호를 이용하여, 출력 이미지(io)를 생성하는 것을 포함할 수 있다.
본 발명의 기술적 사상에 따른 이미지 프로세싱 장치는, 제2 이미지 신호(is2)와 제3 이미지 신호(is3) 중 어느 하나를 선택하여 출력하는 셀렉터(도 1의 210, 도 10의 260, 도 11의 290, 도 13의 299)을 포함할 수 있다.
제1 조건(C1)의 경우, 셀렉터(도 1의 210, 도 10의 260, 도 11의 290, 도 13의 299)는 제2 이미지 신호(is2)(또는 제4 신호 프로세서(도 12의 340)의 출력 신호(is2a))를 선택하여 출력할 수 있다. 이미지 프로세서(1121)는, 제1 카메라 모듈(도 1, 도 9, 도 11 및 도 12의 1111)로부터 생성된 제1 이미지 신호(is1)와 제2 카메라 모듈(도 1, 도 9, 도 11 및 도 12의 1112)로부터 생성된 제2 이미지 신호(is2)를 이용하여 출력 이미지(io)를 생성할 수 있다. 제1 카메라 모듈 (도 1, 도 9, 도 11 및 도 12의 1111)의 제1 렌즈(L1)는 광각 렌즈이고, 제2 카메라 모듈(도 1, 도 9, 도 11 및 도 12의 1112)의 제2 렌즈(L2)는 망원 렌즈일 수 있다. 따라서, 조도가 비교적 높은 경우, 이미지 프로세싱 장치의 줌 동작 성능이 향상될 수 있다.
제2 조건(C2)의 경우, 셀렉터(도 1의 210, 도 10의 260, 도 11의 290, 도 13의 299)는 제3 이미지 신호(is3)(또는 제5 신호 프로세서(도 12의 350)의 출력 신호(is3a))를 선택하여 출력할 수 있다. 프로세서(1120)는, 제1 카메라 모듈(도 1, 도 9, 도 11 및 도 12의 1111)로부터 생성된 제1 이미지 신호(is1)와 제3 카메라 모듈(도 1, 도 9, 도 11 및 도 12의 1113)로부터 생성된 제3 이미지 신호(is3)를 이용하여 출력 이미지(io)를 생성할 수 있다. 제1 카메라 모듈(도 1, 도 9, 도 11 및 도 12의 1111)의 제1 이미지 센서(1011)는 컬러 이미지 센서이고, 제3 카메라 모듈(도 1, 도 9, 도 11 및 도 12의 1113)의 제3 이미지 센서(1031)는 흑백 이미지 센서일 수 있다. 조도가 비교적 낮은 경우, 흑백 이미지 센서는 이미지에 대한 감도(sensitivity)가 컬러 이미지 센서에 비해 높을 수 있다. 따라서, 조도가 비교적 낮은 경우, 이미지 프로세싱 장치의 출력 이미지(io)의 품질은 향상될 수 있다.
이하에서, 도 15 및 도 16을 참조하여 본 발명의 몇몇 실시예들에 따른 이미지 프로세싱 장치를 포함하는 이미지 시스템에 대해 설명한다.
도 15는 본 발명의 몇몇 실시예들에 따른 이미지 프로세싱 장치를 포함하는 이미지 시스템의 예시적인 블록도이다. 도 16은 본 발명의 몇몇 실시예들에 따른 이미지 프로세싱 장치를 포함하는 이미지 시스템의 일부분을 도시한 예시적인 블록도이다.
도 15를 참조하면, 이미지 시스템은, 카메라 모듈(1110), 프로세서(1120), 기억 장치(1130), 인터페이스(1140) 및 버스(1150, bus)를 포함할 수 있다. 카메라 모듈(1110), 프로세서(1120), 기억 장치(1130) 및/또는 인터페이스(1140)는 버스(1150)를 통하여 서로 접속될 수 있다. 버스(1150)는, 카메라 모듈(1110), 프로세서(1120), 기억 장치(1130), 및/또는 인터페이스(1140) 사이의 데이터들이 이동되는 통로(path)에 해당할 수 있다.
기억 장치(1130)는 데이터 및/또는 명령어등을 저장할 수 있다. 인터페이스(1140)는 통신 네트워크로 데이터를 전송하거나 통신 네트워크로부터 데이터를 수신하는 기능을 수행할 수 있다. 인터페이스(1140)는 유선 또는 무선 형태일 수 있다. 예컨대, 인터페이스(1140)는 안테나 또는 유무선 트랜시버등을 포함할 수 있다.
도시하지 않았지만, 이미지 시스템은 카메라 모듈(1110)과 프로세서(1120)의 동작을 향상시키기 위한 동작 메모리로서, 고속의 DRAM 및/또는 SRAM 등을 더 포함할 수도 있다.
이미지 시스템은 개인 휴대용 정보 단말기(PDA, personal digital assistant) 포터블 컴퓨터(portable computer), 웹 타블렛(web tablet), 무선 전화기(wireless phone), 모바일 폰(mobile phone), 또는 정보를 무선환경에서 송신 및/또는 수신할 수 있는 모든 전자 제품에 적용될 수 있다.
몇몇 실시예에서, 이미지 시스템은, 모바일 폰에 적용될 수 있다. 예를 들어, 도 16을 참조하면, 프로세서(1120)와 인터페이스(1140)는, 기판(1100) 상에 배치되어 하나의 보드(board) 형태로 구현될 수 있다. 카메라 모듈(1110)은, 인터페이스(1140)를 통해 프로세서(1120)와 통신할 수 있다. 기판(1100)은, 예를 들어, 모바일 폰의 기판일 수 있다. 프로세서(1120)는, 예를 들어, 모바일 폰에 내장된 어플리케이션 프로세서(AP; Application Processor)일 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였으나, 본 발명은 상기 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 제조될 수 있으며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
1110: 카메라 모듈 1120: 프로세서
L1: 제1 렌즈 1011: 제1 이미지 센서
210: 제1 셀렉터 400: 제1 이미지 생성부

Claims (10)

  1. 제1 렌즈;
    상기 제1 렌즈의 일측에 배치되는 제2 렌즈;
    상기 제1 렌즈의 타측에 배치되는 제3 렌즈;
    상기 제1 렌즈로부터 얻어진 제1 이미지를 입력 받아, 제1 이미지 신호를 생성하는 제1 이미지 센서;
    상기 제2 렌즈로부터 얻어진 제2 이미지를 입력 받아, 제2 이미지 신호를 생성하는 제2 이미지 센서;
    상기 제3 렌즈로부터 얻어진 제3 이미지를 입력 받아, 제3 이미지 신호를 생성하는 제3 이미지 센서;
    상기 제2 이미지 신호와 상기 제3 이미지 신호를 입력 받아, 제1 조건에서 상기 제2 이미지 신호를 출력하고, 상기 제1 조건과 상이한 제2 조건에서 상기 제3 이미지 신호를 출력하는 셀렉터(selector); 및
    상기 제1 이미지 신호와, 상기 셀렉터의 출력 신호를 이용하여 이미지 프로세싱을 수행하는 이미지 프로세서를 포함하는 이미지 프로세싱 장치.
  2. 제 1항에 있어서,
    상기 제1 렌즈 및 상기 제3 렌즈는 광각 렌즈이고,
    상기 제2 렌즈는 망원 렌즈인 이미지 프로세싱 장치.
  3. 제 1항에 있어서,
    상기 제1 이미지 센서와 상기 제2 이미지 센서는 컬러 이미지 센서이고,
    상기 제3 이미지 센서는 흑백 이미지 센서인 이미지 프로세싱 장치.
  4. 제 1항에 있어서,
    상기 제2 렌즈는 상기 제1 렌즈로부터 제1 거리만큼 이격되어 배치되고,
    상기 제3 렌즈는 상기 제1 렌즈로부터 제2 거리만큼 이격되어 배치되고,
    상기 제1 거리와 상기 제2 거리는 동일한 이미지 프로세싱 장치.
  5. 제 1항에 있어서,
    상기 이미지 프로세서는,
    상기 제1 이미지 신호를 입력 받아, 제1 이미지 신호 프로세싱을 수행하는 제1 신호 프로세서와,
    상기 셀렉터의 출력 신호를 입력 받아, 제2 이미지 신호 프로세싱을 수행하는 제2 신호 프로세서를 포함하는 이미지 프로세싱 장치.
  6. 제 1항에 있어서,
    상기 이미지 프로세서는,
    상기 제1 이미지 신호를 입력 받아, 제1 이미지 신호 프로세싱을 수행하는 제1 신호 프로세서와,
    상기 제2 이미지 신호 및 상기 제3 이미지 신호를 입력 받아, 제3 이미지 신호 프로세싱을 수행하는 제3 신호 프로세서를 포함하고,
    상기 셀렉터는, 상기 제3 신호 프로세서 내에 배치되는 이미지 프로세싱 장치.
  7. 제 1항에 있어서,
    상기 이미지 프로세싱 장치는, 카메라 모듈 및 프로세서를 포함하고,
    상기 카메라 모듈은, 상기 제1 내지 제3 렌즈, 상기 제1 내지 제3 이미지 센서 및 상기 셀렉터를 포함하고,
    상기 이미지 프로세서는, 상기 프로세서 내에 배치되는 이미지 프로세싱 장치.
  8. 제 1항에 있어서,
    상기 이미지 프로세서는,
    상기 셀렉터가 배치된 이미지 생성부(image generator)와,
    상기 제1 이미지 신호를 입력 받아, 제1 이미지 신호 프로세싱을 수행하여 상기 이미지 생성부에 제공하는 제1 신호 프로세서와,
    상기 제2 이미지 신호를 입력 받아, 제4 이미지 신호 프로세싱을 수행하여 상기 셀렉터에 제공하는 제4 신호 프로세서와,
    상기 제3 이미지 신호를 입력 받아, 제5 이미지 신호 프로세싱을 수행하여 상기 셀렉터에 제공하는 제5 신호 프로세서를 포함하는 이미지 프로세싱 장치.
  9. 제1 카메라 모듈로부터 제1 이미지 신호를 제공 받는 이미지 프로세서; 및
    제2 카메라 모듈로부터 제2 이미지 신호를 제공 받고, 제3 카메라 모듈로부터 제3 이미지 신호를 제공 받아, 제1 조건에서 상기 제2 이미지 신호를 출력하고, 상기 제1 조건과 상이한 제2 조건에서 상기 제3 이미지 신호를 출력하는 제1 셀렉터를 포함하고,
    상기 이미지 프로세서는, 상기 제1 이미지 신호와, 상기 제1 셀렉터의 출력 신호를 이용하여 이미지 프로세싱을 수행하는 프로세서.
  10. 제 9항에 있어서,
    상기 제1 조건은, 조도가 기결정된 값보다 크거나, 상기 조도가 상기 기결정된 값과 동일한 것이고,
    상기 제2 조건은, 상기 조도가 상기 기결정된 값보다 작은 것인 프로세서.
KR1020170069040A 2017-06-02 2017-06-02 프로세서, 이를 포함하는 이미지 프로세싱 장치 및 이미지 프로세싱 방법 KR102204596B1 (ko)

Priority Applications (16)

Application Number Priority Date Filing Date Title
KR1020170069040A KR102204596B1 (ko) 2017-06-02 2017-06-02 프로세서, 이를 포함하는 이미지 프로세싱 장치 및 이미지 프로세싱 방법
US15/844,205 US10348978B2 (en) 2017-06-02 2017-12-15 Processor selecting between image signals in response to illuminance condition, image processing device including same, and related method for image processing
TW108121399A TWI720516B (zh) 2017-06-02 2018-03-06 應用處理器
TW107107370A TWI796323B (zh) 2017-06-02 2018-03-06 手機及影像處理裝置
TW108121401A TWI811386B (zh) 2017-06-02 2018-03-06 應用處理器
CN202010581303.2A CN111787220B (zh) 2017-06-02 2018-05-28 应用处理器
CN201910488444.7A CN110113519A (zh) 2017-06-02 2018-05-28 照相机模块
CN201810523612.7A CN108989655B (zh) 2017-06-02 2018-05-28 图像处理装置
CN201910487817.9A CN110225232B (zh) 2017-06-02 2018-05-28 图像处理装置
CN201910487816.4A CN110149467B (zh) 2017-06-02 2018-05-28 移动电话
CN201910488440.9A CN110149468A (zh) 2017-06-02 2018-05-28 应用处理器
US16/427,127 US10708517B2 (en) 2017-06-02 2019-05-30 Image processing device that generates and selects between multiple image signals based on zoom selection
US16/427,121 US10798312B2 (en) 2017-06-02 2019-05-30 Cellular phone including application processor the generates image output signals based on multiple image signals from camera modules and that performs rectification to correct distortion in the image output signals
US16/427,116 US10805555B2 (en) 2017-06-02 2019-05-30 Processor that processes multiple images to generate a single image, image processing device including same, and method for image processing
US16/427,122 US10666876B2 (en) 2017-06-02 2019-05-30 Application processor that processes multiple images to generate a single image, and includes a depth image generator configured to generate depth information based on disparity information and to configured to correct distortion by row alignment
US16/888,673 US11153506B2 (en) 2017-06-02 2020-05-30 Application processor including multiple camera serial interfaces receiving image signals from multiple camera modules

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170069040A KR102204596B1 (ko) 2017-06-02 2017-06-02 프로세서, 이를 포함하는 이미지 프로세싱 장치 및 이미지 프로세싱 방법

Publications (2)

Publication Number Publication Date
KR20180132299A true KR20180132299A (ko) 2018-12-12
KR102204596B1 KR102204596B1 (ko) 2021-01-19

Family

ID=64460847

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170069040A KR102204596B1 (ko) 2017-06-02 2017-06-02 프로세서, 이를 포함하는 이미지 프로세싱 장치 및 이미지 프로세싱 방법

Country Status (4)

Country Link
US (6) US10348978B2 (ko)
KR (1) KR102204596B1 (ko)
CN (6) CN108989655B (ko)
TW (3) TWI796323B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11206352B2 (en) 2018-03-26 2021-12-21 Huawei Technologies Co., Ltd. Shooting method, apparatus, and device

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7065997B2 (ja) * 2018-03-20 2022-05-12 華為技術有限公司 端末
US11108995B2 (en) * 2018-09-11 2021-08-31 Draeger Medical Systems, Inc. System and method for gas detection
CN112788201A (zh) * 2019-11-07 2021-05-11 虹软科技股份有限公司 摄像系统
KR20220049871A (ko) * 2020-10-15 2022-04-22 삼성전자주식회사 카메라 모듈 및 이를 포함하는 전자 장치
CN112233037B (zh) * 2020-10-23 2021-06-11 新相微电子(上海)有限公司 基于图像分割的图像增强系统及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160100785A (ko) * 2015-02-16 2016-08-24 삼성전자주식회사 복수의 센서 데이터를 처리하는 데이터 처리 장치 및 상기 장치를 포함하는 데이터 처리 시스템
KR20170060414A (ko) * 2015-11-24 2017-06-01 삼성전자주식회사 디지털 촬영 장치 및 그 동작 방법

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH068869A (ja) 1991-01-29 1994-01-18 Kouta Nezu 車両の操向装置
US5347476A (en) * 1992-11-25 1994-09-13 Mcbean Sr Ronald V Instrumentation system with multiple sensor modules
US7071971B2 (en) * 1997-08-25 2006-07-04 Elbex Video Ltd. Apparatus for identifying the scene location viewed via remotely operated television camera
JP2001245266A (ja) 2000-02-25 2001-09-07 Matsushita Electric Ind Co Ltd 携帯型情報通信端末装置
JP2003018445A (ja) 2001-07-05 2003-01-17 Fuji Photo Film Co Ltd 画像撮像装置
JP2005099265A (ja) * 2003-09-24 2005-04-14 Fujinon Corp 撮像装置および撮像方法、ならびに測距方法
JP4210189B2 (ja) 2003-09-24 2009-01-14 フジノン株式会社 撮像装置
FI117843B (fi) * 2004-08-02 2007-03-15 Nokia Corp Elektroninen laite ja menetelmä elektronisessa laitteessa kuvainformaation muodostamiseksi ja vastaava ohjelmatuote
US7561191B2 (en) 2005-02-18 2009-07-14 Eastman Kodak Company Camera phone using multiple lenses and image sensors to provide an extended zoom range
US7284921B2 (en) * 2005-05-09 2007-10-23 Silverbrook Research Pty Ltd Mobile device with first and second optical pathways
US7964835B2 (en) * 2005-08-25 2011-06-21 Protarius Filo Ag, L.L.C. Digital cameras with direct luminance and chrominance detection
US9101279B2 (en) * 2006-02-15 2015-08-11 Virtual Video Reality By Ritchey, Llc Mobile user borne brain activity data and surrounding environment data correlation system
EP1942660A1 (en) * 2007-01-02 2008-07-09 STMicroelectronics (Research & Development) Limited Improvements in image sensor noise reduction
US7676146B2 (en) * 2007-03-09 2010-03-09 Eastman Kodak Company Camera using multiple lenses and image sensors to provide improved focusing capability
US7855740B2 (en) * 2007-07-20 2010-12-21 Eastman Kodak Company Multiple component readout of image sensor
CN101408720A (zh) * 2007-10-11 2009-04-15 鸿富锦精密工业（深圳）有限公司 便携式电子装置
US8179452B2 (en) * 2008-12-31 2012-05-15 Lg Electronics Inc. Method and apparatus for generating compressed file, and terminal comprising the apparatus
WO2010108119A2 (en) 2009-03-19 2010-09-23 Flextronics Ap, Llc Dual sensor camera
JP5220666B2 (ja) * 2009-03-24 2013-06-26 オリンパスイメージング株式会社 撮影装置およびライブビュー表示方法
US9460601B2 (en) * 2009-09-20 2016-10-04 Tibet MIMAR Driver distraction and drowsiness warning and sleepiness reduction for accident avoidance
JP5658451B2 (ja) * 2009-11-30 2015-01-28 ソニー株式会社 情報処理装置、情報処理方法及びそのプログラム
CN102118551A (zh) * 2009-12-31 2011-07-06 鸿富锦精密工业（深圳）有限公司 成像装置
WO2011091091A1 (en) * 2010-01-19 2011-07-28 Delacom Detection Systems, Llc A method, device and system for determining the presence of volatile organic compounds (voc) in video
US8736695B2 (en) * 2010-11-12 2014-05-27 Qualcomm Incorporated Parallel image processing using multiple processors
JP5816015B2 (ja) 2011-07-15 2015-11-17 株式会社東芝 固体撮像装置及びカメラモジュール
US9110332B2 (en) 2012-03-29 2015-08-18 Shenzhen China Star Optoelectronics Technology Co., Ltd. Backlight module and liquid crystal display
US9568985B2 (en) * 2012-11-23 2017-02-14 Mediatek Inc. Data processing apparatus with adaptive compression algorithm selection based on visibility of compression artifacts for data communication over camera interface and related data processing method
CN113472989A (zh) * 2012-11-28 2021-10-01 核心光电有限公司 多孔径成像系统以及通过多孔径成像系统获取图像的方法
JP6100089B2 (ja) * 2013-05-17 2017-03-22 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
CN108989647B (zh) 2013-06-13 2020-10-20 核心光电有限公司 双孔径变焦数字摄影机
US9544574B2 (en) * 2013-12-06 2017-01-10 Google Inc. Selecting camera pairs for stereoscopic imaging
US20150334309A1 (en) * 2014-05-16 2015-11-19 Htc Corporation Handheld electronic apparatus, image capturing apparatus and image capturing method thereof
CN105338338B (zh) * 2014-07-17 2018-01-02 诺基亚技术有限公司 用于成像条件检测的方法和装置
KR102157675B1 (ko) * 2014-07-25 2020-09-18 삼성전자주식회사 촬영 장치 및 그 촬영 방법
US9392188B2 (en) * 2014-08-10 2016-07-12 Corephotonics Ltd. Zoom dual-aperture camera with folded lens
TWM511632U (zh) * 2015-02-03 2015-11-01 Largan Precision Co Ltd 相機模組及電子裝置
KR102459917B1 (ko) * 2015-02-23 2022-10-27 삼성전자주식회사 이미지 신호 프로세서와 이를 포함하는 장치들
KR102195407B1 (ko) * 2015-03-16 2020-12-29 삼성전자주식회사 이미지 신호 프로세서와 이를 포함하는 장치들
US10708526B2 (en) * 2015-04-22 2020-07-07 Motorola Mobility Llc Method and apparatus for determining lens shading correction for a multiple camera device with various fields of view
TWI599809B (zh) * 2015-04-23 2017-09-21 聚晶半導體股份有限公司 鏡頭模組陣列、影像感測裝置與數位縮放影像融合方法
KR102480600B1 (ko) * 2015-10-21 2022-12-23 삼성전자주식회사 이미지 처리 장치의 저조도 화질 개선 방법 및 상기 방법을 수행하는 이미지 처리 시스템의 동작 방법
WO2017100099A1 (en) * 2015-12-07 2017-06-15 Flir Systems, Inc. Uncooled gas imaging camera
KR101751140B1 (ko) * 2015-12-24 2017-06-26 삼성전기주식회사 이미지 센서 및 카메라 모듈
KR102560780B1 (ko) * 2016-10-05 2023-07-28 삼성전자주식회사 복수의 이미지 센서를 포함하는 이미지 처리 시스템 및 그것을 포함하는 전자 장치
CN106454101A (zh) * 2016-10-25 2017-02-22 宇龙计算机通信科技(深圳)有限公司 一种图像处理方法和终端

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160100785A (ko) * 2015-02-16 2016-08-24 삼성전자주식회사 복수의 센서 데이터를 처리하는 데이터 처리 장치 및 상기 장치를 포함하는 데이터 처리 시스템
KR20170060414A (ko) * 2015-11-24 2017-06-01 삼성전자주식회사 디지털 촬영 장치 및 그 동작 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11206352B2 (en) 2018-03-26 2021-12-21 Huawei Technologies Co., Ltd. Shooting method, apparatus, and device

Also Published As

Publication number Publication date
CN110149467A (zh) 2019-08-20
CN110113519A (zh) 2019-08-09
TW201937448A (zh) 2019-09-16
US20190281231A1 (en) 2019-09-12
US11153506B2 (en) 2021-10-19
US10708517B2 (en) 2020-07-07
TWI811386B (zh) 2023-08-11
US20190281232A1 (en) 2019-09-12
CN110225232A (zh) 2019-09-10
CN108989655B (zh) 2022-03-22
TW201903707A (zh) 2019-01-16
US20190281230A1 (en) 2019-09-12
CN111787220B (zh) 2022-03-22
TWI796323B (zh) 2023-03-21
CN108989655A (zh) 2018-12-11
US20180352169A1 (en) 2018-12-06
US20190289222A1 (en) 2019-09-19
KR102204596B1 (ko) 2021-01-19
CN110149468A (zh) 2019-08-20
US10348978B2 (en) 2019-07-09
CN111787220A (zh) 2020-10-16
US10798312B2 (en) 2020-10-06
US20200296299A1 (en) 2020-09-17
US10666876B2 (en) 2020-05-26
TW201937449A (zh) 2019-09-16
US10805555B2 (en) 2020-10-13
TWI720516B (zh) 2021-03-01
CN110225232B (zh) 2022-01-04
CN110149467B (zh) 2021-02-09

Similar Documents

Publication Publication Date Title
KR102204596B1 (ko) 프로세서, 이를 포함하는 이미지 프로세싱 장치 및 이미지 프로세싱 방법
KR102480600B1 (ko) 이미지 처리 장치의 저조도 화질 개선 방법 및 상기 방법을 수행하는 이미지 처리 시스템의 동작 방법
TWI383666B (zh) 多重鏡頭相機系統之先進式動態接圖方法
JP2018152782A (ja) 画像処理システム、撮像装置、画像処理方法及びプログラム
CN112202986A (zh) 图像处理方法、图像处理装置、可读介质及其电子设备
KR101626447B1 (ko) 렌즈 왜곡과 색수차를 보정하는 장치, 방법, 및 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능 매체
KR102285756B1 (ko) 전자 시스템 및 영상 처리 방법
US20070024718A1 (en) Image capturing device and image adjusting method thereof
CN114298889A (zh) 图像处理电路和图像处理方法
WO2021102857A1 (zh) 图像处理方法、装置、设备及存储介质
US20070177018A1 (en) Image sensor coprocessor
US20230007197A1 (en) Electronic device and method for controlling the same
KR100455159B1 (ko) 휴대 단말기 카메라 센서의 실시간 화질 제어 장치 및 방법
CN109688333B (zh) 彩色图像获取方法、装置、设备以及存储介质
JP2007036696A (ja) 画像補正装置
TW202411881A (zh) 影像處理方法、裝置、電子設備及介質
CN116362982A (zh) 一种图像处理方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant