KR20170046498A - 이미지 처리 장치의 저조도 화질 개선 방법 및 상기 방법을 수행하는 이미지 처리 시스템의 동작 방법 - Google Patents
이미지 처리 장치의 저조도 화질 개선 방법 및 상기 방법을 수행하는 이미지 처리 시스템의 동작 방법 Download PDFInfo
- Publication number
- KR20170046498A KR20170046498A KR1020150146914A KR20150146914A KR20170046498A KR 20170046498 A KR20170046498 A KR 20170046498A KR 1020150146914 A KR1020150146914 A KR 1020150146914A KR 20150146914 A KR20150146914 A KR 20150146914A KR 20170046498 A KR20170046498 A KR 20170046498A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- camera module
- sensor
- illuminance
- image sensor
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 60
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000005286 illumination Methods 0.000 claims abstract description 35
- 230000009977 dual effect Effects 0.000 claims description 11
- 230000006872 improvement Effects 0.000 claims description 9
- 238000010586 diagram Methods 0.000 description 24
- 230000006870 function Effects 0.000 description 12
- 230000002950 deficient Effects 0.000 description 7
- 230000004075 alteration Effects 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000002194 synthesizing effect Effects 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Classifications
-
- H04N5/235—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H04N5/2351—
-
- H04N5/2355—
-
- H04N5/355—
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
Abstract
이미지 처리 장치의 저조도 화질 개선 방법이 개시된다. 본 발명의 일 실시예에 따르면, RWB 이미지 센서로부터 제1 이미지를 수신하는 단계, RGB 이미지 센서로부터 제2 이미지를 수신하는 단계, 조도 센서로부터 조도 값을 수신하는 단계, 및 상기 조도 값에 기초하여, 상기 제1 이미지 또는 상기 제2 이미지 중 적어도 하나의 이미지를 선택하고, 선택된 상기 적어도 하나의 이미지를 이용하여, 제3 이미지를 생성하는 단계를 포함한다.
Description
본 발명의 개념에 따른 실시예는 이미지 처리 장치의 저조도 화질 개선 방법 및 상기 방법을 수행하는 이미지 처리 시스템의 동작 방법으로써, 특히 듀얼 카메라로부터 수신된 이미지들을 이용하여 저조도 화질을 개선하는 이미지 처리 장치의 저조도 화질 개선 방법 및 상기 방법을 수행하는 이미지 처리 시스템의 동작 방법에 관한 것이다.
최근의 멀티미디어 장치들은 카메라 모듈을 구비하고, 애플리케이션 프로그램들과 결합하여, 그 기능을 다양화하고 있다. 구체적으로, 카메라 모듈을 통해 입사되어 변환된 이미지를 이용하여, 고 동적 범위 이미지(high dynamic range image), 스테레오 이미지(stereo image) 등을 생성하거나 특정한 객체(object)의 검출(detection) 및 인식(recognition) 등을 수행하는 것 등을 예로 들 수 있다.
그러나, 상술한 기능은 멀티미디어 장치들이 작동하는 주변 환경의 영향을 받을 수 있다. 특히, 카메라 모듈에 입사되는 빛의 양이 충분치 않은 경우 즉, 저조도 환경에서는, 대부분의 픽셀이 어둡게 나타나고, 이로 인해 물체를 구별할 수 없을 뿐 아니라 색 정보의 왜곡이 크게 발생하여 화질이 저하된 특성을 갖는 이미지를 취득하게 된다.
따라서, 상술한 기능이 본래 추구하고자 하는 목적을 달성하기 위해, 카메라 모듈에 의하여 생성되는 이미지의 화질을 실시간(Real-Time)으로 개선시킬 수 있는 방안이 필요하다.
본 발명이 이루고자 하는 기술적인 과제는 실시간으로 저조도 화질을 개선하는 이미지 처리 장치의 저조도 화질 개선 방법 및 상기 방법을 수행하는 이미지 처리 시스템의 동작 방법을 제공하는 것이다.
본 발명의 실시예에 따른 이미지 처리 장치의 저조도 화질 개선 방법은, RWB 이미지 센서로부터 제1 이미지를 수신하는 단계, RGB 이미지 센서로부터 제2 이미지를 수신하는 단계, 조도 센서로부터 조도 값을 수신하는 단계, 및 상기 조도 값에 기초하여, 상기 제1 이미지 또는 상기 제2 이미지 중 적어도 하나의 이미지를 선택하고, 선택된 상기 적어도 하나의 이미지를 이용하여, 제3 이미지를 생성하는 단계를 포함한다.
실시예에 따라, 이미지 처리 장치의 저조도 화질 개선 방법은, 상기 RWB 이미지 센서 및 상기 RWB 이미지 센서의 작동 모드에 관한 정보를 수신하는 단계를 더 포함한다.
실시예에 따라, 상기 제3 이미지를 생성하는 단계는, 상기 RWB 이미지 센서 및 상기 RGB 이미지 센서의 작동 모드가 스틸 모드인 경우에, 상기 조도 값이 제1 임계 조도 미만이면, 상기 제1 이미지를 상기 제3 이미지로써 생성하고, 상기 조도 값이 상기 제1 임계 조도 이상이면, 상기 제2 이미지를 상기 제3 이미지로써 생성한다.
실시예에 따라, 이미지 처리 장치의 저조도 화질 개선 방법은, 상기 RWB 이미지 센서 및 상기 RGB 이미지 센서의 작동 모드가 스틸 모드인 경우에, 상기 조도 값이 제1 임계 조도 미만이면, 제2 카메라 모듈의 전원을 오프시키고, 상기 조도 값이 상기 제1 임계 조도 이상이면, 상기 제1 카메라 모듈의 전원을 오프시키는 단계를 포함하고, 상기 제1 카메라 모듈은 상기 RWB 이미지 센서를 포함하고, 상기 제2 카메라 모듈은 상기 RGB 이미지 센서를 포함한다.
실시예에 따라, 상기 제3 이미지를 생성하는 단계는, 상기 RWB 이미지 센서 및 상기 RGB 이미지 센서의 작동 모드가 비디오 모드인 경우에, 상기 조도 값에 기초하여, 상기 제1 이미지 및 상기 제2 이미지를 보간한 보간 이미지를 상기 제3 이미지로써 생성한다.
실시예에 따라, 상기 보간에 사용되는 보간 계수는 상기 조도 값의 변화에 따라 미리 생성된 룩업 테이블에 기초하여 결정된다.
실시예에 따라, 이미지 처리 장치의 저조도 화질 개선 방법은, 상기 RWB 이미지 센서 및 상기 RGB 이미지 센서의 작동 모드가 비디오 모드인 경우에, 상기 조도 값이 제2 임계 조도 미만이면, 제2 카메라 모듈의 전원을 오프시키고, 상기 조도 값이 제3 임계 조도 이상이면, 상기 제1 카메라 모듈의 전원을 오프시키는 단계를 포함하고, 상기 제1 카메라 모듈은 상기 RWB 이미지 센서를 포함하고, 상기 제2 카메라 모듈은 상기 RGB 이미지 센서를 포함한다.
본 발명의 다른 실시예에 따른, 이미지 처리 시스템의 동작 방법은, 듀얼 카메라로부터 수신된 이미지들을 이용하여 저조도 화질을 개선하는 이미지 처리 시스템의 동작 방법에 있어서, 상기 듀얼 카메라에 포함된 RWB 이미지 센서, 및 RGB 이미지 센서 각각으로부터 제1 이미지 및 제2 이미지를 수신하는 단계, 상기 듀얼 카메라의 작동 모드에 관한 정보를 수신하고, 상기 작동 모드에 관한 정보에 기초하여, 상기 듀얼 카메라의 작동 모드를 판단하는 단계, 조도 센서로부터 조도 값을 수신하는 단계, 및 상기 조도 값에 기초하여, 상기 제1 이미지 또는 상기 제2 이미지 중 적어도 하나의 이미지를 선택하고, 상기 선택된 적어도 하나의 이미지를 이용하여, 제3 이미지를 생성하는 단계를 포함한다.
실시예에 따라, 상기 제3 이미지를 생성하는 단계는, 상기 RWB 이미지 센서 및 상기 RGB 이미지 센서의 작동 모드가 스틸 모드인 경우에, 상기 조도 값이 제1 임계 조도 미만이면, 상기 제1 이미지를 상기 제3 이미지로써 생성하고, 상기 조도 값이 상기 제1 임계 조도 이상이면, 상기 제2 이미지를 상기 제3 이미지로써 생성한다.
실시예에 따라, 이미지 처리 시스템의 동작 방법은, 상기 RWB 이미지 센서 및 상기 RGB 이미지 센서의 작동 모드가 스틸 모드인 경우에, 상기 조도 값이 제1 임계 조도 미만이면, 제2 카메라 모듈의 전원을 오프시키고, 상기 조도 값이 상기 제1 임계 조도 이상이면, 상기 제1 카메라 모듈의 전원을 오프시키는 단계를 포함하고, 상기 제1 카메라 모듈은 상기 RWB 이미지 센서를 포함하고, 상기 제2 카메라 모듈은 상기 RGB 이미지 센서를 포함한다.
실시예에 따라, 상기 제3 이미지를 생성하는 단계는, 상기 RWB 이미지 센서 및 상기 RGB 이미지 센서의 작동 모드가 비디오 모드인 경우에, 상기 조도 값에 기초하여, 상기 제1 이미지 및 상기 제2 이미지를 보간한 보간 이미지를 상기 제3 이미지로써 생성한다.
실시 예에 따라, 상기 보간에 사용되는 보간 계수는 상기 조도 값의 변화에 따라 미리 생성된 룩업 테이블에 기초하여 결정된다.
실시예에 따라, 이미지 처리 시스템의 동작 방법은, 상기 RWB 이미지 센서 및 상기 RGB 이미지 센서의 작동 모드가 비디오 모드인 경우에, 상기 조도 값이 제2 임계 조도 미만이면, 제2 카메라 모듈의 전원을 오프시키고, 상기 조도 값이 제3 임계 조도 이상이면, 상기 제1 카메라 모듈의 전원을 오프시키는 단계를 포함하고, 상기 제1 카메라 모듈은 상기 RWB 이미지 센서를 포함하고, 상기 제2 카메라 모듈은 상기 RGB 이미지 센서를 포함한다.
본 발명의 또 다른 실시예에 따른 이미지 처리 장치의 저조도 화질 개선 방법은, 상기 RWB 이미지 센서로부터 제1 이미지를 수신하는 단계, 상기 RGB 이미지 센서로부터 제2 이미지를 수신하는 단계, 및 상기 제1 이미지 또는 상기 제2 이미지 중 어느 하나의 이미지를 선택하고, 선택된 이미지를 최종 이미지로써 출력하는 단계를 포함한다.
실시예에 따라, 상기 제1 이미지 또는 상기 제2 이미지 중 어느 하나의 선택은, 조도 센서로부터 수신된 조도 값에 기초하여 이루어진다.
실시예에 따라, 상기 최종 이미지로써 생성하는 단계는 상기 조도 값이 제1 임계 조도 미만이면, 상기 제1 이미지를 상기 제3 이미지로써 출력하고, 상기 조도 값이 상기 제1 임계 조도 이상이면, 상기 제2 이미지를 상기 제3 이미지로써 출력한다.
본 발명의 일 실시예에 따른 이미지 처리 시스템은 RGB 이미지 센서와 RWB 이미지 센서를 함께 사용함으로써, 고조도 환경에서 촬영하는 경우뿐만 아니라, 저조도 환경에서 촬영하는 경우에도, 색 정보의 왜곡이 개선된 이미지들을 사용함으로써, 저조도 화질을 개선시키는 효과가 있다.
본 발명의 일 실시예에 따른 이미지 처리 시스템의 작동 과정에서 카메라 모듈의 작동 모드 및 조도 값에 따라, 카메라 모듈 중 어느 하나로부터 생성된 이미지와 관련된 일련의 처리 과정은 생략될 수 있다. 그리고, 상기 생략된 처리 과정에 의해, 계산 복잡도를 개선시키는 효과가 있다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 발명의 일 실시예에 따른 이미지 처리 시스템의 구성 블록도이다.
도 2는 도 1에 도시된 제1 프리 프로세서의 일 실시예를 나타내는 구성 블록도이다.
도 3은 도 2에 도시된 교정 엔진의 일 실시예를 나타내는 구성 블록도이다.
도 4는 도 2에 도시된 변환기의 일 실시예를 나타내는 구성 블록도이다.
도 5는 도 2에 도시된 이미지 합성 회로의 일 실시예를 나타내는 구성 블록도이다.
도 6a는 이미지 센서들의 작동 모드가 스틸 모드인 경우, 본 발명의 일 실시예에 따른 이미지 화질 개선 장치의 출력 이미지를 설명하기 위한 도면이다.
도 6b는 이미지 센서들의 작동 모드가 비디오 모드인 경우, 본 발명의 일 실시예에 따른 이미지 화질 개선 장치의 출력 이미지를 설명하기 위한 도면이다.
도 6c는 이미지 센서들의 작동 모드가 비디오 모드인 경우, 본 발명의 다른 실시예에 따른 이미지 화질 개선 장치의 출력 이미지를 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 이미지 처리 장치의 저조도 화질 개선 방법을 설명하기 위한 흐름도이다.
도 8은 도 7에 도시된 제3 이미지를 생성하는 단계를 보다 구체적으로 나타낸 흐름도이다.
도 9는 본 발명의 다른 실시예에 따른 이미지 처리 시스템의 구성 블록도이다.
도 10은 본 발명의 또 다른 실시예에 따른 이미지 처리 시스템의 구성 블록도이다.
도 11은 본 발명의 또 다른 실시예에 따른 이미지 처리 시스템의 구성 블록도이다.
도 12는 본 발명의 또 다른 실시예에 따른 이미지 처리 시스템의 구성 블록도이다.
도 1은 본 발명의 일 실시예에 따른 이미지 처리 시스템의 구성 블록도이다.
도 2는 도 1에 도시된 제1 프리 프로세서의 일 실시예를 나타내는 구성 블록도이다.
도 3은 도 2에 도시된 교정 엔진의 일 실시예를 나타내는 구성 블록도이다.
도 4는 도 2에 도시된 변환기의 일 실시예를 나타내는 구성 블록도이다.
도 5는 도 2에 도시된 이미지 합성 회로의 일 실시예를 나타내는 구성 블록도이다.
도 6a는 이미지 센서들의 작동 모드가 스틸 모드인 경우, 본 발명의 일 실시예에 따른 이미지 화질 개선 장치의 출력 이미지를 설명하기 위한 도면이다.
도 6b는 이미지 센서들의 작동 모드가 비디오 모드인 경우, 본 발명의 일 실시예에 따른 이미지 화질 개선 장치의 출력 이미지를 설명하기 위한 도면이다.
도 6c는 이미지 센서들의 작동 모드가 비디오 모드인 경우, 본 발명의 다른 실시예에 따른 이미지 화질 개선 장치의 출력 이미지를 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 이미지 처리 장치의 저조도 화질 개선 방법을 설명하기 위한 흐름도이다.
도 8은 도 7에 도시된 제3 이미지를 생성하는 단계를 보다 구체적으로 나타낸 흐름도이다.
도 9는 본 발명의 다른 실시예에 따른 이미지 처리 시스템의 구성 블록도이다.
도 10은 본 발명의 또 다른 실시예에 따른 이미지 처리 시스템의 구성 블록도이다.
도 11은 본 발명의 또 다른 실시예에 따른 이미지 처리 시스템의 구성 블록도이다.
도 12는 본 발명의 또 다른 실시예에 따른 이미지 처리 시스템의 구성 블록도이다.
본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.
본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1구성요소는 제2구성요소로 명명될 수 있고, 유사하게 제2구성요소는 제1구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 이미지 처리 시스템의 구성 블록도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 이미지 처리 시스템(1a)은, 이미지 화질 개선 장치(Image Quality Improvement Device; 10-1), 제1 카메라 모듈(20a), 제2 카메라 모듈(20b), 및 CPU(30)를 포함할 수 있다.
제1 카메라 모듈(20a)은 RWB 이미지 센서(RWB Image Sensor; 22a)를 포함할 수 있다.
제2 카메라 모듈(20b)은 RGB 이미지 센서(RGB Image Sensor; 22b)를 포함할 수 있다.
한편, 본 명세서에서 기술되는 RWB 이미지 센서(22a)라 함은, 레드(red), 화이트(white), 및 블루(blue) 컬러 정보를 생성할 수 있는 RWB 컬러 픽셀들을 포함하는 이미지 센서인 것으로 가정한다.
또한, 본 명세서에서 기술되는 RGB 이미지 센서(22b)라 함은, 레드(red), 그린(green), 및 블루(blue) 컬러 정보를 생성할 수 있는 RGB 컬러 픽셀들을 포함하는 이미지 센서인 것으로 가정한다.
RWB 이미지 센서 및 RGB 이미지 센서 각각은 피사체에 반사되어 제1 카메라 모듈(20a) 및 제2 카메라 모듈(20b) 각각에 포함된 렌즈들(미도시)을 통해 입사되는 입사광의 세기를 광전 소자를 이용하여 전기적 신호로 변환하고, 변환된 전기적 신호를 디지털 신호로 변환할 수 있다. 변환된 디지털 신호는 RWB 이미지 센서(22a) 및 RGB 이미지 센서(22b) 각각의 픽셀 어레이(pixel array)에 속한 각 픽셀에 대응하는 디지털 값이 순차적으로 나열된 스트림(stream) 형태의 신호일 수 있다.
RWB 이미지 센서(22a) 및 RGB 이미지 센서(22b) 각각으로부터 출력된 디지털 신호는 제1 이미지(I1) 및 제2 이미지(I2)를 형성할 수 있다. 제1 이미지(I1) 및 제2 이미지(I2)는 이미지 화질 개선 장치(10-1)에 포함된 스위치 회로(100)에 입력될 수 있다.
RWB 이미지 센서(22a)는 RGB 이미지 센서(22b)와 비교하여, 저조도 환경에서 높은 감도 특성을 갖는 장점이 있다. 반면, 고조도 환경에서는 각 픽셀에 대응하는 디지털 값이 포화될 수 있는 단점이 있다.
즉, RWB 이미지 센서(22a)는 저조도 환경에서의 촬영에 더 적합하고, RGB 이미지 센서(22b)는 고조도 환경에서의 촬영에 더 적합하다.
따라서, 본 발명의 일 실시예에 따른, 이미지 처리 시스템(1a)은 RGB 이미지 센서(22b)와 RWB 이미지 센서(22a)를 함께 사용함으로써, 고조도 환경에서 촬영하는 경우뿐만 아니라, 저조도 환경에서 촬영하는 경우에도, 색 정보의 왜곡이 개선된 이미지들을 사용함으로써, 저조도 화질을 개선시키는 효과가 있다.
제1 카메라 모듈(20a) 및 제2 카메라 모듈(20b)은 하나의 멀티미디어 장치에 구비되어, 듀얼 카메라 시스템(dual camera system)을 구성할 수 있다.
실시예에 따라, 제1 카메라 모듈(20a)로부터 생성된 제1 이미지(I1) 및 제2 카메라 모듈(20b)로부터 생성된 제2 이미지(I2)는 동일 장면(scene)을 동일 위치에서 바라본 정보들을 포함할 수도 있다. 그러나 본 발명의 제1 이미지(I1) 및 제2 이미지(I2)가 포함하는 정보는 이에 한정되는 것은 아니다. 다른 실시예에 따라, 제1 이미지(I1) 및 제2 이미지(I2)가 포함하는 정보는 3차원 기준 좌표계(three-dimensional(3D) reference system) 상의 서로 다른 위치에서 바라본 정보들을 포함할 수도 있다.
제1 카메라 모듈(20a) 및 제2 카메라 모듈(20b)은 작동 모드에 기초하여 작동할 수 있다. 상기 작동 모드는 스틸 모드(still mode) 또는 비디오 모드(video mode) 중 어느 하나일 수 있다.
제1 카메라 모듈(20a) 및 제2 카메라 모듈(20b)가 스틸 모드로 작동하는 경우, 제1 이미지(I1) 및 제2 이미지(I2) 각각은 단일의 이미지일 수 있다.
제1 카메라 모듈(20a) 및 제2 카메라 모듈(20b)가 비디오 모드로 작동하는 경우, 제1 이미지(I1) 및 제2 이미지(I2) 각각은 복수(2 이상)의 이미지(I1-1~I1-m, I2-1~I2-m; m은 2 이상의 정수)일 수 있다.
한편, 제1 카메라 모듈(20a) 및 제2 카메라 모듈(20b) 각각은 CPU(30)의 제어 하에 각각의 전원이 온(on) 또는 오프(off) 될 수 있다. 제1 카메라 모듈(20a) 및 제2 카메라 모듈(20b)의 전원은 상기 작동 모드에 따라 온(on) 또는 오프(off)되는 것일 수 있다.
CPU(30)는 본 발명의 일 실시예에 따라, 제1 카메라 모듈(20a), 제2 카메라 모듈(20b) 각각의 전원을 온 또는 오프시키는 제어 신호(CONa, CONb)를 제1 카메라 모듈(20a) 또는 제2 카메라 모듈(20b) 중 어느 하나로 제공할 수 있다.
CPU(30)는 본 발명의 일 실시예에 따라, 제1 카메라 모듈(20a) 및 제2 카메라 모듈(20b)의 작동 모드 및 조도 값에 기초하여, 이미지 화질 개선 장치(10-1)를 제어하기 위한 제어 신호(CONi; 단, i는 1이상 n 이하의 정수)를 제공할 수 있다.
여기서,상기 조도 값은, 조도 센서로 부터 수신할 수 있다.
그러나, 본 발명의 범위가 이에 한정되는 것은 아니다. 실시예에 따라, 상기 조도 값은, 제1 이미지(I1) 및 제2 이미지(I2) 각각의 밝기 값에 기초하여 결정될 수도 있다.
CPU(30)는 제1 카메라 모듈(20a) 및 제2 카메라 모듈(20b)가 스틸 모드에서 작동하는지 여부를 판단할 수 있다.
CPU(30)는 판단 결과에 따라, 상기 제1 카메라 모듈(20a) 및 제2 카메라 모듈(20b)가 스틸 모드에서 작동하는 경우, 상기 조도 값이 제1 임계 조도 미만인지 여부를 판단할 수 있다.
그리고, CPU(30)는 상기 조도 값이 제1 임계 조도 미만인 경우, 제1 카메라 모듈(20a)과 제1 프리 프로세서(200a)를 연결하기 위한 제어 신호(CON1)를 스위치 회로(100)에 제공할 수 있다.
반면, CPU(30)는 상기 조도 값이 제1 임계 조도 이상인 경우, 제2 카메라 모듈(20b)과 제2 프리 프로세서(200b)를 연결하기 위한 제어 신호(CON1)를 스위치 회로(100)에 제공할 수 있다.
본 발명의 일 실시예에 따르면, CPU(30)는 상기 판단 결과에 따라, 제1 카메라 모듈(20a) 및 제2 카메라 모듈(20b)가 비디오 모드에서 작동하는 경우, 제1 카메라 모듈(20a) 및 제2 카메라 모듈(20b) 각각을 제1 프리 프로세서(200a) 및 제2 프리 프로세서(200b) 각각에 연결하는 제어 신호(CON1)를 스위치 회로(100)에 제공할 수 있다.
본 발명의 다른 실시예에 따르면, CPU(30)는 상기 판단 결과에 따라, 제1 카메라 모듈(20a) 및 제2 카메라 모듈(20b)가 비디오 모드에서 작동하는 경우, 상기 조도 값이 제2 임계 조도 미만인지 여부를 판단할 수 있다. 그리고, 상기 조도 값이 제2 임계 조도 이상인 경우에는 상기 조도 값이 제3 임계 조도 미만인지 여부를 판단할 수 있다.
그리고, CPU(30)는 상기 조도 값이 제2 임계 조도 미만인 경우, 제1 카메라 모듈(20a)를 제1 프리 프로세서(200a)에 연결하고, 제2 카메라 모듈(20b)를 제2 프리 프로세서(200b)와 분리시키는 제어 신호(CON1)를 스위치 회로(100)에 제공할 수 있다.
CPU(30)는 상기 조도 값이 제2 임계 조도 이상이고, 제3 임계 조도 미만인 경우, 제1 카메라 모듈(20a) 및 제2 카메라 모듈(20b) 각각을 제1 프리 프로세서(200a) 및 제2 프리 프로세서(200b) 각각에 연결하는 제어 신호(CON1)를 스위치 회로(100)에 제공할 수 있다.
CPU(30)는 상기 조도 값이 제3 임계 조도 이상인 경우, 제1 카메라 모듈(20a)를 제1 프리 프로세서(200b)와 분리시키고, 제2 카메라 모듈(20b)를 제2 프리 프로세서(200a)에 연결시키는 제어 신호(CON1)를 스위치 회로(100)에 제공할 수 있다.
한편, CPU(300)는 제1 카메라 모듈(20a) 및 제2 카메라 모듈(20b)의 작동 모드에 관한 정보(MD_IF)를 이미지 화질 개선 장치 내부에 포함된 레지스터(미도시)에 저장할 수 있다.
실시 예에 따라, CPU(30)는 이미지 화질 개선 장치(10-1)에 포함된, 제1 프리 프로세서(200a) 및 제2 프리 프로세서(200b)를 제어하기 위한 제어 신호(CON2)를 제1 프리 프로세서(200a) 및 제2 프리 프로세서(200b) 각각에 제공할 수 있다. 상기 제어 신호(CON2)는 제1 카메라 모듈(20a) 및 제2 카메라 모듈(20b) 각각에 포함된 RWB 이미지 센서(22a) 및 RGB 이미지 센서(22b) 각각에 관한 센서 특성 정보(sensor characteristic information)에 기초한 것일 수 있다.
상기 센서 특성 정보는 쉐이딩 정보(lens shading information), 불량 픽셀 정보(bad pixel information), 및 색수차 정보(chromatic aberration information), 교정 정보(rectification information) 중 적어도 하나를 포함할 수 있다.
상기 센서 특성 정보는 본 발명에 따른 이미지 처리 시스템의 작동 전에 미리 설정되어 외부 메모리에 저장된 것일 수 있다.
실시 예에 따라, CPU(30)는 이미지 화질 개선 장치(10-1)에 포함된, 제1 변환기(300a) 및 제2 변환기(300b)를 제어하기 위한 제어 신호(CON3)를 제1 변환기(300a) 및 제2 변환기(300b) 각각에 제공할 수 있다. 상기 제어 신호(CON3)는 제1 이미지(I1) 및 제2 이미지(I2)의 사이즈(size) 또는 포맷(format)에 관한 정보일 수 있다.
상기 사이즈 또는 포맷에 관한 정보는 본 발명에 따른 이미지 처리 시스템의 작동 전에 미리 설정되어 외부 메모리에 저장된 것일 수 있다.
실시 예에 따라, CPU(30)는 이미지 화질 개선 장치(10-1)에 포함된 이미지 합성 회로(400)를 제어하기 위한 제어 신호(CON4)를 이미지 합성 회로(400)에 제공할 수 있다.
상기 제어 신호(CON4)는 제1 카메라 모듈(20a) 및 제2 카메라 모듈(20b)의 작동 모드에 관한 정보 및 조도 값일 수 있다.
이미지 화질 개선 장치(10-1)는 제1 카메라 모듈(20a) 및 제2 카메라 모듈(20b) 각각으로부터 제1 이미지(I1) 및 제2 이미지(I2)를 수신하여, 저조도 화질이 개선된 이미지(SO)를 출력할 수 있다.
이미지 화질 개선 장치(10-1)는 스위치 회로(100), 제1 프리 프로세서(200a) 및 제2 프리 프로세서(200b), 제1 변환기(300a), 제2 변환기(300b), 및 이미지 합성 회로(400)를 포함할 수 있다.
그러나, 실시 예에 따라, 이미지 화질 개선 장치(10-1)의 구성요소, 예컨대, 제1 프리 프로세서(200a), 제2 프리 프로세서(200b), 제1 변환기(300a), 및 제2 변환기(300b) 중 하나 이상은 생략될 수도 있다.
스위치 회로(100)는 제1 카메라 모듈(20a) 및 제2 카메라 모듈(20b) 각각으로부터 출력되는 제1 이미지(I1) 및 제2 이미지(I2) 중 적어도 하나를 제1 프리 프로세서(Pre-processor 1; 200a) 및 제2 프리 프로세서(Pre-processor 2; 200b) 각각에 선택적으로 연결할 수 있다.
예컨대, 스위치 회로(100)는 CPU(30)의 제어 하에, 제1 카메라 모듈(20a)로부터 출력된 제1 이미지(I1)가 제1 프리 프로세서(200a)로 입력될 수 있도록, 제1 카메라 모듈(20a)와 제1 프리 프로세서(200a)를 연결할 수 있다. 스위치 회로(200)는 CPU(30)의 제어 하에, 제2 카메라 모듈(20a)로부터 출력된 제2 이미지(I2)가 제2 프리 프로세서(200b)로 입력될 수 있도록, 제2 카메라 모듈(20b)과 제2 프리 프로세서(200b)를 연결할 수 있다.
스위치 회로(100)는 CPU(30)의 제어 하에, 제1 카메라 모듈(20a) 및 제2 카메라 모듈(20b) 각각의 작동 모드에 따라, 제1 카메라 모듈(20a) 및 제2 카메라 모듈(20b) 각각을 제1 프리 프로세서(200a) 및 제2 프리 프로세서(200b) 각각에 선택적으로 연결할 수 있다.
스위치 회로(100)는 CPU(30)의 제어 하에, 조도 센서(미도시)로부터 수신한 조도 값에 기초하여, 제1 카메라 모듈(20a) 및 제2 카메라 모듈(20b) 각각을 제1 프리 프로세서(200a) 및 제2 프리 프로세서(200b) 각각에 선택적으로 연결할 수 있다.
예컨대, 스위치 회로(100)는 CPU(30)의 제어 하에, 제1 카메라 모듈(20a) 및 제2 카메라 모듈(20b)이 스틸 모드에서 작동하고, 상기 조도 값이 제1 임계 조도 미만인 경우에는 제1 카메라 모듈(20a)과 제1 프리 프로세서(200a)를 연결할 수 있다.
반면, 스위치 회로(100)는 CPU(30)의 제어 하에, 상기 조도 값이 제1 임계 조도 이상인 경우에는 제2 카메라 모듈(20b)과 제2 프리 프로세서(200b)를 연결할 수 있다.
본 발명의 일 실시예에 따르면, 스위치 회로(100)는 CPU(30)의 제어 하에, 제1 카메라 모듈(20a) 및 제2 카메라 모듈(20b)이 비디오 모드에서 작동하는 경우, 제1 카메라 모듈(20a) 및 제2 카메라 모듈(20b) 각각을 제1 프리 프로세서(200a) 및 제2 프리 프로세서(200b) 각각에 연결할 수 있다.
본 발명의 다른 실시예에 따르면, 스위치 회로(100)는 CPU(30)의 제어 하에, 제1 카메라 모듈(20a) 및 제2 카메라 모듈(20b)이 비디오 모드에서 작동하고, 상기 조도 값이 제2 임계 조도 미만인 경우, 제1 카메라 모듈(20a)를 제1 프리 프로세서(200a)에 연결하고, 제2 카메라 모듈(20b)를 제2 프리 프로세서(200b)와 분리시킬 수 있다.
스위치 회로(100)는 상기 조도 값이 제2 임계 조도 이상이고, 제3 임계 조도 미만인 경우, 제1 카메라 모듈(20a) 및 제2 카메라 모듈(20b) 각각을 제1 프리 프로세서(200a) 및 제2 프리 프로세서(200b) 각각에 연결할 수 있다.
스위치 회로(100)는 상기 조도 값이 제3 임계 조도 이상인 경우, 제1 카메라 모듈(20a)를 제1 프리 프로세서(200b)와 분리시키고, 제2 카메라 모듈(20b)를 제2 프리 프로세서(200a)에 연결시킬 수 있다.
따라서, 이미지 화질 개선 장치(10-1)에 포함된 스위치 회로(100)는 본 발명의 일 실시예에 따르면, 이미지 처리 시스템(1a)는, 제1 카메라 모듈(20a) 및 제2 카메라 모듈(20b)의 상기 작동 모드 및 상기 조도 값에 따라, 제1 카메라 모듈(20a) 및 제2 카메라 모듈(20b)을 제1 프리 프로세서(200a) 및 제2 프리 프로세서(200b)에 선택적으로 연결시킬 수 있다.
상술한 바와 같이, 상기 작동 모드 및 상기 조도 값에 따라, 카메라 모듈(20a, 20b)과 프리 프로세서(200a, 200b) 중 어느 하나가 연결되지 않는 경우에는, 카메라 모듈(20a, 20b) 중 어느 하나로부터 생성된 이미지(I1, I2)와 관련된 일련의 처리 과정은 생략될 수 있다.
그리고, 상기 생략된 처리 과정에 의해, 계산 복잡도를 개선시키는 효과가 있다.
제1 프리 프로세서(200a) 및 제2 프리 프로세서(200b)에 관한 구체적인 설명은 도 2 및 도 3을 참조하여 설명하기로 한다.
한편, 제1 프리 프로세서(200a) 및 제2 프리 프로세서(200b) 각각은 본 발명에 따른 일 실시예에 따라, 구조와 기능이 동일할 수 있다. 그러므로, 중복된 구조 및 기능에 대한 설명은 생략한다. 이하에서는 제1 프리 프로세서(200a)의 구조 및 기능을 중심으로 살펴보기로 한다.
도 2는 도 1에 도시된 제1 프리 프로세서의 일 실시예를 나타내는 구성 블록도이다. 도 3은 도 2에 도시된 교정 엔진의 일 실시예를 나타내는 구성 블록도이다.
도 1 및 도 2를 참조하면, 제1 프리 프로세서(200a)는, 렌즈 쉐이딩 보정부(lens shading corrector; 210), 불량 픽셀 보정부(bad pixel corrector; 220), 색수차 보정부(chromatic aberration corrector; 230) 및 교정 엔진(rectification engine; 240)을 포함할 수 있다.
렌즈 쉐이딩 보정부(210)는 CPU(30)의 제어 하에, 수신된 쉐이딩 정보(LS_IF)에 기초하여, RWB 이미지 센서(22a) 및 RGB 이미지 센서(22b) 각각의 중심부에서 주변부로 갈수록 광량이 부족하여 어두워지는 명암의 차이를 보정할 수 있다. 상기 명암의 차이는 제1 카메라 모듈(20a) 및 제2 카메라 모듈(20b) 각각에 포함된 곡면 형태의 렌즈에 기인한 것일 수 있다.
불량 픽셀 보정부(220)는 CPU(30)의 제어 하에, 수신된 불량 픽셀 정보(BP_IF)에 기초하여, 센서 제조시 발생하는 정적 불량 픽셀, 및 발열 등으로 인하여 발생하는 동적 불량 픽셀을 보정할 수 있다. 불량 픽셀 보정부(220)는 불량 픽셀을 검출하고, 검출된 불량 픽셀의 픽셀값을 보정하여, 보정된 픽셀값을 생성할 수 있다.
색수차 보정부(230)는 CPU(30)의 제어 하에, 수신된 색수차 정보(CA_IF)에 기초하여, 제1 카메라 모듈(20a) 및 제2 카메라 모듈(20b) 각각의 색수차(chromatic aberration)를 보정할 수 있다.
상기 색수차는 제1 카메라 모듈(20a) 및 제2 카메라 모듈(20b) 각각에 포함된 렌즈에 입사되는 빛의 파장에 따라 굴절률의 차이가 발생하여, 긴 파장의 빛일수록 렌즈로부터 상대적으로 먼 곳에 초점이 맺히는 현상에 기인한 것일 수 있다.
교정 엔진(240)은 CPU(30)의 제어 하에, 수신된 교정 정보(REF_IF)에 기초하여, 제1 카메라 모듈(20a) 및 제2 카메라 모듈(20b) 각각으로부터 출력되는 제1 이미지(I1) 및 제2 이미지(I2) 각각의 기하학적 형태 및 크기가 동일하게 되도록 보정할 수 있다.
도 1 및 도 3을 참조하면, 교정 엔진(240)은 적어도 하나의 NxN 매트릭스 곱셈기(240-1~240-p; p는 1 이상의 정수)를 포함할 수 있다.
교정 엔진(240)은 상기 교정 정보에 기초하여, 제1 이미지(I1) 및 제2 이미지(I2) 중 적어도 하나에 대한 기하학적 변환(geometric transformation)을 수행할 수 있다.
상기 기하학적 변환은 회전 변환(rotation transformation), 크기 변환(scailing transformation), 또는 어파인 변환(affine transformation)과 같은 기하학적 선형 변환을 포함할 수 있다.
제1 변환기(300a) 및 제2 변환기(300b)는 제1 프리 프로세서(200a) 및 제2 프리 프로세서(200b)로부터 수신된 이미지(PO1, PO2)의 사이즈 또는 포맷을 변환하여, 변환된 이미지(C1, C2)를 이미지 합성 회로(400)로 출력할 수 있다.
제1 변환기(300a) 및 제2 변환기(300b)에 관한 구체적인 내용은 도 4를 참조하여 설명하기로 한다.
한편, 제1 변환기(300a), 제2 변환기(300b) 각각은 본 발명에 따른 일 실시예에 따라, 구조와 기능이 동일할 수 있다. 그러므로, 중복된 구조 및 기능에 대한 설명은 생략한다. 이하에서는 제1 변환기(300a)의 구조 및 기능을 중심으로 살펴보기로 한다.
도 4는 도 2에 도시된 제1 변환기의 일 실시예를 나타내는 구성 블록도이다.
도 1 및 도 4를 참조하면, 제1 변환기(300a)는 사이즈 변환기(302) 및 포맷 변환기(304)를 포함할 수 있다.
사이즈 변환기(302)는 사이즈 정보(SIZE_IF)에 기초하여, 사이즈 변환기(302)로 입력되는 입력 이미지(PO1)의 공간 해상도(spatial resolution)를 변환할 수 있다.
포맷 변환기(304)는 포맷 정보(FM_IF)에 기초하여, 사이즈 변환기(302)로부터 출력된 출력 이미지의 포맷을 변환하고, 변환된 이미지(C1)를 출력할 수 있다.
이미지 합성 회로(400)는 CPU(30)의 제어 하에, 제1 카메라 모듈(20a) 및 제2 카메라 모듈(20b) 각각의 작동 모드에 따라, 제1 변환기(300a)의 출력 이미지(C1) 및 제2 변환기(300b)의 출력 이미지(C2) 중 어느 하나의 이미지(SO)를 출력하거나, 또는 제1 변환기(300a)의 출력 이미지(C1) 및 제2 변환기(300b)의 출력 이미지(C2)를 합성하고, 합성된 이미지(SO)를 출력할 수 있다.
이미지 합성 회로(400)에 관한 구체적인 내용은 도 5, 도 6a, 도 6b, 및 도 6c를 참조하여 설명하기로 한다.
도 5는 도 2에 도시된 이미지 합성 회로의 일 실시예를 나타내는 구성 블록도이다. 도 6a는 이미지 센서들의 작동 모드가 스틸 모드인 경우, 본 발명의 일 실시예에 따른 이미지 화질 개선 장치의 출력 이미지를 설명하기 위한 도면이다. 도 6b는 이미지 센서들의 작동 모드가 비디오 모드인 경우, 본 발명의 일 실시예에 따른 이미지 화질 개선 장치의 출력 이미지를 설명하기 위한 도면이다. 도 6c는 이미지 센서들의 작동 모드가 비디오 모드인 경우, 본 발명의 다른 실시예에 따른 이미지 화질 개선 장치의 출력 이미지를 설명하기 위한 도면이다.
도 1 및 도 5를 참조하면, 이미지 합성 회로(400)는 계수 생성기(coefficient generator; 402) 및 합성 회로(404)를 포함할 수 있다.
계수 생성기(402)는 CPU(3)로부터 제1 카메라 모듈(20a) 및 제2 카메라 모듈(20b)의 작동 모드에 관한 정보(MD_IF) 및 조도 값(IL_IF)을 수신할 수 있다. 그리고,
도 1, 도 5 및 도 6a를 참조하면, 이미지 합성 회로(400)는 CPU(30)의 제어 하에, 제1 카메라 모듈(20a) 및 제2 카메라 모듈(20b)이 스틸 모드에서 작동하고, 조도 값이 제1 임계 조도 미만인 경우에는 제1 변환기(300a)의 출력 이미지(C1)를 출력할 수 있다. 그리고, 상기 조도 값이 제1 임계 조도 이상인 경우에는 제2 변환기(300a)의 출력 이미지(C2)를 출력할 수 있다.
실시예에 따라, 제1 변환기(300a)의 출력 이미지(C1) 또는 제2 변환기(300a)의 출력 이미지(C2)는 최종 이미지가 될 수 있다.
한편, 이미지 합성 회로(400)에 포함된 계수 생성기(402) 및 합성 회로(404)는 제1 변환기(300a) 및 제2 변환기(300b)의 출력 이미지들(C1, C2)을 바이패스(bypass)할 수 있다.
도 1, 도 5 및 도 6b를 참조하면, 본 발명의 일 실시예에 따른 이미지 합성 회로(400)는 CPU(30)의 제어 하에, 외부 메모리로부터 제1 카메라 모듈(20a) 및 제2 카메라 모듈(20b)이 비디오 모드에서 작동하는 경우, 제1 변환기(300a)의 출력 이미지(C1) 및 제2 변환기(300b)의 출력 이미지(C2)에 기초하여, 합성된 이미지(SO)를 출력할 수 있다.
이미지 합성 회로(400)에 포함된 계수 생성기(402)는, CPU(30)의 제어 하에, 외부 메모리로부터 조도 값의 변화에 따른 보간 계수를 포함하는 룩업 테이블을 수신할 수 있다. 이 경우 상기 룩업 테이블은 본 발명에 따른 이미지 처리 시스템의 동작 전에 미리 설정되어 외부 메모리에 저장된 것일 수 있다.
이 경우 합성된 이미지(SO)는 하기의 수학식 1에 의하여 결정될 수 있다.
여기서, α는 보간 계수이고, C1은 제1 변환기(300a)의 출력 이미지이고, C2는 제2 변환기(300b)의 출력 이미지이다.
도 1, 도 5 및 도 6c를 참조하면, 본 발명의 일 실시예에 따른 이미지 합성 회로(400)는 CPU(30)의 제어 하에, 외부 메모리로부터 제1 카메라 모듈(20a) 및 제2 카메라 모듈(20b)이 비디오 모드에서 작동하는 경우, 제1 변환기(300a)의 출력 이미지(C1) 및 제2 변환기(300b)의 출력 이미지(C2)에 기초하여, 합성된 이미지(SO)를 출력할 수 있다.
이미지 합성 회로(400)에 포함된 계수 생성기(402)는, CPU(30)의 제어 하에, 외부 메모리로부터 조도 값의 변화에 따른 보간 계수를 포함하는 룩업 테이블을 수신할 수 있다.
이 경우 합성된 이미지(SO)는 하기의 수학식 2에 의하여 결정될 수 있다.
여기서, α는 보간 계수이고, C1은 제1 변환기(300a)의 출력 이미지이고, C2는 제2 변환기(300b)의 출력 이미지이다. 그리고, 2nd_th는 제2 임계 조도이고, 3rd_th는 제3 임계 조도이다.
도 7은 본 발명의 일 실시예에 따른 이미지 처리 장치의 저조도 화질 개선 방법을 설명하기 위한 흐름도이다.
도 1 내지 도 7을 참조하면, 본 발명의 일 실시예에 따른 이미지 화질 개선 장치(10-1)는 제1 카메라 모듈(20a) 및 제2 카메라 모듈(20b) 각각으로부터 제1 이미지(I1) 및 제2 이미지(I2)를 수신하고(S100), 이미지 화질 개선 장치(10-1)는 조도 센서로부터 조도 값을 수신할 수 있다(S200).
그리고, 이미지 화질 개선 장치(10-1)는 제1 카메라 모듈(20a) 및 제2 카메라 모듈(20b)이 스틸 모드에서 작동하는지 여부를 판단할 수 있다(S300).
제1 카메라 모듈(20a) 및 제2 카메라 모듈이 스틸 모드에서 작동하는 경우(S300 단계에서 YES인 경우), 이미지 화질 개선 장치(10-1)는 상기 조도 값이 제1 임계 조도 미만인지 여부를 판단할 수 있다.
상기 조도 값이 제1 임계 조도 미만인 경우(S302 단계에서 YES인 경우), 이미지 화질 개선 장치(10-1)는 제1 이미지를 출력(304-1)하고, 제2 카메라 모듈의 전원을 오프(S304-2)시킬 수 있다.
상기 조도 값이 제1 임계 조도 이상인 경우(S302 단계에서 NO인 경우), 이미지 화질 개선 장치(10-1)는 제2 이미지를 출력(S306-1)하고, 제1 카메라 모듈(20b)의 전원을 오프(S306-2)시킬 수 있다.
본 발명의 일 실시 예에 따라, 제1 카메라 모듈(20a) 및 제2 카메라 모듈(20b)이 비디오 모드에서 작동하는 경우(S300 단계에서 NO인 경우), 이미지 화질 개선 장치(10-1)는 룩업 테이블을 수신(S402)하고, 제1 이미지 또는 제2 이미지 중 적어도 하나를 이용하여 제3 이미지를 생성(S404)할 수 있다.
상기 룩업 테이블은 조도 값의 변화에 따른 보간 계수를 포함할 수 있다. 그리고, 상기 룩업 테이블은 본 발명에 따른 이미지 처리 시스템의 동작 전에 미리 설정되어 외부 메모리에 저장된 것일 수 있다.
본 발명의 일 실시 예에 따라, 제1 카메라 모듈(20a) 및 제2 카메라 모듈(20b)이 비디오 모드에서 작동하는 경우(S300 단계에서 NO인 경우), 이미지 화질 개선 장치(10-1)는 룩업 테이블을 수신(S402)하고, 제1 이미지 또는 제2 이미지 중 적어도 하나를 이용하여 제3 이미지를 생성할 수 있다(S404).
본 단계에 관한 구체적인 설명은 도 1, 도 5 및 도 6b를 참조하여 상술하였으므로, 생략하기로 한다.
도 8은 도 7에 도시된 제3 이미지를 생성하는 단계를 보다 구체적으로 나타낸 흐름도이다.
도 1 내지 도 8을 참조하면, 본 발명의 다른 실시 예에 따라, 제1 카메라 모듈(20a) 및 제2 카메라 모듈(20b)이 비디오 모드에서 작동하는 경우(S300 단계에서 NO인 경우), 이미지 화질 개선 장치(10-1)는 룩업 테이블을 수신(S402)하고, 제1 이미지 또는 제2 이미지 중 적어도 하나를 이용하여 제3 이미지를 생성할 수 있다(S404-1 내지 S404-7).
S404-1 내지 S404-7 단계에 관한 구체적인 설명은, 도 1, 도 5 및 도 6c를 참조하여 상술하였으므로, 생략하기로 한다.
도 9는 본 발명의 다른 실시예에 따른 이미지 처리 시스템의 구성 블록도이다.
도 9를 참조하면, 이미지 처리 시스템(1b)은 프로세서(500A), 제1 카메라 모듈(20a), 제2 카메라 모듈(20b), 외부 메모리(530), 및 디스플레이(540)를 포함할 수 있다.
이미지 처리 시스템(1b)은 PC(personal computer) 또는 모바일 컴퓨팅 장치로 구현될 수 있다. 상기 모바일 컴퓨팅 장치는 랩탑 컴퓨터(laptop computer), 이동 전화기, 스마트 폰(smart phone), 태블릿(tablet) PC, PDA(personal digital assistant), EDA(enterprise digital assistant), 디지털 스틸 카메라(digital still camera), 디지털 비디오 카메라(digital video camera), PMP(portable multimedia player), PND(personal navigation device 또는 portable navigation device), 휴대용 게임 콘솔(handheld game console), 모바일 인터넷 장치(mobile internet device(MID)), 웨어러블 컴퓨터, 사물 인터넷(internet of things(IoT)) 장치, 만물 인터넷(internet of everything(IoE)) 장치, 또는 e-북(e-book)으로 구현될 수 있다.
프로세서(500A)는 집적 회로(IC), 마더보드, 시스템 온 칩(system on chip(SoC)), 애플리케이션 프로세서(application processor(AP)), 또는 모바일 AP로 구현될 수 있으나 프로세서(500A)가 이에 한정되는 것은 아니다.
프로세서(500A)는 버스 구조(또는 버스; 501), CPU(central processing unit; 510), 제1 인터페이스(520-1), 제2 인터페이스(520-2), 이미지 신호 프로세서(image signal processor(ISP); 530A), 메모리 컨트롤러(550) 및 디스플레이 컨트롤러(570)를 포함할 수 있다.
CPU(510), ISP(530A), 메모리 컨트롤러(550) 및 디스플레이 컨트롤러(570)는, 버스 구조(501)를 통해, 명령 및/또는 데이터를 주거나 받을 수 있다.
버스 구조(501)는 AMBA(Advanced Microcontroller Bus Architecture) 프로토콜을 사용하는 버스, AHB(Advanced High-performance Bus) 프로토콜을 사용하는 버스, APB(Advanced Peripheral Bus) 프로토콜을 사용하는 버스, AXI(AMBA Extensible Interconnect) 프로토콜을 사용하는 버스, 또는 이들의 조합으로 구현될 수 있으나 버스 구조(501)가 이에 한정되는 것은 아니다.
CPU(510)는 도 1의 CPU(30)에 해당할 수 있다. 그리고, CPU(510)는 프로세서(500A)의 작동을 전반적으로 제어할 수 있다.
예컨대, CPU(510)는 제1 인터페이스(520-1), 제2 인터페이스(520-2), ISP(530), 메모리 컨트롤러(550) 및 디스플레이 컨트롤러(570)를 제어할 수 있다. CPU(510)는 하나 또는 그 이상의 코어들을 포함할 수 있다.
제1 인터페이스(520-1)는 제1 카메라 모듈(20a)로부터 출력된 제1 이미지와 제1 제어 신호들을 수신하고, 이들을 ISP(530A)로 전송할 수 있다. 제2 인터페이스(520-2)는 제2 카메라 모듈(20b)로부터 출력된 제2 이미지와 제2 제어 신호들을 수신하고, 이들을 ISP(530A)로 전송할 수 있다. 제1 이미지는 제1 픽처(picture), 제1 이미지 데이터, 제1 데이터 스트림, 또는 제1 프레임 데이터를 의미할 수 있다. 제2 이미지는 제2 픽처, 제2 이미지 데이터, 제2 데이터 스트림, 또는 제2 프레임 데이터를 의미할 수 있다.
제1 카메라 모듈(20a)는 CMOS 이미지 센서 칩 또는 카메라 모듈로 구현될 수 있다. 제1 카메라 모듈(20a)는 MIPI(Mobile Industry Processor Interface)® CSI (camera serial interface)를 통해 제1 이미지와 제1 제어 신호들을 제1 인터페이스(520-1)로 전송할 수 있다. 제2 카메라 모듈(20b)는 CMOS 이미지 센서 칩 또는 카메라 모듈로 구현될 수 있다. 제2 카메라 모듈(20b)는 MIPI® CSI를 통해 제2 이미지와 제2 제어 신호들을 제2인터페이스(520-2)로 전송할 수 있다. 예컨대, 제1 이미지의 해상도(resolution)와 제2 이미지의 해상도는 서로 다를 수 있다.
ISP(530A)는 도 1에 도시된 이미지 처리 시스템(1a)에 포함된 이미지 화질 개선 장치(10-1)의 기능을 겸할 수 있다. 예컨대, ISP(530A) 내에 이미지 화질 개선 장치(10-1)가 구현될 수 있다.
ISP(530A)는 외부 메모리(530)를 사용하지 않고도 제1 이미지 및/또는 제2 이미지를 프레임 데이터(frame data) 단위가 아닌 라인 데이터(line data) 단위로 시간-분할 멀티플렉싱(time-division multiplexing(TDM))을 수행할 수 있다.
예컨대, ISP(530)는, 제1 카메라 모듈(20a) 및 제2 카메라 모듈(20b)로부터 출력된 이미지들을 TDM 방식에 따라 라인 데이터 단위로 동시에, 병렬로, 또는 실시간(on-the-fly)으로 처리하기 위해, 복수의 ISP 코어들을 포함할 수 있다. 따라서 ISP(530)는 멀티-코어 ISP로 구현될 수 있다.
예컨대, 복수의 ISP 코어들 각각은 자동 다크 레벨 보상(auto dark level compensation), 배드 픽셀 대체(bad pixel replacement), 노이즈 감소(noise reduction), 렌즈 쉐이딩 보상(lens shading compensation), 컬러 보정(color correction), RGB 감마 보정(RGB gamma correction), 에지 향상(edge enhancement), 색조 제어(hue control), 및 컬러 억제(color suppress) 중에서 적어도 하나를 수행할 수 있다. 메모리 컨트롤러(550)는, CPU(510)의 제어에 따라, ISP(530A)에 의해 TDM 방식에 따라 라인 데이터 단위로 처리된 라인 데이터를 외부 메모리(530)에 저장할 수 있다.
디스플레이 컨트롤러(570)는, CPU(510)의 제어에 따라, 외부 메모리(530)로부터 출력된 데이터(예컨대, 프레임 데이터)를 디스플레이(540)로 전송할 수 있다. 예컨대, 디스플레이 컨트롤러(570)는, MIPI® 디스플레이 시리얼 인터페이스 (display serial interface(DSI)) 또는 eDP(Embedded DisplayPort)를 통해, 외부 메모리(330)로부터 출력된 데이터(예컨대, 프레임 데이터)를 디스플레이(540)로 전송할 수 있다.
도 10는 본 발명의 또 다른 실시예에 따른 이미지 처리 시스템의 구성 블록도이다.
도 9 및 도 10을 참조하면, 이미지 처리 시스템(1c)은 이미지 처리 시스템(1b)과는 달리, 이미지 화질 개선 회로(10-2)가 ISP(530B)의 외부에 구현되어 있다. 즉, 이미지 화질 개선 회로(10-2)는 독립적인 IP(intellectual property) 또는 반도체 칩으로 구현될 수 있다.
ISP(530B)는 제1 포맷을 갖는 로우 이미지 데이터를 제2 포맷을 갖는 입력 이미지 데이터(INPUT)로 변환할 수 있다. 상기 제1 포맷은 베이어(Bayer) 패턴일 수 있으나 이에 한정되는 것은 아니다. 제2 포맷은 YUV, Y'UV, YCbCr, YPbPr, 또는 RGB일 수 있으나 이에 한정되는 것은 아니다.
도 11은 본 발명의 또 다른 실시예에 따른 이미지 처리 시스템(1d)의 구성 블록도이다.
도 11을 참조하면, 도 11에 도시된 이미지 화질 개선 애플리케이션(10-3)은, CPU(220)에서 실행될 수 있는 소프트웨어 또는 컴퓨터로 읽을 수 있는 프로그램일 수 있다.
이미지 화질 개선 애플리케이션(10-3)은 메모리(530)에 저장되고, 이미지 처리 시스템(1d)이 부팅될 때, 메모리(530)로부터 로드되어 CPU(510)에서 실행될 수 있다.
실시 예들에 따라, 이미지 화질 개선 애플리케이션(10-3)은 도 1 내지 도 8을 참조하여 설명된 각 구성 요소의 기능과 동일 또는 유사한 기능을 수행할 수 있는 각 기능 블록을 포함할 수 있다. 상기 각 기능 블록은 컴퓨터로 읽을 수 있는 소프트웨어 또는 프로그램 코드로 작성될 수 있다.
도 12는 본 발명의 또 다른 실시예에 따른 이미지 처리 시스템(1e)의 구성 블록도이다.
도 12를 참조하면, 이미지 처리 시스템(1e)은 MIPI 인터페이스를 사용 또는 지원할 수 있는 데이터 처리 장치, 예컨대 이동 전화기, PDA, PMP, IPTV 또는 스마트 폰으로 구현될 수 있다.
이미지 처리 시스템(1e)은 어플리케이션 프로세서(1010), 이미지 센서(100), 및 디스플레이(1050)를 포함한다.
어플리케이션 프로세서(1010)에 구현된 CSI 호스트(1012)는 카메라 시리얼 인터페이스(camera serial interface(CSI))를 통하여 이미지 센서(100)의 CSI 장치(1041)와 시리얼 통신할 수 있다. 예컨대, CSI 호스트(1012)에는 광 디시리얼라이저가 구현될 수 있고, CSI 장치(1041)에는 광 시리얼라이저가 구현될 수 있다.
어플리케이션 프로세서(1010)에 구현된 DSI 호스트(1011)는 디스플레이 시리얼 인터페이스(display serial interface(DSI))를 통하여 디스플레이(1050)의 DSI 장치(1051)와 시리얼 통신할 수 있다. 예컨대, DSI 호스트(1011)에는 광 시리얼라이저가 구현될 수 있고, DSI 장치(1051)에는 광 디시리얼라이저가 구현될 수 있다.
이미지 처리 시스템(1e)은 어플리케이션 프로세서(1010)와 통신할 수 있는 RF 칩(1060)을 더 포함할 수 있다. 전자 시스템(1c)의 PHY(1013)와 RF 칩(1060)의 PHY(1061)는 MIPI DigRF에 따라 데이터를 주고받을 수 있다.
이미지 처리 시스템(1e)은 GPS(1020), 스토리지(1070), 마이크(1080), DRAM(1085) 및 스피커(1090)를 더 포함할 수 있으며, 전자 시스템(1c)은 Wimax(1030), WLAN(1100) 및 UWB(1110) 등을 이용하여 통신할 수 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.
컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 본 발명에 따른 객체 정보 추정 방법을 수행하기 위한 프로그램 코드는 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 전송될 수도 있다.
또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
본 발명은 도면에 도시된 일 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
1a: 이미지 처리 시스템
1b: 이미지 처리 시스템
1c: 이미지 처리 시스템
1d: 이미지 처리 시스템
1e: 이미지 처리 시스템
10-1: 이미지 화질 개선 장치
10-2: 이미지 화질 개선 회로
10-3: 이미지 화질 개선 애플리케이션
20a: 제1 카메라 모듈
20b: 제2 카메라 모듈
22a: RWB 이미지 센서
22b: RGB 이미지 센서
30: CPU
1b: 이미지 처리 시스템
1c: 이미지 처리 시스템
1d: 이미지 처리 시스템
1e: 이미지 처리 시스템
10-1: 이미지 화질 개선 장치
10-2: 이미지 화질 개선 회로
10-3: 이미지 화질 개선 애플리케이션
20a: 제1 카메라 모듈
20b: 제2 카메라 모듈
22a: RWB 이미지 센서
22b: RGB 이미지 센서
30: CPU
Claims (10)
- RWB 이미지 센서 및 RGB 이미지 센서를 포함하는 듀얼 카메라로부터 이미지들을 수신하여 화질을 개선하는 방법에 있어서,
상기 RWB 이미지 센서로부터 제1 이미지를 수신하는 단계;
상기 RGB 이미지 센서로부터 제2 이미지를 수신하는 단계; 및
상기 제1 이미지 또는 상기 제2 이미지 중 적어도 하나의 이미지를 선택하고, 선택된 상기 적어도 하나의 이미지를 이용하여, 제3 이미지를 생성하는 단계를 포함하는, 이미지 처리 장치의 저조도 화질 개선 방법. - 제1항에 있어서, 이미지 처리 장치의 저조도 화질 개선 방법은,
상기 RGB 이미지 센서 및 상기 RWB 이미지 센서의 작동 모드에 관한 정보를 수신하는 단계를 더 포함하는, 이미지 처리 장치의 저조도 화질 개선 방법. - 제2항에 있어서, 상기 제3 이미지를 생성하는 단계는,
상기 RWB 이미지 센서 및 상기 RGB 이미지 센서의 작동 모드가 스틸 모드인 경우에,
조도 센서로부터 수신된 조도 값이 제1 임계 조도 미만이면, 상기 제1 이미지를 상기 제3 이미지로써 생성하고, 상기 조도 값이 상기 제1 임계 조도 이상이면, 상기 제2 이미지를 상기 제3 이미지로써 생성하는, 이미지 처리 장치의 저조도 화질 개선 방법. - 제2항에 있어서, 이미지 처리 장치의 저조도 화질 개선 방법은,
상기 RWB 이미지 센서 및 상기 RGB 이미지 센서의 작동 모드가 스틸 모드인 경우에, 조도 센서로부터 수신된 조도 값이 제1 임계 조도 미만이면, 제2 카메라 모듈의 전원을 오프시키고, 상기 조도 값이 상기 제1 임계 조도 이상이면, 상기 제1 카메라 모듈의 전원을 오프시키는 단계를 포함하고, 상기 제1 카메라 모듈은 상기 RWB 이미지 센서를 포함하고, 상기 제2 카메라 모듈은 상기 RGB 이미지 센서를 포함하는, 이미지 처리 장치의 저조도 화질 개선 방법. - 제2항에 있어서, 상기 제3 이미지를 생성하는 단계는,
상기 RWB 이미지 센서 및 상기 RGB 이미지 센서의 작동 모드가 비디오 모드인 경우에,
조도 센서로부터 수신된 조도 값에 기초하여, 상기 제1 이미지 및 상기 제2 이미지를 보간한 보간 이미지를 상기 제3 이미지로써 생성하는, 이미지 처리 장치의 저조도 화질 개선 방법. - 듀얼 카메라로부터 수신된 이미지들을 이용하여 저조도 화질을 개선하는 이미지 처리 시스템의 동작 방법에 있어서,
상기 듀얼 카메라에 포함된 RWB 이미지 센서, 및 RGB 이미지 센서 각각으로부터 제1 이미지 및 제2 이미지를 수신하는 단계;
상기 듀얼 카메라의 작동 모드에 관한 정보를 수신하고, 상기 작동 모드에 관한 정보에 기초하여, 상기 듀얼 카메라의 작동 모드를 판단하는 단계;
조도 센서로부터 조도 값을 수신하는 단계; 및
상기 조도 값에 기초하여, 상기 제1 이미지 또는 상기 제2 이미지 중 적어도 하나의 이미지를 선택하고, 상기 선택된 적어도 하나의 이미지를 이용하여, 제3 이미지를 생성하는 단계를 포함하는, 이미지 처리 시스템의 동작 방법. - 제6항에 있어서,상기 제3 이미지를 생성하는 단계는,
상기 RWB 이미지 센서 및 상기 RGB 이미지 센서의 작동 모드가 비디오 모드인 경우에,
상기 조도 값에 기초하여, 상기 제1 이미지 및 상기 제2 이미지를 보간한 보간 이미지를 상기 제3 이미지로써 생성하는, 이미지 처리 시스템의 동작 방법. - RWB 이미지 센서 및 RGB 이미지 센서를 포함하는 듀얼 카메라로부터 이미지들을 수신하여 화질을 개선하는 방법에 있어서,
상기 RWB 이미지 센서로부터 제1 이미지를 수신하는 단계;
상기 RGB 이미지 센서로부터 제2 이미지를 수신하는 단계; 및
상기 제1 이미지 또는 상기 제2 이미지 중 어느 하나의 이미지를 선택하고, 선택된 이미지를 최종 이미지로써 출력하는 단계를 포함하는, 이미지 처리 장치의 저조도 화질 개선 방법. - 제8항에 있어서, 상기 제1 이미지 또는 상기 제2 이미지 중 어느 하나의 선택은, 조도 센서로부터 수신된 조도 값에 기초하여 이루어지는, 이미지 처리 장치의 저조도 화질 개선 방법.
- 제9항에 있어서, 상기 최종 이미지로써 출력하는 단계는
상기 조도 값이 제1 임계 조도 미만이면, 상기 제1 이미지를 상기 제3 이미지로써 출력하고, 상기 조도 값이 상기 제1 임계 조도 이상이면, 상기 제2 이미지를 상기 제3 이미지로써 출력하는, 이미지 처리 장치의 저조도 화질 개선 방법.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150146914A KR102480600B1 (ko) | 2015-10-21 | 2015-10-21 | 이미지 처리 장치의 저조도 화질 개선 방법 및 상기 방법을 수행하는 이미지 처리 시스템의 동작 방법 |
| US15/292,178 US10136110B2 (en) | 2015-10-21 | 2016-10-13 | Low-light image quality enhancement method for image processing device and method of operating image processing system performing the method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150146914A KR102480600B1 (ko) | 2015-10-21 | 2015-10-21 | 이미지 처리 장치의 저조도 화질 개선 방법 및 상기 방법을 수행하는 이미지 처리 시스템의 동작 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20170046498A true KR20170046498A (ko) | 2017-05-02 |
| KR102480600B1 KR102480600B1 (ko) | 2022-12-23 |
Family
ID=58559334
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020150146914A KR102480600B1 (ko) | 2015-10-21 | 2015-10-21 | 이미지 처리 장치의 저조도 화질 개선 방법 및 상기 방법을 수행하는 이미지 처리 시스템의 동작 방법 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US10136110B2 (ko) |
| KR (1) | KR102480600B1 (ko) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018216937A1 (ko) * | 2017-05-23 | 2018-11-29 | 삼성전자 주식회사 | 듀얼 이미지 센서를 이용한 이미지 처리 방법 및 장치 |
| WO2019059635A1 (ko) * | 2017-09-19 | 2019-03-28 | 삼성전자 주식회사 | 하나의 이미지 센서를 통해 획득된 rgb 이미지와 ir 이미지를 이용하여 기능을 제공하는 전자 장치 |
| WO2020032473A2 (en) | 2018-08-08 | 2020-02-13 | Samsung Electronics Co., Ltd. | Electronic device for blurring image obtained by combining plural images based on depth information and method for driving the electronic device |
| KR20200041378A (ko) * | 2017-11-30 | 2020-04-21 | 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드 | 이미지 처리 방법 및 장치 |
| KR20200041382A (ko) * | 2017-11-30 | 2020-04-21 | 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드 | 듀얼 카메라 기반 이미징 방법, 이동 단말기 및 저장 매체 |
| KR20200042536A (ko) * | 2017-11-30 | 2020-04-23 | 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드 | 듀얼 카메라 기반 이미징 방법과 장치 및 저장 매체 |
| WO2021230580A1 (ko) * | 2020-05-14 | 2021-11-18 | 삼성전자 주식회사 | 멀티 카메라를 이용하여 화질 개선하는 전자 장치 및 방법 |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6743427B2 (ja) * | 2016-03-08 | 2020-08-19 | 株式会社リコー | 情報処理装置、撮像システムおよびデータ転送方法 |
| KR102204596B1 (ko) * | 2017-06-02 | 2021-01-19 | 삼성전자주식회사 | 프로세서, 이를 포함하는 이미지 프로세싱 장치 및 이미지 프로세싱 방법 |
| TR201712415A2 (tr) | 2017-08-21 | 2019-03-21 | Arcelik As | Bi̇r otonom bi̇tki̇ yeti̇şti̇rme dolabi |
| US20190313026A1 (en) * | 2018-04-09 | 2019-10-10 | Qualcomm Incorporated | Multi-context real time inline image signal processing |
| WO2019235903A1 (en) | 2018-06-08 | 2019-12-12 | Samsung Electronics Co., Ltd. | Methods and apparatus for capturing media using plurality of cameras in electronic device |
| TWM600051U (zh) * | 2020-04-15 | 2020-08-11 | 聯詠科技股份有限公司 | 影像裝置及其影像處理積體電路 |
| CN114205487A (zh) * | 2020-08-28 | 2022-03-18 | 超威半导体公司 | 内容自适应镜头阴影校正方法和装置 |
| JP2023019712A (ja) * | 2021-07-29 | 2023-02-09 | トヨタ自動車株式会社 | 画像生成装置、画像生成方法、及び車両制御システム |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20010031723A (ko) * | 1997-11-03 | 2001-04-16 | 피터 엔. 데트킨 | 비디오 및 스틸 동작을 위한 이중 모드 디지털 카메라 |
| KR200326664Y1 (ko) * | 2003-06-26 | 2003-09-13 | 주식회사 네오콤 | 자동 스위칭 기능이 구비된 듀얼 ｉｒ 카메라 |
| US20150085174A1 (en) * | 2012-11-28 | 2015-03-26 | Corephotonics Ltd. | High resolution thin multi-aperture imaging systems |
Family Cites Families (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050128509A1 (en) * | 2003-12-11 | 2005-06-16 | Timo Tokkonen | Image creating method and imaging device |
| JP4676385B2 (ja) | 2006-05-31 | 2011-04-27 | 株式会社日立国際電気 | 画像合成方法及び画像合成装置並びに画像合成プログラム |
| US7667762B2 (en) * | 2006-08-01 | 2010-02-23 | Lifesize Communications, Inc. | Dual sensor video camera |
| KR101442153B1 (ko) | 2008-01-15 | 2014-09-25 | 삼성전자 주식회사 | 저조도 영상 처리 방법 및 시스템 |
| US8115825B2 (en) | 2008-02-20 | 2012-02-14 | Apple Inc. | Electronic device with two image sensors |
| CN105681633B (zh) * | 2009-03-19 | 2019-01-18 | 数字光学公司 | 双传感器照相机及其方法 |
| US8553106B2 (en) * | 2009-05-04 | 2013-10-08 | Digitaloptics Corporation | Dual lens digital zoom |
| US20110242355A1 (en) * | 2010-04-05 | 2011-10-06 | Qualcomm Incorporated | Combining data from multiple image sensors |
| US8497897B2 (en) | 2010-08-17 | 2013-07-30 | Apple Inc. | Image capture using luminance and chrominance sensors |
| KR20120078649A (ko) * | 2010-12-31 | 2012-07-10 | 한국전자통신연구원 | 카메라를 구비한 휴대용 영상 통화 장치 및 그 방법 |
| CA2767023C (en) * | 2011-02-09 | 2014-09-09 | Research In Motion Limited | Increased low light sensitivity for image sensors by combining quantum dot sensitivity to visible and infrared light |
| US8593565B2 (en) * | 2011-03-25 | 2013-11-26 | Gary S. Shuster | Simulated large aperture lens |
| US9143749B2 (en) * | 2011-10-11 | 2015-09-22 | Sony Corporation | Light sensitive, low height, and high dynamic range camera |
| US20140171124A1 (en) * | 2012-03-30 | 2014-06-19 | Stephen D. Goglin | Saving gps power by detecting indoor use |
| US9288457B2 (en) * | 2012-04-24 | 2016-03-15 | Sony Corporation | Image processing device, method of processing image, and image processing program including false color correction |
| US9420243B2 (en) * | 2012-05-18 | 2016-08-16 | Thomson Licensing | Native three-color images and high dynamic range images |
| KR102075456B1 (ko) | 2013-07-10 | 2020-02-10 | 삼성전자주식회사 | 화질 개선을 위한 영상 처리 방법 및 그것을 이용한 영상 처리 장치 |
| WO2015015383A2 (en) | 2013-08-01 | 2015-02-05 | Corephotonics Ltd. | Thin multi-aperture imaging system with auto-focus and methods for using same |
| KR20150029897A (ko) | 2013-09-11 | 2015-03-19 | 엘지전자 주식회사 | 촬영 장치 및 그의 동작 방법 |
| KR102145209B1 (ko) * | 2014-02-12 | 2020-08-18 | 삼성전자주식회사 | 플래시 장치, 영상 촬영 장치, 및 방법 |
| US20150241713A1 (en) * | 2014-02-21 | 2015-08-27 | The Lightco Inc. | Camera holder methods and apparatus |
| KR101515404B1 (ko) | 2014-06-11 | 2015-05-04 | 주식회사 리버스톤미디어 | 가상 카메라의 제어 장치 및 방법 |
-
2015
- 2015-10-21 KR KR1020150146914A patent/KR102480600B1/ko active IP Right Grant
-
2016
- 2016-10-13 US US15/292,178 patent/US10136110B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20010031723A (ko) * | 1997-11-03 | 2001-04-16 | 피터 엔. 데트킨 | 비디오 및 스틸 동작을 위한 이중 모드 디지털 카메라 |
| KR200326664Y1 (ko) * | 2003-06-26 | 2003-09-13 | 주식회사 네오콤 | 자동 스위칭 기능이 구비된 듀얼 ｉｒ 카메라 |
| US20150085174A1 (en) * | 2012-11-28 | 2015-03-26 | Corephotonics Ltd. | High resolution thin multi-aperture imaging systems |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018216937A1 (ko) * | 2017-05-23 | 2018-11-29 | 삼성전자 주식회사 | 듀얼 이미지 센서를 이용한 이미지 처리 방법 및 장치 |
| KR20180128168A (ko) * | 2017-05-23 | 2018-12-03 | 삼성전자주식회사 | 듀얼 이미지 센서를 이용한 이미지 처리 방법 및 장치 |
| US11277572B2 (en) | 2017-05-23 | 2022-03-15 | Samsung Electronics Co., Ltd. | Method and device for composing an image based on data detected by first and second image sensor |
| WO2019059635A1 (ko) * | 2017-09-19 | 2019-03-28 | 삼성전자 주식회사 | 하나의 이미지 센서를 통해 획득된 rgb 이미지와 ir 이미지를 이용하여 기능을 제공하는 전자 장치 |
| US11146720B2 (en) | 2017-09-19 | 2021-10-12 | Samsung Electronics Co., Ltd. | Electronic device for providing function by using RGB image and IR image acquired through one image sensor |
| KR20200041378A (ko) * | 2017-11-30 | 2020-04-21 | 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드 | 이미지 처리 방법 및 장치 |
| KR20200041382A (ko) * | 2017-11-30 | 2020-04-21 | 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드 | 듀얼 카메라 기반 이미징 방법, 이동 단말기 및 저장 매체 |
| KR20200042536A (ko) * | 2017-11-30 | 2020-04-23 | 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드 | 듀얼 카메라 기반 이미징 방법과 장치 및 저장 매체 |
| WO2020032473A2 (en) | 2018-08-08 | 2020-02-13 | Samsung Electronics Co., Ltd. | Electronic device for blurring image obtained by combining plural images based on depth information and method for driving the electronic device |
| WO2021230580A1 (ko) * | 2020-05-14 | 2021-11-18 | 삼성전자 주식회사 | 멀티 카메라를 이용하여 화질 개선하는 전자 장치 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102480600B1 (ko) | 2022-12-23 |
| US10136110B2 (en) | 2018-11-20 |
| US20170118450A1 (en) | 2017-04-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102480600B1 (ko) | 이미지 처리 장치의 저조도 화질 개선 방법 및 상기 방법을 수행하는 이미지 처리 시스템의 동작 방법 | |
| KR102474715B1 (ko) | 매크로포토그래피를 위한 컬러 및 모노 이미지들의 시차 마스크 융합 | |
| US10762664B2 (en) | Multi-camera processor with feature matching | |
| US8923652B2 (en) | Methods and apparatus for registering and warping image stacks | |
| US8929683B2 (en) | Techniques for registering and warping image stacks | |
| US20050238225A1 (en) | Digital signal processing apparatus in image sensor | |
| US9153027B2 (en) | System, method, and computer program product for performing fast, non-rigid registration for high dynamic range image stacks | |
| US20090231416A1 (en) | Image pickup device | |
| US20110279702A1 (en) | Method and System for Providing a Programmable and Flexible Image Sensor Pipeline for Multiple Input Patterns | |
| TWI785162B (zh) | 提供影像的方法及用於支持所述方法的電子裝置 | |
| US20210075988A1 (en) | Method controlling image sensor parameters | |
| CN104410786A (zh) | 图像处理设备和图像处理设备的控制方法 | |
| US20220309712A1 (en) | Application processor including neural processing unit and operating method thereof | |
| KR102285756B1 (ko) | 전자 시스템 및 영상 처리 방법 | |
| US11317063B2 (en) | Calibration module of image sensor, image sensor and method of calibrating crosstalk in image sensor | |
| JP6315239B2 (ja) | 撮像装置、撮像方法、画像処理装置、撮像プログラム | |
| CN115883980A (zh) | 提供白平衡功能的图像获取装置及电子装置 | |
| JP7503104B2 (ja) | 複数のイメージセンサを含む映像獲得装置、それを含む電子装置、及び映像獲得装置の制御方法 | |
| KR102505725B1 (ko) | 열화상 장치 및 그 영상 처리 방법 | |
| CN109688333B (zh) | 彩色图像获取方法、装置、设备以及存储介质 | |
| US20220020180A1 (en) | Image compression method using saturated pixel, encoder, and electronic device | |
| JP2011193487A (ja) | 擬似カラー画像生成装置、及びプログラム | |
| CN117319817A (zh) | 图像传感器及其操作方法 | |
| JP2011139546A (ja) | 擬似カラー画像生成装置、及びプログラム | |
| KR20070071003A (ko) | 이미지 센서 및 이미지 센서의 이미지 윤곽선 검출방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |